ICRA 2026 で公開された変形物シミュレータ LeHome と公開データ（250本）から、両腕ロボット SO-ARM101 がショートパンツを半分に畳む動作を模倣学習（ACT）で獲得。テレオペ機材なし・クラウドGPU 1枚・学習2時間で、学習に出ていない服を含む 24 回の自律評価で成功率 67%（シミュレーション）。
服やタオルのような変形する物体は、ロボットにとって最も難しい対象の一つです。本プロジェクトでは、ICRA 2026 で公開されたばかりの家庭内変形物シミュレータ LeHome と、その公開データ（ショートパンツ 250 本）を使い、低価格の両腕ロボット SO-ARM101 がショートパンツを半分に畳む動作を模倣学習（ACT）で獲得しました。テレオペ機材は使っていません。公開されたデータを学習し、評価はベンチマーク公式の評価器で行っています。
学習済み方策による自律動作の成功例4本（うち1本は学習に出ていない形の服）。等倍速・シミュレーション。判定は24回中16回が成功
対象ロボットと環境
SO-ARM101 ×2（両腕） — 6自由度の低価格アーム2台。方策は12関節を直接制御
LeHome — ICRA 2026 で公開された家庭内・変形物操作のシミュレータ（NVIDIA Isaac Sim 5.1 上・布の物理シミュレーション付き）。公式チャレンジ版の環境と評価器をそのまま使用
学習データ — 作者チームが公開した SO101 Leader によるデモ 250 本・40,755 フレーム・30fps（上部カメラ＋左右手首カメラ＋関節角）。当社側のテレオペは0本
学習 — LeRobot の ACT を公式設定（batch 16・3カメラ 640×480）で学習。クラウドGPU NVIDIA L4 1枚
「テレオペ無し」で何ができたか
変形物の模倣学習では、人がロボットを操作してデモを集める工程（テレオペ）が最大のコストです。本件はその工程を持たず、公開データの取得 → 学習 → 公式評価器での自律評価 → 動画化だけで、1日・GPU 1枚で結果まで到達しました。
方策の入力になっている3つのカメラ映像（上部・左手首・右手首）。この映像と関節角だけから次の動きを出力
結果
自律成功率 — 67%（16/24・服12着×2回・チェックポイント選抜とは別の乱数系列で判定）
内訳 — 学習に出た形の服 14/20、学習に出ていない形の服 2/4
チェックポイントの選び方 — 途中の重みを別系列で評価（10k: 83%・20k: 75%）し、最良の 10k ステップを採用。公式設定は 30k ステップですが、20k で下がったため 21k で打ち切りました
学習時間 — 採用した 10k ステップまで 1時間56分（L4 1枚）
論文の同条件ベースライン（参考） — LeHome 論文の Fold Garment: ACT 45%・Diffusion Policy 30%・SmolVLA 70%・π0 44%（デモ50本・100試行）
チャレンジ優勝解法（参考） — ショートパンツ 93.5%・4種平均 79.63%（Pi0.5＋強化学習・H200 で学習）
失敗の内訳 — 失敗 8 本はすべて制限時間（600ステップ）内に畳み終えられなかったもの。服ごとの失敗回数（各2回中）: Seen_0 1回、Seen_1 2回、Seen_2 1回、Seen_7 1回、Seen_8 1回、Unseen_0 2回
数字の読み方
シミュレーションの結果です — 実機での再現は行っていません。LeHome は実機との併用（Sim+Real 共学習）で実機成功率が上がることが論文で報告されている環境です
成功の定義はベンチマーク側 — 畳み終えた形の判定はチャレンジ公式の評価器によるもので、当社は手を加えていません
12着×1回の途中評価はぶれる — 選抜では 83% だった重みが、別系列の判定では 67% でした。公表値は必ず別系列の再測定にしています
等倍速 — 掲載動画はすべて実時間です。1回の畳みは約5秒で終わります
失敗から学んだこと
学習は長ければ良いわけではない — 前回の G1 の案件と同じく、最も早いチェックポイントが最良でした。データ 250 本に対し 30k ステップは過学習側
公開手法は「動くまで」に落とし穴が7つあった — EULA の非対話受諾、依存パッケージのビルド、物理ライブラリの版衝突、ヘッドレスでの入力デバイス初期化など。全部手順書に残しています
評価器の動画は旧式コーデック — そのままでは再生できない環境があるため、公開用は H.264 に変換しています
実機・お客様の課題への展開
布・袋・ケーブルのような柔らかい対象の自動化は、従来のロボットでは手が出しにくい領域でした。本件のように公開データとシミュレータで成立性を先に確かめ、その後に実機のデータ収集へ進む形なら、テレオペ機材を揃える前に判断材料が得られます。SO-ARM101 は数万円級のアームで、実機への展開コストも小さい構成です。
こんな課題をお持ちの方へ
服・袋・ケーブルなど柔らかい物のハンドリングを自動化したい
テレオペ機材や実機データ収集の前に、シミュレーションで実現性を確かめたい
最新の公開ベンチマークや論文の手法を、自社の課題で動かして評価したい
データ取得から学習・評価・デモ動画化まで一貫して任せたい