両腕ロボット 模倣学習による自律服畳み

服やタオルのような変形する物体は、ロボットにとって最も難しい対象の一つです。本プロジェクトでは、ICRA 2026 で公開されたばかりの家庭内変形物シミュレータ LeHome と、その公開データ（ショートパンツ 250 本）を使い、低価格の両腕ロボット SO-ARM101 がショートパンツを半分に畳む動作を模倣学習（ACT）で獲得しました。テレオペ機材は使っていません。公開されたデータを学習し、評価はベンチマーク公式の評価器で行っています。続けて、袖を内側に折ってから半分に畳む長袖トップスの多段の畳みも同じ手順で獲得しました（自律成功率 50%）。

学習済み方策による自律動作の成功例4本（うち1本は学習に出ていない形の服）。等倍速・シミュレーション。判定は24回中16回が成功

対象ロボットと環境

SO-ARM101 ×2（両腕） — 6自由度の低価格アーム2台。方策は12関節を直接制御

LeHome — ICRA 2026 で公開された家庭内・変形物操作のシミュレータ（NVIDIA Isaac Sim 5.1 上・布の物理シミュレーション付き）。公式チャレンジ版の環境と評価器をそのまま使用

学習データ — 作者チームが公開した SO101 Leader によるデモ 250 本・40,755 フレーム・30fps（上部カメラ＋左右手首カメラ＋関節角）。当社側のテレオペは0本

学習 — LeRobot の ACT を公式設定（batch 16・3カメラ 640×480）で学習。クラウドGPU NVIDIA L4 1枚

「テレオペ無し」で何ができたか

変形物の模倣学習では、人がロボットを操作してデモを集める工程（テレオペ）が最大のコストです。本件はその工程を持たず、公開データの取得 → 学習 → 公式評価器での自律評価 → 動画化だけで、1日・GPU 1枚で結果まで到達しました。

方策の入力になっている3つのカメラ映像（上部・左手首・右手首）。この映像と関節角だけから次の動きを出力

結果（ショートパンツ）

自律成功率 — 67%（16/24・服12着×2回・チェックポイント選抜とは別の乱数系列で判定）

内訳 — 学習に出た形の服 14/20、学習に出ていない形の服 2/4

チェックポイントの選び方 — 途中の重みを別系列で評価（10k: 83%・20k: 75%）し、最良の 10k ステップを採用。公式設定は 30k ステップですが、20k で下がったため 21k で打ち切りました

学習時間 — 採用した 10k ステップまで 1時間56分（L4 1枚）

論文の同条件ベースライン（参考） — LeHome 論文の Fold Garment: ACT 45%・Diffusion Policy 30%・SmolVLA 70%・π0 44%（デモ50本・100試行）

チャレンジ優勝解法（参考） — ショートパンツ 93.5%・4種平均 79.63%（Pi0.5＋強化学習・H200 で学習）

失敗の内訳 — 失敗 8 本はすべて制限時間（600ステップ）内に畳み終えられなかったもの。服ごとの失敗回数（各2回中）: Seen_0 1回、Seen_1 2回、Seen_2 1回、Seen_7 1回、Seen_8 1回、Unseen_0 2回

多段の畳み — 長袖トップス

長袖トップスの成功例4本（うち学習に出ていない形の服 1本）。袖を内側に折り込んでから全体を半分に。等倍速・シミュレーション。判定は24回中12回が成功

ショートパンツは1回の折りで完了しますが、長袖トップスは左右の袖を内側に折り込み、そのあとに全体を半分に畳む多段の動作が必要です。成功の判定条件も4つから5つ（服の6つの基準点どうしの距離）に増えます。公開データ（長袖トップス 250 本・83,068 フレーム。1本あたり平均 11 秒で、ショートパンツの約2倍の長さ）から、ショートパンツとまったく同じ手順で ACT を学習しました。テレオペ機材は使っていません。

自律成功率 — 50%（12/24・服12着×2回・チェックポイント選抜とは別の乱数系列で判定）

内訳 — 学習に出た形の服 11/20、学習に出ていない形の服 1/4

チェックポイントの選び方 — 途中の重みを別系列で評価（5k: 0%・10k: 17%・15k: 67%）し、15k ステップを採用。採用した重みまでの学習時間 3時間12分（L4 1枚）

チャレンジ上位の参考値 — 長袖トップスは優勝チーム 74.5%・リーダーボード最高 77.0%（Pi0.5＋強化学習・H200 で学習）

失敗の内訳 — 失敗 12 本のうち 12 本は制限時間（600ステップ）内に畳み終えられなかったもの。服ごとの失敗回数（各2回中）: Seen_0 1回、Seen_1 1回、Seen_2 1回、Seen_6 1回、Seen_7 2回、Seen_8 1回、Seen_9 2回、Unseen_0 1回、Unseen_1 2回

数字の読み方

シミュレーションの結果です — 実機での再現は行っていません。LeHome は実機との併用（Sim+Real 共学習）で実機成功率が上がることが論文で報告されている環境です

成功の定義はベンチマーク側 — 畳み終えた形の判定はチャレンジ公式の評価器によるもので、当社は手を加えていません

12着×1回の途中評価はぶれる — 選抜では 83% だった重みが、別系列の判定では 67% でした（長袖も 67%→50%）。公表値は必ず別系列の再測定にしています

等倍速 — 掲載動画はすべて実時間です。ショートパンツは約5秒、長袖トップスは約10秒で畳み終えます

失敗から学んだこと

学習の長さはタスクの長さで変わる — ショートパンツ（1回の折り）は最も早い 10k の重みが最良で 20k で下がりましたが、長袖（多段）は 5k: 0%・10k: 17%・15k: 67% と伸び続けました。動作が2倍長いぶん、学習も長く要ります

公開手法は「動くまで」に落とし穴が7つあった — EULA の非対話受諾、依存パッケージのビルド、物理ライブラリの版衝突、ヘッドレスでの入力デバイス初期化など。全部手順書に残しています

評価器の動画は旧式コーデック — そのままでは再生できない環境があるため、公開用は H.264 に変換しています

実機・お客様の課題への展開

布・袋・ケーブルのような柔らかい対象の自動化は、従来のロボットでは手が出しにくい領域でした。本件のように公開データとシミュレータで成立性を先に確かめ、その後に実機のデータ収集へ進む形なら、テレオペ機材を揃える前に判断材料が得られます。SO-ARM101 は数万円級のアームで、実機への展開コストも小さい構成です。

こんな課題をお持ちの方へ

服・袋・ケーブルなど柔らかい物のハンドリングを自動化したい

テレオペ機材や実機データ収集の前に、シミュレーションで実現性を確かめたい

最新の公開ベンチマークや論文の手法を、自社の課題で動かして評価したい

データ取得から学習・評価・デモ動画化まで一貫して任せたい