ヒューマノイドロボット 模倣学習による自律 pick & place

Unitree G1 は29自由度のヒューマノイドロボットで、手先に3指ハンド Dex3 を装着できます。本プロジェクトでは、卓上の円柱ワークを掴んで持ち上げ、指定位置に立てて置く一連の動作を、模倣学習（ACT）で獲得しました。学習した方策の入力は頭部カメラの映像と自分の関節角だけです。ワークの位置は教えていません。教師データは人のテレオペではなく、シミュレータ内のスクリプトが自動生成したもので、人が操作したデモは0本です。

学習済み方策による自律動作（ワークはランダム位置・等倍速・シミュレーション）。10回中6回が成功

対象ロボットと環境

Unitree G1 — 29自由度ヒューマノイド。右腕7関節＋Dex3 3指ハンド7関節の計14関節を方策が直接制御

Dex3-1 — 親指・人差し指・中指の3指ハンド

NVIDIA Isaac Lab — Unitree 公式のシミュレーション環境上で、データ収集・学習・評価を実施。学習は LeRobot の ACT 実装

クラウドGPU — NVIDIA L4 1枚（AWS）。データ収集1.9時間、学習3.4時間

「学習した方策が本当に動かしている」とはどういうことか

ロボットのデモ動画には、あらかじめ書いたプログラムをそのまま再生しているものも少なくありません。本件はそれとは違います。

まず、シミュレータからワークの真の座標を受け取れるスクリプト（教師）を作り、pick & place を150回成功させて記録しました（人のテレオペは使っていません）。記録するのは頭部カメラ映像と関節角だけで、ワークの座標は記録に含めません。このデータで ACT（Action Chunking with Transformers）を学習させると、方策は「映像と関節角から次の動き」を覚えます。

評価では、ワークをランダムな位置に置き、方策だけでロボットを動かします。誰も位置を教えないので、方策は映像からワークを見つけて掴むしかありません。教師は評価に関与しません。

方策の入力になっている頭部カメラ映像。物体検出などの前処理はなく、この映像をそのまま学習

結果

自律 pick & place 成功率 — 60%（6/10・ランダム位置・チェックポイント選抜とは別の乱数系列で判定）

自律把持成功率（持ち上げ） — 90%（9/10）

所定位置まで運べた回数 — 9/10。うち立てたまま置けたのが 6 回、置く瞬間に倒れたのが 3 回

教師の成績（参考） — 把持 100%、pick & place 80%（ランダム位置10回）

学習データ — 150 エピソード・89,418 フレーム・30fps

テレオペ — 無し（人が操作したデモ0本）。VR やリーダーアームなどの機材は使っていません

ワークの引きずり — 持ち上げ前の水平移動の中央値: 教師データ 22mm・学習済み方策 20mm（前バージョンの教師 104mm）

チェックポイントの選び方 — 学習途中の4つの重み（25k/50k/75k/100kステップ）を別系列で評価して選定（25k: 80%・50k: 80%・75k: 70%・100k: 70%）。採用は25kステップ。検証損失ではなく実際に動かした成功率で選んでいます

左: 前バージョン（6cm立方体・学習済み方策・引きずりあり）／右: 本件（円柱・学習済み方策）。いずれも等倍速

遠回りの記録 — 最初の3週間は掴めなかった

最初のワークは 6cm の立方体でした。教師の設計を40回以上やり直し、ようやく掴めるようになって学習も一度は通りましたが（自律把持 40%）、動画にできる品質ではありませんでした。掴む前にワークを10cm以上引きずってしまうからです。

原因を突き止めるため、ハンドの STL メッシュから包絡モデルを作って幾何を検査したところ、このハンドの掌と指の胴体は、6cm 立方体を上から挟むには物理的に干渉することが分かりました。真上・側方・角柱への変更、いずれも干渉ゼロの姿勢は存在せず、唯一通るのは「口の正面から挿入する」向きだけでした。Unitree が同梱している Dex3 用タスクは、まさに直径 36mm の円柱を対象にしていました。ハンドの設計意図に合わせてワークを円柱に変えたところ、教師はその日のうちに掴めるようになり、引きずりは 104mm から 22mm に減りました。

数字の読み方

教師と生徒の差 — 教師の成功率をそのまま生徒が超えることはありません。文献でも教師→生徒で −25〜−58 ポイントの落ち幅が報告されています

シミュレーションの結果です — 実機での再現はまだ行っていません。ただし方策の入力は実機でも取得できる頭部カメラと関節角だけに限定しており、実機に持ち込む前提で設計しています

等倍速 — 掲載動画はすべて実時間です

失敗の内訳 — 把持できなかった 1 回は、ワークがランダム範囲の隅（中心から約 3.3cm）にあった試行。置けなかった 3 回はいずれも所定位置まで運べており、置く瞬間に倒れています

失敗から学んだこと

幾何の検査は最初に — ハンドと物体の相性は、試行錯誤より先に包絡モデルで判定できる。3週間の遠回りは、着手前に幾何を検査していれば避けられた

成功データだけ集めても癖は残る — 教師の引きずりは生徒に引き継がれ、むしろ増幅した（10.4→12.4cm）。品質は教師の段階で作り込む必要がある

チェックポイントは損失ではなく実成功率で選ぶ — 検証損失が最小の重みが最も動くとは限らない

実機・お客様の課題への展開

本件で取り組んだ環境構築、教師データの設計・収集、学習、動作評価は、開発参画で担当する業務の例です。対象のワークやロボット、利用できるデータ・検証環境を確認し、準委任で担当する範囲と稼働条件をご提案します。実機への適用には、対象機体と環境に応じた追加の実装・検証が必要です。

こんな課題をお持ちの方へ

ヒューマノイドや多指ハンドで物体操作を学習させたい

テレオペ機材や実機データ収集の前に、シミュレーションで実現性を確かめたい

模倣学習・VLA を試したが成功率や動作品質が上がらない

データ収集から学習・評価・デモ動画化まで一貫して任せたい