G1が画像を見て箱を運ぶ — ACT学習と自律評価

開発レポート｜2026年9月6日

Unitree G1が棚の箱を両腕で支え、歩いてトレーへ運ぶ。公開データを使って模倣学習モデルACTを学習し、カメラ画像と関節の状態から次の動作を決める自律実行を検証しました。成功例は得られましたが、初期モデルの配置・静止は10回中4回。安定して作業を任せられる段階には届いていません。

初期モデルの最終評価から成功例1本。19.4秒・シミュレーション時間の等倍速。成功例だけで全体の性能を判断せず、以下の10試行の結果と併せてご覧ください。

前回の「指令再生」と、今回は何が違うのか

前回は、「腕をこの角度にする」「前へこの速度で進む」といった保存済みの指令を順番に実行しました。FAのティーチングプレイバックに近い方式です。バランス制御は働きますが、箱の画像を見て次の操作を判断する方式ではありませんでした。

今回は、頭部カメラの画像と関節位置をACTへ入力し、学習済みモデルが腕・移動などの指令を出します。評価中に教師の動作列は再生していません。下半身のバランス・歩行は既存の全身制御と組み合わせています。以下の公式デモ再生とは、この点が異なります。

開発の前段：公式デモの再生検証

ACT学習に先立ち、当社環境で公式デモ1本・853ステップを再生しました。以下は保存済み指令の再生であり、当社学習モデルの自律評価には数えていません。

公式デモ再生・シミュレーション・等倍速（17.06秒）。当社で収録し、説明帯を付加。

環境構築ではAPIの差への対応、公式素材の補完、録画用カメラの設定を実施しました。保存済みの指令と初期状態は変更していません。終端で箱がトレー上にあることを映像で確認し、最終位置は公式タスクの近接条件を満たしました。

一方、公式の許容差による状態比較では853ステップ中15ステップが一致し、838ステップに差がありました。位置成分の最大差はG1で約89mm、箱で約125mmです。既定テクスチャ3件も未取得で、環境の完全な再現は未完了です。最後まで再生できたことと、元データに厳密に一致したことを分けて記録しています。

再生時の環境はIsaac Lab-Arena release/0.2.1（8b4a3a4）、Isaac Sim 6.0.0-dev2、NVIDIA L4です。公式データと環境の出典は末尾に記載しています。当社による再生・収録であり、NVIDIAやUnitreeによる当社の推奨・認定を示すものではありません。

テレオペを追加せず、公開データから学習

当社で新たにロボットを遠隔操作してデモを集める工程は設けていません。NVIDIAの公開データ100本を取得し、90本を学習、10本を学習中の検証に分けました。元データには人間の実演とMimicによる生成が含まれるため、「人間由来のデータがゼロ」という意味ではありません。

クラウドGPUはNVIDIA L4を1枚使用。評価時のモデル入力に箱の正解座標は使わず、正解座標は結果の採点に使っています。本件はACTによる模倣学習で、言語指示に従うVLAの実証ではありません。

自律評価の結果

初期モデル — 4,000ステップのチェックポイントを選抜。別の乱数系列で10試行を行い、配置・静止条件を4回達成（40%）。

追加学習モデル — 20,000ステップを選抜。さらに別の乱数系列で10試行を行い、同条件を1回達成（10%）。

目標 — 70%。今回はどちらも未達です。学習を長くすれば改善するとは確認できませんでした。

各試行は箱の初期位置を前後・左右それぞれ±2cmの範囲で変え、最大24秒実行しました。2モデルは評価時の配置が異なり、試行数も各10回と少ないため、40%と10%を同条件の優劣としては比較できません。未知の工場や大きな配置変更への汎化を示す結果でもありません。

配置・静止は、箱とトレーの近接条件に加えて、箱の速度が0.1m/s未満の状態が0.5秒続くことなどで採点しています。接触力や把持の強さを保証する判定ではありません。また、このデータの手指指令は固定されており、指を閉じてつかむ技術を学習した実証ではありません。

実装から評価まで、一貫して検証する

今回行ったのは、公開データの検品・変換、ACTとシミュレーターの指令接続、学習、条件を変えた自律評価、動画とログの回収です。成功した映像に加え、失敗を含む全試行の記録を保存しました。

次は独自の工場環境で接続・接触条件を確認し、環境に合わせた学習へ進みます。実機での動作は未検証です。チームゼットでは、工場・物流現場のシミュレーション構築、ロボット学習と成立性評価、実機への接続を見据えたPoC開発をご相談いただけます。

フィジカルAI・ロボット開発について相談する →

使用環境・出典

Unitree G1 / Isaac Lab-Arena（構築元8b4a3a4）/ Isaac Lab 3.0.0 / Isaac Sim 6.0.0-rc.22（実行イメージのVERSION表記）/ LeRobot ACT / NVIDIA L4。映像は当社学習モデルによるシミュレーション実行を収録し、説明帯を付加。速度変更なし。

環境：Isaac Lab-Arena。学習データ：NVIDIA, Arena-G1-Loco-Manipulation-Task（07de42f、CC BY 4.0）。当社でデータ変換・ACT学習・評価を実施。