公開ロボットAIを試す前に確認したい、学習済みモデルと作業の対応

公開コードと学習済みモデルが揃っていても、試したい作業にそのまま使えるとは限りません。

チームゼットでは、ロボットの動作と未来の情報を生成するモデル「Flex-π」を使い、シミュレーションで電子レンジの扉を開ける検証を行いました。最初の環境では成功条件に届かず、その後、開扉を学習対象に含む別の公開モデルと環境で、3試行中1回、公式の成功条件に達しました。

この検証で紹介するのは、公開モデルを導入する際に、作業・機体・評価条件の対応をどう確認するかです。実機での検証やG1によるドア開け、自社での新規モデル学習は行っていません。

扉と腕の動きを、二つの画角で見る

83.2秒、シミュレーション時間の等倍。推論待ち時間は含みません。角度表示は同時に記録したログに基づきます。終了直前の0.088秒は動画収録外で、最終角度はログと終端画像で確認しています。

この再撮影は、下記の元の3試行には加えていません。成功条件は全開ではなく、約54度の開扉です。

最初に見落としたのは、課題と重みの対応

最初に使ったLIBERO環境には、電子レンジを開ける課題が実装されていました。しかし、使用した公開モデルの追加学習用40課題一覧に、この開扉課題は含まれていませんでした。電子レンジを閉める複合課題はありますが、開ける課題と同じではありません。

私たちは課題と重みの対応を採用条件として徹底できず、未対応の可能性がある課題への探索試験を先に進めました。既知の作業をまず再現する目的なら、この対応を実行前に確認する必要がありました。

なお、追加学習の一覧にないことだけで、モデルが事前学習を含めて一度もその作業に触れていないとは断定できません。

二つの環境で何が起きたか

LIBERO版では、最大約51.6度まで扉が動いた試行がありましたが、成功条件には届きませんでした。学習対象との不一致だけが失敗原因だったとは、この結果から断定できません。

RoboTwin版では、3試行の最大開扉角がそれぞれ54.0度、42.7度、6.5度でした。1試行が公式判定で成功し、残る2試行は未達でした。成功は全開を意味せず、ドアノブを回してラッチを解除したことも意味しません。

元の検証映像を見る（82.6秒・等倍）

二つの検証では、モデルだけでなく機体・物体・シミュレータ・成功条件も変わっています。そのため、0/3と1/3を並べて「モデルを替えた効果」とは評価できません。また、少数の試行からモデル全体の成功率や、未来予測の優位性を結論づけることもできません。

導入前に確認したい4項目

1．実行したい作業が、対象の重みに対応しているか。

シミュレータに課題があるかに加えて、モデルカード、学習タスク一覧、評価設定を照合します。同じ技術名でも、配布されているチェックポイントごとに対応範囲を確認します。

2．ロボットの観測と行動が一致しているか。

機体、ハンド、カメラ、関節や手先の行動形式を確認します。固定アームのモデルを、五指のハンドと歩行を持つG1へそのまま移せるわけではありません。今回も、その移植は検証していません。

3．「成功」が何を意味するか。

今回のRoboTwin環境は約54度で成功です。動画の見た目だけでなく、評価コードが何を測っているかを読みます。物体の質量や関節の抵抗もベンチマークの設定であり、実物を測定して合わせた環境ではありません。

4．動作動画と、実時間の処理性能を分けているか。

今回の動画はシミュレーション時間に合わせて記録しています。モデルの推論待ちは映像に含まれないため、動画の速さをそのまま実機の作業速度と解釈できません。

今回、チームゼットが担当したこと

公開モデルと実行環境の準備、依存関係と推論処理の修正、設定・重みの確認、開扉角の記録、動画とログの回収、成功判定の再確認を行いました。RoboTwin版の3動画は最後まで復号し、ログからの成功判定とも照合しています。

到達点は、公開モデルが対応するシミュレーション課題で動作する例を確認できたことです。安定した開扉、実機での動作、G1への適用を実証したものではありません。

チームゼットでは、公開モデルの環境構築や再現検証、データ整備などを、開発チームの一員として担当する参画をご相談いただけます。試したいモデル、対象のロボット、現在困っている点をお知らせください。

フィジカルAIの開発について ／ 実装・再現検証を相談する

参考：

Flex-π公式

公式コード

RoboTwin版モデル

RoboTwin開扉課題