収穫区画から集荷場までの移動を、一部自動化できないか。チームゼットでは、果樹園と小型車両を仮想環境に作り、約90mの経路走行、横断する人物を待って再開する動作、通路の荷箱を検出して止まる動作を試しました。
狙いは、走行できる映像を作ることに加えて、条件を変えたときに認識と制御がどう変わるかを調べられる環境を作ることです。対象区間を決め、何を検出し、どの条件で止め、何を測るか。その組み立て方を紹介します。
車両は公開外観を参考にした独自モデルで、実車の性能を再現したデジタルツインではありません。追加センサーと走行制御は当社が仮想試験用に実装しました。今回は空車での移動を対象とし、積載・積み降ろしは含みません。
人を見つけて止まる。荷箱でも止まる。仕組みは別々
人物の検出には、RT-DETRv4-Sの公式学習済みモデルを使っています。車載カメラのRGB画像を入力し、進行方向の判定範囲に人物を検出すると減速・停止。人物が通過した後に走行を再開します。人物の距離は、検出枠の足元を平らな地面へ投影して見積もっています。
荷箱に対しては、Isaac SimのRTX LiDARが出力する点群を使います。車両前方の判定領域に、一定の高さを持つ点が続けて観測されると停止を要求します。荷箱の正解座標や「荷箱」という分類結果を停止処理へ渡しているわけではありません。
学習AIを使っているのは人物検出です。停止・再開と経路追従は、検出結果や推定位置を使う制御ルールです。AIが運転全体を学習した方式ではなく、障害物の自動迂回も実装していません。センサーで周囲を観測し、判断を物理シミュレーション上の車輪・操舵へつなぐ部分を検証しています。カメラ・LiDAR・IMU・GNSSを、何に使うか
位置が分かることと、前方を通ってよいことは別の問題です。このデモでは、経路に沿って走るための自己位置推定と、人物・障害物による停止判断を分けています。
| 入力 | 今回の役割 | 実装・前提 |
|---|---|---|
| カメラ | 人物検出と、画像からの相対移動推定 | RT-DETRv4-S／左右画像を使うcuVSLAM 17 |
| LiDAR | 障害物による停止と、点群による位置推定 | RTX LiDARの実際の出力。位置合わせの品質が低いときは採用しない |
| IMU・車輪 | 旋回や移動の予測 | シミュレーターのIMUと車輪関節の計測値 |
| 模擬GNSS | 位置の補正と、途絶時の動作確認 | 10Hz、水平各軸に標準偏差3cmの独立誤差。20秒間の途絶を設定 |
4種類を常に同じ重みで使うわけではありません。取得状況や整合性を見て使う情報を切り替えます。約90mの試行では、模擬GNSSを仮想時刻18〜38秒で途絶させても走行を継続しました。ただし、これは衛星電波や樹冠下の反射、RTKの収束を再現したものではありません。
同じ経路で条件を変えると、何が見えるか
経路・人物の動き・認識と制御の設定を揃え、標準、低い日照と長い影、荷箱の位置変更の3条件を各1回実行しました。いずれも人物の横断に対して停止し、通過後に再開して集荷地点へ到着しました。走行距離は約90.5m、人物との最小離隔は約3.73〜3.74mでした。これらはシミュレーター内の形状と走行ログによる事後評価です。
誤検出も残りました。標準と荷箱位置変更の条件では、樹木を人物として出力した例が各1回あります。動画の「人物クラス初出力」は実際の作業者を初めて捉えた時刻とは限りません。画像とログを照合することで、検出されたかだけでなく、何を誤検出し、停止判断に影響したかを確認できます。
別の短区間試験では、荷箱の横位置だけを変えました。通路脇にある場合は約15mを走って到着し、通路中央に置いた場合はLiDARによる停止要求の後、車速が0.03m/s未満になりました。中央配置での荷箱との最小離隔は約3.49mです。停止後は待機を続け、自動再開や迂回はしていません。
論文の手法は、どこに取り入れたか
人物検出に使ったRT-DETRv4は、大きな視覚モデルの表現を学習時に検出器へ伝える研究です。2026年10月8日改訂の論文を確認し、公式の学習済みモデルを接続しました。当社で追加学習したわけではありません。別途用意した小規模な合成画像の比較では、今回の用途で認識精度が向上したとは確認できていません。
位置推定では、LiDAR・画像・IMU・GNSSを組み合わせるFAST-LIVGOを設計の参考にしました。今回実装したのは独自の簡易処理で、論文の推定器や性能を再現したものではありません。研究の成果と、このデモで実際に確認できたことを分けて扱います。
次に実車と比較するなら、何を揃えるか
この環境でできるのは、条件を固定して変化を作り、認識・測位・制御のどこで問題が起きるかを追うことです。実際の農場で使えるかを評価するには、対象区間の路面や勾配、センサーの取り付け位置、車両の操舵・制動特性などを実測し、仮想環境との違いを確かめる必要があります。
まず必要になるのは、時刻を揃えたカメラ・LiDAR・IMU・GNSSの記録と、それらとは別に測る基準位置、速度、停止距離です。何をどの方法で測り、誰が取得するかを決めてから、シミュレーションの再現範囲と比較条件を設計します。
今回の実行環境はIsaac Sim 6.0.1-rc.7です。平らな路面を使い、推論中は仮想時間を止めています。雨・霧、実時間の処理遅延、実車の安全性は未検証です。動画の停止距離を、そのまま実車の停止性能として使うことはできません。
チームゼットでは、ロボットや車両の仮想環境づくりから、センサーと認識・制御の接続、条件を変えた比較評価まで取り組んでいます。自動化したい区間や、まず確かめたい動作があれば、開発・検証のご相談をお寄せください。
参考情報・使用素材
車両外観の参考：C580公開情報。メーカー提供CADや実車制御仕様を使用したものではなく、走行制御・追加センサーは参照車両の標準機能を示しません。農場は架空の環境です。
人物：ddd 142_Kei。空：Poly Haven / Farm Field Pure Sky（CC0、Dimitrios Savva・Jarod Guest）。掲載するのは当社制作の映像で、モデル・テクスチャ等の素材データは配布しません。