TEAMZ
ブログ一覧へ戻る
技術ブログ2026-04-11

工場ダッシュボードに音声AIを搭載したら現場が変わった話

きっかけ:「ダッシュボードは見るだけ」問題


生産管理ダッシュボードは便利ですが、現場での使い方は「全画面に映して眺めるだけ」になりがちです。特定のオーダーを見たいときにPC操作が必要で、手が汚れている・手袋をしている現場スタッフには不向きでした。


解決策:音声でダッシュボードを操作する


マイクボタンを1回押して話すだけで、AIが意図を理解して画面を操作します。


  • 「トロンのオーダーは?」 → 該当オーダーに画面切替+進捗を音声で回答
  • 「遅延しているオーダーは?」 → AIが分析して音声で回答
  • 「自動更新」 → オーダーの自動切替を再開
  • 「自動更新停止」 → 自動切替を停止

  • ポイントは、AIがキーワードマッチではなく**意図を理解**していること。「トロンを見せて」「トロンの進捗」「株式会社トロンの状況」——どれでも同じオーダーに切り替わります。


    6つのLLMモデルを切替可能


    コスト・精度・プライバシーの要件は現場ごとに異なります。そこで6モデルの切替に対応しました。


  • Claude(Anthropic) 有料だが精度最高。プライバシーも安全
  • Gemini 2.5 Flash(Google) 安価で高精度
  • Gemini 3.1 Flash-Lite(Google) さらに安価
  • Gemma 4(Google) 無料。精度は中程度
  • Groq Llama 4 / Qwen3 無料かつデータ保護(ZDR)付き

  • ヘッダーのセレクターで切り替えるだけ。デモで「モデルによる精度差」を見せると、お客様のAIリテラシー向上にもつながります。


    技術的なポイント


  • Web Speech API ブラウザ内蔵の音声認識。追加コストゼロ
  • 2秒の沈黙検出 continuous=trueで認識し、2秒間の沈黙で自動送信。途中で切れない
  • AIアクション判定 APIがJSON形式で「navigate / resume_rotation / pause_rotation / answer」を返し、フロント側で画面操作を実行
  • フォールバック JSONパース失敗時もテキスト回答として処理。エラーで止まらない

  • 応用可能性


    「既存データ + ダッシュボード + 音声AI」のアーキテクチャは、あらゆるモニタリング業務に横展開できます。データソースをGoogle Sheetsから差し替えるだけで、倉庫・物流・建設・小売など幅広い業界に適用可能です。


    **デモはこちら → z-factory.vercel.app**(ログインが必要です)

    AI活用・開発のご相談

    この記事で紹介したAI技術の導入に興味はありませんか?PoCから本番導入まで一貫して対応します。

    AI Concierge

    Online
    Team-Z AIコンシェルジュです。ROS2を用いたロボティクス開発、AIを活用したシステム構築、エンジニアの技術支援(SES)についてご案内します。どのような課題をお持ちですか?

    Powered by TEAM Z AI