Google Sheetsの受注データをリアルタイムにダッシュボード表示。マイクに話しかけるだけでオーダー検索・画面操作・生産状況の問い合わせができる音声AIアシスタントを搭載。6つのLLMモデルを切替可能。
「聞くだけで答えが返る」工場ダッシュボード
デモ動画：ダッシュボード表示 → マイクで質問 → AIがリアルタイムに回答
工場のアンドンボード（大画面サイネージ）に音声AIを統合。現場スタッフが手を止めずに生産状況を確認できるシステムを構築しました。
処理フロー
1
音声入力
マイクボタンを押して
自然な日本語で質問
Web Speech API
自然な日本語で質問
Web Speech API
2
AI解析
6つのLLMから選択して
質問を解析・意図理解
Claude / Gemini / Groq
質問を解析・意図理解
Claude / Gemini / Groq
3
データ照会
Google Sheetsの受注データ
をリアルタイムに取得
Google Sheets API
をリアルタイムに取得
Google Sheets API
4
音声回答＋画面操作
AIが音声で回答しつつ
画面を該当オーダーに切替
SpeechSynthesis API
画面を該当オーダーに切替
SpeechSynthesis API
例：
「トロンのオーダーは？」
→ 音声回答＋画面自動切替（3秒以内）
システム構成
🎤 音声入力
Web Speech API
→
Web Speech API
🤖 AI（LLM）
6モデル切替
→
6モデル切替
📊 ダッシュボード
KPI・進捗表示
KPI・進捗表示
📋 Google Sheets
受注データ
⟵ 10秒ごと自動取得 ⟶
受注データ
🖥️ Next.js
Vercel
⟵ 認証 ⟶
Vercel
🔐 Supabase Auth
ログイン管理
ログイン管理
主な機能
なぜ音声AIなのか
✕ 従来：タッチパネル操作
1. 手袋を外す（工場では常時着用）
2. タッチパネルまで移動
3. メニューを探して操作
4. 情報を見つけるまで画面遷移
5. 手袋を付け直して作業に戻る
✓ 音声AI：話すだけ
1. マイクボタンを押す（1秒）
2.「トロンのオーダーは？」と話す（2秒）
3. AIが音声で回答＋画面自動切替（1秒）
4. 作業しながら回答を聞く
5. 手を止めずに情報取得完了
マルチモデル比較
| モデル | プロバイダ | 料金 | プライバシー | 精度 | 応答速度 |
|---|---|---|---|---|---|
| Claude Sonnet 4 | Anthropic | 有料 | ◎ 安全 | ◎ | 中 |
| Gemini 2.5 Flash | 安い | △ | ◎ | 速い | |
| Gemini 3.1 Flash-Lite | 安い | △ | ○ | 最速 | |
| Gemma 4 | 無料 | △ | ○ | 中 | |
| Llama 4 Scout | Groq | 無料 | ◎ ZDR | ○ | 速い |
| Qwen3 32B | Groq | 無料 | ◎ ZDR | ○ | 速い |
ZDR = Zero Data Retention（データ保持なし）。用途に応じて「コスト優先」「精度優先」「プライバシー優先」を現場で選択可能。
技術スタック
応用可能性
🏭 倉庫・物流
在庫状況・出荷進捗を音声で照会。ピッキング中に手を止めずに確認
🏗️ 建設現場
工程進捗・安全KPIの音声確認。ヘルメット着用のまま操作
🛒 小売・飲食
売上・客数のリアルタイム把握。調理中・接客中でも情報取得可能
この「既存データ + ダッシュボード + 音声AI」のアーキテクチャは、**Google Sheets等の既存データソースをそのまま活用**できるため、新しいシステム導入の負担を最小限に抑えられます。