音声入力
3CX Call Control API · 8 kHz mono
getAudioStreamScreenshot
Projects
Voice Agent
Orchestrator
Individual ProjectPrototype
Stack
- Node.js
- TypeScript
- Angular
- Voice AI
- AI Runtime
- Voice Streaming
- Realtime & Pipeline
- MCP
- 3CX Call Control
- RAG
- SQLite-Vec
- ONNX Runtime
- Docker
Overview
Voice Agent Orchestrator は telephony 上で AI voice agent を構築・評価・運用する standalone on-premises プラットフォーム。単一の speech-to-speech モデルで会話全体を回すか、pipeline mode — 各段階を独立設定できる composable STT → LLM → TTS stack を使う。Knowledge retrieval、MCP tooling、built-in evaluation は単一 control plane で管理。
Problem
Voice AI 連携は特定のプロバイダー、runtime、デプロイ前提を中心に構築されることが多い。組織が新しいモデル、ローカル推論、ナレッジシステム、ハイブリッドアーキテクチャを導入するにつれ、ビジネスロジックは実装詳細との結合が深まる。
その結果、実験は遅くなり、連携が重複し、基盤 AI スタックが変わるたびにメンテナンスコストが増える。課題は単一プロバイダーやモデルを支えることではなく、周辺プラットフォームまで巻き込まずに会話システムを進化させることにある。
Approach
プラットフォームは 2 つの interchangeable voice runtime アーキテクチャを中心に構築され、PBX から独立してデプロイされる — AI スタックは通信コアに結合せず、独自のペースでスケールし、素早く出荷できる。
Realtime mode は単一の speech-to-speech プロバイダーで会話全体を回す。Pipeline mode は独立した STT、LLM、TTS 段階を cloud、on-premises、hybrid デプロイに組み合わせる — プロバイダーが native streaming か batch API かに関わらず、統一された runtime 抽象を使う。
Turn-taking、barge-in、provider orchestration は telephony 連携コードではなく voice runtime 内で処理される。
プラットフォームは Call Control API 経由で 3CX と統合しリアルタイム通話を処理。内蔵 3CX MCP server を主要な tool 実行レイヤーとする。連絡先検索、内線発見、通話転送、ルーティングなどの中核 telephony 機能を MCP tools 経由で agent に公開。電話帳検索は 3CX の fuzzy linguistic matching を活用し、音声認識誤差を補完する。
プラットフォームアーキテクチャ
コントロールプレーン
任意のアーキテクチャ・デプロイ種別の複数スタックを作成し、スタックごとに agent を割り当て — すべて 1 つの runtime で同時稼働。
エージェント
Agent A
Agent B
Agent C
Agent D
agent ごとに voice、言語、プロンプト、ツール、ナレッジアクセスなどを設定。
音声処理アーキテクチャ
ライブ通話の音声処理パス — 入力音声から応答音声まで。
PCM ストリーム
音声区間検出
STT 前 · 単一 VAD バックエンド · barge-in
Silero VAD neural
生 PCM 上の neural ONNX。発話開始、無音ウィンドウ、エージェント発話中の barge-in。
Amplitude VAD
ピーク振幅しきい値、依存なし。neural VAD が不要な場合の軽量代替。
Stop-speaking plan
コード強制 · barge-in
発信者が応答途中で割り込める場合 — 語数しきい値、割り込み後バックオフ、エージェント発話中のより厳格な VAD。
speech-gated PCM
音声認識
クラウドまたはオンプレ · ストリームまたはバッチ · 8 kHz からの任意アップサンプル
クラウド
パブリック vendor API。
- ストリームDeepgram · AssemblyAI · Speechmatics
- バッチ柔軟な OpenAI 互換エンドポイント
オンプレ
自社ネットワーク上の sidecar — クラウド egress なし。
- ストリームローカル WS ストリーム （sherpa-onnx sidecar）
- バッチ柔軟な OpenAI 互換エンドポイント
トランスクリプト
ターン確定
Patch 重点 · LLM 前の単一 authority
STT は発信者のターンが完了した後にのみ LLM へ transcript chunk をコミット。STT モデルがパスを選択：ストリーム上の vendor end-of-turn、または Smart Turn — VAD 一時停止後に発信者音声からターン完了度をスコアする neural オーケストレーターモジュール。
Smart Turn neural
オーケストレーターモジュール
発話一時停止後にターン完了度をスコアし、LLM へコミット。STT モデルに組み込み turn detection がない場合に使用 — 例：Whisper、Nova、オンプレ batch。
Provider EOT vendor
STT モデルに同梱
- Deepgram Fluxストリーム上の end-of-turn
- AssemblyAI U3組み込み turn detection
- Speechmatics組み込み turn detection
確定ターン
言語モデル
クラウドまたはオンプレ · OpenAI 互換ストリーミング
クラウド
ホスト型推論・ルーティング API。
- ゲートウェイOpenAI · OpenRouter · Groq · xAI
- モデル数千の OpenAI 互換モデル
オンプレ
ローカルまたはデータセンター GPU — クラウド egress なし。
- 開発Ollama · ローカルモデル & edge
- 推論vLLM · SGLang · 本番 GPU
Ollama
トークンストリーム
文ストリーミング
オーケストレーターモジュール · LLM delta → TTS サイズのチャンク
Sentence accumulator
オーケストレーターモジュール
LLM トークンストリームを文にバッファし、完成ごとに TTS へ dispatch — 生成が続く間も発信者は応答を聞ける。並列 TTS、3CX への順序再生。
文
音声合成
クラウドまたはオンプレ · 3CX 向け 8 kHz への任意ダウンサンプル
クラウド
ホスト型音声 API — WebSocket または HTTP。
- ストリームElevenLabs · Cartesia · Deepgram Aura
- バッチ柔軟な OpenAI 互換エンドポイント
オンプレ
ローカル sidecar — クラウド egress なし。
- ストリームローカル WS ストリーム （Kokoro WS sidecar）
- バッチ柔軟な OpenAI 互換エンドポイント
PCM 出力
音声出力
3CX Call Control API · barge-in ループ
postAudioStreamCapabilities
Operations Dashboard
- Realtime / Pipeline の agent stack を一箇所で制御・管理。
- STT / LLM / TTS、または単一 speech-to-speech runtime で local・cloud・hybrid を組み合わせ。
- Live Agent Activity — 現在 / 直近の通話、transcript、agent 応答、tool calls。
- Outbound Missions & Automations — active / scheduled / in-call を追跡。
- Vex、Knowledge Base、Ollama embeddings の platform services 健全性。
Agent Runtime
- Role、caller state、routing、prompt、tools、playbooks から agent を構成 — 単一の system prompt ではない。
- Per-tool Behavior playbooks と Runtime hooks — privileged tools の前に required state と call-routing を強制。
- Working memory — turn / tools / consult legs 間で共有する structured caller state。
- Built-in call-control、MCP、webhook tools を per-agent で組み合わせ。
- Inbound calls と outbound missions を同一 runtime で。
- Cross-agent handoffs と attended transfer などの複雑な telephony 操作。
- Role presets をベースラインに — 作成後もすべて編集可能。
Knowledge Base
- Docker 経由でワンクリックのローカル RAG デプロイ。
- SQLite、sqlite-vec、Nomic embeddings を基盤に構築。
- すべての provider と runtime モードで共有。
- モデル切り替え時に移行は不要。
- tool calling に対応する任意のモデルと互換。
- ダッシュボードから直接ドキュメントをアップロード・管理。
- PDF、Markdown、プレーンテキストソースに対応。
MCP Integration
- telephony 操作用の内蔵 3CX MCP server。
- 連絡先検索、内線発見、routing、call transfer。
- API ベース連携によるカスタム MCP server サポート。
- Realtime と Pipeline アーキテクチャ間で共有。
- コアロジックを変更せず agent 動作を容易に拡張。
- MCP server 接続後、agent 設定で agent ごとの tool filtering を簡単に構成可能。
Model Quality Evaluation
- Pipeline アーキテクチャ向けに利用可能。
- Agent 対 Agent evaluation フレームワーク。
- agent 設定に基づく動的 test scenarios。
- Knowledge Base、routing、tool usage シナリオを自動で含む。
- 設定変更をデプロイする前にリグレッションを検出。
- 同一 agent setup 下でモデルを比較。
Stack Cost Analysis
- Realtime と Pipeline アーキテクチャのコストを個別追跡。
- stack 変更後、active sessions を自動アーカイブ。
- 過去の構成と provider 組み合わせを比較。
- 対応プロバイダーで価格を自動同期（例: OpenRouter）。
- 非対応プロバイダー向けに手動価格 override と更新追跡。
- self-hosted コンポーネント向けのオプション infrastructure コスト計上。
Performance Monitoring
- Realtime 応答レイテンシの監視。
- runtime コンポーネント横断の Pipeline レイテンシ分解。
- 会話中の turn 単位パフォーマンス追跡。
- active stack 内のボトルネックを素早く特定。
- 異なる構成間のパフォーマンス比較。
- 最適化とトラブルシューティング向けの組み込み diagnostics。
Vex
- プラットフォーム管理者 copilot — 電話上の voice stack とは別の text LLM。
- プレビューと confirm 付きの guided draft flow で voice agent を作成・編集。
- chat から outbound mission、task board、mission lifecycle を管理。
- batch outbound automation をスケジュール — 不在着信コールバック、日次 dial run など。
- connector 設定時は chat 内で PBX と custom MCP — call history、phonebook、外部 API。
- proactive platform alerts と on-demand ドキュメント — operator 会話タブとは分離。
