電話の問い合わせ窓口に AI を置き、用件を聞き取って答えまで返させる取り組みが、自治体や企業で試されています。
声で話しかけると声で答え、予約や照会のような作業まで進めてくれる AI が、音声エージェント(voice agent)と呼ばれるものです。
チャットの AI に音声認識と読み上げを足せば済むように見えますが、実際に組むと、文字のやり取りでは起きなかった問題がいくつも出てきます。
中身を 3 つの段階に分けて見ると、返事が遅れる理由や、AI が話の途中で黙ったり割り込んだりする理由に説明がつきます。
音声エージェントは「聞く・考える・話す」をつないだもの
音声エージェントの仕事は、大きく 3 つに分けられます。
- 聞く: 利用者の声を文字や意味に変える(音声認識)
- 考える: 言語モデルが返事を決め、必要なら外部の道具を呼ぶ
- 話す: 決めた返事を声にして返す(音声合成)
「エージェント」と呼ばれるのは、2 つ目の段階で予約システムや在庫の検索といった道具を呼び出し、会話の中で作業まで進めるからです。
道具を呼び出す仕組みそのものは、ファンクションコーリングの記事で整理しました。
似た言葉のマルチモーダルは、モデルが文字以外の情報を入力や出力として扱える性質を指します。
音声エージェントはその性質を使って、人と途切れずに会話し続けるアプリケーションの形だと考えると区別しやすくなります。
組み方はカスケード型と speech-to-speech 型の 2 つ
3 つの段階をどう束ねるかで、組み方は大きく 2 つに分かれます。
OpenAI の Voice agents のガイドも、段階ごとに部品をつなぐ方法と、1 つのモデルに音声のまま任せる方法を分けて紹介しています。
3 段をつなぐカスケード型
カスケード型は、音声認識・言語モデル・音声合成を別々の部品として順につなぐ組み方です。
OpenAI のガイドでは「chained(連結した)パイプライン」と呼ばれ、途中の文字を確かめたり書き換えたりしたいときに選ぶ方法とされています。
書き起こしを保存する、返事の前にポリシーの検査をかける、承認された答えが出てから声にする、といった使い方が例に挙がっていました。
返事の前に検査を挟む考え方は、ガードレールの記事でまとめています。
部品ごとに別の会社のサービスへ差し替えられるのも、この型の強みです。
オープンソースのフレームワーク Pipecat はこの流れをパイプラインとして組む道具で、公式ドキュメントでは、往復の多くが 500〜800 ミリ秒に収まると説明されています。
音声を直接扱う speech-to-speech 型
speech-to-speech 型は、声を文字に変えずにモデルへ渡し、モデルが声で返す組み方です。
OpenAI の Realtime API がこの型で、Realtime API のガイドでは、モデルが音声を直接扱い、会話の状態を保ち、道具も呼べると説明されています。
割り込みへの対応や、最初の声が返るまでの短さ、自然な話者交代が要るなら、Realtime API が出発点として最適だとも書かれていました。
Google の Gemini Live API も音声を流し続けて声で返す API で、2026年10月に確かめた時点のドキュメントにはプレビュー(preview)と表示されています。
Gemini Live API では、利用者の声とモデルの声の両方について、書き起こしの文字を受け取れます。
speech-to-speech 型でも、会話の記録が残せなくなるわけではありません。
違いは、返事ができあがる前に、途中の文字を見て止めたり直したりする場所があるかどうかにあります。
| 観点 | カスケード型 | speech-to-speech 型 |
|---|---|---|
| 途中の文字 | 部品の間で見て書き換えられる | モデルの中で返事まで作る |
| 部品の入れ替え | 音声認識・モデル・音声合成を個別に替えられる | 1 つのモデルにまとまる |
| 向いている場面 | 返事の前に検査や承認を挟みたいとき | 割り込みが多く、すぐ返事が要る会話 |
OpenAI のガイドには、聞きながら話せる会話用のモデルに受け答えを任せ、調べものや道具の実行は別のバックエンドに回す 3 つ目の組み方も載っていました。
設計の論点は「話す順番」と「割り込み」
文字のチャットでは、送信ボタンを押すことが「話し終わった」の合図になります。
音声にはその合図が無いため、いつ返事を始めるか、相手が話し始めたらどうするかを仕組みで決める必要があります。
話し終わりを見つける
利用者が話しているかどうかを見分ける仕組みは、VAD(Voice Activity Detection)と呼ばれます。
OpenAI の Realtime API の VAD のガイドには、無音の長さで区切る server_vad と、話した言葉から言い終えたかを判断する semantic_vad の 2 つのモードが載っていました。
server_vad では、無音がどれだけ続いたら区切るかを silence_duration_ms で決め、短くするほど早く区切られます。
ガイドの設定例から、区切りに関わる部分だけを抜き出したものが次のとおりです。
{
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "server_vad",
"silence_duration_ms": 500
}
}
}
}
}
semantic_vad は、語尾が消えていくような話し方なら長めに待ち、言い切った発話ならすぐに区切るので、利用者の話をさえぎりにくいとされています。
LiveKit Agents のドキュメントも、VAD で無音をとらえたうえで、話の意味と音の特徴から発話の終わりを予測するモデルを既定にしていました。
割り込み(バージイン)を受け止める
AI が話している最中に利用者が話し始めたら、AI はすぐに黙る必要があります。
この割り込みはバージイン(barge-in)とも呼ばれ、Pipecat では初めから有効です。
Pipecat の割り込みのドキュメントによると、割り込みが起きると言語モデルの生成を止め、音声合成の待ち行列を捨て、まだ再生していない音声も破棄します。
見落としやすいのは会話の記録の側で、AI が実際に声にした部分だけが会話の履歴に残るように作られています。
こうしておけば、次の返事を作るときにモデルが見る記録が、利用者が実際に聞いた内容と食い違いません。
Gemini Live API も同じ考え方で、割り込みを検出すると作りかけの返事は捨てられ、すでにクライアントへ送った分だけが履歴に残ります。
ただし、割り込みの判定は簡単ではありません。
日本語の会話には「はい」「うん」といった相づちが多く、これを割り込みと取り違えると、AI は説明の途中で何度も黙ってしまいます。
LiveKit Agents には、本当の割り込みと相づちを見分ける仕組みや、咳や雑音で止まったときに続きから話し直す設定が用意されています。
AI 自身の声をマイクが拾う問題もあり、Gemini Live API の入門のサンプルには、エコーの除去が無い環境ではモデルが自分の声で割り込まれないようヘッドホンを使うよう注意書きがありました。
電話網とつなぐ
ブラウザから使う場合、OpenAI は WebRTC での接続を勧め、サーバーで音声を扱うなら WebSocket を挙げています。
電話の場合は、OpenAI の Telephony and SIP のガイドが 2 つのつなぎ方を示していました。
1 つは、電話会社と OpenAI が通話の音声を直接やり取りし、自分のアプリは着信を受けるかの判断や業務の処理を受け持つ方法です。
もう 1 つは、自分のサーバーが電話会社からの音声を受け取り、WebRTC か WebSocket で中継する方法です。
直接つなぐ方法では、着信の通知に含まれる SIP ヘッダーの情報を信頼できない値として扱い、権限の判断には使わないよう書かれています。
落とし穴は「聞き取れない」と「言葉にならない」
音声エージェントがつまずく場所は、モデルの賢さより手前にあることが少なくありません。
東京都大田区の AI 電話の実証実験を取り上げたキーマンズネットの記事が、その具体例になります。
2025年度に防災危機管理課で行った実証では、防災器具の支給の条件についての問い合わせを対象に、「職員対応の80%削減」を目標にしていました。
結果は、AI が有効に対応できた割合が約40%にとどまっています。
区の担当者は、住民が用件をはっきり言葉にできているとは限らず、AI の聞き返しが続いて途中で電話を切られることもあったと説明していました。
声が小さい、複数の人が同時に話す、といった音声認識の妨げも理由に挙げられています。
2026年度は建築審査課に対象を移し、答える範囲を区の地図サイトで公開している用途地域や建ぺい率のような客観的な情報に絞りました。
個別の判断が要る質問には、AI では答えられないと案内する設計です。
職員の知見から想定問答を作り、言い換えや現場の俗称も結び付けたうえで、目標は電話対応時間の30%削減に設定されています。
この例から分かるのは、答える範囲を先に狭く決めると、聞き返しで行き詰まる会話を減らせるということです。
対応言語の確認も欠かせません。
2026年10月に確かめた時点で、Gemini Live API のドキュメントには日本語を含む 99 の言語が並んでいます。
一方、Amazon Nova 2 Sonic のガイドで声が用意された言語に挙がっているのは英語・フランス語・イタリア語・ドイツ語・スペイン語・ポルトガル語・ヒンディー語でした。
試し方については、OpenAI のガイドが、なまりや背景の雑音、人名や数字での聞き取りを試すことを勧めています。
返事が聞こえるまでの時間は中央値と 95 パーセンタイルで比べ、予約のような作業なら、口頭の確認と実際に保存された内容が合っているかまで確かめるよう書かれていました。
最後に
音声エージェントは、聞く・考える・話すの 3 つをつなぎ、会話を途切れさせずに作業まで進める仕組みでした。
組み方は、部品を順につなぐカスケード型と、音声のまま扱う speech-to-speech 型に分かれます。
どちらを選んでも、話し終わりの判断や割り込み、聞き取りの失敗といった「間」の問題は残ります。
答える範囲を狭く決め、言いよどみや雑音のある声で試すところから始めると、何を直せばよいかが見えてきます。
以上です。















コメントを残す