(57)【要約】【課題】ユーザが自分にとって都合のよい入力を選択することができる音声対話システムを提供する。【解決手段】話者が発話している間だけプッシュする発話ボタンスイッチ及び音声入出力手段を備えた移動可能なユーザシステムと、該ユーザシステムと通信媒体を用いて接続し、音声を用いた対話処理を行うセンタシステムとからなる音声対話システムであって、発話ボタンスイッチの状態を検出する発話ボタン操作検出手段と、発話ボタンスイッチがプッシュされてから所定時間経過するまでの経過時間を計測する時間監視手段と、発話ボタンスイッチの状態毎に次に行うべき動作が予め記憶された動作設定記憶手段と、時間監視手段が通知する経過時間と発話ボタン操作検出手段が検出した発話ボタンスイッチの状態に基づいて次に行うべき動作を動作設定記憶手段から読み出して、読み出した動作を実行する制御手段とを備える。【選択図】    図１
2004354943.tif 000002
【特許請求の範囲】
【請求項１】
話者が発話している間だけプッシュする発話ボタンスイッチ及び音声入出力手段を備えた移動可能なユーザシステムと、該ユーザシステムと通信媒体を用いて接続し、音声を用いた対話処理を行うセンタシステムとからなる音声対話システムであって、
前記発話ボタンスイッチの状態を検出する発話ボタン操作検出手段と、
前記発話ボタンスイッチがプッシュされてから所定時間経過するまでの経過時間を計測する時間監視手段と、
前記発話ボタンスイッチの状態毎に次に行うべき動作が予め記憶された動作設定記憶手段と、
前記時間監視手段が通知する経過時間と前記発話ボタン操作検出手段が検出した前記発話ボタンスイッチの状態に基づいて次に行うべき動作を前記動作設定記憶手段から読み出して、読み出した動作を実行する制御手段と
を備えたことを特徴とする音声対話システム。
【請求項２】
前記音声対話システムは、
前記発話ボタンスイッチがプッシュされている間だけ前記話者の音声を録音する音声録音手段と、
前記時間監視手段によって前記発話ボタンスイッチがプッシュされてから所定時間経過したことの通知を受けた時点で、前記音声録音手段に録音した音声を、前記センタシステムに対して先頭からストリーミングによって送信するストリーミング処理手段と
をさらに備えたことを特徴とする請求項１に記載の音声対話システム。
【請求項３】
前記動作設定記憶手段は、
前記発話ボタンスイッチがプッシュされてから所定時間経過する以前に前記発話ボタンスイッチがリリースされた場合に、前記発話ボタンスイッチが操作ボタンとして機能する動作が記憶され、前記発話ボタンスイッチがプッシュされてから所定時間経過した以降に前記発話ボタンスイッチがリリースされた場合に前記発話ボタンスイッチが発話ボタンとして機能する動作が記憶されていることを特徴とする請求項１または２に記載の音声対話システム。
【請求項４】
前記時間監視手段が計測する所定時間は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であることを特徴とする請求項１ないし３のいずれかに記載の音声対話システム。
【請求項５】
前記音声対話システムは、
前記時間監視手段が計測する所定時間を任意に設定する入力手段を備えたことを特徴とする請求項４に記載の音声対話システム。
【請求項６】
話者が発話している間だけプッシュする発話ボタンスイッチ及び音声入出力手段を備えた移動可能なユーザシステムと、該ユーザシステムと通信媒体を用いて接続し、音声を用いた対話処理を行うセンタシステムとからなる音声対話システムにおける音声対話方法であって、
前記発話ボタンスイッチの状態を検出する発話ボタン操作検出過程と、
前記発話ボタンスイッチがプッシュされてから所定時間経過するまでの経過時間を計測する時間監視過程と、
前記発話ボタンスイッチの状態毎に次に行うべき動作を予め記憶しておく動作設定記憶過程と、
前記時間監視過程が通知する経過時間と前記発話ボタン操作検出過程が検出した前記発話ボタンスイッチの状態に基づいて次に行うべき動作を前記動作設定記憶過程において記憶しておいた動作の中から読み出して実行する制御過程と
を有することを特徴とする音声対話方法。
【請求項７】
前記音声対話方法は、
前記発話ボタンスイッチがプッシュされている間だけ前記話者の音声を録音する音声録音過程と、
前記時間監視過程によって前記発話ボタンスイッチがプッシュされてから所定時間経過したことの通知を受けた時点で、前記音声録音過程に録音した音声を、前記センタシステムに対して先頭からストリーミングによって送信するストリーミング処理過程と
をさらに有することを特徴とする請求項６に記載の音声対話方法。
【請求項８】
前記動作設定記憶過程は、
前記発話ボタンスイッチがプッシュされてから所定時間経過する以前に前記発話ボタンスイッチがリリースされた場合に、前記発話ボタンスイッチが操作ボタンとして機能する動作が記憶され、前記発話ボタンスイッチがプッシュされてから所定時間経過した以降に前記発話ボタンスイッチがリリースされた場合に前記発話ボタンスイッチが発話ボタンとして機能する動作が記憶されていることを特徴とする請求項６または７に記載の音声対話方法。
【請求項９】
前記時間監視過程において計測する所定時間は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であることを特徴とする請求項６ないし８のいずれかに記載の音声対話方法。
【請求項１０】
前記音声対話方法は、
前記時間監視過程において計測する所定時間を任意に設定する入力過程を有することを特徴とする請求項９に記載の音声対話方法。
【請求項１１】
話者が発話している間だけプッシュする発話ボタンスイッチ及び音声入出力手段を備えた移動可能なユーザシステムと、該ユーザシステムと通信媒体を用いて接続し、音声を用いた対話処理を行うセンタシステムとからなる音声対話システムにおいて動作する音声対話プログラムであって、
前記発話ボタンスイッチの状態を検出する発話ボタン操作検出処理と、
前記発話ボタンスイッチがプッシュされてから所定時間経過するまでの経過時間を計測する時間監視処理と、
前記発話ボタンスイッチの状態毎に次に行うべき動作を予め記憶しておく動作設定記憶処理と、
前記時間監視処理が通知する経過時間と前記発話ボタン操作検出処理が検出した前記発話ボタンスイッチの状態に基づいて次に行うべき動作を前記動作設定記憶処理によって記憶しておいた動作の中から読み出して実行する制御処理と
をコンピュータに行わせることを特徴とする音声対話プログラム。
【請求項１２】
前記音声対話プログラムは、
前記発話ボタンスイッチがプッシュされている間だけ前記話者の音声を録音する音声録音処理と、
前記時間監視処理によって前記発話ボタンスイッチがプッシュされてから所定時間経過したことの通知を受けた時点で、前記音声録音処理よって録音した音声を、前記センタシステムに対して先頭からストリーミングによって送信するストリーミング処理と
をさらにコンピュータに行わせることを特徴とする請求項１１に記載の音声対話方法。
【請求項１３】
前記動作設定記憶処理は、
前記発話ボタンスイッチがプッシュされてから所定時間経過する以前に前記発話ボタンスイッチがリリースされた場合に、前記発話ボタンスイッチが操作ボタンとして機能する動作を記憶し、前記発話ボタンスイッチがプッシュされてから所定時間経過した後に前記発話ボタンスイッチがリリースされた場合に前記発話ボタンスイッチが発話ボタンとして機能する動作を記憶することを特徴とする請求項１１または１２に記載の音声対話プログラム。
【請求項１４】
前記時間監視処理において計測する所定時間は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であることを特徴とする請求項１１ないし１３のいずれかに記載の音声対話プログラム。
【請求項１５】
前記音声対話プログラムは、
前記時間監視処理において計測する所定時間を任意に設定する入力処理をコンピュータに行わせることを特徴とする請求項１４に記載の音声対話プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、機器の制御処理や情報提供処理を行う場合に、音声対話によってユーザの要求を獲得する技術に係わり、特に音声情報をコード化することにより、データ通信を用いて、音声対話を実現する音声対話システム、音声対話方法及び音声対話プログラムに関する。
【０００２】
【従来の技術】
音声入力とタッチパネル入力を併用して、コード化した音声情報を、データ通信を用いて、音声対話を実現するシステム（例えば、特許文献１）等を使用して、車両内においてカーナビゲーションシステム等の操作を行う場合には、運転者の運転動作ヘの影響を少なくするために、運転者がシステムと対話を行なう動作の負荷を極力小さくすることが望ましい。一方、音声認識の認識率を向上させるためには、話者がスイッチ等を操作しながら発声した方が音声認識処理を簡単にすることができる。例えば、話者が発話している間だけ、発話ボタンをプッシュすることにより、発話ボタンがプッシュされていた時間内に発声された音声を音声認識の対象とする技術（プレストークという）が知られている。また、発話ボタンの他に、取り消しボタンを設けることで、誤認識が発生した場含に、一つ前の状態に戻ることが容易に行なえるようにした技術や音声操作以外に、モニタ画面に選択肢を示し、タッチ操作やリモコン操作によって、入力内容を選択肢から選んで決定する技術も知られている。
【０００３】
ところで、対話時の運転者負荷低減や製造コスト低減のため、対話に用いるボタンやスイッチは少ない方がよく、運転動作以外に用いられるボタンやスイッチの数を滅らす取り組みが行なわれている。例えば、発話ボタンとは別に設けられた操作スイッチにおいて、短時間ボタンプッシュ／長時間ボタンプッシュという複数の操作を一つの操作スイッチで実現している（特許文献２）。
また、ユーザが音声コマンドを入力したあと、システムは認識結果が正しいか、ユーザに確認を取ってから、音声コマンドに対応した処理を実行し、このユーザの確認を取る場面で、音声入力による確認の他、ステアリング上の「許可スイッチ」によっても入力することができるようになっている（特許文献３）。ただし、この「許可スイッチ」の意味は一つであり、発話ボタンとは関係なく、音声認識機能とは独立に存在している。
また、発話ボタンと、操作ボタンを統合し、「この場面では発話ボタン、この場面では操作ボタン」というように、システムは場面に応じてボタンの用途をどちらか一方に限定して、発話ボタンを特定の場面において、操作スイッチとして機能させるている（特許文献４）。
【０００４】
【特許文献１】
特開平１１−１０３３４８号公報
【特許文献２】
特開２００１−１５４６８９号公報
【特許文献３】
特関２００２−１２１００号公報
【特許文献４】
特開２００１−２１６１３０号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献２、３の技術は、発話ボタンと操作ボタンが独立に存在しているため、複数のボタンを使い分ける必要があり、手や指の移動、視線の移動が伴うことになり、ユーザ負荷が増加するという問題がある。また、特許文献４の技術は、発話ボタンと操作ボタンを一つに統合してはいるが、その場面に応じて、どちらか一方の機能のみに限定されているため、「音声入力すべき場面」と「操作ボタンとして入力すべき場面」がシステムの都合で決められており、ユーザの希望により音声入力の場面で、発話ボタンを「次へ」と等価のショートカットボタンとして利用するなどの操作を行うことができないという問題がある。また、ユーザがＨＭＩ（Ｈｕｍａｎ−ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）を操作する場所と、音声認識機能と対話制御機能がある場所とが、通信ネットワークを介して接続される音声対話システムおいては、伝送遅延があるため、ユーザ側装置と、センタ側装置の間の電文受け渡しが多くなると、対話進行のレスポンスが低下するとともに、送受信したデータ量に応じて課金される場合は通信コストが大きくなるという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、発話ボタン一つで、音声入力ためのプレストーク機能と、対話動作のショートカットを実現するための操作ボタン機能を同時に実現し、ユーザは自分にとって都合のよい入力を選択することができ、かつ通信媒体を介した場合でも音声認識処理を効率よく実行することができる音声対話システム、音声対話方法及び音声対話プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、話者が発話している間だけプッシュする発話ボタンスイッチ及び音声入出力手段を備えた移動可能なユーザシステムと、該ユーザシステムと通信媒体を用いて接続し、音声を用いた対話処理を行うセンタシステムとからなる音声対話システムであって、前記発話ボタンスイッチの状態を検出する発話ボタン操作検出手段と、前記発話ボタンスイッチがプッシュされてから所定時間経過するまでの経過時間を計測する時間監視手段と、前記発話ボタンスイッチの状態毎に次に行うべき動作が予め記憶された動作設定記憶手段と、前記時間監視手段が通知する経過時間と前記発話ボタン操作検出手段が検出した前記発話ボタンスイッチの状態に基づいて次に行うべき動作を前記動作設定記憶手段から読み出して、読み出した動作を実行する制御手段とを備えたことを特徴とする。
【０００８】
請求項２に記載の発明は、前記音声対話システムは、前記発話ボタンスイッチがプッシュされている間だけ前記話者の音声を録音する音声録音手段と、前記時間監視手段によって前記発話ボタンスイッチがプッシュされてから所定時間経過したことの通知を受けた時点で、前記音声録音手段に録音した音声を、前記センタシステムに対して先頭からストリーミングによって送信するストリーミング処理手段とをさらに備えたことを特徴とする。
【０００９】
請求項３に記載の発明は、前記動作設定記憶手段は、前記発話ボタンスイッチがプッシュされてから所定時間経過する以前に前記発話ボタンスイッチがリリースされた場合に、前記発話ボタンスイッチが操作ボタンとして機能する動作が記憶され、前記発話ボタンスイッチがプッシュされてから所定時間経過した以降に前記発話ボタンスイッチがリリースされた場合に前記発話ボタンスイッチが発話ボタンとして機能する動作が記憶されていることを特徴とする。
【００１０】
請求項４に記載の発明は、前記時間監視手段が計測する所定時間は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であることを特徴とする。
【００１１】
請求項５に記載の発明は、前記音声対話システムは、前記時間監視手段が計測する所定時間を任意に設定する入力手段を備えたことを特徴とする。
【００１２】
請求項６に記載の発明は、話者が発話している間だけプッシュする発話ボタンスイッチ及び音声入出力手段を備えた移動可能なユーザシステムと、該ユーザシステムと通信媒体を用いて接続し、音声を用いた対話処理を行うセンタシステムとからなる音声対話システムにおける音声対話方法であって、前記発話ボタンスイッチの状態を検出する発話ボタン操作検出過程と、前記発話ボタンスイッチがプッシュされてから所定時間経過するまでの経過時間を計測する時間監視過程と、前記発話ボタンスイッチの状態毎に次に行うべき動作を予め記憶しておく動作設定記憶過程と、前記時間監視過程が通知する経過時間と前記発話ボタン操作検出過程が検出した前記発話ボタンスイッチの状態に基づいて次に行うべき動作を前記動作設定記憶過程において記憶しておいた動作の中から読み出して実行する制御過程とを有することを特徴とする。
【００１３】
請求項７に記載の発明は、前記音声対話方法は、前記発話ボタンスイッチがプッシュされている間だけ前記話者の音声を録音する音声録音過程と、前記時間監視過程によって前記発話ボタンスイッチがプッシュされてから所定時間経過したことの通知を受けた時点で、前記音声録音過程に録音した音声を、前記センタシステムに対して先頭からストリーミングによって送信するストリーミング処理過程とをさらに有することを特徴とする。
【００１４】
請求項８に記載の発明は、前記動作設定記憶過程は、前記発話ボタンスイッチがプッシュされてから所定時間経過する以前に前記発話ボタンスイッチがリリースされた場合に、前記発話ボタンスイッチが操作ボタンとして機能する動作が記憶され、前記発話ボタンスイッチがプッシュされてから所定時間経過した以降に前記発話ボタンスイッチがリリースされた場合に前記発話ボタンスイッチが発話ボタンとして機能する動作が記憶されていることを特徴とする。
【００１５】
請求項９に記載の発明は、前記時間監視過程において計測する所定時間は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であることを特徴とする。
【００１６】
請求項１０に記載の発明は、前記音声対話方法は、前記時間監視過程において計測する所定時間を任意に設定する入力過程を有することを特徴とする。
【００１７】
請求項１１に記載の発明は、話者が発話している間だけプッシュする発話ボタンスイッチ及び音声入出力手段を備えた移動可能なユーザシステムと、該ユーザシステムと通信媒体を用いて接続し、音声を用いた対話処理を行うセンタシステムとからなる音声対話システムにおいて動作する音声対話プログラムであって、前記発話ボタンスイッチの状態を検出する発話ボタン操作検出処理と、前記発話ボタンスイッチがプッシュされてから所定時間経過するまでの経過時間を計測する時間監視処理と、前記発話ボタンスイッチの状態毎に次に行うべき動作を予め記憶しておく動作設定記憶処理と、前記時間監視処理が通知する経過時間と前記発話ボタン操作検出処理が検出した前記発話ボタンスイッチの状態に基づいて次に行うべき動作を前記動作設定記憶処理によって記憶しておいた動作の中から読み出して実行する制御処理とをコンピュータに行わせることを特徴とする。
【００１８】
請求項１２に記載の発明は、前記音声対話プログラムは、前記発話ボタンスイッチがプッシュされている間だけ前記話者の音声を録音する音声録音処理と、前記時間監視処理によって前記発話ボタンスイッチがプッシュされてから所定時間経過したことの通知を受けた時点で、前記音声録音処理よって録音した音声を、前記センタシステムに対して先頭からストリーミングによって送信するストリーミング処理とをさらにコンピュータに行わせることを特徴とする。
【００１９】
請求項１３に記載の発明は、前記動作設定記憶処理は、前記発話ボタンスイッチがプッシュされてから所定時間経過する以前に前記発話ボタンスイッチがリリースされた場合に、前記発話ボタンスイッチが操作ボタンとして機能する動作を記憶し、前記発話ボタンスイッチがプッシュされてから所定時間経過した後に前記発話ボタンスイッチがリリースされた場合に前記発話ボタンスイッチが発話ボタンとして機能する動作を記憶することを特徴とする。
【００２０】
請求項１４に記載の発明は、前記時間監視処理において計測する所定時間は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であることを特徴とする。
【００２１】
請求項１５に記載の発明は、前記音声対話プログラムは、前記時間監視処理において計測する所定時間を任意に設定する入力処理をコンピュータに行わせることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の一実施形態による音声対話システムを図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号Ｕは、自動車等の移動体に備えられるユーザシステムである、符号Ｃは、無線通信による通信媒体２０を介して通信を行い、必要な情報をユーザシステムＵへ提供するセンタシステムである。符号１は、自動車のステアリングホイールに取り付けられた発話ボタンである。この発話ボタンはプッシュしたときとリリースしているときの２つの状態を識別することができるボタンスイッチであり、運転者は、ステアリングホイールから手を離さずにこの発話ボタンを操作可能である。符号２は、発話ボタン１の２つの状態（プッシュとリリース）を検出する発話ボタン操作検出部である。符号３は、発話ボタン操作検出部２の出力に基づいて、発話ボタン１がプッシュされてからの所定経過時間を計測する時間監視部である。
【００２３】
符号４は、運転者と対話を行いながら情報提供処理（データベース検索を実行し検索結果を読み上げる等）を行うための制御信号を機器に対して出力するＨＭＩ制御部である。符号４１は、タッチパネル等の操作スイッチで構成される入力部である。符号５は、発話ボタン１の操作状況に応じた動作が予め設定されたボタン操作動作設定記憶部である。このボタン操作動作設定記憶部５は、ＨＭＩ制御部４内に組み込まれていてもよい。符号６は、マイクで集音した音声を入力する音声入力部である。符号７は、スピーカから発する音声を出力する音声出力部である。符号８は、音声入力部６から出力される音声データを通信媒体２０に応じた符号化を行うユーザ発話エンコード部である。符号９は、音声出力部７から出力する音声データを復号化するガイダンス音声デコード部である。符号１０は、音声データをバッファに一時保存してストリーミング処理を行うためにユーザシステムＵに備えられたストリーミング処理部である。符号１１は、通信媒体２０に応じた通信処理を行うためにユーザシステムＵに備えられた通信制御部である。
【００２４】
符号１２は、通信媒体２０に応じた通信処理を行うためにセンタシステムＣに備えられた通信制御部である。符号１３は、音声データをバッファに一時保存してストリーミング処理を行うためにセンタシステムＣに備えられたストリーミング処理部である。ユーザ発話エンコード部８で符号化された音声データの復号化を行うユーザ発話デコード部である。符号１５は、ユーザ発話デコード部１４において復号化された音声データの音声認識を行う音声認識部である。符号１６は、システムが発する音声データを合成する音声合成部である。符号１７は、音声合成部１６において合成されたガイダンス音声のデータを符号化するガイダンス音声エンコード部である。符号１８は、運転者と対話を行う場合のシナリオの流れを制御する対話制御部である。符号１９は、運転者と対話を行う場合のシナリオが予め定義された対話シナリオ記憶部である。
【００２５】
次に、図２、３を参照して、図１に示す音声対話システムの動作を説明する。以下の説明において、ＨＭＩ制御部４は、自動車内において、食事をする店を検索して結果情報を運転者へ提供する情報提供処理を行うものとして説明する。
初めに、図２を参照して、運転者が発話した音声を入力した場合の動作を説明する。まず、ＨＭＩ制御部４は、音声対話システムが起動した時点で、ボタン操作動作設定記憶部５に記憶されている動作設定の内容を読み込む（ステップＳ０）。この動作は起動時に１回実行するのみである。
【００２６】
ここで、図４を参照して、ボタン操作動作設定記憶部５に記憶されている内容を説明する。ボタン操作動作設定記憶部５には、発話ボタン１が「プッシュ」された場合と「リリース」された場合と、所定時間が経過した場合とに分けて、ＨＭＩ制御部４が行うべき動作が定義されている。この例では、「プッシュ」された場合には、ＦＬＡＧ変数に「ＣＬＩＣＫ」をセットし、時間監視部３に対してタイマリセットを指示し、音声出力部７に対して、チャイム音の再生を指示し、ストリーミング処理部１０に対しては、音声の録音開始を指示することが定義されている。また、「リリース」された場合には、時間監視部３に対してタイマ停止を指示し、ＦＬＡＧ変数が「ＣＬＩＣＫ」である場合には、チャイム音の再生、録音内容の破棄、短時間プッシュを通知し、ＦＬＡＧ変数が「ＣＬＩＣＫ」でない場合には、録音終了を指示することが定義されている。また、所定時間が経過したことを知らせる「時間通知」が届いた場合には、ＦＬＡＧ変数に「ＶＯＩＣＥ」をセットし、ストリーミング処理部１０に対して録音内容の送信開始を指示することが定義されている。このテーブル参照に基づく動作の詳細は、後述する。
【００２７】
次に、運転者は、入力部４１のスイッチを操作して、データベース検索を選択する。これを受けて、システム側から、「何のデータを検索しますか」という音声の質問が発声され、ＨＭＩ制御部４は、音声入力待ち状態となる。
【００２８】
ここで、運転者が発話ボタン１をプッシュし、例えば６秒（６０００ｍｓｅｃ）間かけて「レストラン検索」と発話した後、発話ボタンをリリースしたとする。これを受けて、発話ボタン操作検出部２は、発話ボタン１がプッシュされたことを検出して、発話ボタンプッシュ検出通知をＨＭＩ制御部４へ送る（ステップＳ１）。そして、ＨＭＩ制御部４は、ＦＬＡＧ変数に「ＣＬＩＣＫ」をセットするともに、時間監視部３へタイマリセットを指示する（ステップＳ２）。これを受けて、時間監視部３は、タイマ測定を開始する（ステップＳ２）。また、ＨＭＩ制御部４は、プッシュ操作がシステムによって検出されたことを運転者に対して通知するため、音声出力部７に対してチャイム再生を指示し（ステップＳ３）、これにより「ピ」というチャイム音が再生される。
【００２９】
次に、ＨＭＩ制御部４は、ストリーミング処理部１０に対して、音声録音開始の要求を出す（ステップＳ４）。これを受けて、ストリーミング処理部１０は、ユーザ発話エンコード部８に対して、エンコード開始要求を出す（ステップＳ５）。これにより、ユーザ発話エンコード部８は、音声入力部６から音声データを入力し（ステップＳ６）、エンコード処理開始するとともに、エンコードデータをストリーミング処理部１０へ出力する（ステップＳ７）。ストリーミング処理部１０は、このエンコードデータを内部のバッファに一時的に蓄え、直ぐに送信は行わず待機する。
【００３０】
一方、時間監視部３は、タイマリセットの指示を受けてから閾時間（２０１ｍｓｅｃ）経過した時点で、ＨＭＩ制御部４に対して、閾時間経過通知を送る（ステップＳ８）。これを受けて、ＨＭＩ制御部４は、ＦＬＡＧ変数に「ＶＯＩＣＥ」をセットするともに、ストリーミング処理部１０に対して、送信開始要求を出す（ステップＳ９）。
【００３１】
この送信開始要求を受けて、ストリーミング処理部１０は、内部のバッファに蓄えてあるエンコードデータを先頭から順に通信処理部１１へ出力することによりストリーミング送信を開始する（ステップＳ１０）。このストリーミングデータは、通信処理部１１、通信媒体２０、通信処理部１２を順に経由して、ストリーミング処理部１３が受信する（ステップＳ１１）。
【００３２】
次に、発話ボタン操作検出部２は、発話ボタン１のリリースを検出すると、ＨＭＩ制御部４に対して、発話ボタンリリース検出通知を送る（ステップＳ１２）。これを受けて、ＨＭＩ制御部４は、時間監視部３に対して、タイマ停止指示を出す（ステップＳ１３）。時間監視部３はこの通知を受けて、タイマ測定を終了する。そして、ＨＭＩ制御部４は、この時点でＦＬＡＧ変数が「ＶＯＩＣＥ」であるので、ストリーミング処理部１０に対して、録音終了要求を出す（ステップＳ１４）。これを受けて、ストリーミング処理部１０は、録音処理を終了するとともに、ユーザ発話エンコード部８に対して、エンコード終了要求を出す（ステップＳ１５）。ただし、ストリーミング処理部１０は、録音を終了するが、内部のバッファに蓄えられたエンコードデータがすべて送信終えるまで送信動作を続行する。
【００３３】
次に、ストリーミング処理部１３は、受信したストリーミングデータを順にユーザ発話デコード部１４へ出力する。これを受けて、ユーザ発話デコード部１４は、ストリーミングデータをデコード（ステップＳ１６）し、このデコードデータを音声認識部１５へ出力する。これを受けて、音声認識部１５は、このデコードデータに基づいて音声認識を行い（ステップＳ１７）、認識結果（ここでは「レストラン検索」となる）を対話制御部１８へ通知する（ステップＳ１８）。
【００３４】
これを受けて、対話制御部１８は、対話シナリオ記憶部１９を参照して、「レストラン検索」が指定された場合に次に行うべき動作シナリオを読み込む（ステップＳ１９）。そして、読み込んだシナリオに基づいて、次に発声させるべきガイダンスの内容を生成する。この例では、次に発声するべきガイダンス内容が、「レストラン検索ですね」であるものとする。続いて、対話制御部１８は、ここで生成したガイダンス内容「レストラン検索ですね」を音声合成部１６へ通知する（ステップＳ２０）。
【００３５】
これを受けて、音声合成部１０は、「レストラン検索ですね」というガイダンスの音声データを音声合成によって生成し、この音声データをガイダンス音声エンコード部１７へ出力する（ステップＳ２１）。ガイダンス音声エンコード部１７は、受け取った音声データを符号化してストリーミング処理部１３へ出力する（ステップＳ２２）。
【００３６】
次に、ストリーミング処理部１３は、内部のバッファに蓄えてあるエンコードデータを先頭から順に通信処理部１２へ出力することによりストリーミング送信を開始する（ステップＳ２３）。このストリーミングデータは、通信処理部１２、通信媒体２０、通信処理部１１を順に経由して、ストリーミング処理部１０が受信する（ステップＳ２４）。この受信データは、ガイダンス音声デコード部９が復号化し（ステップＳ２５）、音声出力部７から再生される（ステップＳ２６）。これにより、音声出力部７から「レストラン検索ですね」という音声が発声する。
【００３７】
続いて、運転者は、「レストラン検索ですね」という質問に対して、発話ボタン１をプッシュして、「はい」と発話し、発話ボタン１をリリースすると、前述した動作と同様に処理がなされ、対話シナリオが続行することとなる。
【００３８】
次に、図３を参照して、運転者が発話する代わりに発話ボタン１を操作して応答した場合の動作を説明する。ここでは、音声出力部７から「レストラン検索ですね」という質問が発声されたものとする。ここで、運転者が発話ボタン１をプッシュし、直ぐに（１５０ｍｓｅｃ後）発話ボタン１をリリースしたとする。これを受けて、発話ボタン操作検出部２は、発話ボタン１がプッシュされたことを検出して、発話ボタンプッシュ検出通知をＨＭＩ制御部４へ送る（ステップＳ１）。そして、ＨＭＩ制御部４は、ＦＬＡＧ変数に「ＣＬＩＣＫ］をセットするともに、時間監視部３へタイマリセットを指示する（ステップＳ２）。これを受けて、時間監視部３は、タイマ測定を開始する（ステップＳ２）。また、ＨＭＩ制御部４は、プッシュ操作がシステムによって検出されたことを運転者に対して通知するため、音声出力部７に対してチャイム再生を指示し（ステップＳ３）、これにより「ピ」というチャイム音が再生される。
【００３９】
次に、ＨＭＩ制御部４は、ストリーミング処理部１０に対して、音声録音開始の要求を出す（ステップＳ４）。これを受けて、ストリーミング処理部１０は、ユーザ発話エンコード部８に対して、エンコード開始要求を出す（ステップＳ５）。これにより、ユーザ発話エンコード部８は、音声入力部６から音声データを入力し（ステップＳ６）、エンコード処理開始するとともに、エンコードデータをストリーミング処理部１０へ出力する（ステップＳ７）。ストリーミング処理部１０は、このエンコードデータを内部のバッファに一時的に蓄え、直ぐに送信は行わず待機する。
【００４０】
次に、発話ボタン操作検出部２は、発話ボタン１のリリースを検出すると、ＨＭＩ制御部４に対して、発話ボタンリリース検出通知を送る（ステップＳ１２）。これを受けて、ＨＭＩ制御部４は、時間監視部３に対して、タイマ停止指示を出す（ステップＳ１３）。時間監視部３はこの通知を受けて、タイマ測定を終了する。そして、、ＨＭＩ制御部４は、この時点でのＦＬＡＧ変数が「ＣＬＩＣＫ」であるので、操作ボタン入力として識別したことを運転者に通知するため、音声再生部９に対してチャイム再生を指示し（ステップＳ３１）、これにより「ポ」というチャイム音が再生される。また、ＨＭＩ制御部４は、ストリーミング処理部１０に対して、録音破棄要求を出す（ステップＳ３２）。これを受けて、ストリーミング処理部１０は、録音処したデータを破棄するとともに、ユーザ発話エンコード部８に対して、エンコード終了要求を出す（ステップＳ３３）。
【００４１】
次に、ＨＭＩ制御部４は、通信処理部１１、１２を介して、対話制御部１８に対し、ユーザの入力が、操作ボタン入力であったことを通知する（ステップＳ３４，Ｓ３５）。これを受けて対話制御部１８は、対話シナリオ記憶部１９を参照して、この入力結果を認識する。この認識により、「レストラン検索ですね」の質問に対して、あたかも音声で「はい」と答えたものと見なして、以降の処理が続行する。この動作以降は、図２に示すステップＳ１９〜Ｓ２６と同一であるので説明を省略する。
【００４２】
ここで、図５を参照して、ストリーミング処理による音声データの送信タイミングについて説明する。まず、時刻ｔ１において、発話ボタン１がプッシュされ、運転者が「レストラン検索」と発声し、時刻ｔ３において発話ボタン１がリリースされたとする。ＨＭＩ制御部４は、プッシュを検知すると（時刻ｔ１）、チャイム音を出すともに、録音開始要求を出すことによりエンコード処理とストリーミング処理の開始しを指示する。これにより、運転者の音声の録音が開始する。ただし、ストリーミング処理は、録音をするのみで送信処理を行わない。そして、ＨＭＩ制御部４は、時刻ｔ２（時刻ｔ１から閾時間２０１ｍｓｅｃ経過後）に送信開始要求を出す。これにより、録音されていた音声の先頭から順にストリーミング処理によって送信が開始する。
【００４３】
一方、発話ボタン１を操作ボタンとして操作した場合は、時刻ｔ２になる前の時刻ｔ４にリリースが検知されるので、センタシステムＣに対して、音声データが送信されることがない。この閾時間は、対象のアプリケーション中において、話者が発話する可能性がある語句のうち、最も短い語句（例えば、「はい」）を発話するのに必要な時間より短い時間に設定すればよい。
【００４４】
このように、短時間プッシュが操作される可能性がある時間帯においては、音声データを録音するのみにして、センタシステムＣへ音声データを送信しないようにしたため、音声データの送信と音声認識の処理の効率を向上させることが可能となる。
【００４５】
また、時間監視部３を設け、運転者が発話ボタン１をプッシュしてからリリースするまでの経過時間を測定し、この経過時間が短い場合（２００ｍｓｅｃ以下）において、発話ボタン１が操作ボタンとして利用されたと判断して、ボタン操作動作設定記憶部５に定義された動作を実施するようにしたため、発話ボタン１一つで、音声入力ためのプレストーク機能と、対話動作のショートカットなどを実現するための操作ボタン機能を同時に実現することができ、ユーザは自分にとって都合のよい入力を選択することができる。これにより、運転者への問い合わせ内容に対する回答が「はい／いいえ」であるような場面において、短時間プッシュを「はい」の音声入力とみなしたり、また、運転者ヘの問い合わせ内容に対する回答が複数候補からの選択であるような場面において、短時間プッシュを「もう一度」の音声入力とみなして、状態遷移の制御を行うことが容易にできるようになる。さらには、現在実行中のアプリケーション（ここでは、データベース検索）を途中で終了させたり、現時点までの処理内容をクリアして最初の状態に戻したいときに用いることができる。
【００４６】
また、音声認識は、走行ノイズ等により誤認識を起こす可能性があるのに対し、ボタン操作によるショートカットは確実であり、使用頻度の高い音声入力コマンドをショートカットで置き換えることにより、短時間に対話を進めることができる。このため、ユーザ操作の簡略化と負荷低減が図れるとともに、操作ボタンの数を減らすことにより、製造コスト低減を図ることが可能となる。
【００４７】
なお、図４に示す例では、１つのアプリケーションに対して、１つのテーブルを用意した例を示したが、１つのアプリケーションの各場面毎に１つのテーブルを用意し、各場面毎で操作の持つ意味を変えるようにしてもよい。また、前述した説明では、図２に示すステップＳ０において、図４に示すボタン操作動作設定記憶部５の内容の全てをシステム起動時に読み込むようにしたが、アプリケーションが起動された時点で、必要なテーブルの内容のみを読み込むようにしてもよい。例えば、レストラン検索のアプリケーションが起動された場合は、ボタン操作動作設定記憶部５からレストラン検索用の動作設定のみを読み込むようにする。これにより、設定動作の内容を読み込む時間を短縮することができる。
【００４８】
また、図４に示すボタン操作動作設定記憶部５の内容は、運転者が入力部４１から希望する内容を入力し、この入力内容に基づいて書き換え可能としてもよい。ここでいう書き換えとは、新規追加、削除、変更を含む。これにより、短時間プッシュと見なす経過時間のしきい値を２００ｍｓｅｃでなく、３００ｍｓｅｃとすることができるため、運転者が操作しやすくカスタマイズすることが可能となる。
【００４９】
また、前述した説明では、通信媒体として無線通信を例にして説明したが、通信媒体は有線による通信であってもよい。また、カーナビゲーションを例に説明したが、プレストーク入力を用いて、遠隔地のシステムとの音声対話を行う機器であればユーザシステムは何でもよい。例えば、旅行会社の支店とセンタを有線の通信媒体で接続し、宿泊の予約等を行う場合に適用可能である。また、前述した説明では音声のみによる受け答えの例を示したが、対話の進行に応じて表示内容や選択候補ボタンが変化するようなタッチパネル表示装置など、音声以外の対話手段を併用するようにしてもよい。
【００５０】
また、ユーザの発話音声をセンタシステム側へ送る手段として、音声をコード化し、ストリーミングにより送信する例を説明したが、エンコーダに代えて、音声特徴抽出装置を設け、音声データの代わりに音声特徴パラメータをストリーミングによって送信するようにしてもよい。また、ガイダンス音声を再生するための手段として、センタシステム側で音声合成、エンコードし、ストリーミングにより送信する例を説明したが、音声合成機能がユーザシステム側に設けられており、センタシステムからはテキスト情報（漢字仮名混じり文）や中間言語表現（読み、アクセント情報を含む）を送信し、これをユーザシステム側で音声化して再生するようにしてもよい。
【００５１】
また、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音声対話処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５３】
【発明の効果】
以上説明したように、この発明によれば、時間監視部を設け、ユーザが発話ボタンをプッシュしてからリリースするまでの経過時間を測定し、この経過時間が短い場合と長い場合において、発話ボタンが操作ボタンとして利用されたと判断して、ボタン操作動作設定記憶部に定義された動作を実施するようにしたため、発話ボタン一つで、音声入力ためのプレストーク機能と、対話動作のショートカットなどを実現するための操作ボタン機能を同時に実現することができ、ユーザは自分にとって都合のよい入力を選択することができるという効果が得られる。また、ユーザへの問い合わせ内容に対する回答が「はい／いいえ」であるような場面において、短時間プッシュを「はい」の音声入力とみなしたり、また、運転者ヘの問い合わせ内容に対する回答が複数候補からの選択であるような場面において、短時間プッシュを「もう一度」の音声入力とみなして、状態遷移の制御を容易に行うことが可能になるという効果も得られる。
特に、対話制御が遠隔地にあり、携帯電話などの通信手段を経由してデータを送受信する環境においては、ストリーミング処理部が送信を待機することにより、短時間プッシュ時に無駄な音声データをセンタシステム側に送信しないため、通信が従量課金の場合に通信コスト低減することができる。
また、発話ボタンのプッシュ時から入力音声の蓄積を開始しておき、短時間プッシュの可能性がなくなった時点で、発話の先頭部分から順にストリーミングによって送信しするようにしたため、音声認識処理に対し、正しくユーザの発話音声を渡すことができるため、音声認識処理を確実に実行することができる。また、入力手段を設け、動作設定記憶手段に記憶されている内容を変更できるようにしたため、ユーザの使いやすい形態にカスタマイズすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す音声対話システムにおける音声入力時の動作を示すシーケンス図である。
【図３】図１に示す音声対話システムにおけるボタン操作時の動作を示すシーケンス図である。
【図４】図１に示すボタン操作動作設定記憶部５のテーブル構造を示す説明図である。
【図５】ストリーミング送信を行うタイミングを示す説明図である。
【符号の説明】
１・・・発話ボタン
２・・・発話ボタン操作検出部
３・・・時間監視部
４・・・ＨＭＩ制御部
５・・・ボタン操作動作設定記憶部
６・・・音声入力部
７・・・音声出力部
８・・・ユーザ発話エンコード部
９・・・ガイダンス音声デコード部
１０・・・ストリーミング処理部
１１、１２・・・通信制御部
１３・・・ストリーミング処理部
１４・・・ユーザ発話デコード部
１５・・・音声認識部
１６・・・音声合成部
１７・・・ガイダンス音声エンコード部
１８・・・対話制御部
１９・・・対話シナリオ記憶部
２０・・・通信媒体
Ｕ・・・ユーザシステム
Ｃ・・・センタシステム
【図１】
2004354943.tif 000003
【図２】
2004354943.tif 000004
【図３】
2004354943.tif 000005
【図４】
2004354943.tif 000006
【図５】
2004354943.tif 000007