(57)【要約】【課題】ユーザが自分にとって都合のよい入力を選択することができる音声対話システムを提供する。【解決手段】話者が発話している間だけプッシュする発話ボタンスイッチを備え、音声によって話者がシステムと対話を行いながら機器の制御を行う音声対話システムであって、発話ボタンスイッチがプッシュされてからリリースされるまでの経過時間を計測する時間監視手段と、経過時間毎に次に行うべき動作が予め記憶された動作設定記憶手段と、時間監視手段が通知する経過時間に該当する動作を動作設定記憶手段から読み出して、読み出した動作を実行する制御手段とを備える。【選択図】    図１
2004354942.tif 000002
【特許請求の範囲】
【請求項１】
話者が発話している間だけプッシュする発話ボタンスイッチを備え、音声によって話者がシステムと対話を行いながら機器の制御を行う音声対話システムであって、
前記発話ボタンスイッチがプッシュされてからリリースされるまでの経過時間を計測する時間監視手段と、
前記経過時間毎に次に行うべき動作が予め記憶された動作設定記憶手段と、
前記時間監視手段が通知する経過時間に該当する動作を前記動作設定記憶手段から読み出して、読み出した動作を実行する制御手段と
を備えたことを特徴とする音声対話システム。
【請求項２】
前記動作設定記憶手段は、
前記経過時間が第１のしきい値未満のときに行うべき第１の動作と、前記経過時間が第１のしきい値以上第２のしきい値未満のときに行うべき第２の動作と、前記経過時間が第２のしきい値を超えるときに行うべき第３の動作が予め記憶され、前記第２の動作は、前記発話ボタンスイッチが発話ボタンとして機能する動作であり、前記第１の動作および第３の動作は、前記発話ボタンスイッチがそれぞれ異なる操作ボタンとして機能する動作であることを特徴とする請求項１に記載の音声対話システム。
【請求項３】
前記動作設定記憶手段は、
対話を行う場合の場面毎に動作が記憶され、前記第１のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であり、前記第２のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も長い応答内容を発話するのに必要な時間より長い時間であることを特徴とする請求項２に記載の音声対話システム。
【請求項４】
前記音声対話システムは、
前記第１及び第２のしきい値を任意に設定する入力手段を備えたことを特徴とする請求項２または３に記載の音声対話システム。
【請求項５】
話者が発話している間だけプッシュする発話ボタンスイッチを備え、音声によって話者がシステムと対話を行いながら機器の制御を行う音声対話システムにおける音声対話方法であって、
前記発話ボタンスイッチがプッシュされてからリリースされるまでの経過時間を計測する時間監視過程と、
前記経過時間毎に次に行うべき動作を予め記憶しておく動作設定記憶過程と、
前記時間監視過程が通知する経過時間に該当する動作を前記動作設定記憶過程で記憶しておいた動作の中から読み出して実行する制御過程と
を有することを特徴とする音声対話方法。
【請求項６】
前記動作設定記憶過程は、
前記経過時間が第１のしきい値未満のときに行うべき第１の動作と、前記経過時間が第１のしきい値以上第２のしきい値未満のときに行うべき第２の動作と、前記経過時間が第２のしきい値を超えるときに行うべき第３の動作を予め記憶し、前記第２の動作は、前記発話ボタンスイッチが発話ボタンとして機能する動作であり、前記第１の動作および第３の動作は、前記発話ボタンスイッチがそれぞれ異なる操作ボタンとして機能する動作であることを特徴とする請求項５に記載の音声対話方法。
【請求項７】
前記動作設定記憶過程は、
対話を行う場合の場面毎に動作が記憶され、前記第１のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であり、前記第２のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も長い応答内容を発話するのに必要な時間より長い時間であることを特徴とする請求項６に記載の音声対話方法。
【請求項８】
前記音声対話方法は、
前記第１及び第２のしきい値を任意に設定する入力過程を有することを特徴とする請求項６または７に記載の音声対話方法。
【請求項９】
話者が発話している間だけプッシュする発話ボタンスイッチを備え、音声によって話者がシステムと対話を行いながら機器の制御を行う音声対話システムにおいて動作する音声対話プログラムであって、
前記発話ボタンスイッチがプッシュされてからリリースされるまでの経過時間を計測する時間監視処理と、
前記経過時間毎に次に行うべき動作を予め記憶しておく動作設定記憶処理と、
前記時間監視処理が通知する経過時間に該当する動作を前記動作設定記憶処理で記憶しておいた動作の中から読み出して実行する制御処理と
をコンピュータに行わせることを特徴とする音声対話プログラム。
【請求項１０】
前記動作設定記憶処理は、
前記経過時間が第１のしきい値未満のときに行うべき第１の動作と、前記経過時間が第１のしきい値以上第２のしきい値未満のときに行うべき第２の動作と、前記経過時間が第２のしきい値を超えるときに行うべき第３の動作を予め記憶し、前記第２の動作は、前記発話ボタンスイッチが発話ボタンとして機能する動作であり、前記第１の動作および第３の動作は、前記発話ボタンスイッチがそれぞれ異なる操作ボタンとして機能する動作であることを特徴とする請求項９に記載の音声対話プログラム。
【請求項１１】
前記動作設定記憶処理は、
対話を行う場合の場面毎に動作が記憶され、前記第１のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間に設定し、前記第２のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も長い応答内容を発話するのに必要な時間より長い時間に設定することを特徴とする請求項１０に記載の音声対話プログラム。
【請求項１２】
前記音声対話プログラムは、
前記第１及び第２のしきい値を任意に設定する入力処理をさらにコンピュータに行わせることを特徴とする請求項１０または１１に記載の音声対話プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、機器の制御処理や情報提供処理を行う場合に、音声対話によってユーザの要求を獲得する音声対話システム、音声対話方法及び音声対話プログラムに関する。
【０００２】
【従来の技術】
車両内におけるカーナビゲーションシステム等の操作において、運転者の運転動作ヘの影響を少なくするためには、運転者がシステムと対話を行なう動作の負荷を小さくすることが望ましい。一方、音声認識の認識率を向上させるためには、話者がスイッチ等を操作しながら発声した方が音声認識処理を簡単にすることができる。例えば、話者が発話している間だけ、発話ボタンをプッシュすることにより、発話ボタンがプッシュされていた時間内に発声された音声を音声認識の対象とする技術（プレストークという）が知られている。また、発話ボタンの他に、取り消しボタンを設けることで、誤認識が発生した場含に、一つ前の状態に戻ることが容易に行なえるようにした技術や音声操作以外に、モニタ画面に選択肢を示し、タッチ操作やリモコン操作によって、入力内容を選択肢から選んで決定する技術も知られている。
【０００３】
ところで、対話時の運転者負荷低減や製造コスト低減のため、対話に用いるボタンやスイッチは少ない方がよく、運転動作以外に用いられるボタンやスイッチの数を滅らす取り組みが行なわれている。例えば、発話ボタンとは別に設けられた操作スイッチにおいて、短時間ボタンプッシュ／長時間ボタンプッシュという複数の操作を一つの操作スイッチで実現している（特許文献１）。
また、ユーザが音声コマンドを入力したあと、システムは認識結果が正しいか、ユーザに確認を取ってから、音声コマンドに対応した処理を実行し、このユーザの確認を取る場面で、音声入力による確認の他、ステアリング上の「許可スイッチ」によっても入力することができるようになっている（特許文献２）。ただし、この「許可スイッチ」の意味は一つであり、発話ボタンとは関係なく、音声認識機能とは独立に存在している。
また、発話ボタンと、操作ボタンを統合し、「この場面では発話ボタン、この場面では操作ボタン」というように、システムは場面に応じてボタンの用途をどちらか一方に限定して、発話ボタンを特定の場面において、操作スイッチとして機能させるている（特許文献３）。
【０００４】
【特許文献１】
特開２００１−１５４６８９号公報
【特許文献２】
特関２００２−１２１００号公報
【特許文献３】
特開２００１−２１６１３０号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献１、２の技術は、発話ボタンと操作ボタンが独立に存在しているため、複数のボタンを使い分ける必要があり、手や指の移動、視線の移動が伴うことになり、ユーザ負荷が増加するという問題がある。また、特許文献３の技術は、発話ボタンと操作ボタンを一つに統合してはいるが、その場面に応じて、どちらか一方の機能のみに限定されているため、「音声入力すべき場面」と「操作ボタンとして入力すべき場面」がシステムの都合で決められており、ユーザの希望により音声入力の場面で、発話ボタンを「次へ」と等価のショートカットボタンとして利用するなどの操作を行うことができないという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、発話ボタン一つで、音声入力ためのプレストーク機能と、対話動作のショートカットを実現するための操作ボタン機能を同時に実現することができ、ユーザは自分にとって都合のよい入力を選択することができる音声対話システム、音声対話方法及び音声対話プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、話者が発話している間だけプッシュする発話ボタンスイッチを備え、音声によって話者がシステムと対話を行いながら機器の制御を行う音声対話システムであって、前記発話ボタンスイッチがプッシュされてからリリースされるまでの経過時間を計測する時間監視手段と、前記経過時間毎に次に行うべき動作が予め記憶された動作設定記憶手段と、前記時間監視手段が通知する経過時間に該当する動作を前記動作設定記憶手段から読み出して、読み出した動作を実行する制御手段とを備えたことを特徴とする。
【０００８】
請求項２に記載の発明は、前記動作設定記憶手段は、前記経過時間が第１のしきい値未満のときに行うべき第１の動作と、前記経過時間が第１のしきい値以上第２のしきい値未満のときに行うべき第２の動作と、前記経過時間が第２のしきい値を超えるときに行うべき第３の動作が予め記憶され、前記第２の動作は、前記発話ボタンスイッチが発話ボタンとして機能する動作であり、前記第１の動作および第３の動作は、前記発話ボタンスイッチがそれぞれ異なる操作ボタンとして機能する動作であることを特徴とする。
【０００９】
請求項３に記載の発明は、前記動作設定記憶手段は、対話を行う場合の場面毎に動作が記憶され、前記第１のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であり、前記第２のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も長い応答内容を発話するのに必要な時間より長い時間であることを特徴とする。
【００１０】
請求項４に記載の発明は、前記音声対話システムは、前記第１及び第２のしきい値を任意に設定する入力手段を備えたことを特徴とする。
【００１１】
請求項５に記載の発明は、話者が発話している間だけプッシュする発話ボタンスイッチを備え、音声によって話者がシステムと対話を行いながら機器の制御を行う音声対話システムにおける音声対話方法であって、前記発話ボタンスイッチがプッシュされてからリリースされるまでの経過時間を計測する時間監視過程と、前記経過時間毎に次に行うべき動作を予め記憶しておく動作設定記憶過程と、前記時間監視過程が通知する経過時間に該当する動作を前記動作設定記憶過程で記憶しておいた動作の中から読み出して実行する制御過程とを有することを特徴とする。
【００１２】
請求項６に記載の発明は、前記動作設定記憶過程は、前記経過時間が第１のしきい値未満のときに行うべき第１の動作と、前記経過時間が第１のしきい値以上第２のしきい値未満のときに行うべき第２の動作と、前記経過時間が第２のしきい値を超えるときに行うべき第３の動作を予め記憶し、前記第２の動作は、前記発話ボタンスイッチが発話ボタンとして機能する動作であり、前記第１の動作および第３の動作は、前記発話ボタンスイッチがそれぞれ異なる操作ボタンとして機能する動作であることを特徴とする。
【００１３】
請求項７に記載の発明は、前記動作設定記憶過程は、対話を行う場合の場面毎に動作が記憶され、前記第１のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であり、前記第２のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も長い応答内容を発話するのに必要な時間より長い時間であることを特徴とする。
【００１４】
請求項８に記載の発明は、前記音声対話方法は、前記第１及び第２のしきい値を任意に設定する入力過程を有することを特徴とする。
【００１５】
請求項９に記載の発明は、話者が発話している間だけプッシュする発話ボタンスイッチを備え、音声によって話者がシステムと対話を行いながら機器の制御を行う音声対話システムにおいて動作する音声対話プログラムであって、前記発話ボタンスイッチがプッシュされてからリリースされるまでの経過時間を計測する時間監視処理と、前記経過時間毎に次に行うべき動作を予め記憶しておく動作設定記憶処理と、前記時間監視処理が通知する経過時間に該当する動作を前記動作設定記憶処理で記憶しておいた動作の中から読み出して実行する制御処理とをコンピュータに行わせることを特徴とする。
【００１６】
請求項１０に記載の発明は、前記動作設定記憶処理は、前記経過時間が第１のしきい値未満のときに行うべき第１の動作と、前記経過時間が第１のしきい値以上第２のしきい値未満のときに行うべき第２の動作と、前記経過時間が第２のしきい値を超えるときに行うべき第３の動作を予め記憶し、前記第２の動作は、前記発話ボタンスイッチが発話ボタンとして機能する動作であり、前記第１の動作および第３の動作は、前記発話ボタンスイッチがそれぞれ異なる操作ボタンとして機能する動作であることを特徴とする。
【００１７】
請求項１１に記載の発明は、前記動作設定記憶処理は、対話を行う場合の場面毎に動作が記憶され、前記第１のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も短い応答内容を発話するのに必要な時間より短い時間であり、前記第２のしきい値は、対象となる場面において発話される可能性がある応答内容のうち、最も長い応答内容を発話するのに必要な時間より長い時間であることを特徴とする。
【００１８】
請求項１２に記載の発明は、前記音声対話プログラムは、前記第１及び第２のしきい値を任意に設定する入力処理をさらにコンピュータに行わせることを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明の一実施形態による音声対話システムを図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、自動車のステアリングホイールに取り付けられた発話ボタンである。この発話ボタンはプッシュしたときとリリースしているときの２つの状態を識別することができるボタンスイッチであり、運転者は、ステアリングホイールから手を離さずにこの発話ボタンを操作可能である。符号２は、発話ボタン１の２つの状態（プッシュとリリース）を検出する発話ボタン操作検出部である。符号３は、発話ボタン操作検出部２の出力に基づいて、発話ボタン１がプッシュされてからリリースされるまでの経過時間を計測する時間監視部である。符号４は、運転者と対話を行いながら機器の制御処理（エアコンのＯＮ／ＯＦＦやオーディオ機器の再生／停止等）や情報提供処理（データベース検索を実行し検索結果を読み上げる等）を行うための制御信号を機器に対して出力するＨＭＩ（Ｈｕｍａｎ−ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）制御部である。符号５は、発話ボタン１の操作状況に応じた動作が予め設定されたボタン操作動作設定記憶部である。符号６は、音声を集音するマイクである。符号７は、マイク６で集音した音声を認識する音声認識部である。符号８は、システムが発する音声を発音するスピーカである。符号９は、音声データを再生して、スピーカ８から発音させる音声再生部である。符号１０は、システムが発する音声データを合成する音声合成部である。符号１１は、運転者と対話を行う場合のシナリオの流れを制御する対話制御部である。符号１２は、運転者と対話を行う場合のシナリオが予め定義された対話シナリオ記憶部である。符号１３は、タッチパネル等の操作スイッチで構成される入力部である。
【００２０】
次に、図２、３を参照して、図１に示す音声対話システムの動作を説明する。以下の説明において、ＨＭＩ制御部４は、自動車内において、食事をする店を検索して結果情報を運転者へ提供する情報提供処理を行うものとして説明する。
初めに、図２を参照して、運転者が発話した音声を入力した場合の動作を説明する。まず、ＨＭＩ制御部４は、音声対話システムが起動した時点で、ボタン操作動作設定記憶部５に記憶されている動作設定の内容を読み込む（ステップＳ０）。この動作は起動時に１回実行するのみである。
【００２１】
ここで、図４を参照して、ボタン操作動作設定記憶部５に記憶されている内容を説明する。ボタン操作動作設定記憶部５には、発話ボタン１が「プッシュ」された場合と「リリース」された場合に分けて、ＨＭＩ制御部４が行うべき動作がアプリケーション毎（ここでは、データベース検索、エアコン制御、オーディオ制御）に定義されている。そして、「リリース」の場合は、さらに、「プッシュ」から「リリース」までの経過時間毎に細分化された動作が定義されている。この例では、「プッシュ」された場合には、音声再生部９に対して、ガイダンス再生停止と、チャイム音を再生する指示を行い、音声認識部７に対しては、音声の録音開始を指示することが定義されている。また、データベース検索では、「リリース」までの経過時間が、０〜２００ｍｓｅｃ、２０１〜１００００ｍｓｅｃ、１０００１ｍｓｅｃ以上毎に動作が定義されている。このテーブル参照に基づく動作の詳細は、後述する。
【００２２】
この２００ｍｓｅｃが請求項でいう第１のしきい値であり、１００００ｍｓｅｃが第２のしきい値である。この第１及び第２のしきい値は、各アプリケーション毎に異なり、それぞれ操作を容易にするために経過時間毎に動作が予め定義される。ただし、第１のしきい値は、対象のアプリケーション中において、話者が発話する可能性がある語句のうち、最も短い語句（例えば、「はい」）を発話するのに必要な時間より短い時間に設定する。また、第２のしきい値は、対象のアプリケーション中において、話者が発話する可能性がある語句のうち、最も長い語句（例えば、「和食レストラン検索」）を発話するのに必要な時間より長い時間に設定する。
【００２３】
次に、図２に戻り、運転者は、入力部１３のスイッチを操作して、または音声入力操作によって、データベース検索を選択する。対話制御部１１は、データベース検索処理が選択されたことを受けて、ＨＭＩ制御部４に対して、音声入力を行うように指示を出す。そして、システム側から、「何のデータを検索しますか」という音声の質問が発声され、ＨＭＩ制御部４は、音声入力待ち状態となる。
【００２４】
ここで、運転者が発話ボタン１をプッシュし、例えば６秒（６０００ｍｓｅｃ）間かけて「食事検索」と発話した後、発話ボタン１をリリースしたとする。これを受けて、発話ボタン操作検出部２は、発話ボタン１がプッシュされたことを検出して、発話ボタンプッシュ検出通知を時間監視部３へ送る（ステップＳ１）。これを受けて、時間監視部３は、タイマ測定を開始する（ステップＳ２）とともに、ＨＭＩ制御部４に対して、発話ボタンプッシュ検出通知を送る（ステップＳ３）。
【００２５】
次に、ＨＭＩ制御部４は、事前に読み込んだ動作設定に従い、プッシュ時の処理を行う（ステップＳ４）。プッシュ時の処理は、まず、ガイダンス音の再生を停止させるため、音声再生部９に対してガイダンス停止を指示し（ステップＳ５）、これによりガイダンスが停止する（ステップＳ６）。そして、プッシュ操作がシステムによって検出されたことを運転者に対して通知するため、音声再生部９に対してチャイム再生を指示し（ステップＳ７）、これにより「ピ」というチャイム音が再生される（ステップＳ８）。また、音声認識部７に対して、音声録音開始の指示を出し（ステップＳ９）、これにより、音声認識部７は、マイク６で集音された音声の録音を開始するとともに、録音された音声の認識処理を実行する（ステップＳ１０）。
【００２６】
次に、発話ボタン操作検出部２は、発話ボタン１のリリースを検出すると、時間監視部３に対して発話ボタンリリース検出通知を送る（ステップＳ１１）。時間監視部３はこの通知を受けて、タイマ測定を終了し（ステップＳ１２）、プッシュからリリースまでの経過時間を求め、この経過時間を含む発話ボタンリリース検出通知をＨＭＩ制御部４へ送る（ステップＳ１３）。
【００２７】
次に、ＨＭＩ制御部４は、通知された経過時間に基づくリリース時の処理を行う（ステップＳ１４）。ここでは、経過時間が６０００ｍｓｅｃであるので、図４に示すボタン操作動作設定記憶部５に定義されている２０１〜１００００ｍｓｅｃの動作が実施されることとなる。経過時間が２０１〜１００００ｍｓｅｃの場合、ＨＭＩ制御部４は、既に実行状態にあった音声認識部７に対し、認識結果を要求し（ステップＳ１５）、認識結果を得る（ステップＳ１６）。そして、ここで得た音声認識結果（ここでは「食事検索」となる）を対話制御部１１に対して通知する（ステップＳ１７）。
【００２８】
これを受けて、対話制御部１１は、対話シナリオ記憶部１２を参照して、「食事検索」が指定された場合に次に行うべき動作シナリオを読み込む（ステップＳ１８）。そして、読み込んだシナリオに基づいて、次に発声させるべきガイダンスの内容を生成する（ステップＳ１９）。この例では、次に発声するべきガイダンス内容が、「食事検索ですね」であるものとする。続いて、対話制御部１１は、ここで生成したガイダンス内容「食事検索ですね」をＨＭＩ制御部４へ通知する（ステップＳ２０）。
【００２９】
次に、ＨＭＩ制御部４は、通知されたガイダンス内容を含む音声合成要求を音声合成部１０へ送る（ステップＳ２１）。これを受けて、音声合成部１０は、「食事検索ですね」というガイダンスの音声データを音声合成によって生成し（ステップＳ２２）、この音声データを含む音声合成結果応答をＨＭＩ制御部４へ返す（ステップＳ２３）。
【００３０】
次に、ＨＭＩ制御部４は、この音声データを含む音声再生要求を音声再生部９へ送る（ステップＳ２４）。これを受けて音声再生部９は、送られた音声データを再生する（ステップＳ２５）。これにより、スピーカ８から「食事検索ですね」という音声が発声する。そして、音声再生部９は、ＨＭＩ制御部４に対して、ガイダンス音声再生終了通知を送る（ステップＳ２６）。
【００３１】
続いて、運転者は、「食事検索ですね」という質問に対して、発話ボタン１をプッシュして、「はい」と発話し、発話ボタン１をリリースすると、前述した動作と同様に処理がなされ、対話シナリオが続行することとなる。
【００３２】
次に、図３を参照して、運転者が発話する代わりに発話ボタン１を操作して応答した場合の動作を説明する。ここでは、スピーカ８から「食事検索ですね」という質問が発声されたものとする。ここで、運転者が発話ボタン１をプッシュし、直ぐに（１５０ｍｓｅｃ後）発話ボタン１をリリースしたとする。これを受けて、発話ボタン操作検出部２は、発話ボタン１がプッシュされたことを検出して、発話ボタンプッシュ検出通知を時間監視部３へ送る（ステップＳ１）。これを受けて、時間監視部３は、タイマ測定を開始する（ステップＳ２）とともに、ＨＭＩ制御部４に対して、発話ボタンプッシュ検出通知を送る（ステップＳ３）。
【００３３】
次に、ＨＭＩ制御部４は、事前に読み込んだ動作設定に従い、プッシュ時の処理を行う（ステップＳ４）。プッシュ時の処理は、まず、ガイダンス音の再生を停止させるため、音声再生部９に対してガイダンス停止を指示し（ステップＳ５）、これによりガイダンスが停止する（ステップＳ６）。そして、プッシュ操作がシステムによって検出されたことを運転者に対して通知するため、音声再生部９に対してチャイム再生を指示し（ステップＳ７）、これにより「ピ」というチャイム音が再生される（ステップＳ８）。また、音声認識部７に対して、音声録音開始の指示を出し（ステップＳ９）、これにより、音声認識部７は、マイク６で集音された音声の録音を開始するとともに、録音された音声の認識処理を実行する（ステップＳ１０）。
【００３４】
次に、発話ボタン操作検出部２は、発話ボタン１のリリースを検出すると、時間監視部３に対して発話ボタンリリース検出通知を送る（ステップＳ１１）。時間監視部３はこの通知を受けて、タイマ測定を終了し（ステップＳ１２）、プッシュからリリースまでの経過時間を求め、この経過時間を含む発話ボタンリリース検出通知をＨＭＩ制御部４へ送る（ステップＳ１３）。図３に示すステップＳ１〜Ｓ１３の動作は、図２に示すステップＳ１〜Ｓ１３の動作と同一である。
【００３５】
次に、ＨＭＩ制御部４は、通知された経過時間に基づくリリース時の処理を行う（ステップＳ３１）。ここでは、経過時間が１５０ｍｓｅｃであるので、図４に示すボタン操作動作設定記憶部５に定義されている０〜２００ｍｓｅｃの動作が実施されることとなる。経過時間が０〜２００ｍｓｅｃの場合、ＨＭＩ制御部４は、音声認識部７に対して既に実行状態にあった音声認識処理を中止させる指示を出す（ステップＳ３２）とともに、操作ボタン入力として識別したことを運転者に通知するため、音声再生部９に対してチャイム再生を指示し（ステップＳ３３）、これにより「ポ」というチャイム音が再生される（ステップＳ３４）。そして、対話制御部１１に対し、ユーザの入力が、操作ボタン入力であり、その値が短時間プッシュ（０〜２００ｍｓｅｃ）であったことを通知する（ステップＳ３５）。これを受けて対話制御部１１は、対話シナリオ記憶部１２を参照して（ステップＳ３６）、この入力結果を認識する（ステップＳ３７）。この認識により、ステップＳ３５において通知された入力結果が、「食事検索ですね」の質問に対して、あたかも音声で「はい」と答えたものと見なして、以降の処理が続行する。ステップＳ３７の以降の動作は、図２に示すステップＳ１８〜Ｓ２６と同一であるので説明を省略する。
【００３６】
また、図３に示すステップＳ１３において通知された経過時間が、１０００１ｍｓｅｃ以上であった場合、ＨＭＩ制御部４は操作ボタン入力として識別したことを示す「ポポ」というチャイムを再生させ、既に実行状態にあった音声認識拠理を中止させ、対話制御部１１に対し、ユーザの入力が、操作ボタン入力であり、その値が長時間プッシュであったことを通知する。
【００３７】
ＨＭＩ制御部４は、音声認識部７に対して既に実行状態にあった音声認識処理を中止させる指示を出す（ステップＳ３２）とともに、操作ボタン入力として識別したことを運転者に通知するため、音声再生部９に対してチャイム再生を指示し（ステップＳ３３）、これにより「ポポ」というチャイム音が再生される（ステップＳ３４）。そして、対話制御部１１に対し、ユーザの入力が、操作ボタン入力であり、その値が長時間プッシュ（１０００１ｍｓｅｃ以上）であったことを通知する（ステップＳ３５）。この長時間プッシュは、現在実行中のアプリケーション（ここでは、データベース検索）を途中で終了させたり、現時点までの処理内容をクリアして最初の状態に戻したいときに用いる。
【００３８】
このように、時間監視部３を設け、運転者が発話ボタン１をプッシュしてからリリースするまでの経過時間を測定し、この経過時間が短い場合（２００ｍｓｅｃ以下）と長い場合（１０００１ｍｓｅｃ以上）において、発話ボタン１が操作ボタンとして利用されたと判断して、ボタン操作動作設定記憶部５に定義された動作を実施するようにしたため、発話ボタン１一つで、音声入力ためのプレストーク機能と、対話動作のショートカットなどを実現するための操作ボタン機能を同時に実現することができ、ユーザは自分にとって都合のよい入力を選択することができる。これにより、運転者への問い合わせ内容に対する回答が「はい／いいえ」であるような場面において、短時間プッシュを「はい」の音声入力とみなしたり、また、運転者ヘの問い合わせ内容に対する回答が複数候補からの選択であるような場面において、短時間プッシュを「もう一度」の音声入力とみなして、状態遷移の制御を行うことが容易にできるようになる。
【００３９】
また、音声認識は、走行ノイズ等により誤認識を起こす可能性があるのに対し、ボタン操作によるショートカットは確実であり、使用頻度の高い音声入力コマンドをショートカットで置き換えることにより、短時間に対話を進めることができる。このため、ユーザ操作の簡略化と負荷低減が図れるとともに、操作ボタンの数を減らすことにより、製造コスト低減を図ることが可能となる。
【００４０】
なお、前述した説明では、図２に示すステップＳ０において、図４に示すボタン操作動作設定記憶部５の内容の全てをシステム起動時に読み込むようにしたが、アプリケーションが起動された時点で、必要なテーブルの内容のみを読み込むようにしてもよい。例えば、データベース検索のアプリケーションが起動された場合は、ボタン操作動作設定記憶部５からデータベース検索用の動作設定のみを読み込むようにする。これにより、設定動作の内容を読み込む時間を短縮することができる。また、図４に示す例では、１つのアプリケーションに対して、１つのテーブルを用意した例を示したが、１つのアプリケーションの各場面毎に１つのテーブルを用意し、各場面毎で操作の持つ意味を変えるようにしてもよい。また、前述した説明では音声のみによる受け答えの例を示したが、対話の進行に応じて表示内容や選択候補ボタンが変化するようなタッチパネル表示装置など、音声以外の対話手段を併用するようにしてもよい。
【００４１】
また、図４に示すボタン操作動作設定記憶部５の内容は、運転者が入力部３から希望する内容を入力し、この入力内容に基づいて書き換え可能としてもよい。ここでいう書き換えとは、新規追加、削除、変更を含む。これにより、短時間プッシュと見なす経過時間の第１のしきい値を２００ｍｓｅｃでなく、３００ｍｓｅｃとしたり、長時間プッシュと見なす経過時間の第２のしきい値を１０００１ｍｓｅｃでなく、８０００ｍｓｅｃとすることができるため、運転者が操作しやすくカスタマイズすることが可能となる。ただし、前述したように、第１のしきい値は、話者が発話する最も短い語句を発話するのに必要な時間より短い時間に設定し、第２のしきい値は、話者が発話する最も長い語句を発話するのに必要な時間より長い時間に設定しなければならない。
【００４２】
また、前述の説明では、ナビゲーションシステムを例にして説明したが、プレストーク入力を用いてシステムとの音声対話を可能にする機器であれば同様に前述の方式を適用可能である。
【００４３】
また、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音声対話処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４５】
【発明の効果】
以上説明したように、この発明によれば、時間監視手段を設け、ユーザが発話ボタンをプッシュしてからリリースするまでの経過時間を測定し、この経過時間が短い場合と長い場合において、発話ボタンが操作ボタンとして利用されたと判断して、ボタン操作動作設定記憶手段に定義された動作を実施するようにしたため、発話ボタン一つで、音声入力ためのプレストーク機能と、対話動作のショートカットなどを実現するための操作ボタン機能を同時に実現することができ、ユーザは自分にとって都合のよい入力を選択することができるという効果が得られる。また、ユーザへの問い合わせ内容に対する回答が「はい／いいえ」であるような場面において、短時間プッシュを「はい」の音声入力とみなしたり、また、運転者ヘの問い合わせ内容に対する回答が複数候補からの選択であるような場面において、短時間プッシュを「もう一度」の音声入力とみなして、状態遷移の制御を容易に行うことが可能になるという効果も得られる。また、入力手段を設け、動作設定記憶手段に記憶されている内容を変更できるようにしたため、ユーザの使いやすい形態にカスタマイズすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す音声対話システムにおける音声入力時の動作を示すシーケンス図である。
【図３】図１に示す音声対話システムにおけるボタン操作時の動作を示すシーケンス図である。
【図４】図１に示すボタン操作動作設定記憶部５のテーブル構造を示す説明図である。
【符号の説明】
１・・・発話ボタン
２・・・発話ボタン操作検出部
３・・・時間監視部
４・・・ＨＭＩ制御部
５・・・ボタン操作動作設定記憶部
６・・・マイク
７・・・音声認識部
８・・・スピーカ
９・・・音声再生部
１０・・・音声合成部
１１・・・対話制御部
１２・・・対話シナリオ記憶部
【図１】
2004354942.tif 000003
【図２】
2004354942.tif 000004
【図３】
2004354942.tif 000005
【図４】
2004354942.tif 000006