(57)【特許請求の範囲】
【請求項１】
利用者端末から利用者の音声情報を入力する音声情報入力部と、
前記音声情報について音声認識を行い、前記音声情報の内容を解析する音声認識部と、
前記音声情報の内容に応じて前記音声情報の伝達経路を制御する音声情報仲介部と、
知識データベースを参照して前記音声情報に対応した応答内容を抽出して、前記応答内容に応じた合成音声を作成する対話エンジンと、
前記合成音声を出力する音声情報出力部とを含む音声対話システムであって、
前記音声情報仲介部は、
利用者と対話エンジンとの対話を介助する介助者のオペレータ端末と接続するオペレータ端末接続部と、
利用者ごとの対話履歴を記録する対話履歴情報保存部と、
前記音声認識部による解析結果と共に、利用者と対話エンジンとの対話状況を判定するために算出した分析結果にかかる情報を前記対話履歴情報保存部に記憶し、前記対話履歴情報保存部に記憶された分析結果にかかる情報に基づいて、前記利用者の対話が円滑に行われているか否かを監視し、前記利用者の対話が円滑に行われていないと判断した場合には、前記オペレータ端末接続部を起動する対話管理部とを備え、
前記対話管理部が、前記利用者が対話を開始してからの対話時間及び対話エンジンとのアクセス度数に応じて対話進捗度を定め、前記対話進捗度が低い順に、前記オペレータ端末接続部の起動形態が、
オペレータ端末に、利用者端末に出力する前に対話内容を表示し、介助者が出力内容を更新可能な状態である介入、
オペレータ端末に利用者端末への出力と同じ対話内容を同時に表示し、介助者も新たな入力が可能な状態である並行入力、
対話エンジンからの出力を利用者端末に出力せず、オペレータ端末における対話内容および介助入力のみを利用者端末に送信する状態である切替と、
順次変化することを特徴とする音声対話システム。
【請求項２】
利用者端末から利用者の音声情報を入力する音声情報入力部と、
前記音声情報について音声認識を行い、前記音声情報の内容を解析する音声認識部と、
前記音声情報の内容に応じて前記音声情報の伝達経路を制御する音声情報仲介部と、
知識データベースを参照して前記音声情報に対応した応答内容を抽出して、前記応答内容に応じた合成音声を作成する対話エンジンと、
前記合成音声を出力する音声情報出力部とを含む音声対話システムであって、
前記音声情報仲介部は、
利用者と対話エンジンとの対話を介助する介助者のオペレータ端末と接続するオペレータ端末接続部と、
利用者ごとの対話履歴を記録する対話履歴情報保存部と、
前記音声認識部による解析結果と共に、利用者と対話エンジンとの対話状況を判定するために算出した分析結果にかかる情報を前記対話履歴情報保存部に記憶し、前記対話履歴情報保存部に記憶された分析結果にかかる情報に基づいて、前記利用者の対話が円滑に行われているか否かを監視し、前記利用者の対話が円滑に行われていないと判断した場合には、前記オペレータ端末接続部を起動する対話管理部とを備え、
前記対話管理部において前記利用者の対話が円滑に行われていないと判断した場合に、前記オペレータ端末接続部を介して介助者に対してかかる事実を通知する介助依頼通知部をさらに含み、
前記介助依頼通知部において、前記利用者の対話が円滑に行われていないと判断した事実が通知された場合には、前記オペレータ端末接続部が起動して、前記介助者が前記利用者との対話を自発的に行うことができるとともに、前記利用者と対話エンジンとの対話が、介助者による介助を主体としてなされていることを検知した場合には、前記対話エンジンが前記介助者のみと対話することを特徴とする音声対話システム。
【請求項３】
利用者端末から利用者の音声情報を入力する音声情報入力部と、
前記音声情報について音声認識を行い、前記音声情報の内容を解析する音声認識部と、
前記音声情報の内容に応じて前記音声情報の伝達経路を制御する音声情報仲介部と、
知識データベースを参照して前記音声情報に対応した応答内容を抽出して、前記応答内容に応じた合成音声を作成する対話エンジンと、
前記合成音声を出力する音声情報出力部とを含む音声対話システムであって、
前記音声情報仲介部は、
利用者と対話エンジンとの対話を介助する介助者のオペレータ端末と接続するオペレータ端末接続部と、
利用者ごとの対話履歴を記録する対話履歴情報保存部と、
前記音声認識部による解析結果と共に、利用者と対話エンジンとの対話状況を判定するために算出した分析結果にかかる情報を前記対話履歴情報保存部に記憶し、前記対話履歴情報保存部に記憶された分析結果にかかる情報に基づいて、前記利用者の対話が円滑に行われているか否かを監視し、前記利用者の対話が円滑に行われていないと判断した場合には、前記オペレータ端末接続部を起動する対話管理部とを備え、
前記対話履歴情報保存部に格納されている前記対話履歴を介助者に表示出力する対話履歴表示部と前記介助者からの介助指示を受けつける介助指示部をさらに含み、
前記介助指示部が前記介助者から前記介助指示を受けつけると、前記音声情報仲介部は、前記介助者と前記利用者との間の対話を可能とし、前記利用者と対話エンジンとの対話が、介助者による介助を主体としてなされていることを検知した場合、前記対話エンジンが前記介助者のみと対話することを特徴とする音声対話システム。
【請求項４】
前記対話管理部は、前記利用者の対話が円滑に行われているか否かを、前記知識データベースに前記応答内容が見つからなかった回数の累積値が設定限界回数を超えたか否かによって判断し、前記設定限界回数を超えた場合には、前記オペレータ端末接続部を起動する請求項１〜３のいずれか一項に記載の音声対話システム。
【請求項５】
前記対話管理部において、前記利用者の対話が円滑に行われているか否かを、前記対話エンジンが応答してから前記利用者が反応を返すまでの平均反応時間によって判断し、前記平均反応時間が第１のしきい値を超えた場合、あるいは第２のしきい値より小さい場合には、前記オペレータ端末接続部を起動する請求項１〜３のいずれか一項に記載の音声対話システム。
【請求項６】
前記対話管理部において、前記利用者の対話が円滑に行われているか否かを、前記利用者の入力した前記音声情報の平均的な音質の評価値によって判断し、前記平均的な音質の評価値が第１のしきい値を超えた場合、あるいは第２のしきい値より小さい場合には、前記オペレータ端末接続部を起動する請求項１〜３のいずれか一項に記載の音声対話システム。
【請求項７】
前記音声情報仲介部が、対話中の内容に関して最も詳しいと思われる介助者を前記対話履歴から選定する介助者選択部をさらに含む、請求項１〜６のいずれか一項に記載の音声対話システム。
【請求項８】
利用者端末から利用者の音声情報を入力する工程と、
前記音声情報について音声認識を行い、前記音声情報の内容を解析する解析工程と、
前記音声情報の内容に応じて前記音声情報の伝達経路を制御する経路制御工程と、
前記合成音声を出力する工程とを含み、
前記経路制御工程において、対話エンジンが、知識データベースを参照して前記音声情報に対応した応答内容を抽出して、前記応答内容に応じた合成音声を作成する音声対話方法であって、
前記経路制御工程において、前記解析工程の解析結果と共に、利用者と対話エンジンとの対話状況を判定するために算出した分析結果にかかる情報を対話履歴情報保存部に記憶し、前記対話履歴情報保存部に記憶された分析結果にかかる情報に基づいて、前記利用者の対話が円滑に行われているか否かを常時監視し、前記利用者の対話が円滑に行われていないと判断された場合には、前記利用者と対話エンジンとの対話を介助するオペレータ端末と接続するオペレータ端末接続部を起動する対話管理工程をさらに含み、
前記対話管理工程において、前記利用者が対話を開始してからの対話時間及び対話エンジンとのアクセス度数に応じて対話進捗度を定め、前記対話進捗度が低い順に、前記オペレータ端末接続部の起動形態が、
オペレータ端末に、利用者端末に出力する前に対話内容を表示し、介助者が出力内容を更新可能な状態である介入、
オペレータ端末に利用者端末への出力と同じ対話内容を同時に表示し、介助者も新たな入力が可能な状態である並行入力、
対話エンジンからの出力を利用者端末に出力せず、オペレータ端末における対話内容および介助入力のみを利用者端末に送信する状態である切替と、
順次変化することを特徴とする音声対話方法。
【請求項９】
利用者端末から利用者の音声情報を入力するステップと、
前記音声情報について音声認識を行い、前記音声情報の内容を解析する解析ステップと、
前記音声情報の内容に応じて前記音声情報の伝達経路を制御する経路制御ステップと、
前記合成音声を出力するステップとを含み、
前記経路制御ステップにおいて、対話エンジンが、知識データベースを参照して前記音声情報に対応した応答内容を抽出して、前記応答内容に応じた合成音声を作成する音声対話処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記音声対話処理は、
前記経路制御ステップにおいて、前記解析ステップの解析結果と共に、利用者と対話エンジンとの対話状況を判定するために算出した分析結果にかかる情報を対話履歴情報保存部に記憶し、前記対話履歴情報保存部に記憶された分析結果にかかる情報に基づいて、前記利用者の対話が円滑に行われているか否かを常時監視し、前記利用者の対話が円滑に行われていないと判断された場合には、前記利用者と対話エンジンとの対話を介助するオペレータ端末と接続するオペレータ端末接続部を起動する対話管理ステップをさらに含み、
前記対話管理ステップにおいて、前記利用者が対話を開始してからの対話時間及び対話エンジンとのアクセス度数に応じて対話進捗度を定め、前記対話進捗度が低い順に、前記オペレータ端末接続部の起動形態が、
オペレータ端末に、利用者端末に出力する前に対話内容を表示し、介助者が出力内容を更新可能な状態である介入、
オペレータ端末に利用者端末への出力と同じ対話内容を同時に表示し、介助者も新たな入力が可能な状態である並行入力、
対話エンジンからの出力を利用者端末に出力せず、オペレータ端末における対話内容および介助入力のみを利用者端末に送信する状態である切替と、
順次変化することを特徴とする、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、利用者がシステムにより生成される合成音声との対話によって種々の機能を実現する音声対話システムを円滑に機能させるための音声対話システム及び音声対話方法に関する。
【０００２】
【従来の技術】
昨今のコンピュータ処理速度の向上、扱うことができる情報容量の拡大、並びに音声認識技術の急速な進歩によって、単語レベルの音声認識であれば実用的に問題なく使用できるようになってきたことから、音声認識技術もシステム構築上の重要な要素技術の一つになりつつある。かかる音声認識技術を活用することで、高度なグラフィカルインタフェースを用いるまでもなく、専ら音声を利用した音声対話インタフェースを用いて、種々の課題を解決することが可能となっている。
【０００３】
このように音声対話インタフェースを用いることで、利用者が意図する手順によって課題解決を行うことができ、かつ人間が本来有しているオーラルコミュニケーションの能力をフルに活用することができる音声対話システムが、様々な分野において開発されてきている。
【０００４】
図１に、従来の音声対話システムの構成図を示す。図１において、１は音声入力部であり、利用者が音声情報を入力するものである。入力媒体としては、マイク等の他、ウェブファイルとしてのファイル渡し等も考えられる。また、入力された音声情報はネットワーク７等を通じて音声認識部２へ送られる。ネットワーク７としては、インターネットを初めとして、ＷＡＮ／ＬＡＮ等あらゆる接続形態が考えられる。
【０００５】
２は音声認識部であり、入力された音声情報の内容を解析するものである。また、入力された音声にノイズが含まれている場合等に対処するべくノイズリダクション機能を有することも考えられる。
【０００６】
６は音声出力部であり、音声入力部１からの音声入力に対応した応答を合成音声として出力するものである。なお、出力方法として音声による出力に限定されるものではなく、応答内容を表示装置に表示するものであっても良い。
【０００７】
３は音声情報仲介部を示し、音声入力部１及び音声出力部６と対話エンジン４との間の応答タイミングを制御するものである。４は対話エンジンであり、音声入力の内容に応じて知識データベース５を参照することによって、最も適した応答内容を抽出するものである。したがって、対話エンジン４の性能自体が音声対話システムの性能に直接影響を及ぼすことになる。
【０００８】
しかしながら、上述したような従来の音声対話システムでは、現在の音声認識技術が１００％の認識精度を有するに至っていないことから、利用者の発話意図が十分に認識されない場合も考えられる。また、いかに高性能の対話エンジン４であろうと、人間が日常行っているような自由会話に完全に対応させることは不可能であり、対応しきれない内容の会話になることも十分考えられる。
【０００９】
このような場合、当該会話内容に詳しい第三者やオペレータを会話に参加させることで対話エンジン４のみでは適合できなかった会話についても対応することができるようになるものと考えられる。
【００１０】
例えば、特公平７−１９２３９号公報においては、音声入力に特定の単語が含まれていることを検知したら第三者であるオペレータと対話できるように切り替えるシステムについて開示している。
【００１１】
また、特開平８−７６９６５号公報においては、利用方法が分からなくなったときに、利用者の意思によってオペレータの介在を要求できる音声認識システムについて開示されており、特開平１０−１２４０８６号公報においては、エキスパートシステムのみで応答できない場合にシステムサポータによって直接応答できるようにする音声対話システムが開示されている。
【００１２】
【発明が解決しようとする課題】
しかしながら、例えば特公平７−１９２３９号公報に開示されている発明では、特定の単語が含まれていなくてもオペレータの介助が必要な場合も想定され、またあらゆる場合を想定した単語を抽出することが実際上困難であることから、実際にかかるシステムを構築することが困難であるという問題点があった。
【００１３】
また、特開平８−７６９６５号公報に開示されている発明では、利用者が意図しなければオペレータの介助を受けることができず、第三者が監視していれば無駄な対話であると容易に判断できる対話内容を、相当時間経てからでないとオペレータの介助を受けることができないという問題点があった。
【００１４】
さらに、特開平１０−１２４０８６号公報に開示されている発明においては、エキスパートシステムにおけるルールデータベースに含まれていない対話の場合にのみシステムサポータの介助を得ることができるが、ルールデータベースに含まれている対話であっても、利用者の知識レベルとルールデータベースの知識レベルが合致していなければ、円滑な対話が成立せず、利用者にとってわかりにくい音声対話システムとなってしまうという問題点があった。
【００１５】
本発明は、上述したような問題点を解消するべく、利用者の知識レベルに対応して、オペレータの介在するタイミングを自動的に制御することができる音声対話システム及び音声対話方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる音声対話システムは、利用者端末から利用者の音声情報を入力する音声情報入力部と、音声情報について音声認識を行い、音声情報の内容を解析する音声認識部と、音声情報の内容に応じて音声情報の伝達経路を制御する音声情報仲介部と、知識データベースを参照して音声情報に対応した応答内容を抽出して、応答内容に応じた合成音声を作成する対話エンジンと、合成音声を出力する音声情報出力部とを含む音声対話システムであって、音声情報仲介部は、利用者の対話が円滑に行われているか否かを常時監視し、利用者の対話が円滑に行われていないと判断した場合には、利用者と対話エンジンとの対話への他の端末からの第三者の参加を許可することを特徴とする。
【００１７】
かかる構成により、知識データベースの知識レベルと利用者の知識レベルに乖離が存在する場合であっても、オペレータの介助を受けることができるタイミングを自動的に制御することが可能となる。
【００１８】
また、本発明にかかる音声対話システムは、音声情報仲介部が、利用者の対話が円滑に行われているか否かを、知識データベースに応答内容が見つからなかった回数の累積値が設定限界回数を超えたか否かによって判断し、設定限界回数を超えた場合には、利用者と対話エンジンとの対話への他の端末からの第三者の参加を許可することが好ましい。一度該当項目が知識データベースに登録されていなかったからといってオペレータの介助が即座に必要というものでもないが、ある程度の回数試行錯誤しても応答として適当な項目にヒットしない場合については、やはりオペレータによる介助が必要となるからである。
【００１９】
また、本発明にかかる音声対話システムは、音声情報仲介部において、利用者の対話が円滑に行われているか否かを、対話エンジンが応答してから利用者が反応を返すまでの平均反応時間によって判断し、平均反応時間が第１のしきい値を超えた場合、あるいは第２のしきい値より小さい場合には、利用者と対話エンジンとの対話への他の端末からの第三者の参加を許可することが好ましい。利用者の平均反応時間は、対話が円滑に進行している間は一定の範囲内に収束するものであるが、対話が冗長になってくると次第に反応時間が短くなる傾向にあり、逆に対話の内容についていけなくなると次第に反応時間が長くなる傾向にあるため、かかる対話特有の性質を利用したものである。
【００２０】
また、本発明にかかる音声対話システムは、音声情報仲介部において、利用者の対話が円滑に行われているか否かを、利用者の入力した音声情報の平均的な音質の評価値によって判断し、平均的な音質の評価値が第１のしきい値を超えた場合、あるいは第２のしきい値より小さい場合には、利用者と対話エンジンとの対話への他の端末からの第三者の参加を許可することが好ましい。利用者の入力する音声の高さやピッチ等の平均値は、対話が円滑に進行している間は一定の範囲内に収束するものであるが、対話が冗長になってくると次第に高くなる傾向にあり、逆に対話の内容についていけなくなると次第に低くなる傾向にあることから、かかる対話特有の性質を利用したものである。
【００２１】
また、本発明にかかる音声対話システムは、音声情報仲介部において、利用者が対話を開始してからの対話時間及び対話エンジンとのアクセス度数に応じて対話進捗度を定め、対話進捗度が低い順に第三者の参加形態が、第三者へ利用者との対話内容を表示して第三者によって対話内容を更新する介入、第三者が利用者と並行して入力する並行入力、第三者が直接利用者と対話する切替と、順次変化することが好ましい。対話進捗度に応じて、利用者が必要とするレベルに応じた介助を提供することができるからである。
【００２２】
また、本発明にかかる音声対話システムは、対話エンジンが利用者ごとの対話履歴を記録する対話履歴情報保存部と、対話中の内容に関して最も詳しいと思われる第三者を対話履歴から選定する介助者選択部とをさらに含み、音声情報の内容に対して最適な介助者を選定することが好ましい。対話の内容に応じて、介助専門のオペレータのみならず、対話に参加したことのある利用者の中からも最適な者を選択することができるからである。
【００２３】
また、本発明にかかる音声対話システムは、音声情報仲介部において利用者の対話が円滑に行われていないと判断した場合に、介助者に対してかかる事実を通知する介助依頼通知部をさらに含み、介助依頼通知部において、利用者の対話が円滑に行われていないと判断した事実が通知された場合には、介助者が利用者との対話を自発的に行うことができるとともに、介助者と利用者との対話において介助者のみの音声が所定の時間以上継続していることを検知した場合には、対話エンジンが前記介助者のみと対話することが好ましい。介助専門のオペレータが自発的に対話を介助することができる機会を付与するとともに、介助専門のオペレータが対話のイニシアティブを取ってしまった事実を検出することで、介助専門のオペレータと直接対話させた方が、より対話が円滑に進行するものと考えられるからである。
【００２４】
また、本発明にかかる音声対話システムは、対話履歴情報保存部に格納されている対話履歴を介助者に表示出力する対話履歴表示部と介助者からの介助指示を受けつける介助指示部をさらに含み、介助指示部が介助者から介助指示を受けつけると、音声情報仲介部は、介助者と利用者との間の対話を可能とし、介助者と利用者との対話において介助者の介助の度合が所定のしきい値を超えると、対話エンジンが介助者のみと対話することが好ましい。同様に、介助専門のオペレータが自発的に対話を介助することができる機会を付与するとともに、介助専門のオペレータが対話のイニシアティブを取ってしまった事実を検出することで、介助専門のオペレータと直接対話させた方が対話が円滑に進行するものと考えられるからである。
【００２５】
また、本発明は、上記のような音声対話システムの機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、利用者端末から利用者の音声情報を入力する工程と、音声情報について音声認識を行い、音声情報の内容を解析する工程と、音声情報の内容に応じて音声情報の伝達経路を制御する工程と、合成音声を出力する工程とを含み、音声情報の伝達経路を制御する工程において、知識データベースを参照して音声情報に対応した応答内容を抽出して、応答内容に応じた合成音声を作成する音声対話方法であって、音声情報の伝達経路を制御する工程において、利用者の対話が円滑に行われているか否かを常時監視し、利用者の対話が円滑に行われていないと判断された場合には、利用者と対話エンジンとの会話への他の端末からの第三者の参加を許可する音声対話方法並びにそのような工程をプログラムとして記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００２６】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、知識データベースの知識レベルと利用者の知識レベルに乖離が存在する場合であっても、オペレータの介助を受けることができるタイミングを自動的に制御することができる音声対話システムを実現することが可能となる。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態にかかる音声対話システムについて、図面を参照しながら説明する。図２は本発明の実施の形態にかかる音声対話システムの構成図である。なお、図１と共通する構成要素については同一の符号を付することで、詳細な説明は省略する。
【００２８】
図２において、従来と大きく相違するのは、利用者による対話状況を常時監視するように対話管理部２１を設けている点である。対話管理部２１によって、利用者による対話を監視しつつ、対話履歴情報を取得して、対話履歴情報保存部２２へ保存している。
【００２９】
対話履歴情報としては、利用者ごとに音声認識部２により認識された対話の内容のみならず、利用者の応答に要する時間や応答までの反応時間、入力される音声の高さやピッチ等の音質に関する情報、また音声情報仲介部３を通じて取得できる情報として、知識データベース５にヒットしなかった回数の累積値等も含むものとする。
【００３０】
そして、利用者の応答時間からは、利用者が対話を開始してからの累積時間を算出し、入力される音声の高さやピッチ等からは、利用者の入力音声ごとの平均値を算出する。知識データベース５にヒットしなかった回数の累積値等を含めたこれらの結果に基づいて、利用者による対話が円滑に行われているか否か、あるいは対話の進捗度がどの程度であるか等を判断することができる。
【００３１】
また、音声情報仲介部３においては、新たな機能として、所定の条件を具備しているか否かを判断して、条件を具備している場合には利用者の対話が円滑に行われていないものと判断して、利用者の対話を介助するためのオペレータ端末を接続するオペレータ端末接続部２３を起動する機能が付加される。
【００３２】
ここで判断すべき所定の条件としては様々な条件が考えられる。まず、利用者の対話が円滑に行われているか否かを、知識データベース５を照会した際に応答内容として適当な項目が登録されていなかった回数（ヒットしなかった回数）の累積値が設定限界回数を超えたか否かによって判断することが考えられる。
【００３３】
すなわち、応答内容として適当な項目が登録されていなかった場合には、応答として別の入力を促すような出力がなされることから、何度か試行錯誤するうちに応答として適当な項目にヒットすることもある。したがって、一度該当項目が登録されていなかったからといってオペレータの介助が即座に必要というものでもない。反面、何度試行錯誤しても応答として適当な項目にヒットしない場合については、やはりオペレータによる介助が必要となることから、ヒットしなかった回数を累積して、累積値が所定のしきい値を超えた場合には、利用者の対話にオペレータが参加できるようにオペレータ端末を接続するオペレータ端末接続部２３を起動するものである。
【００３４】
また、利用者の対話が円滑に行われているか否かを、対話履歴情報保存部２２に保存されている対話履歴情報に基づいて算出する利用者の応答ごとの平均反応時間によって判断することも考えられる。
【００３５】
すなわち、利用者の反応時間は、対話が円滑に進行している間は一定の範囲内に収束するものであるが、対話が冗長になってくると次第に反応時間が短くなる傾向にあり、逆に対話の内容についていけなくなると次第に反応時間が長くなる傾向にある。かかる対話特有の性質を利用して、平均反応時間が通常の対話における反応時間の上限である一定のしきい値を超えた場合、あるいは通常の対話における反応時間の下限である一定のしきい値より小さい場合には、利用者の対話にオペレータが参加できるようにオペレータ端末を接続するオペレータ端末接続部２３を起動するものである。
【００３６】
さらに、利用者の対話が円滑に行われているか否かを、対話履歴情報保存部２２に保存されている対話履歴情報に基づいて算出する利用者の入力した音声情報の平均的な音の高さやピッチ等によって判断することも考えられる。
【００３７】
すなわち、利用者の入力する音声の高さやピッチ等の平均値は、対話が円滑に進行している間は一定の範囲内に収束するものであるが、対話が冗長になってくると次第に高くなる傾向にあり、逆に対話の内容についていけなくなると次第に低くなる傾向にある。かかる対話特有の性質を利用して、利用者の入力する音声の高さやピッチ等の平均値が通常の対話における音声の高さやピッチ等の平均値の上限である一定のしきい値を超えた場合、あるいは通常の対話における音声の高さやピッチ等の平均値の下限である一定のしきい値より小さい場合には、利用者の対話にオペレータが参加できるようにオペレータ端末を接続するオペレータ端末接続部２３を起動するものである。
【００３８】
次に、本発明の実施の形態にかかる音声対話システムを実現するプログラムの処理の流れについて説明する。図３に本発明の実施の形態にかかる音声対話システムを実現するプログラムの処理の流れ図を示す。
【００３９】
図３において、まず利用者が音声を入力すると（ステップＳ３０１）、音声認識を行って、入力された音声情報の内容を解析する（ステップＳ３０２）。そして、その結果を対話履歴情報として保存する（ステップＳ３０３）。同時に、対話開始時以外における平均反応時間、及び入力音声ごとに音声の高さやピッチ等の平均値を算出して、同じく対話履歴情報として保存する（ステップＳ３０４）。
【００４０】
次に、入力音声の内容に基づいて知識データベースを参照して（ステップＳ３０５）、入力音声の内容に対応する情報が知識データベースにあれば（ステップＳ３０６：Ｙｅｓ）、当該情報に基づいて応答内容を自動生成して合成音声として出力する（ステップＳ３０７）。このようにして対話を継続することになる。
【００４１】
一方、入力音声の内容に対応する情報が知識データベースになければ（ステップＳ３０６：Ｎｏ）、再度他の入力を促すメッセージを表示するとともに（ステップＳ３０８）、知識データベースをヒットしなかった回数として対話履歴情報中で累積する（ステップＳ３０９）。
【００４２】
そして、対話履歴情報において、知識データベースをヒットしなかった回数の累積値が一定のしきい値を超えた場合には（ステップＳ３１０：Ｙｅｓ）、オペレータによる介助が必要であるものと判断して、オペレータ端末を当該対話へ接続する（ステップＳ３１１）。
【００４３】
以上のように本実施の形態によれば、知識データベースにおける知識ベースと利用者の知識レベルとの乖離が大きい場合に、オペレータによる介助を受けることができるタイミングを自動的に制御することが可能となる。
【００４４】
また、対話履歴情報保存部２２に保存されている対話履歴情報に基づいて、利用者が対話を開始してからの対話時間や、対話エンジン４にアクセスした回数の累積値を求めることもできる。これら対話時間や対話エンジン４にアクセスした回数の累積値が大きな値となっている場合には、利用者の対話の進捗度が高くなっているものと考えられる。
【００４５】
そこで、対話時間や対話エンジン４にアクセスした回数の累積値を評価値とした対話進捗度に基づいて、オペレータによる利用者への介助方法を変えることも考えられる。すなわち、図４に示すように、対話時間が短い場合や対話エンジン４にアクセスした回数の累積値が小さい場合においては、対話進捗度が低いものと判断し、オペレータ自身によって介助の必要性を判断する方法で十分であると考えられる。
【００４６】
具体的には、オペレータ端末２４に対して利用者に出力する前に一度対話内容を表示し、オペレータが何らかの介助が必要であると判断した場合に限り、出力内容を更新することで十分である。対話エンジン４に対するアクセスをさらに繰り返すことによって、オペレータを介することなく対話を進行できる可能性も高いからである。このようにオペレータによる任意的な介助方法を「介入」と呼ぶ。
【００４７】
なお、オペレータ端末２４における対話内容の表示は対話履歴表示部２６によって行われ、オペレータによる介助入力については、音声によって音声入力部２５から入力される。
【００４８】
また、対話時間がある程度累積されてきた場合や対話エンジン４にアクセスした回数の累積値がある程度の値となっている場合においては、対話進捗度がある程度高くなってきたものと判断して、オペレータによるより積極的な介助が必要となっているものと考えられる。
【００４９】
具体的には、オペレータ端末２４に対して対話内容を表示することは同じであるが、利用者にも同時に出力し、オペレータが第三者的立場から新たな出力を入力することも考えられる。ある程度対話が進捗しているにもかかわらず対話が円滑に行われていないと判断されているということは、対話エンジン４に対するアクセスを繰り返すのみでは不十分な箇所が発生しているものと考えられるからである。このようにオペレータによる積極的な介助方法を「並行入力」と呼ぶ。
【００５０】
なお、この場合も同じく、オペレータ端末２４における対話内容の表示は対話履歴表示部２６によって行われ、オペレータによる介助入力については、音声によって音声入力部２５から入力される。
【００５１】
さらに、対話時間が相当累積されている場合や対話エンジン４にアクセスした回数の累積値が非常に高くなっている場合においては、対話進捗度がかなり高いものと判断して、オペレータによる積極的な介助が必要となっているものと考えられる。具体的には、オペレータが直接利用者と対話することが考えられる。対話エンジン４に対するアクセスでは、対話の続行が不可能になっている可能性が高いものと考えられるからである。このようにオペレータが直接介助するべく対話エンジン４を用いない介助方法を「切替」と呼ぶ。
【００５２】
なお、この場合も同じく、オペレータ端末２４における対話内容の表示は対話履歴表示部２６によって行われ、オペレータによる介助入力については、音声によって音声入力部２５から入力される。
【００５３】
このようにすることで、対話の進捗度に応じて、オペレータによる介助手段に緩急をつけることができ、利用者にとって必要とされるレベルのオペレータによる介助を自動的に判断することが可能となる。
【００５４】
また、オペレータは専属のオペレータである必要は必ずしもなく、例えばネットワーク上で同一アプリケーション環境にアクセスしている他の利用者のうち、音声情報の内容に詳しいと考えられる他の利用者であっても良い。この場合、図５に示すように、利用者の対話内容履歴が保存されている対話履歴情報保存部２２を照会することで、以前に行われた同一又は類似内容に関する対話における他の利用者のうち、当該内容に最も詳しいと考えられる他の利用者を選定する介助者選択部５１が必要となり、音声情報仲介部３が利用者端末の接続先を決定することになる。
【００５５】
すなわち、図５において、音声情報仲介部３が、入力された音声情報の内容に関する過去に行われた対話を対話履歴情報保存部２２を照会することで抽出し、介助者選択部５１において当該対話内容の中から最も当該内容に詳しい者と考えられる他の利用者を選択して、当該他の利用者の端末を接続できるように他の利用者端末接続部５２を起動させる。
【００５６】
そして他の利用者端末５３では、それまでの対話履歴が対話履歴表示部５５に表示され、当該他の利用者の知識でもって、音声入力部５４からオペレータの代わりに介助行為を行うことになる。
【００５７】
また、対話履歴情報保存部２２に保存されている対話履歴情報に基づいて、様々な方法によって利用者が対話を円滑に進めることができていないことを検出することができるが、この場合にオペレータの自主的な判断によって利用者の対話を介助することも考えられる。
【００５８】
すなわち、図６に示すように利用者が対話を円滑に進めることができていないことを検出すると同時に、オペレータ端末接続部６１を起動させ、介助依頼通知部５６からオペレータに介助依頼を自動的に通知することによって、オペレータが介助を行えるようにするものである。
【００５９】
なお、図６に示すように、利用者が対話を円滑に進めることができていないことを検出するまでもなく、常時オペレータ端末接続部６１を起動させておき、オペレータ端末６２における対話履歴表示部６４に利用者と対話エンジンとの間の対話履歴を表示させておくことで、オペレータ自身が介助が必要と判断したタイミングで介助を開始するものであっても良い。
【００６０】
この場合、オペレータ端末６２において、さらに介助指示部６５を設け、オペレータ自身の判断で介助が必要であると判断した場合に、オペレータが入力した介助指示を音声情報仲介部３の介助指示部６５が受けつけ、対話管理部２１へ渡すことになる。そして、介助指示を受け取った対話管理部２１は、オペレータと利用者との間の対話を可能にすることで、オペレータによる介助行為が可能となる。
【００６１】
さらに、オペレータによる介助が主体となってしまった場合、例えば利用者と対話エンジンとの対話がほとんどなくなり、オペレータと対話エンジンとの対話のみになってしまったことを検出した場合には、対話エンジンとオペレータの対話のみが行えるように接続を切り替えることも考えられる。すなわち、オペレータによる介助の度合が所定のしきい値を超える程度にまで及んだことを検知できた場合には、利用者端末との接続を切断してオペレータとの対話のみにすることにより、当該問題の早期解決を図るものである。
【００６２】
この場合、オペレータによる介助が主体となる状況の判断指標としては、単位時間当たりの情報発信量や、単位時間当たりの無音時間比率、単位時間当たりの話者交代頻度、あるいは単位時間当たりのオペレータ及び利用者の発生時間の比率等の指標が考えられる。なお、特にこれらに限定されるものではなく、オペレータによる介助が主体であると判断できる指標であれば何でも良い。
【００６３】
なお、本実施の形態においては、音声字体の入力による対話システムについて説明しているが、同様のシステムがチャットのような文字入力システムにおいても実現可能である。すなわち、チャットにおいては、音声により入力すべき対話の内容がキーボード等によるテキスト入力に変更されているにすぎないものと考えられるからである。この場合、チャットによるやり取りの頻度等を検出する指標としては、例えば単位時間当たりに入力されるテキストデータ量や通信されるテキストデータ量等が考えられるが、基本的には本実施の形態における考え方と大差はない。
【００６４】
また、本発明の実施の形態にかかる音声対話システムを実現するプログラムを記憶した記録媒体は、図７に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ７２−１やフロッピーディスク７２−２等の可搬型記録媒体７２だけでなく、通信回線の先に備えられた他の記憶装置７１や、コンピュータ７３のハードディスクやＲＡＭ等の記録媒体７４のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００６５】
また、本発明の実施の形態にかかる音声対話システムにより生成された対話履歴情報等を記録した記録媒体も、図７に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ７２−１やフロッピーディスク７２−２等の可搬型記録媒体７２だけでなく、通信回線の先に備えられた他の記憶装置７１や、コンピュータ７３のハードディスクやＲＡＭ等の記録媒体７４のいずれでも良く、例えば本発明にかかる音声対話システムを利用する際にコンピュータ７３により読み取られる。
【００６６】
【発明の効果】
以上のように本発明にかかる音声対話システムによれば、知識データベースにおける知識ベースと利用者の知識レベルとの乖離が大きい場合においても、オペレータによる介助を受けることができるタイミングを自動的に制御することが可能となる。
【００６７】
また、本発明にかかる音声対話システムによれば、対話の進捗度に応じて、オペレータによる介助手段に緩急をつけることができ、利用者にとって必要とされるレベルのオペレータによる介助を自動的に判断することが可能となる。
【図面の簡単な説明】
【図１】  従来の音声対話システムの構成図
【図２】  本発明の実施の形態にかかる音声対話システムの構成図
【図３】  本発明の実施の形態にかかる音声対話システムにおける処理の流れ図
【図４】  介助レベル決定の模式図
【図５】  本発明の実施の形態にかかる音声対話システムの構成図
【図６】  本発明の実施の形態にかかる音声対話システムの構成図
【図７】  記録媒体の例示図
【符号の説明】
１、２５、５４、６３  音声入力部
２  音声認識部
３  音声情報仲介部
４  対話エンジン
５  知識データベース
６  音声出力部
７  ネットワーク
２１  対話管理部
２２  対話履歴情報保存部
２３  オペレータ端末接続部
２４  オペレータ端末
２６、５５、６４  対話履歴表示部
５１  介助者選択部
５２  他の利用者端末接続部
５３  他の利用者端末
５６  介助依頼通知部
６１  オペレータ端末接続部
６２  オペレータ端末
６５  介助指示部
７１  回線先の記憶装置
７２  ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
７２−１  ＣＤ−ＲＯＭ
７２−２  フロッピーディスク
７３  コンピュータ
７４  コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【図１】
0003857047.tif 000002
【図２】
0003857047.tif 000003
【図３】
0003857047.tif 000004
【図４】
0003857047.tif 000005
【図５】
0003857047.tif 000006
【図６】
0003857047.tif 000007
【図７】
0003857047.tif 000008