(57)【要約】本発明は、ユーザーとの会話式対話を実行するシステム（１０１）のための方法に関する。システム（１０１）によって実行されるべき動作の要求を含むユーザーの発話信号（１０７）が記録され、解析される。解析の結果がシステム（１０１）内で定義されている所定の意味項目（１０３）と比較され、ここで、該意味項目のそれぞれにはある動作が関連付けられている。この比較に基づいて、所定の意味項目（１０３）から選択された、限られた数の意味項目を同定する候補リスト（１０９）が生成され、ユーザー（１０５）に呈示される。所定の基準に基づいて、候補リスト（１０９）中の前記意味項目の一つに関連付けられた動作が、ユーザー（１０５）が候補リスト（１０９）から異なる意味項目を選ばない限り、実行される。
2008509431.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーとの会話式対話を実行するシステムのための方法であって：
・当該システムによって実行されるべき動作の要求を含む、前記ユーザーによって生成された発話信号を記録し、
・前記記録された発話信号を発話認識を使って解析し、該解析の結果をシステム内で定義されている所定の意味項目と比較し、ここで、該意味項目のそれぞれにはある動作が関連付けられており、
・前記比較に基づいて候補リストを生成し、ここで該候補リストは前記所定の意味項目から選択された、限られた数の意味項目を同定するものであり、
・前記候補リストを前記ユーザーに呈示し、
・所定の基準によって選ばれる、前記候補リスト中の前記意味項目の一つに関連付けられた動作を、前記ユーザーが前記候補リストから異なる意味項目を選ばない限り、実行する、
ステップを有する方法。
【請求項２】
前記呈示された候補リストにおける前記意味項目が、ユーザーの要求との異なる一致に基づくさまざまな信頼レベルを含む、請求項１記載の方法。
【請求項３】
前記候補リストがユーザーに呈示されている間、前記候補リストからの最高の信頼レベルをもつ意味項目が自動的に選択される、請求項１または２記載の方法。
【請求項４】
ユーザーが前記候補リスト中のどの意味項目も選択しない場合、前記候補リストからの最高の信頼レベルをもつ意味項目が自動的に選択される、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
前記候補リストがユーザーに所定の時間期間にわたって呈示される、請求項１ないし４のうちいずれか一項記載の方法。
【請求項６】
前記候補リストをユーザーに呈示することが前記候補リストをユーザーのために表示することを含む、請求項１ないし５のうちいずれか一項記載の方法。
【請求項７】
前記候補リストをユーザーに呈示することが、前記候補リストをユーザーのために再生することを含む、請求項１ないし６のうちいずれか一項記載の方法。
【請求項８】
処理装置をして請求項１ないし７のうちいずれか一項記載の方法を実行させるための命令を記憶しているコンピュータ可読媒体。
【請求項９】
ユーザーとの会話式対話を実行するシステムにおいて使用される会話装置であって：
・当該システムによって実行されるべき動作の要求を含む、前記ユーザーによって生成された発話信号を記録するための記録器と、
・前記記録された発話信号を発話認識を使って解析し、該解析の結果をシステム内で定義されている所定の意味項目と比較し、ここで、該意味項目のそれぞれにはある動作が関連付けられており、前記比較に基づいて候補リストが生成され、該候補リストは前記所定の意味項目から選択された、限られた数の意味項目を同定するものである、ような発話認識器と、
・前記候補リストを前記ユーザーに呈示する手段と、
・所定の基準に従って選ばれる、前記候補リスト中の前記意味項目の一つに関連付けられた動作を、前記ユーザーが前記候補リストから異なる意味項目を選ばない限り、実行する手段、
とを有する対話装置。
【請求項１０】
前記候補リストを前記ユーザーに呈示するための前記手段がディスプレイを有する、請求項９記載の会話装置。
【請求項１１】
前記候補リストを前記ユーザーに呈示するための前記手段が音響装置を有する、請求項９記載の会話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーとの会話式対話（dialogue  communication）を実行するシステムのための方法に関する。ユーザーの発話信号を解析することにより、意味項目の候補リストが生成され、ユーザーに呈示される。ユーザーが候補リストから異なる意味項目を選ばない限り、候補リスト中の一つの意味項目に関連付けられた動作が所定の基準に基づいて実行される。本発明はさらに、ユーザーとの会話式対話を実行するシステムにおいて使用される会話装置に関する。
【背景技術】
【０００２】
発話認識が決して100%の精度に至らないことは業界内では広く受け容れられている。したがって、誤りおよび不確定性に対処する諸方法が重要な研究分野である。利用可能な諸方法は、当該システムの使用シナリオによって決められる。
【０００３】
電話ベースのシステムのような声だけの会話システムは主として明確化質問および暗黙的もしくは明示的な検証を利用する。主として任意テキストのワードプロセッサへの口述を意図し、変換されたテキストがディスプレイに示されるシステムは、発話認識器によって与えられる候補リストから導出される代替を供給できる。この間、代替の組が生成され、これはしばしば樹形グラフとして表現されるが、可能な単語列のリストに変換されることもできる。これはしばしばベストn候補リストと呼ばれる。口述システムは、異なる代替の間の類似性が十分に高い単語または単語列の一部分の候補リストを表示することができ、するとユーザーはキーボードコマンドによって最良の代替を選択できる。しかしながら、こうしたシステムは、ユーザーと双方向的な方法で対話するよう適応されてはいない。
【０００４】
マルチモーダル発話会話システム、すなわち発話と追加的な態様とによって制御されるシステムについては、ユーザーコマンドを実行した結果は通例候補リストの形で表示される。たとえば、声によって制御される電子番組表は問い合わせに関して最良の結果を表示する。カーナビゲーションシステムにおける経路計画のための目的地入力のような、膨大な語彙ときわめて単純な会話構造をもつある種の用途では、候補リストはディスプレイ上に表示される。従来技術のマルチモーダル発話会話システムの問題は、可能な反応が候補リストだけで、その候補リストに基づいて対話を続けることができないことである。ユーザーとシステムとの間のこの双方向的な対話の欠如のため、対話はきわめてユーザーに不親切なものとなる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ユーザーとの会話式対話を実行するための双方向的かつユーザーフレンドリーな方法およびシステムを提供することによって上述した問題を解決することが本発明の目的である。
【課題を解決するための手段】
【０００６】
本発明のある側面によれば、本発明はユーザーとの会話式対話を実行するシステムのための方法であって：
・当該システムによって実行されるべき動作の要求を含む、前記ユーザーによって生成された発話信号を記録し、
・前記記録された発話信号を発話認識を使って解析し、該解析の結果をシステム内で定義されている所定の意味項目と比較し、ここで、該意味項目のそれぞれにはある動作が関連付けられており、
・前記比較に基づいて候補リストを生成し、ここで該候補リストは前記所定の意味項目から選択された、限られた数の意味項目を同定するものであり、
・前記候補リストを前記ユーザーに呈示し、
・所定の基準によって選ばれる、前記候補リスト中の前記意味項目の一つに関連付けられた動作を、前記ユーザーが前記候補リストから異なる意味項目を選ばない限り、実行する、
ステップを有する方法に関する。
【０００７】
これにより、候補リストはユーザーとシステムとの間の双方向的対話の継続を提供し、このため対話が非常にユーザーフレンドリーになる。また、ユーザーが選択できる意味項目の制限のため、誤り訂正の可能性が大幅に高められる。例を挙げると、ユーザーの要求がある楽曲を再生することを含んでおり、この楽曲に対する厳密な一致がみつからない場合、要求された楽曲に一致する、すなわち似たような発音をもつ楽曲のリストがある所定のレベルまで表示される。この場合、ユーザーは表示された候補リストに基づいて訂正を行う可能性をもつ。これは、誤りの危険を強く低下させる。ユーザーの選択が候補リストにのみ基づいているからである。別の例では、ユーザーの要求は、ローリングストーンズによる何かを再生することを含んでいることもありうる。この場合、生成される候補リストはローリングストーンズのすべての楽曲を含みうる。したがって、ユーザーは該候補リスト、すなわちローリングストーンズの楽曲に基づいて楽曲を選択することもできるし、あるいはユーザーが表示された候補リストに反応しない場合には、システムがランダムに楽曲を選択することもできる。
【０００８】
ある実施形態では、前記呈示された候補リストにおける前記意味項目は、ユーザーの要求との異なる一致度に基づくさまざまな信頼レベルを含む。
【０００９】
それにより、候補リストをユーザーに対して表現するとき、前記意味項目に関連付けられたさまざまな動作がユーザーに対してソートされた形で呈示されることができる。例を挙げると、第一の候補はユーザーの要求と最良一致したもので、第二の候補は二番目によく一致したもの、などである。
【００１０】
ある実施形態では、前記候補リストがユーザーに呈示されている間、前記候補リストからの最高の信頼レベルをもつ意味項目が自動的に選択されている。
【００１１】
それにより、ユーザーはただ、最高の信頼レベルをもつ候補が正しいものでなかった場合にのみ意味項目を選択するだけでよい。したがって、最高の信頼レベルをもつ候補が正しいものであることは比較的ありそうなことなので、前記候補リストの実際の使用は最小化される。例を挙げると、ユーザーが音楽ジュークボックスに楽曲を再生するよう要求しうる。この場合、可能な候補リストは要求された楽曲（すなわち、ユーザーの発話信号）と似たような発音をもつ一つまたは複数の楽曲を含む。したがって、要求された楽曲に最も近い発音をもつ楽曲、すなわち最良一致する楽曲は、最高の信頼レベルをもつ代替である。明らかに、ユーザーが訂正を実行する必要があるのがたとえば1割の場合のみだとすれば、対話が改善される。
【００１２】
ある実施形態では、ユーザーが前記候補リスト中のどの意味項目も選択しない場合、前記候補リストからの最高の信頼レベルをもつ意味項目が自動的に選択される。
【００１３】
したがって、沈黙は承認と同じになる。ユーザーが、最高の信頼ラベルをもつ代替が正しいものであることを候補リストの呈示法に応じて見るなり聞くなりするとき、ユーザーはいかなる確認もする必要がない。ここでもまた、前記候補リストの実際の使用は最小化される。
【００１４】
ある実施形態では、前記可能な候補リストはユーザーに所定の時間期間にわたって呈示される。
【００１５】
それにより、候補リストをユーザーのために長い時間期間にわたって呈示することが不必要となり、したがってシステムとユーザーとの間の対話がより連続的になる。ユーザーが反応しない場合意味項目が自動的に選択されるとした以前の実施形態は、たとえば5秒後にそれを自動的に選択することを含みうる。すなわち、ユーザーは別の意味項目を選択するのに5秒あるということである。
【００１６】
ある実施形態では、前記候補リストをユーザーに呈示することは前記候補リストをユーザーのために表示することを含む。
【００１７】
それにより、ユーザーに候補リストを呈示するための一つの便利な代替が提供される。好ましくは、ディスプレイが存在しているか否かが自動的に検査される。ディスプレイが存在していれば、それを使うことができる。
【００１８】
ある実施形態では、前記可能な候補リストをユーザーに呈示することは、前記可能な候補リストをユーザーのために再生することを含む。
【００１９】
それにより、ユーザーに候補リストを呈示するためにディスプレイが必要なくなる。システムがカーナビゲーションシステムで、運転中にユーザーが当該システムと対話できるものである場合には、このことは大いに利点となりうる。
【００２０】
さらなる側面において、本発明は処理装置をして前記方法を実行させるための命令を記憶しているコンピュータ可読媒体に関する。
【００２１】
ある別の側面によれば、本発明はユーザーとの会話式対話を実行するシステムにおいて使用される会話装置であって：
・当該システムによって実行されるべき動作の要求を含む、前記ユーザーによって生成された発話信号を記録するための記録器と、
・前記記録された発話信号を発話認識を使って解析し、該解析の結果をシステム内で定義されている所定の意味項目と比較し、ここで、該意味項目のそれぞれにはある動作が関連付けられており、前記比較に基づいて候補リストが生成され、ここで該候補リストは前記所定の意味項目から選択された、限られた数の意味項目を同定するものであるような発話認識器と、
・前記候補リストを前記ユーザーに呈示する手段と、
・所定の基準によって選ばれる、前記候補リスト中の前記意味項目の一つに関連付けられた動作を、前記ユーザーが前記候補リストから異なる意味項目を選ばない限り、実行する手段、
とを有する対話装置に関する。
【００２２】
ある実施形態では、前記候補リストを前記ユーザーに呈示するための前記手段はディスプレイを有する。
【００２３】
本装置は、好ましくは、ディスプレイが存在しているか否かを検査し、それに基づいてユーザーのために表示されるべきかどうかを検査するよう適応されている。例を挙げると、ディスプレイはタッチスクリーンなどを設けられていて、ユーザーが必要とあらば指すことによって訂正を実行することができるのでもよい。
【００２４】
ある実施形態では、前記候補リストを前記ユーザーに呈示するための前記手段は音響装置を有する。
【００２５】
それにより、たとえばディスプレイが存在していない場合、候補リストはユーザーに音を出して再生されることができる。もちろん、システムはディスプレイと音響装置とを両方設けられていることもでき、ユーザーはシステムに対して、運転しているから会話の形で、あるいは前記ディスプレイを介して、対話するよう命令することができる。
【００２６】
以下では、本発明、および特にその好ましい実施形態について、付属の図面との関連でより詳細に記述される。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明に基づく、ユーザー１０５とシステム１０１との間の会話式対話を図的に示している。前記システム１０１によって実行されるべき動作の要求を含む発話信号１０７がユーザーによって生成され、システム１０１によって記録される。発話認識を使うことにより、発話信号が解析され、解析の結果がシステム１０１内で定義されている所定の意味項目１０３と比較される。これらの意味項目はシステムによって実行されるべき動作であることができる。たとえば、システム１０１が音楽ジュークボックスであれば、再生されるべき種々の楽曲である。解析は、ユーザーの要求における発音と所定の意味項目１０３との間の一致を見出すことを含みうる。その解析に基づいて、所定の意味項目１０３との一致基準を満たす限られた数の意味項目、たとえば１１１、１１３を含む候補リスト１０９が生成される。例を挙げると、前記一致基準は、80%以上の可能性で正しい一致でありそうな一致はすべて有望な候補と考えられるというものでもよい。候補リスト１０９はユーザー１０５に呈示され、所定の基準に基づいて、候補リスト中の意味項目１１１、１１３のうちの一つに関連付けられた動作が、ユーザー１０５が別の意味項目を前記候補リストから選ばない限り、実行される。所定の基準は、例を挙げると、最良一致をもつ意味項目、すなわち最高の信頼レベルをもつものに関連付けられた動作を自動的に選択するというものでもよい。
【００２８】
図２は、ユーザーとの会話式対話を実行するシステムのための方法のある実施形態のフローチャートを示している。この実施形態では、前記システムによって実行されるべき動作の要求を含むユーザーの発話信号すなわちユーザーの入力（U_I:  user's  input）２０１は、発話認識器によって処理される。発話認識器は、システム中の所定の意味項目への最良一致に基づいて一つまたは複数の代替すなわち候補リスト（C_L：  candidate  list）２０３を生成する。ユーザーの発話信号は、例を挙げると、ピンク・フロイドによる曲「あなたがここにいてほしい」を再生するという音楽ジュークボックスへの要求を含んでいることができる。ユーザーの発話信号（U_I）２０１に基づいて、システムはシステム中の所定の意味項目に対する最良一致に基づいて順序付けられた候補リストを構築し、最良の候補（S_O）２０５についての所望の動作を開始する、すなわち「あなたがここにいてほしい」という曲名に最もよく一致する候補を再生する。候補リストがこの一つの候補しか含んでいなければ（O_C?）２０７、システムの通常の動作が継続される。たとえば、装置が音楽ジュークボックスであれば通常の表示が進められる（E）２１７。
【００２９】
候補リストが二つ以上の候補を含んでいた場合（O_C?）２０７、候補リストがユーザーのために、たとえば候補エントリーをもつ認識文法（recognition  grammar）をロードする（L_R_G）２０９ことによって、表現される（P_C_L）２１１。候補リストはたとえば、似たような発音をもつアーチストのリストを含みうる。候補リストは、何らかの所定の時間期間にわたって表示され、それによりユーザーが別の候補エントリーを選択し、それにより訂正を実行する機会を得るようになっていてもよい。しかしながら、ユーザーが所定の時間期間後になっても応答しなければ（T_O）２１３、最良一致の候補、たとえばnr.1とリストされた候補が正しいものと想定される。いずれの場合にも、候補エントリーをもった認識文法のロードが解除され（U_R_G）２１５、通常の表示が進められる（E）２１７。
【００３０】
ある実施形態では、たとえばある楽曲を再生するという形成されるべきある動作において、一つの候補が非常に高い信頼ラベルを有していれば、ずっと低い信頼レベルをもつ可能な候補のリストを表現するまでもなく、要求はすぐに開始される、すなわちその楽曲が再生される。しかしながら、楽曲が正しくなければ、ユーザーは、たとえば曲名をもう一度繰り返すことにより、そのことを表明できる。これに対して、好ましくは、当該装置はユーザーに可能な候補リストを表現することによって応じる。
【００３１】
ある実施形態では、それらしい代替が一つしか候補リストに含まれていなくても候補リストが表現される。これは、ユーザーの入力についての当該装置の解釈についてのフィードバックを供給するためである。例を挙げると、当該装置がジュークボックス中に統合されている場合、楽曲の名前が該楽曲が再生されている間、表示される。
【００３２】
ある実施形態では、当該装置はユーザーのための指定可能な項目（addressable  items）を表示するよう適応されている。例を挙げると、ユーザーの入力がローリングストーンズによる何かを再生するというものである場合、候補リストはローリングストーンズの楽曲すべて（または一部）を含む。
【００３３】
ある実施形態では、ユーザーは代替的な候補の名前を発話することによって、あるいは直接もしくはリスト中の位置（たとえば「２番目」）によって所望の代替を名指すことによって、候補エントリーを選択する。後者の場合、発話認識器は数字については堅牢でありうる。
【００３４】
ある実施形態では、ユーザーは、ポインティング態様、たとえばタッチスクリーン、リモコンなどを使うことによって候補エントリーを選択する。
【００３５】
ある実施形態では、最良候補だったものは認識語彙から排除されてもよい。ユーザーはそれを訂正のために使うことはなく、他の候補と間違われるはずはないからである。例を挙げると、ユーザーが「ビートルズのものを何か演奏してくれ」と言い、当該装置はこのユーザー入力を「イーグルスのものを何か演奏してくれ」と理解したとする。ユーザーが間違いに気づいて「ビートルズのものを何か演奏してくれ」と繰り返すとき、イーグルスは最初の回で正しくなかったので、当該装置はイーグルスを除外する。それにより、可能な候補の選択は候補一つ、すなわちイーグルスの分だけ軽減される。
【００３６】
ある実施形態では、当該装置はユーザーに対して、どの指定可能項目が知られているかを伝達する。例を挙げると、音楽ジュークボックス用途において、楽曲の正しい名前をユーザーが知らず、たとえばデータベースに含まれるのは「サージェント・ペパーズ・ロンリー・ハーツ」であるのにユーザーが「サージェント・ペパーズ」と言うとする。すると当該装置は前記の唯一の候補をユーザーに提案するか、すぐこの楽曲の再生を始めるかするであろう。
【００３７】
図３は、ユーザーとの会話式対話を実行するための会話装置を有するシステムのさまざまな例を示している。ユーザー３０１は会話装置をもつテレビ３０３と対話することができる。本装置がモニタの存在を感知すると、本装置は、ユーザー３０１と対話するために自動的にそのモニタを使用しうる。それにより候補リストはテレビモニタ上で有効にされ、表示され、ある時間、たとえば5秒後に無効にされうる。もちろん、対話は会話を介してでもよい。デフォルトではテレビ３０３は、例を挙げると、ユーザー３０１と会話装置との間の対話の間、オフにされている。また、たとえば環境騒音のレベルが急に上がったため、あるいはシステム内の新しいアプリケーションが初めて使われるため、ユーザー３０１が対話の間に問題に遭遇する場合、ユーザー３０１はテレビ３０３をオンにし、当該装置がどう理解したかについてのフィードバックを得ることができ、意図されている代替を選択する可能性をも得ることができる。
【００３８】
本会話装置は、コンピュータまたは「家庭会話システム（Home  Dialogue  system）」３０５もしくはユーザー３０１と人間のような仕方で対話するよう適応された同様のシステムに統合されていることもできる。この例では、追加的なセンサー、たとえばカメラがさらに双方向エージェントとして使用される。また、会話装置はいかなる種類の携帯装置３０７に統合されることもできる。本装置の使用の用途のもう一つの例は、カーナビゲーションシステム３０９である。これらすべての場合において、本会話装置は、ユーザーと対話する仕方、すなわち会話によるか独白によるかを感知するよう適応される。
【００３９】
図４は、ユーザー１０５と会話式対話を実行するためのシステム１０１において使用される、本発明に基づく会話装置４００を示している。ここで、会話装置４００は記録器（Rec）４０１、発話認識器（R_R）４０２、表示装置（Disp）４０３および／または音響装置（Ac_D）４０４ならびにプロセッサ（P）４０５を有している。
【００４０】
記録器（Rec）４０１はユーザー１０５からの発話信号１０７を記録し、ここで発話信号１０７はたとえばある楽曲を再生するという音楽ジュークボックスのための要求を含みうる。次いで発話認識器（S_R）４０２が発話認識を使って記録された発話信号１０７を解析し、解析からの結果を、システム１０１内で定義され、および／または事前に保存されている所定の意味項目１０３と比較する。解析の結果が可能な候補のいくつかの代替を含んでいる場合には、システム１０１内の所定の意味項目１０３への最良一致に基づいた候補リストが生成される。次いで表示装置（Disp）４０３および／または音響装置（Ac_D）４０４が候補リスト１０９を前記ユーザー１０５に呈示する。このことは、候補リストをテレビモニタ上に表示することによって、あるいは候補リストをユーザーのために再生することによってできる。このことは典型的には候補リストが二つ以上の候補を含んでいる場合に当てはまる。
【００４１】
プロセッサ（P）４０５はたとえば、所定の時間後になったら自動的に最良一致の候補、たとえば１番目にリストされている候補を再生のために選択するようあらかじめプログラミングされていることができる。また、候補リストが一つしか候補を含んでいない場合には、システムの通常動作が続けられる。たとえば、当該装置が音楽ジュークボックスである場合、その候補は自動的に再生される。
【００４２】
上述した実施形態は本発明を限定するというより解説するものであり、当業者は付属の請求項の範囲から外れることなく数多くの代替的な実施形態を考案しうるであろうことを注意しておくべきであろう。請求項において、括弧に入れた参照符号があったとしても、それが請求項を限定するものと解釈してはならない。「有する」の語は請求項において挙げられている以外の他の要素またはステップの存在を排除しない。本発明はいくつかの異なる要素を有するハードウェアによって、および好適にプログラミングされたコンピュータによって実装されることができる。いくつかの手段を列挙している装置請求項においては、これらの手段のいくつかはハードウェアの同一の項目によって具現されることができる。ある種の施策が互いに異なる従属請求項において言及されているというだけの事実はそれらの施策の組み合わせが有利に利用できないということを示すものではない。
【図面の簡単な説明】
【００４３】
【図１】本発明に基づく、ユーザーとシステムとの間の会話式対話を図的に示す図である。
【図２】ユーザーとの会話式対話を実行するシステムのための方法のある実施形態のフローチャートを示す図である。
【図３】ユーザーとの会話式対話を実行するための対話装置を有するシステムの例を示す図である。
【図４】ユーザーとの会話式対話を実行するためのシステムにおいて使用される、本発明に基づく会話装置を示す図である。
【図１】
2008509431.tif 000003
【図２】
2008509431.tif 000004
【図３】
2008509431.tif 000005
【図４】
2008509431.tif 000006
【国際調査報告】
2008509431.tif 000007
2008509431.tif 000008