(57)【特許請求の範囲】
【請求項１】
ユーザの視線を検出する視線検出手段と、
前記ユーザが発した音声と、当該音声を認識した結果を取得する音声処理手段と、
前記ユーザが自装置との対話状態にあるか否かを判定する対話判定手段と、
前記音声を認識した結果に基づいて回答を生成する回答生成手段と、
前記ユーザの状態を判定する状態判定手段と、
を有し、
前記対話判定手段は、前記ユーザの視線と、前記取得した音声の双方に基づいて、前記ユーザが自装置との対話を開始したか否かを判定し、かつ、前記ユーザが所定の状態にある場合に、視線に基づいた判定を省略して対話の開始を判定する、
音声対話装置。
【請求項２】
前記対話判定手段は、前記ユーザの視線が所定の方向を向いており、かつ、前記音声から開始キーワードを検知した場合に、前記ユーザが対話を開始したと判定する、
請求項１に記載の音声対話装置。
【請求項３】
前記状態判定手段が、前記ユーザが運転中であると判定した場合に、
前記対話判定手段は、視線に基づいた判定を省略して対話の開始を判定する、
請求項１または２に記載の音声対話装置。
【請求項４】
ユーザの視線を検出する視線検出手段と、
前記ユーザが発した音声と、当該音声を認識した結果を取得する音声処理手段と、
前記ユーザが自装置との対話状態にあるか否かを判定する対話判定手段と、
前記音声を認識した結果に基づいて回答を生成する回答生成手段と、
前記ユーザの状態を判定する状態判定手段と、
を有し、
前記対話判定手段は、前記ユーザの視線が所定の方向を向いているか否かと、前記音声から開始キーワードを検知したか否かの双方に基づいて、前記ユーザが自装置との対話を開始したか否かを判定し、かつ、判定された前記ユーザの状態に応じて、前記所定の方向を切り替える、
音声対話装置。
【請求項５】
前記対話判定手段は、前記ユーザが自装置との対話状態にあり、かつ、前記音声から終了キーワードを検知した場合に、対話が終了したと判定する、
請求項１から４のいずれかに記載の音声対話装置。
【請求項６】
ユーザの視線を検出する視線検出ステップと、
前記ユーザが発した音声と、当該音声を認識した結果を取得する音声処理ステップと、
前記ユーザが自装置との対話状態にあるか否かを判定する対話判定ステップと、
前記音声を認識した結果に基づいて回答を生成する回答生成ステップと、
前記ユーザの状態を判定する状態判定ステップと、
を含み、
前記対話判定ステップでは、前記ユーザの視線と、前記取得した音声の双方に基づいて、前記ユーザが自装置との対話を開始したか否かを判定し、かつ、前記ユーザが所定の状態にある場合に、視線に基づいた判定を省略して対話の開始を判定する、
音声対話方法。
【請求項７】
ユーザの視線を検出する視線検出ステップと、
前記ユーザが発した音声と、当該音声を認識した結果を取得する音声処理ステップと、
前記ユーザが自装置との対話状態にあるか否かを判定する対話判定ステップと、
前記音声を認識した結果に基づいて回答を生成する回答生成ステップと、
前記ユーザの状態を判定する状態判定ステップと、
を含み、
前記対話判定ステップでは、前記ユーザの視線が所定の方向を向いているか否かと、前記音声から開始キーワードを検知したか否かの双方に基づいて、前記ユーザが自装置との対話を開始したか否かを判定し、かつ、判定された前記ユーザの状態に応じて、前記所定の方向を切り替える、
音声対話方法。
【請求項８】
請求項６または７に記載の音声対話方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声によってユーザと対話する装置に関する。
【背景技術】
【０００２】
近年、人と対話をすることによって様々な情報を提供するロボットが開発されている。例えば、特許文献１には、マイクによって入力された音声をネットワーク上で処理し、入力に対する応答を音声で返すコミュニケーションロボットが開示されている。
【０００３】
音声によってロボットが人と対話する場合、対話の開始と終了を適切に判定する必要がある。この判定を行わないと、無関係な音声にロボットが反応してしまい、コミュニケーションが正しく成立しなくなるためである。
【０００４】
対話が始まったことを判定する方法の一つに、キーワードによる呼び掛けがある。例えば、近年普及しているモバイルコンピュータの音声アシスタント機能には、特定のキーワードを検出して自動的に対話を開始するものがある。これを応用することで、例えば、人がロボットに対して呼びかけると、ロボットが応答して対話を開始するシステムを構築することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０１３３５１号公報
【特許文献２】特開２００７−１８１８８８号公報
【特許文献３】特開２００６−２７２４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方、ユーザが声で呼び掛けることで対話を開始させようとした場合、誤認識が問題となる。例えば、ユーザ同士の会話の中に、呼び掛けを行う語句やロボットの名前などが含まれていると、ユーザがロボットに話しかけていないにもかかわらず、ロボットが応答してしまうおそれがある。
しかし、音声以外の物理的接触を対話開始のトリガにしようとすると、ロボットに対するアクションが必要となり、利便性が低下してしまう。
【０００７】
本発明は上記の課題を考慮してなされたものであり、自然な動作によって対話を開始できる音声対話装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る音声対話装置は、
ユーザの視線を検出する視線検出手段と、前記ユーザが発した音声と、当該音声を認識した結果を取得する音声処理手段と、前記ユーザが自装置との対話状態にあるか否かを判定する対話判定手段と、前記音声を認識した結果に基づいて回答を生成する回答生成手段と、を有し、前記対話判定手段は、前記ユーザの視線と、前記取得した音声の双方に基づいて、前記ユーザが自装置との対話を開始したか否かを判定することを特徴とする。
【０００９】
本発明に係る音声対話装置は、「ユーザの視線」と「ユーザが発した音声」の双方に基づいて、ユーザが話しかけを行ったか否かを判定する。視線に基づく判定は、視線の方向を利用してもよいし、視線の方向の変化などを利用してもよい。例えば、ユーザの視線が
自装置の方向を向いているか否かを判定してもよいし、それ以外の所定の方向を向いているか否かを判定してもよい。また、音声による判定は、キーワードを利用してもよい。例えば、対話を開始するためのキーワードが発話されたか否かを判定してもよい。
【００１０】
なお、音声処理手段は、取得した音声を自ら認識してもよいし、他の手段を利用して認識結果を取得してもよい。例えば、取得した音声を、装置外部にある音声認識装置に転送し、認識結果を取得する構成であってもよい。
【００１１】
また、回答生成手段は、音声の認識結果に基づいて、ユーザに提供する回答を生成する手段である。なお、回答とは、質問に対する回答に限られず、ユーザが話しかけた内容に対する返答であれば、どのようなものであってもよい。例えば、ユーザが話しかけた内容が質問文であった場合、データベースやネットワークを検索して答えを取得してもよいし、雑談であった場合、予め設けられた対話シナリオ（対話辞書）に基づいて返答を取得してもよい。
【００１２】
かかる構成によると、ユーザの視線と音声の双方に基づいて、ユーザが音声対話装置に対して話しかけを始めたか否かを判定するため、誤応答を抑制することができる。
【００１３】
また、前記対話判定手段は、前記ユーザの視線が所定の方向を向いており、かつ、前記音声から開始キーワードを検知した場合に、前記ユーザが対話を開始したと判定することを特徴としてもよい。
【００１４】
所定の方向とは、典型的にはユーザが音声対話装置を注視する方向であるが、これに限られない。例えば、ユーザが運転中である場合など、ユーザが注視すべき対象が他にある場合、当該方向を所定の方向としてもよい。また、ユーザとコミュニケーションを行うためのインタフェース装置が本体から独立している場合、当該インタフェース装置を注視する方向であってもよい。このように、視線が所定の方向を向いていることと、開始キーワードの双方を検知したことの双方を対話開始のトリガとすることで、対話を開始しようとするユーザの意志を確実に判定することができる。
【００１５】
また、前記対話判定手段は、前記ユーザが自装置との対話状態にあり、かつ、前記音声から終了キーワードを検知した場合に、対話が終了したと判定することを特徴としてもよい。
【００１６】
対話の終了判定は、視線についての情報は用いずに、終了キーワードの有無にのみ基づいて行ってもよい。このように、対話を開始する際にのみ視線を利用することで、ユーザの負担を軽減することができる。
【００１７】
また、本発明に係る音声対話装置は、前記ユーザの状態を判定する状態判定手段をさらに有し、前記対話判定手段は、前記ユーザが所定の状態にある場合に、視線に基づいた判定を省略して対話の開始を判定することを特徴としてもよい。
【００１８】
状態判定手段は、例えば、自動車の運転中、コンピュータの操作中、テレビの視聴中といったように、ユーザが何を行っているかを判定する手段である。ユーザの状態を判定することで、例えば、自動車の運転中など、視線を移動させることが難しいケースにおいて、視線に基づいた判定を省略することが可能になる。なお、状態判定手段は、ユーザが何を行っているかを推定することができれば、必ずしもユーザを直接センシングする必要はない。
【００１９】
また、前記状態判定手段が、前記ユーザが運転中であると判定した場合に、前記対話判
定手段は、視線に基づいた判定を省略して対話の開始を判定することを特徴としてもよい。
【００２０】
ユーザが運転中であるか否かは、ユーザをセンシングした結果に基づいて判定してもよいし、装置の設置場所に基づいて判定してもよい。例えば、装置が自動車の車内に持ち込まれたことを検出した場合に、ユーザが運転中であると判定するようにしてもよい。また、これ以外（例えば、エンジンの稼動状態など）をセンシングした結果に基づいて判定を行ってもよい。
【００２１】
また、本発明に係る音声対話装置は、前記ユーザの状態を判定する状態判定手段をさらに有し、前記対話判定手段は、判定された前記ユーザの状態に応じて、前記所定の方向を切り替えることを特徴としてもよい。
【００２２】
このように、ユーザの状態に応じて、所定の方向を切り替えることで、ユーザビリティを向上させることができる。
【００２３】
なお、本発明は、上記手段の少なくとも一部を含む音声対話装置として特定することができる。また、前記音声対話装置が行う音声対話方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２４】
本発明によれば、自然な動作によって対話を開始できる音声対話装置を提供することができる。
【図面の簡単な説明】
【００２５】
【図１】第一の実施形態に係る音声対話システムのシステム構成図である。
【図２】情報提供装置１０が行う処理のフローチャート図である。
【図３】情報提供装置１０が行う処理のフローチャート図である。
【図４】第二の実施形態に係る音声対話システムのシステム構成図である。
【発明を実施するための形態】
【００２６】
（第一の実施形態）
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る音声対話システムは、ユーザが発した音声を取得して音声認識を行い、認識結果に基づいて応答文を生成することでユーザとの対話を行うシステムである。
【００２７】
<システム構成>
図１は、本実施形態に係る音声対話システムのシステム構成図である。本実施形態に係る音声対話システムは、情報提供装置１０と情報提供サーバ２０から構成される。
【００２８】
まず、情報提供装置１０について説明する。情報提供装置１０は、装置のユーザから音声を取得して認識する機能と、認識した内容を情報提供サーバ２０に送信し、情報提供サーバ２０からから応答を取得して音声出力する機能を有する装置である。情報提供装置１０は、例えば、車載されたカーナビゲーション装置であってもよいし、汎用のコンピュータであってもよい。また、コミュニケーションロボットなどであってもよい。
【００２９】
情報提供装置１０は、画像取得部１１、視線検出部１２、音声入出力部１３、音声認識部１４、制御部１５、通信部１６から構成される。
【００３０】
画像取得部１１は、カメラを用いて、ユーザの顔が含まれた画像（以下、顔画像）を取得する手段である。本実施形態では、装置の正面に取り付けられたカメラを用いて、ユーザの顔を撮像する。カメラは、ＲＧＢ画像を取得するカメラであってもよいし、グレースケール画像や、赤外線画像を取得するカメラであってもよい。画像取得部１１が取得した顔画像は、後述する視線検出部１２に送信される。なお、カメラは、ユーザの顔を撮像することができれば、装置とは独立して設けられていてもよい。
【００３１】
視線検出部１２、画像取得部１１が取得した顔画像に基づいて、ユーザの視線の方向を検出する手段である。視線の方向は、例えば、取得した画像から顔領域を検出し、当該顔領域に含まれる目の領域を検出し、当該目の領域に含まれる角膜反射および瞳孔の位置を検出することで取得することができる。視線の方向や、注視点を認識する技術については公知のものであるため、詳細な説明は省略する。検出結果は、後述する制御部１５に送信される。
【００３２】
音声入出力部１３は、ユーザに対して音声を入出力する手段である。具体的には、不図示のマイクを用いて、音声を電気信号（以下、音声データ）に変換する。取得した音声データは、後述する音声認識部１４へ出力される。また、音声入出力部１３は、不図示のスピーカを用いて、制御部１５から送信された音声データを音声に変換する。
【００３３】
音声認識部１４は、音声入出力部１３が取得した音声に対して音声認識を行い、テキストに変換する手段である。音声認識は、既知の技術によって行うことができる。例えば、音声認識部１４には、音響モデルと認識辞書が記憶されており、取得した音声データと音響モデルとを比較して特徴を抽出し、抽出した特徴を認識辞書とをマッチングさせることで音声認識を行う。認識結果は、制御部１５へ送信される。
【００３４】
制御部１５は、音声認識部１４が音声認識を行った結果に基づいて、情報提供サーバ２０と通信を行い、応答を取得する手段である。具体的には、音声認識を行った結果得られたテキストを、後述する通信部１６を介して情報提供サーバ２０（後述）に送信し、対応する応答を情報提供サーバ２０から受信する。また、音声合成機能によって、応答を音声に変換し、音声入出力部１３を介してユーザに提供する。これにより、ユーザは、情報提供装置１０と自然言語による対話を行うことができる。
【００３５】
第一の実施形態では、制御部１５は、ユーザとの対話を行っていることを表すフラグ（以下、対話フラグ）が真である場合にのみ、情報提供サーバ２０との通信を行い、対話フラグが偽である場合は、通信を行わない（すなわちユーザに応答しない）。対話フラグは、制御部１５の内部で管理され、前述した「ユーザの視線」と「音声認識結果」の二つに基づいて、真または偽が切り替えられる。詳細な処理内容については後述する。
【００３６】
通信部１６は、通信回線（例えば携帯電話網）を介してネットワークにアクセスすることで、情報提供サーバ２０との通信を行う手段である。
【００３７】
情報提供サーバ２０は、ユーザに提供する情報を収集するサーバ装置であり、通信部２１および応答生成部２２からなる。
通信部２１が有する機能は、前述した通信部１６と同様であるため、詳細な説明は省略する。
【００３８】
応答生成部２２は、情報提供装置１０から取得したテキストに基づいて、ユーザに提供する情報を生成ないし取得する手段である。提供する情報は、例えば、データベースを検索して得られた情報であってもよいし、ウェブ検索によって得られた情報であってもよい。また、提供する情報は、質問に対する回答でなくてもよい。例えば、情報提供装置１０
がコミュニケーションロボットであるような場合、対話シナリオ（対話辞書）から選択された返答であってもよい。この他にも、自然言語処理によって情報を提供できるものであれば、入力されるテキストと、提供する情報はどのようなものであってもよい。応答生成部２２が取得した情報は、情報提供装置１０へテキスト形式で送信され、その後、合成音声によってユーザに向けて出力される。
【００３９】
情報提供装置１０および情報提供サーバ２０は、いずれもＣＰＵ、主記憶装置、補助記憶装置を有する情報処理装置として構成することができる。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで、図１に図示した各手段が機能する。なお、図示した機能の全部または一部は、専用に設計された回路を用いて実行されてもよい。
【００４０】
<処理フローチャート>
次に、情報提供装置１０が行う具体的な処理の内容について説明する。図２は、対話フラグが偽である場合（すなわち、情報提供装置１０が「対話中ではない」と認識している状態にある場合）に、情報提供装置１０が実行する処理を示したフローチャートである。
まず、ステップＳ１１で、音声入出力部１３が不図示のマイクを通して装置のユーザから音声を取得する。取得した音声は音声データに変換され、音声認識部１４へ送信される。そして、音声認識部１４が、取得した音声データに対して音声認識を行い、音声をテキストに変換する。変換結果のテキストは、制御部１５へ送信される。
【００４１】
次に、ステップＳ１２で、画像取得部１１が顔画像を取得し、視線検出部１２が、当該顔画像に基づいて、ユーザの視線の方向を取得する。
次に、ステップＳ１３で、制御部１５が、視線検出部１２から送信された視線の方向が、所定の方向を向いているか否かを判定する。本実施形態では、ユーザの視線が情報提供装置１０の方向を向いている場合にステップＳ１３が肯定判定となる。ユーザの視線が情報提供装置１０の方向を向いていない場合、処理はステップＳ１１へ戻る。
【００４２】
ステップＳ１４では、制御部１５が、音声認識部１４が出力したテキストに開始キーワードが含まれているか否かを判定する。開始キーワードはどのようなものであってもよいが、例えば、情報提供装置１０が愛称を持ったロボットであるような場合、当該愛称であってもよい。また、呼びかけを行う単語であってもよい。認識した内容に開始キーワードが含まれていない場合、処理はステップＳ１１へ戻る。
【００４３】
ステップＳ１３およびＳ１４がいずれも肯定判定であった場合、制御部１５は、ユーザが対話の意志を持っているものと判定し、対話フラグを真に設定する。この結果、図３に示した処理が開始される。
【００４４】
図３は、対話フラグが真である場合に、制御部１５によって実行される処理を表したフローチャート図である。
まず、ステップＳ２１で、音声入出力部１３が不図示のマイクを通して装置のユーザから音声を取得し、音声認識部１４が、取得した音声データに対して音声認識を行い、音声をテキストに変換する。変換結果のテキストは、制御部１５へ送信される。
ステップＳ２２では、制御部１５が、音声認識部１４が出力したテキストに終了キーワードが含まれているか否かを判定する。テキストに終了キーワードが含まれていた場合、対話フラグを偽に設定し、処理は終了する。
【００４５】
音声認識部１４が出力したテキストに終了キーワードが含まれていない場合、制御部１５が、認識結果のテキストを情報提供サーバ２０へ送信する（ステップＳ２３）。情報提供サーバ２０が当該テキストを受信すると、応答生成部２２が対応する応答を生成する。
そして、ステップＳ２４で、制御部１５が、当該応答を情報提供サーバ２０から取得し、音声入出力部１３を介してユーザに提供（音声出力）する。
【００４６】
以上説明したように、本実施形態に係る情報提供装置は、ユーザの視線が所定の方向を向いており、かつ、音声によって開始キーワードを認識した場合に、ユーザと装置との対話が開始されたと判定し、リアルタイムでの対話処理を開始する。
かかる構成によると、ユーザに負荷をかけることなく、情報提供装置との対話を開始させることができる。また、音声だけでなく視線の向きを併用することで、情報提供装置による意図しない応答を抑制することができる。
【００４７】
（第二の実施形態）
第二の実施形態は、情報提供装置１０がユーザの状態を取得し、取得した状態に応じて、視線による判定ロジックを変更する実施形態である。
【００４８】
図４は、第二の実施形態における音声対話システムのシステム構成図である。本実施形態に係る情報提供装置１０は、ユーザ状態判定部１７を有しているという点において、第一の実施形態と相違する。他の手段については、第一の実施形態と同様であるため、相違点の説明を除き、詳細な説明は省略する。
【００４９】
ユーザ状態判定部１７は、装置のユーザが自動車を運転しているか否かを判定する手段である。ユーザが自動車を運転しているか否かは、例えば、ユーザをセンシングした結果に基づいて判定してもよいし、自動車に設けられたセンサから得たデータに基づいて判定してもよい。また、装置自身の置き場所などによって判定してもよい。例えば、情報提供装置１０が、車内に設けられた台座に設置された場合に、運転中であると判定するようにしてもよい。また、画像取得部１１が取得した、ユーザの画像に基づいて判定してもよい。
判定結果は、制御部１５へ送信される。
【００５０】
第二の実施形態では、制御部１５が、ユーザ状態判定部１７から「ユーザが運転中である」という情報を受け取った場合に、ステップＳ１３における所定の方向を、「車両前方方向」に設定し、それ以外の場合に、「自装置方向」に設定する。
【００５１】
このように、第二の実施形態では、ユーザの状態に基づいて、注視すべき視線の方向を切り替える。これにより、ユーザが装置を注視するのが難しい状況であっても、対話を開始させることができる。
【００５２】
なお、本実施形態では、ユーザが運転中である場合に、所定の方向を「車両前方方向」に設定したが、これ以外の方向を設定してもよい。また、ユーザが運転中である場合、視線による判定を省略するようにしてもよい。
【００５３】
また、本実施形態では、ユーザが運転中であるか否かを判定したが、ユーザがこれ以外の状態にあるか否かを判定してもよい。また、ユーザが所定の状態にある場合に、視線による判定を省略するようにしてもよい。また、予め設定された複数の状態の中からユーザの状態を判定し、判定した状態に応じて異なる視線の方向をそれぞれ設定してもよい。
【００５４】
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
【００５５】
例えば、実施形態の説明では、音声認識部１４が音声認識を行ったが、音声認識を情報
提供サーバ２０で行うようにしてもよい。この場合、情報提供装置１０が、音声データを送信するようにしてもよい。また、音声認識部１４が、開始キーワードと終了キーワードのみを認識できるような構成とし、その他の音声認識を情報提供サーバ２０で行うようにしてもよい。
【００５６】
また、実施形態の説明では、情報提供装置１０がユーザとの対話を行ったが、情報提供装置１０から、ユーザとのインタラクションを行う手段を分離してもよい。例えば、情報提供装置１０とは独立したロボットを設け、画像取得部１１や音声入出力部１３を配置してもよい。この場合、ロボットと情報提供装置１０とが無線通信を行い、画像や音声データを送受信するようにしてもよい。また、この場合、ステップＳ１３における所定の方向を、ユーザがロボットを注視する方向としてもよい。
【符号の説明】
【００５７】
１０・・・情報提供装置
１１・・・画像取得部
１２・・・視線検出部
１３・・・音声入出力部
１４・・・音声認識部
１５・・・制御部
１６，２１・・・通信部
２０・・・情報提供サーバ
２２・・・応答生成部
【図１】
0006447578.tif 000002
【図２】
0006447578.tif 000003
【図３】
0006447578.tif 000004
【図４】
0006447578.tif 000005