(57)【要約】【課題】  本発明は、ユーザとの間の対話をより円滑に実現することが可能な音声対話装置の提供を目的とする。【解決手段】  本発明による音声対話装置は、ユーザとの情報のやりとりを音声によって行う音声対話装置において、ユーザの発話する言葉に含まれるユーザの意図を、該発話に対する音声認識処理により得られる言語情報と、ユーザの感情又は生理状態を表すことが可能な非言語情報との双方に基づいて推定する意図推定機能を有することを特徴とする。【選択図】  図２
2006313287.tif 000002
【特許請求の範囲】
【請求項１】
ユーザとの情報のやりとりを音声によって行う音声対話装置において、
ユーザの発話する言葉に含まれるユーザの意図を、該発話に対する音声認識処理により得られる言語情報と、ユーザの感情又は生理状態を表すことが可能な非言語情報との双方に基づいて推定する意図推定機能を有することを特徴とする、音声対話装置。
【請求項２】
前記非言語情報は、カメラによるユーザの撮像画像を画像処理して得られる画像情報、及び、ユーザの発話音声を解析して得られる韻律情報を含む、請求項１に記載の音声対話装置。
【請求項３】
前記非言語情報は、心電や脈拍の計測結果に基づくユーザの生理情報を含む、請求項１に記載の音声対話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザとの情報のやりとりを音声によって行う音声対話装置に関する。
【背景技術】
【０００２】
従来から、目的地の位置データを入力する例えばタッチパネルやキーボード等の入力手段と、地図データや交差点データ等の道路情報が格納された記憶手段と、音声を出力する複数の音声出力手段と、車両の現在位置を検出するＧＰＳやジャイロセンサー等の現在位置検出手段と、この現在位置検出手段で検出した現在位置と前記記憶手段に格納されている前記道路情報とにより入力手段から入力された目的地までの進路判断を行う進路判断手段と、進路判断手段が車両の進むべき方向を右方向であるとした場合、運転者が感覚的に指示内容を認知できるようにするべく、音声出力手段からの指示音声を右方向から聞こえるように出力制御する音声出力制御手段とを備えた音声出力装置が知られている（例えば、特許文献１参照）。
【特許文献１】特許第２６０２１５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、一般的な音声認識装置は、ユーザの発話に対して所与の音声認識エンジンを用いて音声認識処理を行い、得られた音声認識結果（言語情報）に基づいて、ユーザの意図を認識する機能を持つ。例えば、ナビゲーションシステムにおける目的地設定時に、ユーザが「とよたしえき」と発話した場合、「とよたしえき」という音声認識結果（言語情報）に基づいて、「とよたしえき」に行きたいというユーザの意図を認識する。これにより、ユーザは、ユーザの意図（目的地）を、手入力することなく音声認識装置（ナビゲーションシステム）に伝えること（認識してもらうこと）ができる。
【０００４】
ところで、近年では、音声認識装置の音声認識能力の向上に伴い、ユーザとの対話能力が高まりつつある。即ち、先の例のように既に決まっている目的地を直接音声で入力するような単純な対話アプリケーションではなく、例えば目的地に関するユーザの希望をユーザが音声入力し、それに対するシステム側の提案がユーザに対して出力され、それに対するユーザの返答（承諾又は拒絶）といったように、複数の対話を経てユーザの意図を確定していくようなアプリケーションが行われている。かかるアプリケーションでは、ユーザの意図をシステム側が速やかに汲み取ることが、ユーザとの間の対話を円滑に実現する上で重要となるが、これを上述の言語情報のみで実現することは困難である。
【０００５】
そこで、本発明は、ユーザとの間の対話をより円滑に実現することが可能な音声対話装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一局面によれば、ユーザとの情報のやりとりを音声によって行う音声対話装置において、
ユーザの発話する言葉に含まれるユーザの意図を、該発話に対する音声認識処理により得られる言語情報と、ユーザの感情又は生理状態を表すことが可能な非言語情報との双方に基づいて推定する意図推定機能を有することを特徴とする、音声対話装置が提供される。
【０００７】
本局面において、前記非言語情報は、カメラによるユーザの撮像画像を画像処理して得られる画像情報、及び、ユーザの発話音声を解析して得られる韻律情報を含んでよい。前記非言語情報は、心電や脈拍の計測結果に基づくユーザの生理情報を含んでよい。
【発明の効果】
【０００８】
本発明によれば、ユーザの発話する言葉に含まれるユーザの意図を、該発話に対する音声認識処理により得られる言語情報と、ユーザの感情又は生理状態を表すことが可能な非言語情報との双方に基づいて推定する意図推定機能を有することで、ユーザとの間の対話をより円滑に実現することが可能な音声対話装置を得ることができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１０】
図１は、本発明による音声対話装置が組み込まれる音声対話システムの一実施例を示すシステム構成図である。音声対話装置１０は、対話制御ECU２０、車室内の音（音声）を拾う車内マイク（マイクロフォン）３０、アンプ４２、スピーカ４０、及びディスプレイ５０を備える。尚、アンプ４２及びスピーカ４０は、車載オーディオシステムで用いられるものと共通であってよい。
【００１１】
対話制御ECU２０は、ユーザとの対話を統括的に制御する。対話の一方向を構成するシステム側（対話制御ECU２０）からユーザへの応答は、スピーカ４０及び／又はディスプレイ５０を介した音響的及び／又は視覚的な出力により実現される。対話の他方向、即ち、ユーザからシステム側への意思伝達は、原則的に、車内マイク３０を介した音声入力により実現される。
【００１２】
対話制御ECU２０は、その基本的な構成として、バスを介して接続されるCPU、メモリ、A/D(analog-to-digital)変換器を備える。メモリには、以下で説明する対話制御ECU２０の機能を実現するプログラムやデータが格納される。
【００１３】
車内マイク３０に入力されるアナログ音声は、マイクアンプにて増幅処理やノイズ除去などの所定処理を受けて、A/D変換器でデジタル形式の音声信号に変換され、対話制御ECU２０に送られる。対話制御ECU２０は、音声信号から特徴量を抽出し、次いで、所与の音響／言語モデルを用いたマッチング処理により認識結果を得る。尚、本発明は、特に音声認識方法により限定されるものでなく、如何なるハードウェア構成で如何なるソフトウェア（音声認識エンジン）を用いた音声認識処理に対しても適用可能である。
【００１４】
対話制御ECU２０には、CAN（controller area network）などの適切なバスを介して、乗員状態推定ECU７０が接続される。乗員状態推定ECU７０は、車内カメラ６０及び生体センサ８０が接続され、ユーザの感情又は生理状態を表すことが可能な非言語情報を取得・生成する。
【００１５】
車内カメラ６０は、例えばＣＣＤカメラで構成され、車室内のユーザ（即ち、運転者を含む乗員）を撮像できるような位置に搭載される。乗員状態推定ECU７０は、内蔵の画像処理プロセッサにより、車内カメラ６０が撮像した画像データを受信及び処理することにより、ユーザの表情、ジェスチャー、仕草等を表す画像情報を取得する。或いは、車内カメラ６０は、サーモグラフィカメラ（赤外線カメラ）であってもよい。この場合、乗員状態推定ECU７０は、ユーザの顔などの所定部位における熱の分布状態を表す画像情報を取得する。
【００１６】
生体センサ８０は、心電や脈拍の計測するセンサを含み、具体的には、生体センサ８０は、心電計ないし心拍計（例えば、腕時計等のリストバンドに設定された心拍感知センサ）、又は、脈拍数を計測する脈拍計、血圧を計測する血圧計である。生体センサ８０は、ユーザが携帯する例えば腕時計に設定されるものであってもよく、或いは、ドライバがハンドル操作するステアリングホイールに埋設されてもよい。
【００１７】
乗員状態推定ECU７０は、また、上述の如く車内マイク３０に入力される音声データを解析することで、ユーザの発話音声の韻律的特徴(声の高さ、強さ、大きさ、長さ等)を表す韻律情報を取得する。
【００１８】
図２は、本実施例の音声対話装置により実現される特徴的な動作フローを示す。
【００１９】
図２に示すように、本実施例の音声対話装置は、車内マイク３０に入力される音声データに対する音声認識結果に基づいて、言語情報に基づく意図推定を行う（ステップ１００）と共に、音声認識結果（韻律情報等）又は乗員状態検出結果に基づいて、非言語情報に基づく感情推定を行い（ステップ１１０）、これらの意図推定結果を統合して最終的な意図推定を行う（ステップ１２０）。即ち、本実施例の音声対話装置は、ユーザの感情及びその変化等を表す非言語情報と、音声認識結果を表す言語情報との双方に基づいて、ユーザの発話する言葉に含まれるユーザの本来の意図（真意）を推定する意図推定機能を有する。
【００２０】
具体的には、ステップ１１０では、対話制御ECU２０は、生体センサ８０からの生理情報に基づいて、心電計からの心電図や脈拍データを解析することで、ユーザの緊張ないし興奮状態又は平静状態を推定する。また、対話制御ECU２０は、韻律情報や画像情報に基づいて、ユーザの感情（例えば、平静、怒り、喜び、悲しみ）を推定する。このとき、対話制御ECU２０は、ユーザの固有情報を格納したユーザデータベース２２を利用する。即ち、ユーザデータベース２２内には、各ユーザの基準となる生理情報が、そのときのユーザの精神状態（緊張ないし興奮状態又は平静状態）に応じて分類した形でユーザデータベース２２内に格納されている。同様に、韻律情報や画像情報についても同様に、各ユーザの基準となる韻律情報や画像情報が、そのときのユーザの感情に応じて分類した形でユーザデータベース２２内に格納されている。これらの基準データは、事前に取得されてもよいし、或いは、実際のアプリケーションを通じて学習されてもよい。これにより、対話制御ECU２０は、今回検出された生理情報や韻律情報を、データベース２２内のデータと照合することで、ユーザの精神状態ないし感情を高い精度で推定することができる。
【００２１】
また、ステップ１２０で最終的な意図推定を行う際、当然ながら、ステップ１００及びステップ１１０で得られる推定結果は互いに同期したものが用いられる。即ち、あるユーザの発話に対する言語情報は、当該発話時又はその前後の非言語情報に対応付けられる。
【００２２】
図３は、非言語情報と言語情報とを統合してユーザの意図（真意）を汲み取る方法の一例を示す表図である。図３に示す例は、ユーザが「なんで」と発声した場合に関する。
【００２３】
ここで、「なんで」という発話は、一般的に、相手が言ったことに対する質問、詰問(相手の非を責めながらきびしく問いつめる)、疑い等といったように、その意味には複数の可能性があるので、言語情報に基づくだけでは的確にユーザの意図推定を行うことができない。
【００２４】
これに対して、本実施例では、図３に示すように、韻律情報や画像情報から推定されるユーザの感情の推定結果と、生理情報から推定されるユーザの精神状態の推定結果とに基づいて、「なんで」という発話に含まれるユーザの意図（質問なのか、詰問なのか、それとも疑いなのか）を推定・判断することで、的確にユーザの意図推定を行うことが可能となる。
【００２５】
例えば、図３に示す例では、「なんで」と発声したユーザの感情の推定結果が「平静」であるときは、言葉「なんで」は“質問”の意味で用いられた言語であると推定される。また、感情推定結果が「怒り」であるときは、言葉「なんで」は“詰問”の意味で用いられた言語であると推定される。同様に、感情推定結果が「喜び」又は「悲しみ」であるときは、言葉「なんで」は“疑い”の意味で用いられた言語であると推定される。
【００２６】
尚、ユーザの感情は、韻律情報や画像情報に基づいて、例えば韻律が通常時と同じ場合、及び／又は、顔の表情や仕草に特段の変化が無い場合に、「平静」と推定されてよい。また、韻律が大きく変化した場合、且つ、顔の表情や仕草に怒りを表す特徴（例えば、目のつり上がりや口のとんがり）が表れた場合、ユーザの感情が「怒り」であると推定されてよい。同様に、韻律が大きく変化した場合、且つ、顔の表情や仕草に喜びを表す特徴（例えば、微笑みないし笑いや、手をたたくような仕草）が表れた場合、ユーザの感情が「喜び」であると推定されてよい。また、韻律が大きく変化した場合、且つ、顔の表情や仕草に悲しみを表す特徴（例えば、うつむく仕草や涙を拭く仕草）が表れた場合、ユーザの感情が「悲しみ」であると推定されてよい。
【００２７】
また、図３に示す例では、「なんで」と発声したユーザの精神状態の推定結果が「平静」であるときは、言葉「なんで」は“質問”の意味で用いられた言語であると推定される。また、精神状態の推定結果が「緊張」であるときは、言葉「なんで」は“詰問”の意味で用いられた言語であると推定され、精神状態の推定結果が「（興奮に近い）緊張」であるときは、言葉「なんで」は“疑い”の意味で用いられた言語であると推定される。尚、かかるユーザの精神状態は、上述のパターン照合によらず簡易的に、心電や脈拍に大きな変化が現れた否かで推定されてもよい。
【００２８】
図４は、その他の一例を示す表図である。図４に示す例は、ユーザが「いいよ」と発声した場合に関する。
【００２９】
同様に、「いいよ」という発話は、一般的に、相手が言ったことに対する承諾や、あきらめ（どうでもいい、というあきらめ）等といったように、その意味には複数の可能性があるので、言語情報に基づくだけでは的確にユーザの意図推定を行うことができない。
【００３０】
これに対して、本実施例では、図３に示すように、韻律情報や画像情報から推定されるユーザの感情の推定結果と、生理情報から推定されるユーザの精神状態の推定結果とに基づいて、「いいよ」という発話に含まれるユーザの意図（承諾なのか、それともあきらめなのか）を特定することで、的確にユーザの意図推定を行うことが可能となる。
【００３１】
例えば、図４に示す例では、「いいよ」と発声したユーザの感情の推定結果が「平静」又は「喜び」であるときは、言葉「いいよ」は“承諾”の意味で用いられた言語であると推定される。また、感情推定結果が「怒り」又は「悲しみ」であるときは、言葉「いいよ」は“あきらめ”の意味で用いられた言語であると推定される。
【００３２】
同様に、図４に示す例では、「いいよ」と発声したユーザの精神状態の推定結果が「平静」であるときは、言葉「いいよ」は“承諾”の意味で用いられた言語であると推定される。また、精神状態の推定結果が「緊張」であるときは、言葉「いいよ」は“あきらめ”の意味で用いられた言語であると推定される。
【００３３】
尚、図３及び図４に示すような、ユーザの感情や精神状態と、ユーザの意図との対応関係は、かかる複数の意味を有しうる言語毎に作成され、対話制御ECU２０のアクセス可能なメモリに予め保存される。
【００３４】
これにより、例えばシステム側からユーザに対して、「目的地周辺の駐車場の空き状況をお知らせしましょうか？」なる音声をスピーカ４０を介して出力して、ユーザに問い合わせした場合に、ユーザから「いいよ」という返答を受けたとき、上述の如くユーザの感情や精神状態を加味することで、その返答が「よろしくたのむ」という意味の「いいよ」なのか、又は、「必要ない」という意味の「いいよ」なのかを的確に判断することができる。この結果、再度聞き直すなどしてユーザを煩わせることがなくなり、当該返答に対するシステム側からの次の出力（動作）を的確なものとすることができ、ユーザとの対話をより円滑にすることが可能となる。例えば、「よろしくたのむ」という意味の「いいよ」の場合であるときだけ、対話制御ECU２０は、直ぐに目的地周辺の駐車場の空き状況を取得して、「目的地周辺の駐車場の空き状況をお知らせします」なる音声を出力しつつ、駐車場の空き状況をディスプレイ５０に表示することができる。
【００３５】
以上のように本実施例によれば、ユーザの発話した言語の意味が複数あり、その言語情報からはユーザの意図が一意的に特定できない場合であっても、ユーザの感情や精神状態を推定してこれらを加味することで、ユーザの意図を高精度に（的確に）推定することが可能となる。即ち、人間同士のコミュニケーションにおいて言語情報で伝達可能なのは７％程度であり、音声の韻律や表情などがコミュニケーションにおいて重要な役割を果たしているという研究結果（心理学者のアルバート・メラビアンによる研究結果）が知られているが、本実施例では、この研究結果からも分かるように、言語情報に加えて音声の韻律や表情などを考慮することで、言語情報だけで認識困難なユーザの意図をより的確に把握することが可能となる。
【００３６】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００３７】
例えば、上述した実施例では、ユーザの意図の推定精度を高めるため、ユーザの感情及び精神状態の双方を推定しているが、その何れかのみを推定する構成も可能である。また、そのときの推定精度に応じて、一方の推定結果を優先して用い、他方の推定結果を補助的に用いることも可能である。
【００３８】
また、上述では、車内マイク３０に入力される非言語情報として、韻律情報を例示しているが、本発明は、特にこれに限定されることはなく、例えば、車内マイク３０に入力されるブレス・息遣いの態様（ため息や息を呑む態様）に基づいて、ユーザの感情や精神状態を検出してもよい。
【図面の簡単な説明】
【００３９】
【図１】本発明による音声対話装置が組み込まれる音声対話システムの一実施例を示すシステム構成図である。
【図２】本実施例の音声対話装置により実現される特徴的な動作フローを示す図である。
【図３】非言語情報と言語情報とを統合してユーザの意図（真意）を推定する方法の一例を示す表図である。
【図４】非言語情報と言語情報とを統合してユーザの意図（真意）を推定する方法のその他の一例を示す表図である。
【符号の説明】
【００４０】
１０    音声対話装置
２０    対話制御ECU
２２    ユーザデータベース
３０    車内マイク
４０    スピーカ
４２    アンプ
５０    ディスプレイ
６０    車内カメラ
７０    乗員状態推定ECU
８０    生体センサ
【図１】
2006313287.tif 000003
【図２】
2006313287.tif 000004
【図３】
2006313287.tif 000005
【図４】
2006313287.tif 000006