(57)【要約】【課題】個人毎で異なる音質に対応し、感情を推定できる感情推定装置を提供する。【解決手段】車両のイベントを検出するイベント検出手段と、車両のイベント毎に操作者の感情を表す感情データがそれぞれ対応づけられている第１のテーブルを予め保持するイベント感情データ保持手段と、操作者の音声を入力する音声入力手段と、音声入力手段に入力される音声の特徴を抽出する音響特徴抽出手段と、音声の特徴と感情データが示す感情とを対応づけて第２のテーブルに保持する音声感情格納手段と、第２のテーブルを用いて、音声入力手段に入力される音声の特徴から操作者の感情を推定する制御手段とを備える。【選択図】  図１
2010286627.tif 000002
【特許請求の範囲】
【請求項１】
車両のイベントを検出するイベント検出手段と、
前記車両のイベント毎に操作者の感情を表す感情データがそれぞれ対応づけられている第１テーブルを予め保持するイベント感情データ保持手段と、
前記操作者の音声を入力する音声入力手段と、
前記音声入力手段に入力される音声の特徴を抽出する音響特徴抽出手段と、
前記音声の特徴と前記感情データが示す感情とを対応づけて第２テーブルに保持する音声感情格納手段と、
前記第２テーブルを用いて、前記音声入力手段に入力される音声の特徴から前記操作者の感情を推定する制御手段とを備えることを特徴とする
感情推定装置。
【請求項２】
前記音声入力手段は、特定の車両のイベント時の音声を入力し、
前記音響特徴抽出手段は、前記特定のイベント時の音声の特徴を検出し、
前記制御手段は、
前記第１テーブルから、前記特定の車両のイベントに対応する前記感情データを抽出し、
前記第１テーブルから抽出される感情データが示す感情と前記特定の車両状態における音声の特徴とを対応づけて前記第２テーブルに保持することを特徴とする
請求項１記載の感情推定装置。
【請求項３】
前記制御手段は、
前記第１テーブルから抽出される感情データが示す感情と前記特定の車両のイベント時の音声の特徴との対応関係が前記第２テーブルに格納されていない場合、当該対応関係を前記第２テーブルに格納することを特徴とする
請求項２に記載の感情推定装置。
【請求項４】
前記音響特徴抽出手段は、前記音声の特徴を数値として抽出し
前記制御手段は、
前記感情データが示す感情に対応する前記音声の特徴の数値を前記第２テーブルに蓄積し、
前記第２テーブルに蓄積される数値を正規化し、
前記正規化された数値を有する第２テーブルにより感情を推定することを特徴とする
請求項１〜３のいずれか１項に記載の感情推定装置。
【請求項５】
前記車両の内部に音声を出力する音声出力手段をさらに備え、
前記制御手段は、前記推定する感情に応じて、前記音声出力手段より出力される音声を設定することを特徴とする
請求項１〜４のいずれか１項に記載の感情推定装置。
【請求項６】
前記車両の内部に映像を出力する映像出力手段をさらに備え、
前記制御手段は、前記推定する感情に応じて、前記映像出力手段より出力される映像を設定することを特徴とする
請求項１〜４のいずれか１項に記載の感情推定装置。
【請求項７】
前記イベント検出手段は、少なくともステアリング、アクセル、ブレーキ又はカメラのいずれか一つから送信される信号により前記車両のイベントを検出することを特徴とする
請求項１〜５のいずれか１項に記載の感情推定装置。
【請求項８】
前記操作者のＩＤを認識するＩＤ認識手段をさらに備え、
前記制御手段は、前記ＩＤ認識手段で認識されるＩＤを参照して、前記ＩＤに対応する前記第２テーブルを前記音声感情格納手段から抽出することを特徴とする
請求項１〜７のいずれか１項に記載の感情推定装置。
【請求項９】
前記車両の外部環境を映すカメラをさらに備え、
前記イベント検出手段は、前記カメラの映像信号より前記車両のイベントを検出することを特徴とする
請求項１〜８のいずれか１項に記載の感情推定装置。
【請求項１０】
前記イベント検出手段は、音声入力手段に入力される音声から前記車両のイベントを検出することを特徴とする
請求項１〜９のいずれか１項に記載の感情推定装置。
【請求項１１】
車両のイベントを検出する車両イベント検出ステップと、
前記車両のイベントと操作者の感情を示す感情データを対応づける第１のテーブルから、前記車両イベント検出ステップにより検出される車両のイベントに対応する前記感情データを抽出する感情データ抽出ステップと、
前記操作者の音声が入力される音声入力ステップと、
前記音声の特徴を抽出するステップと、
前記感情データ抽出ステップにより抽出される感情データが示す感情と前記音声の特徴を対応づけて第２テーブルに格納するステップと、
前記第２テーブルを用いて、前記音声入力ステップにより入力される音声の特徴から前記操作者の感情を推定するステップとを有することを特徴とする
感情推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情推定装置及び感情推定方法に関する。
【背景技術】
【０００２】
入力される音声信号の音声の強度や音声のテンポ及び音声の抑揚の変化量を求め、当該変化量に基づいて、怒り、悲しみ及び喜びのそれぞれの感情を把握する感情検出装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−９１４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の感情検出装置は、音声の特徴を示す当該変化量と感情とを関連づけてデータベースに予め保持し、当該データベースを用いて入力される音声の変化量に対応する感情を、その時の感情として検出するため、個人毎の音質に合わせた感情の検出が困難であった。
【０００５】
そこで本発明は、個人毎で異なる音質に対応し、感情を推定できる感情推定装置を提供する。
【課題を解決するための手段】
【０００６】
本発明は、車両のイベント毎に操作者の感情を表す感情データがそれぞれ対応づけられている第１のテーブルを予め保持し、音声の特徴と当該感情データが示す感情とが対応づけて第２テーブルに保持し、当該第２テーブルにより感情を推定することによって上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、車両のイベント毎に操作者の感情を表す感情データがそれぞれ対応づけられている第１のテーブルを予め保持し、音声の特徴と前記感情データが示す感情とが対応づけて第２テーブルに保持し、当該第２テーブルにより感情を推定するため、車両のイベントの時に発生される操作者の音声の特徴と、当該車両のイベントに対応する感情データが示す感情とを対応づけて保持し、感情を推定することができ、その結果、個人毎に応じて、感情を推定することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、発明の実施形態に係るナビゲーション装置のブロック図を示す。
【図２】図１のナビゲーション装置において、イベントと、ステアリングの操舵角、アクセルの開度、ブレーキの踏込量及び車両の速度との対応関係を示す図である。
【図３】図１のナビゲーション装置において、イベントと感情との対応関係を示す図である。
【図４】図１のナビゲーション装置において、感情と音響感情量との対応関係を示す図である。
【図５】図１のナビゲーション装置において、感情と音響感情量との対応関係を示す図である。
【図６】図１のナビゲーション装置において、感情と出力される音声ガイダンスとの対応関係を示す図である。
【図７】図１のナビゲーション装置の制御手順を示すフローチャートである。
【図８】図１のナビゲーション装置の制御手順を示すフローチャートである。
【図９】他の発明の実施形態に係るナビゲーション装置のブロック図を示す。
【図１０】図９のナビゲーション装置において、イベントとカメラとの対応関係を示す図である。
【図１１】図９のナビゲーション装置において、イベントと感情との対応関係を示す図である。
【図１２】他の発明の実施形態に係るナビゲーション装置のブロック図を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施形態を図面に基づいて説明する。
【００１０】
《第１実施形態》
本発明の感情推定装置を含むナビゲーション装置１を、例えば車両に搭載される場合を例として説明する。図１は、ナビゲーション装置１のブロック図を示す。
【００１１】
図１に示すナビゲーション装置１は、車両を操作する操作者が発する音声から、当該操作者の感情を推定する感情推定部１０と、感情推定部１０により推定される感情に応じて、操作者へ音声ガイダンスを出力するための信号を生成するガイダンス応答生成部１１と、ガイダンス応答生成部１１から送信されるデジタル信号をアナログ信号に変換するＤ／Ａコンバータ１２（デジタル／アナログコンバータ）と、当該アナログ信号を増幅するアンプ１３とを備える。ナビゲーション装置１は、外部から送信される車両信号を入力し、車両のイベントを検出イベント検出部１０１と、車両のイベントと「安心」、「不安」、「怒り」等の感情を表す感情データとを対応づけて、データベースとして保持するイベント感情データベース１０２（以下、イベント感情ＤＢと称す。）と、車両を操作する操作者が発する音声を入力するマイク１０３と、当該マイクに入力される音声の特徴を抽出する音響特徴量抽出部１０４と、音声の特徴と感情とを対応づけてデータベースとして保持する音声感情データベース１０５（以下、音声感情ＤＢと称す。）と、操作者毎に割り当てられるＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を認識するＩＤ認識部１０６と、感情制御部１０７とを有する。
【００１２】
次に各構成における制御内容を説明する。図２は、各イベントと、ステアリング２０１の操舵角、アクセル２０２の開度、ブレーキ２０３の踏込量及び車両の速度との対応関係を示す図であり、図３は、イベント感情ＤＢ１０２に予め格納されている各イベントと感情との対応関係を示す図であり、図４は、音声感情ＤＢ１０５に格納されている、各感情と音響特徴量のパラメータとの対応関係で、一部未更新の状態の対応関係を示す図であり、図５は、音声感情ＤＢ１０５に格納されている、各感情と音響特徴量のパラメータとの対応関係で、更新済みの状態の対応関係を示す図であり、図６は、ガイダンス生成部１１に格納されている、感情と出力される音声ガイダンスとの対応関係を示す図である。
【００１３】
イベント検出部１０１に入力される車両信号は、車両に備えるステアリング２０１、アクセル２０２及びブレーキ２０３に応じて設定され、イベント検出部１０１に入力され、イベント検出部１０１は当該車両信号から車両のイベントを検出する。ここで、イベントは、車両の例えば走行状態や、運転状態、車両の外部環境で起こっている状況を示す。すなわち、車両を制御する図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）は、ステアリング２０１の操舵角、アクセル２０２のアクセル開度、ブレーキ２０３の踏み込み量及び車両速度を車両信号としてイベント検出部１０１に送信する。
【００１４】
イベント検出部１０１は、図２に示すように、車両信号に含まれる、ステアリング２０１の操舵角、アクセル２０２の開度、ブレーキ２０３の踏込量及び車両の速度から車両のイベントを特定する。例えば、ステアリング２０１の操舵角が４５度、アクセル２０２の開度がオンに相当する、ブレーキ２０３の踏込量がオフに相当する及び車両の速度が２０ｋｍ／ｈの場合、イベント検出部１０１は、車両が急なカーブを低速で走行している状態である、と検出する。また例えば、ステアリング２０１の操舵角が５度、アクセル２０２の開度がオンに相当する、ブレーキ２０３の踏込量がオフに相当する及び車両の速度が２０ｋｍ／ｈの場合、イベント検出部１０１は、車両が緩いカーブを低速で走行している状態である、と検出する。また例えば、ステアリング２０１の操舵角が５度、アクセル２０２の開度がオンに相当する、ブレーキ２０３の踏込量がオフに相当する及び車両の速度が８０ｋｍ／ｈの場合、イベント検出部１０１は、車両が緩いカーブを高速で走行している状態である、と検出する。なお、図２は、三通りのイベントに対応するステアリング２０１の操舵角等を示すが、イベントは三通りに限定されない。また本例は、車両のイベントは、必ずしもステアリング２０１の操舵角、アクセル２０２の開度、ブレーキ２０３の踏込量及び車両の速度の全ての要素から抽出する必要はなく、ステアリング２０１の操舵角、アクセル２０２の開度、ブレーキ２０３の踏込量又は車両の速度の少なくとも一つの要素からイベントを抽出することも可能である。
【００１５】
イベント感情ＤＢ１０２は、図３に示す、車両の各イベントに対応する、感情を表す感情データを示すテーブル（以下、イベント−感情テーブルと称す。）をデータベースとして予め保持している。すなわち、イベント−感情テーブルに含まれる感情データに示される感情は、イベント毎に、予め定義されている。例えば、車両のイベントが低速で急なカーブの状態を示す時、対応する感情は「不安」を示し、車両のイベントが低速で緩いカーブの状態を示す時、対応する感情は「安心」を示し、車両のイベントが高速で緩いカーブの時、対応する感情は「恐怖」を示す。各イベントに対応する感情「不安」、「安心」及び「恐怖」は、車両の操作者が当該イベントの車両の状態で運転している時に通常的に感じている精神状況に応じて、予め設定されている。言い換えると、緩いカーブを高速で走行している時、多くの操作者は、安心した精神状態で運転をしていることはなく、多少の恐怖を感じて運転している。そのため、高速度で緩いカーブを示すイベントには、「恐怖」の感情が割り当てられている。また急なカーブを低速で走行している時、操作者にとって見通しが悪いため、多くの操作者は、不安な精神状態で運転をしている。そのため、低速度で急なカーブを示すイベントには、「不安」の感情が割り当てられている。そして、イベント感情ＤＢ１０２は、イベント検出部１０１からイベントを含む信号を受信し、図３に示すテーブルから、当該イベントに対応する感情データを抽出し、感情制御部１０７へ送信する。
【００１６】
マイク１０３は、ある車両の状況下で、操作者が発する音声を検出し、音声信号を音響特徴量抽出部１０４に送信する。音響特徴量抽出部１０４は、当該音声信号から音声の特徴を数値により抽出する。音声の特徴は、単位時間当たりの音素のテンポや、声の強度、声の抑揚等がから導き出される。そして、音響特徴量抽出部１０４は、音素のピッチ（Ｐｉｔｃｈ）や音素の早さ（Ｓｐｅｅｄ）や、声の強度（Ｌｏｕｄｎｅｓｓ）、声の抑揚（ＰｉｔｃｈＳｌｏｐｅ）を数値（パラメータ）として表し、それぞれの音響特徴値として感情制御部１０７に送信する。
【００１７】
ＩＤ認識部１０６は、予め登録されている操作者のＩＤを識別し認識する。例えば、車両を始動するためのキー毎に、ＩＤがふられていて、操作者がキーを入力することにより、ＩＤ認識部１０６は当該キーに割り振られているＩＤを識別する。
【００１８】
感情制御部１０７は、イベント感情ＤＢ１０２から送信される感情データに示される、特定の車両のイベントに対応する感情と、音響特徴量出部１０４から送信される信号に含まれる特徴量と対応づけて、音声感情ＤＢ１０５に格納する。音声感情ＤＢ１０５は、イベント−感情テーブルに割り当てられている、それぞれの感情と、当該特徴量との対応関係を表すテーブル（以下、感情−特徴量テーブル）を有している。また音声感情ＤＢ１０５は、予め登録さているＩＤ毎に、感情−特徴量テーブルを有している。
【００１９】
図４及び図５に示すように、感情−特徴量テーブルには、イベント−感情テーブルで定義づけられている感情が、それぞれ割り当てられており、それぞれの感情に対して、音響特徴量が格納される。音響特徴量は、音響特徴量抽出部１０４で用いたパラメータに対応し、パラメータ毎に格納される。
【００２０】
まずイベント感情ＤＢ１０２は、イベント−感情テーブルを参照して、特定の車両イベント時に対応する感情データを抽出し、音響特徴量抽出部１０４は、当該特定の車両イベント時に操作者が発する音声から特徴を抽出し、感情制御部１０７に送信する。感情制御部１０７は、抽出された感情データ及び特徴値を感情−特徴量テーブルに格納する。これにより感情制御部１０７は、イベント毎に予め割り当てられている、それぞれの感情に対して特徴量を蓄積し、感情−特徴量テーブルに格納する。
【００２１】
また感情制御部１０７は、感情−特徴量テーブルに特徴量を格納しつつ、音声の特徴量から当該感情―特徴量テーブルを用いて、操作者の感情を推定する。感情制御部１０７は、音響特徴量抽出部により抽出される特徴量が入力されると、感情―特徴量テーブルから、当該特徴量に対応する感情を抽出し、当該特徴量を抽出した時の操作者の感情として推定する。そして、感情制御部１０７は、当該推定される感情を、信号により、ガイダンス応答生成部１１に送信する。
【００２２】
ガイダンス応答生成部１１は、感情制御部１０７により推定される感情に応じて、スピーカ２０４を介して操作者に音声を発するための信号を生成する。図６を参照し、ガイダンス応答性生成部１１は、推定される感情に応じて、出力される音声のガイダンステキストと音響特徴量を予め対応づけて定義する。例えば、推定される感情が「通常」の時、ガイダンス生成部１１は、ガイダンステキストを「運転うまくなったね。」に、音響特徴量の各パラメータ「Ｐｉｔｃｈ」、「Ｓｐｅｅｄ」、「Ｌｏｕｄｎｅｓｓ」及び「ＰｉｔｃｈＳｌｏｐｅ」を基準値である１００に設定し、信号をＤ／Ａコンバータに送信する。また推定される感情が「不安」の時、ガイダンス生成部１１は、ガイダンステキストを「ゆっくり焦らずに行きましょう。」に、音響特徴量の各パラメータ「Ｐｉｔｃｈ」、「Ｓｐｅｅｄ」及び「ＰｉｔｃｈＳｌｏｐｅ」を基準値である１００に、「Ｌｏｕｄｎｅｓｓ」を１１０に設定し、信号をＤ／Ａコンバータに送信する。感情が「通常」の時と比較して、「Ｌｏｕｄｎｅｓｓ」が高く設定されているため、ガイダンスが、より聞き取り易く、操作者は、落ち着いて運転できる。また推定される感情が「安心」の時、ガイダンス生成部１１は、ガイダンステキストを「今日は運転楽しいな」に、音響特徴量の各パラメータ「Ｐｉｔｃｈ」及び「Ｓｐｅｅｄ」を１１０に、「Ｌｏｕｄｎｅｓｓ」を９０に、「ＰｉｔｃｈＳｌｏｐｅ」を１００に設定し、信号をＤ／Ａコンバータに送信する。感情が「通常」の時と比較して、「Ｐｉｔｃｈ」及び「Ｓｐｅｅｄ」が高く、「Ｌｏｕｄｎｅｓｓ」が低く設定されているため、ガイダンスは、小さな音かつ短時間で出力される。操作者は、当該ガイダンスを多少聞き取りにくくなるが、操作者は落ち着いている状態のため、引き続き、安全な運転をすることができる。また推定される感情が「恐怖」の時、ガイダンス生成部１１は、ガイダンステキストを「ゆっくりあせらず行きましょう。」に、音響特徴量の各パラメータ「Ｐｉｔｃｈ」及び「Ｓｐｅｅｄ」を９０に、「Ｌｏｕｄｎｅｓｓ」及び「ＰｉｔｃｈＳｌｏｐｅ」を１１０に設定し、信号をＤ／Ａコンバータに送信する。感情が「通常」の時と比較して、「Ｐｉｔｃｈ」及び「Ｓｐｅｅｄ」が小さく、「Ｌｏｕｄｎｅｓｓ」及び「ＰｉｔｃｈＳｌｏｐｅ」が高く設定されているため、ガイダンスは、大きな音かつ長時間で出力される。操作者は、当該ガイダンスをより聞き取り易くなり、操作者は、落ち着いて運転できる。
【００２３】
次に、図７及び図８を参照しつつ、本例のナビゲーション装置１の制御手順を説明する。図７は、音声感情ＤＢ１０５に格納さている感情−特徴テーブルを更新するための制御手順のフローチャートを示し、図８は、音声感情ＤＢ１０５に格納さている感情−特徴テーブルを用いて、感情を推定し、操作者に対して音声ガイダンスを出力するための制御手順のフローチャートである。
【００２４】
図７を参照して、制御が開始されると、まずステップＳ１にて、ＩＤ認識部１０６により、操作者のＩＤを認識する。そして、ステップＳ２にて、感情制御部１０７は、音声感情ＤＢ１０５から当該ＩＤが割り当てられている感情−特徴量テーブルを抽出する。
【００２５】
次に、音声がマイク１０３に入力されているか判断し（ステップＳ３）、音声が入力されると、当該音声から音響特徴量を抽出する（ステップＳ４）。ここで、ステップＳ３にて抽出される音響特徴量のパラメ−タについて、例として、「Ｐｉｔｃｈ」をＰ２、「Ｓｐｅｅｄ」をＳ２、「Ｌｏｕｄｎｅｓｓ」をＬ２、「ＰｉｔｃｈＳｌｏｐｅ」をＰＳ２とする。そして、ステップＳ５にて、イベント検出部１０１は、マイク１０３に当該音声が入力される時の、イベントを検出する。イベントが検出されない場合、ステップＳ３にて抽出した特徴量から感情を推定する（ステップＳ１０）。ステップＳ１０以降の制御手順は、後述する。
【００２６】
一方、ステップＳ５にて、イベントが検出される場合（ここでは、イベント「緩いカーブ  低速度」が検出された仮定する。）、感情制御部１０７は、イベント−感情テーブルから（図３を参照）、当該イベント「緩いカーブ  低速度」に対応する感情「安心」を特定し、当該感情を表す感情データを特定する（ステップＳ６）。次に、感情制御部１０７は、音声感情ＤＢ１０５に格納され、ステップ２にて抽出された感情−特徴量テーブルを参照し、ステップＳ４の感情データが示す感情に対応する特徴量がテーブルに格納されているか否かを確認する（ステップ７）。図４に示すように、当該感情「安心」に対応する特徴量が格納されていない場合、感情制御部１０７は更新すると判断し、ステップＳ４にて抽出したパラメータを、感情−特徴量テーブルに格納する（ステップＳ８）。これにより、音声感情ＤＢ１０５の感情−特徴量テーブルが更新される。
【００２７】
一方、ステップＳ６にて、当該感情「安心」に対応する特徴量が格納されている場合、ステップＳ３にて抽出した特徴量から感情を推定する（ステップＳ１０）。ステップＳ１０以降の制御手順は、後述する。
【００２８】
次に、図８を参照して、上記ステップＳ１０以降である、音響特徴量抽出部１０４にて、抽出した音響特徴量から、操作者の感情を推定し音声ガイダンスを出力する制御手順を説明する。
【００２９】
ステップＳ１０の後、ステップＳ１１にて、感情制御部１０７は、音声感情ＤＢ１０５に格納される感情−特徴量テーブルを参照する。参照されるイベント−感情テーブルは、ステップＳ２にて、抽出されたテーブルである。ここで、以下、音響特徴量抽出部１０４により抽出される特徴量のパラメータについて、「Ｐｉｔｃｈ」をＰ１、「Ｓｐｅｅｄ」をＳ１、「Ｌｏｕｄｎｅｓｓ」Ｌ１、「ＰｉｔｃｈＳｌｏｐｅ」をＰＳ１として、説明する。
【００３０】
ステップＳ１２にて、感情制御部１０７は、感情−特徴量テーブルにより、当該パラメータに対応する感情を特定し、推定する。図５に示すように、「Ｐｉｔｃｈ」Ｐ１、「Ｓｐｅｅｄ」Ｓ１、「Ｌｏｕｄｎｅｓｓ」Ｌ１、「ＰｉｔｃｈＳｌｏｐｅ」ＰＳ１に対応する感情は「不安」であり、感情制御部１０は、感情「不安」と推定する。
【００３１】
次に、感情制御部１０は、当該感情「不安」を示す信号をガイダンス応答生成部１１に送信し、ガイダンス応答生成部１１は、音声ガイダンスを生成する。すなわち、図６に示すように、感情「不安」に対応する音声ガイダンスは、ガイダンステキスト「ゆっくり焦らず行きましょう。」、Ｐｉｔｃｈ１００、Ｓｐｅｅｄ１００、Ｌｏｕｄｎｅｓｓ１１０、ＰｉｔｃｈＳｌｏｐｅ１００となる。
【００３２】
そして、ステップＳ１３にて生成される音声ガイダンスが、スピーカ２０４より出力され（ステップＳ１４）、制御を終了する。
【００３３】
上記のように、本発明は、イベント毎に操作者が感じる感情を定義づける、イベント−感情テーブルを予め保持し、入力される音声の特徴量と感情との対応関係を示す特徴量−感情テーブルを保持する。これにより、車両のイベントから感情を特定し、当該特定される感情毎に、特徴量を示すデータを保持することできる。通常、音声の特徴量には、個人差があり、例えば「恐怖」の状況下において操作者が発する音声は様々である。本例は、感情の違いを車両のイベントにより定義し、感情毎の音声の特徴量を保持するため、個人毎で、特定の感情に対する音響特徴量をテーブルとして保持することができ、さらに、当該テーブルを用いて、操作者の感情を推定することができる、これにより、本例は、個人毎の音質に合わせた感情を推定することができる。従来のように、人の音声を一般化して、音声の特徴量のみから、感情を判断する場合、個人差によって、感情が判断されないおそれがあるが、本例は、予めイベントにより感情を定義づけて、個人毎に、それぞれの感情に応じた特徴量を保持し、データベースとして格納する。そのため、従来に比べて、個人毎の音質に合わせた感情を推定することができる。
【００３４】
また本例は、車両に生じるイベントに対して感情を定義し、イベントが生じた際に操作者が発する音声から特徴量を抽出し、感情と特徴量とを対応づけるため、操作者の声に適したシステムを実現することができる。さらに本例は、操作者特有の感情−特徴量テーブルを形成できるため、車両のイベントに対する操作者の感情にあった、制御を行うことができる。
【００３５】
そして、本例において、推定される感情に応じた制御を行うことができるため、例えば、操作者が「不安」に感じている状況下では、情報を操作者対して出力しない等、より安全な車内ＨＭＩ（Ｈｕｍａｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）を提供することができる。
【００３６】
また本例は、感情−特徴量テーブルにおいて、感情に対する特徴量が当該テーブルに格納されていない場合、当該特徴量を当該テーブルに格納する。これにより、本例は、感情毎で異なる音声の特徴を、感情毎に格納することができ、当該テーブルを利用することで、正確に感情を推定することができる。
【００３７】
また本発明は、推定される感情に応じて、操作者に対して音声を設定する。これにより、操作者は、例えば「不安」、「恐怖」を感じている状況であっても、当該報知される音声により、気分を落ち着かせることができる。また、本例は、当該報知される音声のメッセージ、抑揚、速さ等を推定される感情に応じて設定するため、操作者が例えば「不安」、「恐怖」を感じ、通常の音声では気づきにくい状況であっても、当該音声を設定することで、より当該音声を聞き取り易くなり、気分を落ち着かせることができる。ゆえに、本例は、安全な車内ＨＭＩを提供することができる。
【００３８】
また本例は、車両信号により車両のイベントを検出する。これにより、本例は、車両のイベントに応じて感情を予め定義することができる。
【００３９】
また本例は、ＩＤ認識部１０６を有し、登録されるＩＤ毎に感情−特徴量テーブルを用意し、認識されるＩＤに応じて音声感情ＤＢ１０５から感情−特徴量テーブルを抽出する。これにより、本例は、操作者のＩＤ毎に、音声の特徴量をテーブルに格納することができるため、個人毎に、それぞれの感情に応じた特徴量を保持し、データベースとして格納する。そして、個人毎の音質に合わせた感情を推定することができる。
【００４０】
なお、本例は、音声感情ＤＢ１０５に、感情毎の特徴量のデータを複数、蓄積し、当該データを正規化し、感情制御部１０７は、正規化された感情−特徴量テーブルを参照して、感情を推定することも可能である。以下、当該正規化について、説明する。
【００４１】
まず、音響特徴抽出手段１０４は、操作者の音声の特徴を数値として抽出し、感情制御部１０７は、特定のイベントに対応する感情に対して、当該数値のデータを感情−特徴量テーブルに蓄積する。例えば、感情制御部１０７は、イベント（急なカーブ  低速）の時に発せられる音声の特徴量のデータを、感情「不安」に対応づけて、図５に示す感情−特徴量テーブルに蓄積する。ここで、当該感情−特徴量テーブルには、既に「Ｐｉｔｃｈ」Ｐ１、「Ｓｐｅｅｄ」Ｓ１、「Ｌｏｕｄｎｅｓｓ」Ｌ１、「ＰｉｔｃｈＳｌｏｐｅ」ＰＳ１のデータが格納されているが、既存のデータに追加して、データを格納する。
【００４２】
ここで、操作者は同じ感情であっても、発せされる音声の特徴量は、完全に同一にならない。そのため、感情−特徴量テーブルに蓄積される特徴量のデータは、一つの感情の中に、様々な数値を持つ。一方、操作者の音声の特徴量は、それぞれの感情毎に、ある程度の傾向を持つため、感情毎に特徴量の分布が形成される。そのため、本例は、特定の感情（例えば「不安」）において、蓄積されている、それぞれの音響特徴量（Ｐａｒａ）と、その平均値（Ａｖｅ）及び標準偏差（Ｄｅｖ）を利用して、正規化（（Ｐａｒａ−Ａｖｅ／Ｄｅｖ））を行う。また他の感情についても、同様に行う。
【００４３】
これにより、本例は、感情毎に特徴量の正規化された値を有するテーブルを音声感情ＤＢに格納することができるため、感情毎に、正規化された異なる部分を割り当てることができる。これにより、本例は、感情を推定する際、誤認識の確率を下げることができる。
【００４４】
なお、本例は、推定される感情に応じて、操作者へ伝える音声を設定するが、映像を設定してもよい。例えば、推定される感情が「不安」、「恐怖」等の場合、車内設備であるカーナビゲーションの映像を設定してもよい。また、図３〜６に示すように、本例は、「通常」、「不安」「安心」及び「恐怖」の４通りに感情を分けているが、必ずしも４通りにする必要はなく、２又は３通りでも、４通り以上でもよい。
【００４５】
なお、本例のイベント検出部１０１は、本発明の「イベント検出手段」に相当し、イベント感情ＤＢ１０２は「イベント感情データ保持手段」に、マイク１０３は「音声入力手段」に、音響特徴量抽出部１０４は「音響特徴抽出手段」に、音声感情ＤＢ１０５は「音声感情格納手段」に、感情制御部１０７は「制御手段」に、ガイダンス応答生成部１１及びスピーカ２０４は「音声出力手段」に相当する。また、本例の感情推定部１０は「感情推定装置」に相当し、「感情推定装置」は、ガイダンス応答生成部１１を含めてもよい。
【００４６】
《第２実施形態》
図９は、発明の他の実施形態に係る感情推定装置を含むナビゲーション装置のブロック図である。本例は上述した第１実施形態に対して、ステアリング２０１、アクセル２０２及びブレーキ２０３の代わりにカメラ３０１を備える点で異なる。これ以外の構成で上述した第１実施形態と同じ構成は、その記載を適宜、援用する。
【００４７】
図９を参照し、カメラ３０１は、車両の外部環境を映すカメラであって、車両の前方を映す前方カメラと、車両の側面の方向を映すサイドカメラと、車両の後方を映すリアカメラを有する。カメラ３０１の映像信号は、イベント検出部１０１に入力され、イベント検出部は、当該映像信号より、車両のイベントを検出する。
【００４８】
次に、図１０及び図１１を参照して、イベント検出部１０１によるイベントの検出と、検出されたイベントと感情との対応関係を説明する。図１０は、各イベントと、前方カメラの映像、サイドカメラの映像及びリアカメラの映像との対応関係を示す図であり、図１１は、イベント感情ＤＢ１０２に格納されている、イベント−感情テーブルを示す。イベント検出部１０１は、それぞれのカメラに映し出される映像における、切り替わりのタイミングや、映し出される映像の距離感等から車両の状況をイベントして把握する。具体的には、例えば、前方カメラの映像は「対象物なし」、サイドカメラの映像は「近距離に対象物有り」、リアカメラ「近距離に対象物有り」の場合、バック駐車などを想定し、イベント検出部１０１は、「駐車操作」のイベントである、と検出する。また、前方カメラの映像は「対象物なし」、サイドカメラの映像は「対象物なし」、リアカメラ「対象物なし」の場合、通常の走行を想定し、イベント検出部１０１は、「通常走行」のイベントである、と検出する。また、前方カメラの映像は「近距離に対象物有り（急激な画像変化）」、サイドカメラの映像は「対象物なし」、リアカメラ「対象物なし」の場合、例えば隣の車線から急激な割り込みがあったと想定し、イベント検出部１０１は、「割り込み」のイベントである、と検出する。そしてイベント検出部１０１は、それぞれのイベントに応じた信号をイベント感情ＤＢ１０２へ送信する。
【００４９】
イベント感情ＤＢ１０２は、図１１に示す、車両の各イベントに対応する、感情を表す感情データを示すテーブルをデータベースとして予め保持している。イベント−感情テーブルに含まれる感情データに示される感情は、イベント毎に応じて、予め定義されている。例えば、車両のイベントが駐車操作の状態を示す時、対応する感情は「不安」を示し、通常運転の状態を示す時、対応する感情は「安心」を示し、割り込みの状態の時、対応する感情は「恐怖」を示す。そして、イベント感情ＤＢ１０２は、イベント検出部１０１からイベントを含む信号を受信し、図９に示すテーブルから、当該イベントに対応する感情データを抽出し、感情制御部１０７へ送信する。感情制御部１０７により行われる制御は、実施の形態１と同様であるため、説明を省略する。
【００５０】
上記のように本例の感情推定装置は、カメラの映像情報からイベントを検出するため、駐車支援やサイドビューなどのカメラを利用した車両システムにおいて、操作者の感情を推定することができる。そして、例えば操作者が「不安」に感じて運転をしている状況の場合、操作者に対して情報をしない等の制御を行うことができ、本例は、安全な車内ＨＭＩを提供することができる。
【００５１】
なお、本例は、イベントを検出するために、ステアリング２０１、アクセル２０２及びブレーキ２０３の代わりにカメラ３０１を用いたが、両方を備えてもよい。これにより、例えば、車線変更イベントを検出することができ、より多くの車両イベントを検出することができる。
【００５２】
《第３実施形態》
図１２は、発明の他の実施形態に係る感情推定装置を含むナビゲーション装置のブロック図である。本例は上述した第１実施形態に対して、対話制御部４０１を備える点で異なる。これ以外の構成で上述した第１実施形態と同じ構成は、その記載を適宜、援用する。
【００５３】
図１２に示すように、対話制御部４０１は、マイク１０３に入力される音声を認識する。そして、操作者が、同じメッセ−ジ何度も繰り返した時、対話制御部４０１は、繰り返される音声信号を検出する。本例の感情推定装置が、操作者の感情を正確に推定できなかった場合、操作者は、何回も音声を発し、マイクに１０３へ音声入力が繰り返される。この場合、対話制御部４０１は、繰り返される音声信号を認識し、操作者の感情が「困る」又は「驚き」であると認識し、当該感情を示す感情データを感情制御部１０７へ送信する。感情制御部１０７は、例えば、ガイダンス応答生成部１１を介して、「システムが正常に動作されませんでした」等のメッセージを含む音声を操作者に対して、出力する。
【００５４】
これにより、本例は、感情推定装置が正常に操作者の感情を推定できない場合であっても、操作者に対して、心地よい空間を提供できる。
【００５５】
なお、本例は、音声が繰り返されることを検出するが、音声の発話内容を検出してもよい。
【符号の説明】
【００５６】
１…ナビゲーション装置
１０…感情推定部
１１…ガイダンス応答生成部
１２…Ｄ／Ａコンバータ
１３…アンプ
１０１…検出イベント検出部
１０２…イベント感情データベース
１０３…マイク
１０４…音響特徴量抽出部
１０５…音声感情データベース
１０６…ＩＤ認識部
１０７…感情制御部
２０１…ステアリング
２０２…アクセル
２０３…ブレーキ
２０４…スピーカ
３０１…カメラ
４０１…対話制御部
【図１】
2010286627.tif 000003
【図２】
2010286627.tif 000004
【図３】
2010286627.tif 000005
【図４】
2010286627.tif 000006
【図５】
2010286627.tif 000007
【図６】
2010286627.tif 000008
【図７】
2010286627.tif 000009
【図８】
2010286627.tif 000010
【図９】
2010286627.tif 000011
【図１０】
2010286627.tif 000012
【図１１】
2010286627.tif 000013
【図１２】
2010286627.tif 000014