(57)【要約】      （修正有）【課題】利用者の感情を、より正確に推定することのできる感情推定システムを提供すること。【解決手段】感情推定システム１０は、利用者７０の外面情報を検出する第１の検出手段３０と、当該利用者の生体情報を検出する第２の検出手段８０と、外面情報及び生体情報を入力して、利用者の感情を出力する学習モデルと、第１の検出手段により検出された外面情報に対する重み付けと、第２のセンサにより検出された生体情報に対する重み付けとを、前記利用者の周囲の状況に応じて変化させ、重み付けがそれぞれ変化した外面情報と生体情報とを、前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、を備える。【選択図】図１
2018072876.tif 000002
【特許請求の範囲】
【請求項１】
外面情報及び生体情報を入力して、利用者の感情を出力する学習モデルと、
第１の検出手段により検出された利用者の外面情報に対する重み付けと第２の検出手段により検出された当該利用者の生体情報に対する重み付けとを、前記利用者の周囲の状況に応じて変化させ、前記重み付けによりそれぞれ変化した外面情報と生体情報とを前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備える感情推定システム。
【請求項２】
前記利用者の周囲の環境情報を検出する第３の検出手段により検出された環境情報に基づいて前記利用者の周囲の状況を判定する請求項１記載の感情推定システム。
【請求項３】
前記推定手段は、利用者の周囲の状況が公的な状況、又は緊張を引き起こしやすい状況であると判断した場合に、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも大きくする請求項２記載の感情推定システム。
【請求項４】
前記推定手段は、利用者の周囲の状況が私的な状況、又はくつろぎやすい状況であると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも小さくする請求項２記載の感情推定システム。
【請求項５】
前記推定手段は、利用者の感情が表情又は動作に表われにくいタイプであると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも大きくする請求項１から４のいずれかに記載の感情推定システム。
【請求項６】
前記推定手段は、利用者の感情が表情又は動作に表われやすいタイプであると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも小さくする請求項１から４のいずれかに記載の感情推定システム。
【請求項７】
外面情報及び生体情報を入力して、利用者の感情を出力する複数の学習モデルと、
利用者の周囲の状況に応じて、使用する学習モデルを選択する選択手段と、
第１の検出手段により検出された利用者の外面情報と第２の検出手段により検出された当該利用者の生体情報とを選択された学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備える感情推定システム。
【請求項８】
前記利用者の周囲の環境情報を検出する第３の検出手段をさらに備え、
前記選択手段は、前記第３の検出手段により検出された環境情報に基づいて前記利用者の周囲の状況を判定する請求項７記載の感情推定システム。
【請求項９】
外面情報、生体情報及び利用者の周囲の環境情報を入力して、利用者の感情を出力する学習モデルと、
第１の検出手段により検出された当該利用者の外面情報、第２の検出手段により検出された当該利用者の生体情報及び第３の検出手段により検出された当該利用者の周囲の環境情報を前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備える感情推定システム。
【請求項１０】
前記第１の検出手段は、前記外面情報として、利用者の表情、音声の少なくとも一つを検出し、
前記第２の検出手段は、前記生体情報として、利用者の皮膚電位、心拍の少なくとも一つを検出する請求項１から９いずれかに記載の感情推定システム。
【請求項１１】
対話型ロボットが前記第１の検出手段および前記第２の検出手段を備えている請求項１から１０いずれかに記載の感情推定システム。
【請求項１２】
前記対話型ロボットが存在する付近に設置された環境センサによって利用者の周囲の環境情報を検出する請求項１１記載の感情推定システム。
【請求項１３】
前記感情推定システムは制御サーバを含み、
前記対話型ロボットは前記制御サーバに対して現在位置情報を送信し、
前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサから取得した当該利用者の周囲の環境情報を前記対話型ロボットに送信する請求項１２記載の感情推定システム。
【請求項１４】
前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサに対して、当該利用者の周囲の環境情報を取得するよう要求する請求項１３記載の感情推定システム。
【請求項１５】
第1の検出手段により検出された利用者の外面情報と第２の検出手段により検出された当該利用者の生体情報とから、当該利用者の感情に関する特徴量を抽出する抽出手段と、
前記抽出手段により抽出された特徴量を用いた機械学習を行うことにより、前記抽出手段により抽出された特徴量を入力して利用者の感情を出力する、利用者の周囲の状況に応じた複数の学習モデルを生成する生成手段と、
を備える感情推定モデル生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情推定システム、および感情推定モデル生成システムに関する。
【背景技術】
【０００２】
特許文献１には、利用者との対話時における利用者の表情から得た感情、音声から得た感情、口調、およびテキストの情報を組み合わせることにより利用者の性格を分類し、分類に応じて応答を変化させる対話エージェントが開示されている。
【０００３】
特許文献２には、被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する感情推定装置、感情推定方法およびプログラムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０７１９３６号公報
【特許文献２】特開２０１２−５９１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定システム及び感情推定モデル生成システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に係る本発明は、
外面情報及び生体情報を入力して、利用者の感情を出力する学習モデルと、
第１の検出手段により検出された利用者の外面情報に対する重み付けと第２の検出手段により検出された当該利用者の生体情報に対する重み付けとを、前記利用者の周囲の状況に応じて変化させ、前記重み付けによりそれぞれ変化した外面情報と生体情報とを前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備える感情推定システムである。
【０００７】
請求項２に係る本発明は、請求項１記載の発明に係り、前記利用者の周囲の環境情報を検出する第３の検出手段により検出された環境情報に基づいて前記利用者の周囲の状況を判定する感情推定システムである。
【０００８】
請求項３に係る本発明は、請求項２記載の発明に係り、前記推定手段は、利用者の周囲の状況が公的な状況、又は緊張を引き起こしやすい状況であると判断した場合に、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも大きくする感情推定システムである。
【０００９】
請求項４に係る本発明は、請求項２記載の発明に係り、前記推定手段は、利用者の周囲の状況が私的な状況、又はくつろぎやすい状況であると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも小さくする感情推定システムである。
【００１０】
請求項５に係る本発明は、請求項１から４のいずれかに記載の発明に係り、前記推定手段は、利用者の感情が表情又は動作に表われにくいタイプであると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも大きくする感情推定システムである。
【００１１】
請求項６に係る本発明は、請求項１から４のいずれかに記載の発明に係り、前記推定手段は、利用者の感情が表情又は動作に表われやすいタイプであると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも小さくする感情推定システムである。
【００１２】
請求項７に係る本発明は、
外面情報及び生体情報を入力して、利用者の感情を出力する複数の学習モデルと、
利用者の周囲の状況に応じて、使用する学習モデルを選択する選択手段と、
第１の検出手段により検出された利用者の外面情報と第２の検出手段により検出された当該利用者の生体情報とを選択された学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備える感情推定システムである。
【００１３】
請求項８に係る本発明は、請求項７に記載の発明に係り、前記利用者の周囲の環境情報を検出する第３の検出手段をさらに備え、前記選択手段は、前記第３の検出手段により検出された環境情報に基づいて前記利用者の周囲の状況を判定する感情推定システムである。
【００１４】
請求項９に係る本発明は、
外面情報、生体情報及び利用者の周囲の環境情報を入力して、利用者の感情を出力する学習モデルと、
第１の検出手段により検出された当該利用者の外面情報、第２の検出手段により検出された当該利用者の生体情報及び第３の検出手段により検出された当該利用者の周囲の環境情報を前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備える感情推定システムである。
【００１５】
請求項１０に係る発明は、請求項１から９のいずれか記載の発明に係り、前記第１の検出手段は、前記外面情報として、利用者の表情、音声の少なくとも一つを検出し、前記第２の検出手段は、前記生体情報として、利用者の皮膚電位、心拍の少なくとも一つを検出する感情推定システムである。
【００１６】
請求項１１に係る発明は、請求項１から１０のいずれか記載の発明に係り、対話型ロボットが前記第１の検出手段および前記第２の検出手段を備えている感情推定システムである。
【００１７】
請求項１２に係る発明は、請求項１１記載の発明に係り、前記対話型ロボットが存在する付近に設置された環境センサによって利用者の周囲の環境情報を検出する感情推定システムである。
【００１８】
請求項１３に係る発明は、請求項１２記載の発明に係り、前記感情推定システムは制御サーバを含み、前記対話型ロボットは前記制御サーバに対して現在位置情報を送信し、前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサから取得した当該利用者の周囲の環境情報を前記対話型ロボットに送信する感情推定システムである。
【００１９】
請求項１４に係る発明は、請求項１３記載の発明に係り、前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサに対して、当該利用者の周囲の環境情報を取得するよう要求する感情推定システムである。
【００２０】
請求項１５に係る発明は、
第1の検出手段により検出された利用者の外面情報と第２の検出手段により検出された当該利用者の生体情報とから、当該利用者の感情に関する特徴量を抽出する抽出手段と、
前記抽出手段により抽出された特徴量を用いた機械学習を行うことにより、前記抽出手段により抽出された特徴量を入力して利用者の感情を出力する、利用者の周囲の状況に応じた複数の学習モデルを生成する生成手段と、
を備える感情推定モデル生成システムである。
【発明の効果】
【００２１】
請求項１に係る本発明によれば、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定システムを提供できる。
【００２２】
請求項２に係る本発明によれば、利用者の周囲の環境を考慮しない場合に比較して、利用者の感情をより正確に推定することが可能となる。
【００２３】
請求項３に係る本発明によれば、利用者の感情が外面に表われにくい状況の場合であっても、本発明の構成を有しない場合に比べて利用者の感情をより正確に推定することが可能となる。
【００２４】
請求項４に係る本発明によれば、利用者の感情が外面に表われやすい状況の場合に、本発明の構成を有しない場合に比べて利用者の感情をより正確に推定することが可能となる。
【００２５】
請求項５に係る本発明によれば、利用者が感情を外面に表わしにくい性格である場合であっても、本発明の構成を有しない場合に比べて利用者の感情をより正確に推定することが可能となる。
【００２６】
請求項６に係る本発明によれば、利用者が感情を外面に表わしやすい性格である場合に、本発明の構成を有しない場合に比べて利用者の感情をより正確に推定することが可能となる。
【００２７】
請求項７に係る本発明によれば、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定システムを提供できる。
【００２８】
請求項８に係る本発明によれば、利用者の周囲の環境を考慮しない場合に比較して、利用者の感情をより正確に推定することが可能となる。
【００２９】
請求項９に係る本発明によれば、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定システムを提供できる。
【００３０】
請求項１０に係る本発明によれば、他の要素を検出する場合に比較して、利用者の感情をより正確に推定することが可能となる。
【００３１】
請求項１１に係る本発明によれば、利用者と対話を行いながらその際の反応に応じて利用者の感情を推定することが可能となる。
【００３２】
請求項１２に係る本発明によれば、利用者と対話型ロボットとが対話を行っている場所の周囲の環境情報を取得することが可能となる。
【００３３】
請求項１３に係る本発明によれば、複数の環境センサが設置されている場合に、感情を推定すべき利用者の周囲の環境情報を、最もふさわしい環境センサによって取得することが可能となる。
【００３４】
請求項１４に係る本発明によれば、環境センサを必要に応じて稼働させて利用者周囲の環境情報を取得することが可能となる。
【００３５】
請求項１５に係る本発明によれば、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定モデル生成システムを提供できる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態の感情推定システム１０の一例を示す説明図である。
【図２】実施形態における対話型ロボット２０のハードウェア構成図である。
【図３】実施形態における対話型ロボット２０の機能ブロック図である。
【図４】実施形態における制御サーバ４０のハードウェア構成図である。
【図５】実施形態における制御サーバ４０の機能ブロック図である。
【図６】利用者７０の周囲の環境毎に生成される学習モデルの概念図である。
【図７】利用者７０の外面情報、生体情報、および環境情報を入力とした場合の学習モデルの概念図である。
【図８】実施形態の感情推定システム１０における学習モデルの作成処理の流れを示すフローチャートである。
【図９】実施形態の感情推定システム１０における感情推定処理の一例を示すフローチャートである。
【図１０】実勢形態の感情推定システム１０における感情推定処理の一例を示すフローチャートである。
【図１１】実勢形態の感情推定システム１０における感情推定処理の他の一例を示すフローチャートである。
【発明を実施するための形態】
【００３７】
本発明の一実施形態の感情推定システム１０を、図１を参照して説明する。本実施形態の感情推定システム１０は、オフィスビルのフロア等の比較的大きな所定の領域（以下、ワークプレイスという）１００に配置される対話型ロボット２０と、ワークプレイス１００の天井や壁面に配置される複数の環境センサ３０と、制御サーバ４０と、を備えて構成され、制御サーバ４０は、対話型ロボット２０および環境センサ３０にネットワーク５０によって接続される。特に、制御サーバ４０と対話型ロボット２０とは、ワークプレイス１０の壁面等に設置されたアクセスポイント６０を介して無線により接続される。さらに、ワークプレイス１０には、利用者７０が存在しており、利用者７０の手首或いは腕には生体センサ８０が取り付けられ、生体センサと制御サーバ４０とはアクセスポイント６０を介して無線により接続されている。
【００３８】
環境センサ３０は、利用者７０の表情、姿勢、顔の色といった外面情報を検出することに加え、利用者７０が存在する状況についての情報を検出する。利用者７０が存在する状況には、例えば、座っている、立っている、会議中である、雑談しているといったものが含まれる。また、環境センサ３０により検出される情報には、利用者７０が誰であるかを推定する情報も含まれる。
【００３９】
生体センサ８０は、利用者７０の手首或いは腕に装着されるもので、利用者７０の生体情報を検出する。生体情報は、例えば、利用者７０の皮膚抵抗、心拍数、体温に関するデータを含む。皮膚抵抗に関する情報には、現在の皮膚抵抗値だけでなく、平常時に対する皮膚抵抗値の変化、また単位時間当たりの皮膚抵抗値の変動のデータも含まれる。同様に、心拍数に関する情報には、され、現在の心拍数だけでなく、平常時に対する心拍数の変化、また単位時間当たりの心拍数の変動のデータが含まれる。また、体温に関するデータには、現在の体温に加えて、平常時に対する体温の変化、単位時間当たりの体温の変化が含まれる。
【００４０】
まず、図２、３を参照して、本実施形態の対話型ロボット２０について説明する。図２は、対話型ロボット２０のハードウェア構成図である。図２に示すように、対話型ロボット２０は、制御用マイクロプロセッサ２１１、メモリ２１２、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等の記憶装置２１３、通信インタフェース２１４、カメラ２１５、マイクロフォン２１６、スピーカ２１７、モータ２１８、現在位置検出装置２１９を備えて構成され、それぞれ制御バス２２０に接続されている。
【００４１】
制御用マイクロプロセッサ２１１は、記憶装置２１３に記憶された制御プログラムに基づいて対話型ロボット２０の各部の動作を制御統括する。メモリ２１２には、対話型ロボット２０が利用者と行った対話時の対話の音声、対話内容、カメラ２１５により撮影された利用者５０の表情、挙動、身体の状態の画像等が一時的に記憶される。記憶装置２１３には対話型ロボット２０の各部を制御するための制御プログラムが記憶される。通信インタフェース２１４は、対話型ロボット２０がアクセスポイント６０を介して制御サーバ４０と通信を行うための通信制御を行う。
【００４２】
カメラ２１５は、利用者の表情、挙動、身体の状態の変化等を撮影し、メモリ２１２に記憶する。マイクロフォン２１６は、利用者と対話を行った際に、利用者の音声を検出し、メモリ２１２に記憶、つまり録音する。メモリ２１２には、音声を直接録音するのではなく、音声内容を解釈した後の対話内容、および音の高さや言葉の速さを記憶させてもよい。スピーカ２１７は、対話型ロボット２０の後述する対話制御部が生成した音声を出力する。モータ２１８は、後述する移動制御部において生成された移動制御情報に基づいて対話型ロボット２０を所定の位置に移動させる。現在位置検出装置２１９は、加速度センサ、ＧＰＳ信号受信装置、或いは位置情報信号受信装置等を含んで構成されており、対話型ロボット２０の現在位置を特定して、メモリ２１２に一時的に記憶させる。
【００４３】
図３は、対話型ロボット２０の機能ブロック図である。対話型ロボット２０は、記憶装置２１３に記憶されている制御プログラムを制御用マイクロプロセッサ２１１において実行することにより、図３に示されるように、センサ情報送信部２２１、対話制御部２２２、移動制御部２２３、認識情報受信部２２４として機能する。
【００４４】
センサ情報送信部２２１は、対話型ロボット２０のカメラ２１５およびマイクロフォン２１６によって検出された利用者７０の外面情報を制御サーバ４０に送信する。外面情報には、カメラ２１５によって撮影された利用者７０の表情、挙動についてのデータ、マイクロフォン２１６によって検出された利用者７０の音声の高さ、言葉やの速さについてのデータが含まれる。
【００４５】
対話制御部２２２は、対話型ロボット２０が利用者７０と行う対話を制御するとともに、利用者に対する応答内容を生成する。例えば、メモリ２１２に記憶された対話内容に応じて応答メッセージを生成し、スピーカ２１７に出力する。その際、対話制御部２２２は、後述する認識情報受信部２２４において受信した利用者７０の感情に応じてメッセージの出力音声の大きさや発話速度を調整する。
【００４６】
移動制御部２２３は、対話型ロボット２０の移動を制御する。移動制御部２２３は、利用者７０の位置、制御サーバ４０から移動指示があった場合に、現在位置から目的位置まで移動する移動制御情報を生成し、現在位置検出装置２１９によって検出される現在位置の情報を参照しつつモータ２１８の動作を制御し、対話型ロボット２０を移動させる。
【００４７】
認識情報受信部２２４は、制御サーバ４０によって推定された利用者７０の感情を受信し、メモリ２１２に一時的に記憶する。
【００４８】
次に、図４、５を参照して、本実施形態の制御サーバ４０について説明する。図４は、制御サーバ４０のハードウェア構成図である。図４に示すように、制御サーバ４０のハードウェア構成図である。図４に示すように、制御サーバ４０は、ＣＰＵ４０１、メモリ４０２、記憶装置４０３、通信インタフェース４０４、ユーザインタフェース４０５を備えて構成され、それぞれ制御バス４０６に接続されている。ＣＰＵ４０１は、記憶装置４０３に記憶された制御プログラムに基づいて制御サーバ４０各部の動作を制御統括する。メモリ４０２には、環境センサ３０から送信されてきた利用者７０の位置情報、対話型ロボット２０から送信されてきた対話型ロボット２０の位置情報や利用者７０の外面情報、利用者７０に取り付けられた生体センサ８０から送信されてきた利用者７０の生体情報が記憶される。
【００４９】
記憶装置４０３は、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等であり、制御サーバ４０を制御するための制御プログラムが記憶されている。さらに、記憶装置４０３には、後述するが、制御サーバ４０が利用者７０の感情を推定する際に使用する学習モデルが記憶されている。
【００５０】
通信インタフェース４０４は、制御サーバ４０がアクセスポイント６０を介して対話型ロボット２０、環境センサ３０、および利用者７０に取り付けられた生体センサ７０と各種データの送受信を行うための通信制御を行う。ユーザインタフェース４０５は、液晶ディスプレイ等の表示装置、キーボードやマウス等の入力装置によって構成されており、記憶装置４０３に記憶されている制御プログラムを管理者が調整したりするためのものである。
【００５１】
図５は、制御サーバ４０の機能ブロック図を示す。制御サーバ４０は、記憶装置４０３に記憶されている制御プログラムをＣＰＵ４０１において実行することにより、図５に示されるように、センサ情報取得部４１１、特徴量抽出部４１２、状況特定部４１３、学習モデル生成部４１４、学習モデル選択部４１５、感情推定部４１６、認識情報送信部４１７、学習モデル記憶部４１８として機能する。
【００５２】
センサ情報取得部４１１は、対話型ロボット２０や環境センサ３０から送信されてきた利用者７０の外面情報、および利用者７０に装着された生体センサ８０から送信されてきた利用者７０の生体情報を受信してメモリ４０２に記憶する。
【００５３】
特徴量抽出部４１２は、センサ情報取得部４１１によって取得された外面情報、生体情報から利用者７０の感情を判定する際に必要となる特徴およびその特徴量を抽出する。この特徴は大量の外面情報および生体情報をセンサ情報取得部４１１によって取得し、機械学習により抽出してもよいし、制御サーバ４０の管理者によって特定されてもよい。例えば、特徴には、利用者７０の表情、特に、平常時に対する口角の変異や単位時間当たりの変動、利用者７０の平常時に対する声の高さの変異や単位時間当たりの変動、利用者７０の平常時に対する皮膚電位の変異や単位時間当たりの変動、平常時に対する心拍数の変異や単位時間当たりの変動が含まれ、特徴量はそれぞれの特徴を数値化したものである。
【００５４】
状況特定部４１３は、環境センサ３０によって検出される利用者７０の現在位置や、利用者７０が現在置かれている状況についての情報、対話型ロボット２０の現在位置検出装置２１９によって取得された利用者７０の現在位置についての情報に基づいて、利用者７０の置かれている状況、例えば、会議中、オフィスでの雑談、通路で立ち話等を特定する。そして、特定した状況が公的な状況、又は緊張を引き起こしやすい状況か、それとも私的な状況、又はくつろぎやすい状況かのいずれに該当するかといった判断を行うようにしても良い。さらに、状況特定部４１３は、利用者７０の本来の性格について、感情が表情や動作に出やすいタイプなのか、それとも感情が表情や動作に出にくいタイプなのかを判断する。
【００５５】
学習モデル生成部４１４は、センサ情報取得部４１１から利用者７０についての外面情報、生体情報を大量に取得し、機械学習を行うことにより特徴量抽出部４１２において抽出された特徴に応じてそれぞれの感情に特有の学習モデルを生成する。ここで、学習モデルとは、少なくとも２つの特徴量によって定まる値を複数含んで構成される特定の領域とある特定の感情とを関連付けて定義したものである。さらに、学習モデルは、少なくとも２つの特徴量で定まるある値が入力された場合に、その値が上記特定の領域に含まれるか否かを判断することにより、その値が上記特定の感情に当てはまるか否かを判定し出力する処理をも含むものとする。例えば、利用者７０の外面情報に基づく一つの特徴量を横軸にとり、利用者７０の生体情報に基づく一つの特徴量を縦軸にとることで表される２次元平面において、ある関数曲線で特定される領域内に、センサ情報取得部４１１によって取得されたある特徴量が存在する場合に利用者７０は所定の感情であると定義する。感情の定義付けは教師データを用いた機械学習により行ってもよいし、それ以外の方法で行ってもよい。また、ある関数曲線で特定される領域に一意の感情が定義されるまで機械学習を行うようにしてもよい。生成された学習モデルは、学習モデル記憶部４１８に記憶される。学習モデル生成部４１４は、状況特定部４１３によって特定された利用者７０の状況毎に異なる学習モデルを生成してもよい。また、利用者７０毎に異なる学習モデルを生成してもよい。もちろん、利用者７０毎、かつ、利用者７０の状況毎に異なる学習モデルを生成してもよい。
【００５６】
学習モデル選択部４１５は、状況特定部４１３において特定された利用者７０の現在の状況に応じて、学習モデル記憶部４１８を参照し、適用する学習モデルを選択する。
【００５７】
感情推定部４１６は、センサ情報取得部４１１により取得した利用者７０の外面情報、生体情報に基づいて、外面情報に対する重み付けと生体情報に対する重み付けと、を、状況特定部４１３において特定された利用者７０の現在の状況に応じて変化させるとともに、学習モデル選択部４１５によって選択された学習モデルを適用し、利用者７０の現在の感情を推定する。
【００５８】
認識情報送信部４１７は、感情推定部４１６において推定された利用者７０の感情を、アクセスポイント６０を介して対話型ロボット２０に送信する。学習モデル記憶部４１８は、学習モデル生成部４１４において生成された利用者７０の状況毎の学習モデルを記憶する。
【００５９】
ここで、学習モデル生成部４１４において生成され、学習モデル記憶部４１８に記憶される学習モデルについて、図６、７を参照して説明する。図６は利用者７０の周囲の環境毎に生成される学習モデルの概念図である。図６に示される学習モデルは、横軸を外面情報の特徴量Ｅで表し、縦軸を生体情報の特徴量Ｉで表している。外面情報を構成する特徴は、実際には表情、声の高さ等複数の要素で構成され、生体情報を構成する特徴は皮膚電位、心拍数等複数の複数の要素で構成されている。したがって、学習モデルは、実際には図６に示すように２次元の図では表すことはできないが、本実施形態においては、説明を簡単に行うため、簡易的に２次元の図で表現している。
【００６０】
図６の学習モデルにおいて、例えば、第１の領域６０１は「積極的」、第２の領域６０２は「普通」、第３の領域６０３は「消極的」とそれぞれ定義されている。ここで、外面情報の特徴量の値がＥ１、生体情報の特徴量の値Ｉ１が学習モデルに入力されると、外面情報の特徴量の値、および生体情報の特徴量の値で構成されるベクトル量で表される利用者７０の感情Ｐ１は第１の領域６０１内に含まれるから、利用者７０の感情は「積極的」であることが推定される。同様に、外面情報の特徴量の値Ｅ２、生体情報の特徴量の値Ｉ２が学習モデルに入力された場合、利用者７０の感情は「普通」であることが推定され、外面情報の特徴量の値Ｅ３、生体情報の特徴量の値Ｉ３が学習モデルに入力された場合には、利用者７０の感情は「消極的」であることが推定される。また、図６の学習モデルにおける領域６０１〜６０３は、それぞれ学習モデル生成部４１４にて生成されるある関数曲線で特定される領域に対応する。当該領域に一意の感情が定義されるまで機械学習が行われた場合等は、領域６０１〜６０３は、外面情報に基づく軸と、利用者７０の生体情報に基づく軸とで表される２次元平面において、図６に示すようにそれぞれが重ならないものとなる。それぞれの領域が重なっていないため、外面情報と利用者７０の生体情報の入力に対して、予め定義された感情が一意に特定されることになる。
【００６１】
なお、図６の学習モデルは利用者７０の周囲の環境毎に生成され、上述の学習モデル選択部４１５が、利用者７０の周囲の環境に応じて、外面情報の特徴量の値、生体情報の特徴量の値を入力する学習モデルを選択する。
【００６２】
図７は利用者７０の外面情報、生体情報、および環境情報を入力とした場合の学習モデルの概念図である。図７の学習モデルは、図６で説明した２次元で表される学習モデルに対して利用者７０の周囲の環境情報の特徴量の値を第３軸として追加することにより、３次元の空間で表現したものである。この学習モデルにおいては、外面情報の特徴量Ｅ、生体情報の特徴量Ｉ、および環境情報の特徴量Ａで表される３次元空間の所定領域がそれぞれ「積極的」、「普通」、「消極的」と定義されている。感情推定部４１６により、外面情報の特徴量の値、生体所法の特徴量の値、環境情報の特徴量の値（例えばＥ１、Ｉ１、Ａ１）がそれぞれ学習モデルに入力されると、それらの値で構成されるベクトル量Ｐ１で表される利用者７０の感情がどの領域に該当するかが判断され、該当する感情が出力される。
【００６３】
次に、図８を参照して、感情推定システム１０における学習モデルの生成処理について説明する。図８は、実施形態の感情推定システム１０における学習モデルの作成処理の流れを示すフローチャートである。ステップＳ８０１において、対話型ロボット２０のマイクロフォン２１６は利用者７０の音声を検出し、検出された音声データをセンサ情報送信部２２１により制御サーバ４０に送信する。制御サーバ４０に送信する音声データは、利用者７０の音声をサンプリングしてデジタル信号化したデータであってもよいし、音声の高さや言葉の速さに関するデータであってもよい。制御サーバ４０のセンサ情報取得部４１１は、対話型ロボット２０から受信した音声データをメモリ４０２に記憶し、ステップＳ８０３に進む。
【００６４】
ステップＳ８０１と並行して行われるステップＳ８０２において、対話型ロボット２０のカメラ２１５は利用者７０の表情、挙動を撮影し、撮影されたデータをセンサ情報送信部２２１により制御サーバ４０に送信する。制御サーバ４０に送信する撮影データは、利用者７０の顔画像や身体画像であってもよいし、顔画像を解析して得られる情報、例えば、口角の変化や、眉の角度についての情報であってもよい。対話型ロボット２０のカメラ２１５に加えて、環境センサ３０において利用者７０の表情、挙動を撮影し、撮影されたデータを制御サーバ４０に送信してもよい。制御サーバ４０のセンサ情報取得部４１１は、対話型ロボット２０および環境センサ３０から受信した画像データをメモリ４０２に記憶し、ステップＳ８０３に進む。
【００６５】
ステップＳ８０３において、制御サーバ４０の特徴量抽出部４１２は、センサ情報取得部４１１によって取得された外面情報、つまり、対話型ロボット２０および環境センサ３０によって撮影された利用者７０の表情、挙動についてのデータ、対話型ロボット２０によって検出された利用者７０の音声データから、利用者７０の感情を判定するための特徴を抽出する。この特徴は、大量の外面情報を取得し、機械学習によって抽出してもよいし、制御サーバ４０の管理者によって人為的に決定してもよい。抽出される外面情報の特徴は、例えば、平常時に対する口角の変異や単位時間当たりの変動、利用者７０の平常時に対する声の高さの変異や単位時間当たりの変動である。処理は続くステップＳ８０６に進む。
【００６６】
ステップＳ８０１〜Ｓ８０３と並行して行われるステップＳ８０４において、利用者７０に装着されている生体センサ８０は、利用者７０の生体情報を検出する。生体情報は、例えば、利用者７０の皮膚抵抗値、心拍数、体温である。検出された生体情報は、制御サーバ４０に送信される。制御サーバ４０のセンサ情報取得部４１１は、生体センサ８０から受信した音声データをメモリ４０２に記憶し、ステップＳ８０５に進む。
【００６７】
ステップＳ８０５において、制御サーバ４０の特徴量抽出部４１２は、センサ情報取得部４１１によって取得された生体情報、つまり、生体センサ８０によって検出された利用者７０の皮膚抵抗値、心拍数、体温等の生体データから、利用者７０の感情を判定するための特徴を抽出する。この特徴は、大量の生体情報を取得し、機械学習によって抽出してもよいし、制御サーバ４０の管理者によって人為的に決定してもよい。抽出される生体情報の特徴は、例えば、平常に対する皮膚抵抗値の変化、平常時に対する心拍数の変化等である。処理は続くステップＳ８０６に進む。
【００６８】
ステップＳ８０６において、制御サーバ４０の学習モデル生成部４１４は、センサ情報取得部４１１から利用者７０についての外面情報、生体情報を大量に取得し、機械学習を行うことにより特徴量抽出部４１２において抽出された特徴に応じてそれぞれの感情に特有の学習モデルを生成し、生成された学習モデルを、学習モデル記憶部４１８に記憶し、処理を終了する。学習モデル生成部４１４は、状況特定部４１３によって特定された利用者７０の状況毎に異なる学習モデルを生成してもよい。
【００６９】
次に、図９を参照し、本実施形態の感情推定システム１０における利用者７０の感情推定処理の一例について説明する。図９は、実施形態の感情推定システム１０における感情推定処理の一例を示すフローチャートである。ステップＳ９０１において、対話型ロボット２０のマイクロフォン２１６は利用者７０の音声を検出し、検出した音声データをセンサ情報送信部２２１により制御サーバ４０に送信する。制御サーバ４０のセンサ情報取得部４１１は、受信した音声データをメモリ４０２に記憶し、ステップＳ９０６に進む。
【００７０】
ステップＳ９０１と並行して行われるステップＳ９０２において、対話型ロボット２０のカメラ２１５は利用者７０の表情、挙動を撮影し、撮影したデータをセンサ情報送信部２２１により制御サーバ４０に送信する。制御サーバ４０のセンサ情報取得部４１１は、受信した画像データをメモリ４０２に記憶し、ステップＳ９０６に進む。
【００７１】
ステップＳ９０１、およびステップＳ９０２と並行して行われるステップＳ９０３において、利用者７０に装着された生体センサ８０は、利用者７０の生体情報を検出する。生体情報は、例えば、利用者７０の皮膚抵抗値、心拍数、体温である。検出された生体情報は制御サーバ４０に送信される。制御サーバ４０のセンサ情報取得部４１１は、受信した生体情報をメモリ４０２に記憶し、ステップＳ９０７に進む。
【００７２】
ステップＳ９０１〜Ｓ９０３と並行して行われるステップＳ９０４において、環境センサ３０は、利用者７０が存在する状況についての情報を検出し、その情報を制御サーバ４０に送信する。ステップＳ９０５において、制御サーバ４０の状況特定部４１３は、センサ情報取得部４１１において取得した、利用者７０が存在する状況についての情報に基づいて、利用者７０が誰であるか、また利用者７０が置かれている状況を特定し、続くステップＳ９０６、Ｓ９０７に進む。利用者７０が誰であるか、例えば、利用者７０の名前、会社内でのＩＤや役職等は、各利用者の情報が格納されているサーバへ問い合わせることにより特定される。また、利用者７０の性格のタイプ等が特定されるようにしてもよい。例えば、感情が表情や動作に表れやすいタイプなのか、表れにくいタイプなのか等が特定されるようにしてもよい。利用者７０が置かれている状況は、例えば、公的な状況（複数人と会話している状況、会議に参加している状況等）、私的な状況（ロボット以外に、室内や近くには当該利用者しかいない状況等）、緊張を引き起こしやすい状況（会社組織において役職が利用者７０よりも上の者と会話している状況等）、又はくつろぎやすい状況（利用者７０が物を食べている状況等）等がある。
【００７３】
これらの状況について、予め状況毎にそれを満たす条件をテーブルとして記憶装置４０３に記憶しておき、これを参照することによって利用者７０の置かれている状況を特定する。例えば、「利用者７０が複数人と会話している」、又は「会議に参加している」という条件を「公的な状況」と対応づけてテーブルとして記憶しておく。「室内に人がいない」、又は「予め定めた距離（例えば、半径５ｍ等）以内に人がいない」という条件を「私的な状況」と対応づけてテーブルとして記憶しておく。「利用者７０よりも会社組織の役職が上の者と会話している」という条件を「緊張を引き起こしやすい状況」と対応づけてテーブルとして記憶しておく。また、「利用者７０が物を食べている」又は「利用者７０が飲み物を飲んでいる」という条件を「くつろぎやすい状況」と対応づけてテーブルとして管理しておく。
【００７４】
そして、状況特定部４１３は、センサ情報取得部から得られた情報に基づいて、上記テーブルの条件のいずれの条件に該当するかを判断し、該当すると判断された条件に対応する状況を、利用者７０が置かれている状況であると特定する。上記テーブルの条件のいずれの条件に該当するかの判断においては、センサ情報取得部４１１から、利用者７０が会話をしている人数、会話している相手（役職、性別、年齢、又は名前等）、利用者７０の動作（飲み物を飲んでいる、物を食べている）を示す情報等をさらに取得し、これらを用いて判断するようにしても良い。なお、会話をしている相手の個人に関する情報は例えば、次のようにして入手する。センサ情報取得部４１１から得られた相手の顔に関する情報に基づいて顔認証を行うことで個人を特定し、当該個人について予め記憶装置４０３に記憶されている情報を取得するようにする。
【００７５】
ステップＳ９０６において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の音声データ、および利用者７０の表情や挙動の画像データに基づいて外面特徴量の値を算出する。この際、感情推定部４１６は、算出された外面特徴量の値に対し、上記ステップＳ９０５で特定された利用者７０の置かれている状況に応じた重み付けを付与し、ステップＳ９０８に進む。なお、算出される外面特徴量は一つの外面特徴で決まる一つの値であってもよいし、複数の外面特徴で決まる複数の値であってもよい。
【００７６】
ステップＳ９０６と並行して行われるステップＳ９０７において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の生体情報に基づいて生体特徴量の値を算出する。この際、感情推定部４１６は、算出された生体特徴量の値に対し、上記ステップＳ９０５で推定された利用者の置かれている状況に応じた重み付けを付与し、ステップＳ９０８に進む。なお、算出する生体特徴量は一つの生体特徴で決まる一つの値であってもよいし、複数の生体特徴で決まる複数の値であってもよい。なお、上記ステップＳ９０６、Ｓ９０７でそれぞれ外面特徴量の値、生体特徴量の値に対して付与される重み付けについては、例えば、公的な状況、又は緊張を引き起こしやすい状況では生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも大きくなるようにする。逆に、私的な状況、又はくつろぎやすい状況では生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも小さくなるようにする。
【００７７】
別な例としては、利用者７０のおかれている状況が会議中であると特定された場合は、生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも大きくなるようにする。逆に、利用者７０のおかれている状況がオフィスでの雑談、又は通路での立ち話であると特定された場合では、生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも小さくなるようにする。
【００７８】
また、感情推定部４１６は、特定された利用者７０の性格のタイプに応じて、外面特徴量の値、生体特徴量の値に対して付与される重み付けを変えるようにしてもよい。例えば、利用者７０が、感情が表情又は動作に表れにくいタイプであると特定された場合には生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも大きくなるようにする。逆に、利用者７０が、感情が表情又は動作に表れにくいタイプであると特定された場合には生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも小さくなるようにする。
【００７９】
ステップＳ９０８において、感情推定部４１６は、上記ステップＳ９０６、Ｓ９０７で算出された外面特徴量の値、生体特徴量の値を学習モデル記憶部４１８に記憶された学習モデルに入力する。そして、ステップＳ９０９において、感情推定部４１６は、学習モデルから出力された感情を利用者の感情として推定する。推定された感情は、認識情報送信部４１７により対話型ロボット２０に送信される。対話型ロボット２０の認識情報受信部２２４は制御サーバ４０から送信されてきた利用者７０の感情についての情報を受信し、対話制御部２２２がその感情に合わせて対話内容や対話方法を変化させ、利用者７０との対話を行い、処理を終了する。
【００８０】
次に図１０を参照し、本実施形態の感情推定システム１０における利用者７０の感情推定処理の他の一例について説明する。図１０は、実施形態の感情推定システム１０における感情推定処理の他の一例を示すフローチャートである。なお、図１０の感情推定処理におけるステップＳ１００１〜Ｓ１００５までの処理は、図９の感情推定処理におけるステップＳ９０１〜Ｓ９０５までの処理と同一であるので、説明を省略する。
【００８１】
ステップＳ１００６において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の音声データ、および利用者７０の表情や挙動の画像データに基づいて外面特徴量の値を算出する。なお、算出される外面特徴量は一つの外面特徴で決まる一つの値であってもよいし、複数の外面特徴で決まる複数の値であってもよい。処理は続くステップＳ１００９に進む。
【００８２】
ステップＳ１００６と並行して行われるステップＳ１００７において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の生体情報に基づいて生体特徴量の値を算出する。なお、算出される生体特徴量は一つの生体特徴で決まる一つの値であってもよいし、複数の生体特徴で決まる複数の値であってもよい。処理は続くステップＳ１００９に進む。
【００８３】
また、ステップＳ１００５の処理に続くステップＳ１００８において、学習モデル選択部４１５は、上記ステップＳ１００５において推定された利用者７０の置かれている状況、利用者７０毎、又は利用者７０の性格のタイプ等に応じて使用する学習モデルを、学習モデル記憶部４１８に記憶されている複数の学習モデルの中から選択し、ステップＳ１００９に進む。
【００８４】
ステップＳ１００９において、感情推定部４１６は、上記ステップＳ１００６、Ｓ７０７で算出された外面特徴量の値、生体特徴量の値を学習モデル記憶部４１８に記憶された学習モデルに入力する。
【００８５】
ステップＳ１０１０において、感情推定部４１６は、学習モデルから出力された感情を利用者の感情として推定する。推定された感情は、認識情報送信部４１７により対話型ロボット２０に送信される。対話型ロボット２０の認識情報受信部２２４は制御サーバ４０から送信されてきた利用者７０の感情についての情報を受信し、対話制御部２２２がその感情に合わせて対話内容や対話方法を変化させ、利用者７０との対話を行い、処理を終了する。
【００８６】
なお、上記の例においては、外面情報、生体情報それぞれの特徴量の値を算出し、それぞれの値に対して利用者７０の置かれた状況に応じた重み付けを付与した場合、或いは利用者７０の置かれた状況に応じた学習モデルを適用した場合について説明したが、本発明は、外面情報、生体情報に加えて、環境情報、つまり利用者７０の置かれた状況対してそれぞれ特徴量の値を求め、これら３つの要素に対応するベクトル値を算出し、所定の学習モデルを適用し、学習モデルにおけるベクトル値が該当する利用者７０の感情を推定するようにしてもよい。この場合の処理の流れを、図１１を参照して説明する。図１１は、実施形態の感情推定システム１０における感情推定処理の他の一例を示すフローチャートである。
【００８７】
図１１の感情推定処理におけるステップＳ１１０１〜Ｓ１１０４までの処理は、図９の感情推定処理におけるステップＳ９０１〜Ｓ９０４までの処理と同一であるので、説明を省略する。ステップＳ１１０５において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の音声データ、および利用者７０の表情や挙動の画像データに基づいて外面特徴量の値を算出し、ステップＳ１１０８に進む。ステップＳ１１０５と並行して行われるステップＳ１１０６において、制御サーバの感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の生体情報に基づいて生体特徴量の値を算出し、ステップＳ１１０８に進む。
【００８８】
ステップＳ１１０５、Ｓ１１０６と並行して行われるステップＳ１１０７において、制御サーバ４０の状況特定部４１３は、センサ情報取得部４１１において取得した、利用者７０の周囲の環境情報に基づいて環境特徴量の値を算出し、ステップＳ１１０８に進む。ステップＳ１１０８において、感情推定部４１６は、上記ステップＳ１１０５〜Ｓ１１０７で算出された外面特徴量の値、生体特徴量の値、および環境特徴量の値を学習モデル記憶部４１８に記憶された学習モデルに入力する。そして、ステップＳ１１０９において、感情推定部４１６は、学習モデルから出力された感情を利用者の感情として推定する。推定された感情は、認識情報送信部４１７により対話型ロボット２０に送信される。対話型ロボット２０の認識情報受信部２２４は、制御サーバ４０から送信されてきた利用者７０の感情についての情報を受信し、対話制御部２２２がその感情に合わせて対話内容や対話方法を変化させ、利用者７０との対話を行い、処理を終了する。
【００８９】
なお、上記の例において使用する学習モデルは、図７に示すような外面情報の特徴量、生体情報の特徴量、および環境情報の特徴量を入力した際に、利用者７０の感情を出力するものを使用する。
【００９０】
［変形例］
以上、上記の例においては、制御サーバ４０において利用者７０の感情を推定する例を説明したが、本発明は制御サーバ４０が利用者７０の感情を推定する方法に限定されず、本実施形態の各構成要素を対話型ロボット２０が備えるように構成することによって対話型ロボット２０が利用者７０の感情を推定するように構成してもよい。
【００９１】
その場合、対話型ロボット２０は、利用者７０の場所まで移動し、カメラ２１５によって撮影した利用者７０の画像、およびマイクロフォン２１６によって検出した利用者７０の音声に基づいて利用者７０についての生体情報と外面情報とを取得する。生体情報は、例えば、利用者７０の心拍数、体温についての情報が含まれ、外面情報は、例えば、利用者７０の表情についての情報が含まれる。さらに、対話型ロボット２０は、利用者７０が存在する状況についての情報を、移動先付近に設置されている環境センサ３０から取得する。
【００９２】
その際、対話型ロボット２０は、環境センサ３０から利用者７０が存在する状況についての情報を取得するために、例えば、対話型ロボット２０の現在位置検出装置２１９によって検出された対話型ロボット２０の移動先の位置情報を制御サーバ４０に送信し、その位置情報に該当する環境センサ３０が検出した情報を、対話型ロボット２０に送り返すような構成としてもよい。制御サーバ４０において当該位置情報に該当する情報が取得されていない場合、制御サーバ４０は、当該位置情報によって特定される位置の近くに存在する環境センサ３０を駆動し（つまり、環境情報を取得するように指示し）、環境センサ３０に利用者７０が存在する状況についての情報を検出させる。検出された情報は制御サーバ４０により取得された後、対話型ロボット２０に送信される。
【００９３】
対話型ロボット２０は、取得した外面情報に基づいて外面特徴量の値を算出し、また、取得した生体情報に基づいて生体特徴量の値を算出し、それぞれの値に対して利用者７０が存在する状況についての情報に基づいて重み付けを付与し、学習モデルに入力することにより、利用者７０の感情を推定する。或いは、利用者７０が存在する状況についての情報に基づいて、適用する学習モデルを選択し、選択された学習モデルに外面特徴量の値、および生体特徴量の値を入力することにより、利用者７０の感情を推定する。或いは、利用者７０が存在する状況についての情報に基づいて環境情報に基づく特徴量の値を算出し、算出された値と、外面特徴量の値、および生体特徴量の値を学習モデルに入力することにより、利用者７０の感情を推定する。
【符号の説明】
【００９４】
１０    感情推定システム
２０    対話型ロボット
３０    環境センサ
４０    制御サーバ
５０    ネットワーク
６０    アクセスポイント
７０    利用者
８０    生体センサ
１００    ワークプレイス
２１１    制御用マイクロプロセッサ
２１２    メモリ
２１３    記憶装置
２１４    通信インタフェース
２１５    カメラ
２１６    マイクロフォン
２１７    スピーカ
２１８    モータ
２１９    現在位置検出装置
２２０    制御バス
２２１    センサ情報送信部
２２２    対話制御部
２２３    移動制御部
２２４    認識情報受信部
４０１    ＣＰＵ
４０２    メモリ
４０３    記憶装置
４０４    通信インタフェース
４０５    ユーザインタフェース
４０６    制御バス
４１１    センサ情報取得部
４１２    特徴量抽出部
４１３    状況特定部
４１４    学習モデル生成部
４１５    学習モデル選択部
４１６    感情推定部
４１７    認識情報送信部
４１８    学習モデル記憶部
【図１】
2018072876.tif 000003
【図２】
2018072876.tif 000004
【図３】
2018072876.tif 000005
【図４】
2018072876.tif 000006
【図５】
2018072876.tif 000007
【図６】
2018072876.tif 000008
【図７】
2018072876.tif 000009
【図８】
2018072876.tif 000010
【図９】
2018072876.tif 000011
【図１０】
2018072876.tif 000012
【図１１】
2018072876.tif 000013