(57)【要約】【課題】１種類の尺度による感情の推定では分類できない複雑な感情も扱うことができる感情推定装置、感情推定方法およびプログラムを提供する。【解決手段】カメラ１１は、被験者の画像を撮影する。表情認識部１２は、カメラ１１が撮影した被験者の画像から表情認識を行うことで被験者の感情推定を行う。生体情報取得部１３は、生体センサ２から被験者の体温や心拍数、脳波などの生体情報を取得する。生体情報分析部１４は、生体情報取得部１３が取得した被験者の生体情報を分析することで被験者の感情推定を行う。推定結果調整部１６は、係数取得部１５から受け取ったユーザが入力した重み付け係数に基づいて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせた調整感情推定結果を算出する。推定結果出力部１７は、推定結果調整部１６が算出した調整感情推定結果を出力する。【選択図】図１
2012059107.tif 000002
【特許請求の範囲】
【請求項１】
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する推定手段と、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得手段と、
前記重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整手段と、
前記調整手段が算出した前記調整感情推定結果を出力する出力手段と、
を備えることを特徴とする感情推定装置。
【請求項２】
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが前記所定の条件に適合する場合に、当該適合する情報に基づいて前記被験者の感情を推定する手段で感情を推定した前記感情推定結果を選択する選択手段と、をさらに備え、
前記出力手段は、前記選択手段が選択した前記感情推定結果を出力することを特徴とする請求項１に記載の感情推定装置。
【請求項３】
前記選択手段は、前記所定の条件に適合しない情報に基づいて前記被験者の感情を推定する手段で感情を推定した前記感情推定結果を除外することを特徴とする請求項２に記載の感情推定装置。
【請求項４】
前記ユーザが入力した前記感情推定結果の選択条件を取得する第３取得手段をさらに備え、
前記選択手段は、前記選択条件に基づいて前記感情推定結果を選択することを特徴とする請求項２または３に記載の感情推定装置。
【請求項５】
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定手段と、をさらに備え、
前記調整手段は、前記判定手段の判断に基づいて前記感情推定結果を組み合わせる重み付け係数を決定し、当該重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出することを特徴とする請求項１に記載の感情推定装置。
【請求項６】
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を備えることを特徴とする感情推定方法。
【請求項７】
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得ステップと、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定ステップと、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが前記所定の条件に適合する場合に、当該適合する情報に基づいて前記被験者の感情を推定する手段が感情を推定した前記感情推定結果を選択する選択ステップと、をさらに備え、
前記出力ステップでは、前記選択ステップが選択した前記感情推定結果を出力することを特徴とする請求項６に記載の感情推定方法。
【請求項８】
前記選択ステップでは、前記所定の条件に適合しない情報に基づいて前記被験者の感情を推定する手段が感情を推定した前記感情推定結果を除外することを特徴とする請求項７に記載の感情推定方法。
【請求項９】
前記ユーザが入力した前記感情推定結果の選択条件を取得する第３取得ステップをさらに備え、
前記選択ステップでは、前記選択条件に基づいて前記感情推定結果を選択することを特徴とする請求項７または８に記載の感情推定方法。
【請求項１０】
コンピュータに、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は被験者の感情を推定する技術に関する。
【背景技術】
【０００２】
被験者の状態から、被験者の感情を推定する技術が存在する。
【０００３】
たとえば、特許文献１は、不特定人物の表情を認識してその人物の感情を推定する感情推定装置を開示している。特許文献１の技術では、所定の感情に関連付けられた特定人物の表情画像を学習することによりニューラルネットワークによる表情マップを生成し、生成した特定人物のそれぞれに対応する表情マップを所定の感情に基づいて複数の領域に区分する。そして、不特定人物の表情画像と区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する。また、複数の表情マップのそれぞれで対応する領域を共通化し、不特定人物の表情画像と共通化された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する。
【０００４】
特許文献２は、適正でかつ使用されている時間が長くなればなるほど正しい判断ができ、かつ、患者の状態に応じた正確な感情判断を可能にした生体情報に基づく感情認識システムを開示している。特許文献２の技術では、患者の身体に着脱が可能なセンサを用いて、当該患者の身体から発せられる生体信号を取り込み、ファジー関数処理を行うことによって当該生体の現在の感情を認識させてその認識結果を出力する。
【０００５】
特許文献３は、ユーザの感情状態をより精度良く推定する感情推定装置を開示している。特許文献３の技術では、音声入力装置により、ユーザからの入力となる入力文を示す入力文データを取得し、取得した入力文と、ハードディスクに予め記憶された所定の事例を示す文と当該文により示される感情状態を示す感情状態情報を各々対応付けた事例感情情報の各事例を示す文との類似度を導出し、導出された類似度に基づいてユーザの感情状態を推定する。
【０００６】
特許文献４は、ユーザの感情の状態によって、バリエーションに富んだ対話を行う対話処理装置を開示している。特許文献４の技術では、ユーザからの音声を認識してその音声の韻律情報を抽出し、音声認識結果に含まれる語句の概念情報を抽出する。また、ユーザの顔を撮像して顔画像情報を出力し、ユーザの脈拍数等の生理情報を感知する。そして、上述の韻律情報や、概念情報、顔画像情報、生理情報に基づいて、ユーザの感情を推定し、その感情の推定結果に基づいて、ユーザに出力する出力文を生成する。
【０００７】
特許文献５は、利用者の発話単語が音声認識辞書にとって未登録語であるのか否か、また、認識誤りのため再発話するべきであるのか否かを、利用者に判り易く提示することができる音声認識装置を開示している。特許文献５の技術では、複数の未登録語検出のための尺度を統計的に組み合わせて判定することで、未登録語の判定精度を向上させる。
【０００８】
特許文献６は、入力された文から感情および感情極性を推定する際に、複数の方法による推定結果を精度よく統合して誤りを削減する感情推定装置およびプグラムを開示している。特許文献６の技術では、辞書およびルールベースの判定結果と学習ベースの判定結果を、統合ルールに基づいて統合して感情を決定する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１４６３１８号公報
【特許文献２】特開２００６−１３０１２１号公報
【特許文献３】特開２００９−１２９４０５号公報
【特許文献４】特開２００１−２１５９９３号公報
【特許文献５】国際公開第２００５／１２２１４４号
【特許文献６】特開２０１０−０２０３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
関連する技術は、１種類の観点によって感情の推定を行うので複雑な感情の分類ができないという問題点がある。
【００１１】
特許文献１のような対象者の表情を認識することで対象者の感情を推定する技術の問題点は、明るさが不十分な状況などの画像処理に問題が出る状況において、画像認識の技術を用いている表情認識の精度が低下してしまうため、感情推定の精度が低下してしまうことである。
【００１２】
特許文献２のような対象者の生体情報を分析することで対象者の感情を推定する技術の問題点は、対象者の発汗の激しい状況や対象者の病気などで一時的に生体情報が変動している状況では、感情以外の要因による影響が生体情報に大きく現れており、生体情報を基にした感情の推定が困難になってしまうため感情推定の精度が低下してしまうことである。
【００１３】
特許文献３のような対象者の音声を分析することで対象者の感情を推定する技術の問題点は、雑音が発生している状況などの音声収録に問題が出る状況においては、分析に用いる音声の質が低下し、正確な音声の分析ができなくなってしまうため、感情推定の精度が低下してしまうことである。
【００１４】
また、複数の情報を組み合わせて感情を推定する技術であっても、単純な感情モデルで感情の推定を行うので上記の問題点と同様に複雑な感情の分類ができないという問題点がある。たとえば、特許文献４に記載の技術は表情データと音声データと生体情報を組み合わせて、「悲しい」「怒っている」などのいくつかの感情に分類する技術だが、悲しみや怒りの度合いといった細かな感情情報の推定や「悲しみながら怒っている」という複数の感情が複合した感情状態の推定が不可能である。
【００１５】
特許文献５に記載の技術は、感情の推定を行うものではない。
【００１６】
特許文献６に記載の技術は、画像、生体情報および音声などの複数の観点から感情の推定を行うものではない。
【００１７】
本発明は、上述のような事情に鑑みてなされたものであり、１種類の尺度による感情の推定では分類できない複雑な感情も扱うことができる感情推定装置、感情推定方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の第１の観点に係る感情推定装置は、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する推定手段と、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得手段と、
前記重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整手段と、
前記調整手段が算出した前記調整感情推定結果を出力する出力手段と、
を備えることを特徴とする。
【００１９】
本発明の第２の観点に係る感情推定方法は、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を備えることを特徴とする。
【００２０】
本発明の第３の観点に係るプログラムは、コンピュータに、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を実行させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、２種類以上の観点の感情推定結果を用いることで、１種類の尺度による感情の推定では分類できない複雑な感情も扱うことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１に係る感情推定装置の構成例を示すブロック図である。
【図２】実施の形態１に係る感情推定装置をロボットに適用した例を示す図である。
【図３】実施の形態１に係る感情推定の動作の一例を示すフローチャートである。
【図４】本発明の実施の形態２に係る感情推定装置の構成例を示すブロック図である。
【図５】実施の形態２に係る感情推定装置をロボットに適用した例を示す図である。
【図６】実施の形態２に係る感情推定の動作の一例を示すフローチャートである。
【図７】本発明の実施の形態３に係る感情推定装置の構成例を示すブロック図である。
【図８】実施の形態３に係る感情推定装置をＰＣに適用した例を示す図である。
【図９】実施の形態３に係る感情推定の動作の一例を示すフローチャートである。
【図１０】本発明の実施の形態に係る感情推定装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２３】
本発明において、被験者とは、感情を推定する対象であって、感情推定装置を備えるロボットやＰＣに対し、対話や操作を行う人物である。ユーザとは、被験者の感情を推定するために感情推定装置を利用する人物であって、感情推定装置が出力する被験者の感情の推定結果を取得したり、感情推定装置に設定を入力したりする。重み付け係数とは、複数の感情推定結果を組み合わせる際に、感情推定結果の値にかける係数や優先順位を示す情報である。
【００２４】
以下に、発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１に係る感情推定装置の構成例を示すブロック図である。感情推定装置１は、カメラ１１、表情認識部１２、生体情報取得部１３、生体情報分析部１４、係数取得部１５、推定結果調整部１６および推定結果出力部１７を備える。
【００２６】
カメラ１１は、被験者Ｅの画像を撮影して表情認識部１２に送る。
【００２７】
表情認識部１２は、カメラ１１から受け取った被験者Ｅの画像から表情認識を行うことで被験者Ｅの感情推定を行い、推定結果を推定結果調整部１６に送る。表情認識による感情推定は、被験者Ｅの表情や顔色、視線の動きなどに基づいて行う。
【００２８】
生体情報取得部１３は、被験者Ｅに装着された生体センサ２から被験者Ｅの体温や心拍数、脳波などの生体情報を取得して生体情報分析部１４に送る。
【００２９】
生体情報分析部１４は、生体情報取得部１３から受け取った被験者Ｅの生体情報を分析することで被験者Ｅの感情推定を行い、推定結果を推定結果調整部１６に送る。
【００３０】
係数取得部１５は、ユーザからの入力を受け付けて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせる際の重み付け係数を推定結果調整部１６に送る。
【００３１】
推定結果調整部１６は、係数取得部１５から受け取った重み付け係数に基づいて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせた調整感情推定結果を算出し、推定結果出力部１７に送る。
【００３２】
推定結果出力部１７は、推定結果調整部１６から受け取った調整感情推定結果を出力する。
【００３３】
生体センサ２は、被験者Ｅの体温や心拍数、脳波などの生体情報を検出して生体情報取得部１３に送る。生体センサ２は、被験者Ｅが装着する装着型であってもよいし、感情推定装置１の周囲に設置する形式のものであってもよい。非接触の方法の場合、たとえば、レーザによる心拍検出、赤外線カメラ等による体温検出を行う。
【００３４】
図２は、実施の形態１に係る感情推定装置をロボットに適用した例を示す図である。図２の例では、カメラ１１はロボットに目として埋め込まれている。また、生体情報取得部１３は、生体情報の受信器であって、ロボットの体に埋め込まれている。表情認識部１２、生体情報分析部１４、係数取得部１５、推定結果調整部１６および推定結果出力部１７は、ロボットの内部に備える。
【００３５】
カメラ１１はロボット対話者（被験者Ｅ）の画像を撮影し、表情認識部１２に送る。表情認識部１２はカメラ１１から受け取った画像のロボット対話者の表情に基づいて、たとえば「好意・嫌悪」の度合いを推定し、推定結果を推定結果調整部１６に送る。生体センサ２はロボット対話者が身に付けることでロボット対話者の心拍数と体温とを検出するセンサであり、生体情報取得部１３に検出した生体情報を送信する。生体情報取得部１３は、生体センサ２から受信した生体情報を生体情報分析部１４に送る。生体情報分析部１４は生体情報取得部１３から受け取ったロボット対話者の心拍数と体温から、たとえば「興奮・沈静」の度合いを推定し、推定結果を推定結果調整部１６に送る。
【００３６】
ロボット設定者（ユーザ）は、ロボットとロボット対話者の対話開始前に、ロボットに備え付けられたスイッチで重み付け係数を入力する。係数取得部１５は、ロボット設定者が入力した重み付け係数を推定結果調整部１６に送る。推定結果調整部１６は、係数取得部１５から受け取った重み付け係数に基づいて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせた調整感情推定結果を算出し、推定結果出力部１７に送る。推定結果出力部１７は、推定結果調整部１６から受け取った調整推定結果をロボットを制御する制御部に出力する。
【００３７】
生体情報取得部１３が取得する生体情報の例としては、心拍数・脈拍、脳波・脳活動、体温、筋電位、瞬目頻度・速度、血圧、皮膚表面電気活動、分泌物内容物、瞳孔サイズなどが考えられる。表情認識部１２、生体情報分析部１４による感情の推定には、「興奮・沈静」などの２値分類する形式の他に、喜怒哀楽などの３種以上の感情へ分類する形式、感情を複数のパラメータで表現するモデルにおいてパラメータの値を推定する形式などが考えられる。
【００３８】
ユーザが入力する重み付け係数は、たとえば、以下のようなものがある。ユーザは、表情認識部１２および生体情報分析部１４についてどちらを優先させるかを判断し、優先させる方の値に重み付けを行う。推定結果調整部１６がこの方法を用いた場合の例を説明する。推定結果調整部１６は、「感情の種別：値」の形式の調整感情推定結果を算出することとする。また、推定結果調整部１６が係数取得部１５から受け取った重み付け係数によれば、ユーザは、表情認識部１２が出した感情推定結果の係数を「２」、生体情報分析部１４が出した感情推定結果の係数を「１」と設定していることとする。
【００３９】
表情認識部１２が出した感情推定結果が「悲しんでいる」で値が４０であって、生体情報分析部１４が出した感情推定結果が「怒っている」で値が３０であるとすると、推定結果調整部１６は、「悲しみ：４０  怒り：３０」という調整感情推定結果を算出する。表情認識部１２および生体情報分析部１４が出した感情推定結果の感情の種別が同一であった場合は、合算することとしてもよいし、平均をとることとしてもよい。
【００４０】
表情認識部１２および生体情報分析部１４は、複数の情報（表情・顔色・視線の動きや心拍数・脳波・体温など）に基づいてそれぞれ感情推定結果を出してもよい。この場合、ユーザは、各情報に基づく感情推定結果に優先順位を付け、優先順位に合わせて重み付けを行う。推定結果調整部１６は、感情推定結果の値にユーザが設定した重み付けを行い、組み合わせる。
【００４１】
推定結果出力部１７が、ディスプレイなどに調整推定結果を出力する場合、調整感情推定結果は単に「悲しんでいる」「喜んでいる」などの感情の種別を示す情報であってもよい。表情認識部１２および生体情報分析部１４が出した感情推定結果が感情の種別を示す情報である場合、推定結果調整部１６は、２つの推定結果の感情の種別が異なるときはユーザが設定した優先順位の高い方の感情の種別を示す言葉を後ろに付けて結合する。推定結果調整部１６がこの方法を用いた場合の例を説明する。推定結果調整部１６が係数取得部１５から受け取った重み付け係数によれば、ユーザは、表情認識部１２の優先順位を上に設定していることとする。
【００４２】
表情認識部１２が出した感情推定結果が「悲しんでいる」であって、生体情報分析部１４が出した感情推定結果が「怒っている」であったとすると、推定結果調整部１６は、「悲しみながら怒っている」という調整感情推定結果を算出する。あるいは、前述のように推定結果調整部１６が重み付けした結果が「悲しみ：４０  怒り：３０」であった場合、値の大きい方の感情の種別を示す言葉を後ろに付けて結合し、「怒りながら悲しんでいる」という調整感情推定結果を算出してもよい。
【００４３】
なお、これらの重み付けの方法は、２種類以上の感情推定結果を扱う場合でも同様である。
【００４４】
ロボットの制御部は、推定結果出力部１７から送られたロボット対話者の感情の調整推定結果に応じてロボットのロボット対話者に対する振る舞いを変える。このようなロボットの制御の例として、「喜びながら興奮している状態」ではロボット対話者がロボットとの対話で盛り上がっていると判断して現状と同様の振る舞いを続行するよう制御し、「喜んでいるが落ち着いている状態」ではロボット対話者がロボットとの対話にひとまず満足したと判断して対話内容をまとめて対話を切り上げるよう制御し、「嫌悪しながら興奮している状態」ではロボット対話者が怒っていると判断してロボットに謝らせるよう制御し、「嫌悪しているが落ち着いている状態」ではロボット対話者がロボットとの対話内容に興味が持てていないと判断して話題を変えるよう制御するものなどがある。
【００４５】
このように本実施の形態の感情推定装置１をロボットに適用すると、ロボットの制御部は、推定結果出力部１７から受け取ったロボット対話者の感情の調整推定結果に応じてロボットのロボット対話者に対する振る舞いを変えるので、ロボット対話者に柔軟に対応することが可能となる。
【００４６】
図３は、実施の形態１に係る感情推定の動作の一例を示すフローチャートである。感情推定処理は、感情推定装置１の電源がＯＮになったら開始することとしてもよいし、被験者Ｅを検知したら開始することとしてもよい。また、感情推定処理は、カメラ１１が被験者Ｅの画像を撮影し、生体情報取得部１３が生体情報を取得している間は、繰り返し実行される。
【００４７】
まず、カメラ１１は、被験者Ｅの画像を撮影して（ステップＳ１１）、表情認識部１２に送る。表情認識部１２は、カメラ１１から受け取った被験者Ｅの画像から表情認識を行うことで被験者Ｅの感情推定を行い（ステップＳ１２）、推定結果を推定結果調整部１６に送る。
【００４８】
一方、生体情報取得部１３は、被験者Ｅの心拍数と体温などの生体情報を取得して（ステップＳ１３）、生体情報分析部１４に送る。生体情報分析部１４は、生体情報取得部１３から受け取った被験者Ｅの生体情報を分析することで被験者Ｅの感情推定を行い（ステップＳ１４）、推定結果を推定結果調整部１６に送る。
【００４９】
推定結果調整部１６は、係数取得部１５から取得した（ステップＳ１５）重み付け係数に基づいて、表情認識部１２および生体情報分析部１４による２種類の感情推定結果を組み合わせて調整推定結果を算出し（ステップＳ１６）、調整推定結果を推定結果出力部１７に送る。推定結果出力部１７は、推定結果調整部１６から受け取った調整推定結果を出力し（ステップＳ１７）、処理を終了する。
【００５０】
以上説明したように実施の形態１の感情推定装置１によれば、２種類以上の尺度を用いることで、１種類の尺度による感情の推定では分類できない複雑な感情も扱うことができる。
【００５１】
（実施の形態２）
図４は、本発明の実施の形態２に係る感情推定装置の構成例を示すブロック図である。実施の形態２の感情推定装置１には、実施の形態１の感情推定装置１にマイク１８および音声分析部１９が追加されている。マイク１８は、被験者Ｅの音声を収録するためのマイクロフォンである。音声分析部１９はマイク１８が収録した被験者Ｅの音声の音量および発音を分析することで被験者Ｅの感情推定を行い、推定結果を推定結果調整部１６に送る。
【００５２】
図５は、実施の形態２に係る感情推定装置をロボットに適用した例を示す図である。図２の例では、カメラ１１はロボットの目の部分に埋め込まれている。生体情報取得部１３は、生体情報の受信器であって、ロボットの体に埋め込まれている。また、マイク１８は、ロボットの耳の部分に埋め込まれている。表情認識部１２、生体情報分析部１４、係数取得部１５、推定結果調整部１６、推定結果出力部１７および音声分析部１９は、ロボットの内部に備える。
【００５３】
カメラ１１はロボット対話者（被験者Ｅ）の画像を撮影し、表情認識部１２に送る。表情認識部１２はカメラ１１から受け取った画像のロボット対話者の表情に基づいて、たとえば「好意・嫌悪」の度合いを推定し、推定結果を推定結果調整部１６に送る。生体センサ２はロボット対話者が身に付けることでロボット対話者の心拍数と体温とを検出するセンサであり、生体情報取得部１３に検出した生体情報を送信する。生体情報取得部１３は、生体センサ２から受信した生体情報を生体情報分析部１４に送る。生体情報分析部１４は生体情報取得部１３から受け取ったロボット対話者の心拍数と体温から、たとえば「興奮・沈静」の度合いを推定し、推定結果を推定結果調整部１６に送る。マイク１８は、ロボット対話者の音声を収録して音声分析部１９に送る。音声分析部１９は、マイク１８から受け取ったロボット対話者の音声から、たとえば「喜び・悲しみ」の度合いを推定し、推定結果を推定結果調整部１６に送る。
【００５４】
ロボット設定者（ユーザ）は、ロボットとロボット対話者の対話開始前に、ロボットに備え付けられたスイッチで入力する。係数取得部１５は、ロボット設定者が入力した重み付け係数を推定結果調整部１６に送る。推定結果調整部１６は、係数取得部１５から受け取った重み付け係数に基づいて、表情認識部１２、生体情報分析部１４および音声分析部１９よる３種類の感情推定結果を組み合わせた調整感情推定結果を算出し、推定結果出力部１７に送る。推定結果出力部１７は、推定結果調整部１６から受け取った調整推定結果をロボットを制御する制御部に出力する。
【００５５】
図６は、実施の形態２に係る感情推定の動作の一例を示すフローチャートである。感情推定処理は、感情推定装置１の電源がＯＮになったら開始することとしてもよいし、被験者Ｅを検知したら開始することとしてもよい。また、感情推定処理は、カメラ１１が被験者Ｅの画像を撮影し、生体情報取得部１３が生体情報を取得し、マイク１８が被験者Ｅの音声を収録している間は繰り返し実行される。
【００５６】
まず、カメラ１１は、被験者Ｅの画像を撮影して（ステップＳ２１）、表情認識部１２に送る。表情認識部１２は、カメラ１１から受け取った被験者Ｅの画像から表情認識を行うことで被験者Ｅの感情推定を行い（ステップＳ２２）、推定結果を推定結果調整部１６に送る。生体情報取得部１３は、被験者Ｅの心拍数と体温などの生体情報を取得して（ステップＳ２３）、生体情報分析部１４に送る。生体情報分析部１４は、生体情報取得部１３から受け取った被験者Ｅの生体情報を分析することで被験者Ｅの感情推定を行い（ステップＳ２４）、推定結果を推定結果調整部１６に送る。また、マイク１８は、被験者Ｅの音声を収録して（ステップＳ２５）、音声分析部１９に送る。音声分析部１９、マイク１８から受け取った被験者Ｅの音声を分析することで被験者Ｅの感情推定を行い（ステップＳ２６）、推定結果を推定結果調整部１６に送る。
【００５７】
推定結果調整部１６は、係数取得部１５から取得した（ステップＳ２７）重み付け係数に基づいて、表情認識部１２、生体情報分析部１４およびに音声分析部１９よる３種類の感情推定結果を組み合わせて調整推定結果を算出し（ステップＳ２８）、調整推定結果を推定結果出力部１７に送る。推定結果出力部１７は、推定結果調整部１６から受け取った調整推定結果を出力し（ステップＳ２９）、処理を終了する。
【００５８】
以上説明したように実施の形態２の感情推定装置１によれば、３種類の感情推定結果を組み合わせて調整推定結果を算出することで、より精度の高い調整推定結果を算出することができる。
【００５９】
実施の形態１では、被験者の画像および生体情報の２つの観点の感情推定結果を採用し、実施の形態２では、被験者の画像、生体情報および音声の３つの観点の感情推定結果を採用した。本発明はこれに限らず、被験者の画像および音声の２つの観点の感情推定結果を採用してもよいし、被験者の生体情報および音声の２つの観点の感情推定結果を採用してもよい。
【００６０】
（実施の形態３）
図７は、本発明の実施の形態３に係る感情推定装置の構成例を示すブロック図である。実施の形態３の感情推定装置１には、実施の形態２の感情推定装置１の係数取得部１５および推定結果調整部１６に代えて、推定結果選択部２０が追加されている。推定結果選択部２０は、表情認識部１２、生体情報分析部１４および音声分析部１９から受け取った画像、生体情報および音声に基づいて、感情の推定に関する状況を判定する。推定結果選択部２０は、あらかじめ保持している選択条件に従って、画像、生体情報および音声からの３種類の感情推定結果から感情推定結果を選択する。推定結果選択部２０は、選択した感情推定結果を感情推定結果出力部１７に送る。また、カメラ１１は、画像を取得するだけでなく、照度センサや測位センサを備え、照度や測位情報を取得する。
【００６１】
図８は、実施の形態３に係る感情推定装置をＰＣに適用した例を示す図である。図８の例では、ＰＣ操作者（被験者Ｅ）の画像を撮影するカメラ１１はＰＣのディスプレイ上に設置されている。マイク１８は、ＰＣの周囲に設置されている。表情認識部１２、生体情報分析部１４、推定結果出力部１７、音声分析部１９および推定結果選択部２０は、ＰＣの内部に備える。
【００６２】
カメラ１１はＰＣ操作者の画像を撮影し、表情認識部１２に送る。表情認識部１２はカメラ１１から受け取った画像のＰＣ操作者の表情に基づいて、たとえば「好意・嫌悪」の度合いを推定し、推定結果を推定結果選択部２０に送る。生体センサ２はＰＣ操作者が身に付けることでＰＣ操作者の心拍数と体温とを検出するセンサであり、生体情報取得部１３に検出した生体情報を送信する。生体情報取得部１３は、生体センサ２から受信した生体情報を生体情報分析部１４に送る。生体情報分析部１４は生体情報取得部１３から受け取ったＰＣ操作者の心拍数と体温から、たとえば「興奮・沈静」の度合いを推定し、推定結果を推定結果選択部２０に送る。マイク１８は、ＰＣ操作者の音声を収録して音声分析部１９に送る。音声分析部１９は、マイク１８から受け取ったＰＣ操作者の音声から、たとえば「喜び・悲しみ」の度合いを推定し、推定結果を推定結果選択部２０に送る。
【００６３】
推定結果選択部２０は、表情認識部１２、生体情報分析部１４および音声分析部１９から受け取った画像、生体情報および音声に基づいてＰＣ周辺の状況を判定する。そして、推定結果選択部２０は、ＰＣ周辺の状況を、あらかじめ保持している選択条件に照らす。推定結果選択部２０は、表情認識部１２、生体情報分析部１４および音声分析部１９による３種類の感情推定結果から、選択条件にあてはまる感情推定結果を選択する。推定結果選択部２０は、選択した感情推定結果を推定結果出力部１７に送る。推定結果出力部１７は、推定結果選択部２０から受け取った感情推定結果をシステム管理者（ユーザ）のディスプレイ３に出力する。
【００６４】
推定結果選択部２０は、ＰＣ周辺の状況を以下のような選択条件に照らして感情推定結果を選択する。表情認識に支障が出る場合は、表情認識部１２以外の感情推定結果を選択する。表情認識に支障が出る場合とは、たとえば、明るさが足りない、ＰＣ操作者の顔とカメラの間に障害物がある、ＰＣ操作者が激しく動いている、ＰＣ操作者の顔がカメラの方を向いていない、ＰＣ操作者の位置がカメラの焦点位置から外れている、ＰＣ操作者の顔がカメラの撮影範囲外に存在するなどの場合である。
【００６５】
ＰＣ操作者の生体情報が感情以外の要素により変動している場合や、ＰＣ操作者の生体情報の計測に支障が出る場合は、生体情報分析部１４以外の感情推定結果を選択する。ＰＣ操作者の生体情報が感情以外の要素により変動している場合とは、たとえばＰＣ操作者が病気である、ＰＣ操作者が運動直後である、ＰＣ操作者が寝不足であるなどの場合である。
【００６６】
これらの判断は、それぞれの場合の所定の条件を示す情報をあらかじめ保持し、当該条件にあてはまるか否かで判断する。病気であるか否かの判断は、たとえば、ＰＣ操作者の体温と、顔画像から検出するＰＣ操作者の顔色から判断する。ＰＣ操作者が運動直後であるか否かの判断は、たとえば、運動直後の発汗量や心拍数などのモデルにあてはまるか否かで判断する。ＰＣ操作者が寝不足であるか否かの判断は、たとえば、あくびをしたか否かや瞬きの回数をＰＣ操作者の顔画像から検出して判断する。
【００６７】
あるいは、ＰＣ操作者自身が入力してもよい。たとえば、感情の推定を開始する前に、「体調はどうですか？」「昨日はよく眠れましたか？」などの質問を出力して、ＰＣ操作者に答えさせる。
【００６８】
ＰＣ操作者の生体情報の計測に支障が出る場合とは、ＰＣ操作者の発汗や皮膚の汚れにより通常と皮膚の電気状態が変化している(脳波、筋電位、皮膚表面電気活動などの皮膚表面から電気的に計測する生体情報を採用している場合)、電磁波による計測ノイズが発生しやすいなどの場合である。これらの判断は、たとえば、計測した値が正常の範囲を超えている、計測器が正常に動作していることを示す信号が受信できない、計測値をパケットで受信する場合にパケットが正常に受信できないなどの情報から判断する。
【００６９】
音声収録に支障が出る場合は、音声分析部１９以外の感情推定結果を採用する。音声収録に支障が出る場合とは、雑音が大きい、ＰＣ操作者がマイク１８から離れている、ＰＣ操作者の音声が感情以外の要素により変動している、ＰＣ操作者が風邪などの発音に影響が出る身体状態である、ＰＣ操作者が母国語ではない言語で話しているなどの場合である。なお、推定結果選択部２０が感情推定結果を選択する選択条件は、ユーザが入力することとしてもよい。
【００７０】
これら選択条件は、実施の形態１および実施の形態２の重み付け係数の決定に用いてもよい。たとえば、表情認識に支障が出る場合は、表情認識部１２の感情推定結果の優先順位を低くする。被験者Ｅの生体情報が感情以外の要素により変動している場合は、生体情報分析部１４の感情推定結果の優先順位を低くする。音声収録に支障が出る場合は、音声分析部１９の感情推定結果の優先順位を低くする。これによれば、ユーザが重み付け係数を入力しなくても、推定結果調整部１６は自動で感情推定結果を調整することができる。
【００７１】
図９は、実施の形態３に係る感情推定の動作の一例を示すフローチャートである。感情推定処理は、感情推定装置１の電源がＯＮになったら開始することとしてもよいし、被験者Ｅを検知したら開始することとしてもよい。また、感情推定処理は、カメラ１１が被験者Ｅの画像を撮影し、生体情報取得部１３が生体情報を取得し、マイク１８が被験者Ｅの音声を収録している間は、繰り返し実行される。
【００７２】
まず、カメラ１１は、被験者Ｅの画像を撮影して（ステップＳ３１）、表情認識部１２に送る。表情認識部１２は、カメラ１１から受け取った被験者Ｅの画像から表情認識を行うことで被験者Ｅの感情推定を行い（ステップＳ３２）、推定結果を推定結果選択部２０に送る。生体情報取得部１３は、被験者Ｅの心拍数と体温などの生体情報を取得して（ステップＳ３３）、生体情報分析部１４に送る。生体情報分析部１４は、生体情報取得部１３から受け取った被験者Ｅの生体情報を分析することで被験者Ｅの感情推定を行い（ステップＳ３４）、推定結果を推定結果選択部２０に送る。また、マイク１８は、被験者Ｅの音声を収録して（ステップＳ３５）、音声分析部１９に送る。音声分析部１９、マイク１８から受け取った被験者Ｅの音声を分析することで被験者Ｅの感情推定を行い（ステップＳ３６）、推定結果を推定結果選択部２０に送る。
【００７３】
推定結果選択部２０は、表情認識部１２、生体情報分析部１４および音声分析部１９から受け取った画像、生体情報および音声に基づいて状況を判定する。そして、推定結果選択部２０は、判定した状況をあらかじめ保持している選択条件に照らす。推定結果選択部２０は、画像、生体情報および音声からの３種類の感情推定結果から、選択条件にあてはまる感情推定結果を選択する（ステップＳ３７）。推定結果選択部２０は、選択した感情推定結果を推定結果出力部１７に送る。推定結果出力部１７は、推定結果選択部２０から受け取った感情推定結果を出力し（ステップＳ３８）、処理を終了する。
【００７４】
本実施の形態では、３種類の感情推定結果から採用する感情推定結果を選択しているが、２種類の感情推定結果から採用する感情推定結果を選択してもよい。
【００７５】
以上説明したように実施の形態３の感情推定装置１によれば、状況に応じた感情推定を行うことができる。画像処理に問題が出る状況、一時的に生体情報が変動している状況または音声収録に問題が出る状況においても、推定結果選択部２０が状況を判定し、状況に問題がない推定結果に基づいて調整推定結果を算出することで、状況による悪影響を取り除くことができる。
【００７６】
図１０は、本発明の実施の形態に係る感情推定装置のハードウェア構成の一例を示すブロック図である。感情推定装置１は、図１０に示すように、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および入出力部３７を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および入出力部３７はいずれも内部バス３０を介して制御部３１に接続されている。
【００７７】
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、感情推定装置１の表情認識部１２、生体情報分析部１４、推定結果調整部１６、音声分析部１９および推定結果選択部２０の各処理を実行する。
【００７８】
主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。
【００７９】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、感情推定装置１の処理を制御部３１に行わせるためのプログラムをあらかじめ記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。係数取得部１５が取得した重み付け係数を記憶する場合は、外部記憶部３３に構成される。
【００８０】
操作部３４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインタフェース装置から構成されている。ユーザが重み付け係数を入力する場合などは、操作部３４を介して、指示が制御部３１に供給される。
【００８１】
表示部３５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、ユーザが重み付け係数を入力する場合などは、操作画面を表示する。
【００８２】
送受信部３６は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部３６は、生体情報取得部１３および推定結果出力部１７として機能する。
【００８３】
入出力部３７は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部３７は、カメラ１１およびマイク１８と接続する。あるいは、カメラ１１およびマイク１８は、内部バス３０で接続されることとしてもよい。
【００８４】
図１、図４または図７に示す感情推定装置１の表情認識部１２、生体情報分析部１４、係数取得部１５、推定結果調整部１６、推定結果出力部１７、音声分析部１９、および推定結果選択部２０の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および入出力部３７を資源として用いて処理することによって実行する。
【００８５】
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００８６】
制御部３１、主記憶部３２、外部記憶部３３、内部バス３０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する感情推定装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで感情推定装置１を構成してもよい。
【００８７】
また、感情推定装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００８８】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００８９】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００９０】
（付記１）
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する推定手段と、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得手段と、
前記重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整手段と、
前記調整手段が算出した前記調整感情推定結果を出力する出力手段と、
を備えることを特徴とする感情推定装置。
【００９１】
（付記２）
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが前記所定の条件に適合する場合に、当該適合する情報に基づいて前記被験者の感情を推定する手段で感情を推定した前記感情推定結果を選択する選択手段と、をさらに備え、
前記出力手段は、前記選択手段が選択した前記感情推定結果を出力することを特徴とする付記１に記載の感情推定装置。
【００９２】
（付記３）
前記選択手段は、前記所定の条件に適合しない情報に基づいて前記被験者の感情を推定する手段で感情を推定した前記感情推定結果を除外することを特徴とする付記２に記載の感情推定装置。
【００９３】
（付記４）
前記ユーザが入力した前記感情推定結果の選択条件を取得する第３取得手段をさらに備え、
前記選択手段は、前記選択条件に基づいて前記感情推定結果を選択することを特徴とする付記２または３に記載の感情推定装置。
【００９４】
（付記５）
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得手段と、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定手段と、をさらに備え、
前記調整手段は、前記判定手段の判断に基づいて前記感情推定結果を組み合わせる重み付け係数を決定し、当該重み付け係数に従って、前記推定手段が取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出することを特徴とする付記１に記載の感情推定装置。
【００９５】
（付記６）
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を備えることを特徴とする感情推定方法。
【００９６】
（付記７）
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得ステップと、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定ステップと、
前記被験者の顔の画像、被験者の生体情報または被験者の音声のいずれかが前記所定の条件に適合する場合に、当該適合する情報に基づいて前記被験者の感情を推定する手段が感情を推定した前記感情推定結果を選択する選択ステップと、をさらに備え、
前記出力ステップでは、前記選択ステップが選択した前記感情推定結果を出力することを特徴とする付記６に記載の感情推定方法。
【００９７】
（付記８）
前記選択ステップでは、前記所定の条件に適合しない情報に基づいて前記被験者の感情を推定する手段が感情を推定した前記感情推定結果を除外することを特徴とする付記７に記載の感情推定方法。
【００９８】
（付記９）
前記ユーザが入力した前記感情推定結果の選択条件を取得する第３取得ステップをさらに備え、
前記選択ステップでは、前記選択条件に基づいて前記感情推定結果を選択することを特徴とする付記７または８に記載の感情推定方法。
【００９９】
（付記１０）
前記被験者の顔の画像、前記被験者の生体情報および前記被験者の音声の少なくとも１つの情報を取得する第２取得ステップと、
前記被験者の顔の画像、前記被験者の生体情報または前記被験者の音声のいずれかが、所定の条件に適合するか否かを判断する判定ステップと、をさらに備え、
前記調整ステップでは、前記判定ステップでの判断に基づいて前記感情推定結果を組み合わせる重み付け係数を決定し、当該重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出することを特徴とする付記６に記載の感情推定方法。
【０１００】
（付記１１）
コンピュータに、
被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類のス手段で感情を推定した感情推定結果を取得する推定ステップと、
ユーザが入力した前記感情推定結果を組み合わせる重み付け係数を取得する第１取得ステップと、
前記重み付け係数に従って、前記推定ステップで取得した少なくとも２つの前記感情推定結果を組み合わせた調整感情推定結果を算出する調整ステップと、
前記調整ステップで算出した前記調整感情推定結果を出力する出力ステップと、
を実行させることを特徴とするプログラム。
【符号の説明】
【０１０１】
１  感情推定装置
２  生体センサ
３  ディスプレイ
１１  カメラ
１２  表情認識部
１３  生体情報取得部
１４  生体情報分析部
１５  係数取得部
１６  推定結果調整部
１７  推定結果出力部
１８  マイク
１９  音声分析部
２０  推定結果選択部
３１  制御部
３３  主記憶部
３３  外部記憶部
３４  操作部
３５  表示部
３６  送受信部
３７  入出力部
３９  制御プログラム
【図１】
2012059107.tif 000003
【図２】
2012059107.tif 000004
【図３】
2012059107.tif 000005
【図４】
2012059107.tif 000006
【図５】
2012059107.tif 000007
【図６】
2012059107.tif 000008
【図７】
2012059107.tif 000009
【図８】
2012059107.tif 000010
【図９】
2012059107.tif 000011
【図１０】
2012059107.tif 000012