(57)【要約】【課題】  被験者の心理状態を精度よく分類することができ、またそれを基に、被験者における当該心理状態のレベル、つまり強さをも精度よく計測することができる心理状態計測装置を提供する。【解決手段】  被験者の画像情報を取得する手段と、前記画像情報を用いて、前記被験者の心理状態を分類する心理状態分類手段と、前記被験者の生理的情報を取得する手段と、前記生理的情報と、前記心理状態分類結果とに基づいて、前記被験者の心理状態のレベルを算出する心理状態レベル算出手段とを有することを特徴とする心理状態計測装置。【選択図】        図７
2007068620.tif 000002
【特許請求の範囲】
【請求項１】
心理状態計測の対象者である被験者の画像情報を取得する画像情報取得手段と、
前記画像情報を予め定められた心理状態と関連づける第１の辞書データと、
前記第１の辞書データを参照し、前記画像情報に基づき、前記被験者の心理状態を前記予め定められた心理状態に分類する心理状態分類手段と、
前記被験者の生理的情報を取得する生理的情報取得手段と、
前記被験者の生理的情報に基づき、前記心理状態分類手段により分類された被験者の心理状態における前記被験者の心理状態のレベルを算出する心理状態レベル算出手段とを有することを特徴とする心理状態計測装置。
【請求項２】
前記画像情報取得手段が取得する画像情報は、前記被験者の顔画像情報であり、
前記心理状態分類手段は、前記顔画像情報の表情に基づき前記被験者の心理状態を分類する機能を有することを特徴とする請求項１に記載の心理状態計測装置。
【請求項３】
前記顔画像情報の表情は、被験者の瞬き、注視時間又は瞳孔サイズに関する情報であることを特徴とする請求項２に記載の心理状態計測装置。
【請求項４】
前記生理的情報取得手段が取得する生理的情報は、前記被験者の体温に関する情報であることを特徴とする請求項１乃至３の何れか１項に記載の心理状態計測装置。
【請求項５】
前記生理的情報取得手段が取得する生理的情報を前記予め定められた心理状態と関連づける第２の辞書データを備え、
前記心理状態分類手段は、前記第２の辞書データを参照し、前記被験者の画像情報及び生理的情報に基づき、前記被験者の心理状態を分類する機能を有することを特徴とする請求項１乃至４の何れか１項に記載の心理状態計測装置。
【請求項６】
前記予め定められた心理状態は、任意に設定された対象物に対する被験者の感情を表す心理状態であることを特徴とする請求項１乃至５の何れか１項に記載の心理状態計測装置。
【請求項７】
前記予め定められた心理状態は、前記被験者の身体の生理的状態を表す心理状態であることを特徴とする請求項１乃至５の何れか１項に記載の心理状態計測装置。
【請求項８】
前記生理的情報取得手段が取得する生理的情報を、前記予め定められた心理状態に対応する、その心理状態のレベルと関連づける第３の辞書データを備え、
前記心理状態レベル算出手段は、前記第３の辞書データを参照し、前記被験者の生理的情報に基づき、前記心理状態分類手段により分類された前記被験者の心理状態のレベルを算出する機能を有することを特徴とする請求項１乃至７の何れか１項に記載の心理状態計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
被験者の心理状態を分類し、その心理状態のレベルを計測する心理状態計測装置に関する。
【背景技術】
【０００２】
近年、マーケティング分野や製品設計支援などの分野において、顧客やユーザが製品やサービスに対して、心理的にどのような印象や感情を抱いているのかを知りたいという要求が高まっている。こういった顧客の心理状態を知ることで、顧客により満足してもらえる製品やサービスの設計、販売に役立てることができる。
【０００３】
しかも、顧客に直接質問したり、顧客から直接にコメントを得たりすることなく、計測装置を用いて自動的に顧客の心理状態を知ることができるならば、その活用範囲と活用効果は大幅に広げることができる。
【０００４】
また、他にも計測装置を用いて自動的に顧客の心理状態を知ることが大いに役立つシーンとしては、例えば、ユーザの困り具合でＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を変更するなどのユーザインタフェイス分野がある。また、自分でも気がつかない疲労や言語障害者の苦痛を検知することで日常の健康チェックや自動ナースコールなどを行う医療・介護分野などがある。
【０００５】
このようなニーズを満たすためには、顧客などの心理状態を計測・推定する手段が必要であり、従来より様々な手法が研究され、様々な応用が試みられてきた。
【０００６】
被験者の顔画像からその表情を認知し、判別する様々な技術が従来より発表されてきている。被験者の表情が、その心理状態を表すことはよく知られている。そこで、被験者の心理状態を知るための手段として、被験者の表情を用いる方法が研究されてきた。
【０００７】
画像による表情認識を利用して、表情によって所定の心理状態にあること及びその心理状態のレベルを計測する技術が提案されている（例えば、特許文献１参照）。
【０００８】
特許文献１では、多数の被験者から取得した所定の心理状態に対応する顔画像の平均データを、その心理状態のレベルの変化に対して段階的に変化する表情のデータとして、各段階毎に予め作成しておき、これらの段階的な表情を表す平均顔画像と測定対象となる被験者の顔画像をマッチングさせて、対応がとれた平均顔画像が表す表情の段階を被験者の所定の心理状態のレベルを表すものとして出力する技術が示されている。
【０００９】
この方法は顔画像を撮影するだけでよいため、特に被験者に負担をかけることもなく、予め段階的に変化する表情の顔画像データを所定の心理状態毎に収集しておけば、各心理状態の段階的な平均顔画像と照合するだけで簡単に表情を認知し、所定の心理状態のレベルを計測することができる。
【００１０】
しかしながら、心理状態のレベルと表情の変化の度合いは、実際には被験者毎に異なっている。すなわち、平均顔とのマッチングでは、どういう心理状態にあるかは表情から判別できたとしても、その心理状態のレベル、つまりその強さまでは、表情の変化度合いだけからは精度よく判定することが困難である。
【００１１】
一方、被験者が所定の心理状態にあるとき、その心理状態のレベルによって被験者の身体の生理的な状態が変化してくることもよく知られている。例えば、被験者の脳波や血流といった生理的な反応を計測したデータが、それに影響した被験者の所定の心理状態のレベルを反映することなどが従来より知られている。そこで、被験者の心理状態のレベル、つまり強さを知るための手段として、被験者の身体の生理的な状態を表すデータを用いる方法が研究されてきた。
【００１２】
被験者の生理的状態を表す複数のデータを計測し、それに基づいて、所定の心理状態としてのレベルを表示出力する技術が提案されている（例えば、特許文献２参照）。
【００１３】
特許文献２では、被看護・被介護者の生理的状態を表す複数のデータを計測取得し、管理し、所定の心理状態におけるレベルを表すものとして、アイコン表示出力などを行うことで、異常状態にあるかどうか、また処置などを知らせて、看護者・介護者の負担を軽減する技術が示されている。
【００１４】
しかしながら、このように生理的状態を表すデータを用いる方法は、平常状態から何らかの心理状態に変化したことを検知する精度には優れるが、どういう心理状態にあるかを特定するには精度が不十分である。
【００１５】
例えば、スポーツ・医療などの分野において生体計測を行う例が多く見られるが、そういった生理的データは、外部から刺激を与えるなど被験者が特定の心理的状況にあると推定される場合に限ってそのレベルを計測するのに有効なものであり、心理状態自体を特定できない場合は、その心理状態のレベルも求めることができない。
【００１６】
また、上記生理的状態を表すデータとして、被験者の体温データを用いる技術も提案されている。被験者の脳波や血流といった生理的な反応の計測は、被験者にセンサを接触して取り付ける必要があり、被験者の行動を束縛する。被験者の体温データなどは、そのような束縛のない非接触状態で、被験者の所定の心理状態にあるレベル、つまり強さを計測することができる。
【００１７】
体温データを得るためには、必ずしも被験者の身体に接触する必要はなく、赤外光などを用いた温度画像を利用して被験者の各部分の体温を測定可能であり、特に被験者に負担をかけることもなく、生理的なデータを収集できる。予め多数の被験者における各部分の体温データと所定の心理状態のレベルとの相関関係を、基準となる参照データとして用意しておけば、データを照合するだけで簡単に、所定の心理状態のレベルを計測することができる。
【００１８】
しかしながら、平常状態から何らかの心理状態に変化したことを検知する精度には優れるが、どういう心理状態にあるかを特定するには精度が不十分であるのは、他の生理的データと同様である。
【特許文献１】特開２００１−４３３４５号公報
【特許文献２】特開２００４−４９３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
上述のように、顔画像情報から被験者の表情を認識し、心理状態を計測しようという技術は、一般に心理状態を判別できたとしても、そのレベルを求める精度は不十分であった。また生理的データを用いる方法についても、心理状態のレベルを求めるためには、心理状態が特定されていなければ、これも精度が不十分であった。
【００２０】
本発明は、上記の課題を解決し、被験者の心理状態を予め定めた一つ、あるいは複数の心理状態に精度よく分類することができ、またそれを基に、被験者における当該心理状態のレベル、つまり強さをも精度よく計測することができる心理状態計測装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明は、上記の課題を解決するために、以下の特徴を有するものである。
【００２２】
（１）  心理状態計測の対象者である被験者の画像情報を取得する画像情報取得手段と、前記画像情報を予め定められた心理状態と関連づける第１の辞書データと、前記第１の辞書データを参照し、前記画像情報に基づき、前記被験者の心理状態を前記予め定められた心理状態に分類する心理状態分類手段と、前記被験者の生理的情報を取得する生理的情報取得手段と、前記被験者の生理的情報に基づき、前記心理状態分類手段により分類された被験者の心理状態における前記被験者の心理状態のレベルを算出する心理状態レベル算出手段とを有することを特徴とする心理状態計測装置。
【００２３】
（２）  前記画像情報取得手段が取得する画像情報は、前記被験者の顔画像情報であり、前記心理状態分類手段は、前記顔画像情報の表情に基づき前記被験者の心理状態を分類する機能を有することを特徴とする（１）に記載の心理状態計測装置。
【００２４】
（３）  前記顔画像情報の表情は、被験者の瞬き、注視時間又は瞳孔サイズに関する情報であることを特徴とする（２）に記載の心理状態計測装置。
【００２５】
（４）  前記生理的情報取得手段が取得する生理的情報は、前記被験者の体温に関する情報であることを特徴とする（１）乃至（３）の何れか１項に記載の心理状態計測装置。
【００２６】
（５）  前記生理的情報取得手段が取得する生理的情報を前記予め定められた心理状態と関連づける第２の辞書データを備え、前記心理状態分類手段は、前記第２の辞書データを参照し、前記被験者の画像情報及び生理的情報に基づき、前記被験者の心理状態を分類する機能を有することを特徴とする（１）乃至（４）の何れか１項に記載の心理状態計測装置。
【００２７】
（６）  前記予め定められた心理状態は、任意に設定された対象物に対する被験者の感情を表す心理状態であることを特徴とする（１）乃至（５）の何れか１項に記載の心理状態計測装置。
【００２８】
（７）  前記予め定められた心理状態は、前記被験者の身体の生理的状態を表す心理状態であることを特徴とする（１）乃至（５）の何れか１項に記載の心理状態計測装置。
【００２９】
（８）  前記生理的情報取得手段が取得する生理的情報を、前記予め定められた心理状態に対応する、その心理状態のレベルと関連づける第３の辞書データを備え、前記心理状態レベル算出手段は、前記第３の辞書データを参照し、前記被験者の生理的情報に基づき、前記心理状態分類手段により分類された前記被験者の心理状態のレベルを算出する機能を有することを特徴とする（１）乃至（７）の何れか１項に記載の心理状態計測装置。
【発明の効果】
【００３０】
本発明によれば、被験者の画像情報と、同じく被験者の生理的情報とを取得し、両者を統合処理することにより、被験者の心理状態を精度よく分類することが可能で、またそれを基に、被験者における当該心理状態のレベル、つまり強さをも精度よく計測することが可能な心理状態計測装置を提供することができる。
【発明を実施するための最良の形態】
【００３１】
本発明に係る実施形態例を、図を用いて説明する。
【００３２】
本実施形態例は、対象となる被験者の心理状態を計測するものであり、被験者に直接質問したり、被験者から直接にコメントを得たりすることなく、観察可能なデータ、例えば被験者の外見に関わる可視画像や、被験者に接触することなく測定可能な生理的データなどから、間接的に計測するものである。
【００３３】
こういった、対象となる被験者を煩わせることなく、その心理状態を計測することが要求されているような応用例は多くある。本発明に係る実施の形態として、テレビなどの番組コンテンツを視聴している被験者が、それに対してどのような心理的印象を抱いているかを調査するような場合を例にとって説明する。
【００３４】
（心理状態計測装置を用いた応用形態例）
図１は、テレビ番組の視聴者が、その視聴中にどのような心理状態にあるかを計測するために、本発明の一実施形態例としての心理状態計測装置を用いた応用形態例（テレビ番組視聴情報調査）を示す図である。
【００３５】
図１において、１０はテレビ番組の視聴者であり、心理状態計測の被験者に相当する。１１ａは、例えばカメラなどの、被験者に関する画像情報の入力装置であり、ここでは体温画像、すなわち生理的情報の入力装置も兼ねている。１３は視聴者に番組などのコンテンツを提供する装置であり、ここではテレビを取り上げている。
【００３６】
１４ａはデータ収集装置である。心理状態計測装置は、データ収集装置１４ａに組み込まれていてもよいし、画像入力装置１１ａに組み込まれていてもよい。あるいは、その両方に含まれていてもよい。
【００３７】
従来は、データ収集装置１４ａは、テレビ番組などのコンテンツが視聴されているか、すなわちテレビが付いているかどうか、そしてどの番組が視聴されているか、というデータだけしか収集できなかった。本実施形態例では、その番組に対して視聴者がどういう印象を持っているか、すなわち被験者の心理状態をも計測してデータ収集する。図１のような心理状態計測装置の応用例では、従来の番組視聴率だけでなく、番組好感度などのデータも自動的に収集することが可能になる。
【００３８】
本実施形態例に係る心理状態計測装置の構成について、図２及び図４を用いて説明する。図２は、心理状態計測装置の構成要素として、ハードウェアとしての画像入力装置を含めた構成例を示し、図４はハードウェアとしての画像入力装置を含めないような構成例を示す。
【００３９】
（心理状態計測装置の構成例）
図２は、入力部と処理部とからなる最小限の構成要素とした心理状態計測装置の構成を示すブロック図である。図２では、入力部を、直接被験者を撮影するハードウェアとして示している。
【００４０】
図２において、１０はやはり被験者である。１１は入力部であり、可視画像の入力部１１１と温度画像の入力部１１２とからなる。可視画像と温度画像の入力機構については、後述する。１２は処理部であり、可視画像のデータと温度画像のデータとを用いて、心理状態の計測処理を行う。この処理内容についても後述する。そして心理状態計測装置１は、この入力部１１と処理部１２とから構成される。
【００４１】
心理状態計測装置１が図２の構成を取った場合、その構成要素である入力部１１が図１の１１ａに相当し、同じく構成要素である処理部１２が図１における１４ａのデータ収集装置内に含まれることになる。あるいは、処理部１２も図１の１１ａに含まれるような構成であってもよい。
【００４２】
図２の構成においては、可視画像入力部１１１が画像情報取得手段として機能し、可視画像データ（例えば顔画像情報、以後顔画像データともいう）を画像情報として取得する。また、温度画像入力部１１２が生理的情報取得手段として機能し、温度画像データ（例えば体温に関する情報、以後体温情報、あるいは体温データともいう）を生理的情報として取得する。処理部１２は、心理状態分類手段及び心理状態レベル算出手段として機能する。また、処理部１２には辞書データも含まれるが、処理部の詳しい構成については、後述する。
【００４３】
（可視画像と温度画像の入力形態例）
図３を用いて、可視画像と温度画像の入力について説明する。図３は一台の撮影装置で、可視画像と温度画像の両方を同時に撮影できるようにした入力部を有する心理状態計測装置の例を示す図である。
【００４４】
図３において、図２と同様に、１は心理状態計測装置である。図２と同じく１２は処理部であり、図２の入力部１１に相当するのは、処理部１２以外の構成要素、すなわち光学系３１、ハーフミラー３２、可視画像入力部１１１、そして温度画像入力部１１２である。
【００４５】
光学系３１を通じて入射した光線は、ハーフミラー３２により分割され、可視画像入力部１１１及び温度画像入力部１１２の両方に入射し、対象となる被験者の光学像を両方の撮像素子（３４ａ及び３４ｂ）に結像する。
【００４６】
可視画像入力部１１１は赤外光域カットフィルタ３３ａと撮像素子３４ａを含み、温度画像入力部１１２は可視光域カットフィルタ３３ｂと撮像素子３４ｂを含む。
【００４７】
赤外光域カットフィルタ３３ａは赤外光域をカットし、可視光域のみを通過させることで撮像素子３４ａに可視画像を結像させる。撮像素子３４ａは可視画像データを取得し、処理部１２に提供する。また可視光域カットフィルタ３３ｂは可視光域をカットし、赤外光域のみを通過させることで撮像素子３４ｂに赤外光の画像、すなわち温度画像を結像させる。撮像素子３４ｂは温度画像データを取得し、処理部１２に提供する。
【００４８】
このようにして、可視画像と温度画像の両方を同時に取得して、処理することが可能である。次に、こういった直接被験者を撮影するハードウェアとしての入力装置を含まない心理状態計測装置の実施形態例を説明する。
【００４９】
（心理状態計測装置を含む応用形態の全体構成例）
図４は、図１のテレビ番組視聴情報調査の応用形態例に即した構成、すなわち心理状態計測装置を含む全体構成例を示すブロック図である。図４においては、直接被験者を撮影するハードウェアとしての入力装置は別途設けられ、心理状態計測装置は、その画像データを受け取るものとして図示した。
【００５０】
図４において、１０はやはり被験者である。１１は入力部であり、可視画像の入力部１１１と温度画像の入力部１１２とからなるのは、図２と同様である。１３はコンテンツを提供する装置であり、代表例はテレビである。１３１は視聴対象のコンテンツ、すなわちテレビ番組である。１４はデータ収集部であり、入力部１１によって得た可視画像データと温度画像データ、そしてテレビ１３から得たコンテンツデータの両方を収集する。
【００５１】
１５はデータ処理部であり、データ収集部１４のデータに基づき、視聴しているコンテンツ１３１に対する被験者１０の心理状態計測の処理を行う。データ処理部１５は、心理状態計測部２と記録部１５１、コンテンツデータ処理部１５２、そして出力部１５３からなる。
【００５２】
心理状態計測部２は、さらにデータ収集部１４から可視画像データと温度画像データを取得する入力部２１と、それらのデータに基づき心理状態計測処理を行う処理部２２とからなる。図４では、心理状態計測部２が心理状態計測装置として機能する。心理状態計測部２のより詳細な構成については、後で図５を用いて説明する。
【００５３】
記録部１５１は心理状態計測部２の結果を記録し、かつコンテンツデータ処理部１５２に送る。コンテンツデータ処理部１５２は、視聴しているコンテンツのデータと心理状態計測部２の計測した心理状態レベルとを結びつけ、好感度などのデータとしてまとめ上げる。その結果は、必要に応じて出力部１５３により出力される。
【００５４】
心理状態計測装置２が図４の構成を取った場合、その構成要素である入力部２１と処理部２２は、図１におけるデータ収集装置１４ａ内に含まれることになる。すなわち、図４におけるデータ収集部１４とデータ処理部１５全体が、図１のデータ収集装置１４ａ内に含まれるような構成となる。
【００５５】
（心理状態計測装置のより詳細な構成例）
図５を用いて、図４における心理状態計測装置２のより詳細な構成を説明する。図５は心理状態計測装置２のより詳細な構成を示すブロック図である。図５の（ａ）、（ｂ）、（ｃ）は、構成要素は同じであるが、各構成要素の関連が少しずつ異なる３通りの構成例を挙げたものである。
【００５６】
図５の（ａ）、（ｂ）、（ｃ）において、２１１は可視画像入力部であり、被験者の可視画像データを取得する。２１２は温度画像入力部であり、被験者の温度画像データを取得する。可視画像入力部２１１は画像情報取得手段として機能し、可視画像（例えば顔画像情報）を画像情報として取得する。また、温度画像入力部２１２は生理的情報取得手段として機能し、温度画像（例えば体温情報）を生理的情報として取得する。この可視画像入力部２１１と温度画像入力部２１２が、図４における入力部２１に相当する。
【００５７】
可視画像を用いて心理状態の計測を行うには、通常、顔画像情報を用いて、その表情から心理状態を分類することが行われる。その処理動作については後述するが、本実施形態例でも顔画像情報を基にして処理するものとする。
【００５８】
また、温度画像についても、生理的情報として被験者の体温情報を用いることとする。特に顔の皮膚温を用いることにすれば、これも顔の温度画像データを基に処理することになる。従って顔の可視画像と温度画像を一度にデータ取得することも可能となり、以下の説明は、可視画像と温度画像と両方とも顔画像であるものとする。
【００５９】
図５の（ａ）、（ｂ）、（ｃ）において、２２１は顔部位位置特定部であり、可視画像と温度画像において、画像中の顔の位置を特定する処理を行う。これは顔の表情を特徴量として数値化するためにも、顔の中の特定位置の皮膚温を抽出するためにも必要な処理である。
【００６０】
図５の（ａ）、（ｂ）、（ｃ）において、２２２は心理状態分類部であり、顔部位の位置特定を行った可視画像データ、すなわち顔画像データに基づいて、予め定められた心理状態への分類を行う。場合によっては、温度画像データ、すなわち体温データに基づいてもよい。心理状態分類部２２２は、心理状態分類手段として機能する。
【００６１】
２２４は、可視画像データより得られる顔画像情報を照合するための第１の辞書データであり、温度画像データより得られる体温情報を照合するための第２の辞書データを含んでいてもよい。心理状態分類部２２２は、これらの辞書データを参照して心理状態の分類を行う。
【００６２】
図５の（ａ）、（ｂ）、（ｃ）において、２２３は心理状態レベル算出部であり、心理状態分類部２２２で分類された心理状態と、温度画像から得られた体温情報に基づいて、その心理状態のレベルを算出する。心理状態レベル算出部２２３は、心理状態レベル算出手段として機能する。
【００６３】
２２５は、温度画像データより得られる体温情報を照合するための第３の辞書データである。心理状態分類部２２３は、体温情報から直接求める以外に、この辞書データを参照して分類された心理状態のレベルを算出してもよい。
【００６４】
上記、顔部位位置特定部２２１、心理状態分類部２２２、心理状態レベル算出部２２３、そして第１、第２の辞書データ２２４及び第３の辞書データ２２５が、図４における処理部２２に相当する。
【００６５】
これにより、図１の場合を想定すると、心理状態レベル算出部２２３の結果に基づいて、例えば、被験者が視聴しているコンテンツに対して、好意的であり、興奮状態にある、もしくは嫌悪しており、不快感を感じている、といった好感度の違いを数値レベルとして計測することができる。
【００６６】
次に、図５の（ａ）、（ｂ）、（ｃ）の違いを説明する前に、図１の場合の心理状態計測の処理手順の概略を述べる。
【００６７】
（１）データ収集装置内の視聴率測定機構にて一定時刻毎の視聴チャンネルを記録する。（データ収集部１４）
これは従来の視聴率調査と同様である。本実施形態例では、これに以下の心理状態の計測が加わるものである。
【００６８】
（２）画像入力装置にて、一定時刻毎に可視画像と温度画像を入力する。（可視画像入力部２１１及び温度画像入力部２１２）
前述した画像入力装置により、可視画像と温度画像とを一度に取得することも可能である。これ以後の処理に対する両者の使い方で、図５の（ａ）、（ｂ）、（ｃ）の違いが生じてくる。
【００６９】
（３）可視画像と温度画像を基に顔位置を特定する。（顔部位位置特定部２２１）
この場合、公知の顔検出技術を用いることができるが、以下のような工夫により位置特定精度を高めることも可能である。例えば、テレビの表示画面が映っている状態であるという情報や、リモコン操作があったという情報によって顔の存在を確認する。顔の大まかな位置情報を予め付与する。
【００７０】
（４）可視画像を用いて表情から分類を行う。（心理状態分類部２２２）
顔画像情報を基にした、公知の表情認識技術を用いることができる。分類のために予め設定した心理状態と対応する表情の代表的顔画像をデータ化しておき、そのどれと最も近いかを照合し、分類するのが一般的な方法である。
【００７１】
（５）温度画像を用いて心理状態のレベルの計測を行う。（心理状態レベル算出部２２３）
心理状態のレベルにより、体温が変動することが知られており、これを利用する。例えば、ストレスを感じるときには鼻部の皮膚温が額などの周囲の皮膚温に対して下がり、興奮したり、激怒したりすると体温が上がる。各心理状態に応じて、鼻部と額部の温度やその温度差を基に心理的状態のレベルを数値化する。
また体温には個人差があるため、テレビ番組を見始めた時点の体温測定値を基準として、鼻と額の温度差や、額の温度に対して相対値をとることで、より精度を上げることができる。
【００７２】
図５の（ａ）、（ｂ）、（ｃ）の違いは、以下のように可視画像と温度画像の用い方にある。
【００７３】
図５（ａ）は、可視画像を基に心理状態の分類を行う場合のブロック図である。顔や顔部位の位置も可視画像のみを基に算出する場合を図には示してある。図示しないが、温度画像を用いて顔部位の位置特定することも可能である。
【００７４】
図５（ｂ）は、温度画像を基に心理状態の分類を行う場合のブロック図である。顔や顔部位の位置も温度画像のみを基に算出する場合を図には示してある。図示しないが、可視画像を用いて顔部位の位置特定することも可能である。
【００７５】
図５（ｃ）は、可視画像と温度画像の両方を基に顔部位の位置特定を行う場合のブロック図である。心理状態の分類は可視画像のみを基に算出する場合を図には示してある。図示しないが、心理状態の分類についても可視画像と温度画像の両方を用いて行うことが可能である。
【００７６】
次に図６及び図７を用いて、本実施形態例におけるテレビ番組視聴情報調査の処理フローと、そこで行われる心理状態計測処理フローを説明する。図６は、図１及び図４の全体構成でのテレビ番組視聴情報調査の処理動作を示すフローチャートである。図７は、図５（ｃ）の心理状態計測装置構成での心理状態計測処理動作を示すフローチャートである。
【００７７】
（テレビ番組視聴情報調査の処理動作を示すフロー）
図６において、視聴情報の取得処理はステップＳ１１で情報取得機能がＯＮにされることで始まる。情報取得機能のＯＮ／ＯＦＦの切り換え（不図示）は、データ収集装置１４ａあるいはデータ収集部１４に設けられている。
【００７８】
ステップＳ１２で、テレビ装置１３の電源が入っているかどうかを判別する。データ収集装置１４ａあるいはデータ収集部１４は、テレビ装置１３に接続されており、視聴チャンネルとその時刻などの情報を随時取得できるようになっている。
【００７９】
ステップＳ１２の判別で、テレビ装置１３の電源が入っている場合（ステップＳ１２：ＹＥＳ）、すなわちテレビ番組が視聴されている場合は、ステップＳ１３を実行する。テレビ装置１２の電源が入っていない場合（ステップＳ１２：ＮＯ）、すなわちテレビ番組が視聴されていない場合は、ステップＳ１２を繰り返し、テレビ装置１３の電源が入るまで待つことになる。
【００８０】
ステップＳ１３では、データ収集部１４が画像、コンテンツデータの収集を行う。画像は画像入力部１１の可視画像入力部１１１及び温度画像入力部１１２によって、テレビを視聴している被験者１０の顔が、それぞれ可視画像、温度画像として撮影される。コンテンツデータは、視聴しているテレビ番組、すなわち放送チャンネルと時刻データなどが収集される。
【００８１】
次にステップＳ１４で、心理状態計測部２がデータ収集部１４より可視画像、温度画像を取得し、被験者１０の心理状態の計測処理を行う。その処理動作の詳細は、後で図７のフローチャートを用いて説明する。
【００８２】
ステップＳ１４で心理状態の計測結果が出ると、ステップＳ１５で記録部１５１が心理状態の計測結果を記録する。また合わせてこの段階で、コンテンツデータ処理部１５２が取得したコンテンツデータを心理状態計測結果と対応させて、記録部１５１に記録させる、あるいは場合によっては、出力部１５３に出力させてもよい。
【００８３】
結果の処理が終わると、ステップＳ１６では、次の取得タイミングまでスリープする。つまり一定の時間経過毎に視聴情報をサンプリングする設定になっており、視聴情報を取得すると、一定時間後の次の取得タイミングまで処理の実行は停止する。サンプリングの方法は、一定時間経過に限らず、任意のサンプリング方法を用いてもよい。
【００８４】
次の視聴情報取得タイミングになると、ステップＳ１７で情報取得機能がＯＦＦになっているかどうかの判別を行う。情報取得機能がＯＦＦになっている場合（ステップＳ１７：ＹＥＳ）は、視聴情報取得処理は終了する。
【００８５】
ステップＳ１７の判別で情報取得機能がＯＦＦになっていない場合（ステップＳ１７：ＮＯ）、すなわち情報取得機能がＯＮになっている場合は、ステップＳ１２に戻り、テレビ装置１３の電源が入っているかどうかを判別する。テレビ装置１３の電源が入っている状態（ステップＳ１２：ＹＥＳ）になるのを待って、ステップＳ１３以下のデータ収集、心理状態計測処理が繰り返されることになる。
【００８６】
（心理状態計測処理の動作フロー）
次に図７を用いて、図６のステップＳ１４で行われる心理状態計測処理フローを説明する。図７は、図５（ｃ）の心理状態計測装置構成での心理状態計測処理動作を示すフローチャートである。
【００８７】
心理状態計測処理が開始されると、まずステップＳ２１で、心理状態計測部２による画像データの取得が行われる。可視画像入力部２１１がデータ収集部１４から可視画像データを取得し、温度画像入力部２１２が同じくデータ収集部１４から温度画像データを取得する。
【００８８】
次にステップＳ２２で、顔部位位置特定部２２１による顔部位の位置特定処理が行われる。温度画像と可視画像何れか、あるいは両方を用いて顔部位の位置特定処理を行うことができる。
【００８９】
温度画像と可視画像両方を用いる場合の処理例を挙げると、
（１）温度画像に対して、一定範囲の温度（例えば、３０度以上５０度未満）の領域を抽出し、
（２）可視画像に対して、背景差分法で侵入候補領域を抽出し、
（３）両領域のＡＮＤ処理によって顔位置領域を特定することができる。
【００９０】
顔は、目・鼻・口などの位置を反映した形で特定されるため、顔が特定されれば、顔に対する相対的な位置・サイズの情報をもとに鼻や額位置は容易に特定可能である。
【００９１】
次に、ステップＳ２３で、心理状態分類部２２２による心理状態分類処理が行われる。図７のステップＳ２３で行われる心理状態分類処理の詳細については、後で図８の心理状態分類処理動作を示すフロー図を用いて説明する。
【００９２】
ステップＳ２４では、心理状態レベル算出部２２３により、温度画像データをもとに体温情報数値演算処理が行われる。ステップＳ２３での心理状態分類結果に応じて、その心理状態のレベルを算出するのに必要な体温情報を温度画像から算出する処理である。
【００９３】
後述するように、例えば嫌悪・不快などに相当する心理状態では、額の皮膚温と比べて鼻付近の皮膚温が下がり、好感・興奮などに相当する心理状態では体温が上がるため、体温情報として、額の温度及び鼻と額の温度差を算出するとよい。
【００９４】
例えば、Ｔａ＝額領域の平均体温、Ｔｂ＝Ｔａ−鼻領域の平均体温を算出し、ＴａとＴｂのそれぞれに対して、視聴情報取得開始直後の値（Ｔａ０及びＴｂ０）を平常時の平均体温として、それらに対する相対値、すなわちＴａ’＝Ｔａ−Ｔａ０、Ｔｂ’＝Ｔｂ−Ｔｂ０を算出しておく。これらの体温情報を次の心理状態レベル算出処理で用いる。
【００９５】
また、この時点では、心理状態の分類結果が出ていることから、体温情報の算出は必要なものだけに限定してもよい。例えば、嫌悪・不快などに相当する心理状態という結果が出ているなら、Ｔｂ’のみを算出し、Ｔａ’は省略してもよい。
【００９６】
また、心理状態の分類処理に体温情報を用いることも可能である。例えば、Ｔａ’を算出しておき、その数値レベルから嫌悪・不快などに相当する心理状態に分類を導くような処理を行ってもよい。その場合ステップＳ２３の心理状態分類処理に先立ってステップＳ２４の体温情報数値演算処理を行っておくか、あるいは後から心理状態分類処理結果を修正するような処理を実行するような形にしてもよい。
【００９７】
ステップＳ２５では、同じく心理状態レベル算出部２２３により、体温情報をもとに心理状態レベル算出処理が行われる。用いる体温情報は、心理状態分類結果によって異なる。例えば、好感・興奮・爆笑などに相当する心理状態の場合にはＴａ’／Ｔｈａを算出し、嫌悪・不快・悲しみなどに相当する心理状態の場合にはＴｂ’／Ｔｈｂを算出し、平常状態に相当する心理状態の場合には０を算出し、レベル値とする。但し、Ｔｈａ、Ｔｈｂは正規化のための係数であり、システム開発時に複数の被験者に対して測定することで経験的に得ることができる。
【００９８】
また上記の体温情報を用いるレベル算出方法は一例であり、これに限定されるものではない。予め各心理状態における体温情報と心理状態レベルの辞書データ（第３の辞書データ）を備えておき、照合して決定するようにしてもよい。また、非線形な関係式を用いて演算する、テーブル参照する、予め統計的な方法でレベル設定のサンプリングを行っておく、などの様々な方法を取ることができる。各心理状態における生理的情報と心理状態レベルの関係は、今後認知科学分野での発展が予想され、それらを利用することも可能である。
【００９９】
以上で心理状態レベルの算出を終えると、心理状態計測処理は終了である。これで心理状態の分類結果と、その心理状態におけるレベル値が算出されているので、この後データ処理部１５でこれらの心理状態計測結果の記録、あるいはコンテンツデータと対応させての記録が行われることになる。
【０１００】
（心理状態分類処理の内容）
次に図８を用いて、図７のステップＳ２３で行われる心理状態分類処理の内容を説明する。図８は、図５の心理状態分類部２２２で行われる心理状態分類処理の動作を示す図である。
【０１０１】
心理状態分類処理は、本実施形態例では、顔画像情報を用いて、その表情から心理状態を分類する処理を行っている。顔の全体的な表情だけではなく、目における瞬きや注視時間、さらには瞳孔サイズなどの情報も有効である。その他にも心理状態分類に有効な要素を利用することができる。いずれにしても画像中からそれらの要素を抽出しなければならない。
【０１０２】
顔全体の表情を例に取ると、予め設定された様々な心理状態を代表するような平均的表情データを設定しておき、それを表情に関する辞書データ（第１の辞書データ）として備えておき、顔画像のデータと照合して最も近い表情を決定する、すなわちその表情データが代表している心理状態を決定する、というのが一般的な手法である。但し、顔画像のデータと照合して最も近い表情を決定する表情認識の手法については様々な手法が開発されており、様々な公知の技術に従って表情の辞書データを作成することができる。
【０１０３】
図８において、４０ａは辞書データである。ここでは心理状態の分類のために、心理状態Ａ、Ｂ、Ｃの３通りの心理状態を予め設定した。４１ａは心理状態Ａであり、平常状態に相当する心理状態である。４１ｂは心理状態Ｂであり、嫌悪、不快、さらには悲しみなどに相当する心理状態である。４１ｃは心理状態Ｃであり、好感、興奮、さらには爆笑などに相当する心理状態である。
【０１０４】
予め設定する心理状態の種類と数は任意である。その目的に応じて、上述したように、テレビ番組などの任意に設定された対象物に対する被験者の感情を表すような心理状態を設定してもよいし、眠気、疲労、集中、機嫌の良し悪しなどの、被験者の生理的状態を表すような心理状態を設定してもよい。
【０１０５】
上記の、予め設定した心理状態Ａ、Ｂ、Ｃの３通りの心理状態それぞれについて、代表的な表情を設定し、それぞれの表情を表す特徴ベクトルのデータを、それぞれ４２ａの表情に関する辞書データＡ、４２ｂの表情に関する辞書データＢ、４２ｃの表情に関する辞書データＣとして登録した。この４２ａ、４２ｂ、４２ｃが第１の辞書データである。
【０１０６】
辞書データ４０ａと照合して心理状態を分類する手順を説明する。
【０１０７】
ステップＳ３１で可視画像としての顔画像データが得られると、ステップＳ３２で表情評価部位がサンプリングされ、顔画像情報が得られる。これは顔全体の表情であってもよいし、目や口など特定の部位に着目した表情であってもよい。
【０１０８】
ステップＳ３３で各表情のデータを用意してある第１の辞書データ４２ａ、４２ｂ、４２ｃと照合するため、同じ特徴ベクトルのデータとして算出する。そしてステップＳ３７で辞書データ４０ａと照合する。
【０１０９】
ステップＳ３８で表情に関する辞書データＡ、Ｂ、そしてＣから最も近い辞書データを選び出し、それに相当する心理状態４１ａ、４１ｂ、４１ｃ、すなわち心理状態Ａ、ＢまたはＣの何れかを心理状態分類結果として決定する。
【０１１０】
次に図９を用いて、図８の心理状態分類処理の内容と同様であるが、体温情報をも心理状態分類に用いる場合について説明する。図９も、図５の心理状態分類部２２２で行われる心理状態分類処理の動作を示す図である。
【０１１１】
図９において、４０ｂは辞書データである。図８と異なるのは、以下に述べるように体温に関する第２の辞書データが加わっていることである。
【０１１２】
すなわち、体温に関する辞書データ（第２の辞書データ）を、表情に関する第１の辞書データと併せて心理状態分類のために登録することもできる。その場合、表情に関する辞書データと体温に関する辞書データと両方の照合動作を行うことになる、あるいは両方を統合した辞書データを作成しておき照合するなど、総合的に最も近い心理状態を決定することが好ましい。
【０１１３】
辞書データ４０ｂと照合して心理状態を分類する手順を説明する。図８で述べた、顔画像情報を第１の辞書データと照合する手順以外に、以下の手順が加わることになる。
【０１１４】
体温情報をも心理状態分類に用いる場合は、ステップＳ３４で温度画像データが得られると、ステップＳ３５で体温を評価する部位がサンプリングされ、体温情報が得られる。例えば、鼻や額などの体温の情報である。
【０１１５】
ステップＳ３６で体温データを算出する。これは複数の部位を基にした多次元のデータであってもよいし、図７における体温情報数値演算処理で算出したような体温情報であってもよい。辞書データ４０ｂには、この体温データに見合う体温に関する第２の辞書データ４３ａ、４３ｂ、４３ｃが用意されている。
【０１１６】
ステップＳ３７で、ステップＳ３６で算出した体温データを辞書データ４０ｂと照合する。併せてステップＳ３３で算出した表情に関するデータも辞書データ４０ｂと照合しているので、この場合、ステップＳ３８では、表情に関するデータと体温に関するデータとの両方の照合結果を総合して、両者が最も近いと判定される心理状態４１ａ、４１ｂ、４１ｃ、すなわち心理状態Ａ、ＢまたはＣの何れかを心理状態分類結果として決定することになる。
【０１１７】
また併せて、体温情報によるレベル算出にこの辞書データ４０ｂを用いる場合も想定するならば、４３ａの体温に関する辞書データＡ、４３ｂの体温に関する辞書データＢ、４３ｃの体温に関する辞書データＣのそれぞれにおいて、各心理状態でのレベル、すなわち強さに応じて複数段階の辞書データを第３の辞書データとして併せて登録しておいてもよい。そうすれば、この体温に関する辞書データ（第３の辞書データ）と体温情報を照合することで、各心理状態でのレベルを算出することができる。
【０１１８】
（温度画像を心理状態の分類にも利用する場合）
図１０を用いて、温度画像が心理状態の分類にも寄与する状況を説明する。図１０は、心理状態Ａ、ＢまたはＣにある被験者の顔について、温度画像を取得した温度画像データである。すなわち、図１０（ａ）は平常状態に相当する心理状態にある時の、図１０（ｂ）は嫌悪、不快、さらには悲しみなどに相当する心理状態にある時の、そして図１０（ｃ）は好感、興奮、さらには爆笑などに相当する心理状態にある時の、それぞれ温度画像データである。
【０１１９】
図１０（ａ）は平常状態であるが、テレビ番組視聴情報調査の場合であれば、テレビ視聴開始直前の体温分布で代表される。鼻部と額部の温度差は小さく、全体的に体温は安定している。全体的な体温については、比較的周囲に対する温度分布変化の少ない額部の温度を体温情報として使用するのが妥当である。
【０１２０】
図１０（ｂ）は嫌悪、不快、さらには悲しみなどに相当する心理状態であるが、テレビ番組視聴情報調査の場合であれば、視聴しているテレビ番組に対しては好感度の悪い状態の体温分布と見なせる。他の部分と比べて鼻付近（図のＮ参照）の温度が下がっている。鼻部と、比較的安定している額部との温度差を体温情報として使用するのが妥当である。
【０１２１】
図１０（ｃ）は好感、興奮、さらには爆笑などに相当する心理状態であるが、テレビ番組視聴情報調査の場合であれば、視聴しているテレビ番組に対して好感を持っている状態の体温分布と見なせる。全体的に体温は上昇する傾向が見られる。比較的安定している額部の温度を体温情報として使用するのが妥当である。
【０１２２】
上記の体温情報を用いて、各心理状態のレベルを算出できることは既に述べたとおりである。また、心理状態のレベルだけでなく、心理状態の分類にも有効であることも上述したとおりである。もちろん体温情報だけですべての心理状態を分類できるわけではないが、表情による分類と互いに補完し合いながら用いれば、心理状態分類の精度を上げることができる。
【０１２３】
以上のような実施形態例によって、被験者の画像情報と、同じく被験者の生理的情報とを取得し、両者を統合処理することにより、被験者の心理状態を精度よく分類することが可能で、またそれを基に、被験者における当該心理状態のレベル、つまり強さをも精度よく計測することが可能な心理状態計測装置を提供することができる。
【０１２４】
なお、上述の実施形態例は、すべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１２５】
【図１】本発明に係る一実施形態例としての心理状態計測装置を用いた応用システム（テレビ番組視聴情報調査）を示す図である。
【図２】本発明に係る一実施形態として、最小限の構成要素を備えた心理状態計測装置の構成例を示すブロック図である。
【図３】本実施形態例に係る心理状態計測装置における可視画像と温度画像の入力機構の例を示す構成図である。
【図４】本実施形態例に係る心理状態計測装置を含む応用システムの全体構成例を示すブロック図である。
【図５】本実施形態例に係る心理状態計測装置のより詳細な構成例を示すブロック図である。
【図６】本実施形態例に係る心理状態計測装置を含む応用システム（テレビ番組視聴情報調査）の処理動作例を示すフローチャートである。
【図７】図５の心理状態計測装置構成における心理状態計測処理動作例を示すフローチャートである。
【図８】図５の心理状態分類部で行われる、第１の辞書データを用いる心理状態分類処理の動作例を示す図である。
【図９】図５の心理状態分類部で行われる、第２の辞書データも用いる心理状態分類処理の動作例を示す図である。
【図１０】３通りの異なる心理状態にある被験者の顔について、温度画像を取得した温度画像データの例である。
【符号の説明】
【０１２６】
１、２  心理状態計測装置
１０  被験者（テレビ番組の視聴者）
１１ａ  画像入力装置
１１、２１  入力部
１２、２２  処理部
１３  コンテンツ提供装置（テレビ）
１４ａ  データ収集装置
１４  データ収集部
１５  データ処理部
３１  光学系
３２  ハーフミラー
３３ａ、３３ｂ  フィルター
３４ａ、３４ｂ  撮像素子
４０ａ、４０ｂ  辞書データ
４１ａ、４１ｂ、４１ｃ  心理状態分類
４２ａ、４２ｂ、４２ｃ  表情に関する辞書データ
４３ａ、４３ｂ、４３ｃ  体温に関する辞書データ
１１１、２１１  可視画像入力部
１１２、２１２  温度画像入力部
１３１  コンテンツ（テレビ番組）
１５１  記録部
１５２  コンテンツデータ処理部
１５３  出力部
２２１  顔部位位置特定部
２２２  心理状態分類部
２２３  心理状態レベル算出部
２２４  第１（＆第２）の辞書データ
２２５  第３の辞書データ
【図１】
2007068620.tif 000003
【図２】
2007068620.tif 000004
【図３】
2007068620.tif 000005
【図４】
2007068620.tif 000006
【図５】
2007068620.tif 000007
【図６】
2007068620.tif 000008
【図７】
2007068620.tif 000009
【図８】
2007068620.tif 000010
【図９】
2007068620.tif 000011
【図１０】
2007068620.tif 000012