(57)【特許請求の範囲】
【請求項１】
複数の観察者が少なくとも一人の人物を撮影した学習用映像に基づいて上記学習用映像中の人物の状態を解釈した対人認知状態を時系列にラベル付けした解釈ラベル集合を生成する対人認知ラベリング部と、
上記学習用映像に基づいて上記学習用映像中の人物の行動を時系列にラベル付けした学習用行動時系列を生成する行動認識部と、
上記複数の観察者それぞれの個人特性を表す観察者特性を入力する観察者特性入力部と、
上記解釈ラベル集合及び上記学習用行動時系列を用いて、行動時系列が与えられたもとでの対人認知状態の尤度を表す客観的行動認知傾向モデルのパラメタを学習する客観的行動認知傾向モデル学習部と、
上記解釈ラベル集合及び上記観察者特性を用いて、個人特性が与えられたもとでの対人認知状態の尤度を表す主観的対人認知傾向モデルのパラメタを学習する主観的対人認知傾向モデル学習部と、
を含む対人認知傾向モデル学習装置。
【請求項２】
請求項１に記載の対人認知傾向モデル学習装置であって、
上記主観的対人認知傾向モデルは、上記観察者特性から抽出した典型的人格の個人特性をトピックとし、上記典型的人格の混合率を潜在変数とする確率的トピックモデルである
対人認知傾向モデル学習装置。
【請求項３】
請求項１または２に記載の対人認知傾向モデル学習装置であって、
上記個人特性は、性別及び心理尺度スコアを含み、
上記主観的対人認知傾向モデルは、Nを観察者の数とし、1≦j≦Nとし、ejをj番目の観察者の対人認知状態とし、gjをj番目の観察者の性別とし、sjをj番目の観察者の心理尺度スコアとし、Kを典型的人格の数とし、1≦k≦Kとし、πkをk番目の典型的人格の事前確率とし、αkをk番目の典型的人格の持つ対人認知傾向とし、βkをk番目の典型的人格の性別とし、μkをk番目の典型的人格の心理尺度スコアの平均ベクトルとし、Σkをk番目の典型的人格の心理尺度スコアの共分散行列とし、Mは多項分布を表し、Bは二項分布を表し、Nは正規分布を表すとして、次式で表される同時確率により計算される
【数１９】
0005931021.tif 000020
対人認知傾向モデル学習装置。
【請求項４】
請求項１から３のいずれかに記載の対人認知傾向モデル学習装置により学習された主観的対人認知傾向モデルを記憶する主観的対人認知傾向モデル記憶部と、
請求項１から３のいずれかに記載の対人認知傾向モデル学習装置により学習された客観的行動認知傾向モデルを記憶する客観的行動認知傾向モデル記憶部と、
上記主観的対人認知傾向モデルを用いて、入力された対象観察者の個人特性から上記対象観察者の主観的対人認知傾向を求める主観的対人認知傾向推定部と、
上記客観的行動認知傾向モデルを用いて、少なくとも一人の人物を撮影した推定用映像に基づいて上記推定用映像中の人物の行動を時系列にラベル付けした推定用行動時系列から客観的行動認知傾向を求める客観的行動認知傾向推定部と、
上記主観的対人認知傾向及び上記客観的行動認知傾向を用いて主観的対人認知状態推定結果を求める主観的対人認知状態推定部と、
を含む対人認知状態推定装置。
【請求項５】
請求項１から３のいずれかに記載の対人認知傾向モデル学習装置により学習された主観的対人認知傾向モデルを記憶する対人認知傾向モデル記憶部と、
上記主観的対人認知傾向モデルを用いて、入力された対象観察者の主観的対人認知傾向から上記対象観察者の個人特性を求める対象観察者特性推定部と、
を含む対人認知状態推定装置。
【請求項６】
対人認知ラベリング部が、複数の観察者が少なくとも一人の人物を撮影した学習用映像に基づいて上記学習用映像中の人物の状態を解釈した対人認知状態を時系列にラベル付けした解釈ラベル集合を生成する対人認知ラベリングステップと、
行動認識部が、上記学習用映像に基づいて上記学習用映像中の人物の行動を時系列にラベル付けした学習用行動時系列を生成する行動認識ステップと、
観察者特性入力部が、上記複数の観察者それぞれの個人特性を表す観察者特性を入力する観察者特性入力ステップと、
客観的行動認知傾向モデル学習部が、上記解釈ラベル集合及び上記学習用行動時系列を用いて、行動時系列が与えられたもとでの対人認知状態の尤度を表す客観的行動認知傾向モデルのパラメタを学習する客観的行動認知傾向モデル学習ステップと、
主観的対人認知傾向モデル学習部が、上記解釈ラベル集合及び上記観察者特性を用いて、個人特性が与えられたもとでの対人認知状態の尤度を表す主観的対人認知傾向モデルのパラメタを学習する主観的対人認知傾向モデル学習ステップと、
を含む対人認知傾向モデル学習方法。
【請求項７】
主観的対人認知傾向推定部が、請求項６に記載の対人認知傾向モデル学習方法により学習された主観的対人認知傾向モデルを用いて、入力された対象観察者の個人特性から上記対象観察者の主観的対人認知傾向を求める主観的対人認知傾向推定ステップと、
客観的行動認知傾向推定部が、請求項６に記載の対人認知傾向モデル学習方法により学習された客観的行動認知傾向モデルを用いて、少なくとも一人の人物を撮影した推定用映像に基づいて上記推定用映像中の人物の行動を時系列にラベル付けした推定用行動時系列から客観的行動認知傾向を求める客観的行動認知傾向推定ステップと、
主観的対人認知状態推定部が、上記主観的対人認知傾向及び上記客観的行動認知傾向を用いて主観的対人認知状態推定結果を求める主観的対人認知状態推定ステップと、
を含む対人認知状態推定方法。
【請求項８】
請求項１から３のいずれかに記載の対人認知傾向モデル学習装置もしくは請求項４または５に記載の対人認知状態推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の観察者が人物の状態をどのように解釈するかの傾向を学習し、特定の観察者が人物の状態をどのように解釈するかを推定する技術に関する。
【背景技術】
【０００２】
対面での対話は、情報の伝達や共有、他者の気持ちの理解、意思決定などを行う際の最も基本的な形態のコミュニケーションである。しかし、うまく対話を行うことは必ずしも容易なことではなく、意思疎通における些細な齟齬から対人関係を損じることも少なくない。そのため、機械を介した対話や対話エージェントといった情報技術による対話の質や効率の改善が望まれている。これを実現するためには、表情やジェスチャといった対話者の行動を認識するのみならず、対話者の感情や人格、あるいは対話者間の関係性なども理解する必要がある。自動対話分析の研究も行動の自動認識から始まったが、近年ではこのような対話者の内部状態の推定へと移行してきている。
【０００３】
コミュニケーションの場面では、対話者の内部状態には二つの異なる側面がある。一つは、真の状態、すなわち、実際に本人たちの内部で生じている状態という側面である。もう一つは、認知状態、すなわち、他者にどのように解釈されるかという側面である。これまでの大半の研究は、真の状態の推定を目指してきた。しかし、特に、行動を介した内部状態の表出とそこからの内部状態の認知が繰り返される対話の場面においては、認知状態も非常に重要である。
【０００４】
近年、感性情報工学分野では、情動や気分などの認知状態を推定することが注目されてきている。従来研究は、専ら認知状態とその認知される人物の言語／非言語行動との関連付けを行ってきた。例えば、対象人物が笑顔を浮かべていたらその認知状態は幸福となるといった具合である。このとき、観察者がどう解釈するかは主観的、すなわち観察者次第であり、大きな解釈の偏差を含んでいることが過去の心理学の研究で明らかにされている。そこで、従来研究では、この主観性や偏差を排除するため、複数の観察者から解釈を集め、その代表値（例えば、日本人や３０代の男性／女性などの平均値や最頻値）を客観的解釈としてそれを正しく推定しようとする試みがなされてきた。対話者の内部状態についての客観的解釈をその対話者の行動から推定する技術として、例えば、特許文献１に記載の技術が存在する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１８５７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、ある特定の観察者の解釈がどのように偏るか、さらに、ある認知の対象に対してどのように解釈するか、といったある一人の観察者の主観的な解釈を推定したい場合には、その観察者の解釈のラベルを使った教師あり学習でもってモデルを学習することが必要であった。つまり、従来技術の多くは、ある特定の観察者の解釈がどのように偏るか、さらに、ある認知の対象に対してどのように解釈するか、といったある一人の観察者の主観的な解釈を、その観察者の解釈情報を用いずに推定できるには至っていないと言える。
【０００７】
対話中の二者の共感状態が外部観察者の集団からどのように解釈されるかの分布、すなわち、共感状態を｛共感／反感／どちらでもない｝の３状態として、ある対話を共感状態のそれぞれと解釈する観察者の割合の分布を推定する方法が複数提案されている。しかし、従来モデルの大半は観察者の個人的な特性を全く考慮していないため、特定の観察者の主観的な解釈は推定できない。
【０００８】
この発明の目的は、ある人物の感情や対話中の人物間の関係性などの内部状態について、特定の観察者が持つ主観的な解釈を正しく推定することである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、この発明の一態様である対人認知傾向モデル学習装置は、対人認知ラベリング部、行動認識部、観察者特性入力部、客観的行動認知傾向モデル学習部及び主観的対人認知傾向モデル学習部を含む。対人認知ラベリング部は、複数の観察者が少なくとも一人の人物を撮影した学習用映像に基づいて学習用映像中の人物の状態を解釈した対人認知状態を時系列にラベル付けした解釈ラベル集合を生成する。観察者特性入力部は、複数の観察者それぞれの個人特性を表す観察者特性を入力する。客観的行動認知傾向モデル学習部は、解釈ラベル集合及び学習用行動時系列を用いて、行動時系列が与えられたもとでの対人認知状態の尤度を表す客観的行動認知傾向モデルのパラメタを学習する。主観的対人認知傾向モデル学習部は、観察者特性及び解釈ラベル集合を用いて、個人特性が与えられたもとでの対人認知状態の尤度を表す主観的対人認知傾向モデルのパラメタを学習する。
【００１０】
この発明の他の態様である対人認知状態推定装置は、主観的対人認知傾向モデル記憶部、客観的行動認知傾向モデル記憶部、主観的対人認知傾向推定部、客観的行動認知傾向推定部及び主観的対人認知状態推定部を含む。主観的対人認知傾向モデル記憶部は、対人認知傾向モデル学習装置により学習された主観的対人認知傾向モデルを記憶する。客観的行動認知傾向モデル記憶部は、対人認知傾向モデル学習装置により学習された客観的行動認知傾向モデルを記憶する。主観的対人認知傾向推定部は、主観的対人認知傾向モデルを用いて、入力された対象観察者の個人特性から対象観察者の主観的対人認知傾向を求める。客観的行動認知傾向推定部は、客観的行動認知傾向モデルを用いて、少なくとも一人の人物を撮影した推定用映像に基づいて推定用映像中の人物の行動を時系列にラベル付けした推定用行動時系列から客観的行動認知傾向を求める。主観的対人認知状態推定部は、主観的対人認知傾向及び客観的行動認知傾向を用いて主観的対人認知状態推定結果を求める。
【発明の効果】
【００１１】
この発明によれば、ある人物の感情や対話中の人物間の関係性などの内部状態について、特定の観察者が持つ主観的な解釈を正しく推定することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、対人認知傾向モデル学習装置の機能構成を例示する図である。
【図２】図２は、対人認知傾向モデル学習方法の処理フローを例示する図である。
【図３】図３は、対人認知状態推定装置の機能構成を例示する図である。
【図４】図４は、対人認知状態推定方法の処理フローを例示する図である。
【図５】図５は、主観的対人認知傾向モデルを説明するための図である。
【図６】図６は、応用例の対人認知状態推定装置の機能構成を例示する図である。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１４】
［発明のポイント］
実施形態の説明に先立ち、この発明のポイントについて説明する。この発明における一番のポイントは、観察者の主観的対人認知傾向と、その観察者の個人特性（例えば、性別や心理尺度スコア）とを関連付けるモデルを構築する点である。ここで、主観的対人認知傾向というのは、ある観察者が他者の内部状態をどう解釈するのかの傾向のことであり、ここでは、対人認知傾向を一次元の確率分布として表現する。例えば、肯定的あるいは否定的に偏った解釈をしやすい、または中立的な解釈をしやすい（中心化傾向）、あるいは中立的な解釈を避けやすい（極端反応傾向）といった傾向が挙げられる。
【００１５】
後述する実施形態では、観察者の人格を直接観測できない潜在変数として表現し、各観察者の人格を学習データから自動的に獲得した典型的な観察者の人格（以下、典型的人格と呼ぶ）の混合によって表現する。典型的人格は対人認知傾向及び個人特性についてそれぞれ固有のパラメタを持っており、それらのパラメタから対人認知傾向及び個人特性を確率的に決定するものと仮定する。
【００１６】
このような確率モデルに基づき推定される主観的対人認知傾向を事前情報とし、既存技術により推定される客観的行動認知傾向を事後情報として組み合わせることで、その観察者が他者の感情をどう解釈するのかを推定できるようになる。客観的行動認知傾向とは、観察者集団が他者の行動から感情を解釈するときにどうばらつくかの傾向である。これを可能とするために次の二つの仮定を設けている。一つは、観察者の主観的解釈が他者の行動の間でどう変化するのかは観察者に関わらず一定であるという仮定である。例えば、他者の笑顔と怒り顔の間での解釈が相対的にどの程度変化するかは観察者によらず一定であるということである。もう一つの仮定は、観察者によって解釈のバイアス（主観的対人認知傾向）が異なるということである。この二つの仮定により、他者のある行動を見たときの観察者の解釈が観察者の間で異なるということが言える。
【００１７】
なお、対象とする対人認知傾向としては、名義尺度（カテゴリカルデータ）、順序尺度、間隔尺度及び比例尺度のいずれの尺度のデータも適用可能である。また、心理尺度については、既存の心理アンケートから測定したスコアとすればよい。
【００１８】
この発明では、推定の対象とする人物の内部状態は、喜びや怒り、悲しみといった一人の人物の基本感情であってもよいし、共感や反感などの二者もしくは三者以上の対話の状態であってもよい。後述する実施形態では、対話における二者間の共感／反感の状態を対象とする。対話中の共感や反感は、同調圧力（大勢の他者が自分とは異なる同じ意見を持っているときには、それに従わなければならないと感じること）に深く関わり、合意形成や人間関係を構築する上での基本要素である。
【００１９】
［実施形態］
この発明の一つの実施形態は、観察者集団が学習用映像を解釈した結果に基づいて主観的対人認知傾向モデルを学習する対人認知傾向モデル学習装置と、学習した対人認知傾向モデルを用いて特定の観察者が推定用映像中の人物の内部状態を解釈した結果を推定する対人認知状態推定装置とからなる。対人認知傾向モデル学習装置と対人認知状態推定装置とは、必ずしも別々の装置である必要はなく、各装置の含む各部を重複なく含む一台の装置として構成することも可能である。
【００２０】
＜対人認知傾向モデル学習装置＞
図１を参照して、実施形態に係る対人認知傾向モデル学習装置の機能構成の一例を説明する。対人認知傾向モデル学習装置は、一人以上の人物を撮影した映像や、その映像に基づいて複数の観察者が人手により付与した解釈ラベルなどを中間出力しつつ、最終的に主観的対人認知傾向モデルのパラメタ及び客観的行動認知傾向モデルのパラメタを出力する装置である。
【００２１】
実施形態に係る対人認知傾向モデル学習装置１は、映像入力部１０、対人認知ラベリング部１１、観察者特性入力部１２、行動認識部１３、主観的対人認知傾向モデル学習部１４、客観的行動認知傾向モデル学習部１５、主観的対人認知傾向モデル記憶部２０及び客観的行動認知傾向モデル記憶部２１を含む。対人認知傾向モデル学習装置１は、例えば、中央演算処理装置（Central Processing Unit、CPU）、主記憶装置（Random Access Memory、RAM）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。対人認知傾向モデル学習装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。対人認知傾向モデル学習装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。対人認知傾向モデル学習装置１が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。対人認知傾向モデル学習装置１が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。
【００２２】
図２を参照して、対人認知傾向モデル学習方法の処理フローの一例を、実際に行われる手続きの順に従って説明する。
【００２３】
ステップＳ１０において、映像入力部１０は、一人以上の人物を撮影した学習用映像を入力して記憶する。学習用映像は主観的対人認知傾向モデル及び客観的行動認知傾向モデルの学習に用いられる映像であり、学習に十分な分量の映像である必要がある。撮影対象が複数人対話である場合、各対話者について一台のカメラを用意してもよいし、魚眼レンズを用いるなどした全方位カメラ一台で対話者全員を撮影してもよい。撮影した映像はハードディスクドライブ（Hard Disk Drive、HDD）等の媒体に記憶される。さらに、対話映像中に三者以上が含まれている場合は、二者がインタラクションを行っているシーンを全て抽出する。対話映像が二者による対話であれば映像を分割する必要はない。また、他者状態として、基本感情などある一人の内部状態を対象とする場合は、対話者一人ずつを抽出すればよい。分割した結果は、各シーンを個別の映像ファイルとして出力してもよいし、元の対話映像中からシーンを切り出す時刻及び位置の情報を記録しておいてもよい。以降の対人認知傾向モデル学習装置の処理では、映像中のすべてのシーンに対してそれぞれ処理を行うものとする。
【００２４】
ステップＳ１１において、対人認知ラベリング部１１は、学習用映像の各シーンを複数の観察者（以下、学習用観察者集団と呼ぶ）に提示し、各観察者はそれぞれのシーンに対して、｛共感／反感／どちらでもない｝のうちの一つの解釈を示すラベルを付与する。以下、複数の観察者それぞれが付与した解釈ラベルの結果全体を解釈ラベル集合と呼ぶ。生成した解釈ラベル集合は、主観的対人認知傾向モデル学習部１４及び客観的行動認知傾向モデル学習部１５へ出力される。
【００２５】
ステップＳ１２において、観察者特性入力部１２は、観察者の個人特性（性別及び心理尺度スコア）を入力する。入力された観察者の個人特性は、主観的対人認知傾向モデル学習部１４へ出力される。心理尺度スコアについては、心理アンケートを提示してそれぞれの質問に対する回答を入力してスコアを自動で計算する。あるいは、あらかじめアンケート用紙などを用いてスコアを計算しておき、そのスコアを入力してもよい。観察者特性入力部１２で対象とする観察者は、対人認知ラベリング部１１にて解釈のラベル付けを行った学習用観察者集団である。後述する対人認知状態推定装置の処理では、対象とする観察者は、推定の対象とする観察者である。推定の対象とする観察者は学習用観察者集団に含まれていてもよいし、含まれていなくてもよい。
【００２６】
観察者の個人特性についてより詳細に説明する。心理尺度として、例えば、主要５因子性格検査（BigFive性格検査）、及びDavisのInterpersonal Reactivity Index（IRI）を使用することができる。なお、この発明では、計算機で処理可能な範囲において定量化された任意の数の任意の特性を使用することが可能である。例えば、BigFive性格検査は、「外向性」、「情緒不安定性」、「開放性」、「誠実性」及び「調和性」の５つの因子からなる。各因子に対して１２項目ずつ計６０項目の特性語（例えば、「話し好き」、「悩みがち」、「独創的な」など）が用意されており、それぞれに対して「非常に当てはまる」（スコア＝７）から「まったくあてはまらない」（スコア＝１）から選んだ一つの回答から合計点（スコアの和）を集計することで、５つの因子のスコア（各要素が１２〜８４の間の値をとる５次元のベクトル）が計算される。DavisのInterpersonal Reactivity Index（IRI）の場合も同様に、「視点取得」、「共感的配慮」、「空想」及び「個人的苦悩」の４つの因子それぞれに対して、「何かを決定する時には、自分と反対の意見を持つ人たちの立場に立って考えてみる」といった７つずつの質問に対する回答の結果から合計点を計算し、４次元のベクトルが得られる。よって、BigFive性格検査及びDavisのInterpersonal Reactivity Index（IRI）の両方を使用する場合、特性は５＋４＝９次元のベクトルとして表現される。
【００２７】
ステップＳ１３において、行動認識部１３は、映像入力部１１で取得した学習用映像に基づいて、その映像中の各人物の行動を時系列にラベル付けした学習行動時系列を生成する。生成した学習行動時系列は、客観的行動認知傾向モデル学習部１５へ出力される。この実施形態では、表情、視線、頭部ジェスチャ及び発話の有無の４種類の行動を対象とする。表情は、感情を表す主要な経路である。視線は、感情を誰に伝えようとしているのかを示すため、または、他者の行動を観察するために必要である。頭部ジェスチャは、しばしば他者の意見に対する態度の表明として表出される。発話の有無は、話し手／聞き手という対話役割の主要な指標となる。表情は｛無表情／微笑／哄笑／苦笑／思考中／その他｝の６状態とする。視線は、どの対話者を見ているかを表し、状態の集合は｛他者のうちの誰か一人（状態数は対話者数に等しい）／どの他者の方も見ていない｝の（対話者数＋１）状態とする。頭部ジェスチャは、｛なし／頷き／首ふり／傾げ｝の４状態を基本とし、これらの組み合わせであってもよい。発話は｛発話／沈黙｝の２状態とする。それぞれの行動は外部の別々の認識装置を用いて認識しても構わない。例えば、表情の認識であれば、認識装置の一例として下記の参考文献１に記載された認識装置が挙げられる。なお、行動認識部１３は、対人認知ラベリング部１１と同様に、人手によるラベル付けを行いその結果を出力するとしても構わない。
〔参考文献１〕特許第４９４２１９７号公報
【００２８】
ステップＳ１４において、主観的対人認知傾向モデル学習部１４は、観察者特性入力部１２から入力された観察者特性及び対人認知ラベリング部１１から出力される解釈ラベル集合を用いて、観察者の対人認知傾向と観察者の個人特性とを関連付ける主観的対人認知傾向モデルのパラメタを学習する。
【００２９】
＜＜主観的対人認知傾向モデルの概要＞＞
以下、図５を参照しながら、主観的対人認知傾向モデルについて詳細に説明する。この実施形態では、主観的対人認知傾向と対象観察者の個人特性を関連付けるモデルとして、確率的トピックモデルを用いる。確率的トピックモデルは、様々な離散データに隠れた潜在的なトピックを推定することができるモデルである。確率モデルを用いるのは、認知の過程に含まれる曖昧性や文脈情報など様々な外部要因や欠損情報をベイズ推定の枠組みで効果的に取り扱えるためである。
【００３０】
この実施形態では、観察者の人格を直接観測できない潜在変数として表現し、各観察者の人格を学習データから自動的に獲得したK個の典型的人格の混合によって表現する。そして、それら典型的人格は対人認知傾向及び個人特性についてそれぞれ固有のパラメタを持っており、そこから対人認知傾向及び個人特性が確率的に決定されるものと仮定する。典型的人格は、確率的トピックモデルにおけるトピックに相当する。典型的人格の数Kはモデルの学習に要する時間と推定する人格の詳細度を鑑みて決定すればよいが、この実施形態ではK=4とする。典型的人格は、以下の式(1)に示すK次元ベクトルで表現される。
【００３１】
【数１】
0005931021.tif 000002
【００３２】
ここで、zはK個の要素のうちどれか一つだけが1を取り他は0となる、つまり1-of-K表現である。例えば、k（1≦k≦K）番目の典型的人格については、zk=1であり、残りの要素は0となる。
【００３３】
N人の観察者がいたときの観察者j（∈{1,…,N}）の人格は、このベクトルzを用いて、以下の式(2)にて表現される。
【００３４】
【数２】
0005931021.tif 000003
【００３５】
ここで、P(zj,k=1)は、観察者jの人格におけるk番目の典型的人格の占める割合を表し、以下の式(3)が成り立つ。
【００３６】
【数３】
0005931021.tif 000004
【００３７】
この実施形態では主観的対人認知傾向モデルに生成モデルを用いる。ここで、生成モデルという意味は、まず、潜在変数で表現される観察者jの人格が典型的人格の事前確率πに従って確率的に決定され、次いで、その人格に従って主観的対人認知傾向と個人特性が確率的に決定されるということである。事前確率πは、以下の式(4)により表される。
【００３８】
【数４】
0005931021.tif 000005
【００３９】
なお、典型的人格の事前確率πはすべての観察者に対して等しいものとする。
【００４０】
各観察者の主観的対人認知傾向は確率分布αにて表される。確率分布αを、以下の式(5)に示す。
【００４１】
【数５】
0005931021.tif 000006
【００４２】
ここで、確率αeは対人認知状態e∈{1,…,Ne}が対象観察者に選択される確率を表し、以下の式(6)が成り立つ。
【００４３】
【数６】
0005931021.tif 000007
【００４４】
この実施形態では、k番目の典型的人格が対人認知状態eの解釈を生成する過程を多項分布にてモデル化する。この多項分布は、M(e|1,αk)と表される。ここで、多項分布のパラメタαkはk番目の典型的人格の持つ主観的対人認知傾向を意味している。同様に、k番目の典型的人格はB(g|1,βk)で表される二項分布に従って観察者の性別g={0,1}を決定しているものとする。ここで、二項分布のパラメタβkはk番目の典型的人格に占める男性（g=1）の割合を表す。心理尺度スコアsについては、k番目の典型的人格は正規分布N(s|μk,Σk)に従って生成すると仮定する。ここで、心理尺度はNs個の尺度からなるものとする。つまり、siはi番目の心理尺度のスコアとして、以下の式(7)で表すことができる。
【００４５】
【数７】
0005931021.tif 000008
【００４６】
また、正規分布のパラメタμk及びΣkは、k番目の典型的人格が持つ心理尺度スコアsの平均ベクトル及び共分散行列をそれぞれ表す。この実施形態では、数学的単純化のために、心理尺度スコアは観察者の潜在的人格が与えられたもとで、尺度間で独立であることを仮定する。すると、多変量正規分布N(s|μk,Σk)は一変量正規分布の積となる。
【００４７】
以上に示した主観的対人認知傾向モデルパラメタは以下の式(8)に示す通りにまとめることができる。
【００４８】
【数８】
0005931021.tif 000009
【００４９】
この実施形態では、主観的対人認知傾向モデルパラメタΘが与えられたもとでの、観察者jが生成する対人認知状態ej、観察者jの性別gj及び心理尺度スコアsjの同時確率P(ej,gj,sj|Θ)をモデル化する。この同時確率は、潜在変数を積分消去すると、以下の式(9)となり、ここから計算可能である。
【００５０】
【数９】
0005931021.tif 000010
【００５１】
＜＜主観的対人認知傾向モデルの学習方法＞＞
以下、主観的対人認知傾向モデルの学習方法について詳細に説明する。主観的対人認知傾向モデル学習部１４は、学習用観察者集団中の各観察者の性別及び心理尺度スコアと、学習用観察者集団中の各観察者が学習用映像の各シーンに対して付与した対人認知ラベル集合を用いて主観的対人認知傾向モデルパラメタの学習を行う。この主観的対人認知傾向モデルでは、もし潜在変数zが決まれば、主観的対人認知傾向モデルパラメタΘは解析的に計算可能である。この問題は潜在変数zを欠損値としたEMアルゴリズムを用いて効率的に解くことが可能である。
【００５２】
EMアルゴリズムはEステップとMステップを収束するまで繰り返す反復法である。Eステップでは、観察者jにおける典型的人格の混合率γ(zj,k)、すなわちzの事後確率を全ての説明変数（主観的対人認知傾向、性別及び心理尺度スコア）の情報を用いて下記の式(10)に従い更新する。
【００５３】
【数１０】
0005931021.tif 000011
【００５４】
ここで、学習用映像にはL個のシーンが含まれているものとし、hjはそれらLシーンに対して観察者jが付与した対人認知ラベルの頻度分布（ヒストグラム）である。また、変数tを含む上添え字はEMアルゴリズムの反復ステップ番号を表す。
【００５５】
Mステップでは、主観的対人認知傾向モデルパラメタΘを更新する。更新式は、例えば下記の参考文献２に記されている混合ガウス分布におけるパラメタ更新と同様の方法で導出可能である。
〔参考文献２〕A. Dempster, N. Laird, and D. Rubin, “Maximum likelihood from incomplete data via the em algorithm,” Journal of the Royal Statistical Society, vol. B 39, no. 1, pp. 1-38, 1977.
【００５６】
具体的には次の式(11)〜(15)によって更新される。
【数１１】
0005931021.tif 000012
【００５７】
ここで、hj,eは頻度分布hjのうち対人認知状態eの頻度である。また、Nkは下記の式(16)で表すことができる。
【００５８】
【数１２】
0005931021.tif 000013
【００５９】
このように学習して得られた主観的対人認知傾向モデルのパラメタは、主観的対人認知傾向モデル記憶部２０へ記憶する。
【００６０】
ステップＳ１５において、客観的行動認知傾向モデル学習部１５は、対人認知ラベリング部１１から出力される解釈ラベル集合及び行動認識部１３から出力される学習行動時系列を用いて、観察者の対人認知傾向と映像中の人物の行動とを関連付ける客観的行動認知傾向モデルのパラメタを学習する。客観的行動認知傾向モデルのパラメタは、より具体的には、行動の時系列Bが与えられたもとでの対人認知状態eが得られる尤度P(B|e)である。言い替えると、客観的行動認知傾向モデルのパラメタは、行動時系列Bに対して対人認知状態eと解釈する観察者の割合である。
【００６１】
客観的行動認知傾向モデル学習部１５は、例えば、特許文献１に記載の方法により、客観的行動認知傾向モデルのパラメタを学習することができる。特許文献１に記載の方法では、以下のように客観的行動認知傾向モデルのパラメタを学習する。ただし、以下の手順は処理の概要であって、詳細な処理の手順については特許文献１を参照されたい。
【００６２】
客観的行動認知傾向モデル学習部１５は、学習行動時系列及び解釈ラベル集合を教師ラベルとして、客観的行動認知傾向モデルのハイパーパラメタを学習する。ここでは、それぞれのハイパーパラメタが表す事象がその学習用映像中で発生した確率をハイパーパラメタの値として設定することとする。例えば、尤度P(B=b|e=e’)についてであれば、教師ラベル中において、対人認知状態がe’であり、かつ、行動がbである回数を数えて、その回数を対人認知状態がe’である回数で除した値（確率）をハイパーパラメタの値として設定すればよい。
【００６３】
このようにして学習して得られた客観的行動認知傾向モデルのパラメタは、客観的行動認知傾向モデル記憶部２１へ記憶する。
【００６４】
＜対人認知状態推定装置＞
図３を参照して、実施形態に係る対人認知状態推定装置の機能構成の一例を説明する。対人認知状態推定装置は、主観的対人認知傾向モデルパラメタ及び客観的行動認知傾向モデルパラメタを入力とし、主観的対人認知状態推定結果を出力する装置である。
【００６５】
実施形態に係る対人認知状態推定装置２は、対人認知傾向モデル学習装置１と同様に、映像入力部１０、観察者特性入力部１２、行動認識部１３、主観的対人認知傾向モデル記憶部２０及び客観的行動認知傾向モデル記憶部２１を含む。対人認知状態推定装置２ではさらに、主観的対人認知傾向推定部３１、客観的行動認知傾向推定部３２及び主観的対人認知状態推定部３３を含む。対人認知状態推定装置２は、例えば、中央演算処理装置（Central Processing Unit、CPU）、主記憶装置（Random Access Memory、RAM）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。対人認知状態推定装置２は、例えば、中央演算処理装置の制御のもとで各処理を実行する。対人認知状態推定装置２に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。対人認知状態推定装置２が備える各記憶部は、例えば、ＲＡＭ（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。対人認知状態推定装置２が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。
【００６６】
図４を参照して、対人認知状態推定方法の処理フローの一例を、実際に行われる手続きの順に従って説明する。
【００６７】
主観的対人認知傾向モデル記憶部２０には、対人認知傾向モデル学習装置１により学習された主観的対人認知傾向モデルが記憶されている。
【００６８】
客観的行動認知傾向モデル記憶部２１には、対人認知傾向モデル学習装置１により学習された客観的行動認知傾向モデルが記憶されている。
【００６９】
ステップＳ１０において、映像入力部１０は、一人以上の人物を撮影した推定用映像を入力して記憶する。推定用映像は対人認知状態を推定する対象の映像である。推定用映像の内容は学習用映像と同様であるが、学習用映像には含まれない映像であるものとする。対人認知傾向モデル学習装置では、映像中のすべてのシーンに対して以降の処理を行ったが、対人認知状態推定装置では、映像中のある一つのシーンに対して処理を行ってもよいし、映像中のすべてのシーンに対して処理を行なっても構わない。
【００７０】
ステップＳ１２において、観察者特性入力部１２は、対人認知状態を推定する対象の観察者の個人特性を入力する。個人特性は、対人認知傾向モデル学習装置１が学習に用いた観察者の個人特性と同様であり、この実施形態では、例えば、性別及び心理尺度スコアである。推定の対象とする観察者は学習用観察者集団に含まれていてもよいし、含まれていなくともよい。
【００７１】
ステップＳ１３において、行動認識部１３は、映像入力部１１で取得した推定用映像に基づいて、その映像中の各人物の行動を時系列にラベル付けした推定用行動時系列を生成する。生成した推定用行動時系列は、客観的行動認知傾向推定部３２へ出力される。映像中の人物の行動を認識する方法は、対人認知傾向モデル学習装置１と同様である。
【００７２】
ステップＳ３１において、主観的対人認知傾向推定部３１は、主観的対人認知傾向モデル２０に記憶された主観的対人認知傾向モデルを用いて、観察者特性入力部１２から入力された対象観察者の個人特性から対象観察者の主観的対人認知傾向を求める。求めた主観的対人認知傾向は、主観的対人認知状態推定部３３へ出力される。
【００７３】
主観的対人認知傾向推定部３１が出力する主観的対人認知傾向は、P(ej|gj,sj,Θ)と表せられるが、下記の式(17)に示すように、結局、式(9)と等しくなる。
【００７４】
【数１３】
0005931021.tif 000014
【００７５】
ここで、最後の比例関係の導出には、P(gj,sj|Θ)の各要素がいずれも既知であり、比例定数として扱えることを利用した。
【００７６】
このとき、混合率zの事後確率分布は、下記の式(18)で計算することができる。
【００７７】
【数１４】
0005931021.tif 000015
【００７８】
そして、この混合率における主観的対人認知傾向は、下記の式(19)となる。
【００７９】
【数１５】
0005931021.tif 000016
【００８０】
ステップＳ３２において、客観的行動認知傾向推定部３２は、客観的行動認知傾向モデル２１に記憶された客観的行動認知傾向モデルを用いて、行動認識部１３の出力する推定用行動時系列から客観的行動認知傾向を求める。求めた客観的行動認知傾向は、主観的対人認知状態推定部３３へ出力される。
【００８１】
客観的行動認知傾向推定部３２は、例えば、特許文献１に記載の方法により、客観的行動認知傾向を求めることができる。特許文献１に記載の方法では、以下のように客観的行動認知傾向を求める。ただし、以下の手順は処理の概要であって、詳細な処理の手順については特許文献１を参照されたい。
【００８２】
客観的行動認知傾向推定部３２は、まず、客観的行動認知傾向モデル記憶部２１に記憶されたハイパーパラメタに基づいて、客観的行動認知傾向モデルの各パラメタの初期値を設定し、設定された各パラメタの初期値に基づいて、推定用映像中の人物の客観的行動認知傾向の推定値の初期値を設定する。次に、客観的行動認知傾向モデルのハイパーパラメタと、客観的行動認知傾向モデルの各パラメタの初期値及び客観的行動認知傾向の推定値の初期値、または前回決定された客観的行動認知傾向モデルの各パラメタの値及び客観的行動認知傾向の推定値とに基づいて求めた確率分布に従って、サンプリングにより客観的行動認知傾向の推定値を決定する。さらに、行動認識部１３の出力する行動時系列及び客観的行動認知傾向モデルのハイパーパラメタに基づいて求めた確率分布に従って、サンプリングにより客観的行動認知傾向モデルの各パラメタの値を決定する。客観的行動認知傾向推定部３２は、所定の収束条件として予め定めた反復回数に到達したか否かを判定し、予め定めた反復回数に到達していない場合には所定の収束条件が成立していないと判断して、再度、客観的行動認知傾向の推定値の決定を行い、さらに、客観的行動認知傾向モデルの各パラメタの決定を行う。予め定めた反復回数に到達した場合には所定の収束条件が成立したと判断し、以降の処理へ進む。
【００８３】
客観的行動認知傾向推定部３２は、続いて、客観的行動認知傾向モデルのハイパーパラメタと、前回決定された客観的行動認知傾向モデルの各パラメタの値及び客観的行動認知傾向の推定値とに基づいて求めた確率分布に従って、サンプリングにより客観的行動認知傾向の推定値を決定する。さらに、行動認識部１３の出力する行動時系列及び客観的行動認知傾向モデルのハイパーパラメタに基づいて求めた確率分布に従って、サンプリングにより客観的行動認知傾向モデルの各パラメタの値を決定する。客観的行動認知傾向推定部３２は、上記の処理を予め定めた回数（ここではR回とする）繰り返し、R回分の客観的行動認知傾向の推定値及び客観的行動認知傾向モデルの各パラメタに基づいて、客観的行動認知傾向の推定値及び客観的行動認知傾向モデルの各パラメタの推定値を算出する。
【００８４】
客観的行動認知傾向の推定値P(B|e)は、具体的には、各時刻での推定結果を算出し、そこから対象とする時間の中で平均を取るなどをすればよい。この場合、客観的行動認知傾向P(B|e)は、下記の式(20)により表される。
【００８５】
【数１６】
0005931021.tif 000017
【００８６】
ステップＳ３３において、主観的対人認知状態推定部３３は、主観的対人認知傾向推定部３１の出力する主観的対人認知傾向及び客観的行動認知傾向推定部３２の出力する客観的行動認知傾向を用いて主観的対人認知状態推定結果を求める。具体的には、性別gjで心理尺度スコアsjを持つ観察者jが、対話者の行動の集合Biを含む対象シーンiに対して生成する主観的対人認知状態ei,jを、これらの同時確率P(ei,j,Bi,gj,sj)として計算する。この同時確率は、式(21)に示すように変換できる。
【００８７】
【数１７】
0005931021.tif 000018
【００８８】
主観的対人認知状態の推定結果については、すべての対人認知状態について確率付きで出力したい場合は、同時確率分布P(ei,j,Bi,gj,sj)をそのまま出力すればよい。確率分布ではなく一つの値として出力したい場合は、下記の式(22)に示すように、同時確率が最も高くなる対人認知状態を出力すればよい。
【００８９】
【数１８】
0005931021.tif 000019
【００９０】
＜応用例＞
ある観察者の主観的対人認知傾向が既知である場合には、主観的対人認知傾向モデルを用いて、その観察者の個人特性を推定することが可能である。
【００９１】
図６を参照して、応用例に係る対人認知状態推定装置の機能構成の一例を説明する。応用例に係る対人認知状態推定装置３は、実施形態の対人認知状態推定装置２と同様に、主観的対人認知傾向モデル記憶部２０を含む。対人認知状態推定装置３ではさらに、主観的対人認知傾向記憶部２２及び対象観察者特性推定部３４を含む。
【００９２】
主観的対人認知傾向モデル記憶部２０には、対人認知傾向モデル学習装置１により学習された主観的対人認知傾向モデルが記憶されている。
【００９３】
主観的対人認知傾向記憶部２２には、既知の主観的対人認知傾向が記憶されている。既知の主観的対人認知傾向は、典型的には以前の対人認知傾向モデル学習装置１により推定された主観的対人認知傾向であるが、手入力などにより人為的にパラメタを設定することで生成したものであってもよい。
【００９４】
対象観察者特性推定部３４は、主観的対人認知傾向モデル記憶部２０に記憶された主観的対人認知傾向モデルを用いて、主観的対人認知傾向記憶部２２に記憶されている主観的対人認知傾向からその主観的対人認知傾向を持つ観察者の個人特性を推定する。
【００９５】
上述のとおり、主観的対人認知傾向モデルは、観察者jが生成する対人認知状態ej、観察者jの性別gj及び心理尺度スコアsjの同時確率P(ej,gj,sj|Θ)をモデル化したものである。したがって、観察者jが生成する対人認知状態ejが既知であれば、実施形態の対人認知状態推定装置２に含まれる主観的対人認知傾向推定部３１と同様にして、観察者jの性別gj及び心理尺度スコアsjを求めることができる。
【００９６】
［プログラム、記録媒体］
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００９７】
また、上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００９８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００９９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１００】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１０１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【０１０２】
１０  映像入力部
１１  対人認知ラベリング部
１２  観察者特性入力部
１３  行動認識部
１４  主観的対人認知傾向モデル学習部
１５  客観的行動認知傾向モデル学習部
２０  主観的対人認知傾向モデル記憶部
２１  客観的行動認知傾向モデル記憶部
３１  主観的対人認知傾向推定部
３２  客観的行動認知傾向推定部
３３  主観的対人認知状態推定部
３４  対象観察者特性推定部
【図１】
0005931021.tif 000021
【図２】
0005931021.tif 000022
【図３】
0005931021.tif 000023
【図４】
0005931021.tif 000024
【図５】
0005931021.tif 000025
【図６】
0005931021.tif 000026