(57)【要約】【課題】人物が頭部姿勢を変化させる場合であっても、人物の頭部姿勢とともに人物の表情を高精度に認識可能とする。【解決手段】入力部１は、複数の人物を撮影した入力動画像を入力する。表情推定部３−１〜３−Ｎは、入力動画像に対する各人物の頭部姿勢の尤度に基づいて、各人物の頭部姿勢を推定するとともに、入力画像に対する各人物の表情カテゴリの尤度に基づいて、各人物の表示カテゴリを推定する。【選択図】図１
2011081445.tif 000002
【特許請求の範囲】
【請求項１】
人物を撮影して入力動画像として入力する入力手段と、
前記入力手段により入力した入力動画像に対する頭部姿勢の尤度に基づいて、前記人物の頭部姿勢を推定し、頭部姿勢推定値として出力するととともに、前記入力手段により入力した入力画像に対する表情カテゴリの尤度に基づいて、前記人物の表示カテゴリを推定し、表示カテゴリ推定値として出力する表情推定手段と
を備えることを特徴とする表情認識装置。
【請求項２】
前記表情推定手段は、
前記表情カテゴリの認識用に予め定められている注目点集合であって、前記入力動画像の所定の領域に配置されている注目点集合とその輝度分布モデルとに基づいて第１の尤度を算出し、
前記頭部姿勢の推定用に予め定められている注目点集合であって、前記入力動画像の所定の領域に配置されている注目点集合とその輝度分布モデルとに基づいて第２の尤度を算出し、
前記第１の尤度と前記第２の尤度との積を、前記表情カテゴリ及び前記頭部姿勢の同時尤度として算出し、当該算出した同時尤度に基づいて、前記表情カテゴリ推定値及び前記頭部姿勢推定値を推定して出力することを特徴とする請求項１記載の表情認識装置。
【請求項３】
前記表情推定手段は、
前記表情カテゴリの認識用に予め定められている注目点集合を、前記入力動画像において、人物の表情変化が顕著となる領域であって、人物に対して予め定められている領域に配置することを特徴とする請求項２記載の表情認識装置。
【請求項４】
複数の人物を撮影した入力動画像を入力する入力手段と、
前記入力手段により入力した入力動画像に対する各人物の頭部姿勢の尤度に基づいて、各人物の頭部姿勢を推定し、各人物の頭部姿勢推定値として出力するとともに、前記入力手段により入力した入力画像に対する各人物の表情カテゴリの尤度に基づいて、各人物の表示カテゴリを推定し、各人物の表示カテゴリ推定値として出力する表情カテゴリ及び頭部姿勢推定手段と、
前記各人物の頭部姿勢推定値に基づいて、前記各人物の表情の表出対象を推定し、表出対象推定値として出力する表出対象推定手段と
を備えることを特徴とする人物間感情推定装置。
【請求項５】
前記表情カテゴリ推定値と前記表出対象推定値とに基づいて、前記複数の人物間の感情の関係を、図式化して出力する人物間感情ネットワーク作成手段を更に備えることを特徴とする請求項４記載の人物間感情推定装置。
【請求項６】
前記人物間感情ネットワーク作成手段により図式化して出力される前記複数の人物間の感情の関係に基づいて、対話の種類、対話の盛り上がり度合い、人間関係、好意的関係にあるサブグループの構成、個人の性格のうち少なくとも一つを推定する推定部を備えることを特徴とする請求項５記載の人物間感情推定装置。
【請求項７】
入力手段が人物を撮影して入力動画像として入力するステップと、
表情推定手段が、前記入力手段により入力した入力動画像に対する頭部姿勢の尤度に基づいて、前記人物の頭部姿勢を推定し、頭部姿勢推定値として出力するとともに、前記入力手段により入力した入力画像に対する表情カテゴリの尤度に基づいて、前記人物の表示カテゴリを推定し、表示カテゴリ推定値として出力するステップと
を含むことを特徴とする表情認識方法。
【請求項８】
入力手段が、複数の人物を撮影した入力動画像を入力するステップと、
表情推定手段が、前記入力手段により入力した入力動画像に対する各人物の頭部姿勢の尤度に基づいて、各人物の頭部姿勢を推定し、各人物の頭部姿勢推定値として出力するとともに、前記入力手段により入力した入力画像に対する各人物の表情カテゴリの尤度に基づいて、各人物の表示カテゴリを推定し、各人物の表示カテゴリ推定値として出力するステップと、
表出対象推定手段が、前記各人物の頭部姿勢推定値に基づいて、前記各人物の表情の表出対象を推定し、表出対象推定値として出力するステップと
を含むことを特徴とする人物間感情推定方法。
【請求項９】
画像処理に基づいて人物の表情を認識する表情認識装置のコンピュータに、
人物を撮影して入力動画像として入力する入力機能、
前記入力動画像に対する頭部姿勢の尤度に基づいて、前記人物の頭部姿勢を推定し、頭部姿勢推定値として出力するとともに、前記入力画像に対する表情カテゴリの尤度に基づいて、前記人物の表示カテゴリを推定し、表示カテゴリ推定値として出力する表情推定機能
を実行させることを特徴とするプログラム。
【請求項１０】
画像処理に基づいて複数の人物の表情を認識し、前記複数の人物間の感情を推定する人物間感情推定装置のコンピュータに、
複数の人物を撮影した入力動画像を入力する入力機能、
前記入力動画像に対する各人物の頭部姿勢の尤度に基づいて、各人物の頭部姿勢を推定し、各人物の頭部姿勢推定値として出力するとともに、前記入力画像に対する各人物の表情カテゴリの尤度に基づいて、各人物の表示カテゴリを推定し、各人物の表示カテゴリ推定値として出力する表情カテゴリ及び頭部姿勢推定機能、
前記各人物の頭部姿勢推定値に基づいて、前記各人物の表情の表出対象を推定し、表出対象推定値として出力する表出対象推定機能
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に基づいた対話中の人物の表情認識技術、並びに、人物間の感情の推定技術、特に、時系列フィルタリング技術、及び統計モデルに基づいた表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラムに関する。
【背景技術】
【０００２】
対面対話は、日常的な情報共有、意思決定などのための日常的なコミュニケーションの基本的形態である。対面対話では、発話内容といった言語情報のみならず、ジェスチャや、視線、韻律といった非言語情報も表出され、どちらも重要なことが心理学的に明らかにされている（参考文献１：M. Argyle: “Bodily Communication -- 2nd ed.”, Routledge, London and New York, 1988.）。
【０００３】
対話の場面における感情表現の中でも、微笑は、特に重要であると考えられる。というのも、微笑は、対話の流れの円滑化、肯定的感情の表出、親密さの形成や、維持（参考文献２：J. N. Cappella: Behavioral and judged coordination in adult informal social interactions: vocal and kinesic indicators, J. Personality and Social Psychology, 72(1):119--131, 1997）など、様々な大切な役割を多く果たしているからである。
【０００４】
一般的に、微笑と視覚的に類似したものに哄笑があるが。哄笑よりも微笑の方が発話を伴わず、より表情変化が微小であるため、話者の発話や、他者の微笑とも容易に共起可能であるという点においても重要であると考えられる。だが、対話においては、両者には、より重要な違いがある。それは、微笑には明確な指向性があるのに対し、つまり、基本的に特定の受け手に向けられるのに対して、哄笑にはそのような機能はほとんどない。
【０００５】
これまでにも、微笑の自動認識に関する方法はいくつか提案されている。中には、頭部姿勢の情報を用いて微笑の検出精度の向上を図っているものもある（例えば、非特許文献１参照）。また、哄笑の認識（例えば、非特許文献２参照）や、興味を持っているか否かの認識（例えば、非特許文献３参照）といった研究も存在する。
【０００６】
表情の認識には、非接触・非浸襲なデバイスであるカメラを用いる、すなわち、画像から認識できることが望ましい。しかし、画像から微笑を認識することには、様々な技術的課題がある。まず、微笑では、顔部品の移動量が少ない、すなわち、画像での見えの変化が小さいことが挙げられる。
【０００７】
さらに、三者以上の対話では、対話参与者達は、対象者を基準として、様々な方向に位置していることから、カメラを対象人物の頭部に取り付けでもしない限り、注視対象の人物が変わることに伴って顔の向きが変化する。よって、既存の多くの表情認識手法（例えば、非特許文献４参照）で仮定されているような、入力画像中の人物の顔が正面顔、すなわち、カメラに対して正面・正立という仮定は基本的に成立しない。このため、表情を正しく認識するためには頭部姿勢も同時に推定する必要がある。
【０００８】
さらに、表情は個人差が大きい。このため、微笑を認識しようとする場合、微笑の個人差に対処しなければ、微笑が哄笑をはじめとした視覚的に類似した表情と混同される可能性が高い。既存の多くの表情認識手法は、多人数の表情の学習データから単一のモデルを用意し、それを不特定多数の人物に対してモデルとして使用するというアプローチを採っている（例えば、非特許文献５参照）。
【０００９】
また、シンプルなモデルを個人毎に用意し、高い認識率を達成することを目指した方法として、特許文献１がある。この方法では、少数の注目点を顔面上の顔部品の周辺に固定し、それらの点の画像の輝度が表情に変化に伴って変化することを利用して表情を認識している。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１１０４２６号公報
【非特許文献】
【００１１】
【非特許文献１】J. Cohn, L. Reed, T. Moriyama, J. Xiao, K. Schmidt, and Z. Ambadar: Multimodal coordination of facial action, head rotation, and eye motion during spontaneous smiles, In Proc. IEEE Int'l Conf. Automatic Face and Gesture Recognition, pages 129--135, 2004.
【非特許文献２】S. Petridis and M. Pantic: Audiovisual laughter detection based on temporal features, In Proc. ICMI, pages 37--44, 2008.
【非特許文献３】B. Schuller, R. Muller, B. Hornler, A. Hothker, H. Konosu, and G. Rigoll: Audiovisual recognition of spontaneous interest within conversations, In Proc. ICMI, pages 30--37, 2007.
【非特許文献４】Y. L. Tian, T. Kanade, and J. Cohn: Facial expression analysis, Springer, 2005.
【非特許文献５】M. S. Bartlett, G. Littlewort, M. G. Frank, C. Lainscsek, I. R. Fasel, and J. R. Movellan: Automatic recognition of facial actions in spontaneous expressions, J. Multimedia, 1(6):22--35, 2006.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上述した非特許文献１から非特許文献３の技術では、微笑が誰に対して向けられているのかを自動的に認識することはできないという問題がある。
【００１３】
また、非特許文献４で紹介されている画像ベースの表情認識手法の大半は、入力画像中の表情が正面顔、すなわち、カメラに対して正面・正立であることを仮定している。しかしながら、対話を含め対象人物が頭部姿勢を変化させる場面では、そのような画像を得るためにカメラを各対象人物の頭部に取り付ければならず、実用的でない。
【００１４】
非特許文献５の方法では、未学習の人物に対して高い認識率を達成可能なモデルを作成することができればよいが、現在の技術では、オーバーフィッティングの問題が生じることが報告されている。
【００１５】
また、特許文献１の方法では、注目点の位置が表情変化を考慮せずに決定されるため、対象表情の認識に適した点が選択されるとは限らない。結果として、やはり、微笑や、哄笑のような視覚的に類似した表情は混同される可能性が高い。しかし、上述した特許文献１、及び、非特許文献１から非特許文献５のいずれの表情認識手法も、基本的には一人の人物の表情が何であるのかを認識するものであり、対話の場面において表出される表情がそれぞれ誰に対して向けられているのかを認識するという手法はこれまでに存在しない。
【００１６】
本発明は、このような事情を考慮してなされたものであり、その目的は、人物が頭部姿勢を変化させる場合であっても、人物の頭部姿勢とともに人物の表情を高精度に認識することができる表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１７】
上述した課題を解決するために、本発明は、人物を撮影して入力動画像として入力する入力手段と、前記入力手段により入力した入力動画像に対する頭部姿勢の尤度に基づいて、前記人物の頭部姿勢を推定し、頭部姿勢推定値として出力するととともに、前記入力手段により入力した入力画像に対する表情カテゴリの尤度に基づいて、前記人物の表示カテゴリを推定し、表示カテゴリ推定値として出力する表情推定手段とを備えることを特徴とする表情認識装置である。
【００１８】
本発明は、上記の発明において、前記表情推定手段は、前記表情カテゴリの認識用に予め定められている注目点集合であって、前記入力動画像の所定の領域に配置されている注目点集合とその輝度分布モデルとに基づいて第１の尤度を算出し、前記頭部姿勢の推定用に予め定められている注目点集合であって、前記入力動画像の所定の領域に配置されている注目点集合とその輝度分布モデルとに基づいて第２の尤度を算出し、前記第１の尤度と前記第２の尤度との積を、前記表情カテゴリ及び前記頭部姿勢の同時尤度として算出し、当該算出した同時尤度に基づいて、前記表情カテゴリ推定値及び前記頭部姿勢推定値を推定して出力することを特徴とする。
【００１９】
本発明は、上記の発明において、前記表情推定手段は、前記表情カテゴリの認識用に予め定められている注目点集合を、前記入力動画像において、人物の表情変化が顕著となる領域であって、人物に対して予め定められている領域に配置することを特徴とする。
【００２０】
また、上述した課題を解決するために、本発明は、複数の人物を撮影した入力動画像を入力する入力手段と、前記入力手段により入力した入力動画像に対する各人物の頭部姿勢の尤度に基づいて、各人物の頭部姿勢を推定し、各人物の頭部姿勢推定値として出力するとともに、前記入力手段により入力した入力画像に対する各人物の表情カテゴリの尤度に基づいて、各人物の表示カテゴリを推定し、各人物の表示カテゴリ推定値として出力する表情カテゴリ及び頭部姿勢推定手段と、前記各人物の頭部姿勢推定値に基づいて、前記各人物の表情の表出対象を推定し、表出対象推定値として出力する表出対象推定手段とを備えることを特徴とする人物間感情推定装置である。
【００２１】
本発明は、上記の発明において、前記表情カテゴリ推定値と前記表出対象推定値とに基づいて、前記複数の人物間の感情の関係を、図式化して出力する人物間感情ネットワーク作成手段を更に備えることを特徴とする。
【００２２】
本発明は、上記の発明において、前記人物間感情ネットワーク作成手段により図式化して出力される前記複数の人物間の感情の関係に基づいて、対話の種類、対話の盛り上がり度合い、人間関係、好意的関係にあるサブグループの構成、個人の性格のうち少なくとも一つを推定する推定部を備えることを特徴とする。
【００２３】
本発明は、上記の発明において、入力手段が人物を撮影して入力動画像として入力するステップと、表情推定手段が、前記入力手段により入力した入力動画像に対する頭部姿勢の尤度に基づいて、前記人物の頭部姿勢を推定し、頭部姿勢推定値として出力するとともに、前記入力手段により入力した入力画像に対する表情カテゴリの尤度に基づいて、前記人物の表示カテゴリを推定し、表示カテゴリ推定値として出力するステップとを含むことを特徴とする表情認識方法である。
【００２４】
本発明は、上記の発明において、入力手段が、複数の人物を撮影した入力動画像を入力するステップと、表情推定手段が、前記入力手段により入力した入力動画像に対する各人物の頭部姿勢の尤度に基づいて、各人物の頭部姿勢を推定し、各人物の頭部姿勢推定値として出力するとともに、前記入力手段により入力した入力画像に対する各人物の表情カテゴリの尤度に基づいて、各人物の表示カテゴリを推定し、各人物の表示カテゴリ推定値として出力するステップと、表出対象推定手段が、前記各人物の頭部姿勢推定値に基づいて、前記各人物の表情の表出対象を推定し、表出対象推定値として出力するステップとを含むことを特徴とする人物間感情推定方法である。
【００２５】
本発明は、上記の発明において、画像処理に基づいて人物の表情を認識する表情認識装置のコンピュータに、人物を撮影して入力動画像として入力する入力機能、前記入力動画像に対する頭部姿勢の尤度に基づいて、前記人物の頭部姿勢を推定し、頭部姿勢推定値として出力するとともに、前記入力画像に対する表情カテゴリの尤度に基づいて、前記人物の表示カテゴリを推定し、表示カテゴリ推定値として出力する表情推定機能を実行させることを特徴とするプログラムである。
【００２６】
本発明は、上記の発明において、画像処理に基づいて複数の人物の表情を認識し、前記複数の人物間の感情を推定する人物間感情推定装置のコンピュータに、複数の人物を撮影した入力動画像を入力する入力機能、前記入力動画像に対する各人物の頭部姿勢の尤度に基づいて、各人物の頭部姿勢を推定し、各人物の頭部姿勢推定値として出力するとともに、前記入力画像に対する各人物の表情カテゴリの尤度に基づいて、各人物の表示カテゴリを推定し、各人物の表示カテゴリ推定値として出力する表情カテゴリ及び頭部姿勢推定機能、前記各人物の頭部姿勢推定値に基づいて、前記各人物の表情の表出対象を推定し、表出対象推定値として出力する表出対象推定機能を実行させることを特徴とするプログラムである。
【発明の効果】
【００２７】
この発明によれば、人物が頭部姿勢を変化させる場合であっても、人物の頭部姿勢とともに人物の表情を高精度に認識することができる。
【図面の簡単な説明】
【００２８】
【図１】本実施形態における表情認識装置の全体構成を示すブロック図である。
【図２】撮影場面の一例、及び、それを全方位カメラで撮影した入力画像の一例を示す図である。
【図３】表情推定部３の具体的な構成を示すブロック図である。
【図４】表情カテゴリ及び表出対象推定部３２の具体的な構成を示すブロック図である。
【図５】表情カテゴリ及び頭部姿勢推定部３２１の具体的な構成を示すブロック図である。
【図６】表情カテゴリｅｔ、頭部姿勢ｈｔ、及び画像ｚｔの関係を示す概念図である。
【図７】形状モデル作成部５の処理を示すブロック図である。
【図８】各顔部品について登録される注目点集合の一例を示す模式図である。
【図９】輝度平均マップ、輝度分散マップ、注目点選択、及び輝度分布モデルの作成の一連の処理の流れを示すブロック図である。
【図１０】微笑、哄笑、その他についての輝度平均マップの一例を示す模式図である。
【図１１】微笑、哄笑、その他についての輝度分散マップの一例を示す模式図である。
【図１２】微笑、哄笑、その他についての表情顕著性マップを示す模式図である。
【図１３】人物間感情ネットワークをグラフ構造として表現した一例を示す概念図である。
【発明を実施するための形態】
【００２９】
本発明は、複数人対話を対象として、対話を撮影した動画像から対話参与者間で表出される微小、哄笑、苦笑、怒りといった表情を正しく識別するとともに、それらを基に人物間の感情を推定する。つまり、対話の動画像から、誰がいつ誰に対してどのような表情を表出したのかを認識し、そこから好意的／敵対的といった対話参与者間の感情を推定する。また、表情認識の部分においては、視覚的に類似しているが人物間感情に対する性質の異なる表情を正しく識別する。
【００３０】
対象人物の微小、哄笑、苦笑、驚き、怒り、悲しみや思考中などの表情を、そのときの人物の頭部姿勢と同時に推定することで、対象人物の頭部姿勢に対して頑健に表情カテゴリを認識する。なお、本実形態において、「表情を頭部姿勢と同時に推定する」とは、「表情を頭部姿勢とともに推定する」または「表情を頭部姿勢と並列に推定する」ということである。
さらに、認識した頭部姿勢を基に視覚的注視対象の人物を認識し、視覚的注視対象の人物と表情の表出対象の人物とが同一であると仮定して、表情の表出対象の人物を特定する。最後に、入力画像中の各フレームにおける表情カテゴリ、及びその表出対象を基に、人物間の感情がどのようになっているのかを推定する。
【００３１】
まず、各被験者についてのそれぞれの動画像中の各フレームでの表情と頭部姿勢とを同時に推定する方法については、対象人物の対象表情の認識に適した注目点を学習画像から自動的に選択する枠組みを本発明において新たに導入する（それ以外の部分については、特許文献１に従う）。
【００３２】
次に、表情の表出対象、すなわち、表情の向けられた対象人物を推定する。対話中においては、視覚的注視対象と頭部姿勢との間の相関が高いという既存の知見（参考文献３：R. Stiefelhagen: Tracking focus of attention in meetings, In Proc. ICMI, pages 273--280, 2002.）を利用し、推定した対象人物の頭部姿勢から最尤法の枠組みにより表情が誰に対して向けられたのかを推定する。
【００３３】
最後に、全ての被験者の表情、及びその表出対象人物の時系列のデータを統合し、対話中の人物間の感情を示唆する様々な指標を算出する。具体的には、好意的表情や、敵対的表情がどの程度表出されたか、あるいは、表情がどの程度共起していたかなどを基に人物間感情を推定する。さらに、推定した人物間感情を視覚的に理解しやすいグラフ構造にて表示する。
【００３４】
以下，本発明の実施形態について図面を参照して説明する。
図１は、本実施形態における表情認識装置の全体構成を示すブロック図である。図において、表情認識装置は、入力部１、学習画像作成部２−１〜２−Ｎ（以下、総称する場合、学習画像作成部２とする）、表情推定部３−１〜３−Ｎ（以下、総称する場合、表情推定部３とする）、及び人物間感情ネットワーク作成部４から構成されている。入力部１は、撮影手段としてのＣＣＤカメラなどを用いて各対話参与者の顔の動画像を撮影する。学習画像作成部２−１〜２−Ｎは、各々、各対話参与者Ｐ１〜ＰＮの学習画像及び推定対象の動画像１０−１〜１０−Ｎ（以下、総称して学習画像１０ａ、入力動画像１０ｂ）を出力する。
【００３５】
表情推定部３−１〜３−Ｎは、各々、各対話参与者Ｐ１〜ＰＮの学習画像及び推定対象の動画像１０−１〜１０−Ｎ、及び入力部１からの動画像を入力とし、対話参与者Ｐ１〜ＰＮの、実時間で推定された表情カテゴリ及び表出対象の推定値１１−１〜１１−Ｎを出力する。人物間感情ネットワーク作成部４は、その全ての対話参与者Ｐ１〜ＰＮの表情カテゴリ及び表出対象者推定値１１−１〜１１−Ｎ（以下、総称する場合、表情カテゴリ及び表出対象者推定値１１）を入力とし、「誰がどのくらい頻繁に誰に微笑みかけていたか」、「誰と誰の表情がよく共起していたか」といった対話参与者間の感情のネットワーク構造を推定して出力する。これら学習画像作成部２−１〜２−Ｎ、表情推定部３−１〜３−Ｎ、及び人物間感情ネットワーク作成部４の機能は、ソフトウェア処理によって実現される。
【００３６】
なお、対話参与者の数Ｎは、既知であるものとし、入力部１のカメラの内部パラメータについては、事前のキャリブレーションにより既に得られているものとする。但し、対話参与者の数Ｎについては、既存の顔検出器（例えば、Ｈａａｒ−ｌｉｋｅ特徴量に基づくカスケード型ＡｄａＢｏｏｓｔ検出器（参考文献４：P. Viola and M. Jones: Rapid object detection using a boosted cascade of simple features, In Proc. IEEE Conf. Computer Vision and Pattern Recognition, pages 511--518, 2001）により自動的に算出しても良い。
【００３７】
ここで、以下で主に使用される記号をここでまとめておく。なお、上記図１の説明では、対話参与者の人数をＮとしたが、以下では、Ｎｉと表記し、表情カテゴリをｅ∈｛１，…，Ｎｅ｝、また、その表出対象をｇｉにて表す。ここで、ｉは、Ｎｉ人の対話参与者のうちの一人を表す。すなわち、ｉ∈｛１，…，Ｎｉ｝である。表情の表出対象については、他の対話参与者のうちの一人に向けられている、あるいは、誰に対しても向けられていないものとする。つまり、離散的にｇ∈｛１，…，Ｎｉ｝として表される。表出対象ｇｉ，ｔ＝ｊ（≠ｉ）は、対話参与者Ｐｉの時刻ｔでの表情が対話参与者Ｐｊに向けられていることを示し、一方、ｇｉ，ｔ＝ｉは、注視対象が他の誰にも属さない、すなわち、表情が特定の人物に向けられていないことを示す。
【００３８】
本実施形態では、対話参与者数Ｎを４（ｉ＝１〜４）とし、認識対象の表情をｅ∈｛微笑，哄笑，苦笑，その他｝とする。すなわち、認識対象の表情の数Ｎｅは、４である。まとめると、状態ｅｉ，ｔ＝‘微笑’、かつ、ｇｉ，ｔ＝ｊ（≠ｉ）は、時刻ｔにおいて対話参与者Ｐｉが対話参与者Ｐｊに対して微笑んでいることを意味する。但し、本発明の枠組みは、２以上の任意の対話参与者数Ｎ、及び、任意の表情カテゴリ及び任意のカテゴリ数を対象とすることができる。
【００３９】
次に、入力部１について説明する。入力部１は、前述したように撮影手段としてのＣＣＤカメラなどを用いて、対話参与者、それぞれの顔画像を撮影する。主なカメラの配置方法として、１台の全方位カメラを対話参与者間の中心付近に配置する方法と、各対話参与者の正面方向に１台ずつのカメラを配置する方法とが考えられる。
【００４０】
図２（ａ）、（ｂ）は、撮影場面の一例、及び、それを全方位カメラで撮影した入力画像の一例を示す図である。本発明の枠組みでは、全ての対話参与者の顔面を撮影できる配置であれば、どのような配置方法でも構わないが、本実施形態では、図２（ａ）に示すように、対話参与者Ｐ１〜Ｐ４の中央部に全方位カメラを配置することとする。これは、全方位カメラを用いた場合には、カメラの外部パラメータ（世界座標系に対する並進及び回転）を求めることなく、本発明で必要となる表情の表出対象人物を特定するための対話参与者間の位置関係を、対話参与者の数に関わらず、対象人物の画像中の位置関係から容易に把握することができるので有利なためである。対話参与者Ｐ１〜Ｐ４の中央部に全方位カメラを配置した場合、図２（ｂ）に示すように、対話参与者Ｐ１〜Ｐ４の各々が撮影される。
【００４１】
他方、複数台のカメラを用いる方法では、各対話参与者の顔の解像度を上げやすい反面、ハードウェア構成が複雑になることに加え、対話毎に対話参与者の数や、座席配置が異なる場合には、その都度、各カメラの外部パラメータを得るためのキャリブレーションを行う必要がある。
【００４２】
次に、表情推定部３について説明する。
図３は、表情推定部３の具体的な構成を示すブロック図である。図において、表情推定部３は、テンプレート作成部３１、及び表情カテゴリ及び表出対象推定部３２からなる。テンプレート作成部３１は、対象人物の認識対象の表情カテゴリの正面正立の顔画像と予め付与されたその表情カテゴリのラベルとを対とするデータセット（学習画像）１０ａから、対象人物に特化した顔のテンプレート１２を作成する。表情カテゴリ及び表出対象推定部３２は，対象人物のテンプレート１２に基づいて、対象人物の入力動画像１０ｂ中の各フレームにおける表情カテゴリ及びその表出対象を推定し、表情カテゴリ及びその表出対象推定値１１として出力する。
【００４３】
次に、表情カテゴリ及び表出対象推定部３２について説明する。
図４は、表情カテゴリ及び表出対象推定部３２の具体的な構成を示すブロック図である。図において、表情カテゴリ及び表出対象推定部３２は、表情カテゴリ及び頭部姿勢推定部３２１、及び表情表出対象推定部３２２からなる。表情カテゴリ及び頭部姿勢推定部３２１は、１名の対話参与者についての入力動画像中の各フレームにおける表情カテゴリを推定し、表情カテゴリ推定値１１ａとして出力するとともに、頭部姿勢を推定し、頭部姿勢推定値１３として出力する。表情表出対象推定部３２２は、表情カテゴリ及び頭部姿勢推定部３２１により推定された頭部姿勢推定値１３から表情の表出対象を推定し、表情表出対象推定値１１ｂとして出力する。
【００４４】
次に、表情カテゴリ及び頭部姿勢推定部３２１について説明する。
図５は、表情カテゴリ及び頭部姿勢推定部３２１の具体的な構成を示すブロック図である。図において、表情カテゴリ及び頭部姿勢推定部３２１は、入力動画像１０ｂの各フレームにおける対象人物の表情カテゴリ及び頭部姿勢を、それらの尤度に基づいて推定する。
【００４５】
ここで、図６は、表情カテゴリｅｔ、頭部姿勢ｈｔ、及び画像ｚｔの関係を示す概念図である。各時刻の表情カテゴリと頭部姿勢とは、そのときの画像が与えられた下で条件付独立であること、さらに、表情カテゴリと頭部姿勢とは、それぞれ独立なマルコフ過程に従うことを仮定している。頭部姿勢ｈは、６自由度である。本実施形態では、顔中心の位置（３次元）、及び３次元回転角（ロール、ピッチ、ヨー）から構成されている。
【００４６】
時刻ｔにおける頭部姿勢推定値＾ｈｔ、及び表情カテゴリ推定値＾ｅｔは、同時刻における同時事後確率密度分布ｐ（ｈｔ，ｅｔ｜ｚ１：ｔ）に基づいて計算される。頭部姿勢推定値は、その同時事後確率密度分布の頭部姿勢についての周辺確率として、表情カテゴリ推定値は、同時事後確率密度分布の各表情カテゴリについての周辺確率を最大化するカテゴリとしてそれぞれ計算される。これら頭部姿勢推定値＾ｈｔ、及び表情カテゴリ推定値＾ｅｔは、数式（１）、（２）にて表される。
【００４７】
【数１】
2011081445.tif 000003
【００４８】
【数２】
2011081445.tif 000004
【００４９】
また、同時事後確率密度分布は、ベイズ則を用いて次式（３）のように分解可能である。
【００５０】
【数３】
2011081445.tif 000005
【００５１】
ここで、ｐ（ｚ｜ｈ，ｅ）は、表情カテゴリｅ、及び頭部姿勢ｈの観測画像ｚに対する同時尤度である。また、確率密度分布ｐ（ｈｔ，ｅｔ｜ｚ１：ｔ−１）は、時刻ｔにおける予測分布を表す。さらに、同時尤度は、頭部姿勢の観測画像に対する尤度、及び，頭部姿勢が与えられた下での表情カテゴリの観測画像に対する尤度の積、すなわち、次式（４）として表現される。
【００５２】
【数４】
2011081445.tif 000006
【００５３】
これらの尤度は、テンプレートに基づいて計算される。この尤度の詳細については、後述するテンプレートにて詳細に説明する。なお、事後確率密度分布は、次式（５）を満たすように正規化される。
【００５４】
【数５】
2011081445.tif 000007
【００５５】
予測分布を直前の表情及び頭部姿勢の状態で条件付けすると、次式（６）のような逐次式に変換される。
【００５６】
【数６】
2011081445.tif 000008
【００５７】
ここで、ｐ（ｈｔ｜ｚ１：ｔ）は、現時刻ｔまでの全ての観測が与えられたもとでの頭部姿勢の事後確率密度分布を表す。確率行列ｐ（ｈｔ｜ｈｔ−１）、及びＰ（ｅｔ｜ｅｔ−１）は、表情及び頭部姿勢のそれぞれについての遷移確率、すなわち、連続する二時刻間に表情及び頭部姿勢がそれぞれどのように変化するのかを確率にて表したものである。
【００５８】
本実施形態では、表情及び頭部姿勢共に、前に時刻間遷移の確率が得られていないものとし、表情カテゴリについては、全ての二表情間の遷移の確率が等しいとし、頭部姿勢については、ランダムウォークモデルに従うこととする。但し、本発明の枠組みでは、任意の遷移確率を使用可能である。例えば、頭部姿勢については、等速運動や、等加速度運動、あるいは、磁気センサを用いるなどして、事前に獲得した人間の頭部姿勢運動のモデルなどを使用可能である。表情カテゴリについては、同じ表情が持続する確率を他のα（α＞１）とするか、あるいは、人手で付けたラベルから得た実際の対話中での表情カテゴリの遷移の確率などとすることが考えられる。
【００５９】
数式（６）の予測分布は、閉形式として厳密に計算することができない。これは、頭部姿勢が画像に対して与える影響が、カメラ射影（ここでは、中心投影）という非線形変換によるものであり、さらに、顔を大きく横に向けるなどした際に生じる顔の一部領域の遮蔽といった効果も加わるためである。よって、近似的な解法を用いる必要がある。
【００６０】
本実施形態では、パーティクルフィルタ、あるいは逐次モンテカルロ法などと呼ばれる、時間方向に逐次的なサンプリングを行う手法を用いることとする。より具体的には、図５に示すように、パーティクルフィルタ３２１１により事後確率密度分布を推定し、推定値算出部３２１２により、上記事後確率密度分布に基づいて、表情カテゴリ推定値、及び頭部姿勢推定値１１を算出する。このとき、各サンプル（パーティクル）が保持する状態は、６次元の頭部姿勢ｈ、及び表情カテゴリｅの計７変数である。パーティクルフィルタの詳細については、参考文献５（M. Isard, and A. Blake: Condensation -- conditional density propagation for visual tracking, International Journal of Computer Vision}, 29(1):5--28, 1998.）に記されている。
【００６１】
次に、テンプレート作成部３１について説明する。
テンプレートＭは、数式（３）中の尤度ｐ（ｚ｜ｈ，ｅ）を定義するためのものである。テンプレートＭは、Ｍ＝｛Ｓ，ＱＥ，ＱＨ，ＩＥ，ＩＨ｝という３種５つの要素から構成される。ここで、Ｓ、Ｑ、及びＩは、各々、剛体の顔形状モデル、注目点集合、及び注目点輝度分布モデルである。添え字Ｅ及びＨは、表情及び頭部姿勢をそれぞれ表す。以下では、表情あるいは頭部姿勢のどちら用のモデルであるのかを対象状態と呼び、＊∈｛Ｅ，Ｈ｝にて表す。
【００６２】
まず、顔形状モデルＳは、学習画像上にて定義される注目点の奥行き情報を与えるためのものである。これにより、注目点の３次元座標（画像座標＋奥行き座標）が揃い、様々な３次元の頭部姿勢における各注目点の３次元位置を計算することが可能となる。
【００６３】
次いで、注目点集合Ｑ＊は、尤度の計算の際に考慮する顔面上の注目位置を示す。これらの注目点は、学習画像上にて疎に配置される。特に、表情についての注目点ＱＥは、特定の表情カテゴリの検出に特化した注目点の集合により構成される。注目点集合は、次式（７）で表される。
【００６４】
【数７】
2011081445.tif 000009
【００６５】
ここで、ｑｋは、ｋ番目の注目点の学習画像上での位置である。これについては後述する。Ｎ＊ｋは、対象状態＊についての注目点の数である。
【００６６】
最後に、輝度分布モデルＩ＊は，各注目点ｋの輝度が各表情において、どのように変化するのかをモデル化したものであり、次式（８）で表される。
【００６７】
【数８】
2011081445.tif 000010
【００６８】
本実施形態では、注目点集合Ｑ＊、及び輝度分布モデルＩ＊は、個人特化とする。つまり、これらのモデルを対象人物自身についての学習画像から作成する。よって、対象人物が頭部姿勢を大きく変化させ、顔全体の見えが大きく変化する場合であっても、微笑と哄笑とのような見え方の違いが小さな表情を精度よく識別可能である。一方、顔形状モデルＳについては汎用モデルとする。
【００６９】
学習画像集合Ｙは、表情のカテゴリが付与された各対象表情カテゴリについて複数の画像からなる。ここでは、それをＹ＝｛Ｙ０，Ｙｅ＝１，…，Ｙｅ＝Ｎｅ｝と表す。ここで、Ｙ０は、１枚の無表情の顔画像であり、Ｙｅは、表情カテゴリｅ（＞０）のラベルが付与された複数の画像である。無表情の学習画像Ｙ０は、頭部姿勢推定のためのモデル作成用であり、その他の学習画像Ｙｅは、表情認識用である。なお、各学習画像中には、対象人物の正面正立の顔が含まれており、かつ、それらの顔の位置は、画像間で等しいものとする。そのような学習画像の作成方法については、後述する学習画像作成部２にて説明する。
【００７０】
なお、本発明の枠組みでは、個人毎の学習データを事前に用意することが困難な場合には、個人特化モデルを作成する代わりに、汎用的に使用可能な注目点集合Ｑ＊、及び輝度分布モデルＩ＊を用意しても構わない。このときは、事前に多人数の学習データを用意しておく必要がある。そして、そこから各表情についての平均顔画像、及びその分散画像を作成し、それを学習画像集合Ｙと見立てて、個人特化のモデルと同様の方法でモデルを作成すればよい。但し、そのような汎用モデルを用いた場合には、個人特化モデルの場合と比べて、認識精度が低下する可能性が高い。また、逆に、顔形状モデルＳについては、事前に対象人物の顔形状を、レンジスキャナ等で計測したデータがあれば、それを用いても構わない。
【００７１】
＜顔形状モデルＳの作成＞
図７は、形状モデル作成部５の構成を示すブロック図である。
本実施形態では、複数人の顔形状の平均形状を、対象人物の１枚の無表情の学習画像Ｙ０に対してフィッティングしたものを、この顔形状モデルＳとして使用する。具体的には、図７に示す形状モデル作成部５により、学習画像（形状モデル作成用）１０ｃの顔の大きさにフィットするよう平均形状を縦横方向にスケーリングし、さらに、それぞれのスケーリング係数の二乗和の平方根を係数とした奥行き方向にスケーリングを行い、形状モデル１４を作成する。但し、本発明の枠組みでは、任意の剛体形状を形状モデルとして使用可能である。例えば、事前に対象人物の顔形状をレンジスキャナ等で計測したデータがあれば、それを使用すればよい。
【００７２】
＜表情認識用モデル（ＱＥ，ＩＥ）の作成＞
表情認識用の注目点集合ＱＥは、特定の表情カテゴリにおいて、輝度が特徴的である領域に定義される。注目点は、無表情の学習画像Ｙ０の各顔部品について、対象表情のカテゴリ毎に１点ずつ登録される。本実施形態では、顔部品を眉（左／右）、目（左／右）、鼻、及び口の計４種６領域とする。表情毎に選択する注目点の数は、任意であるが、処理速度、及び認識精度に影響を及ぼす。本実施形態では、計６８点（眉：１２×２、目：６×２、鼻：８、及び、口：２４）とする。このときの表情認識用の注目点の総数は、ＮＥｋ＝６８×４＝２７２である。
【００７３】
図８は、各顔部品について登録される注目点集合の一例を示す模式図である。ここでの注目点集合は、個人毎に異なる。それは、顔部品配置や、その見え方の変化、及び表情変化による移動や、変形が個人毎に異なるためである。なお、顔部品の検出方法も任意であるが、本実施形態では、Ｈａａｒ−ｌｉｋｅ特徴量に基づくカスケード型ＡｄａＢｏｏｓｔ検出器（P. Viola and M. Jones: Rapid object detection using a boosted cascade of simple features, In Proc. IEEE Conf. Computer Vision and Pattern Recognition, pages 511--518, 2001）などを用いて、それぞれ矩形領域として検出するものとする。
【００７４】
表情認識用の注目点輝度分布モデルＩＥは、各注目点の輝度が各表情に対して、どのように変化するのかをモデル化したものである。本発明は、この特性を利用して、観測画像中の注目点の輝度から、そのときの表情カテゴリを認識する。だが、顔形状モデルの誤差のため、正確な注目点の位置の算出が困難であることや、撮影環境中の照明が時間的に一定であっても、対象人物の顔向きの変化に伴い、顔に対する照明の方向が変化することにより、観測される注目点の輝度には、ばらつきが生じる。これらのばらつきをどのようにモデル化してもよいが、本実施形態では、正規分布にてモデル化する。ｋ番目の注目点についての輝度分布モデルＩＥｋは、次式（９）のように表される．
【００７５】
【数９】
2011081445.tif 000011
【００７６】
ここで、μｋ（ｅ）及びσ２ｋ（ｅ）は、ｋ番目の注目点の表情カテゴリｅにおける平均、及び分散をそれぞれ表す。この平均、及び分散は、学習画像Ｙｅから算出した輝度平均マップ及び輝度分散マップの、位置ｑＥｋにおける値とする。
【００７７】
図９は、輝度平均マップ、輝度分散マップ、注目点選択、及び輝度分布モデルの作成の一連の処理の流れを示すブロック図である。輝度平均マップ及び輝度分散マップ作成部６は、学習画像１０ｄ（Ｙｅ）から輝度分散マップ１５及び輝度平均マップ１６を作成する。顕著性算出部７は、輝度分散マップ１５から顕著性マップ１７を算出する。注目点選択部８は、顕著性マップ１７に従って、顔部品領域内から対象表情カテゴリの識別に有用な注目点集合１８を選択する。また、輝度分布モデル作成部９は、輝度平均マップ１６及び注目点集合１８から、表情及び頭部姿勢に対する注目点集合１８の輝度変化を示す輝度分布モデル１９を作成する。
【００７８】
また、図１０（ａ）〜（ｃ）は、各々、微笑、哄笑、その他についての輝度平均マップ１６の一例を示す模式図である。また、図１１（ａ）〜（ｃ）は、各々、微笑、哄笑、その他についての輝度分散マップ１５の一例を示す模式図である。輝度平均マップ１６、及び輝度分散マップ１５とは、各表情カテゴリの学習画像の平均を取った画像、及びその分散の画像のことである。以下、詳細に説明する。
【００７９】
＜注目点の選択＞
画像座標ｘの輝度の対象表情ｅについての顕著性は、次式（１０）に示すように、輝度の表情カテゴリｅでの分散（カテゴリ内分散）とその輝度のカテゴリ間分散の比とする。
【００８０】
【数１０】
2011081445.tif 000012
【００８１】
ここで、σ２ｘ，Ｗ（ｅ）は、表情カテゴリｅの位置ｘにおける輝度の分散を表し、σ２ｘ，Ｂ（ｅ）は、表情カテゴリｅとそれ以外の表情カテゴリとの間の輝度の分散を表す。表情顕著性の一例を図１２に示す。図１２（ａ）〜（ｃ）には、各々、微笑、哄笑、その他についての表情顕著性マップを示している。
【００８２】
各対象表情ｅについての注目点は、次のようにして選択される。
（１）まず、顔面上の全ての位置ｘについて表情カテゴリｅについての顕著性Ｓｘ，ｅを、表情カテゴリｅについての学習画像集合Ｙｅから計算する。
（２）次いで、最も顕著性Ｓｘ，ｅの高い位置（ｘ´とする）を注目点として選択する。
（３）そして、その選択された位置ｘ´の顕著性を０とするとともに、その周囲の点の顕著性についても、位置ｘ´からの距離ｄに基づいて減少させる。ここでは、Ｓｘ，ｅ←Ｓｘ，ｅ−α・ｅｘｐ（−ｄ２）とする。
（４）もし、選択された注目点の数が規定数に達していなければ、上記（２）に戻り、さらに注目点を選択する。なお、上記（３）により、各表情で注目点が顕著性を考慮しつつなるべく広く配置されるようにしている。
【００８３】
＜表情カテゴリの尤度＞
表情カテゴリ及び頭部姿勢推定部３２１において、入力動画像の各フレームにおける対象人物の表情カテゴリを推定する際の尤度について説明する。頭部姿勢ｈが与えられた下での観測画像ｚに対する表情カテゴリｅの尤度ｐ（ｈ，ｚ｜ｅｔ）は、テンプレート作成部３１により作成されたテンプレートを用いて算出される。
【００８４】
疎に配置された各注目点の輝度が互いに独立であることを仮定すると、表情カテゴリについての尤度は、次式（１１）で示すように、各注目点についての尤度の積に分解される。
【００８５】
【数１１】
2011081445.tif 000013
【００８６】
ここで、ｚｋ(ｈ)は、次式（１２）、（１３）で示すように、頭部姿勢ｈにおけるｋ番目の特徴点の画像座標での輝度を表す。
【００８７】
【数１２】
2011081445.tif 000014
【００８８】
【数１３】
2011081445.tif 000015
【００８９】
ここで、関数ρ（・）は、ロバスト関数を表し、少数の注目点中に含まれる観測ノイズ（画像ノイズや、形状モデルの誤差に伴う注目点の算出位置のずれなど）により、尤度ｐ(ｚｋ|ｅ）全体が小さくなることを緩和するためのものである。本実施形態では、ロバスト関数ρとしてＧｅｍａｎ−ＭｃＣｌｕｒｅ関数ρ（ｘ）＝ｃ・ｘ２／（１＋ｘ２）を用い、そのスケーリング係数をｃ（＝９）とする。
【００９０】
輝度ｚｉ，ｔは、ｋ番目の注目点の頭部姿勢ｈｔにおける画像座標における画像ｚｔでの輝度である。この画像座標は、以下のように算出される。
【００９１】
（１）まず、形状モデルＳの正面正立方向を画像での正面正立方向に合わせた状態で、学習画像上に定義されている注目点を平行投影により形状モデルＳ上に投影する（貼り付ける）。
（２）次いで、形状モデルＳの顔面の高さ、及び幅の積が、ベースとした元の顔形状（ここでは、平均顔形状）のそれに等しくなるよう、形状モデルを等方的にスケーリングする。
（３）続いて、形状モデルＳを頭部姿勢ｈｔに従い並進、及び回転させる。
（４）最後に、形状モデルＳ上のｉ番目の注目点を中心投影法により観測画像へと投影する。なお、上記（１）及び（２）の処理は、テンプレートを作成した時点などに１度行っておけば、後は、その結果を必要の度に利用すればよい。
【００９２】
＜頭部姿勢推定用のモデル及び尤度＞
次に、表情カテゴリ及び頭部姿勢推定部３２１において、入力動画像の各フレームにおける対象人物の頭部姿勢を推定する際の尤度について説明する。
【００９３】
頭部姿勢推定用の輝度分布モデル１９は、注目点の輝度が頭部姿勢に応じてどのように変化するのかをモデル化したものである。それを事前に学習する方法には、２つの方法が考えられる。１つは、様々な頭部姿勢の学習画像があり、さらに、各画像中の注目点の正確な位置が与えられていれば作成可能である。
【００９４】
例えば、レンジセンサなどにより計測した顔形状と、画像と合わせて磁気センサ等を用いて頭部姿勢を計測すればよい。あるいは、照明環境、対象人物の顔形状モデル、及びその反射特性が既知であれば、コンピュータグラフィックス技術を用いてレンダリングを行うことで、任意の頭部姿勢での注目点の輝度を獲得し、それを元にその注目点での輝度分布モデルを計算可能である。形状、及び反射特性については、人物の平均的な形状や、反射特性を用いても近似的なモデルを作成できる。これらのいずれかの方法を選択できる場合には、表情認識用の輝度分布モデルＩＥｋと同様に、正規分布を用いるなどして、頭部姿勢推定用の輝度分布モデルＩＨｋを表現すればよい。
【００９５】
しかしながら、上記の方法を選択できない場合も多い。この場合には、注目点ＱＨの無表情の学習画像Ｙ０における輝度と観測される輝度との距離に基づいて尤度を計算することとする。この方法は、一般的なテンプレート照合に基づく頭部追跡手法の枠組みと大差ない。よって、本実施形態では、参考文献６（D. Mikami, K. Otsuka, and J. Yamato: Memory-based particle filter for face pose tracking robust under complex dynamics, In Proc. IEEE Conf. Computer Vision and Pattern Recognition, pages 999--1006, 2009.）の方法に従い、頭部姿勢推定用のテンプレートを定義する。
【００９６】
頭部姿勢推定用の注目点ＱＨとして、顔画像上の輝度のエッジを跨ぐダイポール（２点の対）を顔面上に疎に配置する。選択方法としては、ダイポール内の２点の輝度の差が大きなものから順に、対象のダイポール中心が既に選択されたダイポール中心から閾値以上離れたものを１つずつ選択していく。このように選択したダイポールは、顔面上に広範囲に配置されることとなる。本実施形態では、頭部姿勢推定用の注目点の数ＮＨｋ（ダイポール数の２倍の値）については経験的に２５６とする。
【００９７】
これらの注目点の輝度分布ＩＨについては、平均μｋ，０を無表情の学習画像Ｙ０の座標ｑｋにおける輝度とし、その標準偏差については平均に比例する、すなわち、σｋ，０∝μｋ，０であるものとする。なお、このときの比例定数については、陽に定義する必要はない。それは、数式（３）における正規化定数に含めて考えることができるためである。
【００９８】
頭部姿勢についての尤度については、上記参考文献６に従い、次式（１４）とする。
【００９９】
【数１４】
2011081445.tif 000016
【０１００】
ここで、ロバスト関数ρ中のスケーリング係数ｃについては１とする。
【０１０１】
＜外部要因による顔面の輝度変化への対処＞
顔面上の輝度は、一般には、表情変化以外の要因によっても変化し得る。代表的な２つの要因は、照明環境の顔方向に対する不均一性、及び、照明そのものの明るさの変化である。前述した通り、本実施形態では、これらの外部要因による顔面の輝度の変化については陽に扱わないが、本発明の枠組みでは、陽にこれらに対処することも可能である。
【０１０２】
その２つの方法例を説明すると、まず、顔面上の輝度の変化が顔全体で一様である（例えば、参考文献６）、あるいは、顔の小領域内で一様である（例えば、特許文献１）といった仮定を行う。そして、その輝度変化係数を、表情及び頭部姿勢の同時推定において、それらと同じ確率変数とみなして、パーティクルフィルタにおけるサンプルの保持する状態に加えることで確率的に推定する（例えば、頭部姿勢と輝度変化係数のみの推定だが、参考文献６）、あるいは、パーティクルフィルタのサンプルには含めずに、最尤法の枠組みにて確定的に推定する（例えば、特許文献１）などする。
【０１０３】
次に、学習画像作成部２について説明する。
学習画像は、対象人物の１枚の無表情、かつ、正面正立の顔画像Ｙ０、及び、それと顔の位置、及び向きが同じである各対象表情カテゴリｅについての複数の画像Ｙｅから成る。学習画像作成部２では、学習画像を以下のようにして準備する。
【０１０４】
まず、無表情の顔画像Ｙ０については、認識対象の表情カテゴリの動画像のうち、対象人物が無表情、かつ、正面正立である任意の１フレームを選んだものとする。もし、そのようなフレームが入力動画像中になくとも、対象動画像と同一の照明環境において同時期に撮影した対象人物の画像があればよい。次いで、その無表情の学習画像Ｙ０から、形状モデル及び頭部姿勢推定用のモデル、すなわち、｛Ｓ，ＱＨ，ＩＨ｝を作成する。
【０１０５】
続いて、対象動画像に対して、それらのモデルのみ（表情認識用のモデルを含まない）を用いて頭部姿勢を推定する。この方法については、既存の頭部姿勢推定手法である参考文献６の方法と基本的に同じである。そして、入力動画像から、対象人物の表情が認識対象のカテゴリであるフレームをカテゴリ毎に複数枚選び出す。最後に、それらのフレームについて、推定した頭部姿勢と形状モデルＳとを用いて、各フレーム中の対象人物の顔を正面正立の顔画像へと逆投影したものを、表情カテゴリについての学習画像Ｙｅとする。なお、逆投影にて作成する正面正立の顔画像のサイズについては、自由に決定できるが。１５０×２００［ｐｉｘｅｌ］程度で構わない。
【０１０６】
次に、表情表出対象推定部３２２について説明する。
表情カテゴリの表出対象ｇは、注視対象と等しいと仮定する。注視対象の推定には、大きく２通りの方法が考えられる．１つは、視線方向を直接推定する方法（例えば、参考文献７：山添大丈，内海 章，安部伸治, 顔特徴点追跡による単眼視線推定,映像情報メディア学会誌, Vol.61, No.12, pp.1750-1755, 2007.）である。もう１つは、視線方向を直接推定するのではなく、注視方向と相関が高いとされる頭部姿勢を基に推定する方法である。本発明の枠組みでは、どちらの方法も適用可能であるが、本実施形態では、表情カテゴリ及び頭部姿勢推定部３２１において各対話参与者の頭部姿勢が表情カテゴリと同時に得られるため、この頭部姿勢の推定値を基に注視対象を推定することとする。なお、対話中を対象とした注視方向と頭部姿勢との関係についての従来研究としては、参考文献８（R. Stiefelhagen: Tracking focus of attention in meetings, In Proc. ICMI, pages 273--280, 2002.）がある．
【０１０７】
以下では、頭部姿勢から表情の表出対象者を特定する方法について説明する。本実施形態では、対象人物の注視対象の対話参与者に対する頭部姿勢の分布が正規分布に従うことを仮定し、表情カテゴリ及び頭部姿勢推定部３２１から出力される頭部姿勢を入力として、最尤推定の枠組みにより表情の表出対象者を推定する。これは、数式（１５）にて表される。
【０１０８】
【数１５】
2011081445.tif 000017
【０１０９】
ここで、＾ｇｉ＝ｊは、対話参与者Ｐｉの表情が対話参与者Ｐｊに対して向けられていると推定されたことを意味する。角度ｈＨＯＲｉは、表情カテゴリ及び頭部姿勢推定部３２１より出力される対話参与者Ｐｉの頭部姿勢のうちの水平角度成分であり、φｉ，ｊは、対話参与者Ｐｉから見た対話参与者Ｐｊの相対的な方位角を表す。これについても表情カテゴリ及び頭部姿勢推定部３２１より出力される対話参与者Ｐｉ及び対話参与者Ｐｊの次元位置から計算可能である．σ２及びκは、分散、及びスケーリング係数をそれぞれ表す。
【０１１０】
なお、各人物の表情の表出対象が他の対話参与者の誰にも属さない場合、すなわち、注視対象が他のどの対話参与者からもそれている場合の頭部姿勢については、一様分布にて表現する。つまり、数式（１５）で推定された＾ｇｉの確率が閾値以下であれば、そのときの注視対象は、他の対話参与者の誰にも属さないものとする。
【０１１１】
次に、人物間感情ネットワーク作成部４について説明する。
人物間の感情（人物間感情）は、各対話参与者が他の対話参与者に対して、どのような表情をどれだけ表出したかに基づいて推定される。
【０１１２】
人物間感情ネットワークは、対話参与者間の感情を表すものである。この感情の尺度については、好意的−敵対的であるとか、協調度合いなど様々なものが考えられる。好意的−敵対的感情ネットワークを推定する基準としては、対話参与者間での好意的表情、あるいは敵対的表情の表出量や、表情の共起の度合いなどが考えられる。まず、好意的−敵対的を人物間感情の尺度として、好意的−敵対的表情の表出量に基づいて感情を定義する方法について説明する。対話参与者Ｐｉの対話参与者Ｐｊに対する表情の表出量を、対話長で正規化された対話参与者Ｐｉから対話参与者Ｐｊへの表情の表出時間とすると、対話参与者Ｐｉの対話参与者Ｐｊに対する感情ｒｉ→ｊは、次式（１６）のように表される。
【０１１３】
【数１６】
2011081445.tif 000018
【０１１４】
ここで、ｗ（ｅ）は、符号付き重み関数であり、表情カテゴリｅが好意的なカテゴリである場合には１、敵対的なカテゴリである場合には−１、中立的なカテゴリである場合には０を返す。１（・）は、括弧内の条件が満たされる場合には１、そうでない場合には０を返す関数である。Ｔは、対象動画像の総フレーム数を表す。この推定される人物間感情ｒｉ→ｊを対話参与者全体についてまとめた構造のことを人物間感情ネットワークと呼ぶ。
【０１１５】
なお、ここでは、ｗ（・）の出力の大きさ（絶対値）が０、または１、すなわち、全ての表情の人物間感情への寄与を等しい重みで扱っている。但し、このｗ（・）の出力の大きさをカテゴリ毎に変化させてもよい。例えば、怒りのように僅かな時間の表出でも、人物間感情に大きな影響を及ぼすと考えられるならば、カテゴリの重みを大きくしてもよい。また、微笑と哄笑のように同じ好意的なカテゴリであっても、表出の指向性が大きく異なるカテゴリには、微笑の重みを大きく、哄笑の重みを小さくするなどすることが考えられる。
【０１１６】
他の人物間感情の尺度として、表情の表出量以外の尺度も使用可能である。例えば、親密度合いのよい指標であるとされる表情の共起を用いる場合には、次式（１７）などとする。
【０１１７】
【数１７】
2011081445.tif 000019
【０１１８】
ここで、Ｅ＋は、微笑など親密度合いに正に寄与する表情カテゴリの集合を示す。このときの関数ｗ（ｅ）の出力については、Ｅ＋に属する表情については正、苦笑や、怒りなど親密度合いに負に寄与する表情カテゴリについては負、他の表情については０などとする。このとき、対話参与者Ｐｉが対話参与者Ｐｊに対して親密度合いに正に寄与する表情カテゴリＥ＋に属する表情を表出しているときに、対話参与者Ｐｊも対話参与者Ｐｉに対してＥ＋に属する表情を表出している時間が長いほど、ｒｉ→ｊの値が大きく、対話参与者Ｐｊが対話参与者Ｐｉに対してＥ＋に属さない表情を表出している時間が長いほど、また、対話参与者Ｐｊが対話参与者Ｐｉの方向に注視対象を向けていないほど、ｒｉ→ｊの値が小さくなる。
【０１１９】
＜人物間感情ネットワークのグラフ表現＞
図１３は、人物間感情ネットワークをグラフ構造として表現した一例を示す概念図である。このグラフ表現では、対話参与者を円形のノードで表し、二者間の方向付きリンク（矢印）は、それら人物間の感情ｒｉ→ｊを表す。ここでは、人物間感情ｒを中立的／好意的／敵対的という１次元にて扱い、これをリンクの濃淡（または色）にて表現する。中立的である（ｒ≒±０）場合には灰色、好意的である（ｒ＞＞０）ほど白色に近い色、敵対的である（ｒ＜＜0）ほど黒色に近い色にて表している。また、リンクの太さ（線幅）については、対象人物方向についての表情の表出量に比例している。なお、感情ｒの次元数が３以下であれば、ＲＧＢの各成分にｒの各成分を割り当てることで、同様に感情の状態を表現できる。
【０１２０】
対話参与者Ｐｉのノードの大きさは、好意的、及び敵対的な表情カテゴリの表出量（フレーム数）に比例し、ノードの濃淡（または色）は、他の対話参与者からの感情ｒの和、すなわち、ｒｉ→ｊに従い、リンクの濃淡（または色）と同様の方法にて表す。但し、このノードの大きさと濃淡（または色）についての基準とする指標には、他にも、後述する表情表出量の対話参与者間の分散や、表情被表出量の対話参与者間の分散など、様々なものが考えられる。
【０１２１】
この人物間感情ネットワークは、コンパクトな表現であるものの、そこから様々な対話の状態や、対話参与者間の関係などが示唆される。以下でその一例を挙げる。
【０１２２】
（１）対話の種類
対象の対話が、互いに異なる意見を持った議題に対するディスカッションであるのか、あるいは、日常会話のような特に大きな意見の衝突のない対話であるのかを、ある程度推定可能である。前者の場合では、好意的な感情と敵対的な感情とが混合する。すわなち、感情ｒを好意的−敵対的感情を尺度として、ｒｉ→ｊのｉ及びｊについての分散が大きい。図１３に示すグラフ表示方法では、黒色に近いから白色に近いまで、様々な色のリンクが表れる。後者の場合では、主に好意的な感情が表れる。すわなち、ｒｉ→ｊのｉ及びｊについてのその分散が小さく平均が大きい。図１３に示すグラフ表示方法では、主に灰色から白色の間の色のリンクが表れる。
【０１２３】
（２）対話の盛り上がり度合い
感情ｒを表情の共起の度合いとした場合、ｒｉ→ｊの多くのi及びjの組み合わせについての分散が小さく平均が大きければ、その対話が盛り上がっていたことが示唆される。また、対話参与者Ｐｉ及び対話参与者Ｐｊについて、ｒｉ→ｊ及びｒｊ→ｉが共に大きければ、少なくともその二者間では、対話が盛り上がっていたことが示唆される。
【０１２４】
（３）人間関係
誰と誰とが好意的な関係であり、逆に、誰と誰とが対立的関係にあるのかが見て取れる。例えば、対話参与者Ｐｉ及び対話参与者Ｐｊの関係を、ｒｉ→ｊ＞τ∩ｒｊ→ｉ＞τ（τ＞０）であれば好意的、ｒｉ→ｊ＜−τ∩ｒｊ→ｉ＜−τであれば敵対的、｜ｒｉ→ｊ｜＜τ∩｜ｒｊ→ｉ｜＜τであれば中立的、それ以外の場合は片方の一方的な好意であるであるとみなせる。
【０１２５】
（４）グループ分け
対話参与者を好意的関係にある者同士をまとめたグループに分割することができる。例えば、二者間の感情がｍｉｎ｛ｒｉ→ｊ，ｒｊ→ｉ｝＞τ´であるリンクで繋がれた集団を１つのグループとみなすことが考えられる。図１３に示す例では、例えば、対話参与者Ｐ１と対話参与者Ｐ２とからなるグループと、対話参与者Ｐ３と対話参与者Ｐ４とからなるグループとが存在することとなる。
【０１２６】
（５）個人の性格
対話参与者Ｐｉを除く対話参与者が、対話参与者Ｐｉに対して抱いている感情の和をｒＩＮ（ｉ）＝Σｊ（≠ｉ）ｒｊ→ｉと表し、対話参与者Ｐｉが抱く他の全ての対話参与者への感情の和をｒＯＵＴ（ｉ）＝Σｊ（≠ｉ）ｒｉ→ｊと表す。ｒＯＵＴ（ｉ）の値が大きく（小さく）、かつ、ｒｉ→ｊのｊに対する分散が小さい場合には、対話参与者Ｐｉが全体的に対話の流れをよく保とうとしているか（話題をつまらないと思っているか）、あるいは、他の対話参与者を分け隔てなく好意的（敵対的）に思っているか、また逆に、誰からも好意的に思われたい（誰からも好意的に思われなくともよい）といったことを暗示している。ｒｉ→ｊのｊに対する分散が大きな場合には、対話参与者Ｐｉが一部の対話参与者を特に好意的（敵対的）に思っていることを暗示する。ｒＯＵＴ（ｉ）が０付近であり、ｒｉ→ｊのｊに対する分散が小さな場合には、対話参与者Ｐｉが他の全ての対話参与者や、話題そのものに、あまり関心がないことを暗示する。
【０１２７】
なお、上記に（１）から（５）として説明したように、人物間感情ネットワーク、すなわち、図１３に示されるようなグラフ構造などで図式化して出力される複数の人物間の感情の関係に基づいて、対話の種類、対話の盛り上がり度合い、人間関係、好意的関係にあるサブグループの構成、個人の性格のうち少なくとも一つを推定する推定部を備えてもよい。
【０１２８】
上述した実施形態によれば、以下の従来にない顕著な効果を期待することができる。
（１）広範囲にわたり、頭部姿勢を変化させる対話中の人物に対し、視覚的に類似した表情カテゴリを、実時間で、かつ、高精度に認識することができる。
（２）視覚的に類似した表情カテゴリの識別に有効な個人特化のテンプレートを、少ない学習画像から作成することができる。
（３）どの対話参与者が、いつ誰にどのようなカテゴリの表情を表出したかを認識できる。
（４）好意的−敵対的、あるいは、協調的といった、ある対話参与者から他の対話参与者への感情を推定することができる。
（５）人物間感情ネットワークの構造を即座に、直感的に把握可能なグラフとして表示することができる。
（６）人物間感情ネットワークに基づいて、対話の種類、対話の盛り上がり度合い、人間関係、好意的関係にあるサブグループや、個人の性格など、様々な対話の状態や、人物間関係などを推定することができる。
【符号の説明】
【０１２９】
１  入力部
２−１〜２−Ｎ  学習画像作成部
３−１〜３−Ｎ  表情推定部
４  人物間感情ネットワーク作成部
３１  テンプレート作成部
３２  表情カテゴリ及び表出対象推定部
３２１  表情カテゴリ及び頭部姿勢推定部
３２２  表情表出対象推定部
３２１１  パーティクルフィルタ
３２１２  推定値算出部
５  形状モデル作成部
６  輝度平均マップ及び輝度分散マップ作成部
７  顕著性算出部
８  注目点選択部
９  輝度分布モデル作成部
【図１】
2011081445.tif 000020
【図２】
2011081445.tif 000021
【図３】
2011081445.tif 000022
【図４】
2011081445.tif 000023
【図５】
2011081445.tif 000024
【図６】
2011081445.tif 000025
【図７】
2011081445.tif 000026
【図８】
2011081445.tif 000027
【図９】
2011081445.tif 000028
【図１３】
2011081445.tif 000029
【図１０】
2011081445.tif 000030
【図１１】
2011081445.tif 000031
【図１２】
2011081445.tif 000032