(57)【特許請求の範囲】
【請求項１】
複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出する視線状態検出手段と、
複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定する初期値設定手段と、
前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定する状態決定手段と、
前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定するパラメータ決定手段と、
前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定する推定手段と、
を含む対話状態推定装置。
【請求項２】
前記状態決定手段は、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態が各状態となる確率を示す第１確率分布、及び前記複数の対話者の各々の表情を示す状態が各状態となる確率を示す第２確率分布を求め、求められた前記第１確率分布に従って、前記複数の対話者間の共感性を示す状態を決定すると共に、求められた前記第２確率分布に従って、前記複数の対話者の各々の表情を示す状態を決定し、
前記パラメータ決定手段は、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータが各値である確率を示す第３確率分布を求め、求められた前記第３確率分布に従って、前記対話モデルのパラメータを決定する請求項１記載の対話状態推定装置。
【請求項３】
前記視線状態検出手段は、前記画像の時系列データを入力として、前記複数の対話者間の視線の状態の時系列データを検出し、
前記初期値設定手段は、前記対話モデルのパラメータの初期値を設定すると共に、前記複数の対話者間の共感性を示す状態の時系列データの初期値、及び前記複数の対話者の各々の表情の状態の時系列データの初期値を設定し、
前記状態決定手段は、前記複数の対話者間の共感性を示す状態の時系列データ、及び前記複数の対話者の各々の表情を示す状態の時系列データを決定し、
前記推定手段は、前記複数の対話者間の共感性を示す状態の時系列データ、又は前記複数の対話者の各々の表情を示す状態の時系列データを推定する請求項１又は２記載の対話状態推定装置。
【請求項４】
前記画像に基づいて、前記複数の対話者の各々の表情の状態を推定する表情推定手段を更に含み、
前記状態決定手段は、前記初期値設定手段によって設定された前記パラメータ、及び前記表情推定手段による推定結果に基づいて、前記複数の対話者の各々の表情を示す状態を決定する請求項１〜請求項３の何れか１項記載の対話状態推定装置。
【請求項５】
前記複数の対話者間の視線の状態を、相互凝視、片側凝視、及び相互そらし、又は相互凝視及び片側凝視とした請求項１〜請求項４の何れか１項記載の対話状態推定装置。
【請求項６】
前記複数の対話者間の共感性を示す状態を、共感、無関心、及び反感とした請求項１〜請求項５の何れか１項記載の対話状態推定装置。
【請求項７】
前記表情の状態を、肯定的、中立的、及び否定的、又は無表情、微笑、驚き、及び嫌悪とした請求項１〜請求項６の何れか１項記載の対話状態推定装置。
【請求項８】
前記推定手段は、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返した後に、更に、前記状態決定手段による決定及び前記パラメータ決定手段による決定を複数回繰り返し、前記複数回繰り返したときに前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態に基づいて、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定する請求項１〜請求項７の何れか１項記載の対話状態推定装置。
【請求項９】
視線状態検出手段、初期値設定手段、状態決定手段、パラメータ決定手段、及び推定手段を含む対話状態推定装置における対話状態推定方法であって、
前記対話状態推定装置は、
前記視線状態検出手段によって、複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出するステップと、
前記初期値設定手段によって、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定するステップと、
前記状態決定手段によって、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定するステップと、
前記パラメータ決定手段によって、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定するステップと、
前記推定手段によって、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定するステップと、
を含んで実行することを特徴とする対話状態推定方法。
【請求項１０】
コンピュータを、請求項１〜請求項８の何れか１項記載の対話状態推定装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話状態推定装置、方法、及びプログラムに係り、特に、複数の対話者間の共感性の状態、又は複数の対話者の表情の状態を推定する対話状態推定装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
対面対話は、人が社会的生活を営む上で他者との情報共有、相手の感情の理解、及び、意思決定などを行う上で最も基本的なコミュニケーション形態である。よって、ミーティング自動分析の研究が注目を集めている。もし、ミーティングにおいて、ターンテイキング（発話切り換え）がどのような流れで行われているか、主要な人物は誰か、対話者がどのような感情を抱いているのか、といった様々な情報を把握してそのミーティングを上手く支援してくれるシステムがあれば、ミーティングはもっと楽しく、有意義で生産的なものになると考えられる。しかし、そのようなミーティングの状態のうち、対話者の感情については、これまでのミーティング自動分析の分野でほとんど扱われてこなかった。また、グループミーティングにおける対話者の感情の状態を自動的に推定することは、重要であるにもかかわらず、その試みは見当たらない。
【０００３】
ここで、関連の深い従来技術として、表情認識の技術が知られている。最近の表情認識の対象は、初期の表情認識研究で対象とされていた幸福、驚き、怒り、悲しみ、嫌悪、恐れという６基本表情から、自発的な自然な表情にシフトしてきている。例えば、非特許文献１では、ミーティング中に表出された微笑、哄笑、及び、それ以外の３種を識別する方法が提案されている。
【０００４】
また、対人感情を推定する技術が知られている。上記の非特許文献１では、ミーティング場面において誰が誰に対して微笑を送っているのかを自動的に認識し、さらに、それが合計でどの程度の時間行われていたのかを数え上げた結果をネットワーク表示することで、対話者間の対人感情を可視化する方法を提案している。このとき、微笑が誰から誰に送られたのかについては、映像から自動的に推定した各対話者の表情と頭の方向から決定している。
【０００５】
また、グループ全体としてのミーティング状態を推定する技術が知られている。例えば、ミーティングに関する上位レベルの状態として、モノノーグやダイアローグといった対話のレジームの状態、及び、主導権を持った人物を自動的に推定する技術が提案されている（例えば、特許文献１）。上記特許文献１では、レジームの状態、誰と誰がインタラクションしているのか、及び、対話者の行動からなる３層の階層構造の対話モデルを提案している。
【０００６】
また、ソーシャルネットワーク、あるいは、ソシオメトリと呼ばれる、大規模なグループにおける人物間に直接的な関係があるのかどうかについてのネットワークを推定する方法が提案されている（非特許文献２、３）。それらネットワークは、物理的な近接性（非特許文献２）や画像中の動き情報（非特許文献３）という比較的シンプルな情報から直接求められている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−３３８５２９号公報
【非特許文献】
【０００８】
【非特許文献１】S. Kumano, K. Otsuka, D. Mikami and J. Yamato, "Recognizing communicative facial expressions for discovering interpersonal emotions in group meetings", In Proc. Int'l Conf. Multimodal Interfaces and Workshop on Machine Learning for Multimodal Interaction (ICMI-MLMI 2009), 2009.
【非特許文献２】N. Eagle, A. Pentland, and D. Lazer. Inferring social network structure using mobile phone data. In Proc. the National Academy of Sciences (PNAS), volume 106, pages 15274−15278, 2009.
【非特許文献３】L. Ding and A. Yilmaz. Learning relations among movie characters: A social network perspective. In In Proc. European Conference on Computer Vision (ECCV2010), volume IV, pages 410−423, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の非特許文献１に記載の技術では、表情を認識する対象の人物のみに着目し、それらの表情が表出された文脈を考慮していなかった、という問題がある。更に、上記の非特許文献１に記載の技術の問題は、誰かに対して向けられた表情が、直接的にその人物に対する感情を表しているという仮定にある。つまり、この方法では、第三者やモノに対して抱いている感情を他者に伝える場面、例えば、二者共が好ましく思っていないモノに対する否定的な感情をお互いに否定的な表情を表出して共感しあっている場面を扱うことができない。
【００１０】
また、上記の特許文献１に記載の技術では、対話者の感情に関わる状態については扱われていない、という問題がある。
【００１１】
また、上記の非特許文献２、３に記載の技術では、短時間の感情に関わるグループの状態についてはほとんど注意が払われていない、という問題がある。
【００１２】
本発明は、上記の課題を解決するためになされたもので、複数の対話者間の共感性の状態又は各対話者の表情の状態を推定することができる対話状態推定装置、対話状態推定方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために本発明に係る対話状態推定装置は、複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出する視線状態検出手段と、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定する初期値設定手段と、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定する状態決定手段と、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定するパラメータ決定手段と、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定する推定手段とを含んで構成されている。
【００１４】
本発明に係る対話状態推定方法は、視線状態検出手段、初期値設定手段、状態決定手段、パラメータ決定手段、及び推定手段を含む対話状態推定装置における対話状態推定方法であって、前記対話状態推定装置は、前記視線状態検出手段によって、複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出するステップと、前記初期値設定手段によって、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定するステップと、前記状態決定手段によって、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定するステップと、前記パラメータ決定手段によって、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定するステップと、前記推定手段によって、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定するステップと、を含んで実行することを特徴とする。
【００１５】
本発明によれば、視線状態検出手段によって、複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出する。初期値設定手段によって、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定する。
【００１６】
そして、状態決定手段によって、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定する。パラメータ決定手段によって、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定する。
【００１７】
そして、推定手段によって、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定する。
【００１８】
このように、複数の対話者間における共感性を示す状態と複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルを用いることにより、複数の対話者間の共感性の状態又は各対話者の表情の状態を推定することができる。
【００１９】
本発明に係る前記状態決定手段は、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態が各状態となる確率を示す第１確率分布、及び前記複数の対話者の各々の表情を示す状態が各状態となる確率を示す第２確率分布を求め、求められた前記第１確率分布に従って、前記複数の対話者間の共感性を示す状態を決定すると共に、求められた前記第２確率分布に従って、前記複数の対話者の各々の表情を示す状態を決定し、前記パラメータ決定手段は、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータが各値である確率を示す第３確率分布を求め、求められた前記第３確率分布に従って、前記対話モデルのパラメータを決定するようにすることができる。
【００２０】
本発明に係る前記視線状態検出手段は、前記画像の時系列データを入力として、前記複数の対話者間の視線の状態の時系列データを検出し、前記初期値設定手段は、前記対話モデルのパラメータの初期値を設定すると共に、前記複数の対話者間の共感性を示す状態の時系列データの初期値、及び前記複数の対話者の各々の表情の状態の時系列データの初期値を設定し、前記状態決定手段は、前記複数の対話者間の共感性を示す状態の時系列データ、及び前記複数の対話者の各々の表情を示す状態の時系列データを決定し、前記推定手段は、前記複数の対話者間の共感性を示す状態の時系列データ、又は前記複数の対話者の各々の表情を示す状態の時系列データを推定するようにすることができる。これによって、複数の対話者間の共感性の状態又は各対話者の表情の状態を精度良く推定することができる。
【００２１】
本発明に係る対話状態推定装置は、前記画像に基づいて、前記複数の対話者の各々の表情の状態を推定する表情推定手段を更に含み、前記状態決定手段は、前記初期値設定手段によって設定された前記パラメータ、及び前記表情推定手段による推定結果に基づいて、前記複数の対話者の各々の表情を示す状態を決定するようにすることができる。
【００２２】
本発明に係る前記複数の対話者間の視線の状態を、相互凝視、片側凝視、及び相互そらし、又は相互凝視及び片側凝視とすることができる。また、前記複数の対話者間の共感性を示す状態を、共感、無関心、及び反感とすることができる。また、前記表情の状態を、肯定的、中立的、及び否定的、又は無表情、微笑、驚き、及び嫌悪とすることができる。
【００２３】
本発明に係る前記推定手段は、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返した後に、更に、前記状態決定手段による決定及び前記パラメータ決定手段による決定を複数回繰り返し、前記複数回繰り返したときに前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態に基づいて、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定するようにすることができる。
【００２４】
本発明に係るプログラムは、コンピュータを、上記の対話状態推定装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００２５】
以上説明したように、本発明の対話状態推定装置、対話状態推定方法、及びプログラムによれば、複数の対話者間における共感性を示す状態と複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルを用いることにより、複数の対話者間の共感性の状態又は各対話者の表情の状態を推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】（Ａ）、（Ｂ）対話モデルを説明するための図である。
【図２】（Ａ）、（Ｂ）表情共起行列を説明するための図である。
【図３】（Ａ）、（Ｂ）表情の状態の推定方法を説明するための図である。
【図４】本発明の実施の形態に係る対話状態推定装置の構成を示す概略図である。
【図５】（Ａ）対話を撮影する様子を示す図、及び（Ｂ）各対話者を撮影した画像のイメージ図である。
【図６】本発明の実施の形態に係る対話状態推定装置における対話状態推定処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２８】
＜概要＞
まず、本発明の概要について説明する。ミーティングを深く理解する上で重要なのは、対話者間で行われる感情的なメッセージのやりとりを介して、どのような対人関係が築かれ、結果的としてどのように合意が形成されていくのかを把握することである。そのような感情的メッセージの基本的なユニットは、ミーティングでは共感、無関心、及び、反感であると考える。例えば、共感はしばしば同意や親密な対人関係を表す。共感は、カメレオン効果やｍｏｔｏｒ  ｍｉｍｉｃｒｙなどと呼ばれる対話者間の同調的な行動を引き起こす。共感は、微笑といった肯定的な感情を表す行動ばかりでなく、哀れみのような否定的な感情を表す行動を引き起こすこともある。他方、共感と比べてあまり明らかにされていないが、反感や無関心は行動の非同調を引き起こしやすいものと予想される。
【００２９】
また、共感や反感に関わる対話者行動のうち、表情と視線の組み合わせが特に重要である。それは、それらが多量の感情的なメッセージを瞬時かつ方向性を持った（相手を特定した）形で達成することができるためである。表情は、感情的メッセージを表出するための主要な方法である。例えば、微笑は肯定的な感情を表すとともに、相手との親密な対人関係を構築しまた証明する。無表情を含む中立的な（肯定的でも否定的でもない）表情は、相手が肯定的な表情をしている際には反感的な反応とみなされうる。他方の視線は様々な機能を持つが、共感的インタラクションにおいては、特に、モニタリング及びトリガリングが重要である。モニタリングは他者の表情を観察してそこから相手の感情を読み取るために必須である。トリガリングは、自分のことを見ている人物に対して視線を向け、さらに、その人物に対して反応することを引き起こす。この２つの機能により、二者は相互凝視（アイコンタクト）をし、感情的メッセージが表情を介して瞬時に交換され共有されることとなる。相互凝視はさらに同調的行動をより強く引き起こす。
【００３０】
なお、以下では、「共感的インタラクション」という単語を、二者が表情と視線を組み合わせて感情的メッセージをやりとりする短時間のイベントと定義する。送られる感情的メッセージは結果として、共有されるかもしれないし、あるいは無視や拒絶されるかもしれない。要するに、共感的インタラクションは「誰が誰と共感、無関心、あるいは反感しているのか」を表す。また、共感的インタラクションの状態が、共感性を示す状態の一例である。
【００３１】
ここで、表情と視線の組み合わせによって二者間でどのように感情的メッセージが取り交わされるのかの一例を紹介する。人物Ａが人物Ｂに対してある表情を向けたときを考えてみる。このとき、二者が共感し合っている場合には、人物Ｂは人物Ａと類似した表情を返す。例えば、微笑に対しては微笑を、悲しそうな顔だと哀れみの表情といった具合である。他方、二者が反感し合っている場合には、人物Ｂは人物Ａとは異なる表情を表出するかもしれない。例えば、微笑に対して嫌悪を示したり、困惑の表情に苦笑したりする。お互いに相手に対して無関心な二者は、相手の表情に関わらず中立的な表情をすることが多い。
【００３２】
そこで、本発明では、ミーティング中に対話者間で取り交わされる感情的なメッセージの主要な表出手段である表情と、それに深く関わる形で行われる共感的インタラクションを同時に推定する。共感的インタラクションのキーとなる対話者行動として本発明では表情と視線に注目する。それは、それらの組み合わせが瞬時かつ指向的な多量の共感的メッセージの伝達を実現するからである。本発明では、対話者ペアの共感的インタラクションと表情の間には深い関わりがあり、両者の表情は共感的インタラクションの種類に従って共起する。この仮定に基づき、本発明では確率モデルを使用し、映像データを観測データとして共感的インタラクション及び表情を同時に推定する。
【００３３】
＜対話モデルの概要＞
次に、本発明で提案する対話状態推定装置で用いる対話モデルについて説明する。
【００３４】
共感的インタラクションと対話者の行動との間の関係性をモデル化する１つの方法として、本実施の形態では階層的動的ベイジアンネットワークを用いる。このモデルでは、最上位のレイヤの状態は離散的であり、それがマルコフ過程に従って遷移し、その状態がその下位のレイヤの状態を支配する。ここでは、共感的インタラクションが上位レイヤであり、表情と視線を含む対話者行動が中位レイヤである。さらに、対話者行動はその下位のレイヤである映像信号に影響を及ぼす。
【００３５】
図１（Ａ）に映像信号から共感的インタラクションの状態及び表情の状態を推定するための階層的動的ベイジアンネットワークを示す。ここで、ｔは離散的な時間ステップを表し、ｔ＝１、・・・、Ｔである。また、ノードは変数を表し、矢印は変数間の確率的な因果関係を表す。図１（Ａ）のモデルでは、変数は次の３つ、すなわち、共感的インタラクション｛Ｅt｝t=1T、表情｛Ｆt｝t=1T、及び視線｛Ｘt｝t=1Tである。図１（Ｂ）に示すように、それぞれの対話者ペアの共感的インタラクションの状態と視線の状態は、両者の表情に影響を及ぼすと仮定する。この関係性は後述の表情共起行列によりモデル化される。共感的インタラクションの種類は視線の状態にも影響を及ぼすとする。これは、予備検討として使用したデータにおいて、共感と反感のインタラクションにおいては相互凝視や片側凝視が多く生じ、無関心においては相互そらしが多く生じていたことによる。
【００３６】
時刻ｔにおける対話者の全ペアの共感的インタラクションの状態の集合を、Ｅt ＝｛ｅt(i,j)｝(i,j)∈rにて表す。ここで、ｅ(i,j)∈｛１,・・・,Ｎe｝は対話者ｉと対話者ｊのペア（ｉ，ｊ）の間のインタラクションの種類を表し、ｒはＮ×（Ｎ−１）組ある対話者ペアの集合を表す。Ｎeは共感的インタラクションの種類の数である。本実施の形態では、ｅ(i,j)∈｛“共感” 、“無関心” 、“反感”｝とし、Ｎe＝３とする。時刻ｔにおける全ての対話者の表情の状態の集合を、Ｆt ＝｛ｆi,t｝i=1Nにて表す。ここで、ｆi ∈｛１,・・・,Ｎf｝は対話者ｉの表情状態を表し、Ｎf は表情の状態数を表す。本実施の形態では、ｆi ∈｛“肯定的” 、“中立的” 、“否定的”｝とし、Ｎf＝３とする。
【００３７】
時刻ｔにおける全ての対話者ペアの視線状態の集合をＸt＝｛ｘt(i,j)｝にて表す。ここで、ｘt(i,j)は対話者ペア（ｉ，ｊ）の視線状態を表し、相互凝視、片側凝視、相互そらしのうちのいずれか１状態をとるものとする。つまり、視線の状態数はＮx＝３である。
【００３８】
時刻ｔにおける画像（映像データ中の１フレーム）をＩtにて表す。全ての対話者がこの画像中に含まれているものとする。この画像Ｉが観測データとなる。なお、本実施の形態では画像のみを観測データとするが、映像中の音声データを併せて利用しても構わない。
【００３９】
＜表情共起行列＞
ここで、本発明の重要な部分である、共感的インタラクション及び視線の状態が、対話者間の表情の共起のパターンに影響を及ぼすことをモデル化した表情共起行列について説明する。ここでは、表情を除く対話者行動として視線のみを対話モデルに含めているが、頭部ジェスチャなどのこれら以外の対話者行動を対話モデルに含めてもよい。
【００４０】
本実施の形態では、共感的インタラクションは、それぞれの対話者ペア、すなわち、二者の間に定義され、離散的な状態をとるものとする。ここでは、共感的インタラクションの状態として「共感」、「無関心」、及び、「反感」の３つがあるものとする。
【００４１】
表情は対話者毎に定義され、複数の状態に分類できるものとする。本発明では任意の状態を使用可能だが、本実施の形態では、「肯定的」、「中立的」、「否定的」の３つの状態を仮定する。この他には、「無表情」、「微笑」、「驚き」、「嫌悪」といった状態を用いてもよい。
【００４２】
ここでは、視線の状態として「相互凝視」、「片側凝視」、及び、「相互そらし」の３状態を定義する。相互凝視は二者がお互いに相手の方を見合っている状態、すなわち、アイコンタクトをしている状態である。片側凝視は対話者ペアの一方の対話者のみが他方の対話者の方を見ている状態である。相互そらしは両者がお互いに相手の方を見ていない状態である。
【００４３】
ここでは、対話者同士がどのような表情を表出し合いやすいかについての頻度のパターンを表情共起行列と呼ぶ。
【００４４】
図２（Ａ）、（Ｂ）に、それぞれの共感的インタラクションの状態及び視線の状態の各組み合わせについての表情共起行列を示す。これらの表情共起行列は、撮影した実際の対話のデータ（対話時間の合計は３０分程度）に対して、共感的インタラクション、表情、及び、視線の状態について人手で付けたラベルを使用して作成されたものである。上記図２において、表情共起行列の要素の色が明るいほど、その要素の頻度が高いことを表わしている。また、「判定困難」（“hard to judge”）の状態は、ラベル付けをした人物が、そのフレームに対して共感、無関心、及び反感のいずれかのラベルを付ける事が困難だと判断したことを意味する。例えば、二者が直接的なインタラクションを行っていない場合である。なお、この表情共起行列はその定義上、相互凝視及び相互そらし状態においては対称であるが、片側凝視については一般に非対称となる。また、上記図２（Ｂ）において、片側凝視については、人物ｉが見ている人、人物ｊが見られている人を表わしている。上記図２（Ａ）において、それぞれの表情共起行列の間に明らかにパターンの差が見られる。これは、表情共起行列が共感的インタラクションの状態及び視線の状態の組み合わせにより表情共起のパターンが変化する、という本発明における仮説の妥当性を示している。さらに、これらの表情共起のパターンの特徴の多くは、これまでに明らかにされている心理学的知見と概ね一致する。ａ）まず、共感の状態では、肯定的表情の共起が多く見られる。ｂ）相互凝視は行動の同調、すなわち、表情の一致をより引き起こす。例えば、相互凝視、片側凝視、相互そらしの順で、肯定的表情の共起の頻度が高くなっていく。
【００４５】
その他の直感的に妥当な特徴も得られている。ｃ）反感では、否定的表情が一方あるいは両方の対話者により表出されやすい。ｄ）無関心では、特に相互凝視において、中立的表情と他の表情（肯定的表情あるいは否定的表情）の組み合わせが顕著である。ｅ）判定困難とラベル付けられた場面では、中立的表情の共起が目立つ。
【００４６】
なお、上記のデータにおいては、相互そらしの状態についても、表情共起行列間に無視できない差が見られた。この理由としては、他者の言動は必ずしもその対話者の方を見ていなくても、周辺視や聴覚情報から得ることができるためであると考える。よって、本実施の形態では、相互そらしの状態についてもモデルに加えることとする。ただし、本発明の枠組みでは、相互そらしの状態についてはモデルから除外しても構わない。
【００４７】
表情共起行列は、単純に頻度をカウントした頻度行列（元々の頻度行列と呼ぶ）に対して、それぞれの表情の組み合わせの発生頻度に基づく正規化を行って生成されている。具体的には、図２（Ｂ）に示す表情共起行列は、まず、対話者ｉ、ｊについて、特定の視線の状態及び共感的インタラクションの組み合わせの場合における、それぞれの表情の組み合わせに対して実際の頻度を数え（元々の頻度行列）、次いで、その頻度の行列を、対話者ｉ、 ｊそれぞれの対話者が表出した表情の各組み合わせの頻度を示す頻度ベクトルにより除した行列を計算し、正規化された頻度行列としている。この正規化は、共感的インタラクション毎の表情共起行列の違いをより明確化する。
【００４８】
逆に、元々の頻度の行列では、その対話のテーマや種類、さらには個人の性格などによって変化する表情カテゴリの表出頻度に大きな影響を受けてしまう。特に、人はまわりに他者がいる場面では、微笑を多く表出しやすいため、元々の頻度行列は肯定的な表情同士の共起が高くなっている。
【００４９】
本実施の形態では、表情共起を二者の表情がどういう組み合わせで同時に発生するのかをモデル化したが、両者の表情表出のタイムラグを考慮しても構わない。すなわち、ある時刻における一方の対話者ｉの表情と、そのδｔ時間後のもう一方の対話者ｊの表情の共起としてモデル化してもよい。この場合、対話者ｉを、先に相手に視線を向けた対話者、あるいは、先に無表情から何らかの別の表情を表出した対話者などとすればよい。
【００５０】
さらに、表情の共起を三者以上で考えても構わない。例えば、誰かが冗談を言ったときにその対話に参加している多くの対話者が笑う、あるいは、議論がうまく進まずに皆が難しい表情を浮かべている、といった場面において効果的である。
【００５１】
また、共感的インタラクションとして３つの状態があることを仮定しているが、状態数を１つとしてもよい。この場合、共感的インタラクションの状態には意味がなくなるが、対話者間でどういう表情の共起が起きやすいかの情報を利用して、各対話者の表情を、一人一人個別に認識するよりも高精度に推定できる場合がある。例えば、映像中の対話者の顔の向きが正面でなく横向きや上向きである場面、あるいは、顔が手や物体によって一部が隠れているという場面である。
【００５２】
＜事前分布＞
本実施の形態では、パラメータの事前分布として、数学的に扱いやすいという理由から、以下の式に示す、事後分布に対する共役事前分布を用いる。
【００５３】
【数１】
0005437297.tif 000002
【００５４】
ここで、ｋはどのパラメータを表すかを示す便宜的な添え字であり、φkはπやθやλを表す。パラメータの事前分布Ｐ（φｋ）としては、離散変数に対して一般によく使用されるディリクレ分布を使用する。
【００５５】
また、本実施の形態に係る対話状態推定装置では、観測データの系列Ｉ1:T を入力として、提案した対話モデルに基づき、共感的インタラクションの時系列Ｅ1:T 、表情の時系列Ｆ1:T 、及びモデルパラメータφを同時に推定する。本実施の形態では、ベイズ推論の枠組みにてこれら全ての確率変数の同時事後確率分布ｐ（Ｅ1:T ,Ｆ1:T ,φ|Ｉ1:T ）を推定する。ベイズ推論では、モデルの事前情報として、モデルパラメータｐ（φ）の事前分布を導入する。
【００５６】
全ての変数についての同時事後確率分布は、同時確率分布と観測データI1:T の事前確率とを用いて、以下の（１）式で表される。
【００５７】
ｐ（Ｅ1:T,Ｆ1:T,Ｘ1:T,φ|Ｉ1:T）＝ｐ（Ｅ1:T,Ｆ1:T,Ｘ1:T,Ｉ1:T,φ）／ｐ（Ｉ1:T）
・・・（１）
【００５８】
観測データＩ1:T は既知であり、ｐ（Ｉ1:T ）は定数とみなせるため、以下の（２）式が得られる。
【００５９】
ｐ（Ｅ1:T,Ｆ1:T,Ｘ1:T,φ|Ｉ1:T）∝ｐ（Ｅ1:T,Ｆ1:T,Ｘ1:T,Ｉ1:T,φ）      ・・・（２）
【００６０】
ここで、∝記号は、左辺が右辺に比例することを表す。ここでは、図１（Ａ）に示したベイジアンネットワークに従い、上記（２）式の右辺の同時確率分布を、以下の（３）式に示すように定義する。
【００６１】
ｐ（Ｅ1:T,Ｆ1:T,Ｘ1:T,φ|Ｉ1:T）
：＝ｐ（φ）Ｐ（Ｅ1:T|φ）Ｐ（Ｘ1:T|Ｅ1:T,φ）Ｐ（Ｆ1:T|Ｅ1:T,Ｘ1:T,φ）Ｐ（Ｉ1:T|Ｆ1:T,φ）      ・・・（３）
【００６２】
これ以降、特に必要がなければ、簡略化のためモデルパラメータφを省略して記載する。
【００６３】
共感的インタラクションが対話者ペア間で独立であり、それぞれ１次マルコフ過程に従うと仮定すると、共感的インタラクションの状態の時系列の事前確率Ｐ（Ｅ1:T）は、以下の（４）式で表される。
【００６４】
【数２】
0005437297.tif 000003
【００６５】
ここで、
【００６６】
【数３】
0005437297.tif 000004
【００６７】
は共感的インタラクションの状態の初期確率を表わし、
【００６８】
【数４】
0005437297.tif 000005
【００６９】
は、共感的インタラクションの状態の遷移確率を表す。これらのパラメータは、それぞれの対話者ペアについて用意される。これらの確率はどちらも時間不変であり、更に、以下の（７）式で表される。
【００７０】
【数５】
0005437297.tif 000006
【００７１】
視線状態に対する共感的インタラクションの尤度Ｐ（Ｘ1:T|Ｅ1:T ）については、それぞれの対話者ペア及び時間についての独立性であることを仮定して、それらの尤度の積として定義する。すなわち、視線状態に対する共感的インタラクションの尤度Ｐ（Ｘ1:T|Ｅ1:T ）は、以下の（８）式で表される。
【００７２】
【数６】
0005437297.tif 000007
【００７３】
この尤度に関して、以下の（９）式に示すように、それぞれの対話者ペアは個々にパラメータを有している。
【００７４】
【数７】
0005437297.tif 000008
【００７５】
それぞれの共感的インタラクションの状態に関するパラメータベクトルπ・＝｛π・,e´|ｅ´∈｛１，．．．，Ｎｅ｝}は、それぞれ独立なディリクレ分布に従って分布しているものとする。
【００７６】
共感的インタラクションの状態及び視線の状態が与えられたもとでの表情の条件付き確率Ｐ（Ｆ1:T|Ｅ1:T,Ｘ1:T ）は、表情の事前確率、及び、表情共起行列の積として表現される。すなわち、表情の条件付き確率Ｐ（Ｆ1:T|Ｅ1:T,Ｘ1:T ）は、以下の（１０）式で表される。
【００７７】
【数８】
0005437297.tif 000009
【００７８】
ここで、Ｐ（ｆi,1:T ）は対話者ｉの表情の事前分布であり、対話者間での独立性を仮定している。この各対話者の表情の事前分布は、時刻間での表情の独立性を仮定することで、以下の（１１）式で表される。
【００７９】
【数９】
0005437297.tif 000010
【００８０】
Ｍe,x (i,j)（ｆ,ｆ´）は、対話者ペア（ｉ，ｊ）について、共感的インタラクションの状態がｅかつ視線の状態がｘである場合についての表情共起行列の（ｆ,ｆ´）成分を表す。表情共起行列Ｍはそれぞれの共感的インタラクションの状態及び視線の状態の組み合わせについて存在し、合計でＮe ×Ｎx個存在する。それぞれの表情共起行列Ｍの大きさはＮf ×Ｎf である。
【００８１】
それぞれの対話者ペア及び対話者が、表情の事前確率及び表情共起行列についてのパラメータを持っている。事前分布についてのパラメータについては、対話者ｉの表情の状態がｆ´である確率を以下の（１２）式で表わす。
【００８２】
【数１０】
0005437297.tif 000011
【００８３】
一方、対話者ペア（ｉ，ｊ）について、共感的インタラクションの状態がｅかつ視線の状態がｘであるときに、対話者ｉの表情がｆであると同時に対話者ｊの表情がｆ´である確率Ｍe,x (i,j)（ｆ,ｆ´）を以下の（１３）式で表わす。
【００８４】
【数１１】
0005437297.tif 000012
【００８５】
Ｎf ×Ｎf 行列である表情共起行列はその要素の和が１である。ここでは、それぞれの表情共起行列を、要素数がＮf ×Ｎfでありそれらの要素の和が１である１つのベクトルとみなす。それぞれのパラメータの分布のモデルとしては、任意の形状を使用可能である。本実施の形態では、表情の事前分布のパラメータのベクトル
【００８６】
【数１２】
0005437297.tif 000013
【００８７】
及び、表情の共起行列のパラメータのベクトル
【００８８】
【数１３】
0005437297.tif 000014
【００８９】
のいずれに対してもそれぞれ独立なディリクレ分布を使用することとする。ここで、ｆ"∈｛１,・・・,Ｎf ×Ｎf ｝である．
【００９０】
ここで、対話モデルの全パラメータをまとめると、φ＝｛Π,Θ｝となる。共感的インタラクションに関するモデルパラメータΠは、以下の（１６）式で表される。
【００９１】
【数１４】
0005437297.tif 000015
【００９２】
表情に関するモデルパラメータΘは、以下の（１７）式で表される。
【００９３】
【数１５】
0005437297.tif 000016
【００９４】
パラメータの事前確率分布ｐ（φ）は、これらそれぞれのパラメータの事前分布の積である。
【００９５】
なお、本実施の形態では、モデルパラメータを対話者ペアや対話者毎に用意することとしているが、対話者ペアや対話者で共通のパラメータとしても構わない。
【００９６】
また、観測される映像フレームＩに対する表情の状態の尤度Ｐ（Ｉ1:T |Ｆ1:T ）を、表情が対話者間及び時刻間で独立であることを仮定して、以下の（１８）式で表わす。
【００９７】
【数１６】
0005437297.tif 000017
【００９８】
この表情の状態の尤度Ｐ（Ｉt|ｆi,t）についてはどのような方法で計算しても構わない。まず、映像データから直接計算可能な尤度を用いることが考えられる。例えば、特開２００９−１１０４２６号公報に記載の方法を用いることができる。この方法では、顔面中に疎に配置した多数の点の輝度（画像の明るさ）が各表情においてどのような分布となるのかを正規分布を用いてモデル化しておき、画像から対象人物の表情、及び、顔の位置・姿勢を同時に推定する。
【００９９】
あるいは、顔アクションユニット（Ｆａｃｉａｌ  Ａｃｔｉｏｎ  Ｕｎｉｔｓ）と呼ばれる眉、目、口などの各顔部品がどのように動いたかという動作を、映像信号と表情の間に挟んでもよい。この場合、まず、映像信号からどの顔アクションユニットが発生したのかを検出し、次いで、検出された顔アクションユニットが与えられたもとでの各表情の確率を尤度として計算すればよい。顔アクションユニットの検出方法としては、例えば、図３（Ａ）、（Ｂ）に示すような顔面上の複数の特徴点を画像中で追跡し、それら特徴点の間の幾何学的配置の変化から顔アクションユニットの発生を検出する方法がある。特徴点の追跡方法としては、特徴点を中心とした小さな矩形領域をテンプレートとしたテンプレートマッチングがある。口部の顔アクションユニットの検出については、画像情報に加えて、音声信号から音声パワーにより閾値処理などにより検出した発話の有無の情報を利用しても構わない。特徴点の間の幾何学的配置の変化としては、２点間の距離や３点のなす角の変化を使用し、それらが、顔アクションユニットが発生しているときとしていないときで、どのような値をとるのかを正規分布を用いてモデル化すれば検出可能である。
【０１００】
また、表情の各状態についての尤度ではなく、１枚の入力画像に対して推定した１つの表情の状態のみを出力する認識器を用いることも可能である。この場合、例えば、認識された状態の尤度を適当な定数τ（０＜＜τ＜１）とし、認識された状態以外の表情の状態については尤度を（１−τ）／（Ｎf −１）とすればよい。認識された状態以外の表情の状態の尤度も正の小さな値とするのは、尤度が０であるときに事後確率も必ず０となり決して推定結果とならないことを避けるためである。
【０１０１】
＜システム構成＞
次に、画像データの時系列である映像データを入力として、複数の対話者間の共感的インタラクション及び表情を推定する対話状態推定装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。
【０１０２】
図４に示すように、本実施の形態に係る対話状態推定装置は、複数の対話者を撮影した映像データの入力を受け付ける入力部１と、対話者の全ペアの共感的インタラクションの状態及び各対話者の表情の状態を推定する演算部２と、推定結果を出力する出力部３と、を備えている。
【０１０３】
入力部１は、ＣＣＤカメラ及びマイクロフォンなどを用いた既知の撮影手段に接続されており、撮影手段によって撮影された、複数の対話者の顔を含む対話の映像データの入力を受け付ける。また、入力部１は、キーボードやマウスにも接続されており、キーボードやマウスを操作することにより入力された情報を受け付ける。
【０１０４】
主なカメラの配置方法として、１台の全方位カメラを対話者間の中心付近に配置する方法と、各対話者の正面方向に１台ずつのカメラを配置する方法とが考えられる。本発明の枠組みでは、全ての対話者の顔面を撮影できる配置であればどのような配置方法でも構わない。本実施の形態では、撮影手段として、全方位カメラを用いることとする。これは、全方位カメラを用いた場合にはカメラの外部パラメータ（世界座標系に対する並進及び回転）を求めることなく、本発明で必要となる対話者の視線の方向を特定するために、対話者間の位置関係を対話者の数に関わらず、対象人物の画像中の位置関係から用意に把握することができ、有利なためである。他方、複数台のカメラを用いる方法では、各対話者の顔の解像度を上げやすい反面、ハードウェア構成が複雑になることに加え、対話毎に対話者の数や座席配置が異なる場合には、その都度各カメラの外部パラメータを得るためのキャリブレーションを行う必要がある。図５（Ａ）に、撮影場面の一例を示す。また、図５（Ｂ）に、全方位カメラで撮影した入力画像の一例を示す。
【０１０５】
なお、入力部１に接続されたカメラの内部パラメータについては事前のキャリブレーションにより既に得られているものとする。
【０１０６】
出力部３は、ディスプレイ、プリンタ、磁気ディスクなどで実装される。
【０１０７】
演算部２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、後述する対話状態推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）とを備えたコンピュータで構成され、機能的には次に示すように構成されている。演算部２は、データ記憶部２１、推定部２２、及び学習部２３を備えている。
【０１０８】
データ記憶部２１は、入力された映像データ及び学習部２３によって学習されたハイパーパラメータが記憶されている。なお、ハイパーパラメータとは、推定部２２で推定されるパラメータの事前分布についてのモデルパラメータのことである。
【０１０９】
推定部２２は、映像データとハイパーパラメータを入力とし、上述の対話モデルに基づいて、その映像の各フレームにおける各対話者ペアの共感的インタラクションの状態、各対話者の表情の状態、及び、対話モデルのパラメータを同時に推定する。
【０１１０】
推定部２２によって解く問題は、上述した対話モデルに基づき、観測信号I1:T が与えられたときの、共感的インタラクションの時系列Ｅ1:T 、表情の時系列Ｆ1:T、及びモデルパラメータφの同時事後確率分布ｐ（Ｅ1:T ,Ｆ1:T,φ|Ｉ1:T ）を推定することである。本実施の形態では、この問題を解くための１つの方法として、ギブス・サンプラーを用いることとする。ギブス・サンプラーはマルコフ連鎖モンテカルロ法の一種であり、複雑なモデルに対して近似解をえるのに優れている。ギブス・サンプラーは、推定する全ての変数を１つずつ順番にサンプリングすることを１セットとして、このセットを多数回繰り返す。このサンプリングの基となる分布は、サンプリングする変数以外の全ての変数を固定とした全条件付き事後分布である。このとき不偏分布は推定すべき事後分布に一致する。この同時事後確率分布は、マルコフ連鎖が収束した後にサンプリングしたランダム変数から得られる統計量に基づいて求められる。
【０１１１】
さらに、対話者の数Ｎiは既知であるものとする。本発明は対話者数Ｎiが２以上の対話を対象とする。本発明は任意の対話者数を対象とすることが可能であるが、本実施の形態では４人対話（Ｎi＝４）を対象として説明する。この対話者の数については、既存の顔検出器（例えばＨａａｒ−ｌｉｋｅ特徴量に基づくカスケード型ＡｄａＢｏｏｓｔ検出器）を用いることで自動的に算出することが可能である。なお、上記のカスケード型ＡｄａＢｏｏｓｔ検出器については、非特許文献（P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features", In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 511−518, 2001.）に記載されている技術を用いればよいため、説明を省略する。
【０１１２】
また、推定部２２は、視線方向検出部２９、表情推定部３０、初期値設定部３１、状態サンプリング部３２、パラメータサンプリング部３３、収束判定部３４、及び推定値算出部３５を備えている。なお、状態サンプリング部３２が、状態決定手段の一例であり、パラメータサンプリング部３３が、パラメータ決定手段の一例である。また、収束判定部３４及び推定値算出部３５が、推定手段の一例である。
【０１１３】
視線方向検出部２９は、映像データの各フレームについて、各対話者の顔を表わす領域を特定すると共に、眼領域を抽出し、従来既知の手法を用いて、抽出された眼領域に基づいて、視線方向を検出する。また、視線方向検出部２９は、各対話者について、検出した視線方向と、全対話者の位置関係とに基づいて、視線方向が、どの対話者の方向を向いているかを判定し、対話者の全ペア（ｉ，ｊ）について、対話者ペア（ｉ，ｊ）の視線の状態（相互凝視、片側凝視、相互そらし）を検出する。
【０１１４】
表情推定部３０は、映像データの各フレームについて、各対話者の顔を表わす領域を特定すると共に、顔領域から表情を推定し、表情の状態の尤度Ｐ（Ｉt|ｆi,t）を算出する。
【０１１５】
初期値設定部３１は、予め与えられたハイパーパラメータを用いて、パラメータφ＝｛Π，Θ｝の初期値を設定する。本実施の形態では、ハイパーパラメータの値として、データ記憶部２１に記憶されている値を用いる場合について説明するが、ハイパーパラメータの値として適当な乱数を用いてもよい。
【０１１６】
また、初期値設定部３１は、パラメータφ＝｛Π，Θ｝の初期値を用いて、各確率変数の初期値、すなわち、各対話者ペア（ｉ，ｊ）に関する共感的インタラクションの状態の時系列データの初期値ｅt(i,j)と、各対話者ｉの表情の状態の時系列データの初期値ｆi,t とをサンプリングする。具体的には、上記（５）式及び（６）式で与えられる分布に従って発生させた乱数をｅt (i,j)の初期値とする。同様に、（１２）式で与えられる分布に従って発生させた乱数を初期値ｆi,t とする。
【０１１７】
状態サンプリング部３２は、各時刻ｔにおける共感的インタラクションの状態ｅt (i,j)と、各時刻ｔにおける表情の状態ｆi,t とを、全条件付き確率分布からサンプリングし、値を更新する。
【０１１８】
それぞれの変数に対する全条件付き確率分布は、その事前分布として共役事前分布を使用することから、共役事前分布と同じ分布形状となる。この全条件付き確率分布においては、対象変数以外の変数は全て固定されているため、上記（３）式で表される同時事後確率分布から対象の変数を含まない項を正規化定数とした分布とみなすことができる。
【０１１９】
時刻ｔにおける共感的インタラクションの状態ｅt (i,j)は、以下の（１９）式で表わされる全条件付き確率分布に従って、サンプリングされる。
【０１２０】
【数１７】
0005437297.tif 000018
【０１２１】
なお、上記（１９）式で表わされる全条件付き確率分布が、第１確率分布の一例である。
【０１２２】
状態サンプリング部３２による１回目の実行時は、まず、時刻ｔ＝１（１フレーム目）について、初期値設定部３１で設定した各値を用いて、上記（１９）式の右辺の各項の確率を、上記（６）式、（１３）式、（９）式により求める。そして、得られた確率分布に従って発生させた乱数を、更新後のｅ1(i,j)とする。同様の処理を、時刻ｔ＝２からｔ＝Ｔまで順番に繰り返し、ｅt(i,j)を更新していく。
【０１２３】
状態サンプリング部３２による２回目以降の実行時は、初期値設定部３１で設定した値の代わりに、更新後のｅt (i,j)、ｆi,t 、φの各値を用いて、同様のサンプリングを行うことで、ｅt(i,j)の値を更新していく。
【０１２４】
同様に、時刻ｔにおける表情の状態ｆi,t は，以下に示す（２０）式で表される全条件付き確率分布に従って、サンプリングされる。
【０１２５】
【数１８】
0005437297.tif 000019
【０１２６】
なお、上記（２０）式で表わされる全条件付き確率分布が、第２確率分布の一例である。
【０１２７】
状態サンプリング部３２による１回目の実行時は、まず、時刻ｔ＝１（１フレーム目）について、初期値設定部３１で設定した各値、及び表情推定部３０で算出した表情の尤度を用いて、上記（２０）式の右辺の各項の確率を、上記（１２）式、（１３）式により求める。そして、得られた確率分布に従って発生させた乱数を、更新後のｆi,tとする。同様の処理を、時刻ｔ＝２からｔ＝Ｔまで順番に繰り返し、ｆi,tを更新していく。
【０１２８】
状態サンプリング部３２による２回目以降の実行時は、初期値設定部３１で設定した値の代わりに、更新後のｅt (i,j) 、ｆi,t 、φの各値を用いて、同様のサンプリングを行うことで、ｆi,tの値を更新していく。
【０１２９】
パラメータサンプリング部３３は、パラメータφ＝｛Π，Θ｝を全条件付き確率分布からサンプリングし、値を更新する。
【０１３０】
全てのモデルパラメータはディリクレ分布に従うと仮定しているため、事前分布のパラメータ（すなわち、ハイパーパラメータ）に対して、状態サンプリング部３２による直前の共感的インタラクション及び表情のサンプリングにおいて対象とする事象が発生している回数を加えた値を、事後分布のパラメータとして求めることができる。
【０１３１】
各モデルパラメータは、以下に示す（２１）式〜（２５）式で表される全条件付き確率分布に従って、サンプリングされる。
【０１３２】
【数１９】
0005437297.tif 000020
【０１３３】
ここで、Ｄ（πe|ηe*）はパラメータをηe*とするπに関するディリクレ分布であり、〜記号は、左辺の分布が右辺の分布に従うこと意味する。例えば、共感的インタラクションの遷移確率のパラメータについては、以下の（２６）式、（２７）式に従って求められる
【０１３４】
【数２０】
0005437297.tif 000021
【０１３５】
ここで、ηは、ハイパーパラメータであり、η*は、サンプリング結果を用いて更新された値を示す。また、ｎe,e´（ｅ＝０）は、共感的インタラクションの状態がｅであった回数であり、ｎe,e´（ｅ≠０）は、ある時刻での共感的インタラクションの状態がｅから次の時刻にｅ´へと変化した回数である。
【０１３６】
同様に、ηx*は、{ηx,e'*}e'∈{1,...,Ne}であり、視線の状態がｘであり、かつ、共感的インタラクションの状態がｅ'であった回数を表わし、ηe,x*は、{ηe,x,f"*}e,x, f"であり、対話者ペア（ｉ，ｊ）の表情がｆi，ｆjであり、視線状態がｘであり、かつ、共感的インタラクションの状態がｅであった回数を表わす。また、ηi*は、{ηi,f*}i,fであり、対話者ｉの表情の状態がｆであった回数を表わす。
【０１３７】
パラメータサンプリング部３３は、上記（２１）式〜（２５）式の右辺の分布に従って発生させた乱数をそれぞれパラメータπ、λ、θの更新値として設定することにより、パラメータφ＝｛Π，Θ｝を更新する。なお、上記（２１）式〜（２５）式で表わされる全条件付き確率分布が、第３確率分布の一例である。
【０１３８】
収束判定部３４は、所定の収束条件を満たしたか否かを判定し、所定の収束条件を満たなさない場合には、状態サンプリング部３２およびパラメータサンプリング部３３の処理を繰り返し、共感的インタラクションの状態の時系列et (i,j)と、表情状態の時系列fi,tと、パラメータφとを更新していく。
【０１３９】
ここで、所定の収束条件とは、「予め定めた反復回数に到達したか否か」や、「更新前の各時系列（またはパラメータ）と更新後の各時系列（またはパラメータ）との誤差が、予め定めた閾値以下となったか否か」などを用いる。
【０１４０】
推定値算出部３５は、収束判定部３４において所定の収束条件を満たすまで反復させて対話モデルのパラメータが収束した後に、さらにＭ回の反復を行ったそのＭ回分のサンプル｛Ｅ1:T(q) ,Ｆ1:T(q),φ(q)}q=M´+1 M´+Mを用いて共感的インタラクションの状態及び表情の状態の推定結果を算出する（Ｍ´は，収束判定部３４においてパラメータが収束するまでに要した反復回数とする）。添え字（ｑ）はサンプル番号（ｑ＝１、・・・、Ｍ）である。これらの反復回数は、推定対象とする共感的インタラクションや表情の状態数にもよるが、例えば、Ｍ´＝８００、Ｍ＝２００とすればよい。
【０１４１】
時刻ｔにおける共感的インタラクションの状態の推定値＾ｅt(i,j) 、及び表情の状態の推定値＾ｆi,t は、同時刻における同時事後確率分布ｐ（ｆt,ｅt|I1:t）に基づき計算される。例えば、これらの推定値は、以下の（２８）式、（２９）式に示すように、同時事後確率分布の共感的インタラクションあるいは表情それぞれについての周辺確率を最大化する状態として計算される。パラメータの推定値＾φについては、以下の（３０）式に示すように、同時事後確率分布のパラメータについての周辺分布の期待値として計算される．
【０１４２】
【数２１】
0005437297.tif 000022
【０１４３】
ここで、δy（ｚ） は、ｙ＝ｚであれば１を、そうでなければ０を返す関数である。
【０１４４】
共感的インタラクションの状態の推定値＾ｅt(i,j) 、表情の状態の推定値＾ｆi,t 、及びパラメータの推定値＾φが、出力部３よりユーザに出力される。
【０１４５】
学習部２３は、学習データ記憶部４０、教師ラベル作成部４１、及びハイパーパラメータ学習部４２を備えている。
【０１４６】
初期値設定部３１において利用するハイパーパラメータの値は、予め適当な値を定めてもよいが、推定用対話映像以外の対話映像（学習用映像）を入力として、モデルのハイパーパラメータを学習することもできる。学習を行うことで、パラメータφの初期値をより適切な値に設定することができるため、所定の繰り返し回数でより精度のよいモデルに収束させることが可能となり、結果として共感的インタラクション及び表情の推定の精度を向上させる効果がある。
【０１４７】
学習データ記憶部４０は、学習用映像データを記憶している。
【０１４８】
教師ラベル作成部４１は、学習用映像データを入力として，その各フレームにおける共感的インタラクションの状態、表情の状態、及び視線の状態を、教師ラベルとして作成する。本発明により推定することが効果的である共感的インタラクション及び表情については、オペレータからの教師ラベルの入力を入力部１により受け付けて、これらのラベルを付与することとする。なお、膨大な計算時間をかけても、これらを高精度に推定可能な方法があれば、教師ラベル作成部４１として利用してもよい。一方、視線の状態については、視線方向検出部２９と同様の処理を行って、ラベル付けを行えばよい。
【０１４９】
ハイパーパラメータ学習部４２は、教師ラベルを入力として、対話モデルのハイパーパラメータを学習して、データ記憶部２１へ出力する。ここでは、それぞれのハイパーパラメータが表す事象がその学習データ中で発生した確率を、ハイパーパラメータの値として設定することとする。例えば、共感的インタラクションの遷移確率Ｐ（ｅt ＝ｅ´|ｅt−1＝ｅ）についてであれば、教師ラベル中において、共感的インタラクションの状態が連続する２時刻内においてｅからｅ´へと変化した回数を数えて、その回数を全ての遷移の回数の和で除した値（確率）を、当該ハイパーパラメータの値として設定すればよい。
【０１５０】
＜対話状態推定装置の作用＞
次に、本実施の形態に係る対話状態推定装置の作用について説明する。まず、対話状態推定装置は、学習データ記憶部４０に記憶された学習用映像データについて、フレーム毎に、対話者間の共感的インタラクションの状態と各対話者の表情の状態とをオペレータに入力させて、ラベル付けを行うと共に、対話状態推定装置の演算部２が、対話者間の視線の状態を検出して、ラベル付けを行なう。そして、対話状態推定装置の演算部２が、ラベル付けされた結果を用いて、ハイパーパラメータを学習し、データ記憶部２１に学習結果を格納する。
【０１５１】
また、撮影手段によって、複数の対話者が対話している様子を撮影し、撮影された映像データが、入力部１を介して対話状態推定装置に入力され、データ記憶部２１に格納される。
【０１５２】
そして、対話状態推定装置の演算部２において、図６に示す対話状態推定処理ルーチンが実行される。
【０１５３】
まず、ステップ１００において、データ記憶部２１に記憶された映像データ及びハイパーパラメータを読み込み、取得する。そして、ステップ１０２において、映像データの各時刻（各フレーム）について、対話者の全ペアの視線の状態を検出する。ステップ１０３では、映像データの各時刻（各フレーム）について、各対話者の表情の状態を推定し、表情の各状態の尤度を算出する。
【０１５４】
次のステップ１０４では、上記ステップ１００で取得したハイパーパラメータに基づいて、対話モデルの各種パラメータの初期値を設定し、設定された対話モデルの各種パラメータの初期値に基づいて、対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データの初期値を設定する。
【０１５５】
そして、ステップ１０６において、上記ステップ１０４で設定された対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータの初期値、またはステップ１０６及び後述するステップ１０８で前回決定された対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータと、上記ステップ１０２で検出された対話者の全ペアの視線の状態の時系列データと、上記ステップ１０３で算出された各対話者の表情の各状態の尤度の時系列データとに基づいて、上記（１９）式、（２０）式で表される確率分布を求め、求められた確率分布に従って、サンプリングにより、対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データを決定する。
【０１５６】
次のステップ１０８では、直前のステップ１０６で決定された対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データと、上記ステップ１０２で検出された対話者の全ペアの視線の状態の時系列データと、上記ステップ１００で取得したハイパーパラメータとに基づいて、上記（２１）式〜（２５）式で表される確率分布を求め、求められた確率分布に従って、サンプリングにより、対話モデルの各種パラメータの値を決定する。
【０１５７】
ステップ１１０では、所定の収束条件として、予め定めた反復回数に到達したか否かを判定し、予め定めた反復回数に到達していない場合には、所定の収束条件が成立していないと判断して、上記ステップ１０６へ戻り、上記ステップ１０６、１０８の処理を繰り返す。一方、予め定めた反復回数に到達した場合には、所定の収束条件が成立したと判断し、ステップ１１２へ進む。
【０１５８】
ステップ１１２では、上記ステップ１０６と同様に、前回決定された対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータと、検出された対話者の全ペアの視線の状態の時系列データと、上記ステップ１０３で算出された各対話者の表情の各状態の尤度の時系列データとに基づいて、上記（１９）式、（２０）式で表される確率分布を求め、求められた確率分布に従って、サンプリングにより、対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データを決定する。
【０１５９】
そして、ステップ１１４では、上記ステップ１０８と同様に、直前のステップ１１２で決定された対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データと、上記ステップ１０２で検出された対話者の全ペアの視線の状態の時系列データと、上記ステップ１００で取得したハイパーパラメータとに基づいて、上記（２１）式〜（２５）式で表される確率分布を求め、求められた確率分布に従って、サンプリングにより、対話モデルの各種パラメータの値を決定する。
【０１６０】
ステップ１１６では、上記ステップ１１２、１１４の処理をＭ回繰り返したか否かを判定し、Ｍ回繰り返していない場合には、上記ステップ１１２へ戻り、上記ステップ１１２、１１４の処理を繰り返す。一方、上記ステップ１１２、１１４の処理をＭ回繰り返した場合には、ステップ１１８において、上記ステップ１１２、１１４で決定されたＭ回分の、対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータに基づいて、対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータの各推定値を算出する。そして、ステップ１２０において、上記ステップ１１８で算出された対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータの各推定値を出力部３により出力して、対話状態推定処理ルーチンを終了する。
【０１６１】
以上説明したように、本実施の形態に係る対話状態推定装置によれば、対話者ペアにおける共感的インタラクションの状態と対話者ペアの視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルを用いることにより、対話者ペアの共感的インタラクションの状態及び各対話者の表情の状態を推定することができる。
【０１６２】
また、複数人による対話を対象として，表情が表出された文脈を考慮し，対話を撮影した映像データから各対話者で表出される表情の状態を正しく推定すると同時に，それぞれの対話者ペアの間の共感的インタラクションの状態を正しく推定することができる。
【０１６３】
対話者の表情の状態を、従来の対象人物のみに着目した従来の推定の枠組みよりも高い精度で推定できる。特に、従来の方法では正しい推定が困難であった、映像中の人物の顔の向きが正面でなく横向きや上向きである場面、あるいは、顔が手や物体によって一部が隠れている場面においても、表情の状態を精度よく推定することができる。
【０１６４】
また、対話モデルのパラメータとして、対象とする対話映像毎に、共感的インタラクションの各状態がどの程度の確率で発生するのか(パラメータΠ０)や対話者行動（＝表情）がどの程度の確率で発生するのか(パラメータΘ) 、またそれらがどの程度共起するのか(パラメータλ)の確率を得ることができる。これらのパラメータの違いによって、それぞれの対話を特徴付けることができる。
【０１６５】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１６６】
例えば、対話者ペアの共感的インタラクションの状態及び各対話者の表情の状態の何れか一方のみの推定値を出力するようにしてもよい。
【０１６７】
また、複数の対話者のうちの特定の対話者ペアのみについて、共感的インタラクションの状態、各対話者の表情の状態、及び対話者モデルのパラメータを推定するようにしてもよい。
【０１６８】
また、映像データ中の特定フレーム、すなわち、１時刻の静止画データに基づいて、その時刻における共感的インタラクションの状態、各対話者の表情の状態、及び対話者モデルのパラメータを推定するようにしてもよい。
【０１６９】
また、上述の対話状態推定装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１７０】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１７１】
１     入力部
２     演算部
３     出力部
２１   データ記憶部
２２   推定部
２９   視線方向検出部
３０   表情推定部
３１   初期値設定部
３２   状態サンプリング部
３３   パラメータサンプリング部
３４   収束判定部
３５   推定値算出部
【図３】
0005437297.tif 000023
【図４】
0005437297.tif 000024
【図５】
0005437297.tif 000025
【図６】
0005437297.tif 000026
【図１】
0005437297.tif 000027
【図２】
0005437297.tif 000028