"複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出する視線状態検出手段と、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定する初期値設定手段と、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定する状態決定手段と、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定するパラメータ決定手段と、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定する推定手段と、を含む対話状態推定装置。前記状態決定手段は、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態が各状態となる確率を示す第1確率分布、及び前記複数の対話者の各々の表情を示す状態が各状態となる確率を示す第2確率分布を求め、求められた前記第1確率分布に従って、前記複数の対話者間の共感性を示す状態を決定すると共に、求められた前記第2確率分布に従って、前記複数の対話者の各々の表情を示す状態を決定し、前記パラメータ決定手段は、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータが各値である確率を示す第3確率分布を求め、求められた前記第3確率分布に従って、前記対話モデルのパラメータを決定する請求項1記載の対話状態推定装置。前記視線状態検出手段は、前記画像の時系列データを入力として、前記複数の対話者間の視線の状態の時系列データを検出し、前記初期値設定手段は、前記対話モデルのパラメータの初期値を設定すると共に、前記複数の対話者間の共感性を示す状態の時系列データの初期値、及び前記複数の対話者の各々の表情の状態の時系列データの初期値を設定し、前記状態決定手段は、前記複数の対話者間の共感性を示す状態の時系列データ、及び前記複数の対話者の各々の表情を示す状態の時系列データを決定し、前記推定手段は、前記複数の対話者間の共感性を示す状態の時系列データ、又は前記複数の対話者の各々の表情を示す状態の時系列データを推定する請求項1又は2記載の対話状態推定装置。前記画像に基づいて、前記複数の対話者の各々の表情の状態を推定する表情推定手段を更に含み、前記状態決定手段は、前記初期値設定手段によって設定された前記パラメータ、及び前記表情推定手段による推定結果に基づいて、前記複数の対話者の各々の表情を示す状態を決定する請求項1~請求項3の何れか1項記載の対話状態推定装置。前記複数の対話者間の視線の状態を、相互凝視、片側凝視、及び相互そらし、又は相互凝視及び片側凝視とした請求項1~請求項4の何れか1項記載の対話状態推定装置。前記複数の対話者間の共感性を示す状態を、共感、無関心、及び反感とした請求項1~請求項5の何れか1項記載の対話状態推定装置。前記表情の状態を、肯定的、中立的、及び否定的、又は無表情、微笑、驚き、及び嫌悪とした請求項1~請求項6の何れか1項記載の対話状態推定装置。前記推定手段は、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返した後に、更に、前記状態決定手段による決定及び前記パラメータ決定手段による決定を複数回繰り返し、前記複数回繰り返したときに前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態に基づいて、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定する請求項1~請求項7の何れか1項記載の対話状態推定装置。視線状態検出手段、初期値設定手段、状態決定手段、パラメータ決定手段、及び推定手段を含む対話状態推定装置における対話状態推定方法であって、前記対話状態推定装置は、前記視線状態検出手段によって、複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出するステップと、前記初期値設定手段によって、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定するステップと、前記状態決定手段によって、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定するステップと、前記パラメータ決定手段によって、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定するステップと、前記推定手段によって、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定するステップと、を含んで実行することを特徴とする対話状態推定方法。コンピュータを、請求項1~請求項8の何れか1項記載の対話状態推定装置の各手段として機能させるためのプログラム。しかしながら、上記の非特許文献1に記載の技術では、表情を認識する対象の人物のみに着目し、それらの表情が表出された文脈を考慮していなかった、という問題がある。更に、上記の非特許文献1に記載の技術の問題は、誰かに対して向けられた表情が、直接的にその人物に対する感情を表しているという仮定にある。つまり、この方法では、第三者やモノに対して抱いている感情を他者に伝える場面、例えば、二者共が好ましく思っていないモノに対する否定的な感情をお互いに否定的な表情を表出して共感しあっている場面を扱うことができない。また、上記の特許文献1に記載の技術では、対話者の感情に関わる状態については扱われていない、という問題がある。また、上記の非特許文献2、3に記載の技術では、短時間の感情に関わるグループの状態についてはほとんど注意が払われていない、という問題がある。本発明は、上記の課題を解決するためになされたもので、複数の対話者間の共感性の状態又は各対話者の表情の状態を推定することができる対話状態推定装置、対話状態推定方法、及びプログラムを提供することを目的とする。上記の目的を達成するために本発明に係る対話状態推定装置は、複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出する視線状態検出手段と、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定する初期値設定手段と、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定する状態決定手段と、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定するパラメータ決定手段と、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定する推定手段とを含んで構成されている。本発明に係る対話状態推定方法は、視線状態検出手段、初期値設定手段、状態決定手段、パラメータ決定手段、及び推定手段を含む対話状態推定装置における対話状態推定方法であって、前記対話状態推定装置は、前記視線状態検出手段によって、複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出するステップと、前記初期値設定手段によって、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定するステップと、前記状態決定手段によって、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定するステップと、前記パラメータ決定手段によって、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定するステップと、前記推定手段によって、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定するステップと、を含んで実行することを特徴とする。本発明によれば、視線状態検出手段によって、複数の対話者の顔を含む領域を撮像した画像を入力として、前記複数の対話者間の視線の状態を検出する。初期値設定手段によって、複数の対話者間における共感性を示す状態と前記複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルのパラメータの初期値を設定すると共に、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態の初期値、及び前記複数の対話者の各々の表情を示す状態の初期値を設定する。そして、状態決定手段によって、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態、及び前記複数の対話者の各々の表情を示す状態を決定する。パラメータ決定手段によって、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータを決定する。そして、推定手段によって、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返し、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定する。このように、複数の対話者間における共感性を示す状態と複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルを用いることにより、複数の対話者間の共感性の状態又は各対話者の表情の状態を推定することができる。本発明に係る前記状態決定手段は、前記初期値設定手段によって設定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態の各々の初期値、又は前回決定された前記パラメータ、前記共感性を示す状態、及び前記表情を示す状態と、前記視線状態検出手段によって検出された前記複数の対話者間の視線の状態とに基づいて、前記対話モデルに従って、前記複数の対話者間の共感性を示す状態が各状態となる確率を示す第1確率分布、及び前記複数の対話者の各々の表情を示す状態が各状態となる確率を示す第2確率分布を求め、求められた前記第1確率分布に従って、前記複数の対話者間の共感性を示す状態を決定すると共に、求められた前記第2確率分布に従って、前記複数の対話者の各々の表情を示す状態を決定し、前記パラメータ決定手段は、前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態及び前記複数の対話者の各々の表情を示す状態に基づいて、前記対話モデルのパラメータが各値である確率を示す第3確率分布を求め、求められた前記第3確率分布に従って、前記対話モデルのパラメータを決定するようにすることができる。本発明に係る前記視線状態検出手段は、前記画像の時系列データを入力として、前記複数の対話者間の視線の状態の時系列データを検出し、前記初期値設定手段は、前記対話モデルのパラメータの初期値を設定すると共に、前記複数の対話者間の共感性を示す状態の時系列データの初期値、及び前記複数の対話者の各々の表情の状態の時系列データの初期値を設定し、前記状態決定手段は、前記複数の対話者間の共感性を示す状態の時系列データ、及び前記複数の対話者の各々の表情を示す状態の時系列データを決定し、前記推定手段は、前記複数の対話者間の共感性を示す状態の時系列データ、又は前記複数の対話者の各々の表情を示す状態の時系列データを推定するようにすることができる。これによって、複数の対話者間の共感性の状態又は各対話者の表情の状態を精度良く推定することができる。本発明に係る対話状態推定装置は、前記画像に基づいて、前記複数の対話者の各々の表情の状態を推定する表情推定手段を更に含み、前記状態決定手段は、前記初期値設定手段によって設定された前記パラメータ、及び前記表情推定手段による推定結果に基づいて、前記複数の対話者の各々の表情を示す状態を決定するようにすることができる。本発明に係る前記複数の対話者間の視線の状態を、相互凝視、片側凝視、及び相互そらし、又は相互凝視及び片側凝視とすることができる。また、前記複数の対話者間の共感性を示す状態を、共感、無関心、及び反感とすることができる。また、前記表情の状態を、肯定的、中立的、及び否定的、又は無表情、微笑、驚き、及び嫌悪とすることができる。本発明に係る前記推定手段は、前記状態決定手段による決定及び前記パラメータ決定手段による決定を、予め定められた収束条件を満たすまで繰り返した後に、更に、前記状態決定手段による決定及び前記パラメータ決定手段による決定を複数回繰り返し、前記複数回繰り返したときに前記状態決定手段によって決定された前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態に基づいて、前記複数の対話者間の共感性を示す状態、又は前記複数の対話者の各々の表情を示す状態を推定するようにすることができる。本発明に係るプログラムは、コンピュータを、上記の対話状態推定装置の各手段として機能させるためのプログラムである。以上説明したように、本発明の対話状態推定装置、対話状態推定方法、及びプログラムによれば、複数の対話者間における共感性を示す状態と複数の対話者間の視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルを用いることにより、複数の対話者間の共感性の状態又は各対話者の表情の状態を推定することができる、という効果が得られる。以下、図面を参照して本発明の実施の形態を詳細に説明する。<概要>まず、本発明の概要について説明する。ミーティングを深く理解する上で重要なのは、対話者間で行われる感情的なメッセージのやりとりを介して、どのような対人関係が築かれ、結果的としてどのように合意が形成されていくのかを把握することである。そのような感情的メッセージの基本的なユニットは、ミーティングでは共感、無関心、及び、反感であると考える。例えば、共感はしばしば同意や親密な対人関係を表す。共感は、カメレオン効果やmotormimicryなどと呼ばれる対話者間の同調的な行動を引き起こす。共感は、微笑といった肯定的な感情を表す行動ばかりでなく、哀れみのような否定的な感情を表す行動を引き起こすこともある。他方、共感と比べてあまり明らかにされていないが、反感や無関心は行動の非同調を引き起こしやすいものと予想される。また、共感や反感に関わる対話者行動のうち、表情と視線の組み合わせが特に重要である。それは、それらが多量の感情的なメッセージを瞬時かつ方向性を持った相手を特定した形で達成することができるためである。表情は、感情的メッセージを表出するための主要な方法である。例えば、微笑は肯定的な感情を表すとともに、相手との親密な対人関係を構築しまた証明する。無表情を含む中立的な肯定的でも否定的でもない表情は、相手が肯定的な表情をしている際には反感的な反応とみなされうる。他方の視線は様々な機能を持つが、共感的インタラクションにおいては、特に、モニタリング及びトリガリングが重要である。モニタリングは他者の表情を観察してそこから相手の感情を読み取るために必須である。トリガリングは、自分のことを見ている人物に対して視線を向け、さらに、その人物に対して反応することを引き起こす。この2つの機能により、二者は相互凝視アイコンタクトをし、感情的メッセージが表情を介して瞬時に交換され共有されることとなる。相互凝視はさらに同調的行動をより強く引き起こす。なお、以下では、共感的インタラクションという単語を、二者が表情と視線を組み合わせて感情的メッセージをやりとりする短時間のイベントと定義する。送られる感情的メッセージは結果として、共有されるかもしれないし、あるいは無視や拒絶されるかもしれない。要するに、共感的インタラクションは誰が誰と共感、無関心、あるいは反感しているのかを表す。また、共感的インタラクションの状態が、共感性を示す状態の一例である。ここで、表情と視線の組み合わせによって二者間でどのように感情的メッセージが取り交わされるのかの一例を紹介する。人物Aが人物Bに対してある表情を向けたときを考えてみる。このとき、二者が共感し合っている場合には、人物Bは人物Aと類似した表情を返す。例えば、微笑に対しては微笑を、悲しそうな顔だと哀れみの表情といった具合である。他方、二者が反感し合っている場合には、人物Bは人物Aとは異なる表情を表出するかもしれない。例えば、微笑に対して嫌悪を示したり、困惑の表情に苦笑したりする。お互いに相手に対して無関心な二者は、相手の表情に関わらず中立的な表情をすることが多い。そこで、本発明では、ミーティング中に対話者間で取り交わされる感情的なメッセージの主要な表出手段である表情と、それに深く関わる形で行われる共感的インタラクションを同時に推定する。共感的インタラクションのキーとなる対話者行動として本発明では表情と視線に注目する。それは、それらの組み合わせが瞬時かつ指向的な多量の共感的メッセージの伝達を実現するからである。本発明では、対話者ペアの共感的インタラクションと表情の間には深い関わりがあり、両者の表情は共感的インタラクションの種類に従って共起する。この仮定に基づき、本発明では確率モデルを使用し、映像データを観測データとして共感的インタラクション及び表情を同時に推定する。<対話モデルの概要>次に、本発明で提案する対話状態推定装置で用いる対話モデルについて説明する。共感的インタラクションと対話者の行動との間の関係性をモデル化する1つの方法として、本実施の形態では階層的動的ベイジアンネットワークを用いる。このモデルでは、最上位のレイヤの状態は離散的であり、それがマルコフ過程に従って遷移し、その状態がその下位のレイヤの状態を支配する。ここでは、共感的インタラクションが上位レイヤであり、表情と視線を含む対話者行動が中位レイヤである。さらに、対話者行動はその下位のレイヤである映像信号に影響を及ぼす。図1Aに映像信号から共感的インタラクションの状態及び表情の状態を推定するための階層的動的ベイジアンネットワークを示す。ここで、tは離散的な時間ステップを表し、t=1、、Tである。また、ノードは変数を表し、矢印は変数間の確率的な因果関係を表す。図1Aのモデルでは、変数は次の3つ、すなわち、共感的インタラクション{Et}t1T、表情{Ft}t1T、及び視線{Xt}t1Tである。図1Bに示すように、それぞれの対話者ペアの共感的インタラクションの状態と視線の状態は、両者の表情に影響を及ぼすと仮定する。この関係性は後述の表情共起行列によりモデル化される。共感的インタラクションの種類は視線の状態にも影響を及ぼすとする。これは、予備検討として使用したデータにおいて、共感と反感のインタラクションにおいては相互凝視や片側凝視が多く生じ、無関心においては相互そらしが多く生じていたことによる。時刻tにおける対話者の全ペアの共感的インタラクションの状態の集合を、Et={et}∈rにて表す。ここで、e∈{1Ne}は対話者iと対話者jのペアi,jの間のインタラクションの種類を表し、rはN×N-1組ある対話者ペアの集合を表す。Neは共感的インタラクションの種類の数である。本実施の形態では、e∈{共感、無関心、反感}とし、Ne=3とする。時刻tにおける全ての対話者の表情の状態の集合を、Ft={fit}i1Nにて表す。ここで、fi∈{1Nf}は対話者iの表情状態を表し、Nfは表情の状態数を表す。本実施の形態では、fi∈{肯定的、中立的、否定的}とし、Nf=3とする。時刻tにおける全ての対話者ペアの視線状態の集合をXt={xt}にて表す。ここで、xtは対話者ペアi,jの視線状態を表し、相互凝視、片側凝視、相互そらしのうちのいずれか1状態をとるものとする。つまり、視線の状態数はNx=3である。時刻tにおける画像映像データ中の1フレームをItにて表す。全ての対話者がこの画像中に含まれているものとする。この画像Iが観測データとなる。なお、本実施の形態では画像のみを観測データとするが、映像中の音声データを併せて利用しても構わない。<表情共起行列>ここで、本発明の重要な部分である、共感的インタラクション及び視線の状態が、対話者間の表情の共起のパターンに影響を及ぼすことをモデル化した表情共起行列について説明する。ここでは、表情を除く対話者行動として視線のみを対話モデルに含めているが、頭部ジェスチャなどのこれら以外の対話者行動を対話モデルに含めてもよい。本実施の形態では、共感的インタラクションは、それぞれの対話者ペア、すなわち、二者の間に定義され、離散的な状態をとるものとする。ここでは、共感的インタラクションの状態として共感、無関心、及び、反感の3つがあるものとする。表情は対話者毎に定義され、複数の状態に分類できるものとする。本発明では任意の状態を使用可能だが、本実施の形態では、肯定的、中立的、否定的の3つの状態を仮定する。この他には、無表情、微笑、驚き、嫌悪といった状態を用いてもよい。ここでは、視線の状態として相互凝視、片側凝視、及び、相互そらしの3状態を定義する。相互凝視は二者がお互いに相手の方を見合っている状態、すなわち、アイコンタクトをしている状態である。片側凝視は対話者ペアの一方の対話者のみが他方の対話者の方を見ている状態である。相互そらしは両者がお互いに相手の方を見ていない状態である。ここでは、対話者同士がどのような表情を表出し合いやすいかについての頻度のパターンを表情共起行列と呼ぶ。図2A、Bに、それぞれの共感的インタラクションの状態及び視線の状態の各組み合わせについての表情共起行列を示す。これらの表情共起行列は、撮影した実際の対話のデータ対話時間の合計は30分程度に対して、共感的インタラクション、表情、及び、視線の状態について人手で付けたラベルを使用して作成されたものである。上記図2において、表情共起行列の要素の色が明るいほど、その要素の頻度が高いことを表わしている。また、判定困難hardtojudgeの状態は、ラベル付けをした人物が、そのフレームに対して共感、無関心、及び反感のいずれかのラベルを付ける事が困難だと判断したことを意味する。例えば、二者が直接的なインタラクションを行っていない場合である。なお、この表情共起行列はその定義上、相互凝視及び相互そらし状態においては対称であるが、片側凝視については一般に非対称となる。また、上記図2Bにおいて、片側凝視については、人物iが見ている人、人物jが見られている人を表わしている。上記図2Aにおいて、それぞれの表情共起行列の間に明らかにパターンの差が見られる。これは、表情共起行列が共感的インタラクションの状態及び視線の状態の組み合わせにより表情共起のパターンが変化する、という本発明における仮説の妥当性を示している。さらに、これらの表情共起のパターンの特徴の多くは、これまでに明らかにされている心理学的知見と概ね一致する。aまず、共感の状態では、肯定的表情の共起が多く見られる。b相互凝視は行動の同調、すなわち、表情の一致をより引き起こす。例えば、相互凝視、片側凝視、相互そらしの順で、肯定的表情の共起の頻度が高くなっていく。その他の直感的に妥当な特徴も得られている。c反感では、否定的表情が一方あるいは両方の対話者により表出されやすい。d無関心では、特に相互凝視において、中立的表情と他の表情肯定的表情あるいは否定的表情の組み合わせが顕著である。e判定困難とラベル付けられた場面では、中立的表情の共起が目立つ。なお、上記のデータにおいては、相互そらしの状態についても、表情共起行列間に無視できない差が見られた。この理由としては、他者の言動は必ずしもその対話者の方を見ていなくても、周辺視や聴覚情報から得ることができるためであると考える。よって、本実施の形態では、相互そらしの状態についてもモデルに加えることとする。ただし、本発明の枠組みでは、相互そらしの状態についてはモデルから除外しても構わない。表情共起行列は、単純に頻度をカウントした頻度行列元々の頻度行列と呼ぶに対して、それぞれの表情の組み合わせの発生頻度に基づく正規化を行って生成されている。具体的には、図2Bに示す表情共起行列は、まず、対話者i、jについて、特定の視線の状態及び共感的インタラクションの組み合わせの場合における、それぞれの表情の組み合わせに対して実際の頻度を数え元々の頻度行列、次いで、その頻度の行列を、対話者i、jそれぞれの対話者が表出した表情の各組み合わせの頻度を示す頻度ベクトルにより除した行列を計算し、正規化された頻度行列としている。この正規化は、共感的インタラクション毎の表情共起行列の違いをより明確化する。逆に、元々の頻度の行列では、その対話のテーマや種類、さらには個人の性格などによって変化する表情カテゴリの表出頻度に大きな影響を受けてしまう。特に、人はまわりに他者がいる場面では、微笑を多く表出しやすいため、元々の頻度行列は肯定的な表情同士の共起が高くなっている。本実施の形態では、表情共起を二者の表情がどういう組み合わせで同時に発生するのかをモデル化したが、両者の表情表出のタイムラグを考慮しても構わない。すなわち、ある時刻における一方の対話者iの表情と、そのδt時間後のもう一方の対話者jの表情の共起としてモデル化してもよい。この場合、対話者iを、先に相手に視線を向けた対話者、あるいは、先に無表情から何らかの別の表情を表出した対話者などとすればよい。さらに、表情の共起を三者以上で考えても構わない。例えば、誰かが冗談を言ったときにその対話に参加している多くの対話者が笑う、あるいは、議論がうまく進まずに皆が難しい表情を浮かべている、といった場面において効果的である。また、共感的インタラクションとして3つの状態があることを仮定しているが、状態数を1つとしてもよい。この場合、共感的インタラクションの状態には意味がなくなるが、対話者間でどういう表情の共起が起きやすいかの情報を利用して、各対話者の表情を、一人一人個別に認識するよりも高精度に推定できる場合がある。例えば、映像中の対話者の顔の向きが正面でなく横向きや上向きである場面、あるいは、顔が手や物体によって一部が隠れているという場面である。<事前分布>本実施の形態では、パラメータの事前分布として、数学的に扱いやすいという理由から、以下の式に示す、事後分布に対する共役事前分布を用いる。ここで、kはどのパラメータを表すかを示す便宜的な添え字であり、φkはπやθやλを表す。パラメータの事前分布Pφkとしては、離散変数に対して一般によく使用されるディリクレ分布を使用する。また、本実施の形態に係る対話状態推定装置では、観測データの系列I1Tを入力として、提案した対話モデルに基づき、共感的インタラクションの時系列E1T、表情の時系列F1T、及びモデルパラメータφを同時に推定する。本実施の形態では、ベイズ推論の枠組みにてこれら全ての確率変数の同時事後確率分布pE1TF1TφI1Tを推定する。ベイズ推論では、モデルの事前情報として、モデルパラメータpφの事前分布を導入する。全ての変数についての同時事後確率分布は、同時確率分布と観測データI1Tの事前確率とを用いて、以下の1式で表される。pE1TF1TX1TφI1T=pE1TF1TX1TI1Tφ/pI1T1観測データI1Tは既知であり、pI1Tは定数とみなせるため、以下の2式が得られる。pE1TF1TX1TφI1T∝pE1TF1TX1TI1Tφ2ここで、∝記号は、左辺が右辺に比例することを表す。ここでは、図1Aに示したベイジアンネットワークに従い、上記2式の右辺の同時確率分布を、以下の3式に示すように定義する。pE1TF1TX1TφI1T:=pφPE1TφPX1TE1TφPF1TE1TX1TφPI1TF1Tφ3これ以降、特に必要がなければ、簡略化のためモデルパラメータφを省略して記載する。共感的インタラクションが対話者ペア間で独立であり、それぞれ1次マルコフ過程に従うと仮定すると、共感的インタラクションの状態の時系列の事前確率PE1Tは、以下の4式で表される。ここで、は共感的インタラクションの状態の初期確率を表わし、は、共感的インタラクションの状態の遷移確率を表す。これらのパラメータは、それぞれの対話者ペアについて用意される。これらの確率はどちらも時間不変であり、更に、以下の7式で表される。視線状態に対する共感的インタラクションの尤度PX1TE1Tについては、それぞれの対話者ペア及び時間についての独立性であることを仮定して、それらの尤度の積として定義する。すなわち、視線状態に対する共感的インタラクションの尤度PX1TE1Tは、以下の8式で表される。この尤度に関して、以下の9式に示すように、それぞれの対話者ペアは個々にパラメータを有している。それぞれの共感的インタラクションの状態に関するパラメータベクトルπ={πe ́e ́∈{1,...,Ne}は、それぞれ独立なディリクレ分布に従って分布しているものとする。共感的インタラクションの状態及び視線の状態が与えられたもとでの表情の条件付き確率PF1TE1TX1Tは、表情の事前確率、及び、表情共起行列の積として表現される。すなわち、表情の条件付き確率PF1TE1TX1Tは、以下の10式で表される。ここで、Pfi1Tは対話者iの表情の事前分布であり、対話者間での独立性を仮定している。この各対話者の表情の事前分布は、時刻間での表情の独立性を仮定することで、以下の11式で表される。Mexff ́は、対話者ペアi,jについて、共感的インタラクションの状態がeかつ視線の状態がxである場合についての表情共起行列のff ́成分を表す。表情共起行列Mはそれぞれの共感的インタラクションの状態及び視線の状態の組み合わせについて存在し、合計でNe×Nx個存在する。それぞれの表情共起行列Mの大きさはNf×Nfである。それぞれの対話者ペア及び対話者が、表情の事前確率及び表情共起行列についてのパラメータを持っている。事前分布についてのパラメータについては、対話者iの表情の状態がf ́である確率を以下の12式で表わす。一方、対話者ペアi,jについて、共感的インタラクションの状態がeかつ視線の状態がxであるときに、対話者iの表情がfであると同時に対話者jの表情がf ́である確率Mexff ́を以下の13式で表わす。Nf×Nf行列である表情共起行列はその要素の和が1である。ここでは、それぞれの表情共起行列を、要素数がNf×Nfでありそれらの要素の和が1である1つのベクトルとみなす。それぞれのパラメータの分布のモデルとしては、任意の形状を使用可能である。本実施の形態では、表情の事前分布のパラメータのベクトル及び、表情の共起行列のパラメータのベクトルのいずれに対してもそれぞれ独立なディリクレ分布を使用することとする。ここで、f∈{1Nf×Nf}である.ここで、対話モデルの全パラメータをまとめると、φ={ΠΘ}となる。共感的インタラクションに関するモデルパラメータΠは、以下の16式で表される。表情に関するモデルパラメータΘは、以下の17式で表される。パラメータの事前確率分布pφは、これらそれぞれのパラメータの事前分布の積である。なお、本実施の形態では、モデルパラメータを対話者ペアや対話者毎に用意することとしているが、対話者ペアや対話者で共通のパラメータとしても構わない。また、観測される映像フレームIに対する表情の状態の尤度PI1TF1Tを、表情が対話者間及び時刻間で独立であることを仮定して、以下の18式で表わす。この表情の状態の尤度PItfitについてはどのような方法で計算しても構わない。まず、映像データから直接計算可能な尤度を用いることが考えられる。例えば、特開2009-110426号公報に記載の方法を用いることができる。この方法では、顔面中に疎に配置した多数の点の輝度画像の明るさが各表情においてどのような分布となるのかを正規分布を用いてモデル化しておき、画像から対象人物の表情、及び、顔の位置姿勢を同時に推定する。あるいは、顔アクションユニットFacialActionUnitsと呼ばれる眉、目、口などの各顔部品がどのように動いたかという動作を、映像信号と表情の間に挟んでもよい。この場合、まず、映像信号からどの顔アクションユニットが発生したのかを検出し、次いで、検出された顔アクションユニットが与えられたもとでの各表情の確率を尤度として計算すればよい。顔アクションユニットの検出方法としては、例えば、図3A、Bに示すような顔面上の複数の特徴点を画像中で追跡し、それら特徴点の間の幾何学的配置の変化から顔アクションユニットの発生を検出する方法がある。特徴点の追跡方法としては、特徴点を中心とした小さな矩形領域をテンプレートとしたテンプレートマッチングがある。口部の顔アクションユニットの検出については、画像情報に加えて、音声信号から音声パワーにより閾値処理などにより検出した発話の有無の情報を利用しても構わない。特徴点の間の幾何学的配置の変化としては、2点間の距離や3点のなす角の変化を使用し、それらが、顔アクションユニットが発生しているときとしていないときで、どのような値をとるのかを正規分布を用いてモデル化すれば検出可能である。また、表情の各状態についての尤度ではなく、1枚の入力画像に対して推定した1つの表情の状態のみを出力する認識器を用いることも可能である。この場合、例えば、認識された状態の尤度を適当な定数τ0<<τ<1とし、認識された状態以外の表情の状態については尤度を1-τ/Nf-1とすればよい。認識された状態以外の表情の状態の尤度も正の小さな値とするのは、尤度が0であるときに事後確率も必ず0となり決して推定結果とならないことを避けるためである。<システム構成>次に、画像データの時系列である映像データを入力として、複数の対話者間の共感的インタラクション及び表情を推定する対話状態推定装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。図4に示すように、本実施の形態に係る対話状態推定装置は、複数の対話者を撮影した映像データの入力を受け付ける入力部1と、対話者の全ペアの共感的インタラクションの状態及び各対話者の表情の状態を推定する演算部2と、推定結果を出力する出力部3と、を備えている。入力部1は、CCDカメラ及びマイクロフォンなどを用いた既知の撮影手段に接続されており、撮影手段によって撮影された、複数の対話者の顔を含む対話の映像データの入力を受け付ける。また、入力部1は、キーボードやマウスにも接続されており、キーボードやマウスを操作することにより入力された情報を受け付ける。主なカメラの配置方法として、1台の全方位カメラを対話者間の中心付近に配置する方法と、各対話者の正面方向に1台ずつのカメラを配置する方法とが考えられる。本発明の枠組みでは、全ての対話者の顔面を撮影できる配置であればどのような配置方法でも構わない。本実施の形態では、撮影手段として、全方位カメラを用いることとする。これは、全方位カメラを用いた場合にはカメラの外部パラメータ世界座標系に対する並進及び回転を求めることなく、本発明で必要となる対話者の視線の方向を特定するために、対話者間の位置関係を対話者の数に関わらず、対象人物の画像中の位置関係から用意に把握することができ、有利なためである。他方、複数台のカメラを用いる方法では、各対話者の顔の解像度を上げやすい反面、ハードウェア構成が複雑になることに加え、対話毎に対話者の数や座席配置が異なる場合には、その都度各カメラの外部パラメータを得るためのキャリブレーションを行う必要がある。図5Aに、撮影場面の一例を示す。また、図5Bに、全方位カメラで撮影した入力画像の一例を示す。なお、入力部1に接続されたカメラの内部パラメータについては事前のキャリブレーションにより既に得られているものとする。出力部3は、ディスプレイ、プリンタ、磁気ディスクなどで実装される。演算部2は、CPUCentralProcessingUnitと、RAMRandomAccessMemoryと、後述する対話状態推定処理ルーチンを実行するためのプログラムを記憶したROMReadOnlyMemoryとを備えたコンピュータで構成され、機能的には次に示すように構成されている。演算部2は、データ記憶部21、推定部22、及び学習部23を備えている。データ記憶部21は、入力された映像データ及び学習部23によって学習されたハイパーパラメータが記憶されている。なお、ハイパーパラメータとは、推定部22で推定されるパラメータの事前分布についてのモデルパラメータのことである。推定部22は、映像データとハイパーパラメータを入力とし、上述の対話モデルに基づいて、その映像の各フレームにおける各対話者ペアの共感的インタラクションの状態、各対話者の表情の状態、及び、対話モデルのパラメータを同時に推定する。推定部22によって解く問題は、上述した対話モデルに基づき、観測信号I1Tが与えられたときの、共感的インタラクションの時系列E1T、表情の時系列F1T、及びモデルパラメータφの同時事後確率分布pE1TF1TφI1Tを推定することである。本実施の形態では、この問題を解くための1つの方法として、ギブスサンプラーを用いることとする。ギブスサンプラーはマルコフ連鎖モンテカルロ法の一種であり、複雑なモデルに対して近似解をえるのに優れている。ギブスサンプラーは、推定する全ての変数を1つずつ順番にサンプリングすることを1セットとして、このセットを多数回繰り返す。このサンプリングの基となる分布は、サンプリングする変数以外の全ての変数を固定とした全条件付き事後分布である。このとき不偏分布は推定すべき事後分布に一致する。この同時事後確率分布は、マルコフ連鎖が収束した後にサンプリングしたランダム変数から得られる統計量に基づいて求められる。さらに、対話者の数Niは既知であるものとする。本発明は対話者数Niが2以上の対話を対象とする。本発明は任意の対話者数を対象とすることが可能であるが、本実施の形態では4人対話Ni=4を対象として説明する。この対話者の数については、既存の顔検出器例えばHaar-like特徴量に基づくカスケード型AdaBoost検出器を用いることで自動的に算出することが可能である。なお、上記のカスケード型AdaBoost検出器については、非特許文献PViolaandMJonesRapidobjectdetectionusingaboostedcascadeofsimplefeaturesInProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionpp511-5182001に記載されている技術を用いればよいため、説明を省略する。また、推定部22は、視線方向検出部29、表情推定部30、初期値設定部31、状態サンプリング部32、パラメータサンプリング部33、収束判定部34、及び推定値算出部35を備えている。なお、状態サンプリング部32が、状態決定手段の一例であり、パラメータサンプリング部33が、パラメータ決定手段の一例である。また、収束判定部34及び推定値算出部35が、推定手段の一例である。視線方向検出部29は、映像データの各フレームについて、各対話者の顔を表わす領域を特定すると共に、眼領域を抽出し、従来既知の手法を用いて、抽出された眼領域に基づいて、視線方向を検出する。また、視線方向検出部29は、各対話者について、検出した視線方向と、全対話者の位置関係とに基づいて、視線方向が、どの対話者の方向を向いているかを判定し、対話者の全ペアi,jについて、対話者ペアi,jの視線の状態相互凝視、片側凝視、相互そらしを検出する。表情推定部30は、映像データの各フレームについて、各対話者の顔を表わす領域を特定すると共に、顔領域から表情を推定し、表情の状態の尤度PItfitを算出する。初期値設定部31は、予め与えられたハイパーパラメータを用いて、パラメータφ={Π,Θ}の初期値を設定する。本実施の形態では、ハイパーパラメータの値として、データ記憶部21に記憶されている値を用いる場合について説明するが、ハイパーパラメータの値として適当な乱数を用いてもよい。また、初期値設定部31は、パラメータφ={Π,Θ}の初期値を用いて、各確率変数の初期値、すなわち、各対話者ペアi,jに関する共感的インタラクションの状態の時系列データの初期値etと、各対話者iの表情の状態の時系列データの初期値fitとをサンプリングする。具体的には、上記5式及び6式で与えられる分布に従って発生させた乱数をetの初期値とする。同様に、12式で与えられる分布に従って発生させた乱数を初期値fitとする。状態サンプリング部32は、各時刻tにおける共感的インタラクションの状態etと、各時刻tにおける表情の状態fitとを、全条件付き確率分布からサンプリングし、値を更新する。それぞれの変数に対する全条件付き確率分布は、その事前分布として共役事前分布を使用することから、共役事前分布と同じ分布形状となる。この全条件付き確率分布においては、対象変数以外の変数は全て固定されているため、上記3式で表される同時事後確率分布から対象の変数を含まない項を正規化定数とした分布とみなすことができる。時刻tにおける共感的インタラクションの状態etは、以下の19式で表わされる全条件付き確率分布に従って、サンプリングされる。なお、上記19式で表わされる全条件付き確率分布が、第1確率分布の一例である。状態サンプリング部32による1回目の実行時は、まず、時刻t=11フレーム目について、初期値設定部31で設定した各値を用いて、上記19式の右辺の各項の確率を、上記6式、13式、9式により求める。そして、得られた確率分布に従って発生させた乱数を、更新後のe1とする。同様の処理を、時刻t=2からt=Tまで順番に繰り返し、etを更新していく。状態サンプリング部32による2回目以降の実行時は、初期値設定部31で設定した値の代わりに、更新後のet、fit、φの各値を用いて、同様のサンプリングを行うことで、etの値を更新していく。同様に、時刻tにおける表情の状態fitは,以下に示す20式で表される全条件付き確率分布に従って、サンプリングされる。なお、上記20式で表わされる全条件付き確率分布が、第2確率分布の一例である。状態サンプリング部32による1回目の実行時は、まず、時刻t=11フレーム目について、初期値設定部31で設定した各値、及び表情推定部30で算出した表情の尤度を用いて、上記20式の右辺の各項の確率を、上記12式、13式により求める。そして、得られた確率分布に従って発生させた乱数を、更新後のfitとする。同様の処理を、時刻t=2からt=Tまで順番に繰り返し、fitを更新していく。状態サンプリング部32による2回目以降の実行時は、初期値設定部31で設定した値の代わりに、更新後のet、fit、φの各値を用いて、同様のサンプリングを行うことで、fitの値を更新していく。パラメータサンプリング部33は、パラメータφ={Π,Θ}を全条件付き確率分布からサンプリングし、値を更新する。全てのモデルパラメータはディリクレ分布に従うと仮定しているため、事前分布のパラメータすなわち、ハイパーパラメータに対して、状態サンプリング部32による直前の共感的インタラクション及び表情のサンプリングにおいて対象とする事象が発生している回数を加えた値を、事後分布のパラメータとして求めることができる。各モデルパラメータは、以下に示す21式~25式で表される全条件付き確率分布に従って、サンプリングされる。ここで、Dπeηeはパラメータをηeとするπに関するディリクレ分布であり、~記号は、左辺の分布が右辺の分布に従うこと意味する。例えば、共感的インタラクションの遷移確率のパラメータについては、以下の26式、27式に従って求められるここで、ηは、ハイパーパラメータであり、ηは、サンプリング結果を用いて更新された値を示す。また、nee ́e=0は、共感的インタラクションの状態がeであった回数であり、nee ́e≠0は、ある時刻での共感的インタラクションの状態がeから次の時刻にe ́へと変化した回数である。同様に、ηxは、ηxee∈1Neであり、視線の状態がxであり、かつ、共感的インタラクションの状態がeであった回数を表わし、ηexは、ηexfexfであり、対話者ペアi,jの表情がfi,fjであり、視線状態がxであり、かつ、共感的インタラクションの状態がeであった回数を表わす。また、ηiは、ηififであり、対話者iの表情の状態がfであった回数を表わす。パラメータサンプリング部33は、上記21式~25式の右辺の分布に従って発生させた乱数をそれぞれパラメータπ、λ、θの更新値として設定することにより、パラメータφ={Π,Θ}を更新する。なお、上記21式~25式で表わされる全条件付き確率分布が、第3確率分布の一例である。収束判定部34は、所定の収束条件を満たしたか否かを判定し、所定の収束条件を満たなさない場合には、状態サンプリング部32およびパラメータサンプリング部33の処理を繰り返し、共感的インタラクションの状態の時系列etと、表情状態の時系列fitと、パラメータφとを更新していく。ここで、所定の収束条件とは、予め定めた反復回数に到達したか否かや、更新前の各時系列またはパラメータと更新後の各時系列またはパラメータとの誤差が、予め定めた閾値以下となったか否かなどを用いる。推定値算出部35は、収束判定部34において所定の収束条件を満たすまで反復させて対話モデルのパラメータが収束した後に、さらにM回の反復を行ったそのM回分のサンプル{E1TF1TφqM ́1M ́Mを用いて共感的インタラクションの状態及び表情の状態の推定結果を算出するM ́は,収束判定部34においてパラメータが収束するまでに要した反復回数とする。添え字qはサンプル番号q=1、、Mである。これらの反復回数は、推定対象とする共感的インタラクションや表情の状態数にもよるが、例えば、M ́=800、M=200とすればよい。時刻tにおける共感的インタラクションの状態の推定値^et、及び表情の状態の推定値^fitは、同時刻における同時事後確率分布pftetI1tに基づき計算される。例えば、これらの推定値は、以下の28式、29式に示すように、同時事後確率分布の共感的インタラクションあるいは表情それぞれについての周辺確率を最大化する状態として計算される。パラメータの推定値^φについては、以下の30式に示すように、同時事後確率分布のパラメータについての周辺分布の期待値として計算される.ここで、δyzは、y=zであれば1を、そうでなければ0を返す関数である。共感的インタラクションの状態の推定値^et、表情の状態の推定値^fit、及びパラメータの推定値^φが、出力部3よりユーザに出力される。学習部23は、学習データ記憶部40、教師ラベル作成部41、及びハイパーパラメータ学習部42を備えている。初期値設定部31において利用するハイパーパラメータの値は、予め適当な値を定めてもよいが、推定用対話映像以外の対話映像学習用映像を入力として、モデルのハイパーパラメータを学習することもできる。学習を行うことで、パラメータφの初期値をより適切な値に設定することができるため、所定の繰り返し回数でより精度のよいモデルに収束させることが可能となり、結果として共感的インタラクション及び表情の推定の精度を向上させる効果がある。学習データ記憶部40は、学習用映像データを記憶している。教師ラベル作成部41は、学習用映像データを入力として,その各フレームにおける共感的インタラクションの状態、表情の状態、及び視線の状態を、教師ラベルとして作成する。本発明により推定することが効果的である共感的インタラクション及び表情については、オペレータからの教師ラベルの入力を入力部1により受け付けて、これらのラベルを付与することとする。なお、膨大な計算時間をかけても、これらを高精度に推定可能な方法があれば、教師ラベル作成部41として利用してもよい。一方、視線の状態については、視線方向検出部29と同様の処理を行って、ラベル付けを行えばよい。ハイパーパラメータ学習部42は、教師ラベルを入力として、対話モデルのハイパーパラメータを学習して、データ記憶部21へ出力する。ここでは、それぞれのハイパーパラメータが表す事象がその学習データ中で発生した確率を、ハイパーパラメータの値として設定することとする。例えば、共感的インタラクションの遷移確率Pet=e ́et-1=eについてであれば、教師ラベル中において、共感的インタラクションの状態が連続する2時刻内においてeからe ́へと変化した回数を数えて、その回数を全ての遷移の回数の和で除した値確率を、当該ハイパーパラメータの値として設定すればよい。<対話状態推定装置の作用>次に、本実施の形態に係る対話状態推定装置の作用について説明する。まず、対話状態推定装置は、学習データ記憶部40に記憶された学習用映像データについて、フレーム毎に、対話者間の共感的インタラクションの状態と各対話者の表情の状態とをオペレータに入力させて、ラベル付けを行うと共に、対話状態推定装置の演算部2が、対話者間の視線の状態を検出して、ラベル付けを行なう。そして、対話状態推定装置の演算部2が、ラベル付けされた結果を用いて、ハイパーパラメータを学習し、データ記憶部21に学習結果を格納する。また、撮影手段によって、複数の対話者が対話している様子を撮影し、撮影された映像データが、入力部1を介して対話状態推定装置に入力され、データ記憶部21に格納される。そして、対話状態推定装置の演算部2において、図6に示す対話状態推定処理ルーチンが実行される。まず、ステップ100において、データ記憶部21に記憶された映像データ及びハイパーパラメータを読み込み、取得する。そして、ステップ102において、映像データの各時刻各フレームについて、対話者の全ペアの視線の状態を検出する。ステップ103では、映像データの各時刻各フレームについて、各対話者の表情の状態を推定し、表情の各状態の尤度を算出する。次のステップ104では、上記ステップ100で取得したハイパーパラメータに基づいて、対話モデルの各種パラメータの初期値を設定し、設定された対話モデルの各種パラメータの初期値に基づいて、対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データの初期値を設定する。そして、ステップ106において、上記ステップ104で設定された対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータの初期値、またはステップ106及び後述するステップ108で前回決定された対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータと、上記ステップ102で検出された対話者の全ペアの視線の状態の時系列データと、上記ステップ103で算出された各対話者の表情の各状態の尤度の時系列データとに基づいて、上記19式、20式で表される確率分布を求め、求められた確率分布に従って、サンプリングにより、対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データを決定する。次のステップ108では、直前のステップ106で決定された対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データと、上記ステップ102で検出された対話者の全ペアの視線の状態の時系列データと、上記ステップ100で取得したハイパーパラメータとに基づいて、上記21式~25式で表される確率分布を求め、求められた確率分布に従って、サンプリングにより、対話モデルの各種パラメータの値を決定する。ステップ110では、所定の収束条件として、予め定めた反復回数に到達したか否かを判定し、予め定めた反復回数に到達していない場合には、所定の収束条件が成立していないと判断して、上記ステップ106へ戻り、上記ステップ106、108の処理を繰り返す。一方、予め定めた反復回数に到達した場合には、所定の収束条件が成立したと判断し、ステップ112へ進む。ステップ112では、上記ステップ106と同様に、前回決定された対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータと、検出された対話者の全ペアの視線の状態の時系列データと、上記ステップ103で算出された各対話者の表情の各状態の尤度の時系列データとに基づいて、上記19式、20式で表される確率分布を求め、求められた確率分布に従って、サンプリングにより、対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データを決定する。そして、ステップ114では、上記ステップ108と同様に、直前のステップ112で決定された対話者の全ペアの共感的インタラクションの状態の時系列データ、および各対話者の表情の状態の時系列データと、上記ステップ102で検出された対話者の全ペアの視線の状態の時系列データと、上記ステップ100で取得したハイパーパラメータとに基づいて、上記21式~25式で表される確率分布を求め、求められた確率分布に従って、サンプリングにより、対話モデルの各種パラメータの値を決定する。ステップ116では、上記ステップ112、114の処理をM回繰り返したか否かを判定し、M回繰り返していない場合には、上記ステップ112へ戻り、上記ステップ112、114の処理を繰り返す。一方、上記ステップ112、114の処理をM回繰り返した場合には、ステップ118において、上記ステップ112、114で決定されたM回分の、対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータに基づいて、対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータの各推定値を算出する。そして、ステップ120において、上記ステップ118で算出された対話者の全ペアの共感的インタラクションの状態の時系列データ、各対話者の表情の状態の時系列データ、及び対話モデルの各種パラメータの各推定値を出力部3により出力して、対話状態推定処理ルーチンを終了する。以上説明したように、本実施の形態に係る対話状態推定装置によれば、対話者ペアにおける共感的インタラクションの状態と対話者ペアの視線の状態との組み合わせに応じた表情の状態の共起性を表わす対話モデルを用いることにより、対話者ペアの共感的インタラクションの状態及び各対話者の表情の状態を推定することができる。また、複数人による対話を対象として,表情が表出された文脈を考慮し,対話を撮影した映像データから各対話者で表出される表情の状態を正しく推定すると同時に,それぞれの対話者ペアの間の共感的インタラクションの状態を正しく推定することができる。対話者の表情の状態を、従来の対象人物のみに着目した従来の推定の枠組みよりも高い精度で推定できる。特に、従来の方法では正しい推定が困難であった、映像中の人物の顔の向きが正面でなく横向きや上向きである場面、あるいは、顔が手や物体によって一部が隠れている場面においても、表情の状態を精度よく推定することができる。また、対話モデルのパラメータとして、対象とする対話映像毎に、共感的インタラクションの各状態がどの程度の確率で発生するのかや対話者行動=表情がどの程度の確率で発生するのか、またそれらがどの程度共起するのかの確率を得ることができる。これらのパラメータの違いによって、それぞれの対話を特徴付けることができる。なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、対話者ペアの共感的インタラクションの状態及び各対話者の表情の状態の何れか一方のみの推定値を出力するようにしてもよい。また、複数の対話者のうちの特定の対話者ペアのみについて、共感的インタラクションの状態、各対話者の表情の状態、及び対話者モデルのパラメータを推定するようにしてもよい。また、映像データ中の特定フレーム、すなわち、1時刻の静止画データに基づいて、その時刻における共感的インタラクションの状態、各対話者の表情の状態、及び対話者モデルのパラメータを推定するようにしてもよい。また、上述の対話状態推定装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、WWWシステムを利用している場合であれば、ホームページ提供環境あるいは表示環境も含むものとする。また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。"