"実空間の観測情報を入力する複数の情報入力部と、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定位置情報および推定識別情報を含むイベント情報を生成するイベント検出部と、前記イベント情報を入力し、入力イベント情報に基づいて、各ユーザの位置およびユーザ識別情報を含むターゲット情報と、前記イベント発生源の確率値を示すシグナル情報を生成する情報統合処理部を有し、前記情報統合処理部は、発話源確率算出部を有し、前記発話源確率算出部は、各ターゲットの発話源確率を示す指標値としての発話源スコアを、イベント検出部から入力する複数の異なる情報に対して発話状況に応じた重みを乗算して算出する処理を行う情報処理装置。前記発話源確率算出部は、前記イベント検出部を構成する音声イベント検出部からの入力情報として、発話イベントに対応する、aユーザ位置情報音源方向情報、bユーザ識別情報話者識別情報、を入力し、さらに、前記イベント検出部を構成する画像イベント検出部からの入力情報に基づいて生成されるターゲット情報として、aユーザ位置情報顔位置情報、bユーザ識別情報顔識別情報、c口唇動作情報、これらの情報を入力し、少なくともこれらの情報のいずれかを適用して、入力情報に基づく発話源スコアを算出する処理を行う請求項1に記載の情報処理装置。前記発話源確率算出部は、音源方向情報Dと、話者識別情報Sと、口唇動作情報Lを適用して、発話源スコアPを、以下の算出式、P=DαSβLγただし、α:音源方向情報の重み係数、β:話者識別情報の重み係数、γ:口唇動作情報の重み係数、αβγ=1上記発話源スコアPの算出式に従って発話源スコアを算出する処理を行う請求項1に記載の情報処理装置。前記発話源確率算出部は、前記各重み係数:α、β、γを発話状況に応じて調整する処理を行う請求項3に記載の情報処理装置。前記発話源確率算出部は、以下の2つの条件、条件11つのターゲットのみによる単独発話か、あるいは2つのターゲットによる同時発話か、条件22つのターゲットの位置が近いか、あるいは2つのターゲットの位置が遠いか、上記2つの条件に応じて、前記各重み係数:α、β、γを調整する処理を行う請求項3に記載の情報処理装置。前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットが同時発声する場合、口唇動作情報の重みγを小さくするように前記各重み係数:α、β、γを調整する処理を行う請求項3に記載の情報処理装置。前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットの位置が近く、1ターゲットのみが単独発声する場合、音源方向情報の重みαを小さくするように前記各重み係数:α、β、γを調整する処理を行う請求項3に記載の情報処理装置。前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットの位置が近く、2つのターゲットが同時に発声する場合、口唇動作情報の重みγと音源方向情報の重みαを小さくするように前記各重み係数:α、β、γを調整する処理を行う請求項3に記載の情報処理装置。情報処理装置において、情報解析処理を実行する情報処理方法であり、複数の情報入力部が、実空間における観測情報を入力する情報入力ステップと、イベント検出部が、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定位置情報および推定識別情報を含むイベント情報を生成するイベント検出ステップと、情報統合処理部が、前記イベント情報を入力し、入力イベント情報に基づいて、各ユーザの位置およびユーザ識別情報を含むターゲット情報と、前記イベント発生源の確率値を示すシグナル情報を生成する情報統合処理ステップを有し、前記情報統合処理ステップは、各ターゲットの発話源確率を示す指標値としての発話源スコアを、イベント検出ステップにおいて入力する複数の異なる情報に対して発話状況に応じた重みを乗算して算出する処理を行う情報処理方法。情報処理装置において、情報解析処理を実行させるプログラムであり、複数の情報入力部に、実空間における観測情報を入力させる情報入力ステップと、イベント検出部に、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定位置情報および推定識別情報を含むイベント情報を生成させるイベント検出ステップと、情報統合処理部に、前記イベント情報を入力し、入力イベント情報に基づいて、各ユーザの位置およびユーザ識別情報を含むターゲット情報と、前記イベント発生源の確率値を示すシグナル情報を生成させる情報統合処理ステップを実行させ、前記情報統合処理ステップにおいては、各ターゲットの発話源確率を示す指標値としての発話源スコアを、イベント検出ステップにおいて入力する複数の異なる情報に対して発話状況に応じた重みを乗算して算出する処理を行わせるプログラム。本開示は、例えば上述の問題点に鑑みてなされたものであり、複数のチャネルモダリティ、モーダルからの入力情報の解析、具体的には、例えば周囲にいる人物の位置などの特定処理を行うシステムにおいて、画像、音声情報などの様々な入力情報に含まれる不確実な情報に対する確率的な処理を行ってより精度の高いと推定される情報に統合する処理を行うことによりロバスト性を向上させ、精度の高い解析を行う情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。また、本開示の一実施例では、複数の人物が同時発話を行った場合に、発声したユーザの識別を行い、それぞれの発話を解析する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。本開示の第1の側面は、実空間の観測情報を入力する複数の情報入力部と、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定位置情報および推定識別情報を含むイベント情報を生成するイベント検出部と、前記イベント情報を入力し、入力イベント情報に基づいて、各ユーザの位置およびユーザ識別情報を含むターゲット情報と、前記イベント発生源の確率値を示すシグナル情報を生成する情報統合処理部を有し、前記情報統合処理部は、発話源確率算出部を有し、前記発話源確率算出部は、各ターゲットの発話源確率を示す指標値としての発話源スコアを、イベント検出部から入力する複数の異なる情報に対して発話状況に応じた重みを乗算して算出する処理を行う情報処理装置にある。さらに、本開示の情報処理装置の一実施態様において、前記発話源確率算出部は、前記イベント検出部を構成する音声イベント検出部からの入力情報として、発話イベントに対応する、aユーザ位置情報音源方向情報、bユーザ識別情報話者識別情報、を入力し、さらに、前記イベント検出部を構成する画像イベント検出部からの入力情報に基づいて生成されるターゲット情報として、aユーザ位置情報顔位置情報、bユーザ識別情報顔識別情報、c口唇動作情報、これらの情報を入力し、少なくともこれらの情報のいずれかを適用して、入力情報に基づく発話源スコアを算出する処理を行う。さらに、本開示の情報処理装置の一実施態様において、前記発話源確率算出部は、音源方向情報Dと、話者識別情報Sと、口唇動作情報Lを適用して、発話源スコアPを、以下の算出式、P=DαSβLγただし、α:音源方向情報の重み係数、β:話者識別情報の重み係数、γ:口唇動作情報の重み係数、αβγ=1上記発話源スコアPの算出式に従って発話源スコアを算出する処理を行う。さらに、本開示の情報処理装置の一実施態様において、前記発話源確率算出部は、前記各重み係数:α、β、γを発話状況に応じて調整する処理を行う。さらに、本開示の情報処理装置の一実施態様において、前記発話源確率算出部は、以下の2つの条件、条件11つのターゲットのみによる単独発話か、あるいは2つのターゲットによる同時発話か、条件22つのターゲットの位置が近いか、あるいは2つのターゲットの位置が遠いか、上記2つの条件に応じて、前記各重み係数:α、β、γを調整する処理を行う。さらに、本開示の情報処理装置の一実施態様において、前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットが同時発声する場合、口唇動作情報の重みγを小さくするように前記各重み係数:α、β、γを調整する処理を行う。さらに、本開示の情報処理装置の一実施態様において、前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットの位置が近く、1ターゲットのみが単独発声する場合、音源方向情報の重みαを小さくするように前記各重み係数:α、β、γを調整する処理を行う。さらに、本開示の情報処理装置の一実施態様において、前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットの位置が近く、2つのターゲットが同時に発声する場合、口唇動作情報の重みγと音源方向情報の重みαを小さくするように前記各重み係数:α、β、γを調整する処理を行う。さらに、本開示の第2の側面は、情報処理装置において、情報解析処理を実行する情報処理方法であり、複数の情報入力部が、実空間における観測情報を入力する情報入力ステップと、イベント検出部が、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定位置情報および推定識別情報を含むイベント情報を生成するイベント検出ステップと、情報統合処理部が、前記イベント情報を入力し、入力イベント情報に基づいて、各ユーザの位置およびユーザ識別情報を含むターゲット情報と、前記イベント発生源の確率値を示すシグナル情報を生成する情報統合処理ステップを有し、前記情報統合処理ステップは、各ターゲットの発話源確率を示す指標値としての発話源スコアを、イベント検出ステップにおいて入力する複数の異なる情報に対して発話状況に応じた重みを乗算して算出する処理を行う情報処理方法にある。さらに、本開示の第3の側面は、情報処理装置において、情報解析処理を実行させるプログラムであり、複数の情報入力部に、実空間における観測情報を入力させる情報入力ステップと、イベント検出部に、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定位置情報および推定識別情報を含むイベント情報を生成させるイベント検出ステップと、情報統合処理部に、前記イベント情報を入力し、入力イベント情報に基づいて、各ユーザの位置およびユーザ識別情報を含むターゲット情報と、前記イベント発生源の確率値を示すシグナル情報を生成させる情報統合処理ステップを実行させ、前記情報統合処理ステップにおいては、各ターゲットの発話源確率を示す指標値としての発話源スコアを、イベント検出ステップにおいて入力する複数の異なる情報に対して発話状況に応じた重みを乗算して算出する処理を行わせるプログラムにある。なお、本開示のプログラムは、例えば、様々なプログラムコードを実行可能な情報処理装置やコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータシステム上でプログラムに応じた処理が実現される。本開示のさらに他の目的、特徴や利点は、後述する実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本開示の一実施例の構成によれば、不確実で非同期な入力情報に基づく情報解析により、ユーザ位置や識別情報、発話者情報などを生成する構成が実現される。具体的には、画像情報や音声情報に基づいてユーザの推定位置および推定識別データを含むイベント情報を入力し、入力イベント情報に基づいて、各ユーザの位置およびユーザ識別情報を含むターゲット情報と、イベント発生源の確率値を示すシグナル情報を生成する情報統合処理部を有し、情報統合処理部は、発話源確率算出部を有し、発話源確率算出部は、各ターゲットの発話源確率を示す指標値としての発話源スコアを、イベント検出部から入力する複数の異なる情報に対して発話状況に応じた重みを乗算して算出する処理を行う。これらの処理によって、例えば2つのターゲット2人が同時に発話した状況においても、どちらが発話したかを高精度に推定することが可能となる。以下、図面を参照しながら本開示の実施形態に係る情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。1.本開示の情報処理装置の実行する処理の概要について2,本開示の情報処理装置の構成と処理の詳細について3.本開示の情報処理装置の実行する処理シーケンスについて4.発話源確率算出部の実行する処理の詳細について5.発話源スコアの算出処理について6.本開示の構成のまとめ[1.本開示の情報処理装置の実行する処理の概要について]ます、本開示の情報処理装置の実行する処理の概要について説明する。本開示は、例えば、入力イベント情報の内、ユーザの発話に対応する音声イベント情報に関しては、発話源確率の算出において識別器を用い、背景技術の欄において説明した重み係数の事前調整を行う必要のない構成を実現するものである。具体的には、各ターゲットが発話源らしいかどうかを識別する識別器や、2つのターゲット情報のみを対象として、どちらがより発話源らしいか判定する識別器を用いる。識別器への入力情報は、音声イベント情報に含まれる音源方向情報や話者識別情報や、イベント情報の内、画像イベント情報に含まれる口唇動作情報や、ターゲット情報に含まれるターゲット位置やターゲット総数を用いる。発話源確率の算出において識別器を用いることによって、背景技術の欄において説明した重み係数の事前調整が必要なくなり、且つより適切な発話源確率の算出が可能となる。まず、図1を参照して本開示に係る情報処理装置の実行する処理の概要について説明する。本開示の情報処理装置100は、実空間における観測情報を入力するセンサ、ここでは一例としてカメラ21と、複数のマイク31~34から画像情報、音声情報を入力し、これらの入力情報に基づいて環境の解析を行う。具体的には、複数のユーザ1,11~2,12の位置の解析、およびその位置にいるユーザの識別を行う。図に示す例において、例えばユーザ1,11~ユーザ2,12が家族である姉、弟であるとき、情報処理装置100は、カメラ21と、複数のマイク31~34から入力する画像情報、音声情報の解析を行い、2人のユーザ1~2の存在する位置、各位置にいるユーザが姉、弟のいずれであるかを識別する。識別処理結果は様々な処理に利用される。例えば、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対してテレビから応答を行うなどの処理に利用される。なお、本開示に係る情報処理装置100の主要な処理は、複数の情報入力部カメラ21,マイク31~34からの入力情報に基づいて、ユーザの位置識別およびユーザの特定処理としてのユーザ識別処理を行うことである。この識別結果の利用処理については特に限定するものではない。カメラ21と、複数のマイク31~34から入力する画像情報、音声情報には様々な不確実な情報が含まれる。本開示の情報処理装置100では、これらの入力情報に含まれる不確実な情報に対する確率的な処理を行って、精度の高いと推定される情報に統合する処理を行う。この推定処理によりロバスト性を向上させ、精度の高い解析を行う。[2,本開示の情報処理装置の構成と処理の詳細について]図2に情報処理装置100の構成例を示す。情報処理装置100は、入力デバイスとして画像入力部カメラ111、複数の音声入力部マイク121a~dを有する。画像入力部カメラ111から画像情報を入力し、音声入力部マイク121から音声情報を入力し、これらの入力情報に基づいて解析を行う。複数の音声入力部マイク121a~dの各々は、図1に示すように様々な位置に配置されている。複数のマイク121a~dから入力された音声情報は、音声イベント検出部122を介して情報統合処理部131に入力される。音声イベント検出部122は、複数の異なるポジションに配置された複数の音声入力部マイク121a~dから入力する音声情報を解析し統合する。具体的には、音声入力部マイク121a~dから入力する音声情報に基づいて、発生した音の位置およびどのユーザの発生させた音であるかのユーザ識別情報を生成して情報統合処理部131に入力する。なお、情報処理装置100の実行する具体的な処理は、例えば図1に示すように複数のユーザが存在する環境で、ユーザA~Bがどの位置にいて、会話を行ったユーザがどのユーザであるかを識別すること、すなわち、ユーザ位置およびユーザ識別を行うことであり、さらに声を発した人物発話者などのイベント発生源を特定する処理である。音声イベント検出部122は、複数の異なるポジションに配置された複数の音声入力部マイク121a~dから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データとして生成する。具体的には、音源方向に関する期待値と分散データNme,σeを生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成する。この識別情報も確率的な推定値として生成する。音声イベント検出部122には、予め検証すべき複数のユーザの声についての特徴情報が登録されており、入力音声と登録音声との比較処理を実行して、どのユーザの声である確率が高いかを判定する処理を行い、全登録ユーザに対する事後確率、あるいはスコアを算出する。このように、音声イベント検出部122は、複数の異なるポジションに配置された複数の音声入力部マイク121a~dから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データと、確率的な推定値からなるユーザ識別情報とによって構成される[統合音声イベント情報]を生成して情報統合処理部131に入力する。一方、画像入力部カメラ111から入力された画像情報は、画像イベント検出部112を介して情報統合処理部131に入力される。画像イベント検出部112は、画像入力部カメラ111から入力する画像情報を解析し、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データNme,σeを生成する。また、画像イベント検出部112は、予め登録されたユーザの顔の特徴情報との比較処理に基づいて顔を識別してユーザ識別情報を生成する。この識別情報も確率的な推定値として生成する。画像イベント検出部112には、予め検証すべき複数のユーザの顔についての特徴情報が登録されており、入力画像から抽出した顔領域の画像の特徴情報と登録された顔画像の特徴情報との比較処理を実行して、どのユーザの顔である確率が高いかを判定する処理を行い、全登録ユーザに対する事後確率、あるいはスコアを算出する。さらに、画像イベント検出部112は、画像入力部カメラ111から入力された画像に含まれる顔に対応する属性スコア、例えば口領域の動きに基づいて生成される顔属性スコアを算出する。顔属性スコアは、例えば、a画像に含まれる顔の口領域の動きに対応するスコア、b画像に含まれる顔が笑顔か否かに応じて設定するスコア、c画像に含まれる顔が男であるか女であるかに応じて設定するスコア、d画像に含まれる顔が大人であるか子供であるかに応じて設定するスコア、このような様々な顔属性スコアを算出する設定が可能である。以下に説明する実施例では、a画像に含まれる顔の口領域の動きに対応するスコアを顔属性スコアとして算出して利用する例について説明する。すなわち、顔の口領域の動きに対応するスコアを顔属性スコアとして算出し、この顔属性スコアに基づいて発話者の特定を行なう。画像イベント検出部112は、画像入力部カメラ111から入力された画像に含まれる顔領域から口領域を識別して、口領域の動き検出を行い、口領域の動き検出結果に対応したスコア、例えば口の動きがあると判定された場合に高いスコアとするスコアを算出する。なお、口領域の動き検出処理は、例えばVSDVisualSpeechDetectionを適用した処理として実行する。本発明の出願人と同一の出願に係る特開2005-157679に開示の方法を適用することができる。具体的には、例えば、画像入力部カメラ111からの入力画像から検出された顔画像から唇の左右端点を検出し、N番目のフレームとN1番目のフレームにおいて唇の左右端点をそれぞれそろえてから輝度の差分を算出し、この差分値を閾値処理することで、口の動きを検出することができる。なお、音声イベント検出部122や画像イベント検出部112において実行する音声識別や、顔検出、顔識別処理は従来から知られる技術を適用する。例えば顔検出、顔識別処理としては以下の文献に開示された技術の適用が可能である。佐部浩太郎,日台健一,ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習,第10回画像センシングシンポジウム講演論文集,pp.547-552,2004特開2004-302644P2004-302644A[発明の名称:顔識別装置、顔識別方法、記録媒体、及びロボット装置]情報統合処理部131は、音声イベント検出部122や画像イベント検出部112からの入力情報に基づいて、複数のユーザが、それぞれどこにいて、それらは誰で、誰が音声等のシグナルを発したのかを確率的に推定する処理を実行する。具体的には、情報統合処理部131は音声イベント検出部122や画像イベント検出部112からの入力情報に基づいて、a複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]b例えば発話したユーザなどのイベント発生源を[シグナル情報]、これらの各情報を処理決定部132に出力する。なお、シグナル情報には、以下の2つのシグナル情報が含まれる。b1音声イベントに基づくシグナル情報b2画像イベントに基づくシグナル情報情報統合処理部131のターゲット情報更新部141は、画像イベント検出部112において検出された画像イベント情報を入力して、例えばパーティクルフィルタを用いたターゲット更新処理を実行して、画像イベントに基づくターゲット情報とシグナル情報を生成して処理決定部132に出力する。なお、更新結果としてのターゲット情報は発話源確率算出部142にも出力される。情報統合処理部131の発話源確率算出部142は、音声イベント検出部122において検出された音声イベント情報を入力して、識別モデル識別器を用いて各ターゲットが入力音声イベントの発話源である確率を算出する。発話源確率算出部142は、この算出値に基づいて、音声イベントに基づくシグナル情報を生成して処理決定部132に出力する。これらの処理については後段で詳細に説明する。情報統合処理部131の生成したターゲット情報、シグナル情報を含む識別処理結果を受領した処理決定部132は、識別処理結果を利用した処理を実行する、例えば、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対してテレビから応答を行うなどの処理を行う。上述したように、音声イベント検出部122は、音声の発生源の位置情報の確率分布データ、具体的には、音源方向に関する期待値と分散データNme,σeを生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成して情報統合処理部131に入力する。また、画像イベント検出部112は、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データNme,σeを生成する。また、予め登録されたユーザの顔の特徴情報との比較処理に基づいてユーザ識別情報を生成して情報統合処理部131に入力する。さらに、画像入力部カメラ111から入力された画像中の顔領域から顔属性情報としての顔属性スコア、例えば口領域の動き検出を行い、口領域の動き検出結果に対応したスコア、具体的には口の動きが大きいと判定された場合に高いスコアとする顔属性スコアを算出して情報統合処理部131に入力する。図3を参照して、音声イベント検出部122および画像イベント検出部112が生成し情報統合処理部131に入力する情報の例について説明する。本開示の構成では、画像イベント検出部112は、Va顔の位置や方向に関する期待値と分散データNme,σe、Vb顔画像の特徴情報に基づくユーザ識別情報、Vc検出された顔の属性に対応するスコア、例えば口領域の動きに基づいて生成される顔属性スコア、これらのデータを生成して情報統合処理部131に入力し、音声イベント検出部122が、Aa音源方向に関する期待値と分散データNme,σe、Ab声の特徴情報に基づくユーザ識別情報、これらのデータを情報統合処理部131に入力する。図3Aは図1を参照して説明したと同様のカメラやマイクが備えられた実環境の例を示し、複数のユーザ1~k,201~20kが存在する。この環境で、あるユーザが何らかの発話を行ったとすると、マイクで音声が入力される。また、カメラは連続的に画像を撮影している。音声イベント検出部122および画像イベント検出部112が生成して、情報統合処理部131に入力する情報は、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコアこれら3種類に大別できる。すなわち、aユーザ位置情報は、画像イベント検出部112の生成するVa顔の位置や方向に関する期待値と分散データNme,σeと、音声イベント検出部122の生成するAa音源方向に関する期待値と分散データNme,σe、これらの統合データである。また、bユーザ識別情報顔識別情報または話者識別情報は、画像イベント検出部112の生成するVb顔画像の特徴情報に基づくユーザ識別情報と、音声イベント検出部122の生成するAb声の特徴情報に基づくユーザ識別情報、これらの統合データである。c顔属性情報顔属性スコアは、画像イベント検出部112の生成するVc検出された顔の属性に対応するスコア、例えば口領域の動きに基づいて生成される顔属性スコア、に対応する。aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコア、これらの3つの情報は、イベントの発生毎に生成される。音声イベント検出部122は、音声入力部マイク121a~dから音声情報が入力された場合に、その音声情報に基づいて上記のaユーザ位置情報、bユーザ識別情報を生成して情報統合処理部131に入力する。画像イベント検出部112は、例えば予め定めた一定のフレーム間隔で、画像入力部カメラ111から入力された画像情報に基づいてaユーザ位置情報、bユーザ識別情報、c顔属性情報顔属性スコアを生成して情報統合処理部131に入力する。なお、本例では、画像入力部カメラ111は1台のカメラを設定した例を示しており、1つのカメラに複数のユーザの画像が撮影される設定であり、この場合、1つの画像に含まれる複数の顔の各々についてaユーザ位置情報、bユーザ識別情報を生成して情報統合処理部131に入力する。音声イベント検出部122が音声入力部マイク121a~dから入力する音声情報に基づいて、aユーザ位置情報bユーザ識別情報話者識別情報これらの情報を生成する処理について説明する。[音声イベント検出部122によるaユーザ位置情報の生成処理]音声イベント検出部122は、音声入力部マイク121a~dから入力された音声情報に基づいて解析された声を発したユーザ、すなわち[話者]の位置の推定情報を生成する。すなわち、話者が存在すると推定される位置を、期待値平均[me]と分散情報[σe]からなるガウス分布正規分布データNme,σeとして生成する。[音声イベント検出部122によるbユーザ識別情報話者識別情報の生成処理]音声イベント検出部122は、音声入力部マイク121a~dから入力された音声情報に基づいて話者が誰であるかを、入力音声と予め登録されたユーザ1~kの声の特徴情報との比較処理により推定する。具体的には話者が各ユーザ1~kである確率を算出する。この算出値をbユーザ識別情報話者識別情報とする。例えば入力音声の特徴と最も近い登録された音声特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア例えば0を配分する処理によって各ユーザである確率を設定したデータを生成して、これをbユーザ識別情報話者識別情報とする。次に、画像イベント検出部112が画像入力部カメラ111から入力する画像情報に基づいて、aユーザ位置情報bユーザ識別情報顔識別情報c顔属性情報顔属性スコアこれらの情報を生成する処理について説明する。[画像イベント検出部112によるaユーザ位置情報の生成処理]画像イベント検出部112は、画像入力部カメラ111から入力された画像情報に含まれる顔の各々について顔の位置の推定情報を生成する。すなわち、画像から検出された顔が存在すると推定される位置を、期待値平均[me]と分散情報[σe]からなるガウス分布正規分布データNme,σeとして生成する。[画像イベント検出部112によるbユーザ識別情報顔識別情報の生成処理]画像イベント検出部112は、画像入力部カメラ111から入力された画像情報に基づいて、画像情報に含まれる顔を検出し、各顔が誰であるかを、入力画像情報と予め登録されたユーザ1~kの顔の特徴情報との比較処理により推定する。具体的には抽出された各顔が各ユーザ1~kである確率を算出する。この算出値をbユーザ識別情報顔識別情報とする。例えば入力画像に含まれる顔の特徴と最も近い登録された顔の特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア例えば0を配分する処理によって各ユーザである確率を設定したデータを生成して、これをbユーザ識別情報顔識別情報とする。[画像イベント検出部112によるc顔属性情報顔属性スコアの生成処理]画像イベント検出部112は、画像入力部カメラ111から入力された画像情報に基づいて、画像情報に含まれる顔領域を検出し、検出された各顔の属性、具体的には先に説明したように顔の口領域の動き、笑顔か否か、男であるか女であるか、大人であるかこどもであるかなどの属性スコアを算出することが可能であるが、本処理例では、画像に含まれる顔の口領域の動きに対応するスコアを顔属性スコアとして算出して利用する例について説明する。顔の口領域の動きに対応するスコアを算出する処理として、前述したように画像イベント検出部112は、例えば、画像入力部カメラ111からの入力画像から検出された顔画像から唇の左右端点を検出し、N番目のフレームとN1番目のフレームにおいて唇の左右端点をそれぞれそろえてから輝度の差分を算出し、この差分値を閾値処理する。この処理により、口の動きを検出し、口の動きが大きいほど高いスコアとする顔属性スコアを設定する。なお、カメラの撮影画像から複数の顔が検出された場合、画像イベント検出部112は、各検出顔に応じてそれぞれ個別のイベントとして、各顔対応のイベント情報を生成する。すなわち、以下の情報を含むイベント情報を生成して情報統合処理部131に入力する。aユーザ位置情報bユーザ識別情報顔識別情報c顔属性情報顔属性スコアこれらの情報を生成して、情報統合処理部131に入力する。本例では、画像入力部111として1台のカメラを利用した例を説明するが、複数のカメラの撮影画像を利用してもよく、その場合は、画像イベント検出部112は、各カメラの撮影画像の各々に含まれる各顔について、aユーザ位置情報bユーザ識別情報顔識別情報c顔属性情報顔属性スコアこれらの情報を生成して、情報統合処理部131に入力する。次に、情報統合処理部131の実行する処理について説明する。情報統合処理部131は、上述したように、音声イベント検出部122および画像イベント検出部112から、図3Bに示す3つの情報、すなわち、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコアこれらの情報を逐次入力する。なお、これらの各情報の入力タイミングは様々な設定が可能であるが、例えば、音声イベント検出部122は新たな音声が入力された場合に上記a,bの各情報を音声イベント情報として生成して入力し、画像イベント検出部112は、一定のフレーム周期単位で、上記a,b,cの各情報を音声イベント情報として生成して入力するといった設定が可能である。情報統合処理部131の実行する処理について、図4以下を参照して説明する。先に説明したように、情報統合処理部131は、ターゲット情報更新部141、発話源確率算出部142を有し、それぞれ以下の処理を実行する。ターゲット情報更新部141は、画像イベント検出部112において検出された画像イベント情報を入力して、例えばパーティクルフィルタを用いたターゲット更新処理を実行して、画像イベントに基づくターゲット情報とシグナル情報を生成して処理決定部132に出力する。なお、更新結果としてのターゲット情報は発話源確率算出部142にも出力される。発話源確率算出部142は、音声イベント検出部122において検出された音声イベント情報を入力して、識別モデル識別器を用いて各ターゲットが入力音声イベントの発話源である確率を算出する。発話源確率算出部142は、この算出値に基づいて、音声イベントに基づくシグナル情報を生成して処理決定部132に出力する。まず、ターゲット情報更新部141の実行する処理について説明する。情報統合処理部131のターゲット情報更新部141は、ユーザの位置および識別情報についての仮説Hypothesisの確率分布データを設定し、その仮説を入力情報に基づいて更新することで、より確からしい仮説のみを残す処理を行う。この処理手法として、パーティクルフィルタParticleFilterを適用した処理を実行する。パーティクルフィルタParticleFilterを適用した処理は、様々な仮説に対応するパーティクルを多数設定して行なわれる。本例では、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定し、画像イベント検出部112から、図3Bに示す3つの情報、すなわち、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコアこれらの入力情報に基づいて、より確からしいパーティクルの重みウェイトを高めていくという処理を行う。パーティクルフィルタParticleFilterを適用した基本的な処理例について図4を参照して説明する。例えば、図4に示す例は、あるユーザに対応する存在位置をパーティクルフィルタにより推定する処理例を示している。図4に示す例は、ある直線上の1次元領域におけるユーザ301の存在する位置を推定する処理である。初期的な仮説Hは、図4aに示すように均一なパーティクル分布データとなる。次に、画像データ302が取得され、取得画像に基づくユーザ301の存在確率分布データが図4bのデータとして取得される。この取得画像に基づく確率分布データに基づいて、図4aのパーティクル分布データが更新され、図4cの更新された仮説確率分布データが得られる。このような処理を、入力情報に基づいて繰り返し実行して、ユーザのより確からしい位置情報を得る。なお、パーティクルフィルタを用いた処理の詳細については、例えば[D.Schulz,D.Fox,andJ.Hightower.PeopleTrackingwithAnonymousandID-sensorsUsingRao-BlackwellisedParticleFilters.Proc.oftheInternationalJointConferenceonArtificialIntelligenceIJCAI-03]に記載されている。図4に示す処理例は、ユーザの存在位置のみについて、入力情報を画像データのみとした処理例として説明しており、パーティクルの各々は、ユーザ301の存在位置のみの情報を有している。情報統合処理部131のターゲット情報更新部141は、画像イベント検出部112から、図3Bに示す情報、すなわち、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコアこれらの情報を取得して、複数のユーザの位置と複数のユーザがそれぞれ誰であるかを判別する処理を行うことになる。従って、パーティクルフィルタParticleFilterを適用した処理では、情報統合処理部131が、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定して、画像イベント検出部112から、図3Bに示す2つの情報に基づいて、パーティクル更新を行うことになる。情報統合処理部131が、音声イベント検出部122および画像イベント検出部112から、図3Bに示す3つの情報、すなわち、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコアこれらを入力して実行するパーティクル更新処理例について図5を参照して説明する。なお、以下に説明するパーティクル更新処理は、情報統合処理部131のターゲット情報更新部141において画像イベント情報のみを用いて実行する処理例として説明する。パーティクルの構成について説明する。情報統合処理部131のターゲット情報更新部141は、予め設定した数=mのパーティクルを有する。図5に示すパーティクル1~mである。各パーティクルには識別子としてのパーティクルIDPID=1~mが設定されている。各パーティクルに、仮想的なオブジェクトに対応する複数のターゲットtID=1,2,nを設定する。本例では、例えば実空間に存在すると推定される人数以上の仮想のユーザに対応する複数n個のターゲットを各パーティクルに設定する。m個のパーティクルの各々はターゲット単位でデータをターゲット数分保持する。図5に示す例では、1つのパーティクルにn個n=2のターゲットが含まれる。情報統合処理部131のターゲット情報更新部141は、画像イベント検出部112から、図3Bに示すイベント情報、すなわち、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコア[SeID]これらのイベント情報を入力してm個のパーティクルPID=1~mの更新処理を行う。図5に示す情報統合処理部131に設定される各パーティクル1~mに含まれるターゲット1~nの各々は、入力するイベント情報の各々eID=1~kに予め対応付けられており、その対応に従って、入力イベントに対応する選択されたターゲットの更新が実行される。具体的には、例えば画像イベント検出部112において検出された顔画像を個別のイベントとして、この顔画像イベント各々にターゲットを対応付けて処理を行なう。具体的な更新処理について説明する。例えば、画像イベント検出部112は、予め定めた一定のフレーム間隔で、画像入力部カメラ111から入力された画像情報に基づいてaユーザ位置情報、bユーザ識別情報、c顔属性情報顔属性スコアを生成して情報統合処理部131に入力する。このとき、図5に示す画像フレーム350がイベントの検出対象フレームである場合、画像フレームに含まれる顔画像の数に応じたイベントが検出される。すなわち、図5に示す第1顔画像351に対応するイベント1eID=1と、第2顔画像352に対応するイベント2eID=2である。画像イベント検出部112は、これらの各イベントの各々eID=1,2,について、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコアこれらを生成して情報統合処理部131に入力する。すなわち、図5に示すイベント対応情報361,362である。情報統合処理部131のターゲット情報更新部141に設定されたパーティクル1~mの各々に含まれるターゲット1~nの各々は、イベントeID=1~kの各々に予め対応付けられており、それぞれのパーティクルに含まれるどのターゲットを更新するかを予め設定した構成としている。なお、イベントeID=1~k各々に対するターゲットtIDの対応付けは、重複しない設定とする。すなわち、各パーティクルで重複がないように取得イベント分のイベント発生源仮説を生成する。図5に示す例では、1パーティクル1pID=1は、[イベントID=1eID=1]の対応ターゲット=[ターゲットID=1tID=1]、[イベントID=2eID=2]の対応ターゲット=[ターゲットID=2tID=2]、2パーティクル2pID=2は、[イベントID=1eID=1]の対応ターゲット=[ターゲットID=1tID=1]、[イベントID=2eID=2]の対応ターゲット=[ターゲットID=2tID=2]、:mパーティクルmpID=mは、[イベントID=1eID=1]の対応ターゲット=[ターゲットID=2tID=2]、[イベントID=2eID=2]の対応ターゲット=[ターゲットID=1tID=1]、このように、情報統合処理部131のターゲット情報更新部141に設定されたパーティクル1~mの各々に含まれるターゲット1~nの各々は、イベントeID=1~kの各々に予め対応付けられており、各イベントIDに応じて各パーティクルに含まれるどのターゲットを更新するかが決定された構成を持つ。例えば、図5に示す[イベントID=1eID=1]のイベント対応情報361によって、パーティクル1pID=1では、ターゲットID=1tID=1のデータのみが選択的に更新される。同様に、図5に示す[イベントID=1eID=1]のイベント対応情報361によって、パーティクル2pID=2も、ターゲットID=1tID=1のデータのみが選択的に更新される。また、図5に示す[イベントID=1eID=1]のイベント対応情報361によって、パーティクルmpID=mでは、ターゲットID=2tID=2のデータのみが選択的に更新される。図5に示すイベント発生源仮設データ371,372が、各パーティクルに設定されたイベント発生源仮設データであり、これらが各パーティクルに設定されており、この情報に従ってイベントIDに対応する更新ターゲットが決定される。各パーティクルに含まれる各ターゲットデータについて図6を参照して説明する。図6は、図5に示すパーティクル1pID=1に含まれる1つのターゲットターゲットID:tID=n375のターゲットデータの構成である。ターゲット375のターゲットデータは、図6に示すように、以下のデータ、すなわち、a各ターゲット各々に対応する存在位置の確率分布[ガウス分布:Nm1n,σ1n]、b各ターゲットが誰であるかを示すユーザ確信度情報uIDuID1n1=0.0uID1n2=0.1:uID1nk=0.5これらのデータによって構成される。なお、aに示すガウス分布:Nm1n,σ1nにおける[m1n,σ1n]の1nは、パーティクルID:pID=1におけるターゲットID:tID=nに対応する存在確率分布としてのガウス分布であることを意味する。また、bに示すユーザ確信度情報uIDにおける、[uID1n1]に含まれる1n1は、パーティクルID:pID=1におけるターゲットID:tID=nの、ユーザ=ユーザ1である確率を意味する。すなわちターゲットID=nのデータは、ユーザ1である確率が0.0、ユーザ2である確率が0.1、:ユーザkである確率が0.5、であることを意味している。図5に戻り、情報統合処理部131のターゲット情報更新部141の設定するパーティクルについての説明を続ける。図5に示すように、情報統合処理部131のターゲット情報更新部141は、予め決定した数=mのパーティクルPID=1~mを設定し、各パーティクルは、実空間に存在すると推定されるターゲットtID=1~n各々について、a各ターゲット各々に対応する存在位置の確率分布[ガウス分布:Nm,σ]、b各ターゲットが誰であるかを示すユーザ確信度情報uIDこれらのターゲットデータを有する。情報統合処理部131のターゲット情報更新部141は、音声イベント検出部122および画像イベント検出部112から、図3Bに示すイベント情報、すなわち、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコア[SeID]これらのイベント情報eID=1,2を入力し、各パーティクルにおいて予め設定されたイベント対応のターゲットの更新を実行する。なお、更新対象は各ターゲットデータに含まれる以下のデータ、すなわち、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報これらのデータである。c顔属性情報顔属性スコア[SeID]は、イベント発生源を示す[シグナル情報]として最終的に利用される。ある程度の数のイベントが入力されると、各パーティクルの重みウェイトも更新され、実空間の情報に最も近いデータを持つパーティクルの重みが大きくなり、実空間の情報に適合しないデータを持つパーティクルの重みが小さくなっていく。このようにパーティクルの重みに偏りが発生し収束した段階で、顔属性情報顔属性スコアに基づくシグナル情報、すなわち、イベント発生源を示す[シグナル情報]が算出される。ある特定のターゲットxtID=xが、あるイベントeID=yの発生源である確率を、PeID=xtID=yとして示す。例えば、図5に示すようにm個のパーティクルpID=1~mが設定され、各パーティクルに2つのターゲットtID=1,2が設定されている場合、第1ターゲットtID=1が第1イベントeID=1の発生源である確率は、PeID=1tID=1第2ターゲットtID=2が第1イベントeID=1の発生源である確率は、PeID=1tID=2である。また、第1ターゲットtID=1が第2イベントeID=2の発生源である確率は、PeID=2tID=1第2ターゲットtID=2が第2イベントeID=2の発生源である確率は、PeID=2tID=2である。イベント発生源を示す[シグナル情報]は、あるイベントeID=yの発生源が特定のターゲットxtID=xである確率、PeID=xtID=yであり、これは、情報統合処理部131のターゲット情報更新部141に設定されたパーティクル数:mと、各イベントに対するターゲットの割り当て数との比に相当し、図5に示す例では、PeID=1tID=1=[第1イベントeID=1にtID=1を割り当てたパーティクル数/m]PeID=1tID=2=[第1イベントeID=1にtID=2を割り当てたパーティクル数/m]PeID=2tID=1=[第2イベントeID=2にtID=1を割り当てたパーティクル数/m]PeID=2tID=2=[第2イベントeID=2にtID=2を割り当てたパーティクル数/m]このような対応関係となる。このデータがイベント発生源を示す[シグナル情報]として最終的に利用される。さらに、あるイベントeID=yの発生源が特定のターゲットxtID=xである確率、PeID=xtID=yこのデータは、ターゲット情報に含まれる顔属性情報の算出にも適用される。すなわち、顔属性情報StID=1~nの算出の際に利用される。顔属性情報StID=xは、ターゲットID=xのターゲットの最終的な顔属性の期待値、すなわち、発話者である可能性を示す値に相当する。情報統合処理部131のターゲット情報更新部141は、画像イベント検出部112から、イベント情報eID=1,2を入力し、各パーティクルにおいて予め設定されたイベント対応のターゲットの更新を実行して、a複数のユーザが、それぞれどこにいるかを示す位置推定情報と、誰であるかの推定情報uID推定情報、さらに、顔属性情報StIDの期待値、例えば口を動かして話しをしていることを示す顔属性期待値を含む[ターゲット情報]、b例えば話をしたユーザなどのイベント発生源を示す[シグナル情報画像イベント対応シグナル情報]、これらを生成して処理決定部132に出力する。[ターゲット情報]は、図7の右端のターゲット情報380に示すように、各パーティクルPID=1~mに含まれる各ターゲットtID=1~n対応データの重み付き総和データとして生成される。図7には、情報統合処理部131の有するm個のパーティクルpID=1~mと、これらのm個のパーティクルpID=1~mから生成されるターゲット情報380を示している。各パーティクルの重みについては後述する。ターゲット情報380は、情報統合処理部131が予め設定した仮想的なユーザに対応するターゲットtID=1~nのa存在位置b誰であるかuID1~uIDkのいずれであるかc顔属性の期待値本処理例では発話者である期待値確率これらを示す情報である。各ターゲットのc顔属性の期待値本処理例では発話者である期待値確率は、前述したようにイベント発生源を示す[シグナル情報]に相当する確率、PeID=xtID=yと、各イベントに対応する顔属性スコアSeID=iに基づいて算出される。iはイベントIDである。例えばターゲットID=1の顔属性の期待値:StID=1は、以下の式で算出される。StID=1=ΣeIDPeID=itID=1×SeID=i一般化して示すと、ターゲットの顔属性の期待値:StIDは、以下の式で算出される。StID=ΣeIDPeID=itID×SeID式1として示される。例えば、図5に示すように、システム内部にターゲットが2つ存在する場合、画像1フレーム内の画像イベント検出部112から、顔画像イベント2つeID=1,2が情報統合処理部131に入力された際の各ターゲットtID=1,2顔属性の期待値計算例を図8に示す。図8に示す右端のデータは、図7に示すターゲット情報380に相当するターゲット情報390であり、各パーティクルPID=1~mに含まれる各ターゲットtID=1~n対応データの重み付き総和データとして生成される情報に相当する。このターゲット情報390における各ターゲットの顔属性は、前述したようにイベント発生源を示す[シグナル情報]に相当する確率[PeID=xtID=y]と、各イベントに対応する顔属性スコア[SeID=i]に基づいて算出される。iはイベントIDである。ターゲットID=1の顔属性の期待値:StID=1は、StID=1=ΣeIDPeID=itID=1×SeID=iターゲットID=2の顔属性の期待値:StID=2は、StID=2=ΣeIDPeID=itID=2×SeID=iこのように示される。これら各ターゲットの顔属性の期待値:StIDの全ターゲットの総和は[1]になる。本処理例では、各ターゲットについて1~0の顔属性の期待値:StIDが設定され、期待値が高いターゲットは発話者である確率が高いと判定される。なお、顔画像イベントeIDに顔属性スコア[SeID]が存在しない場合例えば、顔検出できても口が手で覆われていて口の動き検出ができない場合は顔属性スコア[SeID]に事前知識の値[Sprior]等を用いる。事前知識の値としては、各ターゲット毎に直前に取得した値が存在する場合はその値を用いたり、事前にオフラインで所得した顔画像イベントから顔属性の平均値計算しておきその値を用いたりする構成が可能である。ターゲット数と画像1フレーム内の顔画像イベントは常に同数とは限らない。ターゲット数が顔画像イベント数よりも多いときには、前述したイベント発生源を示す[シグナル情報]に相当する確率[PeIDtID]の総和が[1]にならないため、前述した各ターゲットの顔属性の期待値算出式、すなわち、StID=ΣeIDPeID=itID×SeID式1上記式の各ターゲットについての期待値総和も[1]にならず、精度の高い期待値が計算できない。図9に示すように、画像フレーム350に前の処理レームには存在していた第3イベント対応の第3顔画像395が検出されなくなった場合には、上記式式1の各ターゲットについての期待値総和も[1]にならず、精度の高い期待値が計算できない。このような場合、各ターゲットの顔属性の期待値算出式を変更する。すなわち、各ターゲットの顔属性の期待値[StID]の総和を[1]にするために、補数[1-ΣeIDPeIDtID]と事前知識の値[Sprior]を用いて顔イベント属性の期待値StIDを次式式2で計算する。StID=ΣeIDPeIDtID×SeID1-ΣeIDPeIDtID×Sprior式2図9は、システム内部にイベント対応のターゲットが3つ設定されているが、画像1フレーム内の顔画像イベントとして2つのみが画像イベント検出部112から、情報統合処理部131に入力された際の顔属性の期待値計算例を示している。ターゲットID=1の顔属性の期待値:StID=1は、StID=1=ΣeIDPeID=itID=1×SeID=i1-ΣeIDPeIDtID=1×SpriorターゲットID=2の顔属性の期待値:StID=2は、StID=2=ΣeIDPeID=itID=2×SeID=i1-ΣeIDPeIDtID=2×SpriorターゲットID=3の顔属性の期待値:StID=3は、StID=3=ΣeIDPeID=itID=3×SeID=i1-ΣeIDPeIDtID=3×Spriorこのように計算される。なお、逆に、ターゲット数が顔画像イベント数よりも少ないときは、イベント数と同数になるようにターゲットを生成して前述の式1を適用して各ターゲットの顔属性の期待値[StID=1]を算出する。なお、顔属性は、本処理例では、口の動きに対応するスコアに基づく顔属性期待値、すなわち各ターゲットが発話者である期待値を示すデータとして説明しているが、前述したように、顔属性スコアは、笑顔や年齢などのスコアとして算出することが可能であり、この場合の顔属性期待値は、そのスコアに対応する属性に対応するデータとして算出されることになる。ターゲット情報は、パーティクルの更新に伴い、順次更新されることになり、例えばユーザ1~kが実環境内で移動しない場合、ユーザ1~kの各々が、n個のターゲットtID=1~nから選択されたk個にそれぞれ対応するデータとして収束することになる。例えば、図7に示すターゲット情報380中の最上段のターゲット1tID=1のデータ中に含まれるユーザ確信度情報uIDは、ユーザ2uID12=0.7について最も高い確率を有している。従って、このターゲット1tID=1のデータは、ユーザ2に対応するものであると推定されることになる。なお、ユーザ確信度情報uIDを示すデータ[uID12=0.7]中のuID12内の12は、ターゲットID=1のユーザ=2のユーザ確信度情報uIDに対応する確率であることを示している。このターゲット情報380中の最上段のターゲット1tID=1のデータは、ユーザ2である確率が最も高く、このユーザ2は、その存在位置が、ターゲット情報380中の最上段のターゲット1tID=1のデータに含まれる存在確率分布データに示す範囲にいると推定されることなる。このように、ターゲット情報380は、初期的に仮想的なオブジェクト仮想ユーザとして設定した各ターゲットtID=1~nの各々について、a存在位置b誰であるかuID1~uIDkのいずれであるかc顔属性期待値本処理例では発話者である期待値確率の各情報を示す。従って、各ターゲットtID=1~nのk個のターゲット情報の各々は、ユーザが移動しない場合は、ユーザ1~kに対応するように収束する。先に説明したように、情報統合処理部131は、入力情報に基づくパーティクルの更新処理を実行して、a複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、b例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]、これらを生成して処理決定部132に出力する。このように、情報統合処理部131のターゲット情報更新部141は、仮想的なユーザに対応する複数のターゲットデータを設定した複数のパーティクルを適用したパーティクルフィルタリング処理を実行して実空間に存在するユーザの位置情報を含む解析情報を生成する。すなわち、パーティクルに設定するターゲットデータの各々をイベント検出部から入力するイベント各々に対応付けて設定し、入力イベント識別子に応じて各パーティクルから選択されるイベント対応ターゲットデータの更新を行う。また、ターゲット情報更新部141は、各パーティクルに設定したイベント発生源仮説ターゲットと、イベント検出部から入力するイベント情報との尤度を算出し、該尤度の大小に応じた値をパーティクル重みとして各パーティクルに設定し、パーティクル重みの大きいパーティクルを優先的に再選択するリサンプリング処理を実行して、パーティクルの更新処理を行う。この処理については後述する。さらに、各パーティクルに設定したターゲットについて、経過時間を考慮した更新処理を実行する。また、パーティクルの各々に設定したイベント発生源仮説ターゲットの数に応じて、イベント発生源の確率値としてのシグナル情報の生成を行う。一方、情報統合処理部131の発話源確率算出部142は、音声イベント検出部122において検出された音声イベント情報を入力して、識別モデル識別器を用いて各ターゲットが入力音声イベントの発話源である確率を算出する。発話源確率算出部142は、この算出値に基づいて、音声イベントに基づくシグナル情報を生成して処理決定部132に出力する。発話源確率算出部142の実行する処理の詳細については後段で説明する。[3.本開示の情報処理装置の実行する処理シーケンスについて]次に、図10に示すフローチャートを参照して情報統合処理部131の実行する処理シーケンスについて説明する。情報統合処理部131は、音声イベント検出部122および画像イベント検出部112から、図3Bに示すイベント情報、すなわち、ユーザ位置情報と、ユーザ識別情報顔識別情報または話者識別情報、これらのイベント情報を入力して、a複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、b例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]、これらの情報を生成して処理決定部132に出力する。この処理シーケンスについて、図10に示すフローチャートを参照して説明する。まず、ステップS101において、情報統合処理部131は、音声イベント検出部122および画像イベント検出部112から、aユーザ位置情報bユーザ識別情報顔識別情報または話者識別情報c顔属性情報顔属性スコアこれらのイベント情報を入力する。イベント情報の取得に成功した場合は、ステップS102に進み、イベント情報の取得に失敗した場合は、ステップS121に進む。ステップS121の処理については後段で説明する。イベント情報の取得に成功した場合は、情報統合処理部131は、ステップS102において、音声イベントが入力されたか否かを判定する。入力イベントが音声イベントである場合は、ステップS111に進み、画像イベントである場合は、ステップS103に進む。入力イベントが音声イベントである場合は、ステップS111において、各ターゲットが入力音声イベントの発話源である確率を、識別モデル識別器を用いて算出する。算出結果を音声イベントに基づくシグナル情報として処理決定部132図2参照に出力する。このステップS111の処理の詳細については後段で説明する。入力イベントが画像イベントである場合は、ステップS103以下において、入力情報に基づくパーティクル更新処理を行うことになるが、パーティクル更新処理の前に、まずステップS103において、各パーティクルに対する新たなターゲットの設定が必要であるか否かを判定する。本開示の構成では、先に、図5を参照して説明したように、情報統合処理部131に設定される各パーティクル1~mに含まれるターゲット1~nの各々は、入力するイベント情報の各々eID=1~kに予め対応付けられており、その対応に従って、入力イベントに対応する選択されたターゲットの更新が実行する構成としている。従って、例えば画像イベント検出部112から入力するイベント数が、ターゲット数より多い場合には、新たなターゲットの設定を行なうことが必要となる。具体的には、例えば図5に示す画像フレーム350にこれまで存在しなかった顔が出現した場合などである。このような場合は、ステップS104に進み、各パーティクルに新たなターゲットを設定する。このターゲットはこの新たなイベントに対応して更新されるターゲットとして設定される。次に、ステップS105において、情報統合処理部131に設定されたパーティクル1~mのm個のパーティクルpID=1~mの各々にイベントの発生源の仮説を設定する。イベント発生源とは、例えば、音声イベントであれば、話をしたユーザがイベント発生源であり、画像イベントであれば、抽出した顔を持つユーザがイベント発生源である。本開示の仮説設定処理は、先に図5等を参照して説明したように、各パーティクル1~mに含まれるターゲット1~nの各々に、入力するイベント情報の各々eID=1~kを対応付けて設定する。すなわち、先に図5を参照して説明したように、パーティクル1~mの各々に含まれるターゲット1~nの各々は、イベントeID=1~kの各々に対応付けて、それぞれのパーティクルに含まれるどのターゲットを更新するかが予め設定される。このように各パーティクルで、重複がないように取得イベント分のイベント発生源仮説を生成する。なお、初期的には例えば各イベントが均等に配分されるような設定としてよい。パーティクルの数:mは、ターゲットの数:nより大きく設定されるので、複数のパーティクルが同一のイベントID-ターゲットIDの対応をもつパーティクルとして設定される。例えば、ターゲットの数:nが10とした場合、パーティクル数:m=100~1000程度に設定した処理などが行われる。ステップS105における仮説設定の後、ステップS106に進む。ステップS106では、各パーティクル対応の重み、すなわちパーティクル重み[WpID]の算出を行う。このパーティクル重み[WpID]は初期的には各パーティクルに均一な値が設定されるが、イベント入力に応じて更新される。図11を参照して、パーティクル重み[WpID]の算出処理の詳細について説明する。パーティクル重み[WpID]は、イベント発生源の仮説ターゲットを生成した各パーティクルの仮説の正しさの指標に相当する。パーティクル重み[WpID]は、m個のパーティクルpID=1~mの各々において設定された複数のターゲット各々に対応付けられたイベント発生源の入力イベントとの類似度であるイベント-ターゲット間尤度として算出される。図11には、情報統合処理部131が、音声イベント検出部122および画像イベント検出部112から入力する1つのイベントeID=1に対応するイベント情報401と、情報統合処理部131が保持する1つのパーティクル421を示している。パーティクル421のターゲットtID=2は、イベントeID=1に対応付けられているターゲットである。図11下段には、イベント-ターゲット間尤度の算出処理例を示している。パーティクル重み[WpID]は、各パーティクルにおいて算出されるイベント-ターゲットとの類似度指標としてのイベント-ターゲット間尤度の総和に対応する値として算出される。図11の下段に示す尤度算出処理は、aユーザ位置情報についてのイベントと、ターゲットデータとの類似度データとしてのガウス分布間尤度[DL]、bユーザ識別情報顔識別情報または話者識別情報についてのイベントと、ターゲットデータとの類似度データとしてのユーザ確信度情報uID間尤度[UL]これらを個別に算出する例を示している。aユーザ位置情報についてのイベントと、仮説ターゲットとの類似度データとしてのガウス分布間尤度[DL]の算出処理は以下の処理となる。入力イベント情報中の、ユーザ位置情報に対応するガウス分布をNme,σe、パーティクルから選択された仮説ターゲットのユーザ位置情報に対応するガウス分布をNmt,σt、として、ガウス分布間尤度[DL]を、以下の式によって算出する。DL=Nmt,σtσex|me上記式は、中心mtで分散σtσeのガウス分布においてx=meの位置の値を算出する式である。bユーザ識別情報顔識別情報または話者識別情報についてのイベントと、仮説ターゲットとの類似度データとしてのユーザ確信度情報uID間尤度[UL]の算出処理は以下の処理となる。入力イベント情報中の、ユーザ確信度情報uIDの各ユーザ1~kの確信度の値スコアをPe[i]とする。なお、iはユーザ識別子1~kに対応する変数である。パーティクルから選択された仮説ターゲットのユーザ確信度情報uIDの各ユーザ1~kの確信度の値スコアをPt[i]として、ユーザ確信度情報uID間尤度[UL]は、以下の式によって算出する。UL=ΣPe[i]×Pt[i]上記式は、2つのデータのユーザ確信度情報uIDに含まれる各対応ユーザの確信度の値スコアの積の総和を求める式であり、この値をユーザ確信度情報uID間尤度[UL]とする。パーティクル重み[WpID]は、上記の2つの尤度、すなわち、ガウス分布間尤度[DL]と、ユーザ確信度情報uID間尤度[UL]これら2つの尤度を利用し、重みαα=0~1を用いて下式によって算出する。パーティクル重み[WpID]=ΣnULα×DL1-αnは、パーティクルに含まれるイベント対応ターゲットの数である。上記式により、パーティクル重み[WpID]を算出する。ただし、α=0~1とする。このパーティクル重み[WpID]は、各パーティクルについて各々算出する。なお、パーティクル重み[WpID]の算出に適用する重み[α]は、予め固定された値としてもよいし、入力イベントに応じて値を変更する設定としてもよい。例えば入力イベントが画像である場合において、顔検出に成功し位置情報は取得できたが顔識別に失敗した場合などは、α=0の設定として、ユーザ確信度情報uID間尤度:UL=1としてガウス分布間尤度[DL]のみに依存してパーティクル重み[WpID]を算出する構成としてもよい。また、入力イベントが音声である場合において、話者識別に成功し話者情報破取得できたが、位置情報の取得に失敗した場合などは、α=0の設定として、ガウス分布間尤度[DL]=1として、ユーザ確信度情報uID間尤度[UL]のみに依存してパーティクル重み[WpID]を算出する構成としてもよい。図10のフローにおけるステップS106の各パーティクル対応の重み[WpID]の算出は、このように図11を参照して説明した処理として実行される。次に、ステップS107において、ステップS106で設定した各パーティクルのパーティクル重み[WpID]に基づくパーティクルのリサンプリング処理を実行する。このパーティクルリサンプリング処理は、m個のパーティクルから、パーティクル重み[WpID]に応じてパーティクルを取捨選択する処理として実行される。具体的には、例えば、パーティクル数:m=5のとき、パーティクル1:パーティクル重み[WpID]=0.40パーティクル2:パーティクル重み[WpID]=0.10パーティクル3:パーティクル重み[WpID]=0.25パーティクル4:パーティクル重み[WpID]=0.05パーティクル5:パーティクル重み[WpID]=0.20これらのパーティクル重みが各々設定されていた場合、パーティクル1は、40の確率でリサンプリングされ、パーティクル2は10の確率でリサンプリングされる。なお、実際にはm=100~1000といった多数であり、リサンプリングされた結果は、パーティクルの重みに応じた配分比率のパーティクルによって構成されることになる。この処理によって、パーティクル重み[WpID]の大きなパーティクルがより多く残存することになる。なお、リサンプリング後もパーティクルの総数[m]は変更されない。また、リサンプリング後は、各パーティクルの重み[WpID]はリセットされ、新たなイベントの入力に応じてステップS101から処理が繰り返される。ステップS108では、各パーティクルに含まれるターゲットデータユーザ位置およびユーザ確信度の更新処理を実行する。各ターゲットは、先に図7等を参照して説明したように、aユーザ位置:各ターゲット各々に対応する存在位置の確率分布[ガウス分布:Nmt,σt]、bユーザ確信度:各ターゲットが誰であるかを示すユーザ確信度情報uIDとして各ユーザ1~kである確立値スコア:Pt[i]i=1~k、すなわち、uIDt1=Pt[1]uIDt2=Pt[2]:uIDtk=Pt[k]さらに、c顔属性の期待値本処理例では発話者である期待値確率これらのデータによって構成される。c顔属性の期待値本処理例では発話者である期待値確率は、前述したようにイベント発生源を示す[シグナル情報]に相当する確率、PeID=xtID=yと、各イベントに対応する顔属性スコアSeID=iに基づいて算出される。iはイベントIDである。例えばターゲットID=1の顔属性の期待値:StID=1は、以下の式で算出される。StID=1=ΣeIDPeID=itID=1×SeID=i一般化して示すと、ターゲットの顔属性の期待値:StIDは、以下の式で算出される。StID=ΣeIDPeID=itID×SeID式1として示される。なお、ターゲット数が顔画像イベント数よりも多いときには、各ターゲットの顔属性の期待値[StID]の総和を[1]にするために、補数[1-ΣeIDPeIDtID]と事前知識の値[Sprior]を用いて顔イベント属性の期待値[StID]は、を次式式2で計算される。StID=ΣeIDPeIDtID×SeID1-ΣeIDPeIDtID×Sprior式2ステップS108におけるターゲットデータの更新は、aユーザ位置、bユーザ確信度、c顔属性の期待値本処理例では発話者である期待値確率の各々について実行する。まず、aユーザ位置の更新処理について説明する。ユーザ位置の更新は、a1全パーティクルの全ターゲットを対象とする更新処理、a2各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、これらの2段階の更新処理として実行する。a1全パーティクルの全ターゲットを対象とする更新処理は、イベント発生源仮説ターゲットとして選択されたターゲットおよびその他のターゲットのすべてを対象として実行する。この処理は、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマンフィルタKalmanFilterを用い更新される。以下、位置情報が1次元の場合の更新処理例について説明する。まず、前回の更新処理時間からの経過時間[dt]とし、全ターゲットについての、dt後のユーザ位置の予測分布を計算する。すなわち、ユーザ位置の分布情報としてのガウス分布:Nmt,σtの期待値平均:[mt]、分散[σt]について、以下の更新を行う。mt=mtxc×dtσt2=σt2σc2×dtなお、mt:予測期待値predictedstateσt2:予測共分散predictedestimatecovariancexc:移動情報controlmodelσc2:ノイズprocessnoiseである。なお、ユーザが移動しない条件の下で処理する場合は、xc=0として更新処理を行うことができる。上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布:Nmt,σtを更新する。a2各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、次に、各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理について説明する。ステップS104において設定したイベントの発生源の仮説に従って選択されたターゲットを更新する。先に図5を参照して説明したように、パーティクル1~mの各々に含まれるターゲット1~nの各々は、イベントeID=1~kの各々に対応付けられたターゲットとして設定されている。すなわち、イベントIDeIDに応じてそれぞれのパーティクルに含まれるどのターゲットを更新するかが予め設定されており、その設定に従って各入力イベントに対応付けられたターゲットのみを更新する。例えば、図5に示す[イベントID=1eID=1]のイベント対応情報361によって、パーティクル1pID=1では、ターゲットID=1tID=1のデータのみが選択的に更新される。このイベントの発生源の仮説に従った更新処理では、このようにイベントに対応付けられたターゲットの更新を行なう。音声イベント検出部122や画像イベント検出部112から入力するイベント情報に含まれるユーザ位置を示すガウス分布:Nme,σeなどを用いた更新処理を実行する。例えば、K:カルマンゲインKalmanGainme:入力イベント情報:Nme,σeに含まれる観測値Observedstateσe2:入力イベント情報:Nme,σeに含まれる観測値Observedcovarianceとして、以下の更新処理を行う。K=σt2/σt2σe2mt=mtKxc-mtσt2=1-Kσt2次に、ターゲットデータの更新処理として実行するbユーザ確信度の更新処理について説明する。ターゲットデータには上記のユーザ位置情報の他に、各ターゲットが誰であるかを示すユーザ確信度情報uIDとして各ユーザ1~kである確率値スコア:Pt[i]i=1~kが含まれている。ステップS108では、このユーザ確信度情報uIDについても更新処理を行う。各パーティクルに含まれるターゲットのユーザ確信度情報uID:Pt[i]i=1~kについての更新は、登録ユーザ全員分の事後確率と、音声イベント検出部122や画像イベント検出部112から入力するイベント情報に含まれるユーザ確信度情報uID:Pe[i]i=1~kによって、予め設定した0~1の範囲の値を持つ更新率[β]を適用して更新する。ターゲットのユーザ確信度情報uID:Pt[i]i=1~kについての更新は、以下の式によって実行する。Pt[i]=1-β×Pt[i]βPe[i]ただし、i=1~kβ:0~1である。なお、更新率[β]は、0~1の範囲の値であり予め設定する。ステップS108では、この更新されたターゲットデータに含まれる以下のデータ、すなわち、aユーザ位置:各ターゲット各々に対応する存在位置の確率分布[ガウス分布:Nmt,σt]、bユーザ確信度:各ターゲットが誰であるかを示すユーザ確信度情報uIDとして各ユーザ1~kである確立値スコア:Pt[i]i=1~k、すなわち、uIDt1=Pt[1]uIDt2=Pt[2]:uIDtk=Pt[k]c顔属性の期待値本処理例では発話者である期待値確率これらのデータによって構成される。これらのデータと、各パーティクル重み[WpID]とに基づいて、ターゲット情報を生成して、処理決定部132に出力する。なお、ターゲット情報は、各パーティクルPID=1~mに含まれる各ターゲットtID=1~n対応データの重み付き総和データとして生成される。図7の右端のターゲット情報380に示すデータである。ターゲット情報は、各ターゲットtID=1~n各々のaユーザ位置情報、bユーザ確信度情報、c顔属性の期待値本処理例では発話者である期待値確率これらの情報を含む情報として生成される。例えば、ターゲットtID=1に対応するターゲット情報中の、ユーザ位置情報は、上記式で表される。上記式において、Wiは、パーティクル重み[WpID]を示している。また、ターゲットtID=1に対応するターゲット情報中の、ユーザ確信度情報は、上記式で表される。上記式において、Wiは、パーティクル重み[WpID]を示している。また、ターゲットtID=1に対応するターゲット情報中の、顔属性の期待値本処理例では発話者である期待値確率は、StID=1=ΣeIDPeID=itID=1×SeID=i上記式、または、StID=1=ΣeIDPeID=itID=1×SeID=i1-ΣeIDPeIDtID=1×Spriorで表される。情報統合処理部131は、これらのターゲット情報をn個の各ターゲットtID=1~n各々について算出し、算出したターゲット情報を処理決定部132に出力する。次に、図8に示すフローのステップS109の処理について説明する。情報統合処理部131は、ステップS109において、n個のターゲットtID=1~nの各々がイベントの発生源である確率を算出し、これをシグナル情報として処理決定部132に出力する。先に説明したように、イベント発生源を示す[シグナル情報]は、音声イベントについては、誰が話をしたか、すなわち[発話者]を示すデータであり、画像イベントについては、画像に含まれる顔が誰であるかおよび[発話者]を示すデータである。情報統合処理部131は、各パーティクルに設定されたイベント発生源の仮説ターゲットの数に基づいて、各ターゲットがイベント発生源である確率を算出する。すなわち、ターゲットtID=1~nの各々がイベント発生源である確率を[PtID=iとする。ただしi=1~nである。例えば、あるイベントeID=yの発生源が特定のターゲットxtID=xである確率は、先に説明したように、PeID=xtID=yとして示され、これは、情報統合処理部131に設定されたパーティクル数:mと、各イベントに対するターゲットの割り当て数との比に相当する。例えば、図5に示す例では、PeID=1tID=1=[第1イベントeID=1にtID=1を割り当てたパーティクル数/m]PeID=1tID=2=[第1イベントeID=1にtID=2を割り当てたパーティクル数/m]PeID=2tID=1=[第2イベントeID=2にtID=1を割り当てたパーティクル数/m]PeID=2tID=2=[第2イベントeID=2にtID=2を割り当てたパーティクル数/m]このような対応関係となる。このデータがイベント発生源を示す[シグナル情報]として、処理決定部132に出力される。ステップS109の処理が終了したら、ステップS101に戻り、音声イベント検出部122および画像イベント検出部112からのイベント情報の入力の待機状態に移行する。以上が、図10に示すフローのステップS101~S109の説明である。ステップS101において、情報統合処理部131が、音声イベント検出部122および画像イベント検出部112から、図3Bに示すイベント情報を取得できなかった場合も、ステップS121において、各パーティクルに含まれるターゲットの構成データの更新が実行される。この更新は、時間経過に伴うユーザ位置の変化を考慮した処理である。このターゲット更新処理は、先のステップS108の説明におけるa1全パーティクルの全ターゲットを対象とする更新処理と同様の処理であり、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマンフィルタKalmanFilterを用い更新される。位置情報が1次元の場合の更新処理例について説明する。まず、前回の更新処理時間からの経過時間[dt]とし、全ターゲットについての、dt後のユーザ位置の予測分布を計算する。すなわち、ユーザ位置の分布情報としてのガウス分布:Nmt,σtの期待値平均:[mt]、分散[σt]について、以下の更新を行う。mt=mtxc×dtσt2=σt2σc2×dtなお、mt:予測期待値predictedstateσt2:予測共分散predictedestimatecovariancexc:移動情報controlmodelσc2:ノイズprocessnoiseである。なお、ユーザが移動しない条件の下で処理する場合は、xc=0として更新処理を行うことができる。上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布:Nmt,σtを更新する。なお、各パーティクルのターゲットに含まれるユーザ確信度情報uIDについては、イベントの登録ユーザ全員分の事後確率、もしくはイベント情報からスコア[Pe]が取得できない限りは更新しない。ステップS121の処理が終了したら、ステップS122において、ターゲットの削除要否を判定し必要であればステップS123においてターゲットを削除する。ターゲット削除は、例えば、ターゲットに含まれるユーザ位置情報にピークが検出されない場合など、特定のユーザ位置が得られていないようなデータを削除する処理として実行される。このようなターゲットがない場合は削除処理は不要であるステップS122~S123の処理後にステップS101に戻り、音声イベント検出部122および画像イベント検出部112からのイベント情報の入力の待機状態に移行する。以上、図10を参照して情報統合処理部131の実行する処理について説明した。情報統合処理部131は、図10に示すフローに従った処理を音声イベント検出部122および画像イベント検出部112からのイベント情報の入力ごとに繰り返し実行する。この繰り返し処理により、より信頼度の高いターゲットを仮説ターゲットとして設定したパーティクルの重みが大きくなり、パーティクル重みに基づくリサンプリング処理により、より重みの大きいパーティクルが残存することになる。結果として音声イベント検出部122および画像イベント検出部112から入力するイベント情報に類似する信頼度の高いデータが残存することになり、最終的に信頼度の高い以下の各情報、すなわち、a複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての[ターゲット情報]、b例えば話をしたユーザなどのイベント発生源を示す[シグナル情報]これらが生成されて処理決定部132に出力される。なお、シグナル情報には、以下の2つのシグナル情報が含まれる。b1ステップS111の処理によって生成する音声イベントに基づくシグナル情報b2ステップS103~S109の処理によって生成する画像イベントに基づくシグナル情報[4.発話源確率算出部において実行する処理の詳細について]次に、図10に示すフローチャートのステップS111の処理、すなわち、音声イベントに基づくシグナル情報の生成処理の詳細について説明する。先に説明したように、図2に示す情報統合処理部131は、ターゲット情報更新部141と、発話源確率算出部142を有する。ターゲット情報更新部141において画像イベント情報毎に更新されたターゲット情報は発話源確率算出部142にも出力される。発話源確率算出部142は、音声イベント検出部122から入力する音声イベント情報と、ターゲット情報更新部141において画像イベント情報毎に更新されたターゲット情報を適用して音声イベントに基づくシグナル情報を生成する。すなわち、各ターゲットがどの程度、当該音声イベント情報の発話源らしいかを表す発話源確率としてのシグナル情報である。発話源確率算出部142では、音声イベント情報が入力された場合には、ターゲット情報更新部141から入力するターゲット情報を用いて、各ターゲットがどの程度、当該音声イベント情報の発話源らしいかを表す発話源確率を算出する。図12に、発話源確率算出部142に入力される、A音声イベント情報、Bターゲット情報、これ等の入力情報の例を示す。A音声イベント情報は、音声イベント検出部122から入力する音声イベント情報である。Bターゲット情報は、ターゲット情報更新部141において画像イベント情報毎に更新されたターゲット情報である。発話源確率の算出には、図12Aに示す音声イベント情報に含まれる音源方向情報位置情報や話者識別情報や、画像イベント情報に含まれる口唇動作情報や、ターゲット情報に含まれるターゲット位置やターゲット総数といった情報が利用される。なお、元々は画像イベント情報に含まれている口唇動作情報は、ターゲット情報に含まれる顔属性情報の一つとして、ターゲット情報更新部141から発話源確率算出部142に供給される。また、本処理例における口唇動作情報とは、視覚的音声検出VisualSpeechDetection技術を適用して求められた口唇状態スコアから生成される。なお、視覚的音声検出技術VisualSpeechDetectionについては、例えば、[Visuallipactivitydetectionandspeakerdetectionusingmouthregionintensities/IEEETransactionsonCircuitsandSystemsforVideoTechnologyVolume19Issue1Pages133137参考URL:httpposeidoncsdauthgrpapersPUBLISHEDJOURNALpdfSiatras09a]、[FacilitatingSpeechDetectioninStyleTheEffectofVisualSpeakingStyleontheDetectionofSpeechinNoiseAuditoryVisualSpeechProcessing2005参考URL:httpwwwiscaspeechorgarchiveavsp05av05023html]等に記載されており、これらの技術を適用可能である。口唇動作情報の生成方法の概要は次の通りである。入力された音声イベント情報が、ある時間間隔Δtに対応するとして、Δt=t_end~t_beginこの時間間隔Δtに含まれる複数の口唇状態スコアを順に並べて時系列データとする。この時系列データが成す領域の面積を口唇動作情報とする。図12Bターゲット情報の最下段に示す[時間/口唇状態スコア]のグラフが口唇動作情報に相当する。なお、ここでの口唇動作情報は、全ターゲットの口唇動作情報の和をもって正規化される。なお、口唇動作情報の生成処理については、例えば特開2009-223761号公報や、特許第4462339号公報に記載があり、これらの公報に記載の処理を適用可能である。また、音源方向情報の生成処理としては特2010-20294号公報、話者識別情報については、特開2004-286805号公報に記載があり、これらの既存の処理を適用することも可能である。発話源確率算出部142は、図12に示すように、音声イベント検出部122から入力する音声イベント情報として発話に対応する音声イベントに応じた、aユーザ位置情報音源方向情報bユーザ識別情報話者識別情報を取得する。さらに、ターゲット情報更新部141において画像イベント情報毎に更新されたターゲット情報として、aユーザ位置情報bユーザ識別情報c口唇動作情報これらの情報を取得する。さらに、ターゲット情報に含まれるターゲット位置やターゲット総数といった情報も入力する。発話源確率算出部142は、これらの情報に基づいて、各ターゲットが発話源である確率シグナル情報を生成して処理決定部132に出力する。発話源確率算出部142の実行する各ターゲット毎の発話源確率の算出方法のシーケンスの一例について、図13に示すフローチャートを参照して説明する。図13のフローチャートに示す処理例は、ターゲットを個別に選択して、選択ターゲットに関する情報を利用して、そのターゲットが発話源であるかどうかを示す発話源確率発話源スコア判定する処理である。まず、ステップS201において、全ターゲットから処理対象とするターゲットを1つ選択する。次にステップS202において、発話源確率算出部142の保持する識別器を用いて、選択したターゲットが発話源であるかどうかの確率値としての発話源スコアを求める。識別器は、音声イベント検出部122から入力する、aユーザ位置情報音源方向情報bユーザ識別情報話者識別情報ターゲット情報更新部141から入力する、aユーザ位置情報bユーザ識別情報c口唇動作情報dターゲット位置やターゲット総数これらの入力情報に基づいて、各ターゲット毎の発話源確率を算出する識別器である。なお、識別器への入力情報は、上記のすべての情報としてもよいが、これらの入力情報の内そのいくつかだけを入力して利用してもよい。識別器は、ステップS202において、選択したターゲットが発話源であるかどうかの確率値としての発話源スコアを算出する。なお、ステップS202において実行する発話源スコアの算出処理の詳細については、図14以下を参照して後段で詳細に説明する。ステップS203において、他の未処理ターゲットがあるか否かを判定し、未処理ターゲットが存在する場合は、未処理ターゲットについてステップS201以下の処理を実行する。ステップS203において、他の未処理ターゲットがないと判定した場合は、ステップS204に進む。ステップS204では、各ターゲット毎に求められた発話源スコアを、全体ターゲットの発話源スコアの和をもって正規化処理を実行し、各ターゲットに対する発話源確率としての発話源スコアを決定する。この発話源スコアの最も高いターゲットが発話源であると推定されることになる。[5.発話源スコアの算出処理について]次に、図13に示すフローチャートにおけるステップS202の発話源スコアの算出処理の詳細について説明する。この発話源スコアは、図2に示す発話源確率算出部142において算出される。すなわち、選択したターゲットが発話源であるかどうかの確率値としての発話源スコアを算出する。前述のように、発話源確率算出部142は、例えば、音声イベント検出部122から、aユーザ位置情報音源方向情報bユーザ識別情報話者識別情報ターゲット情報更新部141から、aユーザ位置情報bユーザ識別情報c口唇動作情報dターゲット位置やターゲット総数これらの情報を入力して、各ターゲット毎の発話源確率を求めるための発話源スコアを算出する。なお、発話源確率算出部142は、上記のすべての情報を用いてスコア算出を行う構成としてもよいが、その一部を用いてスコア算出を実行する構成としてもよい。図14以下を参照して、音源方向情報:D、話者識別情報:S、口唇動作情報:L、これらの3情報を適用した発話源スコア:Pの算出処理例について説明する。上記3つの情報D,S,Lを用いた発話源スコアPの算出式は、たとえば図14に示すように、以下の式によって定義できる。P=DαSβLγなお、D:音源方向情報、S:話者識別情報、L:口唇動作情報、α:音源方向情報の重み係数、β:話者識別情報の重み係数、γ:口唇動作情報の重み係数、αβγ=1である。上記の発話源算出式:P=DαSβLγを適用して、選択したターゲットが発話源であるかどうかの確率値としての発話源スコアを算出する。上記の発話源算出式:P=DαSβLγを適用した発話源スコア算出処理を行う場合、入力情報として、D:音源方向情報、S:話者識別情報、L:口唇動作情報、これらの3情報が取得されていることが条件である。さらに、α:音源方向情報の重み係数、β:話者識別情報の重み係数、γ:口唇動作情報の重み係数、これらの係数を決定する処理が必要となる。上記の発話源算出式:P=DαSβLγを適用した発話源スコア算出処理を行うための係数決定処理を伴う発話源スコア算出処理のシーケンスについて、図15に示すフローチャートを参照して説明する。なお、音声イベント検出部122から入力する音声イベントに含まれる1つの音声認識結果には以下の情報が付随しているものとする。1音声区間情報その音声の開始時間と終了時間2音源方向情報3話者識別情報発話源確率算出部142は、発話源スコアを算出する処理対象となる音声イベントと直前の音声イベントとの時間的な重複の有無と、当該ターゲットと位置の近い他のターゲットの有無に合わせて、口唇動作情報と音源方向情報の重みを変更することによって全重み係数を調整し、その調整された全重み係数を用いて発話源スコアを計算する。発話源確率算出部142は、上記の発話源スコア算出式:P=DαSβLγを適用した発話源スコア算出処理に適用する係数α、β、γの決定処理のために、発話の時間的な重複の有無、位置の近い他のターゲットの有無、これらの情報を画像イベント検出部112、音声イベント検出部122からの入力情報に基づいて取得し、これらの情報を適用して、発話源スコア算出処理に適用する係数α、β、γの決定処理を行う。図15に示すフローの各ステップの処理について説明する。まず、ステップS301において、発話源スコア算出処理の処理対象とする音声イベントと直前の音声イベントの時間的な重複を確認する。なお、この時間的な重複の有無に関する判断は、時間的に少しだけずれた後続する音声イベントのみで判断可能である。これは、先行する音声イベントが検知された時点=先行する音声イベントの終了時間が決定された瞬間では、時間的に重複するその他の音声イベントが存在するかどうかを完全には決定できないためである。次に、ステップS302において、処理対象ターゲットと位置の近い他のターゲットが存在するかを確認する。この処理は、例えば、ターゲット情報更新部141から入力するユーザ位置情報を用いて実行可能である。次に、ステップS303において、ステップS301で判定した時間的な重複の有無と、ステップS302で判定した位置の近い他のターゲットの有無に応じて、α:音源方向情報の重み係数、γ:口唇動作情報の重み係数、これらの重み係数を変更して、全重み係数を調整する。なお、重み係数の調整に際しては、αβγ=1この制約条件を満たすように調整を行う。最後に、ステップS304において、発話源確率算出部142は、入力情報としての、D:音源方向情報、S:話者識別情報、L:口唇動作情報、これらを適用し、さらに、ステップS303において決定した各重み係数、すなわち、α:音源方向情報の重み係数、β:話者識別情報の重み係数、γ:口唇動作情報の重み係数、ただし、αβγ=1これらを適用して、発話源スコア算出式、P=DαSβLγを適用して、ターゲットの発話源スコアを算出する。図16以下を参照して、具体的に状況に応じた発話源スコア算出処理の具体例について説明する。図15のフローを参照して説明したように、発話源スコアの算出処理においては、音声が発せられる状況に応じて、どの入力情報を重視するかを適応的に変更する。発話を行う可能性のある人物が2名であるとき、音声が発せられる状況の例としては、例えば図16a~dに示すように以下の状況が想定される。a2名の位置が遠く、1名のみが発声する場合b2名の位置が遠く、2名が同時に発声する場合c2名の位置が近く、1名のみが発声する場合d2名の位置が近く、2名が同時に発声する場合図17は、音声が発せられる状況と、上述した発話源スコア算出式:P=DαSβLγを適用した発話源スコア算出処理に適用する係数α、β、γの調整方法の関係と、数値例を示している。発話源確率算出部142は、各入力情報の重み係数をそれぞれどのような値に設定するかを、音声が発せられた状況に応じて、動的に調整する。重み係数を調整する状況は、以下の2つの条件の組み合わせから成る。条件1ユーザ1名1つのターゲットのみによる単独発話か、あるいはユーザ2名2つのターゲットによる同時発話か、条件2ユーザ2名2つのターゲットの位置が近いか、あるいはユーザ2名2つのターゲットの位置が遠いか、なお、上記条件2のユーザ2名の位置が近いか遠いかに関しては、音源方向の差、すなわち音源方向を示す角度に基づいて、予め設定した所定のしきい値を適用して遠近を判断する。例えば、ユーザ2名の位置に対応した音源方向の差の絶対値が10°以下の場合をユーザ2名の位置が近いと判定する。なお、源方向の差の絶対値が10°以下とは、マイクの位置から3メートル離れた位置において、ユーザ2名の間の距離が約53センチメートル以内であることに対応する。このように、音源方向が近いということを、ユーザの間の距離が近いあるいはユーザ間の位置が近いと言い換えることとする。以下、図16に示すa~dの各発話状況に応じた重み係数、すなわち、α:音源方向情報の重み係数、β:話者識別情報の重み係数、γ:口唇動作情報の重み係数、ただし、αβγ=1これらの重み係数α、β、γの調整方法の具体例について説明する。図16aユーザ2名の位置が遠く、1名のみが単独発声する場合この場合は、全ての重み係数α、β、γの調整は行わず、予め設定した既定値を利用する。すなわち、発話源確率算出部142は、発話可能性のあるターゲットが2である状況において、1つのターゲットのみが単独発声する場合、全ての重み係数α、β、γの調整は行わず、予め設定した既定値を利用する。図16bユーザ2名の位置が遠く、その2名が同時発声する場合、この場合は、口唇動作情報の重みγを小さくするように調整を行う。すなわち、発話源確率算出部142は、発話可能性のあるターゲットが2である状況において、2つのターゲットが同時発声する場合、口唇動作情報の重みγを小さくするように前記各重み係数:α、β、γを調整する処理を行う。図16cユーザ2名の位置が近く、1名のみが単独発声する場合この場合は、音源方向情報の重みαを小さくするように調整を行う。すなわち、発話源確率算出部142は、発話可能性のあるターゲットが2である状況において、2つのターゲットの位置が近く、1ターゲットのみが単独発声する場合、音源方向情報の重みαを小さくするように前記各重み係数:α、β、γを調整する処理を行う。図16dユーザ2名の位置が近く、その2名が同時発声する場合この場合は、口唇動作情報の重みγと音源方向情報の重みαを小さくするように調整を行う。すなわち、発話源確率算出部142は、発話可能性のあるターゲットが2である状況において、2つのターゲットの位置が近く、2のターゲットが同時に発声する場合、口唇動作情報の重みγと音源方向情報の重みαを小さくするように前記各重み係数:α、β、γを調整する処理を行う。なお、いずれの処理に際しても、αβγ=1の制約を満たすように調整する。これらの重み係数α、β、γの調整例をまとめた図を図17に示す。なお、音声が発せられたそれぞれの状況において、所望の重み係数をどの程度大きくするか、あるいは各重み係数をどのように設定するかに関しては、評価データを用いた事前の検討作業によって決められたものを用いてよい。図18は、具体的な重み係数α、β、γの調整例として、以下の2つの例を示す図である。A全重み係数の数値例既定値が全て等しい場合既定値:α=β=γB全重み係数の数値例既定値が異なる場合既定値:α≠β≠γAの場合は、既定値:α=β=γ=0.333である。Bの場合は、既定値:α≠β≠γであり、各既定値は、α=0.500β=0.200γ=0.300としている。なお、A,Bいずれの場合も、所望の重み係数を小さくする場合には、その重み係数の既定値から1/2となるように調整している。また、小さくする重み係数が一つのみ場合には、その他の2つの重み係数はその比率を既定値の場合と同じにするようにして調整している。図18Aにおいて口唇動作情報の重み係数γを1/20.333から0.167にする場合には、その他の2つの重み係数は既定値では同じ数値0.333と0.333となっているので、調整後にも同じ比率となるように2つの重み係数共に0.417としている。また、図18Bにおいて口唇動作情報の重み係数γを1/20.300から0.150にする場合には、その他の2つの重み係数は既定値では0.500と0.200となっているので、調整後にも同じ比率となるように2つの重み係数を0.607と0.243としている。図15のフローチャートにおけるステップS303においては、例えば、このように、α:音源方向情報の重み係数、β:話者識別情報の重み係数、γ:口唇動作情報の重み係数、これらの重み係数を調整する。その後、この調整した重み係数を適用して、前述の発話源スコア算出式、P=DαSβLγを適用して、ターゲットの発話源スコアを算出する。上記式に従って、各ターゲットについての発話源スコアを算出し、そのスコア比較により、最も高いスコアを持つターゲットを発話源であると判定することができる。本開示の情報処理装置では、上述したように、音源方向情報、話者識別情報、口唇動作情報、これらの全てを考慮し、さらに発話状況に応じて、これらの情報の適用重みを変更して発話源スコアを算出して、算出したスコアに応じて発話源確率を算出する構成とした。この処理によって、例えば、複数の発話者が同時に発話したような状況であってもスコア算出とスコア比較によって、発話者の特定を高精度に行うことが可能となる。すなわち、より現実的な様々な状況においても、発話者を正しく推定することが可能となる。[6.本開示の構成のまとめ]以上、特定の実施例を参照しながら、実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。1実空間の観測情報を入力する複数の情報入力部と、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定位置情報および推定識別情報を含むイベント情報を生成するイベント検出部と、前記イベント情報を入力し、入力イベント情報に基づいて、各ユーザの位置およびユーザ識別情報を含むターゲット情報と、前記イベント発生源の確率値を示すシグナル情報を生成する情報統合処理部を有し、前記情報統合処理部は、発話源確率算出部を有し、前記発話源確率算出部は、各ターゲットの発話源確率を示す指標値としての発話源スコアを、イベント検出部から入力する複数の異なる情報に対して発話状況に応じた重みを乗算して算出する処理を行う情報処理装置。2前記発話源確率算出部は、前記イベント検出部を構成する音声イベント検出部からの入力情報として、発話イベントに対応する、aユーザ位置情報音源方向情報、bユーザ識別情報話者識別情報、を入力し、さらに、前記イベント検出部を構成する画像イベント検出部からの入力情報に基づいて生成されるターゲット情報として、aユーザ位置情報顔位置情報、bユーザ識別情報顔識別情報、c口唇動作情報、これらの情報を入力し、少なくともこれらの情報のいずれかを適用して、入力情報に基づく発話源スコアを算出する処理を行う請求項1に記載の情報処理装置。3前記発話源確率算出部は、音源方向情報Dと、話者識別情報Sと、口唇動作情報Lを適用して、発話源スコアPを、以下の算出式、P=DαSβLγただし、α:音源方向情報の重み係数、β:話者識別情報の重み係数、γ:口唇動作情報の重み係数、αβγ=1上記発話源スコアPの算出式に従って発話源スコアを算出する処理を行う前記1または2に記載の情報処理装置。4前記発話源確率算出部は、前記各重み係数:α、β、γを発話状況に応じて調整する処理を行う前記3に記載の情報処理装置。5前記発話源確率算出部は、以下の2つの条件、条件11つのターゲットのみによる単独発話か、あるいは2つのターゲットによる同時発話か、条件22つのターゲットの位置が近いか、あるいは2つのターゲットの位置が遠いか、上記2つの条件に応じて、前記各重み係数:α、β、γを調整する処理を行う前記3または4に記載の情報処理装置。6前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットが同時発声する場合、口唇動作情報の重みγを小さくするように前記各重み係数:α、β、γを調整する処理を行う前記3~5いずれかに記載の情報処理装置。7前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットの位置が近く、1ターゲットのみが単独発声する場合、音源方向情報の重みαを小さくするように前記各重み係数:α、β、γを調整する処理を行う前記3~5いずれかに記載の情報処理装置。8前記発話源確率算出部は、発話可能性のあるターゲットが2である状況において、2つのターゲットの位置が近く、2つのターゲットが同時に発声する場合、口唇動作情報の重みγと音源方向情報の重みαを小さくするように前記各重み係数:α、β、γを調整する処理を行う前記3~5いずれかに記載の情報処理装置。さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"