(57)【要約】【課題】不確実で非同期な入力情報に基づく情報解析により、精度の高いユーザ識別処理を実行する構成を実現する。【解決手段】カメラやマイクの取得する画像や音声情報に基づいてユーザ識別データを含む観測値を入力し、複数のユーザ確信度を設定したターゲットデータを更新してユーザ識別を行う。各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、観測値に含まれるユーザ識別情報により更新し、更新された同時生起確率値を適用してターゲット対応のユーザ確信度を算出する。本構成により、異なるターゲットが同一ユーザであるとするような誤った推定を排除した精度の高いユーザ識別処理か実現される。【選択図】図１７
2010020374.tif 000002
【特許請求の範囲】
【請求項１】
実空間における画像情報または音声情報のいずれかを含む情報を入力する複数の情報入力部と、
前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成するイベント検出部と、
ユーザ識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行する情報統合処理部と、
を有し、
前記情報統合処理部は、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行する構成であり、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行する構成を有する情報処理装置。
【請求項２】
前記情報統合処理部は、
各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行する構成を有する請求項１に記載の情報処理装置。
【請求項３】
前記情報統合処理部は、
前記イベント情報に含まれるユーザ識別情報に基づいて更新された同時生起確率の値をマージして、各ターゲットに対応するユーザ識別子の確信度を算出する構成である請求項２に記載の情報処理装置。
【請求項４】
前記情報統合処理部は、
複数ターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）は割り振られないという制約に基づいて、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）の初期設定を行なう構成であり、
異なるターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）が設定された候補データの同時生起確率Ｐ（Ｘｕ）の確率値は、
Ｐ（Ｘｕ）＝０．０、
それ以外のターゲットデータの確率値は、
Ｐ（Ｘｕ）＝０．０＜Ｐ≦１．０
とする確率値の初期設定を行う構成である請求項２に記載の情報処理装置。
【請求項５】
前記情報統合処理部は、
ユーザ識別子（ＵｓｅｒＩＤ−ｕｎｋｎｏｗｎ）の設定される未登録ユーザについては、
異なるターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ−ｕｎｋｎｏｗｎ）が設定されても、同時生起確率Ｐ（Ｘｕ）の確率値は、
Ｐ（Ｘｕ）＝０．０＜Ｐ≦１．０
とする例外設定処理を行う構成である請求項４に記載の情報処理装置。
【請求項６】
前記情報統合処理部は、
異なるターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）が設定された候補データを削除して、それ以外の候補データのみを残存させて、残存する候補データのみを前記イベント情報に基づく更新対象とした処理を行う構成である請求項１に記載の情報処理装置。
【請求項７】
前記情報統合処理部は、
前記同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）の算出処理に際して、
時刻ｔにおいて取得するユーザ識別情報に対応するイベント情報である観測値（Ｚｕｔ）が、あるターゲット(θ)が発生源となる確率Ｐ（θｔ，ｚｕｔ）を一様と仮定し、さらに、
時刻ｔにおけるターゲットデータに含まれるユーザ識別情報｛ｘｕｔ１，ｘｕｔ２，・・・,ｘｕｔｎ｝の状態を示すターゲット情報［Ｘｕｔ］を一律ではないと仮定して設定した以下の確率算出式、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１）
ただしＲは正規化項、
上記確率算出式を用いて算出された確率値を適用する構成である請求項２に記載の情報処理装置。
【請求項８】
前記情報統合処理部は、
各ターゲットに対応するユーザ識別子の確信度を示す確率を算出する場合、前記確率値：Ｐ（Ｘｕ）のマージ処理として、
Ｐ（ｘｕｉ）＝ΣＸｕ＝ｘｕｉＰ（Ｘｕ）
ただし、ｉはユーザ識別子の確信度を示す確率を算出するターゲットの識別子（ｔＩＤ）、
上記式により、各ターゲット対応のユーザ識別子の確信度を示す確率算出を行う構成である請求項７に記載の情報処理装置。
【請求項９】
前記情報統合処理部は、
ターゲットを削除する場合において、削除ターゲットを含む候補データに対して設定されている同時生起確率の値を、ターゲット削除後に残存する候補データにマージ（Ｍａｒｇｉｎａｌｉｚｅ）する処理を実行して、さらに候補データ全体に設定された同時生起確率の値のトータルを１とする正規化処理を行う構成である請求項２に記載の情報処理装置。
【請求項１０】
前記情報統合処理部は、
ターゲットを生成して追加する場合において、生成ターゲットの追加により増加した候補データに対してユーザ数分の状態を割り当て、既存の候補データに対して設定されていた同時生起確率の値を増加した候補データに対して配分（Ｄｉｓｔｒｉｂｕｔｅ）する処理を実行して、さらに候補データ全体に設定された同時生起確率の値のトータルを１とする正規化処理を行う構成である請求項２に記載の情報処理装置。
【請求項１１】
情報処理装置において実行する情報処理方法であり、
情報入力部が、実空間における画像情報または音声情報のいずれかを含む情報を入力する情報入力ステップと、
イベント検出部が、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成するイベント検出ステップと、
情報統合処理部が、ユーザ識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行する情報統合処理ステップと、
を有し、
前記情報統合処理ステップは、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行するステップを含み、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行するステップである情報処理方法。
【請求項１２】
前記情報統合処理ステップは、
各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行するステップである請求項１１に記載の情報処理方法。
【請求項１３】
情報処理装置において情報処理を実行させるコンピュータ・プログラムであり、
情報入力部に、実空間における画像情報または音声情報のいずれかを含む情報を入力させる情報入力ステップと、
イベント検出部に、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成させるイベント検出ステップと、
情報統合処理部に、ユーザ識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行させる情報統合処理ステップと、
を有し、
前記情報統合処理ステップは、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行するステップを含み、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行するステップであるコンピュータ・プログラム。
【請求項１４】
前記情報統合処理ステップは、
各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行するステップである請求項１３に記載のコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、外界からの入力情報、例えば画像、音声などの情報を入力し、入力情報に基づく外界環境の解析、例えば、言葉を発している人物が誰であるか等の解析処理を実行する情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
人とＰＣやロボットなどの情報処理装置との相互間の処理、例えばコミュニケーションやインタラクティブ処理を行うシステムはマン−マシン  インタラクション  システムと呼ばれる。このマン−マシン  インタラクション  システムにおいて、ＰＣやロボット等の情報処理装置は、人のアクション例えば人の動作や言葉を認識するために画像情報や音声情報を入力して入力情報に基づく解析を行う。
【０００３】
人が情報を伝達する場合、言葉のみならずしぐさ、視線、表情など様々なチャネルを情報伝達チャネルとして利用する。このようなすべてのチャネルの解析をマシンにおいて行うことができれば、人とマシンとのコミュニケーションも人と人とのコミュニケーションと同レベルに到達することができる。このような複数のチャネル（モダリティ、モーダルとも呼ばれる）からの入力情報の解析を行うインタフェースは、マルチモーダルインタフェースと呼ばれ、近年、開発、研究が盛んに行われている。
【０００４】
例えばカメラによって撮影された画像情報、マイクによって取得された音声情報を入力して解析を行う場合、より詳細な解析を行うためには、様々なポイントに設置した複数のカメラおよび複数のマイクから多くの情報を入力することが有効である。
【０００５】
具体的なシステムとしては、例えば以下のようなシステムが想定される。情報処理装置（テレビ）が、カメラおよびマイクを介して、テレビの前のユーザ（父、母、姉、弟）の画像および音声を入力し、それぞれのユーザの位置やどのユーザが発した言葉であるか等を解析し、テレビが解析情報に応じた処理、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対する的確な応答を行うなどのシステムが実現可能となる。
【０００６】
従来の一般的なマン−マシン  インタラクション  システムの多くは、複数チャネル（モーダル）からの情報を決定論的に統合して、複数のユーザが、それぞれどこにいて、それらは誰で、誰がシグナルを発したのかを決定するという処理を行っていた。このようなシステムを開示した従来技術として、例えば特許文献１（特開２００５−２７１１３７号公報）、特許文献２（特開２００２−２６４０５１号公報）がある。
【０００７】
しかし、従来のシステムにおいて行われるマイクやカメラから入力される不確実かつ非同期なデータを利用した決定論的な統合処理方法ではロバスト性にかけ、精度の低いデータしか得られないという問題がある。実際のシステムにおいて、実環境で取得可能なセンサ情報、すなわちカメラからの入力画像やマイクから入力される音声情報には様々な余分な情報、例えばノイズや不要な情報が含まれる不確実なデータであり、画像解析や音声解析処理を行う場合には、このようなセンサ情報から有効な情報を効率的に統合する処理が重要となる。
【特許文献１】特開２００５−２７１１３７号公報
【特許文献２】特開２００２−２６４０５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、複数のチャネル（モダリティ、モーダル）からの入力情報の解析、具体的には、例えば周囲にいる人物の識別な処理を行うシステムにおいて、画像、音声情報などの様々な入力情報に含まれる不確実な情報に対する確率的な処理を行ってより精度の高いと推定される情報に統合する処理を行うことによりロバスト性を向上させ、精度の高い解析を行う情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００９】
さらに、本発明は、複数のモーダルからなる不確実で非同期な位置情報、識別情報を確率的に統合して、複数のターゲットが、それぞれどこにいて、それらは誰かを推定する際、ターゲット間の独立性を排除して全ターゲットに関するユーザＩＤ(ＵｓｅｒＩＤ)の同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を算出することにより、ユーザ同定の推定性能を向上させ、精度の高い解析を行う情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、
実空間における画像情報または音声情報のいずれかを含む情報を入力する複数の情報入力部と、
前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成するイベント検出部と、
ユーザ識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行する情報統合処理部と、
を有し、
前記情報統合処理部は、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行する構成であり、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行する構成を有する情報処理装置にある。
【００１１】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行する構成を有する。
【００１２】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、前記イベント情報に含まれるユーザ識別情報に基づいて更新された同時生起確率の値をマージして、各ターゲットに対応するユーザ識別子の確信度を算出する構成である。
【００１３】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、複数ターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）は割り振られないという制約に基づいて、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）の初期設定を行なう構成であり、異なるターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）が設定された候補データの同時生起確率Ｐ（Ｘｕ）の確率値は、
Ｐ（Ｘｕ）＝０．０、
それ以外のターゲットデータの確率値は、
Ｐ（Ｘｕ）＝０．０＜Ｐ≦１．０
とする確率値の初期設定を行う構成である。
【００１４】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、ユーザ識別子（ＵｓｅｒＩＤ−ｕｎｋｎｏｗｎ）の設定される未登録ユーザについては、異なるターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ−ｕｎｋｎｏｗｎ）が設定されても、同時生起確率Ｐ（Ｘｕ）の確率値は、
Ｐ（Ｘｕ）＝０．０＜Ｐ≦１．０
とする例外設定処理を行う構成である。
【００１５】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、異なるターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）が設定された候補データを削除して、それ以外の候補データのみを残存させて、残存する候補データのみを前記イベント情報に基づく更新対象とした処理を行う構成である。
【００１６】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、前記同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）の算出処理に際して、時刻ｔにおいて取得するユーザ識別情報に対応するイベント情報である観測値（Ｚｕｔ）が、あるターゲット(θ)が発生源となる確率Ｐ（θｔ，ｚｕｔ）を一様と仮定し、さらに、時刻ｔにおけるターゲットデータに含まれるユーザ識別情報｛ｘｕｔ１，ｘｕｔ２，・・・,ｘｕｔｎ｝の状態を示すターゲット情報［Ｘｕｔ］を一律ではないと仮定して設定した以下の確率算出式、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１）
ただしＲは正規化項、
上記確率算出式を用いて算出された確率値を適用する構成である。
【００１７】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、各ターゲットに対応するユーザ識別子の確信度を示す確率を算出する場合、前記確率値：Ｐ（Ｘｕ）のマージ処理として、
Ｐ（ｘｕｉ）＝ΣＸｕ＝ｘｕｉＰ（Ｘｕ）
ただし、ｉはユーザ識別子の確信度を示す確率を算出するターゲットの識別子（ｔＩＤ）、
上記式により、各ターゲット対応のユーザ識別子の確信度を示す確率算出を行う構成である。
【００１８】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、ターゲットを削除する場合において、削除ターゲットを含む候補データに対して設定されている同時生起確率の値を、ターゲット削除後に残存する候補データにマージ（Ｍａｒｇｉｎａｌｉｚｅ）する処理を実行して、さらに候補データ全体に設定された同時生起確率の値のトータルを１とする正規化処理を行う構成である。
【００１９】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、ターゲットを生成して追加する場合において、生成ターゲットの追加により増加した候補データに対してユーザ数分の状態を割り当て、既存の候補データに対して設定されていた同時生起確率の値を増加した候補データに対して配分（Ｄｉｓｔｒｉｂｕｔｅ）する処理を実行して、さらに候補データ全体に設定された同時生起確率の値のトータルを１とする正規化処理を行う構成である。
【００２０】
さらに、本発明の第２の側面は、
情報処理装置において実行する情報処理方法であり、
情報入力部が、実空間における画像情報または音声情報のいずれかを含む情報を入力する情報入力ステップと、
イベント検出部が、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成するイベント検出ステップと、
情報統合処理部が、ユーザ識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行する情報統合処理ステップと、
を有し、
前記情報統合処理ステップは、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行するステップを含み、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行するステップである情報処理方法にある。
【００２１】
さらに、本発明の情報処理方法の一実施態様において、前記情報統合処理ステップは、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行するステップである。
【００２２】
さらに、本発明の第３の側面は、
情報処理装置において情報処理を実行させるコンピュータ・プログラムであり、
情報入力部に、実空間における画像情報または音声情報のいずれかを含む情報を入力させる情報入力ステップと、
イベント検出部に、前記情報入力部から入力する情報の解析により、前記実空間に存在するユーザの推定識別情報を含むイベント情報を生成させるイベント検出ステップと、
情報統合処理部に、ユーザ識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの識別処理を実行させる情報統合処理ステップと、
を有し、
前記情報統合処理ステップは、
前記イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、前記イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行するステップを含み、
同一ユーザが同時に存在しないという制約条件を適用して前記ターゲットデータの更新処理を実行して前記ユーザ確信度の算出処理を実行するステップであるコンピュータ・プログラムにある。
【００２３】
さらに、本発明のコンピュータ・プログラムの一実施態様において、前記情報統合処理ステップは、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、前記イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行するステップである。
【００２４】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２６】
本発明の一実施例の構成によれば、カメラやマイクによって取得される画像情報や音声情報に基づいてユーザの識別データを含むイベント情報を入力して、複数のユーザ確信度を設定したターゲットデータの更新を実行してユーザ識別情報を生成する構成において、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する構成としたので、異なるターゲットが同一ユーザとして推定されるといった誤った推定を行うことのない精度の高いユーザ識別処理を効率的に実行することが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照しながら本発明の実施形態に係る情報処理装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。なお、本発明は、本出願と同一の出願人にかかる先の出願である特願２００７−１９３９３０の構成をベースとしており、特願２００７−１９３９３０において開示した構成に対して、ターゲット間の独立性を排除して、ユーザ同定の推定性能を向上させた発明である。
【００２８】
以下では、本発明について、以下の（１），（２）の項目順に説明する。
（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理
（２）ターゲット間の独立性排除によるユーザ同定の推定性能を向上させた処理例
項目（１）は、特願２００７−１９３９３０において開示した構成とほぼ同様である。項目（２）は、本発明のポイントとなる改良点である。
【００２９】
（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理
まず、図１を参照して本発明に係る情報処理装置の実行する処理の概要について説明する。本発明の情報処理装置１００は、環境情報を入力するセンサ、ここでは一例としてカメラ２１と、複数のマイク３１〜３４から画像情報、音声情報を入力し、これらの入力情報に基づいて環境の解析を行う。具体的には、複数のユーザ１，１１〜４，１４の位置の解析、およびその位置にいるユーザの識別を行う。
【００３０】
図に示す例において、例えばユーザ１，１１〜ユーザ４，１４が家族である父、母、姉、弟であるとき、情報処理装置１００は、カメラ２１と、複数のマイク３１〜３４から入力する画像情報、音声情報の解析を行い、４人のユーザ１〜４の存在する位置、各位置にいるユーザが父、母、姉、弟のいずれであるかを識別する。識別処理結果は様々な処理に利用される。例えば、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対してテレビから応答を行うなどの処理に利用される。
【００３１】
なお、本発明に係る情報処理装置１００の主要な処理は、複数の情報入力部（カメラ２１，マイク３１〜３４）からの入力情報に基づいて、ユーザの位置識別およびユーザの特定処理としてのユーザ識別処理を行うことである。この識別結果の利用処理については特に限定するものではない。カメラ２１と、複数のマイク３１〜３４から入力する画像情報、音声情報には様々な不確実な情報が含まれる。本発明の情報処理装置１００では、これらの入力情報に含まれる不確実な情報に対する確率的な処理を行って、精度の高いと推定される情報に統合する処理を行う。この推定処理によりロバスト性を向上させ、精度の高い解析を行う。
【００３２】
図２に情報処理装置１００の構成例を示す。情報処理装置１００は、入力デバイスとして画像入力部（カメラ）１１１、複数の音声入力部（マイク）１２１ａ〜ｄを有する。画像入力部（カメラ）１１１から画像情報を入力し、音声入力部（マイク）１２１から音声情報を入力し、これらの入力情報に基づいて解析を行う。複数の音声入力部（マイク）１２１ａ〜ｄの各々は、図１に示すように様々な位置に配置されている。
【００３３】
複数のマイク１２１ａ〜ｄから入力された音声情報は、音声イベント検出部１２２を介して音声・画像統合処理部１３１に入力される。音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し統合する。具体的には、音声入力部（マイク）１２１ａ〜ｄから入力する音声情報に基づいて、発生した音の位置およびどのユーザの発生させた音であるかのユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００３４】
なお、情報処理装置１００の実行する具体的な処理は、例えば図１に示すように複数のユーザが存在する環境で、ユーザ１〜４がどの位置にいて、会話を行ったユーザがどのユーザであるかを識別すること、すなわち、ユーザ位置およびユーザ識別を行うことであり、さらに声を発した人物などのイベント発生源を特定する処理である。
【００３５】
音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データとして生成する。具体的には、音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成する。この識別情報も確率的な推定値として生成する。音声イベント検出部１２２には、予め検証すべき複数のユーザの声についての特徴情報が登録されており、入力音声と登録音声との比較処理を実行して、どのユーザの声である確率が高いかを判定する処理を行い、全登録ユーザに対する事後確率、あるいはスコアを算出する。
【００３６】
このように、音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データと、確率的な推定値からなるユーザ識別情報とによって構成される［統合音声イベント情報］を生成して音声・画像統合処理部１３１に入力する。
【００３７】
一方、画像入力部（カメラ）１１１から入力された画像情報は、画像イベント検出部１１２を介して音声・画像統合処理部１３１に入力される。画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの顔の特徴情報との比較処理に基づいてユーザ識別情報を生成する。この識別情報も確率的な推定値として生成する。画像イベント検出部１１２には、予め検証すべき複数のユーザの顔についての特徴情報が登録されており、入力画像から抽出した顔領域の画像の特徴情報と登録された顔画像の特徴情報との比較処理を実行して、どのユーザの顔である確率が高いかを判定する処理を行い、全登録ユーザに対する事後確率、あるいはスコアを算出する。
【００３８】
なお、音声イベント検出部１２２や画像イベント検出部１１２において実行する音声識別や、顔検出、顔識別処理は従来から知られる技術を適用する。例えば顔検出、顔識別処理としては以下の文献に開示された技術の適用が可能である。
佐部  浩太郎，日台  健一，"ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習"，第１０回画像センシングシンポジウム講演論文集，ｐｐ．５４７−５５２，２００４
特開２００４−３０２６４４（Ｐ２００４−３０２６４４Ａ）［発明の名称：顔識別装置、顔識別方法、記録媒体、及びロボット装置］
【００３９】
音声・画像統合処理部１３１は、音声イベント検出部１２２や画像イベント検出部１１２からの入力情報に基づいて、複数のユーザが、それぞれどこにいて、それらは誰で、誰が音声等のシグナルを発したのかを確率的に推定する処理を実行する。この処理については後段で詳細に説明する。音声・画像統合処理部１３１は、音声・画像統合処理部１３１は、音声イベント検出部１２２や画像イベント検出部１１２からの入力情報に基づいて、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］
（ｂ）例えば話しをしたユーザなどのイベント発生源を［シグナル情報］として、処理決定部１３２に出力する。
【００４０】
これらの識別処理結果を受領した処理決定部１３２は、識別処理結果を利用した処理を実行する、例えば、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対してテレビから応答を行うなどの処理を行う。
【００４１】
上述したように、音声イベント検出部１２２は、音声の発生源の位置情報を確率分布データ、具体的には、音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。また、画像イベント検出部１１２は、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの顔の特徴情報との比較処理に基づいてユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００４２】
図３を参照して、音声イベント検出部１２２および画像イベント検出部１１２が生成し音声・画像統合処理部１３１に入力する情報の例について説明する。図３（Ａ）は図１を参照して説明したと同様のカメラやマイクが備えられた実環境の例を示し、複数のユーザ１〜ｋ，２０１〜２０ｋが存在する。この環境で、あるユーザが話しをしたとすると、マイクで音声が入力される。また、カメラは連続的に画像を撮影している。
【００４３】
音声イベント検出部１２２および画像イベント検出部１１２が生成し音声・画像統合処理部１３１に入力する情報は、基本的に同様の情報であり、図３（Ｂ）に示す２つの情報によって構成される。すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらの２つの情報である。これらの２つの情報は、イベントの発生毎に生成される。音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから音声情報が入力された場合に、その音声情報に基づいて上記の（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。画像イベント検出部１１２は、例えば予め定めた一定のフレーム間隔で、画像入力部（カメラ）１１１から入力された画像情報に基づいて（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。なお、本例では、画像入力部（カメラ）１１１は１台のカメラを設定した例を示しており、１つのカメラに複数のユーザの画像が撮影される設定であり、この場合、１つの画像に含まれる複数の顔の各々について（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００４４】
音声イベント検出部１２２が音声入力部（マイク）１２１ａ〜ｄから入力する音声情報に基づいて、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（話者識別情報）
これらの情報を生成する処理について説明する。
【００４５】
音声イベント検出部１２２による（ａ）ユーザ位置情報の生成処理
音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから入力された音声情報に基づいて解析された声を発したユーザ、すなわち［話者］の位置の推定情報を生成する。すなわち、話者が存在すると推定される位置を、期待値（平均）［ｍｅ］と分散情報［σｅ］からなるガウス分布（正規分布）データＮ（ｍｅ，σｅ）として生成する。
【００４６】
音声イベント検出部１２２による（ｂ）ユーザ識別情報（話者識別情報）の生成処理
音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから入力された音声情報に基づいて話者が誰であるかを、入力音声と予め登録されたユーザ１〜ｋの声の特徴情報との比較処理により推定する。具体的には話者が各ユーザ１〜ｋである確率を算出する。この算出値を（ｂ）ユーザ識別情報（話者識別情報）とする。例えば入力音声の特徴と最も近い登録された音声特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア（例えば０）を配分する処理によって各ユーザである確率を設定したデータを生成して、これを（ｂ）ユーザ識別情報（話者識別情報）とする。
【００４７】
画像イベント検出部１１２が画像入力部（カメラ）１１１から入力する画像情報に基づいて、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
これらの情報を生成する処理について説明する。
【００４８】
画像イベント検出部１１２による（ａ）ユーザ位置情報の生成処理
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像情報に含まれる顔の各々について顔の位置の推定情報を生成する。すなわち、画像から検出された顔が存在すると推定される位置を、期待値（平均）［ｍｅ］と分散情報［σｅ］からなるガウス分布（正規分布）データＮ（ｍｅ，σｅ）として生成する。
【００４９】
画像イベント検出部１１２による（ｂ）ユーザ識別情報（顔識別情報）の生成処理
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像情報に基づいて、画像情報に含まれる顔を検出し、各顔が誰であるかを、入力画像情報と予め登録されたユーザ１〜ｋの顔の特徴情報との比較処理により推定する。具体的には抽出された各顔が各ユーザ１〜ｋである確率を算出する。この算出値を（ｂ）ユーザ識別情報（顔識別情報）とする。例えば入力画像に含まれる顔の特徴と最も近い登録された顔の特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア（例えば０）を配分する処理によって各ユーザである確率を設定したデータを生成して、これを（ｂ）ユーザ識別情報（顔識別情報）とする。
【００５０】
なお、カメラの撮影画像から複数の顔が検出された場合には、各検出顔に応じて、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
これらの情報を生成して、音声・画像統合処理部１３１に入力する。
また、本例では、画像入力部１１１として１台のカメラを利用した例を説明するが、複数のカメラの撮影画像を利用してもよく、その場合は、画像イベント検出部１１２は、各カメラの撮影画像の各々に含まれる各顔について、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
これらの情報を生成して、音声・画像統合処理部１３１に入力する。
【００５１】
次に、音声・画像統合処理部１３１の実行する処理について説明する。音声・画像統合処理部１３１は、上述したように、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す２つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらの情報を逐次入力する。なお、これらの各情報の入力タイミングは様々な設定が可能であるが、例えば、音声イベント検出部１２２は新たな音声が入力された場合に上記（ａ），（ｂ）の各情報を音声イベント情報として生成して入力し、画像イベント検出部１１２は、一定のフレーム周期単位で、上記（ａ），（ｂ）の各情報を画像イベント情報として生成して入力するといった設定が可能である。
【００５２】
音声・画像統合処理部１３１の実行する処理について、図４以下を参照して説明する。音声・画像統合処理部１３１は、ユーザの位置および識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、その仮説を入力情報に基づいて更新することで、より確からしい仮説のみを残す処理を行う。この処理手法として、パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ）を適用した処理を実行する。
【００５３】
パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ）を適用した処理は、様々な仮説、本例では、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定し、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す２つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらの入力情報に基づいて、より確からしいパーティクルのウェイトを高めていくという処理を行う。
【００５４】
パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ）を適用した基本的な処理例について図４を参照して説明する。例えば、図４に示す例は、あるユーザに対応する存在位置をパーティクル・フィルタにより推定する処理例を示している。図４に示す例は、ある直線上の１次元領域におけるユーザ３０１の存在する位置を推定する処理である。
【００５５】
初期的な仮説（Ｈ）は、図４（ａ）に示すように均一なパーティクル分布データとなる。次に、画像データ３０２が取得され、取得画像に基づくユーザ３０１の存在確率分布データが図４（ｂ）のデータとして取得される。この取得画像に基づく確率分布データに基づいて、図４（ａ）のパーティクル分布データが更新され、図４（ｃ）の更新された仮説確率分布データが得られる。このような処理を、入力情報に基づいて繰り返し実行して、ユーザのより確からしい位置情報を得る。
【００５６】
なお、パーティクル・フィルタを用いた処理の詳細については、例えば［Ｄ．  Ｓｃｈｕｌｚ，  Ｄ．  Ｆｏｘ，  ａｎｄ  Ｊ．  Ｈｉｇｈｔｏｗｅｒ．  Ｐｅｏｐｌｅ  Ｔｒａｃｋｉｎｇ  ｗｉｔｈ  Ａｎｏｎｙｍｏｕｓ  ａｎｄ  ＩＤ−ｓｅｎｓｏｒｓ  Ｕｓｉｎｇ  Ｒａｏ−Ｂｌａｃｋｗｅｌｌｉｓｅｄ  Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒｓ．Ｐｒｏｃ．  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｉｎｔ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  （ＩＪＣＡＩ−０３）］に記載されている。
【００５７】
図４に示す処理例は、ユーザの存在位置のみについて、入力情報を画像データのみとした処理例として説明しており、パーティクルの各々は、ユーザ３０１の存在位置のみの情報を有している。
【００５８】
一方、本発明に従った処理は、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す２つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらの入力情報に基づいて、複数のユーザの位置と複数のユーザがそれぞれ誰であるかを判別する処理を行うことになる。従って、本発明におけるパーティクル・フィルタ（Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ）を適用した処理では、音声・画像統合処理部１３１が、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定して、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す２つの情報に基づいて、パーティクル更新を行うことになる。
【００５９】
図５を参照して、本処理例で設定するパーティクルの構成について説明する。音声・画像統合処理部１３１は、予め設定した数＝ｍのパーティクルを有する。図５に示すパーティクル１〜ｍである。各パーティクルには識別子としてのパーティクルＩＤ（ＰＩＤ＝１〜ｍ）が設定されている。
【００６０】
各パーティクルに、位置および識別を行うオブジェクトに対応する仮想的なオブジェクトに対応する複数のターゲットを設定する。本例では、例えば実空間に存在すると推定される人数以上の仮想のユーザに対応する複数のターゲットを各パーティクルに設定する。ｍ個のパーティクルの各々はターゲット単位でデータをターゲット数分保持する。図５に示す例では、１つのパーティクルにｎ個のターゲットが含まれる。各パーティクルに含まれるターゲット各々が有するターゲットデータの構成を図６に示す。
【００６１】
各パーティクルに含まれる各ターゲットデータについて図６を参照して説明する。図６は、図５に示すパーティクル１（ｐＩＤ＝１）に含まれる１つのターゲット（ターゲットＩＤ：ｔＩＤ＝ｎ）３１１のターゲットデータの構成である。ターゲット３１１のターゲットデータは、図６に示すように、以下のデータ、すなわち、
（ａ）各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍ１ｎ，σ１ｎ）］、
（ｂ）各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）
ｕＩＤ１ｎ１＝０．０
ｕＩＤ１ｎ２＝０．１
：
ｕＩＤ１ｎｋ＝０．５
これらのデータによって構成される。
【００６２】
なお、（ａ）に示すガウス分布：Ｎ（ｍ１ｎ，σ１ｎ）における［ｍ１ｎ，σ１ｎ］の（１ｎ）は、パーティクルＩＤ：ｐＩＤ＝１におけるターゲットＩＤ：ｔＩＤ＝ｎに対応する存在確率分布としてのガウス分布であることを意味する。
また、（ｂ）に示すユーザ確信度情報（ｕＩＤ）における、［ｕＩＤ１ｎ１］に含まれる（１ｎ１）は、パーティクルＩＤ：ｐＩＤ＝１におけるターゲットＩＤ：ｔＩＤ＝ｎの、ユーザ＝ユーザ１である確率を意味する。すなわちターゲットＩＤ＝ｎのデータは、
ユーザ１である確率が０．０、
ユーザ２である確率が０．１、
：
ユーザｋである確率が０．５、
であることを意味している。
【００６３】
図５に戻り、音声・画像統合処理部１３１の設定するパーティクルについての説明を続ける。図５に示すように、音声・画像統合処理部１３１は、予め決定した数＝ｍのパーティクル（ＰＩＤ＝１〜ｍ）を設定し、各パーティクルは、実空間に存在すると推定されるターゲット（ｔＩＤ＝１〜ｎ）各々について、
（ａ）各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍ，σ）］、
（ｂ）各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）
これらのターゲットデータを有する。
【００６４】
音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらのイベント情報を入力してｍ個のパーティクル（ＰＩＤ＝１〜ｍ）の更新処理を行う。
【００６５】
音声・画像統合処理部１３１、これらの更新処理を実行して、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらを生成して処理決定部１３２に出力する。
【００６６】
［ターゲット情報］は、図５の右端のターゲット情報３０５に示すように、各パーティクル（ＰＩＤ＝１〜ｍ）に含まれる各ターゲット（ｔＩＤ＝１〜ｎ）対応データの重み付き総和データとして生成される。各パーティクルの重みについては後述する。
【００６７】
ターゲット情報３０５は、音声・画像統合処理部１３１が予め設定した仮想的なユーザに対応するターゲット（ｔＩＤ＝１〜ｎ）の
（ａ）存在位置
（ｂ）誰であるか（ｕＩＤ１〜ｕＩＤｋのいずれであるか）
これらを示す情報である。このターゲット情報は、パーティクルの更新に伴い、順次更新されることになり、例えばユーザ１〜ｋが実環境内で移動しない場合、ユーザ１〜ｋの各々が、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）から選択されたｋ個にそれぞれ対応するデータとして収束することになる。
【００６８】
例えば、図５に示すターゲット情報３０５中の最上段のターゲット１（ｔＩＤ＝１）のデータ中に含まれるユーザ確信度情報（ｕＩＤ）は、ユーザ２（ｕＩＤ１２＝０．７）について最も高い確率を有している。従って、このターゲット１（ｔＩＤ＝１）のデータは、ユーザ２に対応するものであると推定されることになる。なお、ユーザ確信度情報（ｕＩＤ）を示すデータ［ｕＩＤ１２＝０．７］中の（ｕＩＤ１２）内の（１２）は、ターゲットＩＤ＝１のユーザ＝２のユーザ確信度情報（ｕＩＤ）に対応する確率であることを示している。
【００６９】
このターゲット情報３０５中の最上段のターゲット１（ｔＩＤ＝１）のデータは、ユーザ２である確率が最も高く、このユーザ２は、その存在位置が、ターゲット情報３０５中の最上段のターゲット１（ｔＩＤ＝１）のデータに含まれる存在確率分布データに示す範囲にいると推定されることなる。
【００７０】
このように、ターゲット情報３０５は、初期的に仮想的なオブジェクト（仮想ユーザ）として設定した各ターゲット（ｔＩＤ＝１〜ｎ）の各々について、
（ａ）存在位置
（ｂ）誰であるか（ｕＩＤ１〜ｕＩＤｋのいずれであるか）
の各情報を示す。従って、各ターゲット（ｔＩＤ＝１〜ｎ）のｋ個のターゲット情報の各々は、ユーザが移動しない場合は、ユーザ１〜ｋに対応するように収束する。
【００７１】
ターゲット（ｔＩＤ＝１〜ｎ）の数がユーザ数ｋより大きい場合、どのユーザにも対応しないターゲットが発生する。例えば、ターゲット情報３０５中の最下段のターゲット（ｔＩＤ＝ｎ）は、ユーザ確信度情報（ｕＩＤ）も最大で０．５であり、存在確率分布データも大きなピークを有していない。このようなデータは特定のユーザに対応するデータではないと判定される。なお、このようなターゲットについては、削除するような処理が行われる場合もある。ターゲットの削除処理については後述する。
【００７２】
先に説明したように、音声・画像統合処理部１３１は、入力情報に基づくパーティクルの更新処理を実行して、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらを生成して処理決定部１３２に出力する。
【００７３】
ターゲット情報は、図５のターゲット情報３０５を参照して説明した情報である。音声・画像統合処理部１３１は、このターゲット情報の他に話をしたユーザなどのイベント発生源を示す［シグナル情報］についても生成して出力する。イベント発生源を示す［シグナル情報］は、音声イベントについては、誰が話をしたか、すなわち［話者］を示すデータであり、画像イベントについては、画像に含まれる顔が誰であるかを示すデータである。なお、画像イベントの場合のシグナル情報は、本例では結果としてターゲット情報のユーザ確信度情報（ｕＩＤ）から得られるものと一致することになる。
【００７４】
音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、ユーザ位置情報と、ユーザ識別情報（顔識別情報または話者識別情報）、これらのイベント情報を入力して、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらの情報を生成して処理決定部１３２に出力する処理について、図７以下を参照して説明する。
【００７５】
図７は、音声・画像統合処理部１３１の実行する処理シーケンスを説明するフローチャートを示す図である。まず、ステップＳ１０１において、音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、ユーザ位置情報と、ユーザ識別情報（顔識別情報または話者識別情報）、これらのイベント情報を入力する。
【００７６】
イベント情報の取得に成功した場合は、ステップＳ１０２に進み、イベント情報の取得に失敗した場合は、ステップＳ１２１に進む。ステップＳ１２１の処理については後段で説明する。
【００７７】
イベント情報の取得に成功した場合は、音声・画像統合処理部１３１は、ステップＳ１０２以下において、入力情報に基づくパーティクル更新処理を行うことになるが、パーティクル更新処理の前にステップＳ１０２において、図５に示すｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の各々にイベントの発生源の仮説を設定する。イベント発生源とは、例えば、音声イベントであれば、話をしたユーザがイベント発生源であり、画像イベントであれば、抽出した顔を持つユーザがイベント発生源である。
【００７８】
図５に示す例では、各パーティクルの最下段にイベント発生源の仮説データ（ｔＩＤ＝ｘｘ）を示している。図５の例では、
パーティクル１（ｐＩＤ＝１）は、ｔＩＤ＝２、
パーティクル２（ｐＩＤ＝２）は、ｔＩＤ＝ｎ、
：
パーティクルｍ（ｐＩＤ＝ｍ）は、ｔＩＤ＝ｎ、
このように各パーティクルについて、イベント発生源がターゲット１〜ｎのいずれであるかの仮説を設定する。図５に示す例では、各パーティクルについて、仮説として設定したイベント発生源のターゲットデータを二重線で囲んで示している。
【００７９】
このイベント発生源の仮説設定は、入力イベントに基づくパーティクル更新処理を行う前に毎回実行する。すなわち、各パーティクル１〜ｍ各々にイベントの発生源仮説を設定して、その仮説の下で、イベントとして音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらのイベント情報を入力してｍ個のパーティクル（ＰＩＤ＝１〜ｍ）の更新処理を行う。
【００８０】
パーティクル更新処理が行われた場合は、各パーティクル１〜ｍ各々に設定されていたイベントの発生源の仮説はリセットされて、各パーティクル１〜ｍ各々に新たな仮説の設定が行われる。この仮説の設定態様としては、
（１）ランダムな設定、
（２）音声・画像統合処理部１３１の有する内部モデルに従って設定、
上記（１），（２）のいずれかの手法で設定することが可能である。なお、パーティクルの数：ｍは、ターゲットの数：ｎより大きく設定されているので、複数のパーティクルが同一のターゲットをイベント発生源とした仮設に設定される。例えば、ターゲットの数：ｎが１０とした場合、パーティクル数：ｍ＝１００〜１０００程度に設定した処理などが行われる。
【００８１】
上記の（２）音声・画像統合処理部１３１の有する内部モデルに従って仮説を設定する処理の具体的処理例について説明する。
音声・画像統合処理部１３１は、まず、音声イベント検出部１２２および画像イベント検出部１１２から取得したイベント情報、すなわち、図３（Ｂ）に示す２つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらのイベント情報と、
音声・画像統合処理部１３１の保持するパーティクルのターゲットの持つデータとの比較によって、各ターゲットの重み［ＷｔＩＤ］を算出し、算出した各ターゲットの重み［ＷｔＩＤ］に基づいて、各パーティクル（ｐＩＤ＝１〜ｍ）に対するイベント発生源の仮説を設定する。以下、具体的な処理例について説明する。
【００８２】
なお、初期状態では、各パーティクル（ｐＩＤ＝１〜ｍ）に設定されるイベント発生源の仮説は均等な設定とする。すなわちｎ個のターゲット（ｔＩＤ＝１〜ｎ）を持つｍ個のパーティクル（ｐＩＤ＝１〜ｍ）が設定されている構成では、
ターゲット１（ｔＩＤ＝１）をイベント発生源とするパーティクルをｍ／ｎ個、
ターゲット２（ｔＩＤ＝２）をイベント発生源とするパーティクルをｍ／ｎ個、
：
ターゲットｎ（ｔＩＤ＝ｎ）をイベント発生源とするパーティクルをｍ／ｎ個、
というように、各パーティクル（ｐＩＤ＝１〜ｍ）に設定する初期的なイベント発生源の仮説ターゲット（ｔＩＤ＝１〜ｎ）を均等に割り振る設定とする。
【００８３】
図７に示すフローのステップＳ１０１において、音声・画像統合処理部１３１が音声イベント検出部１２２および画像イベント検出部１１２からイベント情報、すなわち、図３（Ｂ）に示す２つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらのイベント情報を取得して、イベント情報の取得に成功すると、ステップＳ１０２において、音声・画像統合処理部１３１は、ｍ個のパーティクル（ＰＩＤ＝１〜ｍ）の各々に対して、イベント発生源の仮説ターゲット（ｔＩＤ＝１〜ｎ）を設定する。
【００８４】
ステップＳ１０２におけるパーティクル対応の仮説ターゲットの設定の詳細について説明する。音声・画像統合処理部１３１は、まず、ステップＳ１０１で入力したイベント情報と、音声・画像統合処理部１３１の保持するパーティクルのターゲットの持つデータとの比較を行い、比較結果を用いて、各ターゲットのターゲット重み［ＷｔＩＤ］を算出する。
【００８５】
ターゲット重み［ＷｔＩＤ］の算出処理の詳細について図８を参照して説明する。ターゲット重みの算出は、図８の右端に示すように、各パーティクルに設定されるターゲット１〜ｎの各々に対応するｎ個のターゲット重みの算出処理として実行される。このｎ個のターゲット重みの算出に際しては、まず、図８（１）に示す入力イベント情報、すなわち、音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から入力したイベント情報と、各パーティクルの各ターゲットデータとの類似度の指標値としての尤度算出を行う。
【００８６】
図８（２）に示す尤度算出処理例は、（１）入力イベント情報と、パーティクル１の１つのターゲットデータ（ｔＩＤ＝ｎ）との比較によるイベント−ターゲット間尤度の算出例を説明する図である。なお、図８には、１つのターゲットデータとの比較例を示しているが、各パーティクルの各ターゲットデータについて、同様の尤度算出処理を実行する。
【００８７】
図８の下段に示す（２）尤度算出処理について説明する。図８（２）に示すように、尤度算出処理は、まず、
（ａ）ユーザ位置情報についてのイベントと、ターゲットデータとの類似度データとしてのガウス分布間尤度［ＤＬ］、
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）についてのイベントと、ターゲットデータとの類似度データとしてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］
これらを個別に算出する。
【００８８】
まず、（ａ）ユーザ位置情報についてのイベントと、ターゲットデータとの類似度データとしてのガウス分布間尤度［ＤＬ］の算出処理について説明する。
図８（１）に示す入力イベント情報中の、ユーザ位置情報に対応するガウス分布をＮ（ｍｅ，σｅ）とし、
音声・画像統合処理部１３１の保持する内部モデルのあるパーティクルが持つあるターゲットのユーザ位置情報に対応するガウス分布をＮ（ｍｔ，σｔ）とする。図８に示す例では、パーティクル１（ｐＩＤ＝１）のターゲットｎ（ｔＩＤ＝ｎ）のターゲットデータに含まれるガウス分布をＮ（ｍｔ，σｔ）とする。
【００８９】
これら２つのデータのガウス分布の類似度を判定する指標としてのガウス分布間尤度［ＤＬ］は、以下の式によって算出する。
ＤＬ＝Ｎ（ｍｔ，σｔ＋σｅ）ｘ｜ｍｅ
上記式は、中心ｍｔで分散σｔ＋σｅのガウス分布においてｘ＝ｍｅの位置の値を算出する式である。
【００９０】
次に、（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）についてのイベントと、ターゲットデータとの類似度データとしてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］の算出処理について説明する。
図８（１）に示す入力イベント情報中の、ユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｅ［ｉ］とする。なお、ｉはユーザ識別子１〜ｋに対応する変数である。
音声・画像統合処理部１３１の保持する内部モデルのあるパーティクルが持つあるターゲットのユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｔ［ｉ］とする。図８に示す例では、パーティクル１（ｐＩＤ＝１）のターゲットｎ（ｔＩＤ＝ｎ）のターゲットデータに含まれるユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｔ［ｉ］とする。
【００９１】
これら２つのデータのユーザ確信度情報（ｕＩＤ）の類似度を判定する指標としてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］は、以下の式によって算出する。
ＵＬ＝ΣＰｅ［ｉ］×Ｐｔ［ｉ］
上記式は、２つのデータのユーザ確信度情報（ｕＩＤ）に含まれる各対応ユーザの確信度の値（スコア）の積の総和を求める式であり、この値をユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］とする。
【００９２】
もしくは、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］として、各積の最大値、すなわち、
ＵＬ＝ａｒｇ  ｍａｘ（Ｐｅ［ｉ］×Ｐｔ［ｉ］）
上記の値を算出し、この値をユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］として利用する構成としてもよい。
【００９３】
入力イベント情報とあるパーティクル（ｐＩＤ）が持つ１つのターゲット（ｔＩＤ）との類似度の指標としてのイベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］は、上記の２つの尤度、すなわち、
ガウス分布間尤度［ＤＬ］と、
ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］
これら２つの尤度を利用して算出する。すなわち重みα（α＝０〜１）を用いて、イベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］は下式によって算出する。
［ＬｐＩＤ，ｔＩＤ］＝ＵＬα×ＤＬ１−α
としてイベントとターゲットとの類似度の指標であるイベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］を算出する。
ただし、α＝０〜１とする。
【００９４】
このイベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］は、各パーティクルの各ターゲットについて各々算出し、このイベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］に基づいて各ターゲットのターゲット重み［ＷｔＩＤ］を算出する。
【００９５】
なお、イベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］の算出に適用する重み［α］は、予め固定された値としてもよいし、入力イベントに応じて値を変更する設定としてもよい。例えば入力イベントが画像である場合において、顔検出に成功し位置情報は取得できたが顔識別に失敗した場合などは、α＝０の設定として、ユーザ確信度情報（ｕＩＤ）間尤度：ＵＬ＝１としてガウス分布間尤度［ＤＬ］のみに依存してイベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］を算出して、ガウス分布間尤度［ＤＬ］のみに依存したターゲット重み［ＷｔＩＤ］を算出する構成としてもよい。
【００９６】
また、入力イベントが音声である場合において、話者識別に成功し話者情報破取得できたが、位置情報の取得に失敗した場合などは、α＝０の設定として、ガウス分布間尤度［ＤＬ］＝１として、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］のみに依存してイベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］を算出して、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］のみに依存したターゲット重み［ＷｔＩＤ］を算出する構成としてもよい。
【００９７】
イベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］に基づく、ターゲット重み［ＷｔＩＤ］の算出式は、以下の通りである。
【数１】
2010020374.tif 000003
【００９８】
とする。なお、上記式において、［ＷｐＩＤ］は、各パーティクル各々に設定されるパーティクル重みである。パーティクル重み［ＷｐＩＤ］の算出処理については後段で説明する。パーティクル重み［ＷｐＩＤ］は初期状態では、すべてのパーティクル（ｐＩＤ＝１〜ｍ）において均一な値が設定される。
【００９９】
図７に示すフローにおけるステップＳ１０１の処理、すなわち、各パーティクル対応のイベント発生源仮説の生成は、上記のイベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］に基づいて算出したターゲット重み［ＷｔＩＤ］に基づいて実行する。ターゲット重み［ＷｔＩＤ］は、パーティクルに設定されるターゲット１〜ｎ（ｔＩＤ＝１〜ｎ）に対応したｎ個のデータが算出される。
【０１００】
ｍ個のパーティクル（ｐＩＤ＝１〜ｍ）各々に対するイベント発生源仮説ターゲットは、ターゲット重み［ＷｔＩＤ］の比率に応じて割り振る設定とする。
例えばｎ＝４で、ターゲット１〜４（ｔＩＤ＝１〜４）に対応して算出されたターゲット重み［ＷｔＩＤ］が、
ターゲット１：ターゲット重み＝３
ターゲット２：ターゲット重み＝２
ターゲット３：ターゲット重み＝１
ターゲット４：ターゲット重み＝５
である場合、ｍ個のパーティクルのイベント発生源仮説ターゲットを
ｍ個のパーティクル中の３０％をイベント発生源仮説ターゲット１、
ｍ個のパーティクル中の２０％をイベント発生源仮説ターゲット２、
ｍ個のパーティクル中の１０％をイベント発生源仮説ターゲット３、
ｍ個のパーティクル中の５０％をイベント発生源仮説ターゲット４、
このような設定とする。
すなわちパーティクルに設定するイベント発生源仮説ターゲットをターゲットの重みに応じた配分比率とする。
【０１０１】
この仮説設定の後、図７に示すフローのステップＳ１０３に進む。ステップＳ１０３では、各パーティクル対応の重み、すなわちパーティクル重み［ＷｐＩＤ］の算出を行う。このパーティクル重み［ＷｐＩＤ］は前述したように、初期的には各パーティクルに均一な値が設定されるが、イベント入力に応じて更新される。
【０１０２】
図９、図１０を参照して、パーティクル重み［ＷｐＩＤ］の算出処理の詳細について説明する。パーティクル重み［ＷｐＩＤ］は、イベント発生源の仮説ターゲットを生成した各パーティクルの仮説の正しさの指標に相当する。パーティクル重み［ＷｐＩＤ］は、ｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の各々において設定されたイベント発生源の仮説ターゲットと、入力イベントとの類似度であるイベント−ターゲット間尤度として算出される。
【０１０３】
図９には、音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から入力するイベント情報４０１と、音声・画像統合処理部１３１が、が保持するパーティクル４１１〜４１３を示している。各パーティクル４１１｜４１３には、前述した処理、すなわち、図７に示すフローのステップＳ１０２におけるイベント発生源の仮説設定において設定された仮説ターゲットが１つずつ設定されている。図９中に示す例では、
パーティクル１（ｐＩＤ＝１）４１１におけるターゲット２（ｔＩＤ＝２）４２１、
パーティクル２（ｐＩＤ＝２）４１２におけるターゲットｎ（ｔＩＤ＝ｎ）４２２、
パーティクルｍ（ｐＩＤ＝ｍ）４１３におけるターゲットｎ（ｔＩＤ＝ｎ）４２３、
これらの仮説ターゲットである。
【０１０４】
図９の例において、各パーティクルのパーティクル重み［ＷｐＩＤ］は、
パーティクル１：イベント情報４０１とターゲット２（ｔＩＤ＝２）４２１とのイベント−ターゲット間尤度、
パーティクル２：イベント情報４０１とターゲットｎ（ｔＩＤ＝ｎ）４２２とのイベント−ターゲット間尤度、
パーティクルｍ：イベント情報４０１とターゲットｎ（ｔＩＤ＝ｎ）４２３とのイベント−ターゲット間尤度、
これらのイベント−ターゲット間尤度に対応することになる。
【０１０５】
図１０は、パーティクル１（ｐＩＤ＝１）のパーティクル重み［ＷｐＩＤ］算出処理例を示している。図１０（２）に示すパーティクル重み［ＷｐＩＤ］算出処理は、先に、図８（２）を参照して説明したと同様の尤度算出処理であり、本例では、（１）入力イベント情報と、パーティクルから選択された唯一の仮説ターゲットとの類似度指標としてのイベント−ターゲット間尤度の算出として実行される。
【０１０６】
図１０の下段に示す（２）尤度算出処理も、先に図８（２）を参照して説明したと同様、
（ａ）ユーザ位置情報についてのイベントと、ターゲットデータとの類似度データとしてのガウス分布間尤度［ＤＬ］、
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）についてのイベントと、ターゲットデータとの類似度データとしてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］
これらを個別に算出する。
【０１０７】
（ａ）ユーザ位置情報についてのイベントと、仮説ターゲットとの類似度データとしてのガウス分布間尤度［ＤＬ］の算出処理は以下の処理となる。
入力イベント情報中の、ユーザ位置情報に対応するガウス分布をＮ（ｍｅ，σｅ）、
パーティクルから選択された仮説ターゲットのユーザ位置情報に対応するガウス分布をＮ（ｍｔ，σｔ）、
として、ガウス分布間尤度［ＤＬ］を、以下の式によって算出する。
ＤＬ＝Ｎ（ｍｔ，σｔ＋σｅ）ｘ｜ｍｅ
上記式は、中心ｍｔで分散σｔ＋σｅのガウス分布においてｘ＝ｍｅの位置の値を算出する式である。
【０１０８】
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）についてのイベントと、仮説ターゲットとの類似度データとしてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］の算出処理は以下の処理となる。
入力イベント情報中の、ユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｅ［ｉ］とする。なお、ｉはユーザ識別子１〜ｋに対応する変数である。
パーティクルから選択された仮説ターゲットのユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｔ［ｉ］として、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］は、以下の式によって算出する。
ＵＬ＝ΣＰｅ［ｉ］×Ｐｔ［ｉ］
上記式は、２つのデータのユーザ確信度情報（ｕＩＤ）に含まれる各対応ユーザの確信度の値（スコア）の積の総和を求める式であり、この値をユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］とする。
【０１０９】
パーティクル重み［ＷｐＩＤ］は、上記の２つの尤度、すなわち、
ガウス分布間尤度［ＤＬ］と、
ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］
これら２つの尤度を利用し、重みα（α＝０〜１）を用いて下式によって算出する。
パーティクル重み［ＷｐＩＤ］＝ＵＬα×ＤＬ１−α
上記式により、パーティクル重み［ＷｐＩＤ］を算出する。
ただし、α＝０〜１とする。
このパーティクル重み［ＷｐＩＤ］は、各パーティクルについて各々算出する。
【０１１０】
なお、パーティクル重み［ＷｐＩＤ］の算出に適用する重み［α］は、前述したイベント−ターゲット間尤度［ＬｐＩＤ，ｔＩＤ］の算出処理と同様、予め固定された値としてもよいし、入力イベントに応じて値を変更する設定としてもよい。例えば入力イベントが画像である場合において、顔検出に成功し位置情報は取得できたが顔識別に失敗した場合などは、α＝０の設定として、ユーザ確信度情報（ｕＩＤ）間尤度：ＵＬ＝１としてガウス分布間尤度［ＤＬ］のみに依存してパーティクル重み［ＷｐＩＤ］を算出する構成としてもよい。また、入力イベントが音声である場合において、話者識別に成功し話者情報破取得できたが、位置情報の取得に失敗した場合などは、α＝０の設定として、ガウス分布間尤度［ＤＬ］＝１として、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］のみに依存してパーティクル重み［ＷｐＩＤ］を算出する構成としてもよい。
【０１１１】
図７のフローにおけるステップＳ１０３の各パーティクル対応の重み［ＷｐＩＤ］の算出は、このように図９、図１０を参照して説明した処理として実行される。次に、ステップＳ１０４において、ステップＳ１０３で設定した各パーティクルのパーティクル重み［ＷｐＩＤ］に基づくパーティクルのリサンプリング処理を実行する。
【０１１２】
このパーティクルリサンプリング処理は、ｍ個のパーティクルから、パーティクル重み［ＷｐＩＤ］に応じてパーティクルを取捨選択する処理として実行される。具体的には、例えば、パーティクル数：ｍ＝５のとき、
パーティクル１：パーティクル重み［ＷｐＩＤ］＝０．４０
パーティクル２：パーティクル重み［ＷｐＩＤ］＝０．１０
パーティクル３：パーティクル重み［ＷｐＩＤ］＝０．２５
パーティクル４：パーティクル重み［ＷｐＩＤ］＝０．０５
パーティクル５：パーティクル重み［ＷｐＩＤ］＝０．２０
これらのパーティクル重みが各々設定されていた場合、
パーティクル１は、４０％の確率でリサンプリングされ、パーティクル２は１０％の確率でリサンプリングされる。なお、実際にはｍ＝１００〜１０００といった多数であり、リサンプリングされた結果は、パーティクルの重みに応じた配分比率のパーティクルによって構成されることになる。
【０１１３】
この処理によって、パーティクル重み［ＷｐＩＤ］の大きなパーティクルがより多く残存することになる。なお、リサンプリング後もパーティクルの総数［ｍ］は変更されない。また、リサンプリング後は、各パーティクルの重み［ＷｐＩＤ］はリセットされ、新たなイベントの入力に応じてステップＳ１０１から処理が繰り返される。
【０１１４】
ステップＳ１０５では、各パーティクルに含まれるターゲットデータ（ユーザ位置およびユーザ確信度）の更新処理を実行する。各ターゲットは、先に図６等を参照して説明したように、
（ａ）ユーザ位置：各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍｔ，σｔ）］、
（ｂ）ユーザ確信度：各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確率値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）、すなわち、
ｕＩＤｔ１＝Ｐｔ［１］
ｕＩＤｔ２＝Ｐｔ［２］
：
ｕＩＤｔｋ＝Ｐｔ［ｋ］
これらのデータによって構成される。
【０１１５】
ステップＳ１０５におけるターゲットデータの更新は、（ａ）ユーザ位置、（ｂ）ユーザ確信度の各々について実行する。まず、（ａ）ユーザ位置の更新処理について説明する。
【０１１６】
ユーザ位置の更新は、
（ａ１）全パーティクルの全ターゲットを対象とする更新処理、
（ａ２）各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
これらの２段階の更新処理として実行する。
【０１１７】
（ａ１）全パーティクルの全ターゲットを対象とする更新処理は、イベント発生源仮説ターゲットとして選択されたターゲットおよびその他のターゲットのすべてを対象として実行する。この処理は、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマン・フィルタ（Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）を用い更新される。
【０１１８】
以下、位置情報が１次元の場合の更新処理例について説明する。まず、前回の更新処理時間からの経過時間［ｄｔ］とし、全ターゲットについての、ｄｔ後のユーザ位置の予測分布を計算する。すなわち、ユーザ位置の分布情報としてのガウス分布：Ｎ（ｍｔ，σｔ）の期待値（平均）：［ｍｔ］、分散［σｔ］について、以下の更新を行う。
ｍｔ＝ｍｔ＋ｘｃ×ｄｔ
σｔ２＝σｔ２＋σｃ２×ｄｔ
なお、
ｍｔ：予測期待値（ｐｒｅｄｉｃｔｅｄ  ｓｔａｔｅ）
σｔ２：予測共分散（ｐｒｅｄｉｃｔｅｄ  ｅｓｔｉｍａｔｅ  ｃｏｖａｒｉａｎｃｅ）
ｘｃ：移動情報（ｃｏｎｔｒｏｌ  ｍｏｄｅｌ）
σｃ２：ノイズ（ｐｒｏｃｅｓｓ  ｎｏｉｓｅ）
である。
なお、ユーザが移動しない条件の下で処理する場合は、ｘｃ＝０として更新処理を行うことができる。
上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布：Ｎ（ｍｔ，σｔ）を更新する。
【０１１９】
さらに、各パーティクルに１つ設定されているイベント発生源の仮説となったターゲットに関しては、音声イベント検出部１２２や画像イベント検出部１１２から入力するイベント情報に含まれるユーザ位置を示すガウス分布：Ｎ（ｍｅ，σｅ）を用いた更新処理を実行する。
Ｋ：カルマンゲイン（Ｋａｌｍａｎ  Ｇａｉｎ）
ｍｅ：入力イベント情報：Ｎ（ｍｅ，σｅ）に含まれる観測値（Ｏｂｓｅｒｖｅｄ  ｓｔａｔｅ）
σｅ２：入力イベント情報：Ｎ（ｍｅ，σｅ）に含まれる観測値（Ｏｂｓｅｒｖｅｄ  ｃｏｖａｒｉａｎｃｅ）
として、以下の更新処理を行う。
Ｋ＝σｔ２／（σｔ２＋σｅ２）
ｍｔ＝ｍｔ＋Ｋ（ｘｃ−ｍｔ）
σｔ２＝（１−Ｋ）σｔ２
【０１２０】
次に、ターゲットデータの更新処理として実行する（ｂ）ユーザ確信度の更新処理について説明する。ターゲットデータには上記のユーザ位置情報の他に、各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確立値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）が含まれている。ステップＳ１０５では、このユーザ確信度情報（ｕＩＤ）についても更新処理を行う。
【０１２１】
各パーティクルに含まれるターゲットのユーザ確信度情報（ｕＩＤ）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）についての更新は、登録ユーザ全員分の事後確率と、音声イベント検出部１２２や画像イベント検出部１１２から入力するイベント情報に含まれるユーザ確信度情報（ｕＩＤ）：Ｐｅ［ｉ］（ｉ＝１〜ｋ）によって、予め設定した０〜１の範囲の値を持つ更新率［β］を適用して更新する。
【０１２２】
ターゲットのユーザ確信度情報（ｕＩＤ）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）についての更新は、以下の式によって実行する。
Ｐｔ［ｉ］＝（１−β）×Ｐｔ［ｉ］＋β＊Ｐｅ［ｉ］
ただし、
ｉ＝１〜ｋ
β：０〜１
である。なお、更新率［β］は、０〜１の範囲の値であり予め設定する。
【０１２３】
ステップＳ１０５では、この更新されたターゲットデータに含まれる以下のデータ、すなわち、
（ａ）ユーザ位置：各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍｔ，σｔ）］、
（ｂ）ユーザ確信度：各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確立値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）、すなわち、
ｕＩＤｔ１＝Ｐｔ［１］
ｕＩＤｔ２＝Ｐｔ［２］
：
ｕＩＤｔｋ＝Ｐｔ［ｋ］
これらのデータと、各パーティクル重み［ＷｐＩＤ］とに基づいて、ターゲット情報を生成して、処理決定部１３２に出力する。
【０１２４】
なお、ターゲット情報の生成は、図５を参照して説明したように、各パーティクル（ＰＩＤ＝１〜ｍ）に含まれる各ターゲット（ｔＩＤ＝１〜ｎ）対応データの重み付き総和データとして生成される。図５の右端のターゲット情報３０５に示すデータである。ターゲット情報は、各ターゲット（ｔＩＤ＝１〜ｎ）各々の
（ａ）ユーザ位置情報、
（ｂ）ユーザ確信度情報、
これらの情報を含む情報として生成される。
【０１２５】
例えば、ターゲット（ｔＩＤ＝１）に対応するターゲット情報中の、ユーザ位置情報は、
【数２】
2010020374.tif 000004
【０１２６】
上記式で表される。上記式において、Ｗｉは、パーティクル重み［ＷｐＩＤ］を示している。
【０１２７】
また、ターゲット（ｔＩＤ＝１）に対応するターゲット情報中の、ユーザ確信度情報は、
【数３】
2010020374.tif 000005
【０１２８】
上記式で表される。上記式において、Ｗｉは、パーティクル重み［ＷｐＩＤ］を示している。
音声・画像統合処理部１３１は、これらのターゲット情報をｎ個の各ターゲット（ｔＩＤ＝１〜ｎ）各々について算出し、算出したターゲット情報を処理決定部１３２に出力する。
【０１２９】
次に、図７に示すフローのステップＳ１０６の処理について説明する。音声・画像統合処理部１３１は、ステップＳ１０６において、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）の各々がイベントの発生源である確率を算出し、これをシグナル情報として処理決定部１３２に出力する。
【０１３０】
先に説明したように、イベント発生源を示す［シグナル情報］は、音声イベントについては、誰が話をしたか、すなわち［話者］を示すデータであり、画像イベントについては、画像に含まれる顔が誰であるかを示すデータである。
【０１３１】
音声・画像統合処理部１３１は、各パーティクルに設定されたイベント発生源の仮説ターゲットの数に基づいて、各ターゲットがイベント発生源である確率を算出する。すなわち、ターゲット（ｔＩＤ＝１〜ｎ）の各々がイベント発生源である確率を［Ｐ（ｔＩＤ＝ｉ）とする。ただしｉ＝１〜ｎである。このとき、各ターゲットがイベント発生源である確率は、以下のように算出される。
Ｐ（ｔＩＤ＝１）：ｔＩＤ＝１を割り当てた数／ｍ
Ｐ（ｔＩＤ＝２）：ｔＩＤ＝２を割り当てた数／ｍ
：
Ｐ（ｔＩＤ＝ｎ）：ｔＩＤ＝ｎを割り当てた数／ｍ
音声・画像統合処理部１３１は、この算出処理によって、生成した情報、すなわち、各ターゲットがイベント発生源である確率を［シグナル情報］として、処理決定部１３２に出力する。
【０１３２】
ステップＳ１０６の処理が終了したら、ステップＳ１０１に戻り、音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力の待機状態に移行する。
【０１３３】
以上が、図７に示すフローのステップＳ１０１〜Ｓ１０６の説明である。ステップＳ１０１において、音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報を取得できなかった場合も、ステップＳ１２１において、各パーティクルに含まれるターゲットの構成データの更新が実行される。この更新は、時間経過に伴うユーザ位置の変化を考慮した処理である。
【０１３４】
このターゲット更新処理は、先に、ステップＳ１０５の説明において（ａ１）全パーティクルの全ターゲットを対象とする更新処理と同様の処理であり、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマン・フィルタ（Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）を用い更新される。
【０１３５】
位置情報が１次元の場合の更新処理例について説明する。まず、前回の更新処理からの経過時間［ｄｔ］とし、全ターゲットについての、ｄｔ後のユーザ位置の予測分布を計算する。すなわち、ユーザ位置の分布情報としてのガウス分布：Ｎ（ｍｔ，σｔ）の期待値（平均）：［ｍｔ］、分散［σｔ］について、以下の更新を行う。
ｍｔ＝ｍｔ＋ｘｃ×ｄｔ
σｔ２＝σｔ２＋σｃ２×ｄｔ
なお、
ｍｔ：予測期待値（ｐｒｅｄｉｃｔｅｄ  ｓｔａｔｅ）
σｔ２：予測共分散（ｐｒｅｄｉｃｔｅｄ  ｅｓｔｉｍａｔｅ  ｃｏｖａｒｉａｎｃｅ）
ｘｃ：移動情報（ｃｏｎｔｒｏｌ  ｍｏｄｅｌ）
σｃ２：ノイズ（ｐｒｏｃｅｓｓ  ｎｏｉｓｅ）
である。
なお、ユーザが移動しない条件の下で処理する場合は、ｘｃ＝０として更新処理を行うことができる。
上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布：Ｎ（ｍｔ，σｔ）を更新する。
【０１３６】
なお、各パーティクルのターゲットに含まれるユーザ確信度情報（ｕＩＤ）については、イベントの登録ユーザ全員分の事後確率、もしくはイベント情報からスコア［Ｐｅ］が取得できない限りは更新しない。
【０１３７】
ステップＳ１２１の処理が終了したら、ステップＳ１０１に戻り、音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力の待機状態に移行する。
【０１３８】
以上、図７を参照して音声・画像統合処理部１３１の実行する処理について説明した。音声・画像統合処理部１３１は、図７に示すフローに従った処理を音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力ごとに繰り返し実行する。この繰り返し処理により、より信頼度の高いターゲットを仮説ターゲットとして設定したパーティクルの重みが大きくなり、パーティクル重みに基づくリサンプリング処理により、より重みの大きいパーティクルが残存することになる。結果として音声イベント検出部１２２および画像イベント検出部１１２から入力するイベント情報に類似する信頼度の高いデータが残存することになり、最終的に信頼度の高い以下の各情報、すなわち、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらが生成されて処理決定部１３２に出力される。
【０１３９】
（２）ターゲット間の独立性排除によるユーザ同定の推定性能を向上させた処理例
上述した説明［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］は、本出願人と同一出願人の先の出願である特願２００７−１９３９３０において開示した構成にほぼ対応する。
【０１４０】
上述した処理は、複数のチャネル（モダリティ、モーダルとも呼ばれる）からの入力情報、具体的には、カメラによって取得された画像情報、マイクによって取得された音声情報の解析処理により、ユーザが誰であるかのユーザ識別処理、ユーザの位置推定処理、イベントの発生源の特定処理などを行う処理である。
【０１４１】
しかし、上述の処理においては、各パーティクルに設定されたターゲットの更新に際して、ターゲット間の独立性を保持した更新を実行する。すなわち、１つのターゲットデータの更新と、他のターゲットデータとの更新に関連性を持たせることなく、個々のターゲットデータを独立に更新していた。このような処理を行うと実際には起こりえない事象についても排除せずに更新が実行されてしまう。
【０１４２】
具体的には、異なるターゲットが同一のユーザであると推定したターゲット更新がなされる場合があり、同一人物が複数存在するといった事象について推定処理の過程で排除するといった処理は行なわれていない。
【０１４３】
以下では、ターゲット間の独立性を排除して精度の高い解析を行う処理例について説明する。すなわち、複数のチャネル（モダリティ、モーダル）からなる不確実で非同期な位置情報、識別情報を確率的に統合して、複数のターゲットが、それぞれどこにいて、それらは誰かを推定する際、ターゲット間の独立性を排除して全ターゲットに関するユーザＩＤ(ＵｓｅｒＩＤ)の同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を扱うことにより、ユーザ同定の推定性能を向上させる。
【０１４４】
上述した［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］において説明したターゲット情報｛位置（Ｐｏｓｉｔｉｏｎ），ユーザＩＤ（ＵｓｅｒＩＤ）｝の生成処理として行われるターゲット位置およびユーザ推定処理を定式化すると、以下の式（式１）における確率［Ｐ］を推定するシステムであると言える。
【０１４５】
Ｐ（Ｘｔ，θｔ｜ｚｔ，Ｘｔ−１）・・・・・（式１）
なお、Ｐ（ａ｜ｂ）は、入力ｂが得られたとき、状態ａが発生する確率を示す。
上記式に含まれるパラメータは以下のパラメータである。
ｔ：時刻
Ｘｔ＝｛ｘｔ１，ｘｔ２，…ｘｔθ，・・・，ｘｔｎ｝：時刻ｔでのｎ人分のターゲット情報
ただし、ｘ＝｛ｘｐ，ｘｕ｝：ターゲット情報｛位置（Ｐｏｓｉｔｉｏｎ），ユーザＩＤ（ＵｓｅｒＩＤ）｝
ｚｔ＝｛ｚｐｔ，ｚｕｔ）：時刻ｔでの観測値｛位置（Ｐｏｓｉｔｉｏｎ），ユーザＩＤ（ＵｓｅｒＩＤ）｝
θｔ：時刻ｔの観測値ｚｔがターゲット［θ］のターゲット情報ｘθの発生源である状態（θ＝１〜ｎ）
【０１４６】
なお、ｚｔ＝｛ｚｐｔ，ｚｕｔ）は、時刻ｔでの観測値｛位置（Ｐｏｓｉｔｉｏｎ），ユーザＩＤ（ＵｓｅｒＩＤ）｝であり、上述した説明［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］におけるイベント情報に対応する。
すなわち、
ｚｐｔは、イベント情報に含まれるユーザ位置情報（ｐｏｓｉｔｉｏｎ）、例えば図８（１）（ａ）に示すガウス分布からなるユーザ位置情報に対応する。
ｚｕｔは、イベント情報に含まれるユーザ識別情報（ＵｓｅｒＩＤ）、例えば図８（１）（ｂ）に示す各ユーザ１〜ｋの確信度の値（スコア）として示されるユーザ識別情報に対応する。
【０１４７】
上記（式１）によって示される確率Ｐ、すなわち、
Ｐ＝（Ｘｔ，θｔ｜ｚｔ，Ｘｔ−１）
上記式は、右側に示す２つの入力、
（入力１）時刻ｔの観測値［ｚｔ］と、
（入力２）直前の観測時刻ｔ−１におけるターゲット情報［Ｘｔ−１］、
これらが得られたとき、
左側に示す２つの状態、すなわち、
（状態１）時刻ｔにおける観測値［ｚｔ］が、ターゲット情報［ｘθ］（θ＝１〜ｎ）の発生源である状態［θｔ］、
（状態２）時刻ｔにおけるターゲット情報の発生状態［Ｘｔ］＝｛ｘｐｔ，ｘｕｔ｝、
これらの状態の発生する確率値を示す式である。
【０１４８】
上述した［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］において説明したターゲット情報｛位置（Ｐｏｓｉｔｉｏｎ），ユーザＩＤ（ＵｓｅｒＩＤ）｝の生成処理として行われるターゲット位置およびユーザ推定処理は、上記式（式１）における確率［Ｐ］を推定するシステムであると言える。
【０１４９】
今、上記確率算出式（式１）をθで因数分解（Ｆａｃｔｏｒｉｚｅ）すると、以下のように変換できる。
Ｐ（Ｘｔ，θｔ｜ｚｔ，Ｘｔ−１）＝Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）×Ｐ（θｔ｜ｚｔ，Ｘｔ−１）
【０１５０】
ここで、因数分解（Ｆａｃｔｏｒｉｚｅ）の結果に含まれる前半の式と後半の式をそれぞれ（式２）、（式３）とおく。すなわち、
Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）・・・（式２）
Ｐ（θｔ｜ｚｔ，Ｘｔ−１）・・・（式３）
とする。
（式１）＝（式２）×（式３）
である。
【０１５１】
上記式（式３）、すなわち、
Ｐ（θｔ｜ｚｔ，Ｘｔ−１）
この式は、入力として、
（入力１）時刻ｔの観測値［ｚｔ］、
（入力２）直前観測時刻［ｔ−１］のターゲット情報[Ｘｔ-１]、
これらの入力が得られたとき、
（状態１）観測値［ｚｔ］の発生源が［ｘθ］である状態［θｔ］、
上記状態の発生する確率を算出する式である。
【０１５２】
上述の［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］においては、この確率［θｔ］を、パーティクル・フィルタを用いた処理によって推定している。
具体的には例えば［Ｒａｏ−Ｂｌａｃｋｗｅｌｌｉｓｅｄ  Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ］を適用した推定処理を行っている。
【０１５３】
一方、上記式（式２）、すなわち、
Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）
この式（式２）は、
入力として、
（入力１）時刻ｔの観測値［ｚｔ］、
（入力２）直前観測時刻［ｔ−１］のターゲット情報［Ｘｔ−１］、
（入力３）観測値［ｚｔ］の発生源が［ｘθ］である確率［θｔ］、
これらの入力が得られたとき、
（状態）時刻ｔにおいてターゲット情報［Ｘｔ］が得られる状態、
この状態の発生する確率を表している。
【０１５４】
上記式（式２）、すなわち、
Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）
この式（式２）の状態発生確率を推定するために、
まず、推定する状態値として示されるターゲット情報［Ｘｔ］を、
位置情報に対応するターゲット情報［Ｘｐｔ］と、
ユーザ識別情報に対応するターゲット情報［Ｘｕｔ］、
これらの２つの状態値に展開する。
【０１５５】
この展開処理によって、上記式（式２）は以下のように表現される。
Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）
＝Ｐ（Ｘｐｔ，Ｘｕｔ｜θｔ，ｚｐｔ，ｚｕｔ，Ｘｐｔ−１，Ｘｕｔ−１）
上記式において、
ｚｐｔ：時刻ｔの観測値［ｚｔ］に含まれるターゲット位置情報、
ｚｕｔ：時刻ｔの観測値［ｚｔ］に含まれるユーザ識別情報、
である。
【０１５６】
さらに、ターゲット位置情報に対応するターゲット情報［Ｘｐｔ］とユーザ識別情報に対応するターゲット情報［Ｘｕｔ］は独立と仮定すると上記の（式２）の展開式は、さらに以下のように２つの式の乗算式として示すことができる。
Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）
＝Ｐ（Ｘｐｔ，Ｘｕｔ｜θｔ，ｚｐｔ，ｚｕｔ，Ｘｐｔ−１，Ｘｕｔ−１）
＝Ｐ（Ｘｐｔ｜θｔ，ｚｐｔ，Ｘｐｔ−１）×Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
【０１５７】
ここで、上記乗算式に含まれる前半の式と後半の式をそれぞれ（式４）、（式５）とおく。すなわち、
Ｐ（Ｘｐｔ｜θｔ，ｚｐｔ，Ｘｐｔ−１）・・・（式４）
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
とする。すなわち、
（式２）＝（式４）×（式５）
である。
【０１５８】
上記式（式４）、すなわち、
Ｐ（Ｘｐｔ｜θｔ，ｚｐｔ，Ｘｐｔ−１）
この式に含まれる位置（ｐｏｓｉｔｉｏｎ）情報に対応する観測値［ｚｐｔ］によって、更新されるターゲット情報は、特定のターゲット（θ）の位置に関するターゲット情報［ｘｐｔθ］のみである。
【０１５９】
ここで、ターゲットθ＝１〜ｎ各々に対応する位置に関するターゲット情報［ｘｐｔθ］：ｘｐｔ１，ｘｐｔ２，・・・,ｘｐｔｎは互いに独立とすると、
上記式（式４）、すなわち、
Ｐ（Ｘｐｔ｜θｔ，ｚｐｔ，Ｘｐｔ−１）
この式は、以下のように展開することができる。
【０１６０】
Ｐ（Ｘｐｔ｜θｔ，ｚｐｔ，Ｘｐｔ−１）
＝Ｐ（ｘｐｔ１，ｘｐｔ２，…ｘｐｔｎ｜θｔ，ｚｐｔ，ｘｐｔ−１１，ｘｐｔ−１２，…，ｘｐｔ−１ｎ）
＝Ｐ（ｘｐｔ１｜ｘｐｔ−１１）Ｐ（ｘｐｔ２｜ｘｐｔ−１２）…Ｐ（ｘｐｔθ｜ｚｐｔ，ｘｐｔ−１θ）…Ｐ（ｘｐｔｎ｜ｘｐｔ−１ｎ）
【０１６１】
このように式（式４）は、各ターゲット（θ＝１〜ｎ）個別の確率値の乗算式として展開することができ、特定のターゲット（θ）の位置に関するターゲット情報［ｘｐｔθ］のみが、観測値［ｚｐｔ］による更新の影響を受けることになる。
【０１６２】
なお、上述した［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］において説明した処理では、カルマンフィルタ（Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）を適用してこの（式４）に対応する値を推定している。
【０１６３】
ただし、上述した［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］における処理において、各パーティクルに設定したターゲットデータに含まれるユーザ位置の更新は、
（ａ１）全パーティクルの全ターゲットを対象とする更新処理、
（ａ２）各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
これらの２段階の更新処理として実行している。
【０１６４】
（ａ１）全パーティクルの全ターゲットを対象とする更新処理は、イベント発生源仮説ターゲットとして選択されたターゲットおよびその他のターゲットのすべてを対象として実行している。この処理は、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマン・フィルタ（Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）を用い更新していた。
【０１６５】
すなわち、式として示すと、
Ｐ（ｘｐｔ｜ｘｐｔ−１）
この確率算出処理を適用し、この確率算出処理に運動モデルのみ（時間減衰）のカルマンフィルタ［Ｋａｌｍａｎ  Ｆｉｌｔｅｒ］による推定処理を適用した。
【０１６６】
また、（ａ２）各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理としては、音声イベント検出部１２２や画像イベント検出部１１２から入力するイベント情報に含まれるユーザ位置情報：ｚｐｔ（ガウス分布：Ｎ（ｍｅ，σｅ））を用いた更新処理を実行していた。
【０１６７】
すなわち、式として示すと、
Ｐ（ｘｐｔ｜ｚｐｔ，ｘｐｔ−１）
この確率算出処理を適用し、この確率算出処理に、運動モデル＋観測モデルのカルマンフィルタ(Ｋａｌｍａｎ  Ｆｉｌｔｅｒ)による推定処理を適用した。
【０１６８】
次に、上記の（式２）を展開して得られたユーザ識別情報（ＵｓｅｒＩＤ）に対応する式（式５）について解析する。すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
上記式である。
【０１６９】
この式（式５）においても、ユーザ識別情報（ＵｓｅｒＩＤ）に対応する観測値［ｚｕｔ］によって更新されるターゲット情報は、特定のターゲット（θ）のユーザ識別情報に関するターゲット情報［ｘｕｔθ］のみである。
【０１７０】
ここで、ターゲットθ＝１〜ｎ各々に対応するユーザ識別情報に関するターゲット情報［ｘｕｔθ］：ｘｕｔ１，ｘｕｔ２，・・・,ｘｕｔｎは互いに独立とすると、
上記式（式５）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
この式は、以下のように展開することができる。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（ｘｕｔ１，ｘｕｔ２，…，ｘｕｔｎ｜θｔ，ｚｕｔ，ｘｕｔ−１１，ｘｕｔ−１２，…，ｘｕｔ−１ｎ）
＝Ｐ（ｘｕｔ１｜ｘｕｔ−１１）Ｐ（ｘｕｔ２｜ｘｕｔ−１２）…Ｐ（ｘｕｔθ｜ｚｕｔ，ｘｕｔ−１θ）…Ｐ（ｘｕｔｎ｜ｘｕｔ−１ｎ）
【０１７１】
このように式（式５）は、各ターゲット（θ＝１〜ｎ）個別の確率値の乗算式として展開することができ、特定のターゲット（θ）のユーザ識別情報に関するターゲット情報［ｘｕｔθ］のみが、観測値［ｚｕｔ］による更新の影響を受けることになる。
【０１７２】
なお、上述した［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］で説明した処理でのユーザ識別情報に基づくターゲットの更新処理は以下のように行っている。
各パーティクルに設定されたターゲットには各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確立値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）が含まれている。
【０１７３】
イベント情報に含まれるユーザ識別情報によるターゲットの更新においては、観測値がない限り変わらない設定とした。式で示すと、
Ｐ（ｘｕｔ｜ｘｕｔ−１）
この確率は、観測値がない限り変わらない設定とした。
【０１７４】
各パーティクルに含まれるターゲットのユーザ確信度情報（ｕＩＤ）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）についての更新は、登録ユーザ全員分の事後確率と、音声イベント検出部１２２や画像イベント検出部１１２から入力するイベント情報に含まれるユーザ確信度情報（ｕＩＤ）：Ｐｅ［ｉ］（ｉ＝１〜ｋ）によって、予め設定した０〜１の範囲の値を持つ更新率［β］を適用して更新する。
【０１７５】
ターゲットのユーザ確信度情報（ｕＩＤ）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）についての更新は、以下の式によって実行する。
Ｐｔ［ｉ］＝（１−β）×Ｐｔ［ｉ］＋β＊Ｐｅ［ｉ］
ただし、
ｉ＝１〜ｋ
β：０〜１
である。なお、更新率［β］は、０〜１の範囲の値であり予め設定する。
【０１７６】
この処理は、確率算出式として示すと、以下のように示すことができる。すなわち、
Ｐ（ｘｕｔ｜ｚｕｔ，ｘｕｔ−１）
上記算出式によって表すことができる。
【０１７７】
上述した［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］で説明したユーザ識別情報に基づくターゲットの更新処理は、上記の（式２）を展開して得られたユーザ識別情報（ＵｓｅｒＩＤ）に対応する式（式５）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
この式（式５）の確率Ｐの推定処理を実行することに相当する。しかし、上記の［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］では、ターゲット間でユーザ識別情報（ＵｓｅｒＩＤ）の独立性を保持した処理が行われていた。
【０１７８】
従って、例えば、複数の異なるターゲットであっても同一のユーザ識別子（ｕＩＤ：ＵｓｅｒＩＤ）が最も確からしいユーザ識別子であるという判断がなされ、その判断に基づく更新が実行されてしまうこともあった。すなわち、パーティクルに設定した複数の異なるターゲットが、いずれも同一のユーザに対応するというような実際上は発生することのない推定処理による更新がなされることがあった。
【０１７９】
また、ターゲット間でユーザ識別子（ｕＩＤ：ＵｓｅｒＩＤ）の独立性を仮定した処理を行っていたため、ユーザ識別情報に対応する観測値［ｚｕｔ］で更新されるターゲット情報は、特定のターゲット（θ）のターゲット情報［ｘｕｔθ］のみとなる。従って、全ターゲットでユーザ識別情報（ｕＩＤ：ＵｓｅｒＩＤ）を更新するためには、全ターゲットに対する観測値［ｚｕｔ］が必要であった。
【０１８０】
このように、上述した［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］においては、ターゲット間の独立性を保持した解析処理を行っていた。従って、実際には起こりえない事象についても排除することなく推定処理が実行され、ターゲット更新の無駄が発生し、ユーザ識別における推定処理の効率および精度の低下を発生させることがあった。
【０１８１】
以下では、このような問題を解決した構成について説明する。
すなわち、ターゲット間の独立性を排除し、複数のターゲットデータ間に関連性を持たせて、１つの観測データに基づいて複数のターゲットデータの更新処理を実行する。このような処理を行うことで実際には起こりえない事象を排除した更新を行うことが可能となり、精度の高い効率的な解析が実現される。
【０１８２】
本発明の情報処理装置では、図２に示す構成における音声・画像統合処理部１３１は、イベントの発生源であるターゲットに対応するユーザがどのユーザであるかを示すユーザ確信度情報を含むターゲットデータを、イベント情報に含まれるユーザ識別情報に基づいて更新する処理を実行する。この処理に際して、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行する。
【０１８３】
ターゲット間の独立性を排除して全ターゲットに関するユーザ識別情報(ＵｓｅｒＩＤ)の同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を扱うことにより、ユーザ同定の推定性能を向上させることが可能となる。以下、音声・画像統合処理部１３１の実行する処理を中心として説明する。
【０１８４】
（Ａ）ユーザ推定におけるターゲット間の独立性の排除
音声・画像統合処理部１３１では、上述した式（式５）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
上記式を適用して、ユーザ識別情報に対応するターゲット情報［Ｘｕｔ］の独立性を排除した処理を行う。
【０１８５】
上記の式（式５）の導出までをもう一度、簡単にまとめて説明する。
先に説明したように、各ターゲットがイベント発生源である確率（＝シグナル情報）をＰとしたとき、確率Ｐの算出処理を定式化すると以下のように表すことができる。
Ｐ（Ｘｔ，θｔ｜ｚｔ，Ｘｔ−１）・・・・・（式１）
【０１８６】
さらに、式（式１）をθで因数分解（Ｆａｃｔｏｒｉｚｅ）すると、以下のように変換できる。
Ｐ（Ｘｔ，θｔ｜ｚｔ，Ｘｔ−１）＝Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）×Ｐ（θｔ｜ｚｔ，Ｘｔ−１）
【０１８７】
因数分解（Ｆａｃｔｏｒｉｚｅ）の結果に含まれる前半の式と後半の式をそれぞれ（式２）、（式３）とおく。すなわち、
Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）・・・（式２）
Ｐ（θｔ｜ｚｔ，Ｘｔ−１）・・・（式３）
とする。
（式１）＝（式２）×（式３）
である。
【０１８８】
式（式３）は、入力として、
（入力１）時刻ｔの観測値［ｚｔ］、
（入力２）直前観測時刻［ｔ−１］のターゲット情報[Ｘｔ-１]、
これらの入力が得られたとき、
（状態１）観測値［ｚｔ］の発生源が［ｘθ］である状態［θｔ］、
上記状態の発生する確率を算出する式である。
【０１８９】
式（式２）は、
（入力１）時刻ｔの観測値［ｚｔ］、
（入力２）直前観測時刻［ｔ−１］のターゲット情報［Ｘｔ−１］、
（入力３）観測値［ｚｔ］の発生源が［ｘθ］である確率［θｔ］、
これらの入力が得られたとき、
（状態）時刻ｔにおいてターゲット情報［Ｘｔ］が得られる状態、
この状態の発生する確率を表している。
【０１９０】
位置情報に対応するターゲット情報［Ｘｐｔ］とユーザ識別情報に対応するターゲット情報［Ｘｕｔ］を独立と仮定すると上記の（式２）は、以下のように２つの式の乗算式として示すことができる。
Ｐ（Ｘｔ｜θｔ，ｚｔ，Ｘｔ−１）
＝Ｐ（Ｘｐｔ，Ｘｕｔ｜θｔ，ｚｐｔ，ｚｕｔ，Ｘｐｔ−１，Ｘｕｔ−１）
＝Ｐ（Ｘｐｔ｜θｔ，ｚｐｔ，Ｘｐｔ−１）×Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
【０１９１】
ここで、上記乗算式に含まれる前半の式と後半の式をそれぞれ（式４）、（式５）とおく。すなわち、
Ｐ（Ｘｐｔ｜θｔ，ｚｐｔ，Ｘｐｔ−１）・・・（式４）
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
とする。すなわち、
（式２）＝（式４）×（式５）
である。
【０１９２】
このように、上記の（式２）を展開して得られたユーザ識別情報（ＵｓｅｒＩＤ）に対応する式が以下の式（式５）である。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
この式（式５）において、ユーザ識別情報（ＵｓｅｒＩＤ）に対応する観測値［ｚｕｔ］によって更新されるターゲット情報は、特定のターゲット（θ）のユーザ識別情報に関するターゲット情報［ｘｕｔθ］のみである。
【０１９３】
この式（式５）は、以下のように展開することができる。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（ｘｕｔ１，ｘｕｔ２，…，ｘｕｔｎ｜θｔ，ｚｕｔ，ｘｕｔ−１１，ｘｕｔ−１２，…，ｘｕｔ−１ｎ）
【０１９４】
ここで、ユーザ識別情報に対応するターゲット情報［Ｘｕｔ］のターゲット間での独立性を仮定しないターゲット更新処理を行う。すなわち、複数の事象がいずれも発生する確率である同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を考慮した処理を行う。この処理のためにベイズの定理を利用する。
ベイズの定理によれば、
Ｐ（ｘ）：事象ｘが発生する確率（事前確率）
Ｐ（ｘ｜ｚ）：事象ｚが発生した後、事象ｘが発生する確率（事後確率）
としたとき、
Ｐ（ｘ｜ｚ）＝（Ｐ（ｚ｜ｘ）Ｐ（ｘ））／Ｐ（ｚ）
上記式が成立する。
【０１９５】
このベイズの定理
Ｐ（ｘ｜ｚ）＝（Ｐ（ｚ｜ｘ）Ｐ（ｘ））／Ｐ（ｚ）
を用いて、先に説明したユーザ識別情報（ＵｓｅｒＩＤ）に対応する式（式５）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
上記式を展開する。
【０１９６】
展開結果を以下に示す。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（θｔ，ｚｕｔ，Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式６）
【０１９７】
上記式（式６）において、
θｔ：時刻ｔの観測値ｚｔがターゲット［θ］のターゲット情報ｘθの発生源である状態（θ＝１〜ｎ）
ｚｕｔ：時刻ｔにおける時刻ｔの観測値［ｚｔ］に含まれるユーザ識別情報
これらの「θｔ，ｚｕｔ」は、ユーザ識別情報に対応する時刻ｔのターゲット情報［Ｘｕｔ］のみに依存する（Ｘｕｔ−１には依存しない）とすると、上記式（式６）はさらに以下のように展開できる。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（θｔ，ｚｕｔ，Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ）Ｐ（Ｘｕｔ−１）・・・（式７）
【０１９８】
上記式（式７）を計算することにより、ユーザ同定の推定、すなわちユーザ識別処理を行う
なお、ある１つのターゲットｉについてのユーザ確信度（ｕＩＤ）、すなわち、ｘｕ（ＵｓｅｒＩＤ）の確率を求めたいときは、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）においてそのターゲットがそのユーザ識別子（ＵｓｅｒＩＤ）である確率をマージ（Ｍａｒｇｉｎａｌｉｚｅ）して求める。例えば以下の式を適用して算出する。
Ｐ（ｘｕｉ）＝ΣＸｕ＝ｘｕｉＰ（Ｘｕ）
この式を用いた具体的処理例については後述する。
【０１９９】
以下、上記の式（式７）を適用した処理例として、
（ａ）ターゲット間の独立性を保持した解析処理例
（ｂ）ターゲット間の独立性を排除した本発明に従った解析処理例
（ｃ）ターゲット間の独立性を排除した本発明に従った解析処理例において未登録ユーザの存在を考慮した処理例
これらの処理例について説明する。なお、（ａ）の処理例は、本発明に従った（ｂ）の処理例との比較のために説明するものである。
【０２００】
（ａ）ターゲット間の独立性を保持した解析処理例
まず、ターゲット間の独立性を保持した解析処理例について説明する。
前述したように、先に説明したユーザ識別情報（ＵｓｅｒＩＤ）に対応する式（式５）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
これをベイズの定理を用いて展開することで、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（θｔ，ｚｕｔ，Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ）Ｐ（Ｘｕｔ−１）・・・（式７）
この式（式７）が得られる。
【０２０１】
ここで、（式７）に含まれる事前確率としてのＰ（Ｘｕｔ）、Ｐ（θｔ，ｚｕｔ）、Ｐ（Ｘｕｔ−１）を一様と仮定する。
すると式（式５）、（式７）は、以下のように表すことができる。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ）Ｐ（Ｘｕｔ−１）・・・（式７）
〜Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）×Ｐ（Ｘｕｔ−１｜Ｘｕｔ）・・・・（式８）×（式９）
なお、［〜］は比例を表す。
【０２０２】
従って、式（式５）、（式７）は、以下のような式（式１０）として示すことができる。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）・・・（式１０）
となる。
ただし、Ｒは正規化項（Ｒｅｇｕｌａｒｉｚａｔｉｏｎ  ｔｅｒｍ）とする。
式１０＝Ｒ×（式８）×（式９）であり、
式５＝Ｒ×（式８）×（式９）となる。
【０２０３】
ここで、式（式８）、すなわち、
（θｔ，ｚｕｔ｜Ｘｕｔ）・・・・（式８）
上記式は、時刻ｔにおいてユーザ識別情報に対応するターゲット情報［Ｘｕｔ］が得られた場合に、そのターゲット情報に含まれるユーザ識別情報に関する時刻ｔの観測値［ｚｕｔ］が特定のターゲット（θ）からの観測情報である確率であり、これを、観測値の［事前確率Ｐ］と定義する。
【０２０４】
また、式（式９）、すなわち、
Ｐ（Ｘｕｔ−１｜Ｘｕｔ）・・・・（式９）
上記式は、時刻［ｔ］においてユーザ識別情報に対応するターゲット情報［Ｘｕｔ］が得られた場合に、その１つの前の観測時刻［ｔ−１］において、ユーザ識別情報に対応するターゲット情報［Ｘｕｔ−１］が得られている確率であり、これを、［状態遷移確率Ｐ］と定義する。
【０２０５】
すなわち、
（式５）＝Ｒ×（［事前確率Ｐ］）×（［状態遷移確率Ｐ］）
となる。
【０２０６】
例えば、観測値の［事前確率Ｐ］の算出式（式８）におけるターゲット情報［Ｘｕｔ］を個別のターゲット情報［ｘｕｔ１，ｘｕｔ２，…，ｘｕｔθ，…，ｘｕｔｎ］として示すと以下のように表すことができる。
Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）
＝Ｐ（θｔ，ｚｕｔ｜ｘｕｔ１，ｘｕｔ２，…，ｘｕｔθ，…，ｘｕｔｎ）
上記式において、観測値の事前確率Ｐを、
ｘｕｔθ＝ｚｕｔ、このとき、Ｐ＝Ａ、
上記以外の場合、Ｐ＝Ｂ、
とする。
なお、確率Ａと確率Ｂは、
Ａ＞Ｂとして設定する。
【０２０７】
図１１にターゲット数ｎ＝２（ターゲットＩＤ（ｔＩＤ＝０〜１））、登録ユーザ数ｋ＝３（ユーザＩＤ（ｕＩＤ＝０〜２））の場合の事前確率Ｐの算出処理例を示す。
【０２０８】
例えば図１１に示す中ほどのエントリ５０１、すなわち、
Ｐ（θｔ，ｚｕｔ｜ｘｕｔ０，ｘｕｔ１）＝Ｐ（０，２｜２，１）は、
以下の確率を示している。
ｘｕｔ０＝２：ターゲットＩＤ（ｔＩＤ）＝０が、ユーザＩＤ（ｕＩＤ＝２）
ｘｕｔ１＝１：ターゲットＩＤ（ｔＩＤ）＝１が、ユーザＩＤ（ｕＩＤ＝１）
であるとき、
θｔ＝０，ｚｕｔ＝２：ターゲットＩＤ＝０からユーザＩＤ＝２の観測情報ｚｕｔが得られる、
この確率を示している。
【０２０９】
この場合、
ｘｕｔθ＝ｘｕｔ０＝２、ｚｕｔ＝２、
であり、
ｘｕｔθ＝ｚｕｔ、
が成立する。
従って、事前確率Ｐは、
Ｐ（θｔ，ｚｕｔ｜ｘｕｔ０，ｘｕｔ１）＝Ｐ（０，２｜２，１）＝Ａ
となる。
【０２１０】
また、図に示すエントリ５０２、すなわち、
Ｐ（θｔ，ｚｕｔ｜ｘｕｔ０，ｘｕｔ１）＝Ｐ（１，０｜０，２）は、
以下の確率を示している。
ｘｕｔ０＝０：ターゲットＩＤ（ｔＩＤ）＝０が、ユーザＩＤ（ｕＩＤ＝０）
ｘｕｔ１＝２：ターゲットＩＤ（ｔＩＤ）＝１が、ユーザＩＤ（ｕＩＤ＝２）
であるとき、
θｔ＝１，ｚｕｔ＝０：ターゲットＩＤ＝１からユーザＩＤ＝０の観測情報ｚｕｔが得られる、
この確率を示している。
【０２１１】
この場合、
ｘｕｔθ＝ｘｕｔ１＝２、ｚｕｔ＝０、
であり、
ｘｕｔθ＝ｚｕｔ、
が成立しない。
従って、事前確率Ｐは、
Ｐ（θｔ，ｚｕｔ｜ｘｕｔ０，ｘｕｔ１）＝Ｐ（１，０｜０，２）＝Ｂ
となる。
【０２１２】
また、上記式（式９）で示される状態遷移確率Ｐ、すなわち、
Ｐ（Ｘｕｔ−１｜Ｘｕｔ）
上記式において、状態遷移確率Ｐが全ターゲットでユーザ識別子（ＵｓｅｒＩＤ）が変化しない場合、Ｐ＝Ｃ
上記以外、Ｐ＝Ｄ
とする。
なお、確率Ｃと確率Ｄは、
Ｃ＞Ｄ
とする。
【０２１３】
この設定とした場合の状態遷移確率
図１２にターゲット数ｎ＝２（０〜１）、登録ユーザ数ｋ＝３（０〜２）の場合の状態遷移確率Ｐの算出例を示す。
【０２１４】
図１２に示すエントリ５１１、すなわち、
Ｐ（ｘｔ−１０，ｘｕｔ−１１｜ｘｕｔ０，ｘｕｔ１）＝Ｐ（０，１｜０，１）は、
以下の確率を示している。
ｘｕｔ０＝０：時刻ｔにおいて、ターゲットＩＤ（ｔＩＤ）＝０がユーザＩＤ（ｕＩＤ＝０）
ｘｕｔ１＝１：時刻ｔにおいて、ターゲットＩＤ（ｔＩＤ）＝１がユーザＩＤ（ｕＩＤ＝１）
であるとき、
ｘｕｔ−１０＝０：時刻ｔ−１において、ターゲットＩＤ（ｔＩＤ）＝０がユーザＩＤ（ｕＩＤ＝０）
ｘｕｔ−１１＝１：時刻ｔ−１において、ターゲットＩＤ（ｔＩＤ）＝１がユーザＩＤ（ｕＩＤ＝１）
となる
この確率を示している。
【０２１５】
この場合、全ターゲットに関して時刻ｔとｔ−１とでユーザ識別子（ＵｓｅｒＩＤ）の変化がない場合であり、
状態遷移確率Ｐ＝Ｃ
となる。
【０２１６】
また、図１２に示すエントリ５１２、すなわち、
Ｐ（ｘｔ−１０，ｘｕｔ−１１｜ｘｕｔ０，ｘｕｔ１）＝Ｐ（０，１｜２，２）は、
以下の確率を示している。
ｘｕｔ０＝０：時刻ｔにおいて、ターゲットＩＤ（ｔＩＤ）＝０がユーザＩＤ（ｕＩＤ＝２）
ｘｕｔ１＝１：時刻ｔにおいて、ターゲットＩＤ（ｔＩＤ）＝１がユーザＩＤ（ｕＩＤ＝２）
であるとき、
ｘｕｔ−１０＝０：時刻ｔ−１において、ターゲットＩＤ（ｔＩＤ）＝０がユーザＩＤ（ｕＩＤ＝０）
ｘｕｔ−１１＝１：時刻ｔ−１において、ターゲットＩＤ（ｔＩＤ）＝１がユーザＩＤ（ｕＩＤ＝１）
となる
この確率を示している。
【０２１７】
このエントリ５１２の場合、全ターゲットに関して時刻ｔとｔ−１とでユーザ識別子（ＵｓｅｒＩＤ）の変化がないという状態遷移ではなく、少なくとも１つ以上のターゲットについてユーザ識別子の変化が発生している。従って、
状態遷移確率Ｐ＝Ｄ
となる。
【０２１８】
図１３は、上記の式（式１０）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）・・・（式１０）＝（Ｒ×（式８）×（式９））
この式において、
イベント情報としての観測値が得られる前の初期値、すなわち、ターゲットＩＤ（２，１，０）に対するユーザＩＤ（０〜２）の確率値、すなわちユーザ確信度を一様（図１３（ａ））として、
上記の式（式８）によって示される事前確率Ｐに対応する確率Ａ＝０．８、Ｂ＝０．２、
上記の式（式９）によって示される事前確率Ｐに対応する確率Ｃ＝１．０、Ｄ＝０．０、
この確率設定としている。
【０２１９】
すなわち、
上記の式（式８）によって示される［事前確率Ｐ］
Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）
＝Ｐ（θｔ，ｚｕｔ｜ｘｕｔ１，ｘｕｔ２，…，ｘｕｔθ，…，ｘｕｔｎ）
上記式において、観測値の事前確率Ｐを、
ｘｕｔθ＝ｚｕｔ、このときの事前確率：Ｐ＝Ａ＝０．８、
上記以外の場合の事前確率：Ｐ＝Ｂ＝０．２、
この確率設定とした。
【０２２０】
さらに、上記の式（式９）によって示される［状態遷移確率Ｐ］
Ｐ（Ｘｕｔ−１｜Ｘｕｔ）
上記式において、
時刻ｔ，ｔ−１において、全ターゲットに関してユーザ識別子（ＵｓｅｒＩＤ）の変化がない場合の状態遷移確率Ｐ＝Ｃ＝１．０、
上記以外の場合の状態遷移確率Ｐ＝Ｄ＝０．０、
この確率設定とした。
【０２２１】
このような確率設定の下、２つの観測時間において、
「θ＝０，ｚｕ＝０」、
「θ＝１，ｚｕ＝１」
これらの観測情報が順に観測された場合の、ターゲットＩＤ（２，１，０）に対するユーザＩＤ（０〜２）の確率値、すなわちユーザ確信度（ｕＩＤ）の遷移例を示した図である。ユーザ確信度は、全てのターゲットＩＤ（２，１，０）に対する全てのユーザＩＤ（０〜２）を対応付けたデータについての同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）として算出している。
【０２２２】
なお、「θ＝０，ｚｕ＝０」は、ターゲット（θ＝０）から、ユーザ識別子（ＵＩＤ＝０）に対応する観測情報［ｚｕ］が観測されたことを示す。
「θ＝１，ｚｕ＝１」は、ターゲット（θ＝１）から、ユーザ識別子（ＵＩＤ＝１）に対応する観測情報［ｚｕ］が観測されたことを示す。
【０２２３】
３つのターゲットＩＤ（ｔＩＤ＝０，１，２）に対応するユーザＩＤ（ｕＩＤ＝０〜２）の候補は、図１３に示す（ａ）初期状態の欄に示しているように、
ｔＩＤ０，１，２＝（０，０，０）〜（２，２，２）
これらの２７通りの候補データがある。
これらの２７通りの候補データ各々について、全てのターゲットＩＤ（２，１，０）に対する全てのユーザＩＤ（０〜２）を対応付けたユーザ確信度として、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を算出している。
【０２２４】
初期状態では２７種類の候補データの同時生起確率は一律に設定される。全体で２７個の候補が存在するので、１つの候補データの確率Ｐは、
Ｐ＝１．０／２７＝０．０３７０３７
として設定する。
【０２２５】
図１３に示す（ｂ）は、
「θ＝０，ｚｕ＝０」
この観測情報が観測された場合の、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）として算出されるユーザ確信度（全てのターゲットＩＤ（２，１，０）に対して対応付けられた全てのユーザＩＤ（０〜２）の確信度）の変化を示している。
観測情報「θ＝０，ｚｕ＝０」は、
ターゲットＩＤ＝０からの観測情報がユーザＩＤ＝０のものであるという観測情報である。
この観測情報に基づいて、２７個の候補から、
ｔＩＤ＝０にユーザＩＤ＝０の設定された候補データの確率Ｐ（同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ））が高められ、その他の確率Ｐが低下させられる。
【０２２６】
確率値の算出は、以下の式に従って実行している。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ＊Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）・・・（式１０（式８）×（式９））
この式において、
上記の式（式８）によって示される事前確率Ｐに対応する確率Ａ＝０．８、Ｂ＝０．２、
上記の式（式９）によって示される事前確率Ｐに対応する確率Ｃ＝１．０、Ｄ＝０．０、
この設定で算出している。
【０２２７】
算出結果は、図１３（ｂ）に示すように、
ｔＩＤ＝０にユーザＩＤ＝０の設定された候補の確率Ｐ＝０．０７４０７４
その他の候補の確率＝０．０１８５１９
となる。
【０２２８】
さらに、図１３に示す（ｃ）は、
「θ＝１，ｚｕ＝１」
この観測情報が観測された場合の、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）として算出されるユーザ確信度（全てのターゲットＩＤ（２，１，０）に対して対応付けられた全てのユーザＩＤ（０〜２）の確信度）の変化を示している。
観測情報「θ＝１，ｚｕ＝１」は、
ターゲットＩＤ＝１からの観測情報がユーザＩＤ＝１のものであるという観測情報である。
この観測情報に基づいて、２７個の候補から、
ｔＩＤ＝１にユーザＩＤ＝１の設定された候補データの確率Ｐ（同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ））が高められ、その他の確率Ｐが低下させられる。
【０２２９】
図１３（ｃ）に示すように、結果として、
３種類の確率値（同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ））に分類される。
最も確率の高い候補は、
ｔＩＤ＝０にユーザＩＤ＝０が設定、かつ、ｔＩＤ＝１にユーザＩＤ＝１が設定された候補であり、これらの候補は確率Ｐ＝０．１４８１４８となる。
次に確率の高い候補は、
ｔＩＤ＝０にユーザＩＤ＝０が設定、または、ｔＩＤ＝１にユーザＩＤ＝１の設定、いずれか一方の条件のみが満足されている候補であり、これらの候補は確率Ｐ＝０．０３７０３７となる。
最も確率の低い候補は、
ｔＩＤ＝０にユーザＩＤ＝０が設定されてなく、かつ、ｔＩＤ＝１にユーザＩＤ＝１が設定されていない候補であり、これらの候補は確率Ｐ＝０．００９２５９となる。
【０２３０】
図１４は、図１３に示す処理によって得られるマージ（Ｍａｒｇｉｎａｌｉｚｅ）結果である。
図１４（ａ）〜（ｃ）は図１３（ａ）〜（ｃ）に対応している。
すなわち、（ａ）初期状態から２つの観測情報に基づいて順次、更新した結果（ｂ），（ｃ）に対応しており、図１４に示すデータは、
ｔＩＤ＝０がｕＩＤ＝０である確率Ｐ
ｔＩＤ＝０がｕＩＤ＝１である確率Ｐ
：
ｔＩＤ＝２がｕＩＤ＝１である確率Ｐ
ｔＩＤ＝２がｕＩＤ＝３である確率Ｐ
これらを図１３に示す結果から算出したものである。図１４の確率は、図１３の２７個から該当するデータの確率値を加算、すなわちマージ（Ｍａｒｇｉｎａｌｉｚｅ（周縁化））することにより求める。例えば以下の式を適用して算出する。
Ｐ（ｘｕｉ）＝ΣＸｕ＝ｘｕｉＰ（Ｘｕ）
【０２３１】
図１４（ａ）に示すように、初期状態では、
ｔＩＤ＝０がｕＩＤ＝０である確率Ｐ
ｔＩＤ＝０がｕＩＤ＝１である確率Ｐ
：
ｔＩＤ＝２がｕＩＤ＝１である確率Ｐ
ｔＩＤ＝２がｕＩＤ＝３である確率Ｐ
これらはすべて一律であり、Ｐ＝０．３３３３３３
である。
図１４（ａ）の下部に示すグラフは、この確率をグラフ化したデータである。
【０２３２】
図１４（ｂ）は、
「θ＝０，ｚｕ＝０」
この観測情報が観測された場合の更新結果であり、
ｔＩＤ＝０がｕＩＤ＝０である確率Ｐ〜ｔＩＤ＝２がｕＩＤ＝３である確率Ｐ
これらの確率を示している。
ｔＩＤ＝０がｕＩＤ＝０である確率のみが高く設定され、この影響により、
ｔＩＤ＝０がｕＩＤ＝１である確率Ｐ
ｔＩＤ＝０がｕＩＤ＝２である確率Ｐ
この２つの確率が低下している。
【０２３３】
その他のターゲット：ｔｉＤ＝１，２の確率には全く影響がない。すなわち、
ｔＩＤ＝１がｕＩＤ＝０である確率Ｐ
ｔＩＤ＝１がｕＩＤ＝１である確率Ｐ
ｔＩＤ＝１がｕＩＤ＝２である確率Ｐ
ｔＩＤ＝２がｕＩＤ＝０である確率Ｐ
ｔＩＤ＝２がｕＩＤ＝１である確率Ｐ
ｔＩＤ＝２がｕＩＤ＝２である確率Ｐ
これらは初期状態と全く変化のない設定となる。
これは、ターゲット間の独立性を保持した解析処理に起因する。
【０２３４】
図１４（ｃ）は、
「θ＝１，ｚｕ＝１」
この観測情報が観測された場合の更新結果であり、
ｔＩＤ＝０がｕＩＤ＝０である確率Ｐ〜ｔＩＤ＝２がｕＩＤ＝３である確率Ｐ
これらの確率を示している。
ｔＩＤ＝１がｕＩＤ＝１である確率を高くする更新がなされ、この影響により、
ｔＩＤ＝１がｕＩＤ＝０である確率Ｐ
ｔＩＤ＝１がｕＩＤ＝２である確率Ｐ
この２つの確率が低下する。
【０２３５】
その他のターゲット：ｔｉＤ＝０，２の確率には全く影響がなく、（ｂ）からの変化は発生しない。これは、ターゲット間の独立性を保持した解析処理に起因する。
【０２３６】
この処理を、さらに観測情報を取得して繰り返し実行して、先に説明したウェイトによるターゲットの取捨選択を実行することで確率の高い候補が残ることになる。しかし、この処理はターゲット間の独立性を保持した処理であり効率が悪い。
【０２３７】
（ｂ）ターゲット間の独立性を排除した本発明に従った解析処理例
次に、ターゲット間の独立性を排除した本発明に従った解析処理例について説明する。以下において説明する例は、複数の異なるターゲットに同一のユーザ識別情報であるユーザ識別子（ＵｓｅｒＩＤ）を割り振らないという制約に基づいて処理を行う例である。音声・画像統合処理部１３１は、ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、イベント情報に含まれる観測値であるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する処理を実行する。
【０２３８】
先にターゲット間の独立性を保持した処理として説明した図１３、図１４から理解されるように、ターゲット間の独立性を保持した処理を行うと、全ターゲットのユーザ識別子（ＵｓｅｒＩＤ）を、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を適用した処理を行っても、図１４に示すように、マージ（Ｍａｒｇｉｎａｌｉｚｅ）結果では、ユーザ識別子（ＵｓｅｒＩＤ）に関するターゲット間の独立性が排除されていない。
【０２３９】
すなわち、例えば図１４（ｂ）の結果としてターゲットＩＤ：ｔＩＤ＝０に対応するユーザがユーザ０である可能性が極めて高いという結果が得られているにも関わらず、ターゲットＩＤ：ｔＩＤ＝１，２については何らその結果を反映させる処理が行われていない。これはターゲット間の独立性を保持している処理であるからである。
【０２４０】
図１４（ｂ）の結果としてターゲットＩＤ：ｔＩＤ＝０がユーザ０である可能性が極めて高いという判定に基づいて、ターゲットＩＤ：ｔＩＤ＝１，２はユーザ０でない可能性が高いという推定が可能である。この推定を適用して各ターゲットのユーザ確信度を更新すれば、効率的な処理が可能となる。以下では、ターゲット間の独立性を排除して精度の高い効率的な解析処理を行う例について説明する。
【０２４１】
先に説明したユーザ識別情報（ＵｓｅｒＩＤ）に対応する式（式５）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
これをベイズの定理を用いて展開することで、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（θｔ，ｚｕｔ，Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ，Ｘｕｔ−１）
＝Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ）Ｐ（Ｘｕｔ−１）・・・（式７）
この式（式７）が得られる。
【０２４２】
この式（式７）において、Ｐ（θｔ，ｚｕｔ）のみを一様と仮定する。
すると式（式５）、（式７）は、以下のように表すことができる。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（θｔ，ｚｕｔ）Ｐ（Ｘｕｔ−１）・・・（式７）
〜Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１）
なお、［〜］は比例を表す。
【０２４３】
従って、式（式５）、（式７）は、以下のような式（式１１）として示すことができる。
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１）・・・（式１１）
となる。
ただし、Ｒは正規化項（Ｒｅｇｕｌａｒｉｚａｔｉｏｎ  ｔｅｒｍ）とする。
【０２４４】
さらに式（式１１）において、「複数ターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）は割り振られない」という制約を事前確率Ｐ（Ｘｕｔ）、Ｐ（Ｘｕｔ−１）を用いて以下のように表現する。
制約１：Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する場合は、
Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＮＧ（Ｐ＝０．０）、
それ以外は、
Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＯＫ（０．０＜Ｐ≦１．０）
このような確率を設定する。
【０２４５】
図１５にターゲット数ｎ＝３（０〜２）、登録ユーザ数ｋ＝３（０〜２）の場合、上記制約に従った初期状態設定例を示す。
この初期状態は、先に説明した図１３（ａ）の初期状態に対応する。すなわち、全てのターゲットＩＤ（２，１，０）に対する全てのユーザＩＤ（０〜２）を対応付けたデータについての同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を示している。
【０２４６】
図１５に示す例では、Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する場合は、
同時生起確率：Ｐ＝０（ＮＧ）として設定され、Ｐ＝０（ＮＧ）以外のＰ＝ＯＫとして記載された候補に対して、同時生起確率：Ｐに０より大きい確率値（０．０＜Ｐ≦１．０）が設定される。
【０２４７】
このように、音声・画像統合処理部１３１は、複数ターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）は割り振られないという制約に基づいて、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）の初期設定を行なう構成であり、
異なるターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）が設定された候補データの同時生起確率Ｐ（Ｘｕ）の確率値は、
Ｐ（Ｘｕ）＝０．０、
それ以外のターゲットデータの確率値は、
Ｐ（Ｘｕ）＝０．０＜Ｐ≦１．０
とする確率値の初期設定を行う。
【０２４８】
図１６、図１７は、「複数ターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）は割り振られない」という制約を適用して、ターゲット間の独立性を排除した本発明に従った解析処理例を説明する図である。これらは、先に説明したターゲット間の独立性を保持した処理例として説明した図１３、図１４に対応する。
【０２４９】
なお、図１６、図１７の処理例は、ターゲット間の独立性を排除した処理例であり、先に説明したユーザ識別情報（ＵｓｅｒＩＤ）に対応する式（式５）に基づいて生成した式（式１１）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１）・・・（式１１）
上記式を適用し、さらに、複数の異なるターゲットに同一のユーザ識別情報であるユーザ識別子（ＵｓｅｒＩＤ）を割り振らないという制約で処理を行っている。
【０２５０】
すなわち、上記式（式１１）において、
Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する場合は、
Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＮＧ（Ｐ＝０．０）、
それ以外は、
Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＯＫ（０．０＜Ｐ≦１．０）
このような確率を設定した処理を行なっている。
【０２５１】
上記式（式１１）は、先にターゲット間の独立性を保持した処理例として説明した図１３、図１４において用いた式（式１０）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）・・・（式１０）
とは異なっている。
【０２５２】
式（式１１）は、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１）・・・（式１１）
＝Ｒ×（式８）×（式９）×（Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１））
として表現される。
【０２５３】
図１６、図１７の処理例は、
Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する場合はＰ＝０（ＮＧ）とした設定とした以外は、先に図１３、図１４を参照して説明した処理例と同様の条件設定としている。
【０２５４】
すなわち、
上記の式（式８）によって示される［事前確率Ｐ］
Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）
＝Ｐ（θｔ，ｚｕｔ｜ｘｕｔ１，ｘｕｔ２，…，ｘｕｔθ，…，ｘｕｔｎ）
上記式において、観測値の事前確率Ｐを、
ｘｕｔθ＝ｚｕｔ、このときの事前確率：Ｐ＝Ａ＝０．８、
上記以外の場合の事前確率：Ｐ＝Ｂ＝０．２、
この確率設定とした。
【０２５５】
さらに、上記の式（式９）によって示される［状態遷移確率Ｐ］
Ｐ（Ｘｕｔ−１｜Ｘｕｔ）
上記式において、
時刻ｔ，ｔ−１において、全ターゲットに関してユーザ識別子（ＵｓｅｒＩＤ）の変化がない場合の状態遷移確率Ｐ＝Ｃ＝１．０、
上記以外の場合の状態遷移確率Ｐ＝Ｄ＝０．０、
この確率設定とした。
【０２５６】
図１６、図１７は、このような条件設定の下、２つの観測時間において、
「θ＝０，ｚｕ＝０」、
「θ＝１，ｚｕ＝１」
これらの観測情報が順に観測された場合の、ターゲットＩＤ（２，１，０）に対するユーザＩＤ（０〜２）の確率値、すなわちユーザ確信度（ｕＩＤ）の遷移例を示した図である。ユーザ確信度は、全てのターゲットＩＤ（２，１，０）に対する全てのユーザＩＤ（０〜２）を対応付けたデータについての同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）として算出している。
【０２５７】
なお、前述したように、「θ＝０，ｚｕ＝０」は、ターゲット（θ＝０）から、ユーザ識別子（ＵＩＤ＝０）に対応する観測情報［ｚｕ］が観測されたことを示す。
「θ＝１，ｚｕ＝１」は、ターゲット（θ＝１）から、ユーザ識別子（ＵＩＤ＝１）に対応する観測情報［ｚｕ］が観測されたことを示す。
【０２５８】
３つのターゲットＩＤ（ｔＩＤ＝０，１，２）に対応するユーザＩＤ（ｕＩＤ＝０〜２）の候補は、図１６に示す（ａ）初期状態の欄に示しているように、
ｔＩＤ０，１，２＝（０，０，０）〜（２，２，２）
これらの２７通りである。
これらの２７通りの候補データ各々について、全てのターゲットＩＤ（２，１，０）に対する全てのユーザＩＤ（０〜２）を対応付けたユーザ確信度として、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を算出している。確率（ユーザ確信度）は、先の図１３（ａ）初期状態と異なり、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する場合はＰ＝０、その他の候補に均等な確率、図に示す例では、
Ｐ＝０．１６６６６７
この確率値が設定される。
【０２５９】
図１６に示す（ｂ）は、
「θ＝０，ｚｕ＝０」
この観測情報が観測された場合の、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）として算出されるユーザ確信度（全てのターゲットＩＤ（２，１，０）に対して対応付けられた全てのユーザＩＤ（０〜２）の確信度）の変化を示している。
観測情報「θ＝０，ｚｕ＝０」は、
ターゲットＩＤ＝０からの観測情報がユーザＩＤ＝０のものであるという観測情報である。
この観測情報に基づいて、２７個の候補から、初期状態でＰ＝０（ＮＧ）の設定された候補以外で、
ｔＩＤ＝０にユーザＩＤ＝０の設定された候補データの確率Ｐ（同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ））が高められ、その他の確率Ｐが低下させられる。
【０２６０】
初期状態で、
Ｐ＝０．１６６６６７
この確率が設定された候補中、
ｔＩＤ＝０にユーザＩＤ＝０
の設定された候補の確率Ｐが高められて、Ｐ＝０．３３３３３３に設定され、
その他の確率Ｐが低下させられて、Ｐ＝０．００８３３３３に設定される。
【０２６１】
さらに、図１６に示す（ｃ）は、
「θ＝１，ｚｕ＝１」
この観測情報が観測された場合の、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）として算出されるユーザ確信度（全てのターゲットＩＤ（２，１，０）に対して対応付けられた全てのユーザＩＤ（０〜２）の確信度）の変化を示している。
観測情報「θ＝１，ｚｕ＝１」は、
ターゲットＩＤ＝１からの観測情報がユーザＩＤ＝１のものであるという観測情報である。
この観測情報に基づいて、２７個の候補から、初期状態でＰ＝０（ＮＧ）の設定された候補以外で、
ｔＩＤ＝１にユーザＩＤ＝１の設定された候補データの確率Ｐ（同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ））が高められ、その他の確率Ｐが低下させられる。
【０２６２】
図１６（ｃ）に示すように、結果として、
４種類の確率値に分類される。
最も確率の高い候補は、
初期状態でＰ＝０（ＮＧ）の設定されておらず、ｔＩＤ＝０にユーザＩＤ＝０が設定、かつ、ｔＩＤ＝１にユーザＩＤ＝１が設定された候補であり、これらの候補の同時生起確率：Ｐ＝０．５９２５９３となる。
次に確率の高い候補は、
初期状態でＰ＝０（ＮＧ）の設定されておらず、ｔＩＤ＝０にユーザＩＤ＝０が設定、または、ｔＩＤ＝１にユーザＩＤ＝１の設定、いずれか一方の条件のみが満足されている候補であり、これらの候補は確率Ｐ＝０．１４８１４８となる。
次に確率の高い候補は、
初期状態でＰ＝０（ＮＧ）の設定されていない候補であり、ｔＩＤ＝０にユーザＩＤ＝０が設定されてなく、かつ、ｔＩＤ＝１にユーザＩＤ＝１が設定されていない候補であり、これらの候補は確率Ｐ＝０．０３７０３７となる。
最も確率の低い候補は、
初期状態でＰ＝０（ＮＧ）の設定されている候補であり、これらの候補は確率Ｐ＝０．０となる。
【０２６３】
図１７は、図１６に示す処理によって得られるマージ（Ｍａｒｇｉｎａｌｉｚｅ）結果である。
図１７（ａ）〜（ｃ）は図１６（ａ）〜（ｃ）に対応している。
すなわち、（ａ）初期状態から２つの観測情報に基づいて順次、更新した結果（ｂ），（ｃ）に対応しており、図１７に示すデータは、
ｔＩＤ＝０がｕＩＤ＝０である確率Ｐ
ｔＩＤ＝０がｕＩＤ＝１である確率Ｐ
：
ｔＩＤ＝２がｕＩＤ＝１である確率Ｐ
ｔＩＤ＝２がｕＩＤ＝３である確率Ｐ
これらを図１６に示す結果から算出したものである。図１７の確率は、図１６の２７個から該当するデータの確率値を加算、すなわちマージ（Ｍａｒｇｉｎａｌｉｚｅ）することにより求める。例えば以下の式を適用して算出する。
Ｐ（ｘｕｉ）＝ΣＸｕ＝ｘｕｉＰ（Ｘｕ）
【０２６４】
図１７（ａ）に示すように、初期状態では、
ｔＩＤ＝０がｕＩＤ＝０である確率Ｐ
ｔＩＤ＝０がｕＩＤ＝１である確率Ｐ
：
ｔＩＤ＝２がｕＩＤ＝１である確率Ｐ
ｔＩＤ＝２がｕＩＤ＝３である確率Ｐ
これらは、すべて一律であり、Ｐ＝０．３３３３３３
である。
図１７（ａ）の下部に示すグラフは、この確率をグラフ化したデータである。
この初期状態の結果は、各ターゲットの独立性を保持した処理例として先に説明した図１４（ａ）と同様である。
【０２６５】
図１７（ｂ）は、
「θ＝０，ｚｕ＝０」
この観測情報が観測された場合の更新結果であり、
ｔＩＤ＝０がｕＩＤ＝０である確率Ｐ〜ｔＩＤ＝２がｕＩＤ＝３である確率Ｐ
これらの確率を示している。
ｔＩＤ＝０がｕＩＤ＝０である確率のみが高く設定され、この影響により、
ｔＩＤ＝０がｕＩＤ＝１である確率Ｐ
ｔＩＤ＝０がｕＩＤ＝２である確率Ｐ
この２つの確率が低下している。
【０２６６】
さらに、本処理例では、
ｔＩＤ＝１について、
ｕＩＤ＝０である確率が低下、
ｕＩＤ＝１である確率が上昇、
ｕＩＤ＝２である確率が上昇、
ｔＩＤ＝２について、
ｕＩＤ＝０である確率が低下、
ｕＩＤ＝１である確率が上昇、
ｕＩＤ＝２である確率が上昇、
このように、観測情報「θ＝０，ｚｕ＝０」を取得したと想定されるターゲット（ｔＩＤ＝０）と異なるターゲット（ｔＩＤ＝１，２）の確率（ユーザ確信度）も変化している。
【０２６７】
この点が、先に図１４を参照して説明した図１４（ｂ）とは異なる。図１４（ｂ）では、ｔＩＤ＝０のデータについては確率を変更する更新がなされたがｔＩＤ＝１，２については、初期状態から変更されることはなかった。しかし、この図１７（ｂ）では、ｔＩＤ＝０，１，２すべてのデータの更新が行われている。
【０２６８】
先に図１３、図１４を参照して説明した処理は、各ターゲットの独立性を保持した処理例である。一方、図１６、図１７に示す処理は、各ターゲットの独立性を排除した処理例である。すなわち、ある１つの観測データが１つのターゲット対応のデータのみならず、その他のターゲットのデータに対して影響を及ぼす。
【０２６９】
図１６、図１７の処理では、前述した式（式１１）すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１）・・・（式１１）
上記式に、以下の制約１、すなわち、
制約１：Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する場合は、
Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＮＧ（Ｐ＝０．０）、
それ以外は、
Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＯＫ（０．０＜Ｐ≦１．０）
このような確率を設定した処理例である。
【０２７０】
この処理の結果、図１７（ｂ）に示すように、観測情報「θ＝０，ｚｕ＝０」を取得したと想定されるターゲット（ｔＩＤ＝０）と異なるターゲット（ｔＩＤ＝２，３）の確率（ユーザ確信度）も変化することになり、各ターゲットがどのユーザに対応するかを示す確率（ユーザ確信度）が高精度にかつ効率的に更新されることになる。
【０２７１】
図１７（ｃ）は、
「θ＝１，ｚｕ＝１」
この観測情報が観測された場合の更新結果であり、
ｔＩＤ＝０がｕＩＤ＝０である確率Ｐ〜ｔＩＤ＝２がｕＩＤ＝３である確率Ｐ
これらの確率を示している。
ｔＩＤ＝１がｕＩＤ＝１である確率を高くする更新がなされ、この影響により、
ｔＩＤ＝１がｕＩＤ＝０である確率Ｐ
ｔＩＤ＝１がｕＩＤ＝２である確率Ｐ
この２つの確率が低下する。
【０２７２】
さらに、本処理例では、
ｔＩＤ＝０について、
ｕＩＤ＝０である確率が上昇、
ｕＩＤ＝１である確率が低下、
ｕＩＤ＝２である確率が上昇、
ｔＩＤ＝２について、
ｕＩＤ＝０である確率が上昇、
ｕＩＤ＝１である確率が低下、
ｕＩＤ＝２である確率が上昇、
このように、観測情報「θ＝１，ｚｕ＝１」を取得したと想定されるターゲット（ｔＩＤ＝１）と異なるターゲット（ｔＩＤ＝０，２）の確率（ユーザ確信度）も変化している。
【０２７３】
なお、図１５〜図１７を参照して説明した処理例では、制約として、
制約１：Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する場合は、
Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＮＧ（Ｐ＝０．０）、
それ以外は、
Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＯＫ（０．０＜Ｐ≦１．０）
このような制約を適用してすべてのターゲットデータに対する更新処理を行なったが、この制約を適用するのではなく、以下のような処理を行う構成としてもよい。
【０２７４】
Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する状態をターゲットデータから削除して、残存するターゲットデータに対してのみ処理を行う。
このような処理を行うことで、［Ｘｕ］の状態数をｋｎから、ｎＰｋに削減することが可能となり処理効率を高めることが可能となる。
【０２７５】
データ削減処理例について、図１８を参照して説明する。例えば、３つのターゲットＩＤ（ｔＩＤ＝０，１，２）に対応するユーザＩＤ（ｕＩＤ＝０〜２）の候補は、図１８の左側に示すように、
ｔＩＤ０，１，２＝（０，０，０）〜（２，２，２）
これらの２７通りであるが、これらの２７のデータ［Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，ｘｕ３）］において、１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する状態をターゲットデータから削除することで、図１８の右側に示す０〜５の６通りのデータとなる。
【０２７６】
音声・画像統合処理部１３１は、このように異なるターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）が設定された候補データを削除して、それ以外の候補データのみを残存させて、残存する候補データのみをイベント情報に基づく更新対象とした処理を行う構成としてもよい。
【０２７７】
この６個のデータのみを更新対象として処理を行っても図１６、図１７を参照して説明したと同様の結果が得られることになる。
【０２７８】
（ｃ）ターゲット間の独立性を排除した本発明に従った解析処理例において未登録ユーザの存在を考慮した処理例
次に、上述した［（ｂ）ターゲット間の独立性を排除した本発明に従った解析処理例］において未登録ユーザの存在を考慮した処理例について説明する。
【０２７９】
上述した［（ｂ）ターゲット間の独立性を排除した本発明に従った解析処理例］においては、登録ユーザ数１〜ｋとしてｋ人の登録ユーザのそれぞれについて（ユーザ識別子（ｕＩＤ）を、ｕＩＤ＝１〜ｋとして設定して処理を行なった。
【０２８０】
しかし、現実の処理としては、登録ユーザ以外の未登録ユーザの画像や音声が観測情報として取得されることがある。これらの未登録ユーザは、１人である場合もあり２人以上の複数である場合もある。すなわち、未登録ユーザは、登録ユーザと異なり、その数を予め規定することができない。
【０２８１】
また、一般的に識別器（顔識別器、話者識別器）は、異なる未登録ユーザを識別することはできず、この場合、ユーザ識別子は解析不可、すなわち（ＵｓｅｒＩＤ＝ｕｎｋｎｏｗｎ）という同一の観測値しか出力できない。
【０２８２】
この場合、先に説明した［（ｂ）ターゲット間の独立性を排除した本発明に従った解析処理例］において設定した制約１、すなわち、
制約１：Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、
１つでも重なるｘｕ（ＵｓｅｒＩＤ）が存在する場合はＰ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＮＧ（０．０）、
それ以外は、Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＯＫ（０．０＜Ｐ≦１．０））
この制約をそのまま適用すると問題が発生する。
【０２８３】
すなわち、複数の未登録ユーザが出現し、これらは全て同一のユーザ（ｕｎｋｎｏｗｎ）として扱われてしまうと、上記の制約において複数の同一のユーザ識別子（ｕＩＤ＝ｕｎｋｎｏｗｎ）が重なるケースがＰ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＮＧ（０．０）として設定される。このように実際の発生可能性のある状態について無視することになってしまう、
【０２８４】
そこで、上記の制約１に例外規定を付加する。
制約１：Ｐ（Ｘｕ）＝Ｐ（ｘｕ１，ｘｕ２，…，ｘｕｎ）において、
１つでも重なるｘｕ（ＵｓｅｒＩＤ）が存在する場合はＰ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＮＧ（０．０）、
それ以外は、Ｐ（Ｘｕｔ）＝Ｐ（Ｘｕｔ−１）＝ＯＫ（０．０＜Ｐ≦１．０））
例外：ただし、ｘｕ＝ｕｎｋｎｏｗｎの場合は除外
このような例外付きの制約を用いることで、未登録ユーザの出現可能性のある環境でも、上記の［（ｂ）ターゲット間の独立性を排除した本発明に従った解析処理例］を応用した処理が可能となる。
【０２８５】
［ターゲットの削除、生成処理について］
例えば画像イベント検出部１１２から入力するイベント数が、ターゲット数より多い場合には、新たなターゲットの設定を行なう。具体的には、例えばカメラの撮影する画像フレームにこれまで存在しなかった顔が出現した場合などである。このような場合は、各パーティクルに新たなターゲットを設定する。このターゲットはこの新たなイベントに対応して更新されるターゲットとして設定される。また、例えば、ターゲットに含まれるユーザ位置情報にピークが検出されない場合など、特定のユーザ位置が得られていないようなデータを削除する処理を実行しはてもよい。
【０２８６】
このように、本システムにおいて、ターゲットの削除や生成を行う場合、ターゲット数が増減する。このターゲット数の増減に応じて、状態［Ｘｕ］も変わるため、確率値も計算し直さなければならない。以下具体的なターゲットの削除処理と生成処理例について説明する。
【０２８７】
（ターゲットの削除）
本発明の情報処理装置では、ターゲットデータの更新を実行して更新されたターゲットデータと、各パーティクル重み［ＷｐＩＤ］とに基づいて、ターゲット情報を生成して、処理決定部１３２に出力する処理が行われる。例えば図２１に示すターゲット情報５２０が生成される。ターゲット情報は、各ターゲット（ｔＩＤ＝１〜ｎ）各々の
（ａ）ユーザ位置情報、
（ｂ）ユーザ確信度情報、
これらの情報を含む情報として生成される。
【０２８８】
音声・画像統合処理部１３１は、このように更新ターゲットに基づいてして生成したターゲット情報中のユーザ位置情報に着目する。ユーザ位置情報は、ガウス分布Ｎ（ｍ，σ）として設定される。このガウス分布に一定のピークが検出されない場合は、特定のユーザの位置を示す有効な情報とはならない。音声・画像統合処理部１３１は、このようなピークを持たない分布データとなるターゲットを削除対象として選択する。
【０２８９】
例えば、図１９に示すターゲット情報５２０には、ターゲット１，２，ｎの３つのターゲット情報５２１，５２２，５２３を示しているが、これらのターゲット情報中のユーザ位置を示すガウス分布データのピークと予め定めた閾値５３１との比較を実行し、閾値５３１以上のピークを持たないデータ、すなわち、図１９の例では、ターゲット情報５２３を削除ターゲットとする。
【０２９０】
この例ではターゲット（ｔＩＤ＝ｎ）が削除ターゲットとして選択され、パーティクルから削除される。このようにユーザ位置を示すガウス分布（確率密度分布）の最大値が、削除の閾値よりも小さいときに、全パーティクルに対してそのターゲットを削除する。なお、適用する閾値は、固定値でも良いし、インタラクション対象ターゲットに関しては閾値を下げて削除されにくくするなど、ターゲット毎に変える構成としてもよい。
【０２９１】
このように、ある特定のターゲットを削除する場合は、そのターゲットに関する確率値をマージ（Ｍａｒｇｉｎａｌｉｚｅ）する。図２０にｔＩＤ＝０，１，２の３ターゲットにおいて、ｔＩＤ＝０のターゲットを削除する場合の例を示す。
【０２９２】
図２０の左側の列は、ｔＩＤ＝０，１，２の３ターゲットに対応するｕＩＤの候補データとして０〜２６の２７通りのターゲットデータの設定例を示している。これらのターゲットデータから、ターゲット０を削除する場合、図２０右側の列に示すように、ｔＩＤ＝１，２の組み合わせ（０，０）〜（２，２）の９通りのデータにマージする。この場合、マージ前の２７個のデータから、ｔＩＤ＝１，２の組み合わせ（０，０）〜（２，２）の各データの組を選択して、マージ後の９通りのデータを生成する。例えば、ｔＩＤ＝１，２＝（０，０）は、ｔＩＤ＝（０，０，０）、（１，０，０）、（２，０，０）の３つのデータのマージ処理によって生成する。
【０２９３】
すなわち、このターゲットデータの削除処理における確率値の配分について説明する。例えば、ｔＩＤ＝（０，０，０）、（１，０，０）、（２，０，０）の３つのデータから、１つのｔＩＤ＝１，２＝（０，０）が生成されることになる。ｔＩＤ＝（０，０，０）、（１，０，０）、（２，０，０）の３つのデータに設定されていた確率値Ｐは、マージされてｔＩＤ＝１，２＝（０，０）に対する確率値として設定される。
【０２９４】
このように、音声・画像統合処理部１３１は、ターゲットを削除する場合において、削除ターゲットを含む候補データに対して設定されている同時生起確率の値を、ターゲット削除後に残存する候補データにマージ（Ｍａｒｇｉｎａｌｉｚｅ）する処理を実行して、さらに候補データ全体に設定された同時生起確率の値のトータルを１とする正規化処理を行う。
【０２９５】
（ターゲットの生成）
音声・画像統合処理部１３１における新たなターゲットの生成処理について、図２１を参照して説明する。新たなターゲットの生成は、例えば各パーティクルに対するイベント発生源仮説の設定時に行う。
【０２９６】
イベントと既存のｎ個の各ターゲットとのイベント−ターゲット間尤度を計算する際、暫定的にｎ＋１番目のターゲットとして図２１に示すような「位置情報」、「識別情報」に一様分布（「分散が十分大きいガウス分布」と「全Ｐｔ［ｉ］が等しいＵｓｅｒＩＤ分布」）に設定した新たな暫定新規ターゲット５５１を生成する。
【０２９７】
この暫定的な新規ターゲット（ｔＩＤ＝ｎ＋１）を設定した後、新たなイベントの入力に基づいて、イベント発生源仮説の設定が行われ、この処理の際に、入力イベント情報と各ターゲット間の尤度算出が実行されて、各ターゲットのターゲット重み［ＷｔＩＤ］の算出が行われる。このとき、図２１に示す暫定ターゲット（ｔＩＤ＝ｎ＋１）についても、入力イベント情報との尤度算出を実行して、暫定的なｎ＋１番目のターゲットのターゲット重み（Ｗｎ＋１）を算出する。
【０２９８】
この暫定的なｎ＋１番目のターゲットのターゲット重み（Ｗｎ＋１）が、既存のｎ個のターゲットのターゲット重み（Ｗ１〜Ｗｎ）より大きいと判断された場合は、その新規ターゲットを全パーティクルに対して設定する。
【０２９９】
新しくターゲットを生成する場合は、ある状態に対して新しいターゲットに関するデータを増やし、その増加データに対してユーザ分の状態を割り当て、その確率値を既存のターゲットデータに対して配分（Ｄｉｓｔｒｉｂｕｔｅ）する。
【０３００】
図２２にｔＩＤ＝１，２の２ターゲットに対して、ｔＩＤ＝３のターゲットを新たに生成して追加する場合の処理例を示す。
【０３０１】
図２２の左側の列は、ｔＩＤ＝１，２の２ターゲットに対応するｕＩＤの候補を示すターゲットデータ（０，０）〜（２，２）として９通りのデータを示している。このターゲットデータに対して、さらに、ユーザ識別子ｋ＝３の新たなユーザを設定したターゲットデータを追加する。この処理によって、図２２右側に示す０〜２６の２７通りのターゲットデータが設定される。
【０３０２】
このターゲットデータの増加処理における確率値の配分について説明する。例えば、ｔＩＤ＝１，２＝（０，０）から、ｔＩＤ＝（０，０，０）、（０，０，１）、（０，０，２）の３つのデータが生成されることになる。ｔＩＤ＝１，２＝（０，０）に設定されていた確立値Ｐは、これらの３つのデータ［ｔＩＤ＝（０，０，０）、（０，０，１）、（０，０，２）］に均等に配分される。
【０３０３】
なお、さらに、「複数ターゲットに同一ＵｓｅｒＩＤは割り振られない」などの制約に従った処理を行う場合は、それに対応する事前確率や状態数の削減を行う。また、各ターゲットデータの確率の総和が［１］にならない場合、すなわち、同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）の総和が［１］にならない場合は正規化処理を行って、総和を［１］に設定するように調整処理を行う。
【０３０４】
このように、音声。画像統合処理部１３１は、ターゲットを生成して追加する場合において、生成ターゲットの追加により増加した候補データに対してユーザ数分の状態を割り当て、既存の候補データに対して設定されていた同時生起確率の値を増加した候補データに対して配分（Ｄｉｓｔｒｉｂｕｔｅ）する処理を実行して、さらに候補データ全体に設定された同時生起確率の値のトータルを１とする正規化処理を行う。
【０３０５】
次に、図２３に示すフローチャートを参照して、上記のターゲット間の独立性を排除した解析処理を行った場合の処理シーケンスについて説明する。
【０３０６】
図２３に示す処理は、図２に示す情報処理装置１００の構成における音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、ユーザ位置情報と、ユーザ識別情報（顔識別情報または話者識別情報）、これらのイベント情報を入力して、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらの情報を生成して処理決定部１３２に出力する処理シーケンスである。
【０３０７】
まず、ステップＳ２０１において、音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらのイベント情報を入力する。
【０３０８】
イベント情報の取得に成功した場合は、ステップＳ２０２に進み、イベント情報の取得に失敗した場合は、ステップＳ２２１に進む。ステップＳ２２１の処理については後段で説明する。
【０３０９】
イベント情報の取得に成功した場合は、音声・画像統合処理部１３１は、ステップＳ２０２以下において、入力情報に基づくパーティクル更新処理を行うことになるが、パーティクル更新処理の前に、まずステップＳ２０２において、各パーティクルに対する新たなターゲットの設定が必要であるか否かを判定する。。
【０３１０】
例えば画像イベント検出部１１２から入力するイベント数が、ターゲット数より多い場合には、新たなターゲットの設定を行なうことが必要となる。具体的には、カメラの取得する画像フレームにこれまで存在しなかった顔が出現した場合などである。このような場合は、ステップＳ２０３に進み、各パーティクルに新たなターゲットを設定する。このターゲットはこの新たなイベントに対応して更新されるターゲットとして設定される。なお、この新たなターゲットデータの生成に際しては、図２０を参照して説明したように、ある状態に対して新しいターゲットに関するデータを増やし、その増加データに対してユーザ分の状態を割り当て、その確率値を既存のターゲットデータに対して配分（Ｄｉｓｔｒｉｂｕｔｅ）する確率値の設定処理を行う。
【０３１１】
次に、ステップＳ２０４において、音声・画像統合処理部１３１に設定されたパーティクル１〜ｍのｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の各々にイベントの発生源の仮説を設定する。イベント発生源とは、例えば、音声イベントであれば、話をしたユーザがイベント発生源であり、画像イベントであれば、抽出した顔を持つユーザがイベント発生源である。
【０３１２】
ステップＳ２０４における仮説設定の後、ステップＳ２０５に進む。ステップＳ２０５では、各パーティクル対応の重み、すなわちパーティクル重み［ＷｐＩＤ］の算出を行う。このパーティクル重み［ＷｐＩＤ］は初期的には各パーティクルに均一な値が設定されるが、イベント入力に応じて更新される。
【０３１３】
パーティクル重み［ＷｐＩＤ］の算出処理の詳細については、先に図９、図１０を参照して説明した通りである。パーティクル重み［ＷｐＩＤ］は、イベント発生源の仮説ターゲットを生成した各パーティクルの仮説の正しさの指標に相当する。パーティクル重み［ＷｐＩＤ］は、ｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の各々において設定されたイベント発生源の仮説ターゲットと、入力イベントとの類似度であるイベント−ターゲット間尤度として算出される。
【０３１４】
次に、ステップＳ２０６において、ステップＳ２０５で設定した各パーティクルのパーティクル重み［ＷｐＩＤ］に基づくパーティクルのリサンプリング処理を実行する。
【０３１５】
このパーティクルリサンプリング処理は、ｍ個のパーティクルから、パーティクル重み［ＷｐＩＤ］に応じてパーティクルを取捨選択する処理として実行される。具体的には、例えば、パーティクル数：ｍ＝５のとき、
パーティクル１：パーティクル重み［ＷｐＩＤ］＝０．４０
パーティクル２：パーティクル重み［ＷｐＩＤ］＝０．１０
パーティクル３：パーティクル重み［ＷｐＩＤ］＝０．２５
パーティクル４：パーティクル重み［ＷｐＩＤ］＝０．０５
パーティクル５：パーティクル重み［ＷｐＩＤ］＝０．２０
これらのパーティクル重みが各々設定されていた場合、
パーティクル１は、４０％の確率でリサンプリングされ、パーティクル２は１０％の確率でリサンプリングされる。なお、実際にはｍ＝１００〜１０００といった多数であり、リサンプリングされた結果は、パーティクルの重みに応じた配分比率のパーティクルによって構成されることになる。
【０３１６】
この処理によって、パーティクル重み［ＷｐＩＤ］の大きなパーティクルがより多く残存することになる。なお、リサンプリング後もパーティクルの総数［ｍ］は変更されない。また、リサンプリング後は、各パーティクルの重み［ＷｐＩＤ］はリセットされ、新たなイベントの入力に応じてステップＳ２０１から処理が繰り返される。
【０３１７】
ステップＳ２０７では、各パーティクルに含まれるターゲットデータ（ユーザ位置およびユーザ確信度）の更新処理を実行する。各ターゲットは、先に図６等を参照して説明したように、
（ａ）ユーザ位置：各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍｔ，σｔ）］、
（ｂ）ユーザ確信度：各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確立値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）、すなわち、
ｕＩＤｔ１＝Ｐｔ［１］
ｕＩＤｔ２＝Ｐｔ［２］
：
ｕＩＤｔｋ＝Ｐｔ［ｋ］
これらのデータによって構成される。
【０３１８】
ステップＳ２０７におけるターゲットデータの更新は、（ａ）ユーザ位置、（ｂ）ユーザ確信度の各々について実行する。（ａ）ユーザ位置の更新処理は、先に［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］において説明した図７に示すフローにおけるステップＳ１０５の処理と同様の処理となる。すなわち、ユーザ位置の更新は、
（ａ１）全パーティクルの全ターゲットを対象とする更新処理、
（ａ２）各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
これらの２段階の更新処理として実行する。
【０３１９】
（ｂ）ユーザ確信度の更新処理では、先に説明した式（式１１）を適用した処理を行う。すなわち、ターゲット間の独立性を排除した処理であり、先に説明したユーザ識別情報（ＵｓｅｒＩＤ）に対応する式（式５）に基づいて生成した式（式１１）、すなわち、
Ｐ（Ｘｕｔ｜θｔ，ｚｕｔ，Ｘｕｔ−１）・・・（式５）
＝Ｒ×Ｐ（θｔ，ｚｕｔ｜Ｘｕｔ）Ｐ（Ｘｕｔ−１｜Ｘｕｔ）Ｐ（Ｘｕｔ）／Ｐ（Ｘｕｔ−１）・・・（式１１）
上記式を適用し、さらに、複数の異なるターゲットに同一のユーザ識別情報であるユーザ識別子（ＵｓｅｒＩＤ）を割り振らないという制約で処理を実行する。
【０３２０】
さらに、図１５〜図１７を参照して説明した同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）、すなわち、全てのターゲットに対して全てのユーザＩＤを対応付けたデータについての同時生起確率を算出して、イベント情報として入力する観測値に基づく同時生起確率の更新を実行して、各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）を算出する処理を行う。
【０３２１】
さらに、先に図１７を参照して説明したように、複数の候補データの確率値を加算、すなわちマージ（Ｍａｒｇｉｎａｌｉｚｅ）することにより各ターゲット（ｔＩＤ）に対応するユーザ識別子を求める。以下の式を適用して算出する。
Ｐ（ｘｕｉ）＝ΣＸｕ＝ｘｕｉＰ（Ｘｕ）
【０３２２】
この結果得られたユーザ確信度情報と、ユーザ位置情報を含むターゲット情報が処理決定部に出力され。
【０３２３】
ステップＳ２０８では、音声・画像統合処理部１３１は、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）の各々がイベントの発生源である確率を算出し、これをシグナル情報として処理決定部１３２に出力する。
【０３２４】
先に説明したように、イベント発生源を示す［シグナル情報］は、音声イベントについては、誰が話をしたか、すなわち［話者］を示すデータであり、画像イベントについては、画像に含まれる顔が誰であるかを示すデータである。
【０３２５】
音声・画像統合処理部１３１は、各パーティクルに設定されたイベント発生源の仮説ターゲットの数に基づいて、各ターゲットがイベント発生源である確率を算出する。
すなわち、ターゲット（ｔＩＤ＝１〜ｎ）の各々がイベント発生源である確率を［Ｐ（ｔＩＤ＝ｉ）とする。ただしｉ＝１〜ｎである。このとき、各ターゲットがイベント発生源である確率は、以下のように算出される。
Ｐ（ｔＩＤ＝１）：ｔＩＤ＝１を割り当てた数／ｍ
Ｐ（ｔＩＤ＝２）：ｔＩＤ＝２を割り当てた数／ｍ
：
Ｐ（ｔＩＤ＝ｎ）：ｔＩＤ＝ｎを割り当てた数／ｍ
音声・画像統合処理部１３１は、この算出処理によって、生成した情報、すなわち、各ターゲットがイベント発生源である確率を［シグナル情報］として、処理決定部１３２に出力する。
【０３２６】
ステップＳ２０８の処理が終了したら、ステップＳ２０１に戻り、音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力の待機状態に移行する。
【０３２７】
以上が、図２３に示すフローのステップＳ２０１〜Ｓ２０８の説明である。ステップＳ２０１において、音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報を取得できなかった場合も、ステップＳ２２１において、各パーティクルに含まれるターゲットの構成データの更新が実行される。この更新は、時間経過に伴うユーザ位置の変化を考慮した処理である。
【０３２８】
このターゲット更新処理は、先のステップＳ２０７の説明における（ａ１）全パーティクルの全ターゲットを対象とする更新処理と同様の処理であり、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマン・フィルタ（Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）を用い更新される。
【０３２９】
この処理は、先に先に［（１）イベント情報入力に基づく仮説更新によるユーザ位置およびユーザ識別処理］において説明した図７に示すフローにおけるステップＳ１２１の処理と同様の処理となる。
【０３３０】
ステップＳ２２１の処理が終了したら、ステップＳ２２において、ターゲットの削除要否を判定し必要であればステップＳ２２３においてターゲットを削除する。ターゲット削除は、例えば、ターゲットに含まれるユーザ位置情報にピークが検出されない場合など、特定のユーザ位置が得られていないようなデータを削除する処理として実行される。このようなターゲットがない場合は削除処理は不要となる。
【０３３１】
ステップＳ２２２〜Ｓ２２３の処理後にステップＳ２０１に戻り、音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力の待機状態に移行する。
【０３３２】
以上、図２３を参照して音声・画像統合処理部１３１の実行する処理について説明した。音声・画像統合処理部１３１は、図２３に示すフローに従った処理を音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力ごとに繰り返し実行する。この繰り返し処理により、より信頼度の高いターゲットを仮説ターゲットとして設定したパーティクルの重みが大きくなり、パーティクル重みに基づくリサンプリング処理により、より重みの大きいパーティクルが残存することになる。
【０３３３】
結果として音声イベント検出部１２２および画像イベント検出部１１２から入力するイベント情報に類似する信頼度の高いデータが残存することになり、最終的に信頼度の高い以下の各情報、すなわち、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらが生成されて処理決定部１３２に出力される。
【０３３４】
本発明に従ったターゲット間の独立性を排除した処理を行うことで、１つの観測値で、全ターゲットのユーザ確信度を示すデータの更新が行われることになり効率的にかつ高精度なユーザ特定処理が実現されることになる。
【０３３５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０３３６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０３３７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０３３８】
以上、説明したように、本発明の一実施例の構成によれば、カメラやマイクによって取得される画像情報や音声情報に基づいてユーザの識別データを含むイベント情報を入力して、複数のユーザ確信度を設定したターゲットデータの更新を実行してユーザ識別情報を生成する構成において、各ターゲットと各ユーザとを対応づけた候補データの同時生起確率（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｔｙ）を、イベント情報に含まれるユーザ識別情報に基づいて更新し、更新された同時生起確率の値を適用してターゲット対応のユーザ確信度を算出する構成としたので、異なるターゲットが同一ユーザとして推定されるといった誤った推定を行うことのない精度の高いユーザ識別処理を効率的に実行することが可能となる。
【図面の簡単な説明】
【０３３９】
【図１】本発明に係る情報処理装置の実行する処理の概要について説明する図である。
【図２】本発明の一実施例の情報処理装置の構成および処理について説明する図である。
【図３】音声イベント検出部１２２および画像イベント検出部１１２が生成し音声・画像統合処理部１３１に入力する情報の例について説明する図である。
【図４】パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ）を適用した基本的な処理例について説明する図である。
【図５】本処理例で設定するパーティクルの構成について説明する図である。
【図６】各パーティクルに含まれるターゲット各々が有するターゲットデータの構成について説明する図である。
【図７】音声・画像統合処理部１３１の実行する処理シーケンスを説明するフローチャートを示す図である。
【図８】ターゲット重み［ＷｔＩＤ］の算出処理の詳細について説明する図である。
【図９】パーティクル重み［ＷｐＩＤ］の算出処理の詳細について説明する図である。
【図１０】パーティクル重み［ＷｐＩＤ］の算出処理の詳細について説明する図である。
【図１１】ターゲット数ｎ＝２（ターゲットＩＤ（ｔＩＤ＝０〜１））、登録ユーザ数ｋ＝３（ユーザＩＤ（ｕＩＤ＝０〜２））の場合の事前確率Ｐの算出処理例を示す図である。
【図１２】ターゲット数ｎ＝２（０〜１）、登録ユーザ数ｋ＝３（０〜２）の場合の状態遷移確率Ｐの算出例を示す図である。
【図１３】ターゲット間の独立性を保持した処理例であり、観測情報が順に観測された場合のターゲットＩＤ（２，１，０）に対するユーザＩＤ（０〜２）の確率値、すなわちユーザ確信度の遷移例を示す図である。
【図１４】図１３に示す処理によって得られるマージ（Ｍａｒｇｉｎａｌｉｚｅ）結果について説明する図である。
【図１５】ターゲット数ｎ＝３（０〜２）、登録ユーザ数ｋ＝３（０〜２）の場合において、「複数ターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）は割り振られない」という制約に従った初期状態設定例を示す図である。
【図１６】「複数ターゲットに同一のユーザ識別子（ＵｓｅｒＩＤ）は割り振られない」という制約を適用して、ターゲット間の独立性を排除した本発明に従った解析処理例を説明する図である。
【図１７】図１６に示す処理によって得られるマージ（Ｍａｒｇｉｎａｌｉｚｅ）結果について説明する図である。
【図１８】１つでも重なるｘｕ（ユーザ識別子（ＵｓｅｒＩＤ））が存在する状態をターゲットデータから削除するデータ削減処理例について説明する図である。
【図１９】音声・画像統合処理部１３１におけるターゲットの削除処理について説明する図である。
【図２０】ｔＩＤ＝０，１，２の３ターゲットにおいて、ｔＩＤ＝０のターゲットを削除する場合の処理例について説明する図である。
【図２１】音声・画像統合処理部１３１における新たなターゲットの生成処理について説明する図である。
【図２２】ｔＩＤ＝１，２の２ターゲットに対して、ｔＩＤ＝３のターゲットを新たに生成して追加する場合の処理例について説明する図である。
【図２３】ターゲット間の独立性を排除した解析処理を行った場合の処理シーケンスについて説明するフローチャートを示す図である。
【符号の説明】
【０３４０】
１１〜１４  ユーザ
２１  カメラ
３１〜３４  マイク
１００  情報処理装置
１１１  画像入力部
１１２  画像イベント検出部
１２１  音声入力部
１２２  音声イベント検出部
１３１  音声・画像統合処理部
１３２  処理決定部
２０１〜２０ｋ  ユーザ
３０１  ユーザ
３０２  画像データ
３０５  ターゲット情報
３１１  ターゲットデータ
４０１  イベント情報
４１１〜４１３  パーティクル
４２１〜４２３  ターゲット
５０１，５０２  事前確率データ
５１１，５１２  状態遷移確率データ
５２０  ターゲット情報
５２１〜５２３  ターゲット情報
５３１  閾値
５５１  暫定新規ターゲット
【図７】
2010020374.tif 000006
【図１１】
2010020374.tif 000007
【図１２】
2010020374.tif 000008
【図１３】
2010020374.tif 000009
【図１５】
2010020374.tif 000010
【図１６】
2010020374.tif 000011
【図１８】
2010020374.tif 000012
【図２０】
2010020374.tif 000013
【図２２】
2010020374.tif 000014
【図２３】
2010020374.tif 000015
【図１】
2010020374.tif 000016
【図２】
2010020374.tif 000017
【図３】
2010020374.tif 000018
【図４】
2010020374.tif 000019
【図５】
2010020374.tif 000020
【図６】
2010020374.tif 000021
【図８】
2010020374.tif 000022
【図９】
2010020374.tif 000023
【図１０】
2010020374.tif 000024
【図１４】
2010020374.tif 000025
【図１７】
2010020374.tif 000026
【図１９】
2010020374.tif 000027
【図２１】
2010020374.tif 000028