(57)【要約】【課題】環境中の物体等の学習を、容易に行う。【解決手段】前景状態推定部は、実際に観測される実画像を用いて、画像の前景の状態を推定する。見えモデル更新部１４は、前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前景の見えの前景見えモデルを更新する。本技術は、例えば、物体を操作するエージェントの学習を行う場合等に適用できる。【選択図】図２１
2013191163.tif 000002
【特許請求の範囲】
【請求項１】
実際に観測される画像である実画像を用いて、画像の前景の状態を推定する前景状態推定部と、
前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルを更新する見えモデル更新部と
を備える情報処理装置。
【請求項２】
前記前景のアクションと、前記前景の状態の推定結果から得られる前記前景の最尤状態の状態系列とを用いて、前記前景の運動モデルを推定する運動モデル推定部と、
前記運動モデルの推定結果を用いて、前記運動モデルを更新する運動モデル更新部と
を、さらに備える
請求項１に記載の情報処理装置。
【請求項３】
前記背景見えモデルは、前記背景のテクスチャを表す背景テクスチャモデルを含み、
前記前景見えモデルは、前記前景のテクスチャを表す前景テクスチャモデルと、前記前景の形状を表す前景形状モデルとを含み、
前記前景の状態は、前記前景の位置及び位置変化の速度、並びに、姿勢及び姿勢変化の速度を含み、
前記前景の運動モデルは、前記前景の質量、質量の重心、及び、重心回りの慣性モーメントを含み、
前記前景のアクションは、前記前景に加えられる力と、前記力が加えられる位置とを含む
請求項２に記載の情報処理装置。
【請求項４】
前記背景見えモデル、前記前景見えモデル、及び、前記運動モデルは、EMアルゴリズムに従って更新される
請求項３に記載の情報処理装置。
【請求項５】
前記背景見えモデル、前記前景見えモデル、及び、前記運動モデルは、パーティクルフィルタを用いたEMアルゴリズムに従って更新される
請求項４に記載の情報処理装置。
【請求項６】
前記前景状態推定部は、前記前景の状態を表すパーティクルである状態パーティクルの重みと、前記状態パーティクルの遷移先とを算出する処理を、前記パーティクルフィルタを用いたEMアルゴリズムのEステップとして行う
請求項５に記載の情報処理装置。
【請求項７】
前記前景状態推定部は、
前記前景の状態が、前記状態パーティクルが表す状態である場合に、画像の観測値を生成する生成モデルにおいて観測される観測値の観測尤度に対応する値を、前記状態パーティクルの重みとして算出するとともに、
前記状態パーティクルが、前記状態パーティクルが表す前記前景の状態のうちの前記位置変化の速度、及び、前記姿勢変化の速度に従い、かつ、確率的に揺らぎながら遷移することとして、前記状態パーティクルの遷移先を算出し、
前記生成モデルでは、
前記前景見えモデルが表す画像上の点については、前記前景テクスチャモデルが表すテクスチャと、前記背景テクスチャモデルが表すテクスチャとを、前記前景形状モデルをα値としてαブレンディングし、
前記前景見えモデルが表す画像上の点以外の点については、前記背景テクスチャモデルが表すテクスチャを採用する
ことにより、前記生成モデルにおいて観測される前記画像の観測値が生成される
請求項６に記載の情報処理装置。
【請求項８】
前記前景状態推定部は、前記状態パーティクルが、さらに、前記アクション及び前記運動モデルに従って遷移することとして、前記状態パーティクルの遷移先を算出する
請求項７に記載の情報処理装置。
【請求項９】
前記見えモデル更新部は、
前記状態パーティクルが表す状態に従って、前記実画像から画像を切り出し、前記実画像から切り出した画像である切り出し画像を、前記状態パーティクルの重みに従って重み付け加算することにより、前記前景テクスチャモデルを更新する処理、
前記状態パーティクルが表す状態に従って、前記実画像から、前記状態に対応する前景を除去し、前記前景を除去した実画像を、前記状態パーティクルの重みに従って重み付け加算することにより、前記背景テクスチャモデルを更新する処理、
及び、前記前景テクスチャモデルが表すテクスチャの各画素が前景であることの尤度、及び、背景であることの尤度を求め、前記前景であることの尤度、及び、背景であることの尤度を用いて、前記前景テクスチャモデルが表すテクスチャの各画素が前景である確率を求めることにより、前記前景形状モデルを更新する処理
を、前記パーティクルフィルタを用いたEMアルゴリズムのMステップとして行う
請求項６に記載の情報処理装置。
【請求項１０】
前記見えモデル更新部は、
前記切り出し画像を、前記状態パーティクルの重みに従って重み付け加算した重み付け加算値を、所定時間分だけ平均化することにより、前記前景テクスチャモデルを更新するとともに、
前記前景を除去した実画像を、前記状態パーティクルの重みに従って重み付け加算した重み付け加算値を、所定時間分だけ平均化することにより、前記背景テクスチャモデルを更新する
請求項９に記載の情報処理装置。
【請求項１１】
前記見えモデル更新部は、複数の前景見えモデルについては、
前記複数の前景見えモデルを、順次、注目する注目モデルとして、直前に注目モデルであった前景見えモデルが表す前景が除去された除去画像から、前記状態パーティクルが表す状態に従って、前記状態に対応する前景を除去し、前記前景を除去した除去画像を、前記状態パーティクルの重みに従って重み付け加算する
ことを繰り返すことにより、前記背景テクスチャモデルを更新する
請求項９に記載の情報処理装置。
【請求項１２】
前記運動モデル推定部は、前記運動モデルを表すパーティクルである運動モデルパーティクルの重みと、前記運動モデルパーティクルの遷移先とを算出する処理を、前記パーティクルフィルタを用いたEMアルゴリズムのEステップとして行う
請求項５に記載の情報処理装置。
【請求項１３】
前記運動モデル推定部は、
前記運動モデルパーティクルが表す運動モデルにおいて観測される前記前景の状態の状態系列の観測尤度に対応する値を、前記運動モデルパーティクルの重みとして算出するとともに、
前記運動モデルパーティクルが、確率的に揺らぎながら遷移することとして、前記運動モデルパーティクルの遷移先を算出する
請求項１２に記載の情報処理装置。
【請求項１４】
前記前景の最尤状態を求める最尤状態算出部をさらに備え、
前記運動モデル推定部は、前記前景のアクション、及び、前記運動モデルパーティクルを用いて生成される前記前景の状態の状態系列と、前記前景の最尤状態の状態系列との誤差に対応する値を、前記前景の状態の状態系列の観測尤度として求める
請求項１３に記載の情報処理装置。
【請求項１５】
前記運動モデル更新部は、前記運動モデルパーティクルが表す運動モデルを、前記運動モデルパーティクルの重みに従って重み付け加算することにより、前記運動モデルを更新する処理を、前記パーティクルフィルタを用いたEMアルゴリズムのMステップとして行う
請求項１２に記載の情報処理装置。
【請求項１６】
前記前景見えモデル、及び、前記運動モデルを用いて、１の前景を、所定の目標状態にするための他の１の前景のアクションを生成するアクション生成部をさらに備える
請求項５に記載の情報処理装置。
【請求項１７】
前記アクション生成部は、前記１の前景を、並進運動させるアクションと、回転運動させるアクションとを生成する
請求項１６に記載の情報処理装置。
【請求項１８】
前記アクション生成部は、前記１の前景を、並進運動させるアクションと、回転運動させるアクションとのうちの一方のアクションを、前記１の前景の状態と前記目標状態との誤差が小さくなるまで生成し続け、その後、他方のアクションを生成する
請求項１７に記載の情報処理装置。
【請求項１９】
実際に観測される画像である実画像を用いて、画像の前景の状態を推定し、
前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルを更新する
ステップを含む情報処理方法。
【請求項２０】
実際に観測される画像である実画像を用いて、画像の前景の状態を推定する前景状態推定部と、
前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルを更新する見えモデル更新部と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、ロボット等の、アクションを行うことが可能なエージェントがアクションを行う環境中の物体等の学習を、容易に行うことができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来、ある環境をカメラで撮影することによって得られる画像を用いて、その環境中の物体の学習（や認識）を行うには、学習対象（や認識対象）の画像領域の切り出しを行う必要がある。
【０００３】
学習対象の画像領域を切り出す方法としては、主に学習対象の外見に関する事前知識を用いるアプローチ（特許文献１）と、対象物体の運動を利用するアプローチ（特許文献２,３，４）がある。
【０００４】
外見に関する事前知識を用いるアプローチでは、物体を特定するためのマーキングや、あらかじめ学習対象（対象物体）に関して学習を行うことで認識モデルを作っておくことが行われる。
【０００５】
対象物体の運動を利用するアプローチでは、画像差分やオプティカルフローなどを用いて運動している画像領域のみが抽出される。
【０００６】
ところで、例えば、ロボットが物体を操作する物体操作タスクでは、操作対象の物体と、ロボットが物体を操作する（ロボット自体の）ハンドとを区別する必要がある。
【０００７】
このため、外見に関する事前知識を用いるアプローチでは、物体とハンドに、それぞれを区別するためのラベルをマーキングしておき、ロボットが、そのラベルを識別する必要がある。また、対象物体の運動を利用するアプローチでは、カメラで撮影された画像から切り出した画像領域が、物体の画像領域かどうかを認識する必要がある。
【０００８】
さらに、カメラで撮影された画像から切り出した画像領域が、対象物体の画像領域であるかどうかを認識するにあたっては、その認識を行う認識器に、ハンドと物体とを区別することができるように、ハンドを指定しておく（ハンドの知識を与えておく）必要がある。
【０００９】
また、特許文献４に記載の技術では、カメラで撮像された画像中で、ハンドを含むロボットアームがどのように写るかや、ロボットアームに対してどのようなコマンドを出力すると、ロボットアームの手先位置（ハンド）がどこに移動するか等といった幾何モデルが、あらかじめ作成され、その幾何モデルに従って物体操作が行われる。
【００１０】
特許文献４に記載の技術では、以上のような幾何モデルに従って物体操作が行われるため、カメラとロボットアームの相対位置を変化させた場合や、カメラのレンズを交換した場合、ロボットアームのサイズを変化させた場合等には、そのつど、幾何モデルを、人手によって修正する必要がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平7-88791号公報
【特許文献２】特開平5-282275号公報
【特許文献３】特開平7-29081号公報
【特許文献４】特開2005-128959号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ロボット等の、アクションを行うことが可能なエージェントがアクションを行う環境中の物体の学習を行う場合、物体を特定するためのマーキングや、運動している画像領域の抽出を行う必要があり、面倒であった。
【００１３】
本技術は、このような状況に鑑みてなされたものであり、ロボット等の、アクションを行うことが可能なエージェントがアクションを行う環境中の物体等の学習を、容易に行うことができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の一側面の情報処理装置、又は、プログラムは、実際に観測される画像である実画像を用いて、画像の前景の状態を推定する前景状態推定部と、前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルを更新する見えモデル更新部とを備える情報処理装置、又は、情報処理装置として、コンピュータを機能させるためのプログラムである。
【００１５】
本技術の一側面の情報処理方法は、実際に観測される画像である実画像を用いて、画像の前景の状態を推定し、前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルを更新するステップを含む情報処理方法である。
【００１６】
本技術の一側面においては、実際に観測される画像である実画像を用いて、画像の前景の状態が推定され、前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルが更新される。
【００１７】
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１８】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１９】
本技術の一側面によれば、環境中の物体等の学習を、容易に行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本技術の概要を説明する図である。
【図２】本技術が適用される環境の例を説明する図である。
【図３】前景モデル#i、及び、背景モデル、並びに、前景モデル#i、及び、背景モデルを用いて生成される観測画像xtの例を示す図である。
【図４】前景#iの状態zitを説明する図である。
【図５】前景#iの運動モデルaiを説明する図である。
【図６】前景#iのアクションuitを説明する図である。
【図７】前景モデル#i、及び、背景モデルを用いて、観測画像を生成する生成モデルのグラフィカルモデルの例を示す図である。
【図８】EMアルゴリズムを説明するフローチャートである。
【図９】モデルθのグラフィカルモデルの例を示す図である。
【図１０】パーティクルフィルタを説明する図である。
【図１１】ルーレット法を説明する図である。
【図１２】等間隔サンプリングを説明する図である。
【図１３】前景モデル#i、及び、背景モデルを用いて、観測画像を生成する生成モデルθの実装の例を示す図である。
【図１４】パーティクルの重みwi(l)tを用いた前景テクスチャモデルτiの更新を説明する図である。
【図１５】背景テクスチャモデルτwの更新を説明する図である。
【図１６】エージェントによる物体操作を説明する図である。
【図１７】操作対象の物体の現在の状態と、目標状態とを示す図である。
【図１８】物体の並進運動を説明する図である。
【図１９】物体の回転運動を説明する図である。
【図２０】ハンドの初期位置を説明する図である。
【図２１】本技術を適用したエージェントの一実施の形態の構成例を示すブロック図である。
【図２２】前景状態推定部１３の構成例を示すブロック図である。
【図２３】運動モデル推定部１８の構成例を示すブロック図である。
【図２４】アクション生成部２２の構成例を示すブロック図である。
【図２５】エージェントが行う、前景モデル、背景モデル、及び、運動モデルの学習処理の概要を説明するフローチャートである。
【図２６】エージェントが行う、前景モデル、背景モデル、及び、運動モデルの学習処理の詳細を説明するフローチャートである。
【図２７】エージェントが物体操作のために行うアクション制御処理の概要を説明するフローチャートである。
【図２８】エージェントが物体操作のために行うアクション制御処理の詳細を説明するフローチャートである。
【図２９】シミュレーションの結果を、模式的に示す図である。
【図３０】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
［第0章  本技術の概要］
【００２２】
図１は、本技術の概要を説明する図である。
【００２３】
本技術は、環境中の物体を操作することが可能なマニピュレータとしてのハンド等と、環境を観測（撮影）することが可能なカメラ等とを具備したロボット等の、アクション可能なエージェントによって、実環境下での物体操作を実現する際に必要な環境、物体、及び、ハンド等の身体（エージェントの可動部分）のモデルを、カメラで観測される画像から学習し、そのモデルを用いて状態認識を行うためのアルゴリズムに関する技術である。
【００２４】
本技術では、特に、環境中の物体に関するモデル（操作対象とする物体の外観や、加えられた加速度によって、その物体が環境下でどのように運動するかを決定する動力学パラメータ等）を、設計者が、あらかじめ作り込むことなく、エージェントが環境とのインタラクションを通じて得た経験から、学習により自己組織的に獲得する。
【００２５】
さらに、本技術では、例えば、カメラで観測される画像が、高解像度の画像になった場合や、環境中の物体の姿勢が変化すること等により、表現すべき状態変数の粒度が細かくなった場合、次元が増加した場合であっても、高速に学習を行う。
【００２６】
本技術では、エージェントと環境とのインタラクションを通じて得られた物体操作の経験は、エージェントに搭載されたカメラを通じて、画像時系列として、学習器に入力される。
【００２７】
ここで、ハンドや物体に明示的なマーカが添付されておらず、ハンドや物体の外観に関する事前知識が何も与えられない状態から学習を開始し、ハンドや物体が混在して運動している様子が映っている画像から、ハンドや物体の外観や運動に関するモデルを学習することは、一般に困難である。また、表現すべき状態変数の粒度が細かくなった場合や、次元が増加した場合に、学習のための計算量が飛躍的に増大するのでは、実環境下でのエージェントの制御のような実時間性を求められる条件下での実用性に問題が生じる。
【００２８】
本技術では、カメラで観測される画像を、エージェントのハンドや、操作対象の物体（前景）の外観や運動に関するモデルと、物体操作を行う環境（背景）のモデルとに分離して表現し、画像の観測系列（画像の観測値の系列）を説明するためのフレームワークを用意する。
【００２９】
さらに、本技術では、物体操作の経験等が映った画像の観測系列に基づき、確率モデルの最尤推定の手法（EM(Expectation Maximization)アルゴリズム）を用いて、逐次的にモデルのパラメータを推定することで、経験から自己組織的にモデルを学習する。
なお、画像の観測系列としては、例えば、ビデオカメラで撮影した動画や、コンピュータゲームの画面をキャプチャした動画等を採用することができる。
【００３０】
また、本技術では、観測モデル（後述する前景見えモデル、背景見えモデル）のフレームワークを拡張することにより、３次元の環境から観測された画像の観測系列を用いて、モデルの学習を行うことができるが、以下では、説明を簡単にするために、２次元の環境から観測された画像の観測系列をモデルの学習に用いることとして、説明を行う。
【００３１】
さらに、以下の説明では、観測モデルの実装として、画像のテンプレートを用いるが、観測モデルとしては、その他、例えば、画像の局所特徴量等を採用することが可能である。
【００３２】
［第1章  環境設定］
【００３３】
図２は、本技術が適用される環境の例を説明する図である。
【００３４】
図２では、２次元平面としての環境に、Ｌ字型の物体と、エージェントのハンドとが置かれている。
【００３５】
エージェントのハンドは、腕に相当するアームの先端に取り付けられており、エージェントが、アームを動かすことによって、そのアームの先端に取り付けられたハンドも動く。したがって、ハンドは、エージェントが自律的に動かすことができる。
【００３６】
一方、Ｌ字型の物体は、自律的に動くことはなく、ハンド等の外部から力が加えられたときに、その加えられた力に従って動く。
【００３７】
エージェントでは、カメラによって環境が撮影され、背景として、環境が映り、その背景に重なる前景として、位置や姿勢を変化させながら動くＬ字型の物体、及び、ハンドが映った画像が観測される。
【００３８】
なお、図２では、２次元の環境を図示してあるが、上述したように、本技術は、３次元の環境にも適用することができる。
【００３９】
また、図２では、エージェントにおいて観測される画像には、Ｌ字型の物体に対応する前景と、ハンドに対応する前景との２つの前景が存在するが、画像に存在する前景は、１つであってもよいし、３つ以上であってもよい。
【００４０】
本技術では、画像に存在する前景のうちのi番目の前景#iについて、時刻tでの重心（慣性質量の重心）の位置や姿勢等の状態をzitと、運動モデルをaiと、移動等のために時刻tに前景が行ったアクション、又は、前景に加えられたアクションをuitと、それぞれ表す。
【００４１】
また、画像の背景を表すモデルを、背景モデルというとともに、画像の前景#iを表すモデルを、前景モデル#iともいう。
【００４２】
前景モデル#iは、前景#iの見えのモデルである前景見えモデルμiを含む。
【００４３】
前景見えモデルμiは、前景#iのテクスチャを表す前景テクスチャモデルτiと、前景#iの形状を表す前景形状モデルσiとを含み、式（１）で表現される。
【００４４】
【数１】
2013191163.tif 000003
・・・（１）
【００４５】
背景モデルは、背景の見えのモデルである背景見えモデルμwを含む。
【００４６】
背景見えモデルμwは、背景全体のテクスチャを表す背景テクスチャモデルτwを含み、式（２）で表現される。
【００４７】
【数２】
2013191163.tif 000004
・・・（２）
【００４８】
本技術では、画像の観測値を生成する生成モデルが、以上のような前景モデル#i、及び、背景モデルを含み、各時刻tの画像の観測値（以下、観測画像ともいう）xtを生成する。
【００４９】
図３は、前景モデル#i、及び、背景モデル、並びに、前景モデル#i、及び、背景モデルを含む生成モデルにおいて生成される観測画像xtの例を示す図である。
【００５０】
前景モデル#iにおいて、前景見えモデルμiの前景テクスチャモデルτiと前景形状モデルσiとは、例えば、同一のサイズの画像であり、そのサイズとしては、前景のサイズとして想定される最大のサイズを採用することができる。
【００５１】
前景テクスチャモデルτiとしての画像は、前景#iのテクスチャとしての値（例えば、RGB等）を、各画素（ピクセル、ボクセル）の画素値として有する。
【００５２】
前景形状モデルσiとしての画像は、例えば、0ないし1の範囲の連続値を、各画素の画素値として有する。前景形状モデルσiの各画素の画素値は、その画素が、前景（が映っている画素）である確率を表す。
【００５３】
いま、同一位置の画素の画素値どうしの積を、*で表すこととすると、前景見えモデルμiに含まれる前景テクスチャモデルτiと、前景形状モデルσiとの同一位置の画素の画素値どうしの積τi*σiによって、前景#iの見えが表現される。
【００５４】
図３では、２つの前景見えモデルμ1及びμ2が、背景見えモデルμw＝τwに重畳され、観測画像xtが生成されている。
【００５５】
図４は、前景#iの状態zitを説明する図である。
【００５６】
前景#iの状態zitについては、環境（背景）における前景#iの、いわば絶対的な状態を表現するための座標系としての世界座標系Oと、世界座標系O上での前景#iの状態によらず、前景モデル（前景見えモデル）における前景の状態を表現するための座標系としてのローカル座標系O'が定義される。ローカル座標系O'は、前景モデルごとに定義される。
【００５７】
世界座標系Oとしては、例えば、背景見えモデルμw＝τwの上から下方向をs1軸とし、左から右方向をs2軸とするとともに、背景見えモデルμw＝τwの左上の点を原点とする２次元座標系を採用することができる。
【００５８】
ローカル座標系O'としては、例えば、前景見えモデルμ（前景テクスチャモデルτi、前景形状モデルσi）の上から下方向をr1軸とし、左から右方向をr2軸とするとともに、前景見えモデルμの左上の点を原点とする２次元座標系を採用することができる。
【００５９】
なお、ローカル座標系O'は、デフォルト（例えば、t=0）では、例えば、r1軸がs1軸と平行で、r2軸がs2軸と平行になっていることとする。図４において、点線の２次元座標系は、デフォルトのローカル座標系O'を表している。
【００６０】
前景#iの状態zitは、例えば、時刻tの前景#i（前景見えモデルμi）の質量重心の世界座標系O上の位置sit、位置sitの変化の速度s・it、前景#iの姿勢qit、姿勢qitの変化の速度q・itを含み、式（３）で表現される。
【００６１】
【数３】
2013191163.tif 000005
・・・（３）
【００６２】
ここで、前景#iの姿勢qitとしては、例えば、世界座標系Oの軸s1(s2)に対して、ローカル座標系O'の軸r1(r2)がなす角度（回転角）を採用することができる。
【００６３】
図５は、前景#iの運動モデルaiを説明する図である。
【００６４】
運動モデルaiは、前景#iの質量重心のローカル座標系O'上の位置ric、前景#iの並進成分の運動（並進運動）の性質を決定する質量（慣性質量）mi、及び、前景の回転成分の運動（回転運動）の性質を決定する重心回りの慣性モーメンIicを含み、式（４）で表現される。
【００６５】
【数４】
2013191163.tif 000006
・・・（４）
【００６６】
図６は、前景#iのアクションuitを説明する図である。
【００６７】
前景#iのアクションuitは、時刻tにおいて、前景#iに力が加えられたローカル座標系O'上の位置（作用点）riFと、その位置riFに加えられた力Fiとを含み、式（５）で表現される。
【００６８】
【数５】
2013191163.tif 000007
・・・（５）
【００６９】
なお、時刻tに前景#iとして観測される画像の観測値xitは、時刻tに生成モデルにおいて観測される画像の期待値λtを用いて、式（６）で表現される。
【００７０】
【数６】
2013191163.tif 000008
・・・（６）
【００７１】
［第2章  前景モデル、及び、背景モデルの学習］
【００７２】
［第2.1節  生成モデルのフレームワーク］
【００７３】
図７は、本技術の、観測画像を生成する生成モデルのグラフィカルモデルの例を示す図である。
【００７４】
図７は、２つの前景#1及び#2が存在する画像の生成モデルのグラフィカルモデルを示している。
【００７５】
図７の生成モデルによれば、前景#1の時刻tの状態z1tが、前景#1の運動モデルa1、直前の時刻t-1の状態z1t-1、及び、直前の時刻t-1の前景#1のアクションu1t-1によって決定される。
【００７６】
同様に、前景#2の時刻tの状態z2tが、前景#2の運動モデルa2、直前の時刻t-1の状態z2t-1、及び、直前の時刻t-1の前景#2のアクションu2t-1によって決定される。
【００７７】
そして、生成モデルでは、前景見えモデルμ1（としての画像）が、前景#1の時刻tの状態z1tに従って、背景見えモデルμw（としての画像）に重畳されるとともに、前景見えモデルμ2（としての画像）が、前景#2の時刻tの状態z2tに従って、背景見えモデルμwに重畳されることで、時刻tに観測される観測画像xtが生成される。
【００７８】
図７において、関数f()は、前景見えモデルμ1、前景#1の時刻tの状態z1t、前景見えモデルμ2、前景#2の時刻tの状態z2t、及び、背景見えモデルμwを用いて、観測画像xtを生成する関数であり、生成モデルを表す。
【００７９】
ここで、生成モデルにおいて生成される時刻tの観測画像xtは、確率変数（観測値の期待値）であり、観測画像xtの尤度は、実際に観測される画像の観測値x~tとの比較によって求めることができる。
【００８０】
また、前景#iのアクションuitは、エージェントにおいて観測可能な決定的パラメータであることとする。前景#iがエージェントのハンドである場合には、エージェントは、自分の身体の一部であるハンドのアクションは知覚できるべきであるし、前景#iが、操作対象の物体である場合には、エージェントは、ハンドに接触する操作対象の物体のアクションを反作用として知覚することができるべきであるからである。
【００８１】
前景見えモデルμi、背景見えモデルμw、及び、前景#iの状態zi、さらには、必要に応じて、運動モデルaiが、本技術において、画像の観測値を生成する生成モデルのパラメータであり、学習によって求められる。
【００８２】
また、前景#iの状態ziは、時々刻々変化する潜在変数であり、運動モデルai、前景見えモデルμi、及び、背景見えモデルμwは、時刻によらない恒久的なパラメータ（モデルパラメータ）である。
【００８３】
なお、前景の総数をNで表すこととする。図７では、前景の総数Nを、2としてあるが、前景の総数Nとしては、1や3以上の値を採用することができる。
【００８４】
生成モデルにおいて生成される観測画像xtは、潜在変数としての前景#iの状態zit、並びに、モデルパラメータとしての前景見えモデルμit、及び、背景見えモデルμwによって決定されるので、生成モデルとしての関数f()を用いた式（７）で表現することができる。
【００８５】
【数７】
2013191163.tif 000009
・・・（７）
【００８６】
［第2.2節  EMアルゴリズム］
【００８７】
図８は、EMアルゴリズムを説明するフローチャートである。
【００８８】
図７で示した生成モデルのような、潜在変数（zit）を有するモデルについて、実際に観測される観測値を用いて、モデルパラメータの最尤解を求める方法としては、例えば、EM(Expectation-Maximization)アルゴリズムがある。
【００８９】
いま、すべての観測値の集合をXと、潜在（隠れ）変数の集合をZと、それぞれ表すこととする。
【００９０】
観測値Xの観測において、潜在変数Zは観測することができないが、これらの観測値Xと潜在変数Zの集合{X,Z}は、完全データと呼ばれ、観測値Xは、不完全データと呼ばれる。
【００９１】
完全データ{X,Z}は、確率分布であるモデルによってモデル化することができることとし、そのモデル（のモデルパラメータ）を、 θと表すこととする。
【００９２】
モデルθにおいて、観測値Xが観測される対数尤度ln（p(X|θ))は、モデルθにおいて、完全データ{X,Z}が観測される尤度p(X,Z|θ)を、潜在変数Zで周辺化し、対数をとることにより求めることができ、式（８）で表される。
【００９３】
【数８】
2013191163.tif 000010
・・・（８）
【００９４】
ここで、lnは、自然対数を表す。
【００９５】
また、以降において、潜在変数Zについての総和（Σ）を、積分に置き換えることで、潜在変数Zが連続値である場合についても、同一の議論が成立する。
【００９６】
観測することができるのは、不完全データXだけであり、完全データ{X,Z}のすべてを観測することはできない。したがって、完全データ{X,Z}の尤度（関数）p(X,Z|θ)を用いることはできないため、EMアルゴリズムでは、代わりに、潜在変数Zに関する事後確率の期待値を考える。
【００９７】
潜在変数Zに関する事後確率の期待値を考えるプロセスが、EMアルゴリズムのEステップである。
【００９８】
EMアルゴリズムでは、モデルθにおいて、観測値Xが観測されたときの、潜在変数Zの事後分布p(Z|X,θ)の計算に、現在のモデルパラメータθoldが用いられ、この事後分布p(Z|X,θold)が、任意のモデルパラメータθにおいて、完全データ{X,Z}が観測される対数尤度（以下、完全データ対数尤度ともいう）ln(p(X,Z|θ))の期待値Q(θ，θold)の計算に用いられる。
【００９９】
したがって、期待値Q(θ，θold)は、式（９）で表される。
【０１００】
【数９】
2013191163.tif 000011
・・・（９）
【０１０１】
式（９）では、完全データ対数尤度ln(p(X,Z|θ))の期待値Q(θ，θold)が、完全データ対数尤度ln(p(X,Z|θ))の確率分布として、事後分布p(Z|X,θold)を用いて計算される。
【０１０２】
EMアルゴリズムでは、Eステップで、以上のようにして、期待値Q(θ，θold)が求められた後、Mステップにおいて、式（１０）に従い、期待値Q(θ，θold)を最大化するように、モデルパラメータθが、現在のモデルパラメータθoldから新しいモデルパラメータθnewに更新される。
【０１０３】
【数１０】
2013191163.tif 000012
・・・（１０）
【０１０４】
ここで、式（１０）argmaxは、Q(θ，θold)を最大にするモデルパラメータθを表す。
【０１０５】
なお、最初のEステップが行われる前に、モデルパラメータθ＝θoldは、例えば、乱数等によって適当な値に初期化される。
【０１０６】
図８を参照して、EMアルゴリズムについて、さらに説明する。
【０１０７】
EMアルゴリズムでは、ステップＳ１１において、モデルパラメータθが、適当な初期値θoldに初期化され、処理は、ステップＳ１２に進む。
【０１０８】
ステップＳ１２では、Eステップの処理が行われ、処理は、ステップＳ１３に進む。すなわち、ステップＳ１２では、不完全データXを用いて、事後分布p(Z|X,θold)が求められる。
【０１０９】
ステップＳ１３では、Mステップの処理が行われ、処理は、ステップＳ１４に進む。すなわち、ステップＳ１３では、事後分布p(Z|X,θold)を用いて求められる、完全データ対数尤度ln(p(X,Z|θ))の期待値Q(θ，θold)を最大化するように、新たなモデルパラメータθnewが求められる。
【０１１０】
ステップＳ１４では、EMアルゴリズムを終了する所定の収束条件が満たされているかどうかが判定される。
【０１１１】
ここで、EMアルゴリズムを終了する収束条件としては、例えば、Eステップ及びMステップを、所定回数だけ繰り返したことや、新たなモデルパラメータθnewが、直前のモデルパラメータθoldからほとんど変化しなくなったこと、新たなモデルパラメータθnewにおいて観測される観測値Xの尤度が、直前のモデルパラメータθoldにおいて観測される観測値Xの尤度からほとんど変化しなくなったこと等を採用することができる。
【０１１２】
ステップＳ１４において、収束条件が満たされていないと判定された場合、処理は、ステップＳ１５に進み、モデルパラメータθが、現在のモデルパラメータθoldから新しいモデルパラメータθnewに更新される。
【０１１３】
そして、処理は、ステップＳ１５からステップＳ１２に戻り、以下、同様の処理が繰り返される。
【０１１４】
また、ステップＳ１４において、収束条件が満たされていると判定された場合、処理は終了する。
【０１１５】
［第2.3節  パーティクルフィルタによる近似］
【０１１６】
図９は、完全データ{X,Z}を表現するモデルθのグラフィカルモデルの例を示す図である。
【０１１７】
図９では、観測値Xの系列x1,x2,・・・,xt+1が、潜在変数Zの連鎖z1,z2,・・・,zt+1で表されている。そして、各観測値xtは、対応する潜在変数ztの値（状態）によって条件付けられる。
【０１１８】
モデルθが、EMアルゴリズムのEステップを解析的に計算することが困難なモデルである場合には、数値的サンプリング（モンテカルロサンプリング）に基づく近似推論法を用いてEステップを計算することができる。
【０１１９】
モンテカルロサンプリングについては、例えば、C.M. ビショップ, パターン認識と機械学習 下 ベイズ理論による統計的予測, シュプリンガー・ジャパン, 2008, pp.364-365や、Michael Isard and Andrew Blake, CONDENSATION - conditional density propagation for visual tracking, Int. J. Computer Vision, 29, 1, 5-28, 1998等に記載されている。
【０１２０】
潜在変数Zが連続値である場合の、完全データ対数尤度ln(p(X,Z|θ))の期待値Q(θ，θold)は、式（９）のサメーション（Σ）を積分に置き換えた式（１１）で表される。
【０１２１】
【数１１】
2013191163.tif 000013
・・・（１１）
【０１２２】
式（１１）の期待値Q(θ，θold)は、サンプリング法を用い、現在の事後分布p(Z|X,θold)からサンプリングされた潜在変数ZのL個のサンプルZ(l)（l＝1,2,・・・,L）の有限和によって、式（１２）に示すように近似することができる。
【０１２３】
【数１２】
2013191163.tif 000014
・・・（１２）
【０１２４】
式（１２）に従って求められる期待値Q(θ，θold)については、通常のMステップで最適化することができる（期待値Q(θ，θold)を最大化するモデルパラメータθ＝θnewを求めることができる）。
【０１２５】
以上のように、式（１２）に従って求められる期待値Q(θ，θold)を最大化するモデルパラメータθ＝θnewを求めるEMアルゴリズムは、モンテカルロEMアルゴリズムと呼ばれる。
【０１２６】
一方、観測値Xの系列x1,x2,・・・,xtに対して、逐次的にサンプリングを行う手法として、パーティクルフィルタと呼ばれる逐次モンテカルロアルゴリズムがある。
【０１２７】
図１０は、パーティクルフィルタを説明する図である。
【０１２８】
パーティクルフィルタでは、例えば、図９で示されるグラフィカルモデルで表現されるモデルθにおいて、時刻t-1までに、観測値Xの系列Xt＝{x1,x2,・・・,xt-1}が観測され、時刻tに、状態ztにいる（状態ztになっている）事後分布p(zt|Xt-1)から、L個の状態z(l)t（z(1)t,z(2)t,・・・,z(L)t）がサンプリングされる。このサンプリングされたサンプル（ここでは、状態z(l)t）が、パーティクルと呼ばれる。
【０１２９】
時刻tの状態ztにおいて、図７及び式（７）の生成モデルとしての関数f()に従って観測される観測値xt＝f(zt)の期待値E[f(zt)]は、状態ztのパーティクル（状態パーティクル）z(l)tを用いて、式（１３）で近似することができる。
【０１３０】
【数１３】
2013191163.tif 000015
・・・（１３）
【０１３１】
ここで、w(l)tは、パーティクルz(l)tの重みを表す。重みw(l)tは、（パーティクルとしての）状態z(l)tにおいて、観測値xtが観測される（観測）尤度p(xt|z(l)t)に対応する値であり、式（１４）で定義される。
【０１３２】
【数１４】
2013191163.tif 000016
・・・（１４）
【０１３３】
なお、重みw(l)tは、式0≦w(l)t≦1で表される範囲内の値であり、式w(1)t＋w(2)t＋・・・＋w(L)t＝1を満たす。
【０１３４】
いま、時刻tに、L個のパーティクルz(1)tないしz(L)tと、重みw(1)tないしw(L)tとが得られている場合において、時刻t+1に、観測値xt+1を観測したとき、時刻tまでに、観測値の系列Xt＝{x1,x2,・・・,xt}が観測され、時刻t+1に、状態zt+1にいる事後分布p(zt+1|Xt)は、時刻tに状態z(l)tにいて、時刻t+1に状態zt+1に遷移する遷移確率p(zt+1|z(l)t)と、パーティクルz(l)tの重みw(l)tとを用い、式（１５）で求めることができる。
【０１３５】
【数１５】
2013191163.tif 000017
・・・（１５）
【０１３６】
式（１５）の事後分布p(zt+1|Xt)は、重みw(l)tを、混合係数とする混合分布であり、パーティクルフィルタでは、混合係数としての重みw(l)tに対応する確率で、パーティクルz(l)tを選択するリサンプリングが行われる。
【０１３７】
図１０を参照して、パーティクルフィルタについて、さらに説明する。
【０１３８】
パーティクルフィルタでは、時刻t-1までに、観測値Xの系列Xt-1＝{x1,x2,・・・,xt-1}が観測され、時刻tに、状態ztにいる事後分布p(zt|Xt-1)が、L個のパーティクルz(1)t-1ないしz(L)t-1、及び、重みz(1)t-1ないしz(L)t-1によってサンプル表現される。
【０１３９】
ここで、図１０では、パーティクルz(l)tの個数Lが、5個になっている。
【０１４０】
パーティクルフィルタでは、次の時刻tのサンプル表現を求めるために、式（１５）の混合分布（事後分布）p(zt|Xt-1)の遷移確率(zt|z(l)t-1)）に基づき、時刻t-1のL個のパーティクルz(1)t-1ないしz(L)t-1の次の時刻tの遷移先を算出すること、すなわち、次の時刻tのL個のパーティクルz(1)tないしz(L)tを予測（生成）することが行われる。
【０１４１】
ここで、図１０において、丸印は、パーティクルを表している。また、パーティクルを表す丸印の中の数字は、そのパーティクルとしての状態z(l)tの値の例を示している。
【０１４２】
図１０では、例えば、時刻t-1のパーティクルとしての状態z(5)t-1を表す丸印の数字は、5.0になっているが、その時刻t-1のパーティクルとしての状態z(5)t-1から、遷移確率p(zt|z(5)t-1)に基づいて予測された時刻tのパーティクルとしての状態z(5)tを表す丸印の数字は、5.4になっている。
【０１４３】
次の時刻tのL個のパーティクルz(1)tないしz(L)tが予測された後、パーティクルフィルタでは、時刻tの観測値xtを用い、パーティクルz(l)tにおいて、観測値xtが観測される観測尤度p(xt|z(l)t)が計算される。
【０１４４】
さらに、パーティクルフィルタでは、観測尤度p(xt|z(l)t)を用い、式（１４）に従って、パーティクルz(l)tの重みw(l)tが求められる。図１０では、重みw(l)tを表す丸印が、その重みw(l)tの値に相当する大きさで、図示されている。
【０１４５】
その後、パーティクルフィルタでは、重みw(l)tに対応する確率で、パーティクルz(l)tがリサンプリングされる。
【０１４６】
そして、パーティクルフィルタでは、そのリサンプリングされたパーティクルz(l)tを、重みw(l)tとともに、時刻tまでに観測値Xの系列Xt＝{x1,x2,・・・,xt}が観測され、時刻t+1に状態zt+1にいる事後分布p(zt+1|Xt)のサンプル表現として用いて、同様の処理が繰り返される。
【０１４７】
なお、リサンプリングでは、重みw(l)tに対応する確率で、パーティクルz(l)tがサンプリングされるので、重みw(l)tが小さいために、一度もサンプリングされないパーティクルz(l)tは消滅する。
【０１４８】
また、リサンプリングでは、重みw(l)tが大きいパーティクルz(l)tは、複数回、サンプリングされることがあるが、その場合、パーティクルz(l)tと同一の値（状態）のパーティクルが、サンプリングの回数と同一の個数だけ複製される。
【０１４９】
以上のように、リサンプリングでは、パーティクルz(l)tと同一の値Vの複数のパーティクルが生じることがあるが、その複数のパーティクルそれぞれの値は、式（１５）の遷移確率p(zt+1|z(l)t)に基づいて、次の時刻tのパーティクルの予測（遷移先の算出）が行われるときに、同一の値Vの周辺に散らばって、異なる値となる。
【０１５０】
ここで、重みw(l)tに対応する確率で、パーティクルz(l)tをサンプリングするリサンプリングの方法としては、例えば、ルーレット法や、等間隔サンプリングと呼ばれる方法等がある。
【０１５１】
図１１は、ルーレット法を説明する図である。
【０１５２】
ルーレット法では、0ないし1の範囲が、L個の重みw(1)t,w(2)t,・・・,w(L)tに、順番に割り当てられる。重みw(l)tには、0ないし1の範囲のうちの、重みw(l)tの大きさに比例する幅が割り当てられる。
【０１５３】
そして、ルーレット法では、0ないし1の範囲内の値を、乱数によってサンプリングし、そのサンプリングされた値が割り当てられている重みw(l)tに対応するパーティクルを複製することが、サンプリングの回数がパーティクルの総数Lと同一になるまで繰り返される。
【０１５４】
図１２は、等間隔サンプリングを説明する図である。
【０１５５】
等間隔サンプリングでは、ルーレット法と同様に、0ないし1の範囲が、L個の重みw(1)t,w(2)t,・・・,w(L)tに割り当てられる。
【０１５６】
そして、等間隔サンプリングでは、0ないし1の範囲内の値が、乱数によってサンプリングされ、そのサンプリングされた値が割り当てられている重みw(l)tに対応するパーティクルが複製される。
【０１５７】
その後、等間隔サンプリングでは、0ないし1の範囲内の値のうちの、直前にサンプリングされた値に所定の値を加算した値をサンプリングし、そのサンプリングされた値が割り当てられている重みw(l)tに対応するパーティクルを複製することが、サンプリングの回数がパーティクルの総数Lと同一になるまで繰り返される。
【０１５８】
なお、直前にサンプリングされた値に所定の値を加算した値が、1を超える場合には、その値の小数点以下の値がサンプリングされる。
【０１５９】
ルーレット法では、L個の乱数を計算する必要があるのに対して、等間隔サンプリングでは、1個の乱数を計算するだけで済むので、等間隔サンプリングは、ルーレット法に比較して、乱数の計算コストが小さい。
【０１６０】
［第3章  具体的な実装］
【０１６１】
［第3.1節  生成モデルの実装］
【０１６２】
図１３は、前景モデル#i、及び、背景モデルを用いて、観測画像を生成する生成モデルθ、すなわち、式（７）の関数f()の実装の例を示す図である。
【０１６３】
生成モデルでは、背景見えモデルμw上に、状態z1tが表す位置sitと姿勢qitで、前景見えモデルμiが重畳される。
【０１６４】
背景見えモデルμwへの前景見えモデルμitの重畳では、背景見えモデルμwとしての背景テクスチャモデルτw（が表すテクスチャ）と、前景見えモデルμiの前景テクスチャモデルτiとが、前景見えモデルμiの前景形状モデルσiを、α値として用いて、αブレンディングされる。
【０１６５】
例えば、いま、1番目の前景#1だけが、観測画像xtに存在することとすると、モデルパラメータ（前景見えモデルμi、背景見えモデルμw、及び、前景#iの状態zi、並びに、必要な運動モデルai）が求められた生成モデルにおいて観測される、１つの前景#1だけが存在する観測画像xtの期待値λ1(z1t，μ1，μw)は、式（１６）で表される。
【０１６６】
【数１６】
2013191163.tif 000018
・・・（１６）
【０１６７】
ここで、σ1(r1)は、前景形状モデルσ1のローカル座標系O'上の点r1の画素値を表し、τ1(r1)は、前景テクスチャモデルτ1のローカル座標系O'上の点r1の画素値を表す。さらに、τw(r'1t)は、背景テクスチャモデルτwの世界座標系O上の点r'1tの画素値を表す。
【０１６８】
また、ローカル座標系O'上の点riに、ダッシュ(')と、時刻のインデクスtを付した点r'itは、時刻tのローカル座標系O'上の点riに対応する世界座標系O上の点（対応点）を表す。
【０１６９】
例えば、世界座標系Oの原点回りに、ローカル座標系O'を、角度Bだけ回転した場合の、ローカル座標系O'上の点Aを、世界座標系O上の対応点に写像する写像関数を、R(A,B)と表すこととすると、ローカル座標系O'上の点riの、世界座標系O上の対応点r'itは、写像関数R()を用いて、式（１７）で表される。
【０１７０】
【数１７】
2013191163.tif 000019
・・・（１７）
【０１７１】
式（１６）によれば、ローカル座標系O'上の点r1が、前景見えモデルμ1（前景テクスチャモデルτ1、又は、前景形状モデルσ1としての画像）上の点である場合（r1∈μ1）、その点r1の対応点r'1tの画素値λ1t(r'1)としては、背景テクスチャモデルτwの対応点r'1tの画素値τw(r'1t)と、前景テクスチャモデルτ1の点r1の画素値τ1(r1)とを、前景形状モデルσ1の点r1の画素値σ1(r1)を、α値として用いてαブレンディングした値(1-σ1(r1))τw(r'1t)＋σ1(r1)τ1(r1)が採用される。
【０１７２】
さらに、式（１６）によれば、ローカル座標系O'上の点r1が、前景見えモデルμ1上の点でない場合、その点r1の対応点r'1tの画素値λ1t(r'1t)としては、背景テクスチャモデルτwの対応点r'itの画素値τw(r'1t)が採用される。
【０１７３】
観測画像xtに、複数の前景が存在する場合（前景モデルが複数存在する場合）、複数の前景それぞれについて、1番目の前景#1だけが観測画像xtに存在する場合と同様の処理を繰り返し行うことにより、生成モデルにおいて観測される、複数の前景が存在する観測画像xtの期待値を求めることができる。
【０１７４】
但し、観測画像xtに、複数の前景が存在する場合、2番目以降の前景については、背景テクスチャモデルτw（背景見えモデルμw）に代えて、直前の前景について求められた観測画像xtの期待値が用いられる。
【０１７５】
したがって、例えば、いま、２つの前景#1及び#2が、観測画像xtに存在することとすると、図１３に示すように、まず、生成モデルにおいて観測される、1番目の前景#1だけが存在する観測画像xtの期待値λ1(z1t，μ1，μw)が、式（１６）に従って求められる。
【０１７６】
そして、1番目の前景#1、及び、2番目の前景#2が存在する観測画像xtの期待値λ1,2(z1t，z2t，μ1，μ2，μw)が、図１３に示すように、背景テクスチャモデルτwに代えて、式（１６）の前景#1について求められた観測画像xtの期待値λ1(z1t，μ1，μw)を用い、観測画像xtの期待値λ1(z1t，μ1，μw)と同様にして求められる。
【０１７７】
すなわち、1番目の前景#1、及び、2番目の前景#2が存在する観測画像xtの期待値λ1,2(z1t，(z2t，μ1，μ2，μw)は、式（１８）に従って求められる。
【０１７８】
【数１８】
2013191163.tif 000020
・・・（１８）
【０１７９】
ここで、λ1,2t(r'2t)は、1番目の前景#1、及び、2番目の前景#2が存在する観測画像xtの期待値λ1,2(z1t，(z2t，μ1，μ2，μw)としての画像の画素値のうちの、（前景#2の）ローカル座標系O'上の点r2の、世界座標系O上の対応点r'2tの画素値を表す。
【０１８０】
3個以上のN個の前景が存在する場合も、同様にして、そのN個の前景が存在する観測画像xtの期待値λ1(z1t,z2t,・・・,zNt，μ1，μ2，・・・，μN，μw)を求めることができる。
【０１８１】
［第3.2節  前景が１つだけ存在する場合の前景の状態の推定（Eステップ）］
【０１８２】
前景が１つだけである場合の、第2.3節で説明したパーティクルフィルタを用いたEステップの具体的な実装について説明する。
【０１８３】
なお、ここでは、前景が１つだけであるため、i番目の前景を表すインデクスiの記載は、省略する。
【０１８４】
EMアルゴリズムのEステップでは、前回のMステップで更新されたモデルパラメータθ＝θoldを用いて、潜在変数Zの事後分布p(Z|X,θold)が求められ、この事後分布p(Z|X,θold)を用いて、完全データ対数尤度ln(p(X,Z|θ))の期待値Q(θ，θold)が、式（９）に従って計算される。
【０１８５】
このEステップに、パーティクルフィルタを適用した場合には、時刻tまでに、観測値Xの系列Xt＝{x1,x2,・・・,xt}が観測されたときの、時刻t+1の潜在変数zt+1の事後分布p(zt+1|Xt)は、式（１５）に従って計算することができる。
【０１８６】
ここで、式（１４）によれば、式（１５）の重みw(l)tは、パーティクルとしての状態z(l)tにおいて、観測値xtが観測される観測尤度p(xt|z(l)t)に比例する。
【０１８７】
したがって、重みw(l)tを求めるには、観測尤度p(xt|z(l)t)を求める必要がある。
【０１８８】
本技術では、前景の状態が、パーティクルとしての状態z(l)tになっていると仮定して、そのパーティクルとしての状態z(l)tに従って、生成モデルにおいて観測される観測画像xtの期待値λtが生成される。
【０１８９】
そして、本技術では、生成モデルにおいて観測される観測画像xtの期待値λtの、実際に観測される画像λ~tに対する誤差（期待値λtと画像λ~tとの距離）が、観測尤度p(xt|z(l)t)として求められる。
【０１９０】
すなわち、本技術では、観測尤度p(xt|z(l)t)は、例えば、式（１９）に従って求められる。
【０１９１】
【数１９】
2013191163.tif 000021
・・・（１９）
【０１９２】
なお、λt(s)は、生成モデルθにおいて観測される時刻tの観測画像xtの期待値λtである画像の、世界座標系O上の点sの画素値を表し、λt~(s)は、時刻tに実際に観測される画像λ~tの、世界座標系O上の点sの画素値を表す。
【０１９３】
また、式（１９）において、K及びσ2は、所定の定数であり、あらかじめ決定される。
【０１９４】
一方、時刻tのパーティクルとしての状態z(l)tが、次の時刻t+1に、状態zt+1になる確率、すなわち、パーティクルとしての状態z(l)tの遷移確率p(zt+1|z(l)t)が、ガウス分布（正規分布）に従うこととすると、パーティクルとしての状態z(l)tの遷移モデルは、例えば、式（２０）で表すことができる。
【０１９５】
【数２０】
2013191163.tif 000022
・・・（２０）
【０１９６】
ここで、△tは、時刻tと次の時刻t+1との間の間隔（時間）を表し、N(A,B)は、平均ベクトル（平均値）がAで、分散共分散行列（分散）がBのガウス分布を表す。
【０１９７】
式（２０）では、ガウス分布N(0,Σs)，N(0,Σs・)，N(0,Σq)，N(0,Σq・)は、いずれも、平均ベクトルが0のガウス分布である。また、分散共分散行列Σs，Σs・，Σq，Σq・は、あらかじめ決定される。
【０１９８】
式（２０）の遷移モデルによれば、パーティクルとしての状態が、1時刻前の時刻tの状態としての位置st及び姿勢qt、並びに、その1回微分値（速度）s・t及びq・tに従って決定的に遷移する成分を有しつつ、平均ベクトルが0で、所定の分散共分散行列のガウス分布に従って、確率的に揺らぎながら遷移することとして、時刻t+1の状態zt+1が求められる（予測される）（遷移先が算出される）。
【０１９９】
ここで、式（２０）の遷移モデルは、前景の運動が、剛体運動の動力学モデルに従うことを考慮していない。
【０２００】
前景の運動が、剛体運動の動力学モデルに従うことを考慮する場合には、パーティクルとしての状態z(l)tの遷移モデルは、前景の運動モデルaと、前景のアクションutとを用い、例えば、式（２１）で表すことができる。
【０２０１】
【数２１】
2013191163.tif 000023
・・・（２１）
【０２０２】
ここで、γ及びφは、それぞれ、前景のアクションut（式（５））のコンポーネントになっている力Fが、同じく、前景のアクションutのコンポーネントになっている前景の位置rFに加えられた場合の、前景の重心rcの位置での並進力、及び、重心rc回りのトルクを表す。
【０２０３】
並進力γは、前景のアクションutのコンポーネントになっている力Fに等しい。トルクφは、前景のアクションutのコンポーネントになっている力F、前景のアクションutのコンポーネントになっている前景の位置rF、及び、前景の運動モデルaのコンポーネントになっている前景の重心（の位置）rcとを用い、式φ＝（rF-rc）×Fに従って求めることができる。
【０２０４】
また、式（２１）において、m及びICは、前景の運動モデルa（式（４））のコンポーネントになっている前景（に対応する物体の）質量m、及び、重心回りの慣性モーメントICを表す。
【０２０５】
式（２１）の遷移モデルは、前景の運動が、剛体運動の動力学モデルに従うことを考慮しているので、前景の状態の遷移（変化）を、厳密に表現することができる。
【０２０６】
前景が背景上を連続的に移動することを、前提知識として仮定することができる場合、すなわち、前景の状態が環境中を連続的に変化することを仮定することができる場合には、前の時刻の情報を基に、運動モデルによって決定的に次の時刻の状態を予測しつつ、ガウス分布のノイズによって近傍をランダムに探索するという、式（２０）や式（２１）の遷移モデルが前提とする事前知識が有効に機能する。
【０２０７】
その結果、パーティクルのリサンプリングの過程で、前景がなる可能性が低い状態に対する状態推定の計算を省くことができ、例えば、環境としての背景を格子状に区切って、すべての格子点について、その格子点の位置に、前景がいるかどうかを推定するような方法に比較して、スケーラビリティを大きくすることができる。
【０２０８】
［第3.3節  複数の前景が存在する場合の前景の状態の推定（Eステップ）］
【０２０９】
複数の前景が存在する場合の、第2.3節で説明したパーティクルフィルタを用いたEステップの具体的な実装について説明する。
【０２１０】
複数の前景が存在する場合、前景#iごとに、その前景#iの状態zitが存在する。前景#iの状態zitのl番目のパーティクルを、zi(l)tと表す。また、パーティクルzi(l)tの重みを、wi(l)tと表す。
【０２１１】
本技術では、生成モデルで観測される観測画像xt（の期待値λt）は、式（１６）ないし式（１８）で説明したように生成される。
【０２１２】
パーティクルフィルタにおいてパーティクルの重みwi(l)tを求める式（１４）の計算に必要な観測尤度p(xt|zi(l)t)を計算するためには、注目している前景#iについては、重みwi(l)tを求めようとするパーティクルとしての状態zi(l)tを用い、かつ、注目している前景#i以外の前景については、その前景の状態のパーティクルの分布と、各パーティクルの重みとを用い、生成モデルで観測される観測画像xtの期待値λtを計算する必要がある。
【０２１３】
しかしながら、注目している前景#iの状態zitのパーティクルzi(l)tの他に、注目している前景#i以外の前景の状態のパーティクルの分布、及び、各パーティクルの重みをも用いて、生成モデルで観測される観測画像xtの期待値λtを計算するのでは、計算コストが大になる。
【０２１４】
そこで、本実施の形態では、複数の前景について、独立に、すなわち、注目している前景#i以外の前景を考慮せずに、注目している前景#iだけが、背景上に存在することと仮定することにより、実用上問題ない範囲で厳密性を犠牲にしつつ、計算の高速化を実現する。
【０２１５】
注目している前景#iだけが、背景上に存在することを仮定した場合、注目している前景#iが、パーティクルとしての状態zi(l)tになっているときの観測尤度p(xit|zi(l)t)は、式（２２）に従って計算することができる。
【０２１６】
【数２２】
2013191163.tif 000024
・・・（２２）
【０２１７】
なお、λit(s)は、注目している前景#iだけが、背景上に存在することを仮定した場合に生成モデルθにおいて観測される時刻tの観測画像xtの期待値λitである画像の、世界座標系O上の点sの画素値を表す。
【０２１８】
また、式（２２）において、λt~(s)は、式（１９）の場合と同様に、時刻tに実際に観測される画像λ~tの、世界座標系O上の点sの画素値を表す。
【０２１９】
さらに、式（２２）において、K及びσ2は、式（１９）の場合と同様に、所定の定数であり、あらかじめ決定される。
【０２２０】
注目している前景#iだけが、背景上に存在することを仮定した場合に生成モデルθにおいて観測される時刻tの観測画像xtの期待値λit＝λi(zit，μi，μw)は、式（２３）に従って求めることができる。
【０２２１】
【数２３】
2013191163.tif 000025
・・・（２３）
【０２２２】
ここで、σi(ri)は、前景形状モデルσiのローカル座標系O'上の点riの画素値を表し、τi(ri)は、前景テクスチャモデルτiのローカル座標系O'上の点riの画素値を表す。さらに、τw(r'it)は、背景テクスチャモデルτwの世界座標系O上の点r'itの画素値を表す。
【０２２３】
また、ローカル座標系O'上の点riに、ダッシュ(')と、時刻のインデクスtを付した点r'itは、式（１６）で説明したように、時刻tのローカル座標系O'上の点riに対応する世界座標系O上の点（対応点）を表し、式（１７）に従って求められる。
【０２２４】
［第3.4節  前景テクスチャモデルの更新（Mステップ）］
【０２２５】
第2.3節で説明したパーティクルフィルタを用いたEステップで行われる前景テクスチャモデルτiの更新の具体的な実装について説明する。
【０２２６】
EMアルゴリズムのMステップでは、Eステップで潜在変数Zの事後分布p(Z|X,θold)を用いて計算される完全データ対数尤度ln(p(X,Z|θ)の期待値Q(θ，θold)を最大化するように、モデルパラメータθが、現在のモデルパラメータθoldから新しいモデルパラメータθnewに更新される。
【０２２７】
このMステップに、パーティクルフィルタを適用した場合には、モデルパラメータθは、Eステップで求められたパーティクルの重みwi(l)tを用いて更新される。
【０２２８】
図１４は、パーティクルの重みwi(l)tを用いた前景テクスチャモデルτiの更新を説明する図である。
【０２２９】
前景テクスチャモデルτiの更新では、時刻tにおいて、その時刻tの1時刻分の更新データτ~itを求めるために、図１４に示すように、前景#iの状態が、パーティクルとしての状態zi(l)tになっていることとして、その状態zi(l)tになっている前景#iと推定される領域の画像を、時刻tに実際に観測される画像（の観測値）λ~tから切り出し、前景#iのローカル座標系O'上に射影する。
【０２３０】
ここで、時刻tに実際に観測される画像（以下、実画像ともいう）λ~tから切り出され、前景#iのローカル座標系O'上に射影された画像を、切り出し画像τ~i(l)tともいう。
【０２３１】
切り出し画像τ~i(l)tは、前景テクスチャモデルτi（及び、前景形状モデルσi）と同一サイズの画像であり、式（２４）で表される。
【０２３２】
【数２４】
2013191163.tif 000026
・・・（２４）
【０２３３】
ここで、τ~i(l)t(s'i(l)t)は、切り出し画像τ~i(l)tのローカル座標系O'上の点s'i(l)tの画素値を表し、λ~t(s)は、実画像λ~tの世界座標系O上の点sの画素値を表す。
【０２３４】
また、世界座標系O上の点sに、ダッシュ(')、前景のインデクスi、パーティクルのインデクス(l)、及び、時刻のインデクスtを付した点s'i(l)tは、世界座標系O上の点sに対応する前景#iのローカル座標系O'上の点（対応点）を表す。
【０２３５】
世界座標系O上の点sの、前景#iのローカル座標系O'上の対応点s'i(l)tは、式（１７）で説明した写像関数R(A,B)を用いることにより、式（２５）で表される。
【０２３６】
【数２５】
2013191163.tif 000027
・・・（２５）
【０２３７】
なお、式（２５）では、パーティクルのインデクス(l)を省略してある。
【０２３８】
式（２４）によれば、世界座標系O上の点sの、ローカル座標系O'上の対応点s'i(l)tが、時刻tにおいて、前景見えモデルμi（前景テクスチャモデルτi、又は、前景形状モデルσiとしての画像）上の点である場合（s'i(l)t∈μi）、実画像λ~tの点sの画素値λ~t(s)が、切り出し画像τ~i(l)tの対応点s'i(l)tの画素値τ~i(l)t(s'i(l)t)として採用される。
【０２３９】
前景テクスチャモデルτiの更新では、前景#iのL個のパーティクルzi(1)t，zi(2)t，・・・，zi(L)tについて、切り出し画像τ~i(1)t，τ~i(2)t，・・・，τ~i(L)tが求められる。そして、式（２６）に従い、パーティクルzi(1)tないしzi(L)tの重みwi(1)tないしwi(L)tを用いて、L個の切り出し画像τ~i(1)tないしτ~i(L)tの重み付き平均値が、前景テクスチャモデルτiについての、時刻tの1時刻分の更新データτ~itとして求められる。
【０２４０】
【数２６】
2013191163.tif 000028
・・・（２６）
【０２４１】
さらに、前景テクスチャモデルτiの更新では、現在時刻tから、過去TFG-1時刻分の更新データτ~it，τ~it-1，・・・，τ~it-TFG+1の平均値（所定時間分の平均化）が、新しいモデルパラメータθnewとしての新しい前景テクスチャモデルτi,newとして、式（２７）に従って求められる。
【０２４２】
【数２７】
2013191163.tif 000029
・・・（２７）
【０２４３】
なお、ここでは、L個のパーティクルzi(1)tないしzi(L)tそれぞれについて得られる切り出し画像τ~i(1)tないしτ~i(L)tの重み付き平均値を、時刻tの1時刻分の更新データτ~itとして求めることとしたが、その他、例えば、後述するようにして、L個のパーティクルzi(1)tないしzi(L)tから最尤状態zitを求め、その最尤状態zitについて得られる切り出し画像τ~itを、時刻tの1時刻分の更新データτ~itとして採用することができる。
【０２４４】
［第3.5  背景テクスチャモデルの更新（Mステップ）］
【０２４５】
第2.3節で説明したパーティクルフィルタを用いたEステップで行われる背景テクスチャモデルτwの更新の具体的な実装について説明する。
【０２４６】
図１５は、背景テクスチャモデルτwの更新を説明する図である。
【０２４７】
背景テクスチャモデルτwの更新処理では、すべての前景モデル#1ないし#Nそれぞれのすべてのパーティクルとしての状態z1(1)tないしz1(L)t，z2(1)tないしz2(L)t，・・・，zN(1)tないしzN(L)tを用いて、時刻tの1時刻分の更新データτ~wtが求められる。
【０２４８】
すなわち、背景テクスチャモデルτwの更新処理では、図１５に示すように、時刻tの実画像λ~tのうちの、前景があると推定される領域の画素値を、現在の背景テクスチャモデルτw,oldで置き換えることを、各前景モデル#iの、各パーティクルとしての状態zi(l)tについて行い、その結果得られる画像が、時刻tの1時刻分の更新データτ~wtとされる。
【０２４９】
具体的には、まず、前景#1が、注目する注目前景とされる。そして、注目前景である前景#1の状態が、パーティクルとしての状態z1(l)tになっていることとして、時刻tの実画像λ~tのうちの、状態zi(l)tになっている前景#iと推定される領域から、前景モデル#i（前景見えモデルμi）の画像成分を除去し、かつ、現在の背景モデル（現在の背景テクスチャモデルτw,old）の画像成分を加えた画像（以下、前景除去画像ともいう）τ~w,1(l)が求められる。
【０２５０】
前景#1の、パーティクルとしての状態z1(l)tについて得られる前景除去画像τ~w,1(l)は、式（２８）で表される。
【０２５１】
【数２８】
2013191163.tif 000030
・・・（２８）
【０２５２】
式（２８）によれば、世界座標系O上の点sの、前景#1のローカル座標系O'上の対応点s'1(l)tが、前景見えモデルμ1（前景テクスチャモデルτ1、又は、前景形状モデルσ1としての画像）上の点である場合（s'1(l)t∈μ1）、前景除去画像τ~w,1(l)上の点sの画素値τ~w,1(l)(s)としては、実画像上λ~tの点sの画素値λ~t(s)に対して、前景テクスチャモデルτ1上の対応点s'1(l)tの画素値τ1(s'1(l)t)をσ1(s'1(l)t)倍して減算し、かつ、現在の背景テクスチャモデルτw,old上の点sの画素値τw,old(s)を、(1-σ1(s'1(l)t))倍して加算した値λ~t(s)−σ1(s'1(l)t)τ1(s'1(l)t)＋(1-σ1(s'1(l)t))τw,old(s)が採用される。
【０２５３】
さらに、式（２８）によれば、世界座標系O上の点sの、前景#1のローカル座標系O'上の対応点s'1(l)tが、前景見えモデルμ1上の点でない場合、実画像上λ~tの点sの画素値λ~t(s)が採用される。
【０２５４】
その結果、前景除去画像τ~w,1(l)としては、実画像上λ~tから、パーティクルとしての状態z1(l)tになっている前景#1が除去され、その除去された前景#1に隠れていた背景が見えるようになったような画像が得られる。
【０２５５】
背景テクスチャモデルτwの更新処理では、前景＃1のL個のパーティクルz1(1)tないしz1(L)tそれぞれについて、前景除去画像τ~w,1(1)ないしτ~w,1(L)が求められる。
【０２５６】
そして、前景＃1のL個のパーティクルz1(1)tないしz1(L)tそれぞれの重みw1(1)tないしw1(L)tを用いて、前景除去画像τ~w,1(1)ないしτ~w,1(L)の重み付き平均値τ~w,1が、実画像上λ~tから前景#1を除去した最終的な画像（以下、前景#1についての最終除去画像ともいう）として求められる。
【０２５７】
前景#1についての最終除去画像τ~w,1は、式（２９）で表される。
【０２５８】
【数２９】
2013191163.tif 000031
・・・（２９）
【０２５９】
背景テクスチャモデルτwの更新処理では、他の前景#2ないし#Nを、順次、注目前景として、同様の処理が行われる。
【０２６０】
但し、前景#2以降の前景#iについては、実画像上λ~tに代えて、直前に注目前景であった前景#(i-1)についての最終除去画像τ~w,i-1が用いられる。
【０２６１】
したがって、前景#iの、パーティクルとしての状態zi(l)tについて得られる前景除去画像τ~w,i(l)は、式（２８）の実画像上λ~tを、前景#(i-1)についての最終除去画像τ~w,i-1に代えた式（３０）に従って求められる。
【０２６２】
【数３０】
2013191163.tif 000032
・・・（３０）
【０２６３】
そして、前景#iについての最終除去画像τ~w,iは、前景除去画像τ~w,i(l)を用い、式（２９）と同様に式（３１）に従って求められる。
【０２６４】
【数３１】
2013191163.tif 000033
・・・（３１）
【０２６５】
前景#Nについての最終除去画像τ~w,Nは、実画像λ~tから、N個の前景#1ないし#Nすべてを除去し、かつ、前景#1ないし#Nそれぞれがあった領域に、現在の背景テクスチャモデルτw,oldの対応する領域を足し込んだ画像になっている。式（３２）に示すように、この画像τ~w,Nが、背景テクスチャモデルτwについての、時刻tの1時刻分の更新データτ~wtとされる。
【０２６６】
【数３２】
2013191163.tif 000034
・・・（３２）
【０２６７】
図１５には、前景の数Nが２つである場合の、背景テクスチャモデルτwについての、時刻tの1時刻分の更新データτ~wtの算出の様子が示されている。
【０２６８】
その後、背景テクスチャモデルτwの更新では、現在時刻tから、過去TBG-1時刻分の更新データτ~wt，τ~wt-1，・・・，τ~wt-TBG+1の平均値（所定時間分の平均化）が、新しいモデルパラメータθnewとしての新しい背景テクスチャモデルτw,newとして、式（３３）に従って求められる。
【０２６９】
【数３３】
2013191163.tif 000035
・・・（３３）
【０２７０】
背景テクスチャモデルτwの更新においては、前景#2以降の前景#iについては、実画像上λ~tに代えて、直前に注目前景であった前景#(i-1)についての最終除去画像τ~w,i-1を用いて、前景除去画像τ~w,i(l)が求められることで、複数の前景モデルによって、同時に、同一の前景がモデル化（獲得）されないようにする排他制御が行われる。
【０２７１】
［第3.6節  前景形状モデルの更新（Mステップ）］
【０２７２】
前景形状モデルσiの更新では、更新後の前景テクスチャモデルτi（新しい前景テクスチャモデルτi,new）としての画像について、どの領域が前景#iに属し、どの領域が前景#iに属さないのかの評価が、例えば、画素単位で行われる。
【０２７３】
すなわち、前景形状モデルσiの更新では、更新後の前景テクスチャモデルτiとしての画像の各画素について、その画素が、前景#iの画素であるかどうかの評価が行われる。
【０２７４】
前景テクスチャモデルτiとしての画像の画素が前景#iの画素であるかどうかの評価では、前景テクスチャモデルτiとしての画像の各画素について、その画素が、前景#iの画素であることの尤度（以下、前景尤度ともいう）が求められる。
【０２７５】
前景尤度としては、例えば、前景テクスチャモデルτiとしての画像が、前景#iの期待値としての、式（２６）の前景テクスチャモデルτiについての、時刻tの1時刻分の更新データτ~itとして観測される観測される観測尤度を採用することができる。
【０２７６】
この場合、前景尤度としての観測尤度は、例えば、式（３４）に従って求めることができる。
【０２７７】
【数３４】
2013191163.tif 000036
・・・（３４）
【０２７８】
ここで、τi(ri)は、前景テクスチャモデルτiのローカル座標系O'上の点riの画素値を表し、τi(ri)は、前景テクスチャモデルτiについての、時刻tの1時刻分の更新データτ~itとしての画像のローカル座標系O'上の点riの画素値を表す。
【０２７９】
さらに、L(FG|τi(ri))は、前景テクスチャモデルτiの点riの画素値τi(ri)が、前景#iの画素であることの尤度（前景尤度）を表す。
【０２８０】
また、式（３４）において、K及びσ2は、所定の定数であり、あらかじめ決定される。
【０２８１】
前景テクスチャモデルτiとしての画像の画素が前景#iの画素であるかどうかの評価では、以上のような、前景尤度L(FG|τi(ri))の他、前景テクスチャモデルτiとしての画像の各画素について、その画素が、背景の画素であることの尤度（以下、背景尤度ともいう）が求められる。
【０２８２】
背景尤度としては、例えば、前景テクスチャモデルτiとしての画像が、背景の期待値としての、式（３１）の前景#iについての最終除去画像τ~w,itとして観測される観測される観測尤度を採用することができる。
【０２８３】
この場合、背景尤度としての観測尤度は、例えば、式（３５）に従って求めることができる。
【０２８４】
【数３５】
2013191163.tif 000037
・・・（３５）
【０２８５】
ここで、前景#iについての最終除去画像を表すτ~w,itにダッシュ(')を付したτ~'w,itは、前景#iについての最終除去画像τ~w,itから、前景見えモデルμiの領域を切り出し、前景#iのローカル座標系に射影した射影画像（の期待値）を表す。
【０２８６】
式（３５）において、τ~w,it(ri)は、射影画像τ~'w,itのローカル座標系O'上の点riの画素値を表す。
【０２８７】
さらに、L(BG|τi(ri))は、前景テクスチャモデルτiの点riの画素値τi(ri)が、背景の画素であることの尤度（背景尤度）を表す。
【０２８８】
また、式（３５）において、K及びσ2は、所定の定数であり、あらかじめ決定される。
【０２８９】
射影画像τ~w,iは、式（３１）の前景#iについての最終除去画像τ~w,itを求めるのに用いられる、式（３０）（式（２８））の前景除去画像τ~w,i(l)tを用い、式（３６）及び式（３７）に従って求めることができる。
【０２９０】
【数３６】
2013191163.tif 000038
・・・（３６）
【０２９１】
【数３７】
2013191163.tif 000039
・・・（３７）
【０２９２】
ここで、τ~w,i(l)tは、前景#iが、パーティクルとしての状態zi(l)tになっていると仮定した場合の射影画像を表し、τ~w,i(l)t(s'i(l)t)は、パーティクルzi(l)tに対する射影画像τ~w,i(l)tの対応点s'i(l)tの画素値を表す。
【０２９３】
式（３６）によれば、世界座標系O上の点sの、前景#iのローカル座標系O'上の対応点s'i(l)tが、前景見えモデルμi上の点であれば、前景除去画像τ~w,i(l)tの点sの画素値τ~w,i(l)t(s)が、パーティクルzi(l)tに対する射影画像τ~w,i(l)tの対応点s'i(l)tの画素値τ~w,i(l)t(s'i(l)t)として採用される。
【０２９４】
そして、式（３７）によれば、パーティクルの重みwi(l)tを用いた、各パーティクルzi(l)tに対する射影画像τ~w,i(l)tの重み付き平均値が、射影画像τ~w,itとして求められる。
【０２９５】
前景形状モデルσiの更新では、式（３４）の前景尤度L(FG|τi(ri))と、式（３５）の背景尤度L(BG|τi(ri))とを用いて、式（３８）に従い、前景テクスチャモデルτiとしての画像の各画素について、その画素が前景#iの画素である確率が求められる。
【０２９６】
【数３８】
2013191163.tif 000040
・・・（３８）
【０２９７】
ここで、p(FG|τi(ri))は、前景形状モデルσiの、前景#iのローカル座標系O'上の点（画素）riが、前景#iの画素である確率を表す。前景形状モデルσiの更新では、点riの画素値σi(ri)が、確率p(FG|τi(ri))に更新される。
【０２９８】
［第4章  運動モデル（動力学パラメータ）の更新］
【０２９９】
時刻t+1に、観測値xt+1を観測したとき、時刻tまでに、観測値の系列Xt＝{x1,x2,・・・,xt}が観測され、時刻t+1に、状態zt+1になっている事後分布p(zt+1|Xt)は、式（１５）に従って求めることができる。
【０３００】
前景#iが時刻t+1になっている可能性が最も高い最尤状態zit+1は、時刻t+1の事後分布p(zit+1|Xt)が最大の状態であるから、式（３９）に従って求めることができる。
【０３０１】
【数３９】
2013191163.tif 000041
・・・（３９）
【０３０２】
運動モデルの更新では、各時刻tの、前景#iの最尤状態zitが、逐次的に求められ、その最尤状態zitの系列（最尤系列）Zit＝{zi1，zi2，・・・，zit}を、エージェントが観測可能な観測値として用いて、最尤推定を行うことにより、前景#iの運動モデルaiとしての式（４）の剛体運動の動力学パラメータric，mi，Iicが更新される。
【０３０３】
最尤推定では、現在時刻tから過去に一定時間だけ遡った時刻から、現在時刻までの状態を推定し、その結果得られる状態系列の、最尤系列Zitに対する誤差が、運動モデルaiにおいて、時刻tに、状態zitが観測される観測尤度として採用される。
【０３０４】
すなわち、本技術では、現在時刻tから、一定時間TDYNだけ遡った時刻t-TDYNの最尤状態zit-TDYNを初期値として、運動モデルaiと、時刻t-TDYNから時刻t-1までの前景#iのアクションの系列Uit-1＝{uit-TDYN，uit-TDYN+1，・・・，uit-1}とを用い、式（４０）の時間発展方程式に従って、前景#iの時刻t-TDYN+1から現在時刻tまでの状態系列Z^it-TDYN+1:t＝{z^it-TDYN+1，z^it-TDYN+2，・・・，z^it}が推定される。
【０３０５】
【数４０】
2013191163.tif 000042
・・・（４０）
【０３０６】
式（４０）の時間発展方程式としては、例えば、式（４１）及び式（４２）の剛体の運動方程式を採用することができる。
【０３０７】
【数４１】
2013191163.tif 000043
・・・（４１）
【０３０８】
【数４２】
2013191163.tif 000044
・・・（４２）
【０３０９】
式（４１）及び式（４２）の運動方程式については、例えば、オイラー法やルンゲクッタ法を用いて数値計算を行うことにより、式（４１）及び式（４２）の運動方程式に従って運動する前景#iの状態系列Z^it-TDYN+1:t＝{z^it-TDYN+1，z^it-TDYN+2，・・・，z^it}を求めることができる。
【０３１０】
本技術では、現在時刻tから時間TDYN-1だけ遡った時刻t-TDYN+1から現在時刻tまでの最尤系列Zit＝{zit-TDYN+1，zit-TDYN+2，・・・，zit}と、式（４１）及び式（４２）の運動方程式に従って求められる前景#iの状態系列Z^it-TDYN+1:t＝{z^it-TDYN+1，z^it-TDYN+2，・・・，z^it}との誤差に対応する値が、運動モデルaiにおいて、時刻tに、状態zitが観測される観測尤度（運動モデルaiの前景#iの状態として、時刻tに、状態zitが観測される観測尤度）p(zit|ai)として求められる。
【０３１１】
すなわち、観測尤度p(zit|ai)は、式（４３）に従って求められる。
【０３１２】
【数４３】
2013191163.tif 000045
・・・（４３）
【０３１３】
なお、式（４３）において、K及びσ2は、所定の定数であり、あらかじめ決定される。
【０３１４】
本技術では、運動モデルaiをパーティクルとして採用し、前景モデル及び背景モデルのモデルパラメータの更新と並行して、パーティクルフィルタを用いて逐次的に、運動モデルaiの更新が行われる。
【０３１５】
運動モデルaiをパーティクルとして採用した場合のパーティクルフィルタの基本的な計算方法は、第2章で説明した通りである。
【０３１６】
但し、運動モデルaiのパーティクルの重みwi(l)tは、式（４３）に従って求められる観測尤度p(zit|ai)を用い、式（１４）と同様にして求められる。
【０３１７】
また、本技術では、時刻tのパーティクルとしての運動モデルai(l)tが、次の時刻t+1に、運動モデルait+1に遷移する確率、すなわち、パーティクルとしての運動モデルai(l)tの遷移確率p(ait+1|ai(l)t)が、ガウス分布（正規分布）に従うことと仮定し、パーティクルとしての運動モデルai(l)tの遷移モデルを、例えば、式（４４）で表す。
【０３１８】
【数４４】
2013191163.tif 000046
・・・（４４）
【０３１９】
ここで、式（２０）で説明したように、N(A,B)は、平均ベクトル（平均値）がAで、分散共分散行列（分散）がBのガウス分布を表す。
【０３２０】
式（４４）では、ガウス分布N(0,Σrc)，N(0,σ2m)，N(0,ΣIc)は、いずれも、平均ベクトルが0のガウス分布である。また、分散共分散行列（共分散）Σrc，σ2m，ΣIcは、あらかじめ決定される。
【０３２１】
式（４４）の遷移モデルによれば、パーティクルとしての運動モデルは、平均ベクトルが0で、所定の分散共分散行列のガウス分布に従って、確率的に揺らぎながら遷移することとして、遷移先である時刻t+1の運動モデルait+1が求められる（予測される）。
【０３２２】
また、本技術では、運動モデルaiについては、時刻tのパーティクルとしての運動モデルai(l)tと、その重みwi(l)tとの重み付け平均値が、式（４５）に従って求められ、時刻t+1の運動モデルait+1は、その重み付け平均値に更新される。
【０３２３】
【数４５】
2013191163.tif 000047
・・・（４５）
【０３２４】
［第5章  推定したモデルを用いた物体操作］
【０３２５】
図１６は、エージェントによる物体操作を説明する図である。
【０３２６】
前景モデル（前景見えモデルμi）、背景モデル（背景見えモデルμw）、及び、前景#iの運動モデルaiが得られると、エージェントは、それらの前景モデル、背景モデル、及び、運動モデルaiを用いて、環境中の物体を操作するマニピュレータとして機能することができる。
【０３２７】
図１６では、２次元平面としての環境に、Ｌ字型の物体が、操作対象の物体として置かれており、操作対象の物体は、円形で示すエージェントのハンドが接触することにより移動する。
【０３２８】
ここで、図１６において、実線で示すＬ字型が、操作対象の物体の現在の状態を表しており、点線で示すＬ字型が、操作対象の物体の目標の状態（目標状態）を表している。
【０３２９】
なお、操作対象の物体については、環境中で剛体の運動方程式に従って運動することとするが、外力を加えなければ、環境との摩擦によって時間とともに運動エネルギーが失われ、速度は減少することとする。すなわち、操作対象の物体は、停止させる力を加えなくても、外力を加えることをやめれば、すぐに停止することとする。
【０３３０】
また、操作対象の物体は、それ自体、自律的に動かず、人間が手を使って物を搬送する場合と同様に、円形のハンドが接触することによってのみ動く。
【０３３１】
さらに、ハンドについては、エージェントが、位置と速度を、任意に指定することができることとする。
【０３３２】
図１７は、操作対象の物体の現在の状態と、目標状態とを示す図である。
【０３３３】
図１７において、sobjtは、世界座標系O上の現在時刻tの物体の重心の位置（現在の位置）を表し、qobjtは、世界座標系O上の現在時刻tの物体の姿勢（現在の姿勢）を表す。
【０３３４】
また、図１７において、stgtは、世界座標系O上の物体の目標の重心の位置（目標位置）を表し、qtgtは、世界座標系O上の物体の目標の姿勢（目標姿勢）を表す。
【０３３５】
剛体の運動は、並進運動と回転運動とに分けることができる。本技術では、操作対象の物体を、必要に応じて、並進運動させるとともに、回転運動させることで、目標状態に遷移させる。
【０３３６】
具体的には、本技術では、例えば、まず、操作対象の物体を、並進運動させ、目標状態に対する物体の位置の誤差が十分小さくなった後に、回転運動させる。そして、回転運動中に、目標状態に対する物体の位置の誤差が大きくなった場合には、再び、物体を並進運動させ、以下、同様の処理が行われる。
【０３３７】
一方、回転運動中に、目標状態に対する物体の位置及び姿勢の誤差が十分小さくなった場合には、物体が、目標状態に遷移したこととして、エージェントは、物体操作を終了する。
【０３３８】
なお、上述の物体操作では、並進運動を優先的に行い、その後、回転運動を行うこととしたが、その他、例えば、回転運動を優先的に行い、その後、並進運動を行うことが可能である。
【０３３９】
図１８は、物体の並進運動を説明する図である。
【０３４０】
物体を並進運動させるにあたり、エージェントは、物体を、なるべく回転させないで、並進させるために、剛体である物体に対して、トルクを生じさせないように、力を加える。
【０３４１】
図１８は、以上のように、物体にトルクを生じさせないように、力を加える場合の、その力の作用点を決定する方法と、その力のベクトル（力ベクトル）を決定する方法とを示している。
【０３４２】
まず、力の作用点は、物体の目標状態の位置stgtと、現在の位置（重心）sobjtとを結ぶ直線L1と、現在の物体の縁との交点に決定される。
【０３４３】
ここで、物体の縁は、例えば、その物体に対応する前景の前景形状モデルに対して、エッジを検出する画像処理を行うことによって求めることができる。
【０３４４】
また、図１８では、直線L1と、現在の物体の縁との交点として、２つの点scontact,0、及び、scontact,1が存在する。
【０３４５】
このように、直線L1と、現在の物体の縁との交点として、複数の点が存在する場合、例えば、物体を、ハンドで押して操作するときには、直線L1と、現在の物体の縁との交点としての複数の点のうちの、物体の目標状態の位置stgtから最も遠い点が、力の作用点に決定される。
【０３４６】
図１８の２つの点scontact,0、及び、scontact,1については、点scontact,0が、物体の目標状態の位置stgtから最も遠い点であるため、力の作用点に決定される。
【０３４７】
なお、物体を、ハンドで引っ張って操作するときには、直線L1と、現在の物体の縁との交点としての複数の点のうちの、物体の目標状態の位置stgtから最も近い点が、力の作用点に決定される。
【０３４８】
時刻tに物体に加える力ベクトルFcontroltの方向は、作用点scontact,0から目標状態の位置stgtに向かう方向に決定される。
【０３４９】
さらに、力ベクトルFcontroltは、物体の現在位置sobjtから目標状態の位置stgtまでの距離|stgt-sobjt|が大であるほど大になり、かつ、物体の現在の速度s・objtが大であるほど小さくなるように、例えば、式（４６）に従って決定される。
【０３５０】
【数４６】
2013191163.tif 000048
・・・（４６）
【０３５１】
ここで、式（４６）において、K0及びK1は、所定の定数であり、あらかじめ決定される。
【０３５２】
図１９は、物体の回転運動を説明する図である。
【０３５３】
物体を回転運動させるにあたり、エージェントは、物体を、なるべく並進させないで、回転させるために、剛体である物体に対して、なるべく、重心回りのトルクが生じるように、力を加える。
【０３５４】
図１９は、以上のように、なるべく重心回りのトルクを生じさせるように、力を加える場合の、その力の作用点を決定する方法と、その力のベクトル（力ベクトル）を決定する方法とを示している。
【０３５５】
まず、力の作用点は、物体の現在の状態の位置（重心）sobjtを通る１以上の直線と、現在の物体の縁との交点に決定される。
【０３５６】
ここで、図１９では、物体の現在の状態の位置sobjtを通る１以上の直線として、３本の直線L1，L2，L3が存在する。
【０３５７】
また、直線L1と、現在の物体の縁との交点として、２つの点scontact,0、及び、scontact,3が、直線L2と、現在の物体の縁との交点として、２つの点scontact,1、及び、scontact,4が、直線L3と、現在の物体の縁との交点として、２つの点scontact,2、及び、scontact,5が、それぞれ存在する。
【０３５８】
いま、例えば、図１８で説明した並進運動の場合と同様に、例えば、物体を、ハンドで押して、回転運動させることとすると、物体の現在の位置sobjtを通る直線と、現在の物体の縁との交点として、複数の点が存在する場合、その複数の点の中から、物体の縁を押すように力を加えたときに生じるトルクの方向が、物体を回転したい方向と一致する点を、作用点の候補として選択する。
【０３５９】
ここで、物体を回転したい方向としては、例えば、物体の重心回りの回転方向のうちの、物体を目標状態と一致する姿勢に回転するときに、回転角が少ない方向を採用することができる。図１９では、反時計回りの方向が、物体を回転したい方向になっている。
【０３６０】
作用点の候補が選択された後、その作用点の候補のうちの、物体の現在の位置sobjtから最も遠い候補が、作用点に決定される。
【０３６１】
図１９では、点scontact,0が、力の作用点に決定されている。
【０３６２】
時刻tに物体に加える力ベクトルFcontroltの方向は、物体の現在の位置sobjtと作用点とを通る直線と直交し、かつ、物体を回転したい方向に回転させる方向に決定される。
【０３６３】
図１９では、物体の現在の位置sobjtと作用点scontact,0とを通る直線L1と直交し、かつ、物体を反時計回りに回転させる方向が、力ベクトルFcontroltの方向に決定されている。
【０３６４】
回転運動については、力ベクトルFcontroltによって、物体を重心sobjt回りに回転させるトルクTcontroltが、物体の現在の姿勢qobjtから目標状態の姿勢qtgtになるまでの回転角度|qtgt-qobjt|が大であるほど大になり、かつ、物体の現在の角速度q・objtが大であるほど小さくなるように、例えば、式（４７）に従って決定される。
【０３６５】
【数４７】
2013191163.tif 000049
・・・（４７）
【０３６６】
ここで、式（４７）において、K2及びK3は、所定の定数であり、あらかじめ決定される。
【０３６７】
トルクTcontroltは、物体の重心sobjtから作用点までの距離を表す距離ベクトルrと、力ベクトルFcontroltとの外積r×Fcontroltであるから、トルクTcontroltが決定されることにより、そのトルクTcontroltを発生させる力ベクトルFcontroltも決定することができる。
【０３６８】
エージェントは、力の作用点、及び、その力の力ベクトルを決定すると、ハンドを、所定の初期位置に移動し、操作対象の物体の力の作用点に、力ベクトルを加えるように、ハンドを移動する。
【０３６９】
図２０は、ハンドの初期位置を説明する図である。
【０３７０】
エージェントは、力の作用点scontactを通り、力ベクトルFcontroltと平行な直線L1上で、力の作用点scontactを基点として力ベクトルFcontroltの向きとは反対方向で、かつ、操作対象の物体と干渉しない、作用点scontactから十分遠い点smanip0を、ハンドの初期位置（時刻ｔ=0のハンドの位置）に決定する。
【０３７１】
そして、エージェントは、ハンドを、初期位置smanip0に移動し、その後、力ベクトルFcontroltに対応する速度s・maniptで移動させる。
【０３７２】
力ベクトルFcontroltに対応する速度（速度ベクトル）s・maniptは、例えば、式（４８）に従って求められる。
【０３７３】
【数４８】
2013191163.tif 000050
・・・（４８）
【０３７４】
ここで、式（４８）において、K4は、所定の定数であり、あらかじめ決定される。
【０３７５】
なお、エージェントは、並進運動を開始するときと、回転運動を開始するときに、ハンドを、初期位置smanip0に移動させる。
【０３７６】
また、エージェントは、並進運動を開始した後、回転運動を開始するまでの間と、回転運動を開始した後、並進運動を開始するまでの間とでは、ハンドを、力ベクトルFcontroltを用いて求められる式（４８）の速度s・maniptで、連続的に移動させる。
【０３７７】
［本技術を適用したエージェントの一実施の形態］
【０３７８】
図２１は、本技術を適用したエージェントの一実施の形態の構成例を示すブロック図である。
【０３７９】
図２１において、エージェントは、アクチュエータ制御部１１、センサ１２、前景状態推定部１３、見えモデル更新部１４、見えモデル記憶部１５、最尤状態算出部１６、最尤状態系列記憶部１７、運動モデル推定部１８、運動モデル更新部１９、運動モデル記憶部２０、目標生成部２１、アクション生成部２２、及び、アクション系列記憶部２３を有する。
【０３８０】
図２１において、前景状態推定部１３ないし運動モデル記憶部２０が、前景見えモデルμi、背景見えモデルμw、及び、運動モデルaiを学習する学習器を構成する。
【０３８１】
アクチュエータ制御部１１には、アクション生成部２２から、前景#iのアクションuit（時刻tに、前景#iに行わせるアクション、又は、前景#iが行うアクション）が供給される。
【０３８２】
アクチュエータ制御部１１は、アクション生成部２２からのアクションuitに従って、例えば、エージェントの図示せぬハンド等を駆動するアクチュエータを制御し、これにより、例えば、ハンドが移動する。
【０３８３】
センサ１２は、カメラ等であり、画像を、所定のフレームレートで撮影し、その画像の観測値（エージェントが観測可能な画像の観測値）（実画像）λ~tを、前景推定部１３、及び、見えモデル更新部１４に供給する。
【０３８４】
なお、センサ１２は、カメラの他、例えば、ハンドに装備された圧力センサ等を含む。ハンドに装備された圧力センサによれば、ハンドが物体に接触したときの反作用によって、物体のアクションを獲得（観測）することができる。
【０３８５】
センサ１２で獲得される物体に対応する前景#iのアクションuitは、アクション系列記憶部２３に供給される。
【０３８６】
前景状態推定部１３には、センサ１２から画像の観測値（実画像）λ~tが供給される他、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、背景見えモデルμwが供給される。
【０３８７】
前景状態推定部１３は、センサ１２からの実画像λ~t、並びに、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、背景見えモデルμwを用いて、前景#iの状態zitを推定し、その推定の結果として、状態zitのパーティクルzi(l)t及び重みwi(l)tを、見えモデル更新部１４、及び、最尤状態算出部１６に供給する。
【０３８８】
なお、前景状態推定部１３では、必要に応じて、運動モデル記憶部２０に記憶された運動モデルai、及び、アクション系列記憶部２３に記憶されたアクションuitをも用いて、前景#iの状態zitを推定することができる。
【０３８９】
見えモデル更新部１４は、センサ１２からの実画像λ~tと、前景状態推定部１３から供給される前景#iの状態zitの推定の結果としての状態zitのパーティクルzi(l)t及び重みwi(l)tとを用いて、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、背景見えモデルμwを更新する。
【０３９０】
すなわち、見えモデル更新部１４は、式（２４）ないし式（２７）に従って、前景見えモデルμiのうちの前景テクスチャモデルτiを更新し、式（３４）ないし式（３８）に従って、前景見えモデルμiのうちの前景形状モデルσiを更新する。
【０３９１】
また、見えモデル更新部１４は、式（２８）ないし式（３３）に従って、背景見えモデルμw（背景テクスチャモデルτw）を更新する。
【０３９２】
見えモデル記憶部１５は、前景見えモデルμi、及び、背景見えモデルμwを記憶する。
【０３９３】
最尤状態算出部１６は、前景状態推定部１３から供給される前景#iの状態zitの推定の結果としての状態zitのパーティクルzi(l)t及び重みwi(l)tを用い、式（３９）に従って、最尤状態zitを求めて、最尤状態系列記憶部１７に供給する。
【０３９４】
最尤状態系列記憶部１７は、最尤状態算出部１６かの最尤状態zitを、順次記憶する。最尤状態系列記憶部１７では、最尤状態算出部１６かの最尤状態zitが、順次記憶されることにより、結果として、最尤系列Zit＝{zi1，zi2，・・・，zit}が記憶される。
【０３９５】
運動モデル推定部１８は、最尤状態系列記憶部１７に記憶された過去TDYN-1時間分の最尤系列Zit＝{zit-TDYN+1，zit-TDYN+2，・・・，zit}、及び、時刻t-TDYNの最尤状態zit-TDYN、並びに、アクション系列記憶部２３に記憶されたアクション系列Uit-1＝{uit-TDYN，uit-TDYN+1，・・・，uit-1}を用いて、運動モデルaiを推定し、その推定の結果として、運動モデルaiのパーティクルai(l)t及び重みwi(l)tを、運動モデル更新部１９に供給する。
【０３９６】
運動モデル更新部１９は、運動モデル推定部１８から供給される運動モデルaiの推定の結果としての運動モデルaiのパーティクルai(l)t及び重みwi(l)tを用いて、運動モデル記憶部２０に記憶された運動モデルaiを更新する。
【０３９７】
すなわち、運動モデル更新部１９は、式（４５）に従って、運動モデルaiを更新する。
【０３９８】
運動モデル記憶部２０は、運動モデルaiを記憶する。
【０３９９】
目標生成部２１は、前景の目標状態としての位置stgt及び姿勢qtgtを生成し、アクション生成部２２に供給する。なお、目標生成部２１は、例えば、ユーザの操作や、目標状態を設定する任意のアルゴリズム等に従って、目標状態を生成することができる。
【０４００】
アクション生成部２２は、見えモデル記憶部１５に記憶された前景見えモデルμi、最尤状態系列記憶部１７に記憶された最尤状態zit、及び、運動モデル記憶部２０に記憶された運動モデルaiを用い、前景#iの状態を、目標生成部２１から供給される目標状態に遷移させるためのアクションuitを生成し、アクチュエータ制御部１１、及び、アクション系列記憶部２３に供給する。
【０４０１】
アクション系列記憶部２３は、センサ１２から供給されるアクションuit、及び、アクション生成部２２から供給されるアクションuitを記憶する。
【０４０２】
図２２は、図２１の前景状態推定部１３の構成例を示すブロック図である。
【０４０３】
前景状態推定部１３は、見えモデル尤度計算部４１、状態パーティクル更新部４２、状態パーティクル記憶部４３、及び、推定観測値生成部４４を有する。
【０４０４】
見えモデル尤度計算部４１には、センサ１２から画像の観測値（実画像）λ~tが供給されるとともに、推定観測値生成部４４から、生成モデルで観測される観測画像λi(l)tが供給される。
【０４０５】
見えモデル尤度計算部４１は、センサ１２からの実画像λ~tと、推定観測値生成部４４からの観測画像λi(l)tとを用い、式（２２）に従って、注目している前景#iが、パーティクルとしての状態zi(l)tになっているときの、前景#iの観測値xitの観測尤度p(xit|zi(l)t)を求めて、状態パーティクル更新部４２に供給する。
【０４０６】
状態パーティクル更新部４２は、状態パーティクル記憶部４３に記憶された時刻t-1のパーティクルとしての状態zi(l)t-1から、式（２０）、又は、式（２１）に従って、次の時刻tの状態zitとしてのパーティクルzi(l)tを求める、パーティクルの遷移先の予測（算出）を、パーティクルとしての前景#iの状態zitの推定として行う。
【０４０７】
状態パーティクル更新部４２は、次の時刻tの状態zitとしてのパーティクルzi(l)tを、状態パーティクル記憶部４３に供給し、時刻t-1のパーティクルとしての状態zi(l)t-1に代えて記憶させる。
【０４０８】
さらに、状態パーティクル更新部４２は、見えモデル尤度計算部４１からの観測尤度p(xit|zi(l)t)を用いて、式（１４）に従い、パーティクルzi(l)tの重みwi(l)tを求め、パーティクルzi(l)tと同様に、状態パーティクル記憶部４３に供給して記憶させる。
【０４０９】
また、状態パーティクル更新部４２は、パーティクルzi(l)tの重みwi(l)tに対応する確率で、パーティクルzi(l)tを選択するリサンプリングを行い、状態パーティクル記憶部４３に記憶されたパーティクルzi(l)tを、リサンプリング結果に書き換える。
【０４１０】
リサンプリング結果としてのパーティクルzi(l)tは、次の時刻t+1の観測尤度p(xit+1|zi(l)t+1)が得られた後に、式（２０）、又は、式（２１）に従って、時刻t+1の状態zit+1としてのパーティクルzi(l)t+1を予測するときに用いられる。
【０４１１】
なお、状態パーティクル更新部４２では、式（２０）、及び、式（２１）のうちの、式（２１）に従って、時刻tの状態zitとしてのパーティクルzi(l)tを予測するときには、運動モデル記憶部２０に記憶された運動モデルai、及び、アクション系列記憶部２３に記憶されたアクションuitが用いられる。すなわち、式（２１）のγ/m、及び、φ/Icは、運動モデルai及びアクションuitを用いて求められる。
【０４１２】
状態パーティクル記憶部４３は、状態パーティクル更新部４２が更新する、前景の状態zitとしてのパーティクルzi(l)tと、その重みwi(l)tとを記憶する。
【０４１３】
推定観測値生成部４４は、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、背景見えモデルμwを用い、前景の状態が、状態パーティクル記憶部４３に記憶された各パーティクルとしての状態zi(l)tになっている観測画像（生成モデルにおいて観測される画像）λi(l)tを、式（２３）に従って生成し、見えモデル尤度計算部４１に供給する。
【０４１４】
図２３は、図２１の運動モデル推定部１８の構成例を示すブロック図である。
【０４１５】
運動モデル推定部１８は、運動モデル尤度計算部５１、運動モデルパーティクル更新部５２、運動モデルパーティクル記憶部５３、及び、推定観測値生成部５４を有する。
【０４１６】
運動モデル尤度計算部５１には、最尤状態系列記憶部１７から、前景#iの状態の最尤系列Zit＝{zit-TDYN+1，zit-TDYN+2，・・・，zit}が供給される。さらに、運動モデル尤度計算部５１には、推定観測値生成部５４から、式（４１）及び式（４２）の運動方程式に従って求められる前景#iの状態系列Z^it-TDYN+1:t＝{z^it-TDYN+1，z^it-TDYN+2，・・・，z^it}が供給される。
【０４１７】
運動モデル尤度計算部５１は、最尤状態系列記憶部１７からの最尤系列Zit＝{zit-TDYN+1，zit-TDYN+2，・・・，zit}と、推定観測値生成部５４からの、式（４１）及び式（４２）の運動方程式に従って求められる状態系列Z^it-TDYN+1:t＝{z^it-TDYN+1，z^it-TDYN+2，・・・，z^it}とを用い、式（４３）に従って、運動モデルaitが、運動モデルとしてのパーティクルai(l)tである場合の、状態系列Z^it-TDYN+1:tの観測尤度（運動モデルとしてのパーティクルai(l)tの下で、状態系列Z^it-TDYN+1:tが観測される尤度）p(zit|ai)＝p(Zit|ai(l)t)を求めて、運動モデルパーティクル更新部５２に供給する。
【０４１８】
運動モデルパーティクル更新部５２は、運動モデルパーティクル記憶部５３に記憶された時刻t-1のパーティクルとしての運動モデルai(l)t-1から、式（４４）に従って、次の時刻tの運動モデルaitとしてのパーティクルai(l)tを求める、パーティクルの遷移先の予測（算出）を、パーティクルとしての運動モデルaitの推定として行う。
【０４１９】
運動モデルパーティクル更新部５２は、時刻tの運動モデルaitとしてのパーティクルai(l)tを、運動モデルパーティクル記憶部５３に供給し、時刻t-1のパーティクルとしての運動モデルai(l)t-1に代えて記憶させる。
【０４２０】
さらに、運動モデルパーティクル更新部５２は、運動モデル尤度計算部５１からの観測尤度p(Zit|ai(l)t)を、式（１４）の観測尤度p(xit|zi(l)t)に代えて用い、式（１４）に従い、パーティクルai(l)tの重みwi(l)tを求め、パーティクルai(l)tと同様に、運動モデルパーティクル記憶部５３に供給して記憶させる。
【０４２１】
また、運動モデルパーティクル更新部５２は、パーティクルai(l)tの重みwi(l)tに対応する確率で、パーティクルai(l)tを選択するリサンプリングを行い、運動モデルパーティクル記憶部５３に記憶されたパーティクルai(l)tを、リサンプリング結果に書き換える。
【０４２２】
リサンプリング結果としてのパーティクルai(l)tは、次の時刻t+1の観測尤度p(Zit+1|ai(l)t+1)が得られた後に、式（４４）に従って、次の時刻t+1の運動モデルait+1としてのパーティクルai(l)t+1を予測するときに用いられる。
【０４２３】
運動モデルパーティクル記憶部５３は、運動モデルパーティクル更新部５２が更新する、前景の運動モデルaitとしてのパーティクルai(l)tと、その重みwi(l)tとを記憶する。
【０４２４】
推定観測値生成部５４は、最尤状態系列記憶部１７に記憶された、時刻t-TDYNの最尤状態zit-TDYNを初期値とし、運動モデルパーティクル記憶部５３に記憶された運動モデルとしてのパーティクルai(l)t、及び、アクション系列記憶部２３に記憶されたアクションの系列Uit-1＝{uit-TDYN，uit-TDYN+1，・・・，uit-1}を用いて、式（４１）及び式（４２）の運動方程式を計算することにより、式（４１）及び式（４２）の運動方程式に従って運動する前景#iの状態系列Z^i(l)t-TDYN+1:t＝{z^i(l)t-TDYN+1，z^i(l)t-TDYN+2，・・・，z^i(l)t}を求め、運動モデル尤度計算部５１に供給する。
【０４２５】
図２４は、図２１のアクション生成部２２の構成例を示すブロック図である。
【０４２６】
図２４において、アクション生成部２２は、並進運動制御部６１、回転運動制御部６２、及び、アクション出力部６３を有し、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、運動モデル記憶部２０に記憶された運動モデルai等を用いて、１の前景としての操作対象の物体等の状態を所定の目標状態にするための他の１つの前景としてのハンド等のアクションを生成する。
【０４２７】
すなわち、並進運動制御部６１には、見えモデル記憶部１５に記憶された前景見えモデルμi、最尤状態系列記憶部１７に記憶された最尤状態zit、運動モデル記憶部２０に記憶された運動モデルai、及び、目標生成部２１で生成された目標状態としての目標位置stgtと目標姿勢qtgtが供給される。
【０４２８】
並進運動制御部６１は、前景見えモデルμi及び最尤状態zitから、操作対象の前景（物体）#iの縁を認識し、図１８で説明したようにして、前景#iの現在の状態（最尤状態zit）としての位置sobjt＝sitを、目標位置stgtに近づける並進運動を行うための作用点と、その作用点に加える力の力ベクトルを求める。
【０４２９】
そして、並進運動制御部６１は、作用点と力ベクトルとを、アクション出力部６３に供給する。
【０４３０】
回転運動制御部６２には、見えモデル記憶部１５に記憶された前景見えモデルμi、最尤状態系列記憶部１７に記憶された最尤状態zit、運動モデル記憶部２０に記憶された運動モデルai、及び、目標生成部２１で生成された目標状態としての目標位置stgtと目標姿勢qtgtが供給される。
【０４３１】
回転運動制御部６２は、前景見えモデルμi及び最尤状態zitから、操作対象の前景（物体）#iの縁を認識し、図１９で説明したようにして、前景#iの現在の状態（最尤状態zit）としての姿勢qobjt＝qitを、目標姿勢qtgtに近づける回転運動を行うための作用点と、その作用点に加える力の力ベクトルを求める。
【０４３２】
そして、回転運動制御部６２は、作用点と力ベクトルとを、アクション出力部６３に供給する。
【０４３３】
アクション出力部６３は、並進運動制御部６１、又は、回転運動制御部６２からの作用点と力ベクトルに従い、その作用点に、その力ベクトルの力を加えるための速度ベクトルs・maniptを、式（４８）に従って生成し、ハンドのアクションとして、アクチュエータ制御部１１、及び、アクション系列記憶部２３に出力する。
【０４３４】
なお、アクション出力部６３は、並進運動を開始するときと、回転運動を開始するときには、図２０で説明した初期位置smanip0を求め、その初期位置smanip0に、ハンドを移動させるアクションを出力する。
【０４３５】
また、アクション出力部６３には、最尤状態系列記憶部１７に記憶された最尤状態zitと、目標生成部２１で生成された目標状態としての目標位置stgtと目標姿勢qtgtが供給される。
【０４３６】
アクション出力部６３は、操作対象の物体の最尤状態zitとしての位置sitの、目標位置stgtに対する誤差と、最尤状態zitとしての姿勢sitの、目標姿勢qtgtに対する誤差とを求め、その位置sitの誤差、及び、姿勢sitの誤差に応じて、ハンドを移動させるアクションの出力を制御する。
【０４３７】
図２５は、図２１のエージェントが行う、前景モデル、背景モデル、及び、運動モデルの学習処理の概要を説明するフローチャートである。
【０４３８】
エージェントでは、センサ１２において、画像が撮影され、その画像（実画像）λ~tが、センサ１２から、前景状態推定部１３、及び、見えモデル更新部１４に供給される。
【０４３９】
センサ１２から前景状態推定部１３に、実画像λ~tが供給されると、エージェントは、ステップＳ３１において、実画像λ~tに対して、まだ、注目モデルに選択していない前景モデル#iを、注目モデルに選択し、処理は、ステップＳ３２に進む。
【０４４０】
ステップＳ３２では、前景状態推定部１３は、センサ１２からの画像の観測値λ~t、並びに、見えモデル記憶部１５に記憶された注目モデルである前景見えモデルμi、及び、背景見えモデルμwを用いて、前景#iの状態zitを推定し、その推定の結果として、注目モデルが表す前景#iの状態zitのパーティクルzi(l)t及びその重みwi(l)tを、見えモデル更新部１４、及び、最尤状態算出部１６に供給して、処理は、ステップＳ３３に進む。
【０４４１】
ここで、最尤状態算出部１６では、前景状態推定部１３から供給される前景#iの状態zitの推定の結果としての状態zitのパーティクルzi(l)t及び重みwi(l)tを用い、式（３９）に従って、最尤状態zitを求めて、最尤状態系列記憶部１７に供給して記憶させる。
【０４４２】
ステップＳ３３では、見えモデル更新部１４が、センサ１２からの画像の観測値λ~tと、前景状態推定部１３から供給される前景#iの状態zitの推定の結果としての状態zitのパーティクルzi(l)t及び重みwi(l)tとを用いて、見えモデル記憶部１５に記憶された前景見えモデルμiを更新して、処理は、ステップＳ３４に進む。
【０４４３】
ステップＳ３４では、見えモデル更新部１４が、センサ１２からの画像の観測値λ~tと、前景状態推定部１３から供給される前景#iの状態zitの推定の結果としての状態zitのパーティクルzi(l)t及び重みwi(l)tとを用いて、見えモデル記憶部１５に記憶された背景見えモデルμwを更新して、処理は、ステップＳ３５に進む。
【０４４４】
ステップＳ３５では、運動モデル推定部１８は、最尤状態系列記憶部１７に記憶された過去TDYN-1時間分の最尤系列Zit＝{zit-TDYN+1，zit-TDYN+2，・・・，zit}、及び、最尤状態zit-TDYN、並びに、アクション系列記憶部２３に記憶されたアクション系列Uit-1＝{uit-TDYN，uit-TDYN+1，・・・，uit-1}を用いて、注目モデルが表す前景#iの運動モデルaiを推定し、その推定の結果として、運動モデルaiのパーティクルai(l)t及びその重みwi(l)tを、運動モデル更新部１９に供給して、処理は、ステップＳ３６に進む。
【０４４５】
ステップＳ３６では、運動モデル更新部１９は、運動モデル推定部１８から供給される運動モデルaiの推定の結果としての運動モデルaiのパーティクルai(l)t及び重みwi(l)tを用いて、運動モデル記憶部２０に記憶された運動モデルaiを更新する。
【０４４６】
その後、処理は、ステップＳ３６からステップＳ３１に戻り、N個の前景モデル#1ないし#Nのうちの、実画像λ~tに対して、まだ、注目モデルに選択されていない１つの前景モデルが、注目モデルに選択され、以下、同様の処理が繰り返される。
【０４４７】
そして、実画像λ~tに対して、N個の前景モデル#1ないし#Nが、注目モデルとして選択された場合には、センサ１２から前景状態推定部１３に、次の時刻t+1の実画像λ~t+1が供給されるのを待って、ステップＳ３１ないしＳ３６の処理が繰り返される。
【０４４８】
なお、図２５において、ステップＳ３２ないしＳ３４の処理が、前景モデル及び背景モデルの学習であり、ステップＳ３５及びＳ３６の処理が、運動モデルの学習である。
【０４４９】
すなわち、エージェントでは、前景モデル及び背景モデルの学習と、運動モデルの学習とが交互に行われる。
【０４５０】
図２６は、図２１のエージェントが行う、前景モデル、背景モデル、及び、運動モデルの学習処理の詳細を説明するフローチャートである。
【０４５１】
エージェントでは、センサ１２において、画像が撮影され、その画像（実画像）λ~tが、センサ１２から、前景状態推定部１３、及び、見えモデル更新部１４に供給される。
【０４５２】
センサ１２から前景状態推定部１３に、実画像λ~tが供給されると、エージェントは、ステップＳ５１において、実画像λ~tに対して、まだ、注目モデルに選択していない前景モデル#iを、注目モデルに選択し、処理は、ステップＳ５２に進む。
【０４５３】
ステップＳ５２では、前景状態推定部１３（図２２）において、状態パーティクル更新部４２は、状態パーティクル記憶部４３に記憶された時刻t-1のL個のパーティクルとしての前景#iの状態（以下、状態パーティクルともいう）zi(1)t-1ないしzi(L)t-1の中から、まだ、注目する注目状態パーティクルに選択していない１つの状態パーティクルzi(l)t-1を、注目状態パーティクルに選択して、処理は、ステップＳ５３に進む。
【０４５４】
ステップＳ５３では、状態パーティクル更新部４２は、状態パーティクル記憶部４３に記憶された注目状態パーティクルzi(l)t-1から、式（２０）、又は、式（２１）に従って、時刻tの注目状態パーティクルzi(l)tを予測する。
【０４５５】
さらに、状態パーティクル更新部４２は、時刻tの注目状態パーティクルzi(l)tを、状態パーティクル記憶部４３に供給し、時刻t-1の注目状態パーティクルzi(l)t-1に代えて記憶させて、処理は、ステップＳ５３からステップＳ５４に進む。
【０４５６】
ステップＳ５４では、前景状態推定部１３（図２２）において、推定観測値生成部４４が、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、背景見えモデルμwを用い、前景の状態が、状態パーティクル記憶部４３に記憶された注目状態パーティクルzi(l)tになっている観測画像（生成モデルにおいて観測される画像）λi(l)tを、式（２３）に従って生成する。
【０４５７】
推定観測値生成部４４は、観測画像λi(l)tを、見えモデル尤度計算部４１に供給して、処理は、ステップＳ５４からステップＳ５５に進む。
【０４５８】
ステップＳ５５では、見えモデル尤度計算部４１（図２２）が、センサ１２からの実画像λ~tと、推定観測値生成部４４からの観測画像λi(l)tとを用い、式（２２）に従って、注目している前景#iが、注目状態パーティクルとしての状態zi(l)tになっているときの、前景#iの観測値xitの観測尤度p(xit|zi(l)t)を求める。
【０４５９】
見えモデル尤度計算部４１は、観測尤度p(xit|zi(l)t)を、状態パーティクル更新部４２に供給して、処理は、ステップＳ５５からステップＳ５６に進む。
【０４６０】
ステップＳ５６では、状態パーティクル更新部４２が、見えモデル尤度計算部４１からの観測尤度p(xit|zi(l)t)を用いて、式（１４）に従い、注目状態パーティクルzi(l)tの重みwi(l)tを求め、状態パーティクルzi(l)tと同様に、状態パーティクル記憶部４３に供給して記憶させ、処理は、ステップＳ５７に進む。
【０４６１】
ステップＳ５７では、状態パーティクル更新部４２は、状態パーティクル記憶部４３に記憶された時刻t-1のL個の状態パーティクルzi(1)t-1ないしzi(L)t-1のすべてを、注目状態パーティクルに選択したかどうかを判定する。
【０４６２】
ステップＳ５７において、L個の状態パーティクルzi(1)t-1ないしzi(L)t-1を、まだ、注目状態パーティクルに選択していないと判定された場合、処理は、ステップＳ５２に戻り、状態パーティクル更新部４２は、L個の状態パーティクルzi(1)t-1ないしzi(L)t-1のうちの、まだ、注目状態パーティクルに選択していない１つの状態パーティクルを、注目状態パーティクルに新たに選択して、以下、同様の処理が繰り返す。
【０４６３】
また、ステップＳ５７において、L個の状態パーティクルzi(1)t-1ないしzi(L)t-1のすべてを、注目状態パーティクルに選択したと判定された場合、処理は、ステップＳ５８に進み、見えモデル更新部１４は、センサ１２から供給される実画像λ~tと、ステップＳ５３で状態パーティクル記憶部４３に記憶された時刻tの状態パーティクルzi(l)t、及び、ステップＳ５６で状態パーティクル記憶部４３に記憶された重みwi(l)tとを用いて、見えモデル記憶部１５に記憶された前景見えモデルμiを更新し、処理は、ステップＳ５９に進む。
【０４６４】
すなわち、見えモデル更新部１４は、式（２４）ないし式（２７）に従って、前景見えモデルμiのうちの前景テクスチャモデルτiを更新し、式（３４）ないし式（３８）に従って、前景見えモデルμiのうちの前景形状モデルσiを更新する。
【０４６５】
なお、以上のように、見えモデル更新部１４が、前景見えモデルμiを更新するのと並行して、最尤状態算出部１６は、状態パーティクル記憶部４３に記憶された状態パーティクルzi(l)t及びその重みwi(l)tを用い、式（３９）に従って、最尤状態zitを求めて、最尤状態系列記憶部１７に供給して記憶させる。
【０４６６】
ステップＳ５９では、見えモデル更新部１４は、センサ１２から供給される実画像λ~tと、ステップＳ５３で状態パーティクル記憶部４３に記憶された時刻tの状態パーティクルzi(l)t、及び、ステップＳ５６で状態パーティクル記憶部４３に記憶された重みwi(l)tとを用いて、見えモデル記憶部１５に記憶された背景見えモデルμwを更新し、処理は、ステップＳ６０に進む。
【０４６７】
すなわち、見えモデル更新部１４は、式（２８）ないし式（３３）に従って、背景見えモデルμw（背景テクスチャモデルτw）を更新する。
【０４６８】
ステップＳ６０では、運動モデル推定部１８（図２３）において、運動モデルパーティクル更新部５２は、運動モデルパーティクル記憶部５３に記憶された時刻t-1のL個のパーティクルとしての前景#iの運動モデル（以下、運動モデルパーティクルともいう）ai(1)t-1ないしai(L)t-1の中から、まだ、注目する注目運動モデルパーティクルに選択していない１つの運動モデルパーティクルai(l)t-1を、注目運動モデルパーティクルに選択して、処理は、ステップＳ６１に進む。
【０４６９】
ステップＳ６１では、運動モデルパーティクル更新部５２が、運動モデルパーティクル記憶部５３に記憶された時刻t-1の注目運動モデルパーティクルai(l)t-1から、式（４４）に従って、次の時刻tの注目運動モデルパーティクルai(l)tを予測する。
【０４７０】
さらに、ステップＳ６１では、運動モデルパーティクル更新部５２は、時刻tの注目運動モデルパーティクルai(l)tを、運動モデルパーティクル記憶部５３に供給し、時刻t-1のパーティクルとしての運動モデルai(l)t-1に代えて記憶させ、処理は、ステップＳ６２に進む。
【０４７１】
ステップＳ６２では、推定観測値生成部５４（図２３）が、最尤状態系列記憶部１７に記憶された、時刻t-TDYNの最尤状態zit-TDYNを初期値とし、運動モデルパーティクル記憶部５３に記憶された注目運動モデルパーティクルai(l)t、及び、アクション系列記憶部２３に記憶されたアクションの系列Uit-1＝{uit-TDYN，uit-TDYN+1，・・・，uit-1}を用いて、式（４１）及び式（４２）の運動方程式を計算することにより、注目運動モデルパーティクルai(l)tに対して、式（４１）及び式（４２）の運動方程式に従って運動する前景#iの状態系列Z^i(l)t-TDYN+1:t＝{z^i(l)t-TDYN+1，z^i(l)t-TDYN+2，・・・，z^i(l)t}を求める。
【０４７２】
そして、推定観測値生成部５４は、注目運動モデルパーティクルai(l)tに対して求められた状態系列Z^i(l)t-TDYN+1:t＝{z^i(l)t-TDYN+1，z^i(l)t-TDYN+2，・・・，z^i(l)t}を、運動モデル尤度計算部５１に供給して、処理は、ステップＳ６２からステップＳ６３に進む。
【０４７３】
ステップＳ６３では、運動モデル尤度計算部５１は、最尤状態系列記憶部１７に記憶された最尤系列Zit＝{zit-TDYN+1，zit-TDYN+2，・・・，zit}と、推定観測値生成部５４からの、注目運動モデルパーティクルai(l)tに対する状態系列Z^i(l)t-TDYN+1:t＝{z^i(l)t-TDYN+1，z^i(l)t-TDYN+2，・・・，z^i(l)t}とを用い、式（４３）に従って、運動モデルaitが、注目運動モデルパーティクルai(l)tである場合の、状態系列Z^i(l)t-TDYN+1:tの観測尤度p(zit|ai)＝p(Zit|ai(l)t)を求める。
【０４７４】
そして、運動モデル尤度計算部５１は、観測尤度p(zit|ai)＝p(Zit|ai(l)t)を、運動モデルパーティクル更新部５２に供給して、処理は、ステップＳ６３からステップＳ６４に進む。
【０４７５】
ステップＳ６４では、運動モデルパーティクル更新部５２は、運動モデル尤度計算部５１からの観測尤度p(Zit|ai(l)t)を、式（１４）の観測尤度p(xit|zi(l)t)に代えて用い、式（１４）に従い、注目運動モデルパーティクルai(l)tの重みwi(l)tを求める。
【０４７６】
そして、運動モデルパーティクル更新部５２は、注目運動モデルパーティクルai(l)tの重みwi(l)tを、運動モデルパーティクルai(l)tと同様に、運動モデルパーティクル記憶部５３に供給して記憶させ、処理は、ステップＳ６４からステップＳ６５に進む。
【０４７７】
ステップＳ６５では、運動モデルパーティクル更新部５２は、運動モデルパーティクル記憶部５３に記憶された時刻t-1のL個の運動モデルパーティクルai(1)t-1ないしai(L)t-1のすべてを、注目運動モデルパーティクルに選択したかどうかを判定する。
【０４７８】
ステップＳ６５において、L個の運動モデルパーティクルai(1)t-1ないしai(L)t-1を、まだ、注目運動モデルパーティクルに選択していないと判定された場合、処理は、ステップＳ６０に戻り、運動モデルパーティクル更新部５２は、L個の運動モデルパーティクルai(1)t-1ないしai(L)t-1のうちの、まだ、注目運動モデルパーティクルに選択していない１つの運動モデルパーティクルを、注目運動モデルパーティクルに新たに選択して、以下、同様の処理が繰り返す。
【０４７９】
また、ステップＳ６５において、L個の運動モデルパーティクルai(1)t-1ないしai(L)t-1のすべてを、注目運動モデルパーティクルに選択したと判定された場合、処理は、ステップＳ６６に進み、運動モデル更新部１９（図２１）は、運動モデルパーティクル記憶部５３に記憶された運動モデルパーティクルai(l)t及び重みwi(l)tを用い、式（４５）に従って、運動モデル記憶部２０に記憶された運動モデルaiを更新し、処理は、ステップＳ６７に進む。
【０４８０】
ステップＳ６７では、エージェントは、実画像λ~tに対して、N個の前景モデル#1ないし#Nのすべてを、注目モデルに選択したかどうかを判定する。
【０４８１】
ステップＳ６７において、N個の前景モデル#1ないし#Nが、まだ、注目モデルに選択されていないと判定された場合、処理は、ステップＳ５１に戻る。ステップＳ５１では、エージェントは、実画像λ~tに対して、まだ、注目モデルに選択していない前景モデル#iを、注目モデルに新たに選択し、以下、同様の処理が繰り返される。
【０４８２】
また、ステップＳ６７において、N個の前景モデル#1ないし#Nのすべてが、注目モデルに選択されたと判定された場合、処理は、ステップＳ６８に進み、状態パーティクル更新部４２（図２２）は、状態パーティクル記憶部４３に記憶された重みwi(l)tに対応する確率で、同じく状態パーティクル記憶部４３に記憶された状態パーティクルzi(l)tを選択するリサンプリングを行い、状態パーティクル記憶部４３に記憶された状態パーティクルzi(l)tを、リサンプリング結果に書き換えて、処理は、ステップＳ６９に進む。
【０４８３】
リサンプリング結果としての状態パーティクルzi(l)tは、次の時刻t+1の観測尤度p(xit+1|zi(l)t+1)が得られた後に、式（２０）、又は、式（２１）に従って、時刻t+1の状態zit+1としての状態パーティクルzi(l)t+1を予測するときに用いられる。
【０４８４】
ステップＳ６９では、運動モデルパーティクル更新部５２（図２３）は、運動モデルパーティクル記憶部５３に記憶された重みwi(l)tに対応する確率で、同じく運動モデルパーティクル記憶部５３に記憶された運動モデルパーティクルai(l)tを選択するリサンプリングを行い、運動モデルパーティクル記憶部５３に記憶された運動モデルパーティクルai(l)tを、リサンプリング結果に書き換える。
【０４８５】
リサンプリング結果としての運動モデルパーティクルai(l)tは、次の時刻t+1の観測尤度p(Zit+1|ai(l)t+1)が得られた後に、式（４４）に従って、時刻t+1の運動モデルait+1としての運動モデルパーティクルai(l)t+1を予測するときに用いられる。
【０４８６】
ステップＳ６９の処理後は、センサ１２において、次の時刻の実画像λ~t+1が撮影され、その実画像λ~t+1が、センサ１２から前景状態推定部１３に供給されるのを待って、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
【０４８７】
なお、図２６において、ステップＳ５２ないしＳ５７、及び、ステップＳ６０ないしＳ６５が、EMアルゴリズムのEステップに相当し、ステップＳ５８及びＳ５９、並びに、ステップＳ６６が、EMアルゴリズムのMステップに相当する。
【０４８８】
図２７は、エージェントが物体操作のために行うアクション制御処理の概要を説明するフローチャートである。
【０４８９】
ステップＳ７１において、アクション出力部６３（図２４）は、最尤状態系列記憶部１７に記憶された現在時刻tの最尤状態zitと、目標生成部２１で生成された目標状態としての目標位置stgt及び目標姿勢qtgtとに基づいて、操作対象の物体の最尤状態zitとしての位置sitの、目標位置stgtに対する誤差（以下、位置誤差ともいう）と、最尤状態zitとしての姿勢sitの、目標姿勢qtgtに対する誤差（以下、姿勢誤差ともいう）とが、いずれも、十分小さいかどうかを判定する。
【０４９０】
ステップＳ７１において、位置誤差、及び、姿勢誤差のうちの一方、又は、両方が、十分小さくないと判定された場合、すなわち、位置誤差、又は、姿勢誤差が、所定の閾値以下でない場合、処理は、ステップＳ７２に進み、アクション出力部６３は、ステップＳ７１と同様にして、位置誤差が、十分小さいかどうかを判定する。
【０４９１】
ステップＳ７２において、位置誤差が、十分小さくないと判定された場合、すなわち、位置誤差が、所定の閾値以下でない場合、処理は、ステップＳ７３に進み、アクション生成部２２（図２４）は、並進運動制御を行う。
【０４９２】
すなわち、ステップＳ７３では、並進運動制御部６１は、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、最尤状態系列記憶部１７に記憶された最尤状態zitから、操作対象の前景（物体）#iの縁を認識し、図１８で説明したようにして、前景#iの現在の状態（最尤状態zit）としての位置sit＝sobjtを、目標生成部２１で生成された目標状態としての目標位置stgtに近づける並進運動を行うための作用点と、その作用点に加える力の力ベクトルを求め、アクション出力部６３に供給する。
【０４９３】
アクション出力部６３は、並進運動制御部６１からの作用点と力ベクトルに従い、その作用点に、その力ベクトルの力を加えるための速度ベクトルs・maniptを、式（４８）に従って生成し、ハンドのアクションとして、アクチュエータ制御部１１、及び、アクション系列記憶部２３に出力する。
【０４９４】
その後、処理は、ステップＳ７３からステップＳ７１に戻り、以下、同様の処理が繰り返される。
【０４９５】
一方、ステップＳ７２において、位置誤差が、十分小さいと判定された場合、すなわち、位置誤差が、所定の閾値以下である場合、処理は、ステップＳ７３に進み、アクション生成部２２は、回転運動制御を行う。
【０４９６】
すなわち、ステップＳ７４では、回転運動制御部６２は、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、最尤状態系列記憶部１７に記憶された最尤状態zitから、操作対象の前景（物体）#iの縁を認識し、図１９で説明したようにして、前景#iの現在の状態（最尤状態zit）としての姿勢qit＝qobjtを、目標姿勢qtgtに近づける回転運動を行うための作用点と、その作用点に加える力の力ベクトルを求める。
【０４９７】
そして、回転運動制御部６２は、作用点と力ベクトルとを、アクション出力部６３に供給する。
【０４９８】
アクション出力部６３は、回転運動制御部６２からの作用点と力ベクトルに従い、その作用点に、その力ベクトルの力を加えるための速度ベクトルs・maniptを、式（４８）に従って生成し、ハンドのアクションとして、アクチュエータ制御部１１、及び、アクション系列記憶部２３に出力する。
【０４９９】
その後、処理は、ステップＳ７４からステップＳ７１に戻り、以下、同様の処理が繰り返される。
【０５００】
そして、ステップＳ７１において、位置誤差、及び、姿勢誤差の両方が、十分小さいと判定された場合、アクション制御処理は、終了する。
【０５０１】
なお、図２７のアクション制御処理では（後述する図２８でも同様）、並進運動が優先的に行われ、位置誤差が小さくなると、回転運動が行われるが、逆に、回転運動を優先的に行い、姿勢誤差が小さくなった場合に、並進運動を行うことが可能である。
【０５０２】
図２８は、エージェントが物体操作のために行うアクション制御処理の詳細を説明するフローチャートである。
【０５０３】
ステップＳ８１において、目標生成部２１は、目標状態としての目標位置stgt及び目標姿勢qtgtを生成（決定）し、アクション生成部２２（図２４）の並進運動制御部６１、回転運動制御部６２、及び、アクション出力部６３に供給して、処理は、ステップＳ８２に進む。
【０５０４】
ステップＳ８２では、アクション出力部６３は、最尤状態系列記憶部１７に記憶された最尤状態zitと、目標生成部２１からの目標状態としての目標位置stgt及び目標姿勢qtgtとに基づいて、操作対象の物体の最尤状態zitとしての位置sit＝sobjtの、目標位置stgtに対する誤差（位置誤差）と、最尤状態zitとしての姿勢sitの、目標姿勢qtgtに対する誤差（姿勢誤差）とが、いずれも、十分小さいかどうかを判定する。
【０５０５】
ステップＳ８２において、位置誤差、及び、姿勢誤差のうちの一方、又は、両方が、十分小さくないと判定された場合、すなわち、位置誤差、又は、姿勢誤差が、所定の閾値以下でない場合、処理は、ステップＳ８３に進み、アクション出力部６３は、ステップＳ８２と同様にして、位置誤差が、十分小さいかどうかを判定する。
【０５０６】
ステップＳ８３において、位置誤差が、十分小さくないと判定された場合、すなわち、位置誤差が、所定の閾値以下でない場合、処理は、ステップＳ８４ないしＳ８６に順次進み、並進運動制御部６１は、並進運動制御を行う。
【０５０７】
すなわち、ステップＳ８４において、並進運動制御部６１は、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、最尤状態系列記憶部１７に記憶された最尤状態zitから、操作対象の前景（物体）#iの縁を認識する。
【０５０８】
さらに、並進運動制御部６１は、図１８で説明したように、物体の目標位置stgtと、現在の位置（重心）sobjtとを結ぶ直線L1と、現在の物体の縁との交点を、作用点の候補に決定し、処理は、ステップＳ８４からステップＳ８５に進む。
【０５０９】
ステップＳ８５では、並進運動制御部６１は、ステップＳ８４で得られた作用点の候補のうちの、目標位置stgtから最も遠い候補を、力の作用点に選択（決定）し、処理は、ステップＳ８６に進む。
【０５１０】
ステップＳ８６では、並進運動制御部６１は、式（４６）に従って、作用点に加える力の力ベクトルを求め、処理は、ステップＳ８７に進む。
【０５１１】
ステップＳ８７では、並進運動制御部６１は、ステップＳ８４ないしＳ８６で求めた作用点と力ベクトルを、アクション出力部６３に出力し、処理は、ステップＳ９２に進む。
【０５１２】
一方、ステップＳ８３において、位置誤差が、十分小さいと判定された場合、すなわち、位置誤差が、所定の閾値以下である場合、処理は、ステップＳ８８ないしＳ９１に順次進み、回転運動制御部６２は、回転運動制御を行う。
【０５１３】
すなわち、ステップＳ８８において、回転運動制御部６２は、見えモデル記憶部１５に記憶された前景見えモデルμi、及び、最尤状態系列記憶部１７に記憶された最尤状態zitから、操作対象の前景（物体）#iの縁を認識する。
【０５１４】
さらに、回転運動制御部６２は、図１９で説明したように、物体の現在の状態の位置（重心）sobjtを通る１以上の直線としての３本の直線L1，L2，L3それぞれと、現在の物体の縁との交点を、作用点の候補に決定し、処理は、ステップＳ８８からステップＳ８９に進む。
【０５１５】
ステップＳ８９では、回転運動制御部６２は、ステップＳ８８で得られた作用点の候補の中で、物体の縁を押すように力を加えたときに生じるトルクの方向が、物体を回転したい方向と一致する候補であって、物体の重心sobjtから最も遠い候補を、力の作用点に選択（決定）し、処理は、ステップＳ９０に進む。
【０５１６】
ステップＳ９０では、回転運動制御部６２は、作用点に加える力の力ベクトルによって発生させるトルクを、式（４７）に従って求め、処理は、ステップＳ９１に進む。
【０５１７】
ステップＳ９１では、回転運動制御部６２は、ステップＳ９０で求められたトルクを発生させるのに作用点に加える力の力ベクトルを求め、処理は、ステップＳ８７に進む。
【０５１８】
ステップＳ８７では、回転運動制御部６２は、ステップＳ８８ないしＳ９１で求めた作用点と力ベクトルを、アクション出力部６３に出力し、処理は、ステップＳ９２に進む。
【０５１９】
ステップＳ９２では、アクション出力部６３が、物体操作のための運動制御が、並進運動制御部６１による並進運動制御、及び、回転運動制御部６２による回転運動制御のうちの一方から他方に切り替わった直後であるかどうかを判定する。
【０５２０】
ステップＳ９２において、運動制御が、並進運動制御、及び、回転運動制御のうちの一方から他方に切り替わった直後であると判定された場合、処理は、ステップＳ９３に進み、アクション出力部６３は、図２０で説明した初期位置に、ハンドを移動させるアクションを出力する。
【０５２１】
そして、ハンドが初期位置に移動するのを待って、処理は、ステップＳ９３からステップＳ９４に進む。
【０５２２】
一方、ステップＳ９２において、運動制御が、並進運動制御、及び、回転運動制御のうちの一方から他方に切り替わった直後でないと判定された場合、処理は、ステップＳ９３をスキップして、ステップＳ９４に進み、アクション出力部６３は、並進運動制御部６１、又は、回転運動制御部６２からの作用点と力ベクトルに従い、その作用点に、その力ベクトルの力を加えるための速度ベクトルs・maniptを、式（４８）に従って生成する。
【０５２３】
さらに、アクション出力部６３は、式（４８）に従って生成した速度ベクトルs・maniptを、ハンドのアクションとして、アクチュエータ制御部１１、及び、アクション系列記憶部２３に出力し、処理は、ステップＳ８２に戻る。
【０５２４】
そして、ステップＳ８２において、位置誤差、及び、姿勢誤差の両方が、十分小さいと判定された場合、すなわち、位置誤差、及び、姿勢誤差が、いずれも、所定の閾値以下である場合、操作対象の物体の状態が、目標生成部２１で生成された目標状態になったとして、アクション制御処理は、終了する。
【０５２５】
［シミュレーション］
【０５２６】
図２９は、コンピュータにおいて、背景上に、２つの前景#1及び#2を合成することにより作成した画像を、実画像λ~tとして用いた行った学習処理、及び、アクション制御処理のシミュレーションの結果を、模式的に示す図である。
【０５２７】
シミュレーションでは、L字型の物体としての前景#1が、円形のハンドとしての前景#2によって操作される様子が映った画像を、実画像λ~tとして用いて、前景モデル、背景モデル、及び、運動モデルの学習処理を行った。
【０５２８】
図２９Ａは、ある時刻tの実画像λ~tを示している。
【０５２９】
図２９Ｂは、時刻tにおいて得られている前景見えモデルμ1（前景テクスチャモデルτ1、及び、前景形状モデルσ1）を、最尤状態z1tで、背景見えモデルμw＝τw上に重畳するとともに、前景見えモデルμ2（前景テクスチャモデルτ2、及び、前景形状モデルσ2）を、最尤状態z2tで、背景見えモデルμw上に重畳することにより生成した観測画像λtを示している。
【０５３０】
図２９Ｃは、円形のハンドによって、L字型の物体を操作するときの様子、特に、操作対象のL字型の物体に働く力ベクトルと、その力ベクトルが加えられる作用点を示している。
【０５３１】
図２９Ｄは、前景#1の前景見えモデルμ1の前景テクスチャモデルτ1、及び、前景形状モデルσ1、並びに、前景#2の前景見えモデルμ2の前景テクスチャモデルτ2、及び、前景形状モデルσ2を示している。
【０５３２】
図２９Ｅは、背景見えモデルμw＝τwを示している。
【０５３３】
図２９Ｆは、操作対象の前景#1の運動モデルa1としての、ある時刻tの、ある２つの運動モデルパーティクル（丸印と星印で示す）それぞれの重心r1cを示している。
【０５３４】
図２９Ｇは、操作対象の前景#1の運動モデルa1としての、ある時刻tの、ある２つの運動モデルパーティクル（丸印と星印で示す）それぞれの質量m1c及び慣性モーメントI1cを示している。
【０５３５】
本件発明者が行ったシミュレーションによれば、学習処理が進行するにつれ、実画像λ~tの前景と背景とが、前景モデルと背景モデルとで、それぞれ分離して獲得され、さらに、実画像λ~tの２つの前景#1及び#2については、別個の前景モデルそれぞれで排他的に獲得されていき、前景見えモデルμ1及びμ2、並びに、背景見えモデルμwが、それぞれ、実画像λ~tに映る前景#1及び#2、並びに、背景に収束していく様子を確認することができた。
【０５３６】
また、シミュレーションでは、前景見えモデルμ1及びμ2、並びに、背景見えモデルμwの収束に従って、それらの前景見えモデルμ1及びμ2、並びに、背景見えモデルμwを用いて生成される観測画像λtが、実画像λ~tに近づいていくことを確認することができた。
【０５３７】
以上のように、本技術によれば、アクションを行うことが可能なエージェントにおいて観測される実画像λ~tの系列を、学習用の学習データとして用いて、前景や背景を区別する明示的な教師ラベルなしに、エージェントがおかれた環境中の前景の見えとその（空間的）状態、並びに、背景の見えを同時に学習する前景背景学習を、容易に行うことができる。
【０５３８】
すなわち、本技術によれば、背景上を、複数の前景が位置や姿勢等の状態を変化させながら動いている場合に、前景の見えや状態等の情報をあらかじめ教示しなくても、背景上に前景が重畳された実画像の時系列を学習データとして用いて、前景の見え、位置や姿勢等の状態、背景の見えを同時に獲得することができる。
【０５３９】
また、本技術によれば、実画像の他、前景のアクションの系列をも、学習データとして用いることにより、前景の運動モデルを獲得することができ、さらに、前景の運動が、剛体運動の動力学モデルに従うことを考慮して、前景の状態を精度良く推定し、ひいては、前景の見え、及び、背景の見えを、精度良く獲得することができる。
【０５４０】
その他、本技術によれば、パーティクルフィルタを適用し、前景の観測尤度p(xt|zi(l)t)が高いパーティクルzi(l)tとしての状態だけを対象に処理を行うので、例えば、背景のすべての画素について、その画素の位置に、前景が存在しうることを考慮して処理を行う場合に比較して、計算コストを飛躍的に小さくすることができ、その結果、スケーラビリティを向上させることができる。
【０５４１】
例えば、背景の各画素について、その画素の位置に、前景が存在しうることを考慮して処理を行う場合、標準的な家庭用PCで、1fps(Frames Per Second)の計算処理を実行するには、横×縦が30×40画素程度の解像度の画像が、実画像として用いることができる画像の限界であったが、本技術によれば、128×128画素ないし640×480画素程度の解像度の画像を、実画像として用いることができる。
【０５４２】
また、本技術によれば、前景#iの状態zitとして、前景#iの位置sitの他、姿勢qitや、位置sitの変化の速度s・it、姿勢qitの変化の速度q・itを扱うことができる。すなわち、本技術では、２次元の実画像については、位置sitとしてのx座標及びy座標、姿勢qitとしての回転角、位置sitの変化の速度s・itとしてのx成分及びy成分、並びに、姿勢qitの変化の速度q・itとしての角速度の6自由度を扱うことができる。
【０５４３】
さらに、本技術では、時刻t+1に、観測値xt+1を観測したとき、時刻tまでに、観測値の系列Xt＝{x1,x2,・・・,xt}が観測され、時刻t+1に、状態zt+1にいる事後分布p(zt+1|Xt)が、時刻tに状態z(l)tにいて、時刻t+1に状態zt+1に遷移する遷移確率p(zt+1|z(l)t)と、パーティクルz(l)tの重みw(l)tとを用いた式（１５）の混合分布であるため、そのような事後分布p(zt+1|Xt)の前景の状態としては、連続量を扱うことができる。
【０５４４】
また、本技術では、前景見えモデルμiが、前景#iのテクスチャを表す前景テクスチャモデルτiと、画素値が前景の画素である確率を表す前景形状モデルσiとを含むので、前景見えモデルμiによれば、複雑な形状の前景であっても、その前景を精度良く表現することができる。
【０５４５】
さらに、本技術によれば、前景の状態を推定し、その前景の推定結果を用いて、前景見えモデルμi、及び、背景見えモデルμwを更新する他、前景の推定結果を用いて、前景の空間遷移を表現する動力学パラメータである運動モデルを推定し、その運動モデルの推定結果を用いて、運動モデルを更新するので、前景#iの運動モデルaiとしての、重心ric、質量mi、及び、慣性モーメントIicを精度良く獲得することができる。
【０５４６】
また、本技術によれば、前景見えモデルμi（の前景形状モデルσi）や運動モデルを用いて、環境中の物体を、任意の状態（目標状態）にする物体操作を行うことができる。
【０５４７】
さらに、本技術では、前景#iの状態zitとして、前景#iの位置sit、及び、姿勢qitの他、その位置sit、及び、姿勢qitの一次微分である位置sitの変化の速度s・it、及び、姿勢qitの変化の速度q.・itを扱うので、例えば、氷の上を滑る剛体のように、慣性の法則に従って、等速度運動や等角速度運動（に近い運動）をする前景を正確にモデル化することができる。
【０５４８】
また、本技術によれば、実世界での物体操作のように、物体の姿勢を変化させる操作や、動力学の法則に従って運動する物体を操作することができる。
【０５４９】
例えば、本技術では、細長い物体を操作する場合に、より重心に近い位置に力を加えればより安定的に並進運動をすることができることや、物体の姿勢を変化させるためには、重心からより遠い位置に力を加えればより小さい力で姿勢を変化させることができること等を考慮して、物体操作を行うことができる。
【０５５０】
したがって、本技術については、将来的に、3次元環境で実装し、実環境下で活動するエージェントの環境認識や、行動制御技術として応用されることを期待することができる。
【０５５１】
さらに、本技術においては、実画像の系列とアクションの系列を、学習データとして与えるだけで、前景と背景とが別個に学習されるとともに、前景の運動モデルも学習され、最終的には、物体操作を行うことができるようになるので、従来のように、環境モデルをあらかじめ人間が作り込み、データベース化する手間が必要ない。したがって、任意の環境設定下での適応能力の向上を期待することができる。
【０５５２】
また、本技術では、物体操作のためのアクション制御は、操作対象の物体、及び、ハンドが前景として映っている実画像を用いた逐次的な学習によって得られた前景見えモデルμi、及び、運動モデルaiに基づいて実行される。
【０５５３】
したがって、学習の初期段階では、前景見えモデルμi、及び、運動モデルaiの学習が十分に収束していないため、環境中におけるハンドや物体等の前景の認識を精度良く行うことは困難であり、さらに、物体操作のための適切なアクション制御を行うことも困難である。
【０５５４】
しかしながら、時間が経過し、学習が進行すると、前景の認識性能が向上し、それに伴い、物体操作のための適切なアクション制御が可能となる。その結果、エージェントでは、ハンドが、操作対象の物体に効率良く接触するように、ハンドを動かすことが可能となり、ハンドや物体等の前景の前景見えモデルμi、及び、運動モデルaiを正確に学習するための実画像が観測されやすくなるので、時間が経過するほど、学習能率が向上していくことが期待される。
【０５５５】
ここで、本技術において、前景の認識では、例えば、生成モデルから生成される観測画像λt(s)上の、最尤状態zitになっている前景#iの観測値xtが観測される観測尤度p(xt|zit)が、式（１９）に従い、各前景モデル#iについて計算され、観測尤度p(xt|zit)が所定の閾値以上の前景モデル#iが、最尤状態zitで、背景上に存在すると認識される。
【０５５６】
［本技術を適用したコンピュータの説明］
【０５５７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０５５８】
そこで、図３０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０５５９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０５６０】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０５６１】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０５６２】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０５６３】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０５６４】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０５６５】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０５６６】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０５６７】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０５６８】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０５６９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０５７０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０５７１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０５７２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０５７３】
なお、本技術は、以下のような構成をとることができる。
【０５７４】
［１］
実際に観測される画像である実画像を用いて、画像の前景の状態を推定する前景状態推定部と、
前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルを更新する見えモデル更新部と
を備える情報処理装置。
［２］
前記前景のアクションと、前記前景の状態の推定結果から得られる前記前景の最尤状態の状態系列とを用いて、前記前景の運動モデルを推定する運動モデル推定部と、
前記運動モデルの推定結果を用いて、前記運動モデルを更新する運動モデル更新部と
を、さらに備える
［１］に記載の情報処理装置。
［３］
前記背景見えモデルは、前記背景のテクスチャを表す背景テクスチャモデルを含み、
前記前景見えモデルは、前記前景のテクスチャを表す前景テクスチャモデルと、前記前景の形状を表す前景形状モデルとを含み、
前記前景の状態は、前記前景の位置及び位置変化の速度、並びに、姿勢及び姿勢変化の速度を含み、
前記前景の運動モデルは、前記前景の質量、質量の重心、及び、重心回りの慣性モーメントを含み、
前記前景のアクションは、前記前景に加えられる力と、前記力が加えられる位置とを含む
［２］に記載の情報処理装置。
［４］
前記背景見えモデル、前記前景見えモデル、及び、前記運動モデルは、EMアルゴリズムに従って更新される
［３］に記載の情報処理装置。
［５］
前記背景見えモデル、前記前景見えモデル、及び、前記運動モデルは、パーティクルフィルタを用いたEMアルゴリズムに従って更新される
［３］又は［４］に記載の情報処理装置。
［６］
前記前景状態推定部は、前記前景の状態を表すパーティクルである状態パーティクルの重みと、前記状態パーティクルの遷移先とを算出する処理を、前記パーティクルフィルタを用いたEMアルゴリズムのEステップとして行う
［５］に記載の情報処理装置。
［７］
前記前景状態推定部は、
前記前景の状態が、前記状態パーティクルが表す状態である場合に、画像の観測値を生成する生成モデルにおいて観測される観測値の観測尤度に対応する値を、前記状態パーティクルの重みとして算出するとともに、
前記状態パーティクルが、前記状態パーティクルが表す前記前景の状態のうちの前記位置変化の速度、及び、前記姿勢変化の速度に従い、かつ、確率的に揺らぎながら遷移することとして、前記状態パーティクルの遷移先を算出し、
前記生成モデルでは、
前記前景見えモデルが表す画像上の点については、前記前景テクスチャモデルが表すテクスチャと、前記背景テクスチャモデルが表すテクスチャとを、前記前景形状モデルをα値としてαブレンディングし、
前記前景見えモデルが表す画像上の点以外の点については、前記背景テクスチャモデルが表すテクスチャを採用する
ことにより、前記生成モデルにおいて観測される前記画像の観測値が生成される
［６］に記載の情報処理装置。
［８］
前記前景状態推定部は、前記状態パーティクルが、さらに、前記アクション及び前記運動モデルに従って遷移することとして、前記状態パーティクルの遷移先を算出する
［７］に記載の情報処理装置。
［９］
前記見えモデル更新部は、
前記状態パーティクルが表す状態に従って、前記実画像から画像を切り出し、前記実画像から切り出した画像である切り出し画像を、前記状態パーティクルの重みに従って重み付け加算することにより、前記前景テクスチャモデルを更新する処理、
前記状態パーティクルが表す状態に従って、前記実画像から、前記状態に対応する前景を除去し、前記前景を除去した実画像を、前記状態パーティクルの重みに従って重み付け加算することにより、前記背景テクスチャモデルを更新する処理、
及び、前記前景テクスチャモデルが表すテクスチャの各画素が前景であることの尤度、及び、背景であることの尤度を求め、前記前景であることの尤度、及び、背景であることの尤度を用いて、前記前景テクスチャモデルが表すテクスチャの各画素が前景である確率を求めることにより、前記前景形状モデルを更新する処理
を、前記パーティクルフィルタを用いたEMアルゴリズムのMステップとして行う
［６］ないし［８］のいずれかに記載の情報処理装置。
［１０］
前記見えモデル更新部は、
前記切り出し画像を、前記状態パーティクルの重みに従って重み付け加算した重み付け加算値を、所定時間分だけ平均化することにより、前記前景テクスチャモデルを更新するとともに、
前記前景を除去した実画像を、前記状態パーティクルの重みに従って重み付け加算した重み付け加算値を、所定時間分だけ平均化することにより、前記背景テクスチャモデルを更新する
［９］に記載の情報処理装置。
［１１］
前記見えモデル更新部は、複数の前景見えモデルについては、
前記複数の前景見えモデルを、順次、注目する注目モデルとして、直前に注目モデルであった前景見えモデルが表す前景が除去された除去画像から、前記状態パーティクルが表す状態に従って、前記状態に対応する前景を除去し、前記前景を除去した除去画像を、前記状態パーティクルの重みに従って重み付け加算する
ことを繰り返すことにより、前記背景テクスチャモデルを更新する
［９］又は［１０］に記載の情報処理装置。
［１２］
前記運動モデル推定部は、前記運動モデルを表すパーティクルである運動モデルパーティクルの重みと、前記運動モデルパーティクルの遷移先とを算出する処理を、前記パーティクルフィルタを用いたEMアルゴリズムのEステップとして行う
［５］に記載の情報処理装置。
［１３］
前記運動モデル推定部は、
前記運動モデルパーティクルが表す運動モデルにおいて観測される前記前景の状態の状態系列の観測尤度に対応する値を、前記運動モデルパーティクルの重みとして算出するとともに、
前記運動モデルパーティクルが、確率的に揺らぎながら遷移することとして、前記運動モデルパーティクルの遷移先を算出する
［１２］に記載の情報処理装置。
［１４］
前記前景の最尤状態を求める最尤状態算出部をさらに備え、
前記運動モデル推定部は、前記前景のアクション、及び、前記運動モデルパーティクルを用いて生成される前記前景の状態の状態系列と、前記前景の最尤状態の状態系列との誤差に対応する値を、前記前景の状態の状態系列の観測尤度として求める
［１３］に記載の情報処理装置。
［１５］
前記運動モデル更新部は、前記運動モデルパーティクルが表す運動モデルを、前記運動モデルパーティクルの重みに従って重み付け加算することにより、前記運動モデルを更新する処理を、前記パーティクルフィルタを用いたEMアルゴリズムのMステップとして行う
［１２］ないし［１４］のいずれかに記載の情報処理装置。
［１６］
前記前景見えモデル、及び、前記運動モデルを用いて、１の前景を、所定の目標状態にするための他の１の前景のアクションを生成するアクション生成部をさらに備える
［２］ないし［１５］のいずれかに記載の情報処理装置。
［１７］
前記アクション生成部は、前記１の前景を、並進運動させるアクションと、回転運動させるアクションとを生成する
［１６］に記載の情報処理装置。
［１８］
前記アクション生成部は、前記１の前景を、並進運動させるアクションと、回転運動させるアクションとのうちの一方のアクションを、前記１の前景の状態と前記目標状態との誤差が小さくなるまで生成し続け、その後、他方のアクションを生成する
［１７］に記載の情報処理装置。
［１９］
実際に観測される画像である実画像を用いて、画像の前景の状態を推定し、
前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルを更新する
ステップを含む情報処理方法。
［２０］
実際に観測される画像である実画像を用いて、画像の前景の状態を推定する前景状態推定部と、
前記前景の状態の推定結果を用いて、画像の背景の見えの背景見えモデル、及び、前記前景の見えの前景見えモデルを更新する見えモデル更新部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０５７５】
１１  アクチュエータ制御部，  １２  センサ，  １３  前景状態推定部，  １４  見えモデル更新部，  １５  見えモデル記憶部，  １６  最尤状態算出部，  １７  最尤状態系列記憶部，  １８  運動モデル推定部，  １９  運動モデル更新部，  ２０  運動モデル記憶部，  ２１  目標生成部，  ２２  アクション生成部，  ２３  アクション系列記憶部，  ４１  見えモデル尤度計算部，  ４２  状態パーティクル更新部，  ４３  状態パーティクル記憶部，  ４４  推定観測値生成部，  ５１  運動モデル尤度計算部，  ５２  運動モデルパーティクル更新部，  ５３  運動モデルパーティクル記憶部，  ５４  推定観測値生成部，  ６１  並進運動制御部，  ６２  回転運動制御部，  ６３  アクション出力部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2013191163.tif 000051
【図２】
2013191163.tif 000052
【図３】
2013191163.tif 000053
【図４】
2013191163.tif 000054
【図５】
2013191163.tif 000055
【図６】
2013191163.tif 000056
【図７】
2013191163.tif 000057
【図８】
2013191163.tif 000058
【図９】
2013191163.tif 000059
【図１０】
2013191163.tif 000060
【図１１】
2013191163.tif 000061
【図１２】
2013191163.tif 000062
【図１３】
2013191163.tif 000063
【図１４】
2013191163.tif 000064
【図１５】
2013191163.tif 000065
【図１６】
2013191163.tif 000066
【図１７】
2013191163.tif 000067
【図１８】
2013191163.tif 000068
【図１９】
2013191163.tif 000069
【図２０】
2013191163.tif 000070
【図２１】
2013191163.tif 000071
【図２２】
2013191163.tif 000072
【図２３】
2013191163.tif 000073
【図２４】
2013191163.tif 000074
【図２５】
2013191163.tif 000075
【図２６】
2013191163.tif 000076
【図２７】
2013191163.tif 000077
【図２８】
2013191163.tif 000078
【図２９】
2013191163.tif 000079
【図３０】
2013191163.tif 000080