"画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習を、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行う学習部を備える情報処理装置。前記学習部は、前記画像の観測値と、前記分離学習モデルにおいて観測される観測値との差に対応する値を、前記分離学習モデルにおいて前記画像の観測値が観測される観測尤度として求め、前記観測尤度、及び、前記遷移確率を用いて、前向き確率と後ろ向き確率とを求め、BaumWelchアルゴリズムに従い、前記前向き確率、前記後ろ向き確率、及び、前記観測尤度を用いて、前記遷移確率を更新するとともに、前記前向き確率、前記後ろ向き確率、及び、前記画像の観測値を用いて、前記前景見えモデルと前記背景見えモデルとを更新し、前記前景見えモデルの更新では、前記画像の観測値のうちの、前記状態に対応する位置における、あらかじめ定められた前景サイズの領域の観測値を用い、前記背景見えモデルの更新では、前記状態に対応する位置における前記前景サイズの領域の観測値を0にした前記画像の観測値を用いる請求項1に記載の情報処理装置。前記分離学習モデルは、複数の前景モデルを有し、前記学習部は、前記複数の前景モデルを、学習対象の対象モデルに、順次選択して、前記対象モデルの前記遷移確率、及び、前記前景見えモデルを更新し、その後、前記背景見えモデルを更新する請求項2に記載の情報処理装置。前記学習部は、前記画像の観測値から、前記対象モデルの前記前景見えモデルの更新に用いられた分の観測値を割り引く割引処理を行い、次の対象モデルの更新を、前記割引処理後の前記画像の観測値を用いて行う請求項3に記載の情報処理装置。前記複数の前景モデルとして、前記アクションごとの遷移確率と、前記前景見えモデルとを有するアクション条件付きの前景モデルと、前記アクションに無関係の遷移確率と、前記前景見えモデルとを有するアクション条件なしの前景モデルとが混在し、前記学習部は、前記アクション条件付きの前景モデルを、前記アクション条件なしの前景モデルより優先的に、前記対象モデルに選択し、前記対象モデルに選択された前記アクション条件付きの前景モデルの前記前景見えモデルとして、前記複数の前景モデルの前記前景見えモデルをそれぞれ採用したと仮定した仮定モデルを、前記画像の観測値を用いて更新し、更新後の仮定モデルのうちの、前記遷移確率のエントロピーが最小の仮定モデルを用いて、前記観測尤度を求め、前記観測尤度を用いて、前記対象モデルの前記遷移確率、及び、前記前景見えモデルを更新する請求項4に記載の情報処理装置。前記画像の観測値は、前記画像のうちの既知の視野の視野領域の観測値であり、前記学習部は、前記前景モデルの前記遷移確率の更新を、前記前景サイズの領域全体が前記視野領域に含まれる前記状態からの前記遷移確率のみを対象として行い、前記前景モデルの前記前景見えモデルと、前記背景モデルの前記背景見えモデルとの更新を、前記前景サイズの領域全体が前記視野領域に含まれる前記状態についての前記前向き確率、及び、前記後ろ向き確率を用いて行う請求項2に記載の情報処理装置。前記学習部は、前記学習データを用いて、前記分離学習モデルのパラメータとしての前記遷移確率、前記前景見えモデル、及び、前記背景見えモデルを更新する更新演算を行うことにより、前記分離学習モデルの学習を行い、前記更新演算の途中結果を記憶し、次の学習データと、前記更新演算の途中結果とを用いて、前記分離学習モデルのパラメータを更新する更新演算を行うことにより、前記分離学習モデルの追加学習を行う請求項2に記載の情報処理装置。画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習を、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行うステップを含む情報処理方法。画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習を、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行う学習部として、コンピュータを機能させるためのプログラム。ロボット等の、アクションを行うことが可能なエージェントがアクションを行う環境中の物体の学習を行う場合、物体を特定するためのマーキングや、運動している画像領域の抽出を行う必要があり、面倒であった。本技術は、このような状況に鑑みてなされたものであり、ロボット等の、アクションを行うことが可能なエージェントがアクションを行う環境中の物体等の学習を、容易に行うことができるようにするものである。本技術の一側面の情報処理装置、又は、プログラムは、画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習を、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行う学習部を備える情報処理装置、又は、情報処理装置として、コンピュータを機能させるためのプログラムである。本技術の一側面の情報処理方法は、画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習を、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行うステップを含む情報処理方法である。以上のような一側面においては、画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習が、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行われる。なお、情報処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。本技術の一側面によれば、環境中の物体等の学習を、容易に行うことができる。[本技術の概要]図1は、本技術の概要を説明する図である。本技術は、環境中の物体を操作することが可能なマニピュレータとしてのハンドと、環境を観測撮影することが可能なカメラとを具備したロボット等の、アクション可能なエージェントによって、実環境下での物体操作を実現する際に必要な環境、物体、及び、身体ハンドの認識を行うための認識アルゴリズムに適用可能な汎用的なフレームワークである。本技術では、特に、環境中の物体操作対象の物体の外観や、その物体が環境下でどのように運動するかや、エージェント自身アクションに対してどのようにエージェントの身体ハンドが環境の中で運動するのかに関するモデルを、設計者があらかじめ作成することなく、エージェントと環境とのインタラクションを通じて得られる経験sensorymotorpatternから、学習によって自己組織的に獲得する。本技術では、エージェントと環境とのインタラクションを通じて得られる物体操作の経験は、エージェントに搭載されたカメラを通じて、画像データの時系列として知覚獲得される。そして、本技術では、エージェントのハンドや物体には、明示的なラベルのマーキングがされてなく、かつ、ハンドや物体の外観に関する事前知識が何も与えられない状態から学習を開始し、ハンドや物体が混在して運動移動している画像から、ハンドや物体の外観や運動に関するモデルを学習する。さらに、本技術では、学習したモデルのうちの、どれが制御可能な自分の身体ハンドで、どれが操作対象となる物体であるのかの識別を、モデルの学習と同時に実現する。そのために、本技術では、エージェントのハンドや操作対象の物体の外観や運動に関するモデルとしての前景モデルと、物体操作が行われる環境のモデルとしての背景モデルとに分離して、ハンドや操作対象の物体を含む環境を表現するフレームワークを用意する。すなわち、本技術では、分離学習モデルによって、ハンドや操作対象の物体を含む環境の全体を学習する。分離学習モデルは、画像の背景のモデルである背景モデルと、背景上を移動可能な、画像の前景のモデルである1以上の前景モデルとを有する。分離学習モデルでは、背景モデルにおいて、観測される画像の背景となる環境が獲得され、前景モデルにおいて、観測される画像の前景となるハンドや操作対象の物体が獲得されることにより、環境としての背景と、ハンドや操作対象の物体としての前景とが、分離して学習される。本技術では、エージェントによる物体操作の経験から得られる画像の観測値の系列である観測系列を用いて、確率モデルであるHMM等の最尤推定の手法の1つであるBaumWelchアルゴリズムに従って、分離学習モデルのパラメータを推定再推定更新することで、自己組織的に、分離学習モデルを学習する。なお、観測系列としては、例えば、カメラで撮影した画像動画や、コンピュータゲームの画面をキャプチャした画像動画等を採用することができる。[第1章分離学習モデルの学習]図2は、分離学習モデルを模式的に示す図である。分離学習モデルは、観測される画像が、環境に対応する背景と、物体等に対応する前景とで構成されることを前提として、そのような画像を、確率モデルである、例えば、HMMの定式化にしたがってモデル化したモデルであり、画像の背景のモデルである背景モデルと、背景上を移動可能な、画像の前景のモデルである1以上の前景モデルとを有する。図2では、分離学習モデルは、背景モデルと、1つの前景モデルとを有する。分離学習モデルでは、背景モデルが表す背景上の位置fiに、前景モデルが表す前景が配置されることによって、観測される画像が表現される。図3は、前景が配置される背景上の位置fiと、背景上に配置される前景モデルの移動としての状態遷移とを説明する図である。背景モデルは、背景の見えを表す背景見えモデルを、パラメータとして有する。ここで、背景見えモデルひいては、背景モデルとしては、例えば、背景を表す画像、つまり、背景の見えである矩形の画像のテンプレートを採用することができる。前景モデルは、背景上の位置fiに対応する、HMMの状態Siを内部変数として有し、状態Siから状態Sjへの状態遷移の遷移確率と、前景の見えを表す前景見えモデルとを、パラメータとして有する。ここで、前景見えモデルとしては、例えば、前景を表す画像、つまり、前景の見えである矩形の画像のテンプレートを採用することができる。また、背景モデル背景見えモデルについては、状態Siに対応する位置fiが、あらかじめ定められている。すなわち、いま、HMMの状態の数総数がN個あるとすると、例えば、図3に示すように、背景見えモデル背景モデルとしての背景の画像のテンプレートに、等間隔に格子状に配置されたN個の格子点を、N個の各状態Siに対応する位置fiとして採用することができる。ここで、背景見えモデルとしての背景の矩形の画像のテンプレートの左上の点を原点とし、横方向のx軸と、縦方向のy軸とで規定される2次元座標系を、背景座標系という。また、位置fiの背景座標系の座標を、と表す。分離学習モデルでは、図3に示すように、背景見えモデルとしての背景の画像のテンプレート上の位置fiに、前景見えモデルとしての前景の画像のテンプレートを、例えば、その前景の画像のテンプレートの左上の点が、位置fiに一致するように配置した画像が観測される。ここで、背景見えモデルの位置fiに配置された前景見えモデルとしての前景の画像のテンプレートの左上の点、つまり、位置fiを原点とし、横方向のu軸と、縦方向のv軸とで規定される2次元座標系を、前景座標系という。なお、前景見えモデルのサイズは、例えば、想定される前景の最大のサイズ以下、前景サイズともいうに、あらかじめ定められている。前景サイズの横の長さ及び縦の長さを、それぞれ、umax1及びvmax1と表すこととすると、前景座標系において、前景見えモデルとしての前景の画像のテンプレートが存在する範囲は、式≦≦で表される。状態Siから状態Sjへの状態遷移は、図3に示すように、背景見えモデル上に配置された前景見えモデルが、状態Siに対応する位置fiから、状態Sjに対応する位置fjに遷移移動することに対応する。分離学習モデルでは、背景見えモデル、前景見えモデル、及び、背景見えモデル上の前景見えモデルの位置fiに対応する状態Siが、分離学習モデルにおいて観測される画像の観測値を生成する観測モデルを規定するパラメータとなる。なお、本実施の形態では、画像の観測値として、例えば、白黒2値の画像、又は、グレースケールの画像を採用することとする。但し、観測モデルのフレームワークを変えることにより、カラーの画像を、画像の観測値として採用することができる。また、本実施の形態では、前景見えモデル、及び、背景見えモデルとして、画像のテンプレートを採用するが、前景見えモデル、及び、背景見えモデルとしては、その他、例えば、画像の局所特徴量等を採用することが可能である。[第11節アクション条件なしのHMMを利用した分離学習モデル]分離学習モデルは、観測される画像が、環境に対応する背景と、物体等に対応する前景とで構成されることを前提として、そのような画像を、HMMの定式化に基づいてモデル化したモデルであり、BaumWelchアルゴリズムに従って、モデルパラメータの推定を行うことができる。ここで、分離学習モデルとしてのHMMの定式化に用いる変数パラメータを、下記のように定める。T:観測系列の長さO=o1o2oT:観測系列カメラで撮影された画像の観測値の系列N:HMMの状態数S=12N又はS1S2SN:状態集合st:時刻tの状態番号ij:状態番号A=aijaijP:状態遷移確率π=πiπiP:初期状態確率また、分離学習モデルにおいて、画像のある観測値が観測される観測尤度の計算に用いる観測モデルのパラメータを、下記のように定める。bworld::背景見えモデルbfg:前景見えモデルF=f1f2fN:背景背景見えモデルbworld上での状態前景前景見えモデルbfgの位置の分布上述したように、本技術において、HMMの状態iは、背景上の前景の位置fiに対応する。したがって、状態i12Nが決定すれば、背景上での前景の位置が、一意に定まる。また、以下では、分離学習モデルとしてのHMMを、λと表すとともに、分離学習モデルλのモデルパラメータを、λπ,A,bworld,bfgと表す。[観測尤度の計算]一般の離散型HMMは、ある状態iで、離散の観測値であるシンボルV=v1v2vQが観測される確率である観測確率B=biをパラメータとして有している。一般の離散型HMMでは、観測確率B=biを用いて、ある状態iにいると仮定したときの、観測値ot=vqの観測確率pbiを計算し、ForwardBackwardアルゴリズムに従った尤度計算を行い、パラメータを更新再推定する。一方、分離学習モデルは、シンボルの観測確率Bの代わりに、普遍的な背景見えモデルbworld、背景上を移動する前景見えモデルbfg、及び、背景背景見えモデルbworld上での前景前景見えモデルbfgの位置fiに対応する状態iの分布で規定される観測モデルを有する。そこで、本技術では、観測モデルとしての背景見えモデルbworld、前景見えモデルbfg、及び、状態iの分布を用い、背景見えモデルbworld上の、状態iに対応する位置fiに、前景見えモデルbfgを配置することで得られる画像を、状態iにいると仮定したときに、分離学習モデルにおいて観測される観測値以下、仮想観測値ともいうomodelとして生成する。さらに、本技術では、その仮想観測値omodelを用い、式1に従って、分離学習モデルにおいて、状態iで、観測値otが観測される尤もらしさである観測尤度pを求め、一般の離散型HMMの観測確率biの代わりに用いる。1ここで、式1において、関数gは、引数である、画像の観測値実際の観測値otと仮想観測値omodelとの差分誤差otomodelに対応するスカラー値の距離を算出する関数である。また、式1において、σ及びDは、画像の観測値otと仮想観測値omodelとの差分otomodelである誤差に対する観測尤度pの変化の鋭敏さを決定する定数であり、あらかじめ設定される。式1によれば、背景見えモデルbworld上の、状態iに対応する位置fiに、前景見えモデルbfgを配置した画像が、分離学習モデルにおいて、状態iで観測される観測値仮想観測値omodelとして求められる。そして、画像の観測値otと仮想観測値omodelとの差分otomodelに対応する値が、分離学習モデルにおいて、状態iで、画像の観測値otが観測される観測尤度pとして求められる。[ForwardBackwardアルゴリズム]分離学習モデルλについて、式1に従って、観測尤度pを求めることにより、その観測尤度pを用いることによって、ForwardBackwardアルゴリズムにおける前向き確率αt1、及び、後ろ向き確率βt1を、それぞれ、式2及び式3に従って計算することができる。ここで、前向き確率αt1は、分離学習モデルλにおいて、観測系列o1o2ot1を観測して、時刻t1に、状態jにいる確率を表す。また、後ろ向き確率βt1は、分離学習モデルλにおいて、時刻tに状態iにいて、その後、観測系列ot1ot2oTを観測する確率を表す。23式2によれば、状態jの初期状態確率πjが、初期値である時刻t0の前向き確率α0として求められる。さらに、式2によれば、時刻t1以降の時刻の前向き確率αt1は、時刻tに状態iにいる状態確率としての前向き確率αtを用いて求められる。すなわち、時刻tに状態iにいて、時刻t1に、観測値ot1を観測して、状態jにいる確率が、時刻t1以降の時刻の前向き確率αt1として求められる。また、式3によれば、初期値である時刻tTの後ろ向き確率βTは、すべての状態i1≦i≦Nに関して、1とされるが、これは、時刻tTの、すべての状態iの状態確率を1とすることを表している。さらに、式3によれば、時刻tT1以前の時刻の後ろ向き確率βtは、時刻t1に状態jにいる状態確率としての後ろ向き確率βt1を用いて求められる。すなわち、時刻t1に、観測値ot1を観測して、状態jにいるとしたときに、時刻tに、状態iにいる確率が、時刻tT1以前の時刻の後ろ向き確率βtとして求められる。ここで、式2及び式3のaijは、状態iから状態jに遷移する状態遷移確率を表す。なお、ForwardBackwardアルゴリズムにおける事後確率としての前向き確率αt及び後ろ向き確率βtは、分離学習モデルλにおいて、観測系列o1o2oTを観測したときに、時刻tに、状態iにいる確率を表すが、このような事後確率としての前向き確率αtを求めることは、観測系列o1o2oTが観測されたときの状態認識を行っていることと等価である。したがって、分離学習モデルλの学習が、ある程度進行した後は、事後確率としての前向き確率αtを求めることにより、背景上の前景の位置fiを推定することができる。[BaumWelchアルゴリズム]HMMを利用した分離学習モデルλのパラメータλπ,A,bworld,bfgは、例えば、EMアルゴリズムに基づくBaumWelchアルゴリズムに従って推定再推定更新することができる。BaumWelchアルゴリズムによれば、分離学習モデルλにおいて、観測系列Oo1o2oTが観測される場合に、時刻t1での状態iから時刻tでの状態jに状態遷移する確率ξtは、式4に従って求めることができる。4また、分離学習モデルλにおいて、観測系列Oo1o2oTが観測される場合に、時刻t1で状態iにいる確率γt1は、確率ξtについて、時刻tでの状態jに関して周辺化した確率として、式5に従って計算することができる。5BaumWelchアルゴリズムでは、式4の確率ξt、及び、式5の確率γt1を用いて、パラメータλπ,A,bworld,bfgが再推定される。ここで、再推定後の分離学習モデルを、λと表すとともに、パラメータを、λπ,A,bworld,bfgと表すこととする。再推定後のパラメータλπ,A,bworld,bfgは、式6、式7、式8、及び、式9に従って求めることができる。すなわち、更新後の初期状態確率πiは、式6に従って求めることができる。6更新後の遷移確率aijは、式7に従って求めることができる。7ここで、式7の分子は、状態iから状態jに遷移する回数の期待値を表し、分母は、状態iから遷移する回数の期待値を表す。更新後の前景見えモデルbfgは、式8に従って求めることができる。8ここで、式8のは、前景座標系図3上の位置座標を表し、図3で説明した前景サイズ内の値をとる変数、すなわち、式≦≦で表される整数の範囲内の変数である。また、式8のbfgは、前景見えモデルとしての画像のテンプレートの、前景座標系図3上の位置の画素値を表す。さらに、otは、時刻tの観測値otとしての画像の、背景座標系上の位置の画素値、すなわち、時刻tの観測値otとしての画像のうちの、背景座標系上の位置fj=における前景サイズの領域の画素値を表す。したがって、式8によれば、時刻tの観測値otとしての画像のうちの、状態jに対応する位置における前景サイズの領域を用いて、更新後の前景見えモデルbfgが求められる。なお、式8の分子は、時刻tの観測値otから、状態jに対応する位置における前景サイズの領域の観測値画像otを切り出し、その画像otに、時刻tに状態jにいる確率αtβtを重み付けして乗算して、その結果得られる重み付け値乗算値の、すべての時刻、及び、すべての状態についての総和になっており、前景サイズの領域に観測される観測値画像otの期待値を表す。また、式8の分母は、すべての時刻、すべての状態についての、状態遷移の回数の期待値を表す。更新後の背景見えモデルbworldは、式9に従って求めることができる。9式9において、は、背景座標系図3上の位置座標を表す。otworldは、状態jに対応する位置における前景サイズの領域の観測値otを0にした時刻tの観測値ot、つまり、時刻tの観測値otとしての画像のうちの、前景の領域の画素値を0にした画像を表す。したがって、式9の分子は、状態jに対応する位置における前景サイズの領域の観測値画素値otを0にした時刻tの観測値otworldとしての画像に、時刻tに状態jにいる確率αtβtを重み付けして乗算して、その結果得られる重み付け値乗算値の、すべての時刻、及び、すべての状態についての総和になっており、前景の移動遷移によらない普遍的な画像、すなわち、背景として観測される画像の期待値を表す。また、式9の分母は、式8の分母と同様に、すべての時刻、すべての状態についての、状態遷移の回数の期待値を表す。以上のように、前景見えモデルbfgの更新では、画像の観測値otのうちの、状態jに対応する位置における前景サイズの領域の観測値otを用い、背景見えモデルbworldの更新では、状態jに対応する位置における前景サイズの領域の観測値を0にした画像の観測値otworldを用いることにより、背景と、その背景上を移動する前景とが、自己組織的に分離されて学習され、その結果、物体を特定するためのマーキングや、運動移動している画像領域の抽出を行うことなく、背景と、その背景上を移動する前景との学習を、容易に行うことができる。[パラメータの初期値]分離学習モデルλの学習にあたり、パラメータλπ,A,bworld,bfgの初期値としては、例えば、0ないし1の範囲のランダムな値が設定される。但し、本技術では、遷移確率aijについては、例えば、式10に従って、背景上を移動する前景の移動を、現在の位置から近傍の位置に制約する近傍制約を設けた初期値が設定される。10ここで、式10において、rand01は、0ないし1の範囲のランダムな値を表す。また、式10において、dijは、状態iに対応する背景上の位置fiと、状態jに対応する背景上の位置fjとの間の距離を表し、dminは、近傍を定義する定数の閾値である。背景座標系において、例えば、状態に対応する位置どうしの横及び縦の距離が1である場合に、前景の移動を、現在の位置から4近傍までの位置の遷移に制約するときには、閾値dminは、式1≦dmin<√2で表される範囲の値に設定される。また、前景の移動を、現在の位置から8近傍までの位置の遷移に制約するときには、閾値dminは、式√2≦dmin<2で表される範囲の値に設定される。[第12節アクションで状態遷移を条件付けたHMMアクション条件付きのHMMを利用した分離学習モデル]上述の分離学習モデルで利用したHMMでは、遷移確率aijは、ある状態iからの遷移の総数に対する、ある状態jへの遷移の回数の比率であり、単純に特に条件のない、状態間の遷移の確率を表している。本技術では、HMMの表現を拡張し、状態遷移に関して遷移を引き起こすアクションwを条件付けた遷移確率aijを有するHMM以下、アクション条件付きのHMMともいうを扱い、以下では、そのようなアクション条件付きのHMMの遷移確率を利用した分離学習モデルについて説明する。ここで、アクションwを条件付けない、アクションwとは無関係の遷移確率aijを有するHMMを、アクション条件付きのHMMと区別するために、アクション条件なしのHMMともいう。アクション条件付きのHMMでは、状態iから状態jへの遷移確率のテーブルを、アクションごとに有することになり、遷移確率について、遷移元の状態i及び遷移先の状態jの次元に、アクションの次元が追加される。すなわち、アクション条件なしのHMMの遷移確率aijは、遷移元の状態i及び遷移先の状態jの次元の2次元表現になるが、アクション条件付きのHMMの遷移確率aijは、遷移元の状態i、遷移先の状態j、及び、アクションの次元の3次元表現になる。なお、アクション条件付きのHMMについては、アクション条件なしのHMMで用いた変数に加えて、下記の変数を用いる。U=u0u1uT1:アクション系列アクションの時系列w=w1w2wK:アクション集合前景に対応する物体アクション可能なエージェントのハンドが行うことが可能なアクションの集合図4は、アクション条件なしのHMMの遷移確率A=aij、及び、アクション条件付きのHMMの遷移確率A=aijを示す図である。上述したように、アクション条件なしのHMMの遷移確率aijは、遷移元の状態i及び遷移先の状態jの次元の2次元表現になり、アクション条件付きのHMMの遷移確率aijは、遷移元の状態i、遷移先の状態j、及び、アクションwkの次元の3次元表現になる。アクション条件付きのHMMの遷移確率aijは、アクションwkがあったときに、状態iから状態jに遷移する確率である、アクションwkごとの遷移確率である。アクション条件付きのHMMを利用した分離学習モデルでは、前景モデルが、アクションwとは無関係の遷移確率aijに代えて、アクションwkごとの遷移確率aijを有する。[ForwardBackwardアルゴリズム]アクション条件付きHMMを利用した分離学習モデルλについては、ForwardBackwardアルゴリズムにおける前向き確率αt1は、分離学習モデルλにおいて、アクション系列u1u2utのアクションが行われることに伴って、観測系列o1o2otが観測され、時刻t1に、状態jにいる確率となり、式11に従って求めることができる。11式11によれば、状態jの初期状態確率πjが、初期値である時刻t0の前向き確率α0として求められる。さらに、式11によれば、時刻t1以降の時刻の前向き確率αt1は、時刻tに状態iにいる状態確率としての前向き確率αtを用いて求められる。すなわち、時刻tに状態iにいて、アクションutが行われることによって生じる状態遷移により、時刻t1に、観測値ot1を観測して、状態jにいる確率が、時刻t1以降の時刻の前向き確率αt1として求められる。アクション条件付きHMMを利用した分離学習モデルλについては、ForwardBackwardアルゴリズムにおける後ろ向き確率βtは、分離学習モデルλにおいて、時刻tに、状態iにいて、以後、アクション系列ut1ut2uT1のアクションが行われることに伴って、観測系列ot1ot2oTが観測される確率となり、式12に従って求めることができる。12式12によれば、初期値である時刻tTの後ろ向き確率βTは、すべての状態i1≦i≦Nに関して、1とされるが、これは、時刻tTの、すべての状態iの状態確率を1とすることを表している。さらに、式12によれば、時刻tT1以前の時刻の後ろ向き確率βtは、時刻t1に状態jにいる状態確率としての後ろ向き確率βt1を用いて求められる。すなわち、時刻tに、状態iにいて、アクションutが行われることによって生じる状態遷移により、時刻t1に、観測値ot1を観測して、状態jにいるとしたときに、時刻tに、状態iにいる確率が、時刻tT1以前の時刻の後ろ向き確率βtとして求められる。[BaumWelchアルゴリズム]アクション条件付きのHMMを利用した分離学習モデルλのパラメータλπ,A,bworld,bfgは、アクション条件なしのHMMを利用した分離学習モデルλのパラメータλπ,A,bworld,bfgを求めるBaumWelchアルゴリズムを、アクションwkについて拡張することにより推定再推定更新することができる。すなわち、分離学習モデルλにおいて、アクション系列U=u0u1UT1のアクションが行われることに伴って、観測系列Oo1o2oTが観測される場合に、時刻t1での状態iにおいて、アクションwkが行われることにより、時刻t1での状態iから時刻tでの状態jに状態遷移する確率ξtは、式13に従って求めることができる。13また、分離学習モデルλにおいて、アクション系列U=u0u1UT1のアクションが行われることに伴って、観測系列Oo1o2oTが観測される場合に、時刻t1に、状態iにいて、アクションut1wkが行われる確率γt1は、確率ξtについて、時刻tでの状態jに関して周辺化した確率として、式14に従って求めることができる。14アクション条件付きのHMMを利用した分離学習モデルλのパラメータλπ,A,bworld,bfgは、式13の確率ξt、及び、式14の確率γt1を用いて再推定することができる。すなわち、更新後の初期状態確率πiは、式15に従って求めることができる。15更新後の遷移確率aijは、式16に従って求めることができる。16ここで、式16の分子は、状態iで、アクションwkが行われることにより、状態jに遷移する回数の期待値を表し、分母は、状態iで、アクションwkが行われて状態遷移が行われる回数の期待値を表す。なお、更新後の前景見えモデルbfgは、アクション条件なしのHMMと同様に、式8に従って求めることができ、更新後の背景見えモデルbworldも、アクション条件なしのHMMと同様に、式9に従って求めることができる。[第13節BaumWelchアルゴリズムの追加学習への拡張]第11節及び第12節では、分離学習モデルの学習に用いる学習データ観測系列及びアクション系列のすべてが、一度に得られる場合のBaumWelchアルゴリズムに従った学習、すなわち、バッチ学習の定式化を行ったが、BaumBelchアルゴリズムは、追加学習に拡張することができる。ここで、追加学習とは、1回の学習パラメータの更新には、全体の学習データの一部の区間しか観測できないため、学習データを、複数回に分けて学習することで、過去の学習結果を残しつつ、モデルパラメータを、徐々に更新し、最終的には、すべての学習データを学習することで、一度にすべての学習データを学習するのと同等の結果を得る学習である。BaumWelchアルゴリズムの追加学習への拡張は、式7の遷移確率aij、式8の前景見えモデルbfgbfg、式9の背景見えモデルbworld、及び、式16の遷移確率aijを求める更新演算の途中結果としての、各更新演算の分子と分母とを累積的に保持して計算することによって実現することができる。例えば、全体でTステップサンプルある学習データを、1回あたりTCステップずつ用いて、分離学習モデルの学習を、C回に分けて行う追加学習を行う場合、式7ないし式9、及び、式16に代えて、それぞれ、式17、式18、式19、及び、式20が用いられる。17181920ここで、式17では、分子のaijn及び分母のaijdが、式17の更新演算の途中結果であり、追加学習では、途中結果aijn及びaijdが保持され、次の更新演算において、途中結果aijn及びaijdは、それぞれ、式17のaijn及びaijdとして用いられる。式18では、分子のbfgn及び分母のbdが、式18の更新演算の途中結果であり、追加学習では、途中結果bfgn及びbdが保持され、次の更新演算において、途中結果bfgn及びbdは、それぞれ、式18のbfgn及びbdとして用いられる。式19では、分子のbworldn及び分母のbdが、式19の更新演算の途中結果であり、追加学習では、途中結果bworldn及びbdが保持され、次の更新演算において、途中結果bworldn及びbdは、それぞれ、式19のbworldn及びbdとして用いられる。なお、式18及び式19の分母である途中結果bdは、同一なので、式18及び式19の分母のbdは、どちらか一方を、途中結果として保持しておけばよい。式20では、分子のaijn及び分母のaijdが、式20の更新演算の途中結果であり、追加学習では、途中結果aijn及びaijdが保持され、次の更新演算において、途中結果aijn及びaijdは、それぞれ、式20のaijn及びaijdとして用いられる。以上のように、更新演算の途中結果を記憶し、次の学習データと、更新演算の途中結果とを用いて、分離学習モデルのパラメータを更新する更新演算を行うことにより、分離学習モデルの追加学習を行うことができる。すなわち、新しい学習データが入ってくるたびに、分離学習モデルのパラメータとしての変数の分母と分子に更新量を累積していくことで、過去の学習結果を保持しながら、新しい学習データによる更新内容を、分離学習モデルのパラメータに反映することができる。[第2章視野が限定される場合の分離学習モデルの学習]図5は、エージェントの視野が限定される場合の分離学習モデルの学習を説明する図である。第1章では、前景が配置された背景の全体の画像を観測することができることを、暗黙の前提としたが、エージェントに搭載されたカメラで撮影された画像を、観測値otとして用いる場合には、前景が配置された背景の一部の領域だけが、観測値otとして得られることがある。すなわち、エージェントに、視野があることとすると、エージェントでは、前景が配置された背景の全体の画像のうちの、エージェントの視野の領域視野領域の画像のみが、観測値otとして観測される。なお、視野領域は、エージェントが、頭部を動かすこと等により、視線の方向を移動することで変化することとする。但し、時刻tごとの視野領域R=r1r2rTは、既知のデータとして与えられることとする。この場合、視野領域に、前景が完全に含まれる場合の前景の位置fiに対応する状態Si∈riのみを対象として、パラメータの更新を行うことで、分離学習モデルの学習を行うことができる。図5は、前景前景見えモデルが配置された背景背景見えモデルのうちの、既知の視野領域rtの画像のみが、時刻tの観測値otとして観測される様子を示している。図5において、丸印は、前景が配置される位置fiに対応する状態iを表しており、また、丸印のうちの黒丸印は、前景サイズの領域全体が視野領域rtに含まれる位置fiに対応する状態iを表している。図5に示すように、前景前景見えモデルが配置された背景背景見えモデルのうちの、既知の視野領域rtの画像のみが、時刻tの観測値otとして観測される場合には、遷移確率の更新は、すべての状態からの遷移確率のうちの、前景サイズの領域全体が視野領域rtに含まれる位置fiに対応する状態i図5において、黒丸印で示すからの遷移確率のみを対象として行う。また、前景見えモデル、及び、背景見えモデルの更新は、すべての状態についての事後確率としての前向き確率及び後ろ向き確率のうちの、前景サイズの領域全体が視野領域rtに含まれる位置fiに対応する状態i図5において、黒丸印で示すについての前向き確率αt及び後ろ向き確率βtのみを用いて行う。[第3章複数の前景モデルを有する分離学習モデルの学習]図6は、分離学習モデルを模式的に示す図である。分離学習モデルは、複数の前景モデルを有することができる。図6では、分離学習モデルは、背景モデルと、2つの前景モデル1及び2とを有する。この場合、分離学習モデルでは、背景モデルが表す背景上の位置fiに、前景モデル1が表す前景が配置されるとともに、位置fiに、前景モデル2が表す前景が配置されることによって、観測される画像が表現される。ここで、分離学習モデルが、複数であるM個の前景モデル1ないしMを有する場合のm番目の前景モデルmが有する遷移確率aij又はaij、及び、前景見えモデルbfgを、それぞれ、aijm、及び、bfgmと表す。複数であるM個の前景モデル1ないしMを有する分離学習モデルでは、そのM個の前景モデル1ないしMが、1つの背景モデルの背景見えモデルbworldを共有する。なお、観測される画像に含まれる前景の数Mは、既知であることとし、分離学習モデルは、その既知である前景の数M以上の前景モデルを有することとする。また、分離学習モデルが有する前景モデルmの遷移確率aijmは、アクション条件なしのHMMの遷移確率aijであっても良いし、アクション条件付きのHMMの遷移確率aijであっても良い。ここで、アクション条件付きのHMMの遷移確率aijを有する前景モデルを、アクション条件付きの前景モデルともいい、アクション条件なしのHMMの遷移確率aijを有する前景モデルを、アクション条件なしの前景モデルともいう。分離学習モデルが有する複数の前景モデルは、アクション条件付きの前景モデルと、アクション条件なしの前景モデルとが混在していても良い。[第31節観測尤度の計算]分離学習モデルが、複数の前景モデルを有する場合に、分離学習モデルにおいて、画像のある観測値が観測される観測尤度pを計算するときには、分離学習モデルが有する複数の前景モデルが表す前景すべてを、背景に配置し、各状態iに対応する背景上の位置fiに、分離学習モデルが有する複数の前景モデルが表す前景を配置するすべての組み合わせを考慮して、式1の仮想的な観測値omodelを生成する。但し、この場合、分離学習モデルが有する前景モデルの数に対して、観測尤度pの計算量が指数的に増加する。そこで、本技術では、分離学習モデルが、複数の前景モデルを有する場合には、近似的に、観測尤度pを求めることができる。すなわち、本技術では、複数の前景モデルが表す前景を、個別に、背景モデルが表す背景に配置し、個別の前景モデルごとに、式1に従って、観測尤度pを求めることができる。この場合、状態確率事後確率としての前向き確率αt、及び、後ろ向き確率βtは、前景モデルmごとに個別に求められる。ここで、前景モデルmについての前向き確率αt、及び、後ろ向き確率βtを、それぞれ、αtm又はαtm、及び、βtm又はβtmとも表す。前景モデルmが、アクション条件なしの前景モデルである場合、その前景モデルmについての前向き確率αtm、及び、後ろ向き確率βtmは、その前景モデルmについての観測尤度pを用いて、それぞれ、式2、及び、式3に従って求められる。また、前景モデルmが、アクション条件付きの前景モデルである場合、その前景モデルmについての前向き確率αtm、及び、後ろ向き確率βtmは、その前景モデルmについての観測尤度pを用いて、それぞれ、式11、及び、式12に従って求められる。[第32節BaumWelchアルゴリズム]複数の前景モデルを有する分離学習モデルλのパラメータλπ,A,bworld,bfgの、BaumWelchアルゴリズムに従った推定再推定更新は、以下のようにして行うことができる。すなわち、前景モデルmの初期状態確率、遷移確率、前景見えモデルを、それぞれ、πim、aijm、及び、bfgmと表すこととすると、前景モデルmが、アクション条件なしの前景モデルである場合には、前景モデルmの初期状態確率πim、遷移確率aijm、及び、前景見えモデルbfgmは、その前景モデルmについての観測尤度p、前向き確率αtm、及び、後ろ向き確率βtmを必要に応じて用い、それぞれ、式6ないし式8に従って更新される。また、前景モデルmが、アクション条件付きの前景モデルである場合には、前景モデルmの初期状態確率πim、遷移確率aijm、及び、前景見えモデルbfgmは、その前景モデルmについての観測尤度p、前向き確率αtm、及び、後ろ向き確率βtmを必要に応じて用い、それぞれ、式15、式16、及び、式8に従って更新される。なお、追加学習を行う場合には、前景モデルmの遷移確率aijm、及び、前景見えモデルbfgmは、その前景モデルmについての観測尤度p、前向き確率αtm、及び、後ろ向き確率βtmを必要に応じて用い、それぞれ、式17又は式20、及び、式18に従って更新される。背景見えモデルbworldは、各前景モデルmについての前向き確率αtm、及び、後ろ向き確率βtmを用いて、式21に従って更新される。21なお、追加学習を行う場合には、背景見えモデルbworldは、式22に従って更新される。22ここで、式21及び式22において、otworldmは、m番目の前景モデルmの位置fiにおける前景サイズの領域の観測値を0にした時刻tの観測値ot、つまり、時刻tの観測値otのうちの、前景モデルmが表す前景の領域の画素値を0にした画像を表す。したがって、式21及び式22によれば、背景見えモデルbworldは、M個の前景モデル1ないしMのすべてに関する知識を統合して更新される。[第4章前景モデルの排他的学習]分離学習モデルλが、複数の前景モデルを有する場合には、その分離学習モデルλの学習、すなわち、パラメータλπ,A,bworld,bfgの更新は、第3章で説明した方法によって行うことができる。但し、第3章で説明した方法では、画像の観測系列中の複数の前景と、前景モデルとの対応関係に何ら制約をしていないため、分離学習モデルが有する複数の前景モデルのうちの2個以上の前景モデルによって、画像の観測系列中の同一の前景が重複して学習モデル化されることや、いずれの前景モデルによっても学習されない前景が生じることがあり得る。そこで、本技術では、分離学習モデルλが、複数の前景モデルを有する場合には、前景モデルのパラメータである初期状態確率、遷移確率、及び、前景見えモデルの更新に、排他制約処理を導入することができる。排他制約処理は、ある前景モデルで学習された前景を、他の前景モデルで学習しないように、学習が制限される。排他制約処理は、前景モデルの更新の優先順位付けと、割引処理とによって実現することができる。前景モデルの更新の優先順位付けでは、パラメータの更新を行う前景モデルに、優先順位が付けられ、その優先順位順に、前景モデルが、学習パラメータの更新の対象の対象モデルに選択される。割引処理では、対象モデルの学習に用いられた学習データとしての画像の観測系列から、対象モデルの前景見えモデルの更新に用いられた分の観測値が割り引かれる。そして、次の対象モデルの更新は、割引処理後の画像の観測値を用いて行われる。図7は、排他制約処理を説明する図である。いま、分離学習モデルλが有するM個の前景モデル1ないしMのm番目の前景モデルmの優先順位が第m位であるとする。また、m番目の前景モデルmの学習パラメータの更新に用いられる時刻tの画像の観測値を、otと表すこととする。排他制約処理では、上述したように、対象モデルの学習に用いられた学習データとしての画像の観測系列から、対象モデルの前景見えモデルの更新に用いられた分の観測値を割り引く割引処理が行われ、その割引処理後の画像の観測値を用いて、次の対象モデルの更新が行われる。割引処理は、式23に従って行われる。23ここで、優先順位が第1位の前景モデル1の学習に用いられる時刻tの観測値otは、時刻tの画像の観測値otに等しい。式23では、状態iに対応する位置における前景サイズの矩形領域内の、m番目の前景モデルmの学習に用いられた観測値otに、時刻tに状態iにいる確率αtβtβtmを重み付けして乗算して、その結果得られる重み付け値乗算値重み付け画像の、すべての状態についての総和Σαtβtotが求められる。そして、観測値otから、総和Σαtβtotを減算することで、次の優先順位の前景モデルの学習に用いられる時刻tの観測値otが求められる。なお、式23の右辺の第1項のotと、第2項のΣαtβtotとは、同一サイズの行列、すなわち、2次元変数であり、第2項の総和Σをとるときのαtβtotの足し込みは、otと同一サイズの2次元変数Vのうちの、インデクスが、式≦≦の範囲の2次元変数Vに対して行われる。排他制約処理によれば、優先順位の高い前景モデルが学習した前景の情報が差し引かれた観測値が、優先順位の低い前景モデルの学習で用いられるので、優先順位の高い前景モデルが学習した前景を、優先順位が低い前景モデルが学習してしまうことを防止すること、すなわち、同一の前景を、複数の前景モデルで学習することを防止することができる。[第5章アクション条件付きの前景モデルとアクション条件なしの前景モデルとが混在する分離学習モデルの前景モデルと、前景との自己組織的な対応付け][第51節アクション条件付きの前景モデルとアクション条件なしの前景モデルとが混在する分離学習モデル]分離学習モデルが、複数の前景モデルとして、アクション条件付きの前景モデルとアクション条件なしの前景モデルとの両方を有する場合の、分離学習モデルの学習について説明する。アクション条件付きの前景モデルとアクション条件なしの前景モデルとの両方を有する分離学習モデルによれば、背景中に、複数の前景があり、その複数の前景として、既知のアクションに伴って移動する前景以下、アクション付き前景ともいうと、どのようなアクションに伴って移動するかは未知であるが、移動を観測することができる前景以下、アクションなし前景ともいうとが混在している環境を、その環境から観測される観測系列を用いて学習することができる。ここで、背景中に、1以上のアクション付き前景と1以上のアクションなし前景とが混在している環境とは、例えば、図1に示したように、エージェントが、自分の身体に搭載されたカメラで撮影された画像と、エージェントのハンドとしてのマニピュレータとを用いて、物体操作を行う環境等に相当する。この場合、エージェントの視野中に知覚される画像カメラで撮影された画像の観測系列には、操作対象の物体の画像としての前景と、物体を操作するエージェント自身のハンドの画像としての前景とが共存する。そして、エージェントの視野中のハンドの移動は、エージェントが自らが出力したアクションによって生じるので、エージェントのハンドに対応する前景は、既知のアクションに伴って移動するアクション付き前景である。一方、操作対象の物体の移動は、エージェントのハンドが物体に接触することによって生じるが、どのようなアクションに伴って生じるのかは未知であるので、操作対象の物体に対応する前景は、アクションなし前景である。なお、分離学習モデルが、以上のようなアクション付き前景とアクションなし前景とが混在している環境から観測される観測系列を学習する場合、分離学習モデルは、アクション付き前景の数以上のアクション条件付きの前景モデルを有するとともに、アクションなし前景の数以上のアクション条件なしの前景モデルを有することとする。図8は、背景中に、1以上のアクション付き前景と1以上のアクションなし前景とが混在している環境を、カメラで撮影することにより得られる画像の観測値を生成する生成モデルとしてのグラフィカルモデルを示す図である。すなわち、図8は、背景中に、アクション付き前景に対応するエージェントのハンドと、アクションなし前景としての操作対象の物体とが存在する環境を想定した場合の、その想定環境のグラフィカルモデルを示している。背景中に、アクション付き前景に対応するエージェントのハンドと、アクションなし前景としての操作対象の物体とが存在する想定環境は、複数の前景モデルとして、エージェントのハンドに対応する前景モデルであるアクション条件付きの前景モデル1と、操作対象の物体に対応する前景モデルであるアクション条件なしの前景モデル2とを有する分離学習モデルによって表現することができる。すなわち、アクション付き前景に対応するエージェントのハンドの画像は、ハンドの見え、ハンドの状態位置、初期位置、及び、ハンドの動き移動によって生成することができる。アクション条件付きの前景モデル1では、ハンドの見えは、前景見えモデルbfg1に、ハンドの状態位置は、前景モデル1の内部変数としての状態Si1背景上の前景見えモデルbfg1の位置fiに、初期位置は、初期状態確率πi1に、ハンドの動きは、アクション条件付きのHMMの遷移確率aij1に、それぞれ相当する。なお、ハンドは、そのハンドを駆動する駆動信号により駆動されるが、この駆動信号が、アクション系列アクションの時系列Uに相当し、ハンドの状態位置、つまり、前景モデル1の状態Si1は、アクション系列Uに伴って遷移移動する。アクションなし前景に対応する操作対象の物体の画像は、物体の見え、物体の状態位置、初期位置、及び、物体の動き移動によって生成することができる。アクション条件なしの前景モデル2では、物体の見えは、前景見えモデルbfg2に、物体の状態位置は、前景モデル2の内部変数としての状態Si2背景上の前景見えモデルbfg2の位置fiに、初期位置は、初期状態確率πi2に、物体の動きは、アクション条件なしのHMMの遷移確率aij2に、それぞれ相当する。そして、想定環境の背景の画像背景の見えは、背景モデルの背景見えモデルbworldに相当する。想定環境の全体の見え環境の見えは、エージェントのハンドの画像、及び、操作対象の物体の画像を、想定環境の背景の画像に配置することで生成することができる。さらに、想定環境の全体の見えから、エージェントの視野の範囲を切り出すことで、エージェントのカメラで撮影される画像の観測系列Oを得ることができる。ここで、エージェントの視野は、図5で説明した視野領域Rに相当する。分離学習モデルでは、カメラで撮影される画像の観測系列O、ハンドを駆動する駆動信号としての既知のアクション系列U、及び、視野領域Rを、学習データとして用いて、想定環境の学習が行われ、分離学習モデルのパラメータが求められる。すなわち、ハンドに対応する前景モデル1については、ハンドの見えに相当する前景見えモデルbfg1、ハンドの初期位置に相当する初期状態確率πi1、及び、ハンドの動きに相当するアクション条件付きのHMMの遷移確率aij1が求められる。物体に対応する前景モデル2については、物体の見えに相当する前景見えモデルbfg2、物体の初期位置に相当する初期状態確率πi2、及び、物体の動きに相当するアクション条件なしのHMMの遷移確率aij2が求められる。また、想定環境の背景に対応する背景モデルについては、その背景の見えに相当する背景見えモデルbworldが求められる。なお、図8では、説明を簡単にするため、背景中に、1つのアクション付き前景と、1つのアクションなし前景とが存在する想定環境を示したが、複数のアクション付き前景や、複数のアクションなし前景が存在する環境も、図8と同様のグラフィカルモデルによって表現すること、ひいては、分離学習モデルで学習することができる。[第52節遷移確率のエントロピー評価に基づくパラメータ更新]アクション条件付きの前景モデルとアクション条件なしの前景モデルとが混在する分離学習モデル以下、混在モデルともいうについては、第3章で説明した方法により学習を行うことができる。但し、第3章で説明した方法では、エージェントのハンド等に対応するアクション付き前景が、アクション条件付きの前景モデルで学習されること、及び、操作対象の物体等に対応するアクションなし前景が、アクション条件なしの前景モデルで学習されることは、保証されない。これは、BaumWelchアルゴリズムの学習原理が、gradient勾配学習によるパラメータ収束の学習方法であるため、モデルパラメータの初期値依存性によりローカルミニマムにトラップされてしまうことがあるからである。典型的なローカルミニマムのパターンでは、アクションなし前景の学習が、あるアクション条件付きの前景モデルによって開始され、又は、アクション付き前景の学習が、あるアクション条件なしの前景モデルによって開始され、その後、学習を開始した前景モデルが、学習の対象を、他の前景に切り替えることができなくなる。理論的には、アクション付き前景については、アクション条件付きの前景モデルによって学習した方が、アクション条件なしの前景モデルで学習するよりも、尤度が大きくなることが保証されているが、本技術では、初期値依存で学習が停滞することを防止するため、前景モデルが学習の対象とする前景を、外的に切り替えることを促す評価プロセス以下、切り替え促進処理ともいうを導入することができる。図9は、切り替え促進処理を説明する図である。切り替え促進処理では、第4章で説明した前景モデルの更新の優先順位付けにおいて、アクション条件付きの前景モデルが、アクション条件なしの前景モデルよりも、優先的に、対象モデルに選択されるように、順位付けが行われる。さらに、切り替え促進処理では、対象モデルに選択されたアクション条件付きの前景モデルmの前景見えモデルbfgmとして、混在モデルが有するM個の前景モデル1ないしMの前景見えモデルbfg1ないしbfgMをそれぞれ採用したと仮定した仮定モデルVM1ないしVMMが、画像の観測値O及びアクションUを用いて更新される。ここで、図9では、前景モデル1が、対象モデルに選択されている。その後、切り替え促進処理では、更新後の仮定モデルVM1ないしVMMそれぞれについて、遷移確率の平均エントロピーHmeanが、式24に従って求められる。24ここで、式24の遷移確率aijは、更新後の仮定モデルの遷移確率である。また、lnは、自然対数ネイピア数を底とする対数を表す。さらに、切り替え促進処理では、更新後の仮定モデルVM1ないしVMMのうちの、遷移確率のエントロピーHmeanが最小の仮定モデルVMmが、式25に従って求められる検出される。25ここで、式25において、argminは、かっこ内の最小値を与える変数mを表す。また、aijmは、更新後の仮定モデルVMmの遷移確率を表し、Hmeanmは、仮定モデルVMmの遷移確率aijmの平均エントロピーを表す。切り替え促進処理では、更新後の仮定モデルVM1ないしVMMのうちの、遷移確率のエントロピーが最小の仮定モデルVMmを用いて、式1の観測尤度pが求められ、その観測尤度pを、対象モデルの観測尤度として用いて、対象モデルの初期状態確率πim、遷移確率aijm、及び、前景見えモデルbfgmが更新される。以上のように、アクション条件付きの前景モデルを、優先的に、対象モデルに選択し、対象モデルに選択されたアクション条件付きの前景モデルmの前景見えモデルbfgmとして、混在モデルが有するM個の前景モデル1ないしMの前景見えモデルbfg1ないしbfgMをそれぞれ採用したと仮定した仮定モデルVM1ないしVMMを、画像の観測値O及びアクションUを用いて更新し、更新後の仮定モデルVM1ないしVMMのうちの、遷移確率の平均エントロピーが最小の仮定モデルVMmを用いて、観測尤度pを求め、その観測尤度pを対象モデルの観測尤度として用いて、対象モデルの初期状態確率πim、遷移確率aijm、及び、前景見えモデルbfgmを更新することで、アクション条件付きの前景モデルが学習の対象とする前景が、アクション付き前景になるように、アクション条件付きの前景モデルが学習の対象とする前景の切り替えが促される。図10は、アクション条件付きの前景モデルの遷移確率を説明する図である。アクション条件付きの前景モデルは、アクションごとの遷移確率aijを有するので、ある状態iからの遷移確率は、アクションごとに存在する。対象モデルとしてのアクション条件付きの前景モデルに対して与えられるアクション系列Uと、対象モデルが有する前景見えモデルbfgの移動とが対応している場合、状態iからの状態遷移は、アクションwkごとに分離される。すなわち、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応リンクしていれば、対象モデルの状態iにおいて、あるアクションwkが行われたときに、特定の1つの状態jに遷移する遷移確率aijが、1となる。具体的には、例えば、状態iから、4つの状態j1234に遷移する可能性があり、4つのアクションwkw1w2w3w4を行うことが可能である場合において、あるアクションwjが行われたときに、状態iに対応する位置fiから、ある状態jに対応する位置fjに、対象モデルの前景見えモデルbfgが移動するのであれば、遷移確率aijは、1となり、jに等しくないkについて、遷移確率aijは、0になる。以上のように、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応している場合、状態iにおいてアクションwkが行われたときに、そのアクションwkに対応する前景見えモデルbfgの移動に相当する状態iからの状態遷移の遷移確率は、1となり、状態iからの他の状態遷移の遷移確率は、0となる。その結果、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応している場合には、ある状態iにおいて、あるアクションwkが行われたときの遷移確率については、図10に示すように、特定の1つの状態jへの状態遷移の遷移確率は1になり、他の状態への状態遷移の遷移確率は0になる。ここで、図10は、アクションwkごとの遷移確率aijを示しており、図10において、黒で塗りつぶしてある部分は、0でない遷移確率を表している。したがって、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応している場合には、各状態iからの遷移確率のうちの、値が0でない遷移確率は、アクションwkごとに、特定の状態jへの状態遷移に集中するので、遷移確率の平均エントロピーは、小さくなる。一方、対象モデルとしてのアクション条件付きの前景モデルに対して与えられるアクション系列Uと、対象モデルが有する前景見えモデルbfgの移動とが対応していない場合、状態iからの状態遷移は、アクションwkごとには分離されない。すなわち、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応リンクしていないと、対象モデルの状態iにおいて、あるアクションwkが行われたときに、各状態jに遷移する遷移確率aijは分散する。具体的には、例えば、状態iから、4つの状態j1234に遷移する可能性がある場合に、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応していないと、アクションwkが行われたときに、状態iに対応する位置fiからは、状態j1234それぞれに対応する位置f1f2f3f4のいずれにも、対象モデルの前景見えモデルbfgが移動する可能性があり、その結果、状態iからの遷移確率ai1,ai2,ai3,ai4は、ほぼ同様の値の、例えば、025となる。以上のように、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応していない場合、状態iにおいてアクションwkが行われたときに、前景見えモデルbfgの移動に相当する状態iからの状態遷移の遷移確率値が0でない遷移確率は、遷移先の各状態jに分散する。その結果、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応していない場合には、ある状態iにおいて、あるアクションwkが行われたときの遷移確率については、図10に示すように、複数の状態jそれぞれへの状態遷移の遷移確率が、0でない値黒で塗りつぶしてある部分になる。したがって、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応していない場合には、各状態iからの遷移確率のうちの、値が0でない遷移確率は、アクションwkごとに、特定の状態jへの状態遷移に集中しないので、遷移確率の平均エントロピーは、大きくなる。ここで、対象モデルに学習データとして与えられるアクションwkと、対象モデルの前景見えモデルbfgの移動とが対応していない場合とは、対象モデルに学習データとして与えられるアクションwkに対応する移動を行う前景アクション付き前景が、対象モデル以外の前景モデルで学習されている場合と、対象モデルにおいて、アクションなし前景が学習されている場合とがある。切り替え促進処理では、上述したように、対象モデルに選択されたアクション条件付きの前景モデルmの前景見えモデルbfgmとして、混在モデルが有するM個の前景モデル1ないしMの前景見えモデルbfg1ないしbfgMをそれぞれ採用したと仮定した仮定モデルVM1ないしVMMが、画像の観測値O及びアクションUを用いて更新され、更新後の仮定モデルVM1ないしVMMのうちの、遷移確率の平均エントロピーが最小の仮定モデルVMmが検出される。遷移確率の平均エントロピーが最小の仮定モデルVMmで学習されている前景仮定モデルVMmの生成に採用された前景見えモデルbfgにおいて見えが学習されている前景は、対象モデルに学習データとして与えられるアクションwkに対応する移動を行っている前景アクション付き前景である可能性が高いので、切り替え促進処理では、その前景が、対象モデルの学習の対象に切り替わることを促すために、遷移確率のエントロピーが最小の仮定モデルVMmの観測尤度pを、対象モデルの観測尤度として用いて、対象モデルの初期状態確率πim、遷移確率aijm、及び、前景見えモデルbfgmが更新される。本技術では、以上の切り替え促進処理とともに、第4章で説明した排他制約処理を行うことができる。切り替え促進処理が機能することにより、アクション条件付きの前景モデルによる、アクション付き前景の学習が優先的に行われ、その後に、優先順位の低いアクション条件なしの前景モデルによる、アクションなし前景の学習が行われる。また、排他制約処理が機能することにより、異なる前景モデルでは、異なる前景が学習される異なる前景モデルにおいて、同一の前景が学習されることが防止される。したがって、切り替え促進処理と排他制約処理との両方が機能することにより、画像の観測値に複数の前景が含まれる場合に、1つの前景は、1つの前景モデルで学習されるとともに、アクション付き前景は、アクション条件付きの前景モデルで学習され、アクションなし前景は、アクション条件なしの前景モデルで学習される。すなわち、本技術によれば、複数の前景を、自己組織的に分離して学習することができ、さらに、複数の前景に、アクションなし前景とアクション付き前景とが含まれる場合には、アクションなし前景は、アクション条件なしの前景モデルで学習され、アクション付き前景は、アクション条件付きの前景モデルで学習される。[本技術を適用したエージェントの一実施の形態]図11は、本技術を適用したエージェントの一実施の形態の構成例を示すブロック図である。図11において、エージェントとしての、例えば、ロボットは、カメラ1、アクション制御部2、モータ3、及び、学習装置4を有する。カメラ1は、画像を撮影し、画像の観測値Oを、学習装置4に供給する。アクション制御部2は、モータ3を駆動する駆動信号としてのアクションUの信号を生成し、モータ3、及び、学習装置4に供給する。モータ3は、アクション制御部2からのアクションUに従って駆動し、これにより、例えば、図示せぬハンドが移動する。学習装置4は、バッファ11、データ取得部12、モデル学習部13、及び、モデル記憶部14を有し、カメラ1からの画像の観測値O、さらには、アクション制御部2からのアクションUを、学習データとして用いて、分離学習モデルの学習を行う。ここで、学習データには、画像の観測値OやアクションUの他、図5で説明した視野領域Rが含まれる。例えば、カメラ1が、エージェントの頭部に搭載されている場合、視野領域Rは、例えば、エージェントの頭部の角度等から認識される。学習装置4において、バッファ11は、カメラ1からの観測値Oと、アクション制御部2からのアクションUとを一時記憶する。データ取得部12は、バッファ11に記憶された観測値OやアクションUの一部、又は、全部を、学習データとして取得し、モデル学習部13に供給する。モデル学習部13は、データ取得部12からの学習データを用いて、分離学習モデルの学習パラメータの更新を行う。すなわち、モデル学習部13は、データ記憶部21、優先順位設定部22、割引処理部23、モデル更新部24、及び、エントロピー計算部25を有する。データ記憶部21は、データ取得部12からの学習データを一時記憶する。また、データ記憶部21は、分離学習モデルの追加学習を行う場合に、更新演算の途中結果を記憶する。優先順位設定部22は、分離学習モデルが有する1以上の前景モデルの優先順位を設定する。割引処理部23は、データ記憶部21に記憶された学習データとしての画像の観測値Oの割引処理図7を行う。モデル更新部24は、データ記憶部21に記憶された学習データを用いて、分離学習モデルの学習、すなわち、分離学習モデルのパラメータの更新を行う。エントロピー計算部25は、図9で説明した切り替え促進処理において、仮定モデルについて、遷移確率の平均エントロピーHmeanを、式24に従って計算する。モデル記憶部14は、分離学習モデルのパラメータを記憶する。[学習処理]図12は、図11の学習装置4が行う、分離学習モデルの学習の処理学習処理を説明するフローチャートである。ステップS11において、モデル更新部24は、モデル記憶部14に記憶された分離学習モデルのパラメータを初期化し、処理は、ステップS12に進む。ステップS12では、優先順位設定部22が、モデル記憶部14に記憶された分離学習モデルが有する前景モデルの学習の優先順位を設定して、処理は、ステップS13に進む。ここで、優先順位設定部22は、分離学習モデルが、アクション条件付きの前景モデルと、アクション条件なしの前景モデルとを有する場合には、アクション条件付きの前景モデルに対して、アクション条件なしの前景モデルよりも高い順位の優先順位を設定する。なお、分離学習モデルが、アクション条件付きの前景モデルとして、複数の前景モデルを有する場合、その複数のアクション条件付きの前景モデルの中での優先順位は、任意の順位を採用することができる。同様に、分離学習モデルが、アクション条件なしの前景モデルとして、複数の前景モデルを有する場合、その複数のアクション条件なしの前景モデルの中での優先順位は、任意の順位を採用することができる。ステップS13では、データ取得部12が、バッファ11に記憶された学習データから、まだ、分離学習モデルの学習に用いていない最新の所定の系列長分の学習データを取得し、データ記憶部21に供給して記憶させる。そして、処理は、ステップS13からステップS14に進み、モデル更新部24は、優先順位設定部22が設定した優先順位に従い、モデル記憶部14に記憶された分離学習モデルが有する前景モデルから、データ記憶部21に記憶された学習データを用いて学習を行っていない前景モデルのうちの、優先順位が最も高い前景モデルを、学習の対象の対象モデルとして選択し、処理は、ステップS15に進む。ステップS15では、モデル更新部24は、対象モデルが、優先順位が高い高順位モデル、すなわち、アクション条件付きの前景モデルであるかどうかを判定する。ステップS15において、対象モデルが、高順位モデルであるアクション条件付きの前景モデルでないと判定された場合、すなわち、対象モデルが、アクション条件なしの前景モデルである場合、処理は、ステップS16をスキップして、ステップS17に進む。また、ステップS15において、対象モデルが、高順位モデルであるアクション条件付きの前景モデルであると判定された場合、処理は、ステップS16に進み、モデル学習部13は、最小エントロピー検出処理を行って、処理は、ステップS17に進む。ここで、最小エントロピー検出処理では、対象モデルに選択されたアクション条件付きの前景モデルの前景見えモデルとして、分離学習モデルが有する1以上の前景モデルの前景見えモデルをそれぞれ採用したと仮定した仮定モデルが生成される。そして、仮定モデルが、データ記憶部21に記憶された学習データを用いて更新され、更新後の仮定モデルのうちの、遷移確率の平均エントロピーが最小の仮定モデルが検出される。ステップS17では、モデル更新部24は、対象モデルの更新に用いる観測尤度pを、式1に従って求め、処理は、ステップS18に進む。ここで、対象モデルが、アクション条件なしの前景モデルである場合、ステップS17では、そのアクション条件なしの前景モデルを用いて、式1の観測尤度pが、対象モデルの更新に用いる観測尤度pとして求められる。また、対象モデルが、アクション条件付きの前景モデルである場合、ステップS16で検出される、遷移確率の平均エントロピーが最小の仮定モデルを用いて、式1の観測尤度pが、対象モデルの更新に用いる観測尤度pとして求められる。ステップS18では、モデル更新部24は、ステップS17で求めた対象モデルの更新に用いる観測尤度pを用いて、対象モデルの前向き確率αt、及び、後ろ向き確率βtを求め、処理は、ステップS19に進む。ステップS19では、モデル更新部24は、ステップS18で求めた前向き確率αt、及び、後ろ向き確率βt等を用いて、対象モデルの初期状態確率πiを更新する。さらに、ステップS19では、モデル更新部24は、ステップS18で求めた前向き確率αt、及び、後ろ向き確率βt等を用いて、対象モデルの遷移確率aij又はaijを更新し、必要に応じて、その遷移確率aijの更新演算の途中結果を、データ記憶部21に記憶上書きさせて、処理は、ステップS20に進む。なお、対象モデルが、アクション条件付きの前景モデルであり、ステップS17において、遷移確率の平均エントロピーが最小の仮定モデル以下、最小仮定モデルともいうを用いて、式1の観測尤度pが、対象モデルの更新に用いる観測尤度pとして求められている場合、ステップS19では、対象モデルから生成された最小仮定モデルの遷移確率も、対象モデルの遷移確率と同様に同一の値に更新される。ステップS20では、モデル更新部24は、ステップS18で求めた前向き確率αt、及び、後ろ向き確率βt等を用いて、対象モデルの前景見えモデルbfgを更新し、必要に応じて、その前景見えモデルbfgの更新演算の途中結果を、データ記憶部21に記憶上書きさせて、処理は、ステップS21に進む。ステップS21では、モデル更新部24は、対象モデルの更新後の分離学習モデルにおいて、学習データが観測される尤度Lを計算し、その尤度Lが収束したかどうかを判定する。ここで、対象モデルの更新後の分離学習モデルにおいて、学習データが観測される尤度Lは、例えば、式26に従って求めることができる。26なお、式26のTは、ステップS13でデータ記憶部21に記憶された学習データの系列長を表す。対象モデルが、アクション条件なしの前景モデルである場合、式26の尤度Lは、系列長がTの学習データに含まれる画像の観測値O=o1o2OTを用いて求められる式2の前向き確率αtを用いて計算される。また、対象モデルが、アクション条件付きの前景モデルである場合、式26の尤度Lは、系列長がTの学習データに含まれる画像の観測値O=o1o2OT、及び、アクション系列U=u0u1UT1を用いて求められる式11の前向き確率αtを用いて計算される。ここで、対象モデルについて、ステップS21で求められる最新の尤度Lを、Lnewと表すとともに、ステップS21で求められた前回の尤度Lを、Loldと表すこととすると、ステップS21では、最新の尤度Lnewの、前回の尤度Loldに対する増分LnewLoldが、所定の閾値ε未満以下であるかどうかによって、尤度Lが収束したかどうかが判定される。すなわち、尤度の増分LnewLoldが、所定の閾値ε未満である場合に、尤度Lが収束したと判定される。なお、前回の尤度としての変数Loldは、対象モデルの最初のパラメータの更新時に、十分に小さな負の値で初期化される。ステップS21において、尤度Lが収束していないと判定された場合、処理は、ステップS17に戻り、以下、同様の処理が繰り返される。また、ステップS21において、尤度Lが収束したと判定された場合、処理は、ステップS22に進み、モデル更新部24は、分離学習モデルが有する前景モデルのパラメータのすべての更新が終了したかどうかを判定する。ステップS22において、分離学習モデルが有する前景モデルのすべての更新が、まだ終了していないと判定された場合、処理は、ステップS23に進み、割引処理部23は、データ記憶部21に記憶された学習データに含まれる画像の観測値Oの割引処理を行う。そして、処理は、ステップS23からステップS14に戻り、モデル更新部24は、優先順位設定部22が設定した優先順位に従って、対象モデルとなる前景モデルを新たに選択し、以下、同様の処理が繰り返される。また、ステップS22において、分離学習モデルが有する前景モデルのすべての更新が終了したと判定された場合、処理は、ステップS24に進み、モデル更新部24は、ステップS18で求めた各前景モデルの前向き確率αt、及び、後ろ向き確率βt等を用いて、分離学習モデルの背景見えモデルbworldを更新し、必要に応じて、その背景見えモデルbworldの更新演算の途中結果を、データ記憶部21に記憶上書きさせて、処理は、ステップS25に進む。ステップS25では、データ取得部12が、バッファ11に記憶された学習データをすべて取得した学習データが終了したかどうかを判定する。ステップS25において、バッファ11に記憶された学習データのすべてを、まだ取得していないと判定された場合、処理は、ステップS13に戻り、以下、同様の処理が繰り返される。また、ステップS25において、バッファ11に記憶された学習データのすべてを取得したと判定された場合、処理は終了する。なお、ステップS19,S20、及び、S24において、データ記憶部21に記憶された更新演算の途中結果は、追加学習であるステップS13ないしS25のループの処理において、次の学習データを用いた更新演算を行うときに用いられる。ここで、図12において、ステップS16で、最小エントロピー検出処理を行い、ステップS17で、遷移確率の平均エントロピーが最小の仮定モデルを用いて、対象モデルの更新に用いる観測尤度pを求め、その後、その観測尤度pを用いて、対象モデルのパラメータの更新を行うことが、第5章で説明した切り替え促進処理に相当する。また、図12において、ステップS12で優先順位を設定し、ステップS23で割引処理を行うことが、第4章で説明した排他制約処理に相当する。図13は、図12のステップS16で行われる最小エントロピー検出処理を説明するフローチャートである。ステップS31において、モデル更新部24は、分離学習モデルが有する1以上の前景モデルから、注目する注目モデルに選択していない前景モデルの1つを、注目モデルに選択し、処理は、ステップS32に進む。ステップS32では、モデル更新部24は、対象モデルの前景見えモデルとして、注目モデルの前景見えモデルを採用した仮定モデルを生成し、処理は、ステップS32に進む。すなわち、モデル更新部24は、例えば、対象モデルのコピーしたコピーモデルを生成し、そのコピーモデルの前景見えモデルを、注目モデルの前景見えモデルに置換することで、仮定モデルを生成する。ステップS33では、モデル更新部24は、データ記憶部21に記憶された学習データを用いて、仮定モデルの観測尤度pを求め、処理は、ステップS34に進む。ステップS34では、モデル更新部24は、仮定モデルの観測尤度pを用いて、事後確率としての前向き確率αt及び後ろ向き確率βtを求め、処理は、ステップS35に進む。ステップS35では、モデル更新部24は、ステップS34で求めた前向き確率αt、及び、後ろ向き確率βt等を用いて、仮定モデルの遷移確率aij又はaijを更新し、処理は、ステップS36に進む。ステップS36では、エントロピー計算部25が、ステップS35で遷移確率が更新された仮定モデル更新後の仮定モデルの遷移確率の平均エントロピーHmeanを求め、処理は、ステップS37に進む。ステップS37では、モデル更新部24は、分離学習モデルが有する前景モデルのすべてを、注目モデルとしたかどうかを判定する。ステップS37において、分離学習モデルが有する前景モデルのすべてを、まだ、注目モデルとしていないと判定された場合、処理は、ステップS31に戻り、以下、同様の処理が繰り返される。また、ステップS37において、分離学習モデルが有する前景モデルのすべてを、注目モデルとしたと判定された場合、処理は、ステップS38に進み、エントロピー計算部25は、対象モデルの前景見えモデルとして、分離学習モデルが有する1以上の前景モデルの前景見えモデルそれぞれを採用した仮定モデルの中で、遷移確率のエントロピーHmeanが最小の仮定モデルを、最小仮定モデルとして検出し、処理は、リターンする。[シミュレーション]以下、本件発明者が、本技術について行ったシミュレーションについて説明する。図14は、シミュレーションの環境設定を示す図である。シミュレーションでは、2次元平面上に、手先に矩形のハンドがついた1つのアームと、操作対象としての矩形の1つの物体とがあり、図中点線で囲まれた矩形の視野の範囲の画像が観測値Oとして得られる環境設定を想定した。なお、ハンドと視野は、上下左右の4方向に移動し、物体も、ハンドとの干渉接触によって4方向に移動する。図15は、シミュレーションで用いた画像を示す図である。シミュレーションでは、2値のビットマップ画像によって、背景と前景の見えテクスチャを表現した。図15Aは、環境全体の画像を示しており、図15Bは、エージェントの視野の範囲の画像、すなわち、観測値Oとして用いられる画像を示している。図15Aには、環境全体の画像とともに、ハンド、物体、及び、視野それぞれの領域が示されている。図15Bの観測値Oとしての画像は、図15Aの視野の範囲の画像である。シミュレーションでは、ハンド、物体、及び、視野それぞれの領域は、1ステップ1時刻ごとに、1画素だけ、上下左右のうちのいずれか一方向に移動することができることとした。そして、シミュレーションでは、1ステップごとの視野の範囲の画像を、学習データとしての観測値Oとして用いた。図16は、シミュレーションに用いたシミュレータと分離学習モデルとを示す図である。シミュレータは、図14で説明した環境設定を仮想的に生成する。すなわち、シミュレータは、ハンドの画像である前景1、物体の画像である前景2、及び、背景の画像を記憶している。また、シミュレータは、ハンドに対して、アクションU1を与えることによって、ハンドの画像である前景1を移動させる。さらに、シミュレータは、物体に対して、ハンドの、物体に対する干渉に対応するアクションU2を与えることによって、物体の画像である前景2を移動させる。そして、シミュレータは、前景1及び2を、背景に重ね合わせ、その、前景1及び2が重ね合わされた背景から、エージェントの視野の視野領域Rを切り出すことによって、エージェントが観測する画像の観測値Oを生成する。分離学習モデルは、2つの前景モデル1及び2と、背景モデルとを有する。前景モデル1は、アクション条件付きの前景モデルであり、アクション条件付きのHMMの遷移確率aij1、及び、前景見えモデルbfg1を有する。前景モデル2は、アクション条件なしの前景モデルであり、アクション条件なしのHMMの遷移確率aij2、及び、前景見えモデルbfg2を有する。背景モデルは、背景見えモデルbworldを有する。なお、前景モデル1及び2は、さらに、初期状態確率πiを有するが、図16では、初期状態確率πiの図示は、省略してある。シミュレーションでは、アクション条件付きの前景モデルである前景モデル1に対して、シミュレータから、アクションU1を、学習データとして与えるとともに、前景モデル1及び2、並びに、背景モデルに対して、シミュレータから、画像の観測値Oと視野領域Rを、学習データとして与えた。なお、シミュレーションにおいて、ハンドに与えられるアクションU1は、エージェントがハンドに与える、エージェントにとって既知のアクションであるため、学習データとして用いられるが、ハンドの、物体に対する干渉に対応するアクションU2は、エージェントにとって未知のアクションであるため、学習データとしては、用いられない。以上のように、シミュレーションでは、アクションU1、画像の観測値O、及び、視野領域Rを、学習データとして、分離学習モデルに与え、遷移確率aij1、及び、前景見えモデルbfg1、遷移確率aij2、及び、前景見えモデルbfg2、並びに、背景見えモデルbworldの5つのパラメータを推定した。図17、及び、図18は、シミュレーションの結果を示す図である。図17Aは、学習の回数に対する前景モデル1の尤度の変化を示す図である。図17Aにおいて、横軸は、学習の回数学習回数を示しており、縦軸は、前景モデル1の尤度を示している。なお、図17では、学習回数Cが200回で、分離学習モデルの学習が終了している。図17Aでは図17Bでも同様、丸印は、TCの長さ分の学習データを用いて、学習を行い、分離学習モデルの尤度L式26が収束したときの、前景モデル1の尤度を示している。図17Aでは図17Bでも同様、前景モデル1の尤度が、学習回数Cごとに上下していることが確認される。これは、学習回数Cごとに、学習に用いられる学習データが異なり、さらに、未学習の領域まだ、画像の観測値Oを観測したことがない領域の観測値Oが学習データとして与えられたときに、前景モデル1の尤度が低下するためである。図17Aにおいて図17Bでも同様、星印は、5回分の尤度の移動平均を示している。シミュレーションでは、学習回数Cが40回程度で、アクション付き前景であるハンドの前景1が、アクション条件付きの前景モデルである前景モデル1の前景見えモデルbfg1で学習されるとともに、アクションなし前景である物体の前景2が、アクション条件なしの前景モデルである前景モデル2の前景見えモデルbfg2で学習された。そのため、尤度の移動平均は、学習回数Cが40回程度までは、減少する傾向にあるが、それ以降は、増加する傾向にある。図17Bは、学習回数Cに対する前景モデル2の尤度の変化を示す図である。前景モデル2の尤度も、図17Aの前景モデル1の尤度と同様の傾向がある。図17Cは、学習回数Cに対する平均エントロピーの差分値の変化を示す図である。図17Cにおいて、横軸は、学習回数Cを示しており、縦軸は、平均エントロピーの差分値を示している。ここで、平均エントロピーの差分値とは、アクション条件付きの前景モデルである前景モデル1の前景見えモデルとして、その前景モデル1の前景見えモデルbfg1を採用したと仮定した第1の仮定モデルと、前景モデル2の前景見えモデルbfg2を採用したと仮定した第2の仮定モデルとを、学習データを用いて更新し、更新後の第1の仮定モデルの遷移確率の平均エントロピーHmean1と、更新後の第2の仮定モデルの遷移確率の平均エントロピーHmean2との差分Hmean1Hmean2である。切り替え促進処理により、差分Hmean1Hmean2が0以上であれば、アクション条件付きの前景モデルである前景モデル1の観測尤度として、その前景モデル1の観測尤度が求められ、差分Hmean1Hmean2が負であれば、アクション条件付きの前景モデルである前景モデル1の観測尤度として、前景モデル2の前景見えモデルbfg2が採用された第2の仮定モデルの観測尤度が求められる。図17Dは、前景見えモデルの、シミュレータが記憶している前景に対する誤差の変化を示す図である。図17Dにおいて、横軸は、学習回数Cを示しており、縦軸は、前景見えモデルの誤差を示している。すなわち、図17Dにおいて、実線は、前景見えモデルbfg1の、ハンドの前景1に対する誤差を示しており、点線は、前景見えモデルbfg2の、物体の前景2に対する誤差を示している。前景見えモデルbfg1の誤差、及び、前景見えモデルbfg2の誤差は、いずれも、学習回数Cが40回程度になったときに、0に近づいており、したがって、前景見えモデルbfg1において、ハンドの見えとしての前景1が獲得され、前景見えモデルbfg2において、物体の見えとしての前景2が獲得されたことを確認することができる。図18は、前景見えモデルbfg1、及び、前景見えモデルbfg2の変化を示す図である。すなわち、図18は、4回目から44回目までの学習回数Cのうちの、4回ごとの学習回数の前景見えモデルbfg1、及び、前景見えモデルbfg2を示している。学習の初期の段階では、前景見えモデルbfg1が、物体の前景2を学習して獲得している。前景見えモデルbfg1が、物体の前景2を獲得したために、排他制約処理の機能が働き、前景見えモデルbfg2は、ハンドの前景1を学習し、学習回数Cが20回程度のときに、ハンドの前景1を獲得している。また、同時に、切り替え促進処理の機能が働き、アクション条件付きの前景モデルである前景モデル1において、アクションなし前景である物体の前景2ではなく、アクション付き前景であるハンドの前景1を学習するように、前景モデル1が学習の対象とする前景を切り替えることが促され、その結果、学習回数Cが28回程度のときに、物体の前景2を獲得した前景見えモデルbfg1が、一旦、破壊されている。その後、学習回数Cが40回程度のときに、前景見えモデルbfg1が、ハンドの前景1を獲得し、前景見えモデルbfg2は、排他制約処理の機能が働くことによって、物体の前景2を獲得している。以上のように、本技術では、学習認識対象の運動移動、及び、エージェントの視点の運動移動を考慮に入れ、観測される画像を生成する生成モデルとして、画像を記述する分離学習モデルを用意し、画像の観測系列を説明するモデルパラメータを、最尤推定のアプローチで推定することにより、あらかじめ学習認識対象の外見に関する事前知識を持ったり、学習認識対象にマーキングをしたりしなくとも、画像の観測系列から、学習認識対象の分離学習モデルを学習によって獲得することができ、学習後には、対象物体の認識ができるようになる。また、本技術では、分離学習モデルは、エージェントの視点の運動移動による背景の変化を考慮に入れたモデルとなっているので、エージェントの視点が運動することで、背景が移動しても学習や認識は影響を受けない。さらに、本技術では、ハンドを移動させるアクション系列で条件付けしたモデル化を行い、その最尤推定を実行することで、ハンドの外見見えに関するモデルを指定しなくとも、エージェントのハンドの観測モデル前景見えモデルが自動的にモデル化される。また、本技術では、ハンドの位置を認識して特定するとともに、ハンドに対してアクションを与えたときにどのようにハンドの位置が変化するか、という身体モデルを、遷移確率として学習によって獲得するので、カメラや、ハンドの幾何的条件が変化しても、追加学習によって、適応的に追従することができる。[本技術を適用したコンピュータの説明]次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。そこで、図19は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。あるいはまた、プログラムは、リムーバブル記録媒体111に格納記録しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CDROM,MOディスク,DVD、磁気ディスク、半導体メモリ等がある。なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。コンピュータは、CPU102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM104にロードして実行する。これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCDやスピーカ等で構成される。ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理例えば、並列処理あるいはオブジェクトによる処理も含む。また、プログラムは、1のコンピュータプロセッサにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。すなわち、エージェントとしては、現実のロボットの他、ゲームのキャラクタ等の仮想的なキャラクタを採用することができる。また、カメラ1図11は、必ずしも、エージェントに搭載されている必要はない。なお、本技術は、以下のような構成も取ることができる。[1]画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習を、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行う学習部を備える情報処理装置。[2]前記学習部は、前記画像の観測値と、前記分離学習モデルにおいて観測される観測値との差に対応する値を、前記分離学習モデルにおいて前記画像の観測値が観測される観測尤度として求め、前記観測尤度、及び、前記遷移確率を用いて、前向き確率と後ろ向き確率とを求め、BaumWelchアルゴリズムに従い、前記前向き確率、前記後ろ向き確率、及び、前記観測尤度を用いて、前記遷移確率を更新するとともに、前記前向き確率、前記後ろ向き確率、及び、前記画像の観測値を用いて、前記前景見えモデルと前記背景見えモデルとを更新し、前記前景見えモデルの更新では、前記画像の観測値のうちの、前記状態に対応する位置における、あらかじめ定められた前景サイズの領域の観測値を用い、前記背景見えモデルの更新では、前記状態に対応する位置における前記前景サイズの領域の観測値を0にした前記画像の観測値を用いる[1]に記載の情報処理装置。[3]前記分離学習モデルは、複数の前景モデルを有し、前記学習部は、前記複数の前景モデルを、学習対象の対象モデルに、順次選択して、前記対象モデルの前記遷移確率、及び、前記前景見えモデルを更新し、その後、前記背景見えモデルを更新する[2]に記載の情報処理装置。[4]前記学習部は、前記画像の観測値から、前記対象モデルの前記前景見えモデルの更新に用いられた分の観測値を割り引く割引処理を行い、次の対象モデルの更新を、前記割引処理後の前記画像の観測値を用いて行う[3]に記載の情報処理装置。[5]前記複数の前景モデルとして、前記アクションごとの遷移確率と、前記前景見えモデルとを有するアクション条件付きの前景モデルと、前記アクションに無関係の遷移確率と、前記前景見えモデルとを有するアクション条件なしの前景モデルとが混在し、前記学習部は、前記アクション条件付きの前景モデルを、前記アクション条件なしの前景モデルより優先的に、前記対象モデルに選択し、前記対象モデルに選択された前記アクション条件付きの前景モデルの前記前景見えモデルとして、前記複数の前景モデルの前記前景見えモデルをそれぞれ採用したと仮定した仮定モデルを、前記画像の観測値を用いて更新し、更新後の仮定モデルのうちの、前記遷移確率のエントロピーが最小の仮定モデルを用いて、前記観測尤度を求め、前記観測尤度を用いて、前記対象モデルの前記遷移確率、及び、前記前景見えモデルを更新する[3]又は[4]に記載の情報処理装置。[6]前記画像の観測値は、前記画像のうちの既知の視野の視野領域の観測値であり、前記学習部は、前記前景モデルの前記遷移確率の更新を、前記前景サイズの領域全体が前記視野領域に含まれる前記状態からの前記遷移確率のみを対象として行い、前記前景モデルの前記前景見えモデルと、前記背景モデルの前記背景見えモデルとの更新を、前記前景サイズの領域全体が前記視野領域に含まれる前記状態についての前記前向き確率、及び、前記後ろ向き確率を用いて行う[2]ないし[5]のいずれかに記載の情報処理装置。[7]前記学習部は、前記学習データを用いて、前記分離学習モデルのパラメータとしての前記遷移確率、前記前景見えモデル、及び、前記背景見えモデルを更新する更新演算を行うことにより、前記分離学習モデルの学習を行い、前記更新演算の途中結果を記憶し、次の学習データと、前記更新演算の途中結果とを用いて、前記分離学習モデルのパラメータを更新する更新演算を行うことにより、前記分離学習モデルの追加学習を行う[1]ないし[6]のいずれかに記載の情報処理装置。[8]画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習を、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行うステップを含む情報処理方法。[9]画像の背景のモデルである背景モデルと、前記背景上を移動可能な、前記画像の前景のモデルである1以上の前景モデルとを有し、前記背景モデルは、前記背景の見えを表す背景見えモデルを有し、前記1以上の前景モデルのうちの少なくとも1つは、前記前景に対応する物体が行うアクションによって、前記背景上の前記前景の位置に対応する状態が遷移する、前記アクションごとの遷移確率と、前記前景の見えを表す前景見えモデルとを有する分離学習モデルの学習を、前記物体が行うアクションと前記画像の観測値とを学習データとして用いて行う学習部として、コンピュータを機能させるためのプログラム。"