(57)【要約】【課題】色の情報を用いて特定部位の追跡処理を行うのにあたり、これまでよりも高度でより高い信頼性による追跡処理が行える。【解決手段】追跡対象物は、２以上の属性により形成されるものとして扱う。そのうえで、属性ごとに対応して色空間変換部、モデル生成部、及び個別尤度算出手段を設ける。色空間変換部は、入力画像データを、対応する属性に適合するものとして採用された色空間に変換し、モデル生成部は、色空間変換後の画像データによりモデルを生成する。個別尤度算出部は、対応する色空間変換部からの画像データと対応するモデルとに基づいて個別尤度を求める。尤度統合部は、これら個別尤度から、統合された尤度を求める。【選択図】図１
2010113514.tif 000002
【特許請求の範囲】
【請求項１】
処理対象物を形成する第１〜第Ｎの属性ごとに対応して設けられ、入力される画像データの色空間を、対応する属性に適合するものとして採用した色空間に変換する第１〜第Ｎの色空間変換手段と、
上記第１〜第Ｎの属性ごとに対応して設けられ、対応する色空間変換手段が採用した色空間による、対応する属性に該当する画像データについての確率分布のモデルを生成する第１〜第Ｎのモデル生成手段と、
上記第１〜第Ｎの色空間変換手段ごとに対応して設けられ、処理対象物の検出の際に、対応する色空間変換手段により色空間が変換された画像データと、対応するモデル生成手段が生成したモデルとに基づいて、対応する属性であることについての尤度である個別尤度を求める第１〜第Ｎの個別尤度算出手段と、
処理対象物の検出の際に、上記第１〜第Ｎの個別尤度算出手段により求められたＮ個の尤度に基づいて、上記処理対象物についての尤度を求める尤度統合手段と、
を備える情報処理装置。
【請求項２】
上記第１〜第Ｎのモデル生成手段は、
初期化の際に、対応する属性に該当する画像データとして、対応する色空間変換手段により色空間が変換された画像データに基づいて上記モデルを生成する、
請求項１に記載の情報処理装置。
【請求項３】
上記尤度統合手段は、第１〜第Ｎの個別尤度算出手段により求められたＮ個の尤度のうちから最大値を、上記処理対象物についての尤度とする、
請求項１又は請求項２に記載の情報処理装置。
【請求項４】
上記尤度統合手段は、第１〜第Ｎの個別尤度算出手段により求められたＮ個の尤度についての重み付け平均値を、上記処理対象物についての尤度とする、
請求項１又は請求項２に記載の情報処理装置。
【請求項５】
処理対象物を形成する第１〜第Ｎの属性ごとに対応して設けられ、入力される画像データの色空間を、対応する属性に適合するものとして採用した色空間に変換する第１〜第Ｎの色空間変換手順と、
上記第１〜第Ｎの属性ごとに対応するもので、対応する色空間変換手順が採用した色空間による、対応する属性に該当する画像データについての確率分布のモデルを生成する第１〜第Ｎのモデル生成手順と、
上記第１〜第Ｎの色空間変換手順ごとに対応するもので、処理対象物の検出の際に、対応する色空間変換手順により色空間が変換された画像データと、対応するモデル生成手段が生成したモデルとに基づいて、対応する属性であることについての尤度である個別尤度を求める第１〜第Ｎの個別尤度算出手順と、
処理対象物の検出の際に、上記第１〜第Ｎの個別尤度算出手順により求められたＮ個の尤度に基づいて、上記処理対象物についての尤度を求める尤度統合手順と、
を実行する情報処理方法。
【請求項６】
処理対象物を形成する第１〜第Ｎの属性ごとに対応して設けられ、入力される画像データの色空間を、対応する属性に適合するものとして採用した色空間に変換する第１〜第Ｎの色空間変換手順と、
上記第１〜第Ｎの属性ごとに対応するもので、対応する色空間変換手順が採用した色空間による、対応する属性に該当する画像データについての確率分布のモデルを生成する第１〜第Ｎのモデル生成手順と、
上記第１〜第Ｎの色空間変換手順ごとに対応するもので、処理対象物の検出の際に、対応する色空間変換手順により色空間が変換された画像データと、対応するモデル生成手段が生成したモデルとに基づいて、対応する属性であることについての尤度である個別尤度を求める第１〜第Ｎの個別尤度算出手順と、
処理対象物の検出の際に、上記第１〜第Ｎの個別尤度算出手順により求められたＮ個の尤度に基づいて、上記処理対象物についての尤度を求める尤度統合手順と、
を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の物体（部位）を対象とした物体検出・追跡などの処理を行う情報処理装置と、その方法に関する。また、このような情報処理装置が実行するプログラムに関する。
【背景技術】
【０００２】
非特許文献１には、例えば人の顔などの特定の物体（部位）をリアルタイムに追跡するのにあたり、肌の色に着目したうえで、Normalized rgといわれる色空間により肌色を表現することで、良好なガウシアン分布が得られることが記載されている。
【０００３】
【非特許文献１】. J. Yang and A. Waibel. “A Real-Time Face Tracker”. In Proc. of IEEE Workshop on Applications of Computer Vision (WACV '96), pp. 146?152, 1996
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本願発明としても、色の情報を用いて特定の物体についての検出・追跡等の処理を行おうとするものであり、その際において、これまでよりも高度でより高い信頼性による物体の検出・追跡処理を可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
そこで本発明は上記した課題を考慮して、情報処理装置として次のように構成することとした。
つまり、処理対象物を形成する第１〜第Ｎの属性ごとに対応して設けられ、入力される画像データの色空間を、対応する属性に適合するものとして採用した色空間に変換する第１〜第Ｎの色空間変換手段と、上記第１〜第Ｎの属性ごとに対応して設けられ、対応する色空間変換手段が採用した色空間による、対応する属性に該当する画像データについての確率分布のモデルを生成する第１〜第Ｎのモデル生成手段と、上記第１〜第Ｎの色空間変換手段ごとに対応して設けられ、処理対象物の検出の際に、対応する色空間変換手段により色空間が変換された画像データと、対応するモデル生成手段が生成したモデルとに基づいて、対応する属性であることについての尤度である個別尤度を求める第１〜第Ｎの個別尤度算出手段と、処理対象物の検出の際に、上記第１〜第Ｎの個別尤度算出手段により求められたＮ個の尤度に基づいて、上記処理対象物についての尤度を求める尤度統合手段とを備えることとした。
【０００６】
上記構成では、処理対象物は、第１〜第ＮによるＮ個の属性により形成されるものとして扱う。そのうえで、第１〜第Ｎの属性ごとに対応して第１〜第Ｎの色空間変換手段、第１〜第Ｎのモデル生成手段、及び第１〜第Ｎの個別尤度算出手段が備えられる。１つの色空間変換手段は、入力画像データを、対応する属性に適合するものとして採用された色空間に変換して出力し、対応するモデル生成手段は、対応する色空間変換手段が採用した色空間による、対応する属性の画像データに基づいてモデルを生成する。そして、第１〜第Ｎの個別尤度算出手段は、対応する色空間変換手段により得られる画像データと対応するモデルとに基づいて、対応する属性についての個別尤度を求める。尤度統合手段は、これらＮ個の個別尤度から処理対象物についての尤度を求める。
このような構成では、まずは、属性ごとの尤度である個別尤度が求められるが、これらの個別尤度は、属性ごとに適合する色空間の環境の下で求められるので、例えば単一の色空間の環境により求める場合よりも精度が高い。従って、尤度統合手段により求められる処理対象物の尤度としても高い精度が得られることになる。
また、このことは、処理対象物が複数の異なる属性から成る場合であっても、処理対象物自体を高い精度で検出できることを意味する。
【発明の効果】
【０００７】
このようにして、本発明によっては、これまでよりも高度、かつ高い信頼性により、特定部位の検出・追跡を行うことが可能になる。
【発明を実施するための最良の形態】
【０００８】
以下、本願発明を実施するための最良の形態（以下、実施形態という）について、下記の順により説明する。
＜１．システム構成＞
＜２．初期化処理例＞
［２−１．セグメンテーション］
［２−２．モデル生成処理］
＜３．検出処理例＞
＜４．コンピュータ装置の構成例＞
【０００９】
＜１．システム構成＞
図１は、本実施形態としての情報処理装置である追跡処理システムの構成例を示すブロック図である。この追跡処理システムは、例えば人体などにおける特定部位を追跡可能なように本願発明を適用した構成である。
本実施形態の追跡処理システムは、図示するようにして、第１〜第Ｎ色空間変換部１１−１〜１１−Ｎ、第１〜第Ｎモデル生成部１２−１〜１２−Ｎ、第１〜第Ｎ個別尤度算出部１３−１〜１３−Ｎ、及び尤度統合部１４から成る。
【００１０】
第１〜第Ｎ色空間変換部１１−１〜１１−Ｎは、それぞれ、画像データを画素データ単位で入力する。第１〜第Ｎ色空間部１１−１〜１１−Ｎに入力される画素の色の情報は、予め定められた特定の色空間（表色系）により表現されるものとなっている。
そのうえで、第１色空間変換部１１−１は、入力された画素の色情報について、第１色空間（表色系）として割り当てられた所定の色空間による情報に変換する処理を実行する。
同様にして、第２〜第Ｎ色空間変換部１１−２〜１１−Ｎも、それぞれが、第２色空間〜第Ｎ色空間として割り当てられた所定の色空間による情報に変換する処理を実行する。
【００１１】
第１色空間変換部１１−１にて色空間が変換された画素データは、第１モデル生成部１２−１と第１個別尤度算出部１３−１が利用する。
同様に、第２色空間変換部１１−２〜第Ｎ色空間変換部１１−Ｎにて色空間が変換された画素のデータは、それぞれ、第１〜第Ｎモデル生成部１２−２〜１２−Ｎ、及び第２個別尤度算出部１３−２〜第Ｎ個別尤度算出部１３−Ｎが利用する。
【００１２】
第１モデル生成部１２−１は、初期設定時において、第１色空間変換部１１−１から出力される画素のデータを利用して、第１色空間に対応する特定の属性についてのモデルを生成して保持する。
同様に、第２モデル生成部１２−２〜第Ｎモデル生成部１２−Ｎは、それぞれ、初期設定時において、第２色空間変換部１１−１〜第Ｎ色空間変換部１１−Ｎから出力される画素のデータを利用して、第２〜第Ｎ色空間に対応する特定の属性についてのモデルを生成して保持する。
【００１３】
なお、上記属性は、追跡対象とする部位などの条件により異なってくるが、後述もするようにして、追跡対象を人の頭部とした場合には、例えば頭髪、肌を、それぞれ属性として採用できる。
つまり、ここでの属性とは、追跡対象(処理対象物)となる部位を構成する要素として、それぞれが異なる物理的な特徴を有するもののうちから、個別的な追跡対象として選択したものをいう。
【００１４】
また、第１〜第Ｎモデル生成部１２−１〜１２−Ｎにより生成されるモデルは、ガウシアン分布などに代表される確率分布として得ることができる。ただし、本実施形態としては、必ずしも、モデルをガウシアン分布により求めることのみに限定されるべきではない。
【００１５】
第１個別尤度算出部１３−１は、初期設定後の検出処理において動作するもので、第１色空間変換部１１−１から入力した画素データごとに、第１モデル生成部１２−１が保持しているモデルを利用して、対応する属性についての尤度を求める。
同様に、第２〜第Ｎ個別尤度算出部１３−２〜１３−Ｎは、それぞれ、初期設定後の検出処理において、第１〜第Ｎ色空間変換部１１−１〜１１−Ｎから出力される画素データについて、それぞれ、第２モデル生成部１２−１〜第Ｎモデル生成部１２−Ｎが保持している各モデルを利用して、対応する属性についての尤度を求める。
【００１６】
なお、検出処理においては、第１〜第Ｎ色空間変換部１１−１〜１１−Ｎは、１つの同じ画素データを入力し、それぞれが、対応する色空間による画素データとして出力する。そして、第１〜第Ｎ個別尤度算出部１３−１〜１３−Ｎは、それぞれ、同時的に、１つの同じ画素データについての尤度を算出する。
【００１７】
また、第１〜第Ｎ個別尤度算出部１３−１〜１３−Ｎのそれぞれにより求められる尤度は、対応する属性ごとに個別に求められるものとなるので、「個別尤度」といい、次の尤度統合部１４により求められる尤度と区別する。
【００１８】
尤度統合部１４は、初期設定後の検出処理において、第１〜第Ｎ尤度算出部により求められた画素データごとの個別尤度を入力する。そして、尤度統合のための所定のアルゴリズムに従って、入力したこれらの個別尤度に基づき、同じ１つの画素データに対応する最終的な１つの尤度（統合尤度）を求める。
【００１９】
ここでは図示していないが、追跡処理のアルゴリズムにおいては、尤度統合部１４により求められた１フレーム分の画素データごとの尤度に基づいて、追跡対象となる特定部位の推定結果を得るという処理が実行される。例えば、この推定処理を、フレーム画像周期に対応して繰り返し実行することで、結果的に、特定部位の追跡が実現する。
【００２０】
＜２．初期化処理例＞
［２−１．セグメンテーション］
上記図１に示した本実施形態の追跡処理システムでは、追跡処理のための尤度を検出するのにあたり、初期化を行っておく必要がある。この初期化によっては、前述もしたように、第１〜第Ｎモデル生成部１２−１〜１２−Ｎごとにおいてモデルが生成され、保持される。
【００２１】
本実施形態の追跡処理システムの初期化処理例について、追跡対象となる部位を人の頭部とした場合を挙げて説明する。
初期化処理にあたっては、初期化処理用に１フレーム相当の静止画像データ（初期化用画像データ）を用意する。この初期化用画像データとしての画像例を図２に示す。
頭部追跡のための初期化用画像データとしては、例えば図２に示されるように、画枠１００内において１つの人の頭部が存在している画像内容を有するものを用意する。
なお、画枠１００は、１フレーム分画像データにより再現される画像領域全体に対応し、所定の水平×垂直画素数から成るものとしてみることができる。図２においては、画枠内においてマトリクス状に配置される四角形のマスにより、個々の画素を模式的に示している。ただし、ここで示されている水平×垂直画素数はあくまでも模式的なものであって、実際とは異なるものとされてよい。
【００２２】
この初期化処理用画像データについては、先ず、セグメンテーションという処理を実行する。ここでのセグメンテーションとは、初期化用画像データを形成する画素ごとに、追跡対象となる部位を形成する属性に対応させる処理をいう。
【００２３】
人の頭部に関すれば、これを形成するとされる属性としては、頭髪、顔部分の肌、目、口などの部位を候補として挙げることができる。本実施形態としては、頭部の属性として、上記しているもののうちから、頭髪、肌の２種を採用することとしている。
例えば、頭部を頭髪、肌、目、口から成るとして考えた場合、頭部及び肌から成る部位により頭部のほとんどが占められるということがいえる。このことから、これら２つの部位を属性として採用すれば、頭部追跡を充分に実現できるといえる。ちなみに、この点については、本願発明者等が既に確認を行っている。
なお、目、口なども加えて採用すれば、より信頼性の高い追跡処理結果を期待はできるが、これに伴っては処理が重くなるという問題がでてくる。属性として、頭髪、肌の２つのみを採用すれば、軽い処理で充分な追跡処理性能が得られる。
【００２４】
そして、セグメンテーションとしては、例えば図２に示されるようにして、模式的には画枠１００を形成する画素のうちから、頭髪の画像部分に属しているとされる画素（頭髪対応画素）、顔の肌に対応する画素部分としてみなされる画素（肌対応画素）を選別して登録する処理を行う。図２においては、頭髪対応画素の集合部分を頭髪対応画素群１０１として、肌対応画素の集合部分を肌対応画素群１０２として、破線により括って示している。
【００２５】
図３のフローチャートは、セグメンテーションの処理手順例を示している。なお、この図に示す処理は、図１に示した追跡処理システムとは異なる処理として、例えば情報処理装置が実行する。また、この図においては、セグメンテーションについて一般化した手順を示している。上記図２に示した頭部の追跡処理も、この図３の処理が適用される。
【００２６】
図３においては、先ず、ステップＳ１０１により初期化用画像データを取り込んで取得する。
次のステップＳ１０２は、属性ごとに付すべき１からの昇順による番号を示す変数ｎ（１以上の自然数）について、初期設定として１を代入して設定する。以降、属性を番号ｎにより記述する際には「第ｎ属性」のようにして表記する。
【００２７】
図２との対応では、属性は頭髪と肌との２つなので、ｎは１，２を取り得ることになる。そのうえで、ここでは、第１属性を頭髪に割り当て、第２属性を肌に割り当てるものとする。
【００２８】
ステップＳ１０３においては、ステップＳ１０１にて取り込んだ初期化用画像データを形成する画素のうちから、第ｎ属性としての画像部分に属しているとする画素を登録する。
【００２９】
ステップＳ１０４では、採用された全ての属性に対応した画素の登録を完了したか否かを判定する。未だ登録を完了していない属性が残っているとして否定の判別結果が得られた場合には、ステップＳ１０５により変数ｎをインクリメントしてステップＳ１０３の処理を実行する。つまり、次の番号の属性に対応した画素の登録処理を実行する。そして、全ての属性に対応した画素の登録が完了したことでステップＳ１０４にて肯定の判別結果が得られると、セグメンテーションの処理が完了したことになる。
【００３０】
上記図３のセグメンテーションの処理を、図２の初期化用画像データに対応させた場合には、例えば次のようになる。なお、ここでは図３の処理は、セグメンテーションのためのプログラム（アプリケーション）が起動されている環境で、操作者が行ったとされる操作に応じて実行される処理としてあつかうものとする。
【００３１】
例えば、操作者は、例えば図２の画内容を有する静止画像データである初期化用画像データをセグメンテーションのアプリケーションに取り込むための操作を実行する。これに応じてステップＳ１０１の処理が実行される。
次に、操作者は、第１属性(ｎ＝1)として割り当てられた頭髪の属性に対応した操作として、頭髪対応画素群１０１として示す破線で括った領域の画素を、属性１に対応する画素であるとして指定するための操作を行う。この指定操作は、例えば実際に画素単位で指定していくものとしてもよいが、例えば、頭髪対応画素群１０１に対応する画像部分を範囲指定するものとしてもよい。
この操作に応じて、まずは、第１属性に相当する頭髪に対応する画素の指定がおこなわれる。
【００３２】
上記の第１属性に対応した画素の登録が行われた段階では、ステップＳ１０４にて否定の判別結果が得られる。そこで、この場合には、ステップＳ１０５にて変数ｎについて２に変更されたうえで、続いては、２回目のステップＳ１０３により、肌対応画素群１０２として示す破線で括った領域の画素を、第２属性に対応する画素であるとして指定するための操作を行う。
この操作に応じて第２属性に相当する頭髪に対応する画素の指定が行われる。そして、図２の場合には、この段階で全ての属性に対応した画素の登録が完了したことになる。つまり、セグメンテーションの処理が完了する。
【００３３】
図４は、セグメンテーション処理（画素の登録処理）の結果得られた登録データの構造例を示している。また、図５は、登録データについての、図２に対応させた定義内容例を示したものである。
ここで、初期化用画像データを形成する画素については、それぞれの配列位置に応じて所定の規則に従って１〜Ｍの番号が割り振られているものとする。登録データは、この画素ごとの番号１〜Ｍごとに、対応する属性を示す値が対応付けされた構造を有する。
【００３４】
例えば図２との対応として、図５には、登録データにおいて画素番号に対応つけるべき値の定義内容例が示されている。この図では、値として０，１，２が設けられている。１が頭髪（第１属性）を示し、２が肌（第２属性）を示す。０は該当なしを示す。該当なしの０が設定される画素は、例えば、図２においては、画枠１００において、頭髪対応画素群１０１及び肌対応画素群１０２のいずれにも該当しない画素となる。
確認のために述べておくと、値１が対応付けられた画素番号が、１回目のステップＳ１０３により登録された画素に対応し、値２が対応付けられた画素番号が、２回目のステップＳ１０３により登録される画素に対応する。１回目、２回目のステップＳ１０３のいずれによっても登録されなかった画素の番号に対して値０が対応付けられる。
【００３５】
［２−２．モデル生成処理］
初期化として、上記したセグメンテーションにより画素データの登録が行われた後においては、モデル生成を行う。
本実施形態のモデル生成に関連して、図２に対応させた場合の第１〜第Ｎ色空間変換部１１−１〜１１−Ｎについての具体構成例について説明しておく。
【００３６】
前提として、色空間（ここでは表色系と同義で扱う）としては単一ではなく、多くのものが定義、規定されているが、表現可能な色であるとか表現しやすい色などは、色空間ごとに異なっていることが知られている。
例えば本実施形態の頭部追跡処理にあたっては、その属性として、先にも述べたように、大きくは頭髪と肌とに分かれるものといえる。
【００３７】
例えば非特許文献１では、人の「顔」を対象として追跡処理を行うのにあたり、肌（皮膚）の色を利用することを提案している。そのうえで、肌の色の表現にあたっては、Normalized rg（Chromatic Colors (r,g)）が好ましいことが述べられている。
ただし、非特許文献１では、上記した単一の色空間によって肌の色の検出を行うことのみが記載されている。これは、人の顔は、目であるとか口などを除けば、ほとんどの領域が肌としての色を持つ部分であることによる。
【００３８】
しかし、本実施形態の具体例にあるように「頭部」を追跡対象とする場合には、これまでの説明からも分かるように、頭部の形成要素としては、顔に対応する肌の部分だけではなく、頭髪の部分も相当に高い比率で含まれることになる。
このような場合において、例えば、非特許文献１に倣い、Normalized rgのみにより表現される画素の色により頭部全体についての１つのモデルを生成したとする。すると、顔の肌の部分に関しては適切な分布（ガウシアン分布）を得ることはできるが、頭髪の部分については、適切な分布を得ることができずに拡散してしまう。つまり、全体としては、頭部に対応した良好なモデルを生成することができない。
これは、Normalized rgという色空間（表色系）が、頭髪としての色を的確に表現できない性質のものであることに起因している。
このようにして、追跡対象が複数の属性から成る場合には、その属性ごとに的確に色を表現できる色空間が異なってくる場合がある。このために、単一の色空間を利用するこれまでの処理によっては、良好なモデルを生成することが難しいという問題が生じる。良好なモデルが生成されなければ、結果的に、算出される尤度の信頼性も低くなって充分な追跡処理性能を得られなくなる。
【００３９】
そこで、本実施形態としては、属性ごとに、良好なモデルを生成できる色空間を適用することとした。これにより、本実施形態では、図１にて示したように、複数の第１〜第Ｎ色空間変換部１１−１〜１１−Ｎと、これらの色空間変換部ごとに対応する第１〜第Ｎモデル生成部１２−１〜１２−Ｎ、及び第１〜第N個別尤度算出部１３−１〜１３−Nを設けることになる。これまでにも述べたように、この色空間変換部１１の数は、追跡対象とする部位を形成するものとして採用した属性の数に対応する。
【００４０】
図２の場合、頭部の属性としては、頭髪と肌の２つを採用しているので、これに応じて、色空間変換部１１（第１色空間変換部１１−１、第２色空間変換部１１−２）を設け、これに応じて、第１モデル生成部１２−１、第２モデル生成部１２−２、第１尤度算出部１３−１、第２尤度算出部１３−２を設けることとした。
そのうえで、図２の場合には先にも述べたように、第１属性に頭髪を割り当て、第２属性に肌を割り当てている。これに応じて、第１色空間変換部１１−１については頭髪に適合した色空間を適用し、第２色空間変換部１１−２については肌に適合した色空間を適用する。
【００４１】
具体的に、第１色空間変換部１１−１には、頭髪に適合する色空間としてCIE L*u*vを適用し、第２色空間変換部１１−２には、肌に適合する色空間としてNormalized rgを適用することとした。
ここで色空間変換部１１に対して入力される画像データの色空間がRGBであるとする。この場合、第１色空間変換部１１−１は、入力される画素データごとに、RGBにより表現されている色空間を、CIE L*u*vに変換する。また、第２色空間変換部１１−２は、入力される画素データごとに、RGBにより表現されている色空間を、Normalized rgに変換する。
【００４２】
ここで、色空間をRGBからNormalized rgに変換するための式は、
【数１】
2010113514.tif 000003
のようになる。第１色空間変換部１１−１は、この（数１）に表される変換式を利用して色空間の変換処理を実行する。
【００４３】
また、色空間をRGBからCIE L*u*vに変換する式は、
【数２】
2010113514.tif 000004
のようになる。第２色空間変換部１１−２は、この（数２）に表される変換式を利用して色空間の変換処理を実行する。
【００４４】
図６のフローチャートは、初期化として、図３により説明したセグメンテーションの後において行われる、モデル生成処理例を示す。この図に示す処理は、主として図１に示すシステムにおける第１〜第Ｎ色空間変換部１１−１〜１１−Ｎ、及び第１〜第Ｎモデル生成部１２−１〜１２−Ｎが適宜実行するものとしてみることができる。
【００４５】
ステップＳ２０１においては、先ず初期設定として、属性に付した番号に対応する変数ｎについて１を設定する。確認のために述べておくと、変数ｎの最大値は、色空間変換部の数に対応するＮとなる。
【００４６】
次のステップＳ２０２においては、画素（画素データ）の番号を示す変数ｍについて初期値として１を設定する。この変数の最大値は、画素に付した番号の最大値であるＭとなる。
【００４７】
そして、ステップＳ２０３においては、図４に例示した登録テーブルを参照することで、初期化用画像データにおけるｍ番目の画素の属性が何であるのかを判定する。図４が対応する頭部追跡の場合であれば、ステップＳ２０３により、ｍ番目の画素に対応付けられた値が０（該当する属性無し），１（第１属性（頭髪）），２（第２属性（肌））のいずれであるのかを判定することになる。
【００４８】
ステップＳ２０４においては、ステップＳ２０３により判定したｍ番目の画素の属性が、第ｎ属性であるか否かについて判別することとしている。
ちなみに、ステップＳ２０１にて数ｎ＝１が設定された後の、一巡目のステップＳ２０２〜Ｓ２０８における段階のステップＳ２０４では、１番目からＭ番目の画素ごとに、第１属性であるか否かについて判別することになる。また、ステップＳ２１０にて変数ｎ＝２となるようにしてインクリメントされた後の２巡目のステップＳ２０２〜Ｓ２０８における段階のステップＳ２０４では、第２属性であるか否かについて判別することになる。
【００４９】
ステップＳ２０４において、ｍ番目の画素は、第ｎ属性に該当しないとして否定の判別結果が得られた場合には、ステップＳ２０５，Ｓ２０６の処理をスキップしてステップＳ２０７に進む。これに対して、ｍ番目の画素が第ｎ属性に該当するとして肯定の判別結果が得られたのであれば、ステップＳ２０５，Ｓ２０６の処理を実行してからステップＳ２０７に進む。
【００５０】
ステップＳ２０５では、現在の変数ｎの値に対応する第ｎ色空間変換部１１−ｎが、Ｍ番目の画素データを入力して、色空間を変換する処理を実行する。そして、この色空間を変換した画素データを、現在の変数ｎの値に対応する第ｎモデル生成部１２−ｎに対して出力する。
ステップＳ２０６は、第ｎモデル生成部１２−ｎが、上記ステップＳ２０６により出力された色画素データを入力し、その画素データの値について統計化する処理を実行する。
このステップＳ２０６を第ｎ属性の画素データごとに繰り返していく結果、最終的には、第ｎモデル生成部１２−ｎにより、第ｎ属性に対応するモデルが生成されることになる。
【００５１】
ステップＳ２０７においては、現段階において変数ｍが最大値であるＭに至ったか否かについて判別する。つまり、第ｎ属性に対応したモデル生成処理として、全ての番号１〜Ｍまでの画素についての処理を完了したか否かについて判別する。
ここで、ステップＳ２０７において否定の判別結果が得られた場合には、ステップＳ２０８において変数ｍをインクリメントしてステップＳ２０３に戻る。つまり、同じ第ｎ属性についてのモデル生成処理として、次の番号の画素についての処理を実行する過程に進む。
そして、ステップＳ２０３〜Ｓ２０７の処理を、初期化用画像データを形成するＭ個の全画素について実行すると、ステップＳ２０７において肯定の判別結果が得られることになる。
【００５２】
例えば、図２の初期化用画像データを対象として、図６に示す処理として、ステップＳ２０１にて変数ｎ＝１が設定された状態のもとで、ステップＳ２０３〜Ｓ２０６の手順を全画素ごとに処理したことで、ステップＳ２０７により肯定の判別結果が得られたとする。
この段階では、初期化用画像データを形成する全画素のうち、第１属性である頭髪に属するとして登録されている画素について、第１色空間変換部１１−１によるCIE L*u*vへの色空間の変換が行われたうえで、その画素データの値（画素値）についての統計化が完了していることになる。つまり、第１属性である頭髪を表現する画素値についての確率分布、即ち、第１属性である頭髪のモデルが生成、保持されたことになる。
【００５３】
そして、ステップＳ２０７において肯定の判別結果が得られた場合には、ステップＳ２０９により、変数ｎが最大値であるＮに至ったか否かについて判別する。
ステップＳ２０９において否定の判別結果が得られた場合には、未だ、ステップＳ２１０により変数ｎについてインクリメントしてステップＳ２０２の処理に戻る。つまり、次の番号の属性に対応したモデルの生成を行う。そして、最後の番号の属性に対応するモデルの生成が完了すると、ステップＳ２０９において肯定の判別結果が得られることになる。この段階では、採用された全ての属性ごとに対応したモデルが生成、保持されている。
【００５４】
図２などにより説明した頭部追跡との対応では、変数ｎの最大値Ｎ＝２となる。このため、上記したように、変数ｎ＝１が設定された状態で１番目〜Ｍ番目の画素についての処理を終了してテップＳ２０７にて肯定の判別結果が得られても、ステップＳ２０９においては否定の判別結果となる。この場合、ステップＳ２１０により変数ｎ＝２を設定して、２巡目のステップＳ２０２以降の手順に移行する。この２巡目のステップＳ２０２に続いてのステップＳ２０３〜Ｓ２０８による処理が、第２色空間変換部１１−２、第２モデル生成部１３−２により、第２属性である肌についてのモデルを生成する処理となる。そして、この２巡目のモデル生成処理においてＭ個の全ての画素についての処理が完了したとしてステップＳ２０７にて肯定の判別結果が得られたとする。この段階において、第２属性である肌に対応するモデルが第２モデル生成部１２−２にて完成して保持されたこととなる。つまり、この段階では、第１モデル生成部１２−１、第２モデル生成部１２−２のそれぞれにおいて、第１属性である頭髪に対応したモデルと、第２属性である肌に対応したモデルとが保持されている。これは、採用された全ての属性ごとに対応したモデルが生成、保持されている、ということである。そして、この段階に至れば、ステップＳ２０９により肯定の判別結果が得られることとなって、モデル生成処理が完了することとなる。
【００５５】
＜３．検出処理例＞
上記のようにして初期化が完了した環境のもとで、図１に示したシステムは追跡対象の検出処理（追跡処理）を次のようにして実行する。
検出処理時においては、図１に示すシステムは、例えばリアルタイムの撮像により得られるフレーム画像データから、画素データを順次入力する。つまり、時刻（フレーム）ｔに対応して得られるフレーム画像データを形成する１番目〜Ｍ番目までの画素データを順次入力し、これに続けては、次の時刻ｔ＋１に対応して得られるフレーム画像データを形成する１番目〜Ｍ番目までの画素データを順次入力する。このようにしてフレーム周期ごとに、フレーム画像データの画素データを順次入力するという手順を繰り返す。
【００５６】
そして、検出処理時においては、上記のようにしてシステムが入力した１つの画素データは、先ず、第１空間変換部１１−１〜第Ｎ空間変換部１１−Ｎに対して分岐して入力される。第１空間変換部１１−１〜第Ｎ空間変換部１１−Ｎは、それぞれ、入力される画素データについて、適用された色空間（表色系）に変換する。そして、この色空間変換後の画素データを、それぞれ、第１〜第Ｎ尤度算出部１３−１〜１３−Ｎに対して出力する。
【００５７】
第１個別尤度算出部１３−１は、第１空間変換部１１−１から入力される画素データと、第１モデル生成部１３−１にて保持されているモデルとを利用して尤度（個別尤度）を算出する。なお、この個別尤度の算出にあたっては、マッチング法といわれる手法を採用できる。また、マッチング法についても多様に考えられているが、これについては、例えば追跡対象物(処理対象物)の実際などに応じて適切なものを採用すればよい。
残る第２個別尤度算出部１３−２〜第Ｎ個別尤度算出部１３−Ｎも、同様にして、それぞれ、第２空間変換部１１−２〜第Ｎ空間変換部１１−Ｎから入力される画素データと、第２モデル生成部１３−２〜第Ｎモデル生成部１３−Ｎにて保持されるモデルとを利用して個別尤度を算出する。
なお、確認のために述べておくと、第１〜第Ｎ個別尤度算出部１３−１〜１３−Ｎにより求められる個別尤度は、追跡対象において対応する属性についての尤度となる。つまり、求められる個別尤度が高いほど、その画素データが、対応する属性に該当する確率、可能性は高くなる。
なお、第１〜第Ｎ個別尤度算出部１３−１〜１３−Ｎにより尤度を算出する手法、方式についてはここでは特に限定されるべきものではなく、例えばこれまでに知られている手法、方式のうちから適当なものを採用することができる。
【００５８】
上記のようにして第１個別尤度算出部１３−２〜第Ｎ個別尤度算出部１３−Ｎは、それぞれ、共通の画素データについて、異なる色空間に基づいての個別尤度を算出する。そして、尤度統合部１４においては、第１個別尤度算出部１３−２〜第Ｎ個別尤度算出部１３−Ｎの各々が算出した共通の画素データについての個別尤度を取り込み、所定の尤度統合のアルゴリズムにより、これらの個別尤度から、１つの上記共通の画素データについての最終的な尤度を求める。この尤度統合部１４により求められる尤度は、属性ごとについてのものではなく、その画素が、属性が合わされた追跡対象自体としての部位に該当する確率、可能性を示すものとなる。
【００５９】
ここで、尤度統合部１４が尤度（画素単位）を求めるためのアルゴリズムとして、下記（数３）もしくは（数４）による演算式を挙げておく。
【数３】
2010113514.tif 000005
【数４】
2010113514.tif 000006
（数３）は、第１個別尤度算出部１３−２〜第Ｎ個別尤度算出部１３−Ｎから出力されるＮ個の個別尤度Ｌ1〜ＬNのうち、最大値を尤度Ｌとして求める、というものである。
また、（数４）は、Ｎ個の個別尤度Ｌ1〜ＬNごとに重み付け係数ｗ1〜ｗNを与えたうえで算出した平均値（重み付け平均値）を尤度Ｌとするものである。
なお、これらのアルゴリズムはあくまでも一例であり、他のアルゴリズムを尤度統合部１４に適用してよい。
【００６０】
そして、図１のシステムでは、上記した画素単位の処理が、先ず、フレーム画像を形成する全ての画素を対象にして実行される。つまりフレーム画像の画素ごとについて、追跡対象としての部位についての尤度が求められる。そして、これらのフレーム画像を形成する全画素の尤度の情報に基づいて、そのフレーム画像において存在する追跡対象部位に相当する画像部分を推定できることになる。また、フレーム画像ごとに、この処理が繰り返されることで、例えばフレーム画像の連続である動画における追跡対象部位を追跡することになる。
【００６１】
上記検出処理を、これまでに述べてきた頭部追跡に対応させると次のようになる。
ここで、観測値であるフレーム画像データの色空間はＲＧＢであるとする。このフレーム画像の画素データは、頭髪（第１属性）に対応する第１色空間変換部１１−１と、肌（第２属性）に対応する第２色空間変換部１１−２とに分岐して入力される。第１色空間変換部１１−１は、入力された画素データの色空間を、ＲＧＢからCIE L*u*vに変換して第１個別尤度算出部１３−１に対して出力する。同様に、第２色空間変換部１１−２は、入力された画素データの色空間を、ＲＧＢからNormalized rg に変換して第２個別尤度算出部１３−２に対して出力する。
【００６２】
第１個別尤度算出部１３−１は、入力された画素データと、第１モデル生成部１３−１にて保持されているモデルとを利用して個別尤度を求める。このとき、処理対象として入力された画素が、現実にフレーム画像内における頭部の頭髪に該当するものであったとすると、ここで求められる個別尤度は高くなる可能性が高い。これに対して、入力された画素が、フレーム画像における頭部の頭髪以外に該当するものである場合には、これに応じて低い個別尤度が求められる可能性が高くなる。
同様にして第２個別尤度算出部１３−２が求める個別尤度も、処理対象として入力された画素が、フレーム画像内における頭部の肌に該当するものであれば高くなる可能性が高い。逆に、フレーム画像における頭部の肌以外に該当するものである場合には低くなる可能性が高い。
なお、確認のために述べておくと、先に述べたようにして、第１個別尤度算出部１３−１と第２個別尤度算出部１３−２は、それぞれ頭部、肌としての属性に適合した色空間によるモデルと観測値（画素データ）とを利用して尤度を算出する。従って、対応する属性に該当する画素については、高い精度で尤度を求めることができる。
【００６３】
尤度統合部１４は、上記のようにして得られる共通の画素についての個別尤度から統合的な尤度を求める。
ここで、もっとも分かりやすい例として、尤度統合部１４は、（数３）に示したように、個別尤度のうちから最大値を尤度として求めるものとする。
上記もしたように、第１個別尤度算出部１３−１と第２個別尤度算出部１３−２は、それぞれ頭部、肌としての属性に該当する画素については、非常に的確に高い尤度を求めることができる。また、逆に言えば、第１個別尤度算出部１３−１は、肌も含み、頭髪以外に該当する画素については的確な尤度を求めることができないが、このときの尤度は低い値となる傾向にある。第２個別尤度算出部１３−２も同様に、肌以外に該当する画素については低い値となる傾向にある。これは、例えば頭部にも肌にも該当しない画素については、第１個別尤度算出部１３−１と第２個別尤度算出部１３−２のいずれによっても低い尤度しか得られないことを意味する。
従って、上記のようにして、尤度統合部１４により個別尤度のうちから最大値を尤度として求めるようにすれば、尤度が高い画素は、高い信頼性で、頭部（頭髪もしくは肌）に該当している確率が高いと推定してよい。
そして、例えばフレーム画像を形成する全画素についての尤度に基づけば、そのフレーム画像における頭部としての画像領域部分を、高い精度で推定できることになるものであり、動画に対応しては、頭部を高い精度で追跡できることになる。
【００６４】
これまでの説明から理解されるように、本実施形態としては、例えば追跡対象物を形成する複数の属性ごとに対応した複数の個別尤度算出系（色空間変換部１１、モデル生成部１２、個別尤度算出部１３）を備えることとして、各尤度算出系においては、対応する属性に適合した色空間（表色系）による処理としている。これにより、追跡対象物が複数の属性から成る場合であっても、高い精度で、追跡対象物全体を追跡していくことが可能になる。
また、例えば頭部を追跡する場合例に挙げると、頭部が後ろを向いたときには、頭部全体がほぼ頭髪で占められることになる。この場合において、例えば、頭髪には適合しない適当な単一の色空間により追跡処理を行っているとすると、充分な精度で頭部を追跡できなくなる可能性がある。本実施形態であれば、頭部が後ろを向いてしまっても、追跡の精度は充分に維持される。
【００６５】
なお、これまでの説明から理解できるように、本実施形態により追跡対象とすることのできる物体は、特に限定されるものではない。本実施形態は、実際に追跡対象として設定された物体の属性の数に応じて個別尤度算出系を設け、設定された属性に適合するものとして選定した色空間（表色系）を個別尤度算出系の色空間変換部１１ごとに設定すればよい。従って、色空間変換部１１に設定する色空間も、属性の実際に応じて多様に考えられるもので、頭部追跡に対応して挙げた例に限定されるべきではない。
【００６６】
＜４．コンピュータ装置の構成例＞
これまでに説明してきた本実施形態としての追跡処理システムは、図１に示した機能構成に対応して形成したハードウェアにより実現できる。また、図１に示した機能構成に対応する処理を実行させるプログラムを記述したソフトウェアにより実現することもできる。また、このようなハードウェアとソフトウェアを組み合わせて併用することもできる。
そして、本実施形態の動態推定のために必要な処理の少なくとも一部をソフトウェアにより実現するのにあたっては、そのソフトウェアを構成するプログラムを、動態推定システムとしてのハードウェア資源であるコンピュータ装置（ＣＰＵ）に実行させることになる。あるいは、汎用のパーソナルコンピュータなどのコンピュータ装置にプログラムを実行させることで、コンピュータ装置に対して、動態推定のために必要な処理を実行する機能を与えるようにされる。
【００６７】
ここで、図７により、本実施形態の動態推定システムに対応するプログラムを実行可能な装置として、コンピュータ装置（情報処理装置）についての構成例を示しておく。
このコンピュータ装置２００において、ＣＰＵ（Central Processing Unit）２０１，ＲＯＭ(Read Only Memory)２０２，ＲＡＭ(Random Access Memory)２０３は、バス２０４により相互に接続されている。
【００６８】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。
入出力インターフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、ドライブ２１０が接続されている。
入力部２０６は、キーボード、マウスなどの操作入力デバイスなどよりなる。
また、この場合の入力部２０は、本実施形態の追跡処理システムとの対応で、例えば、撮像装置３０から出力される画像信号（画像データ）を入力できるようになっている。
出力部２０７は、ディスプレイ、スピーカなどよりなる。
記憶部２０８は、ハードディスクや不揮発性メモリなどよりなる。
通信部２０９は、ネットワークインタフェースなどよりなる。
ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどとしての記録媒体２１１を駆動する。
【００６９】
以上のように構成されるコンピュータ装置２００では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５およびバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。
【００７０】
ＣＰＵ２０１が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアである記録媒体２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００７１】
そして、プログラムは、記録媒体２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【００７２】
また、コンピュータ装置２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００７３】
なお、これまでの実施形態による説明では、対象物の追跡処理を行うことを前提に説明してきたが、本願発明に基づく情報処理は、追跡処理のみに限定されるものではなく、例えば、特定の物体を対象とした物体検出処理にも応用できる。
【図面の簡単な説明】
【００７４】
【図１】本実施形態の追跡処理システムの構成例を示す図である。
【図２】初期化用画像データの画像例を示す図である。
【図３】初期化におけるセグメンテーション処理を示すフローチャートである。
【図４】セグメンテーション処理により形成される登録データの構造例を示す図である。
【図５】頭部追跡に対応する登録データの定義内容例を示す図である。
【図６】初期化におけるモデル生成処理を示すフローチャートである。
【図７】コンピュータ装置の構成例を示すブロック図である。
【符号の説明】
【００７５】
１１−１〜１１−Ｎ  第１〜第Ｎ色空間変換部、１２−１〜１２−Ｎ  第１〜第Ｎモデル生成部、１３−１〜１３−Ｎ  第１個別尤度算出部、１４  尤度統合部、３０  撮像装置、１００  画枠、１０１  頭髪対応画素群、１０２  肌対応画素群、２００  コンピュータ装置、２０１  ＣＰＵ、２０２  ＲＯＭ、２０３  ＲＡＭ、２０４  バス、２０５  入出力インターフェース、２０６  入力部、２０７  出力部、２０８  記憶部、２０９  通信部、２１０  ドライブ、２１１  記録媒体
【図１】
2010113514.tif 000007
【図２】
2010113514.tif 000008
【図３】
2010113514.tif 000009
【図４】
2010113514.tif 000010
【図５】
2010113514.tif 000011
【図６】
2010113514.tif 000012
【図７】
2010113514.tif 000013