(57)【要約】【課題】現実空間で取得した少量のデータを基に、仮想空間で膨大な数の画像を生成し、画像内の人を認識するための認識データベースを構築する。【解決手段】人の３次元形状データを取得して人の関節モデルに当てはめ、仮想空間に人体モデルを作成して、関節モデルの各関節の動きに合わせて人体モデルの各関節を動かす。ノイズ生成処理部１１により、人体モデルに現実空間の差異に応じたノイズを付加して動作や体格の個人差を生成し、画像生成処理部１３により、設定された撮影条件に基づき人体モデルから画像を生成する。画像特徴算出処理部１４により、生成した画像から画像内の人の画像特徴を算出し、画像特徴を機械学習部１５により機械学習して画像内の人を認識するための認識データベース５４を構築する。【選択図】          図１
2010238134.tif 000002
【特許請求の範囲】
【請求項１】
人の３次元形状データを取得する手段と、
３次元形状データを仮想空間の人の関節モデルに当てはめて仮想空間に人体モデルを作成する手段と、
関節モデルの各関節の動きに合わせて人体モデルの各関節を動かし、人体モデルを変化させる手段と、
人体モデルに現実空間の差異に応じたノイズを付加する手段と、
人体モデルから画像を生成する手段と、
人体モデルから生成した画像を記憶させる手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
人の動きや姿勢に応じた関節モデルの関節毎の変位情報を取得する手段と、
関節毎の変位情報に基づき関節モデルを変化させる手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載された画像処理装置において、
人体モデルから取得する画像の撮影条件を設定する手段を備え、
人体モデルから画像を生成する手段が、人体モデルから撮影条件に基づく画像を生成することを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載された画像処理装置において、
ノイズを付加する手段が、人体モデルに人の姿勢、動作、体格の少なくとも１つのノイズを付加して個人差を生成する手段を有することを特徴とする画像処理装置。
【請求項５】
請求項１ないし４のいずれかに記載された画像処理装置において、
ノイズを付加する手段が、人体モデルに服、照明、遮蔽物の少なくとも１つのノイズを付加する手段を有することを特徴とする画像処理装置。
【請求項６】
請求項１ないし５のいずれかに記載された画像処理装置において、
人体モデルから生成した画像に基づいて画像内の人の画像特徴を算出する手段と、
画像特徴を機械学習して画像内の人を認識するための認識データベースを構築する手段と、
を備えたことを特徴とする画像処理装置。
【請求項７】
コンピュータにより、請求項１ないし６のいずれかに記載された画像処理装置の各手段を実現するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間で取得した数少ない人の形状データを３次元仮想空間上に投影して画像認識システムを構築するための画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
画像内の人を認識する画像認識システムでは、一般に、人の形状、姿勢、動作を撮影した多数の画像を取得して解析することで、認識に必要な認識データベースを構築し、認識データベースの各種データを使用して現実空間の画像内の人の動作や姿勢等を認識する。その際、解析する画像の種類や数が多いほど、認識データベースの精度が向上して、人の形状、姿勢、動作を正確に認識できるようになる。ところが、実際には、人の体型や動作、周囲の環境や照明、或いは、撮影の手段や方向等は様々であり、それらの差異（ノイズ）に応じた全ての画像を撮影して取得するのは極めて困難である。
【０００３】
これに対し、仮想空間上で人の３次元モデルを変化させて所望の画像を生成することで、多数のパターンの画像を取得することが考えられる。また、そのような装置として、従来、３次元基本モデルに２次元モデルの画像を貼り付けて、所望の３次元モデルを生成する装置が知られている（特許文献１参照）。
【０００４】
しかしながら、この従来の装置では、単に、２次元モデルの特定部位を動かして３次元モデルの姿勢を変化させており、上記したノイズに応じた種々の画像を生成できず、現実空間で取得した画像との差が大きくなる傾向がある。その結果、正確な画像を取得することができず、かつ、取得できる画像のパターン等が制限されて、その数を大幅に増加させるのは難しい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１７５７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、このような従来の問題に鑑みなされたものであって、その目的は、現実空間で取得した少量のデータを基に、現実空間で取得が困難な画像を仮想空間上で容易にかつ膨大な数生成するとともに、現実空間で取得した画像と遜色ない画像を取得することである。また、他の目的は、これらの画像から所定の画像特徴を算出して機械学習することで、仮想空間において取得したデータのみで汎用性の高い認識データベースを構築することである。
【課題を解決するための手段】
【０００７】
請求項１の発明は、画像処理装置であって、人の３次元形状データを取得する手段と、３次元形状データを仮想空間の人の関節モデルに当てはめて仮想空間に人体モデルを作成する手段と、関節モデルの各関節の動きに合わせて人体モデルの各関節を動かし、人体モデルを変化させる手段と、人体モデルに現実空間の差異に応じたノイズを付加する手段と、人体モデルから画像を生成する手段と、人体モデルから生成した画像を記憶させる手段と、を備えたことを特徴とする。
請求項２の発明は、請求項１に記載された画像処理装置において、人の動きや姿勢に応じた関節モデルの関節毎の変位情報を取得する手段と、関節毎の変位情報に基づき関節モデルを変化させる手段と、を備えたことを特徴とする。
請求項３の発明は、請求項１又は２に記載された画像処理装置において、人体モデルから取得する画像の撮影条件を設定する手段を備え、人体モデルから画像を生成する手段が、人体モデルから撮影条件に基づく画像を生成することを特徴とする。
請求項４の発明は、請求項１ないし３のいずれかに記載された画像処理装置において、ノイズを付加する手段が、人体モデルに人の姿勢、動作、体格の少なくとも１つのノイズを付加して個人差を生成する手段を有することを特徴とする。
請求項５の発明は、請求項１ないし４のいずれかに記載された画像処理装置において、ノイズを付加する手段が、人体モデルに服、照明、遮蔽物の少なくとも１つのノイズを付加する手段を有することを特徴とする。
請求項６の発明は、請求項１ないし５のいずれかに記載された画像処理装置において、人体モデルから生成した画像に基づいて画像内の人の画像特徴を算出する手段と、画像特徴を機械学習して画像内の人を認識するための認識データベースを構築する手段と、を備えたことを特徴とする。
請求項７の発明は、コンピュータにより、請求項１ないし６のいずれかに記載された画像処理装置の各手段を実現するためのプログラムである。
【発明の効果】
【０００８】
本発明によれば、現実空間で取得した少量のデータを基に、現実空間で取得が困難な画像を仮想空間上で容易にかつ膨大な数生成することができる。しかも、これらの画像には、人の形状、姿勢、動作、及び照明等に対して、予め設定する現実空間の差異に応じたノイズを付加しているため、現実空間で取得した画像と遜色ない画像を取得できる。これらの画像から所定の画像特徴を算出して機械学習することで、仮想空間において取得したデータのみで汎用性の高い認識データベースを構築できる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置の構成を概略的に示すブロック図である。
【図２】人の関節モデルを示す模式図である。
【図３】服の模様の違いを生成する輝度パターンを示す図である。
【図４】本実施形態の画像処理装置による画像処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の画像処理装置の一実施形態について、図面を参照して説明する。
図１は、本実施形態の画像処理装置の構成を概略的に示すブロック図である。
【００１１】
画像処理装置１は、例えば、中央演算処理装置（ＣＰＵ）と、各種のプログラムを格納するＲＯＭ（Read Only Memory）と、ＣＰＵの処理用データを一時的に格納するＲＡＭ（Random Access Memory）とを有するコンピュータを備えている。また、画像処理装置１は、画像処理部１０と、それぞれ予め記憶された各種関数からなるノイズ生成関数群２０及び画像特徴算出関数群４０と、画像を記憶する画像メモリ３０とを備えている。更に、画像処理装置１は、人の３次元形状データベース５０と、モーションキャプチャデータベース５１とを備え、それらに画像処理に使用する各種データを予め記憶している。
【００１２】
この画像処理装置１では、まず、ステレオカメラ等の距離画像センサを用いて、所定の姿勢の人を、前後、左右、上下等から撮影して、人の全方位から見た画像（距離画像）を取得する。取得した各画像の距離データに基づき、例えば縦横所定ピッチで網目状に人の表面を３次元計測し、人の全体の３次元的な表面形状を、計測点同士を結んだポリゴンデータとして算出して形状データを取得し、取得した人の形状データを３次元形状データベース５０に記憶する。また、画像処理装置１は、このように作成して取得した人の３次元形状データを、仮想空間の人の関節モデルに当てはめて、仮想空間に人体モデルを作成する。
【００１３】
図２は、人の関節モデルを示す模式図である。
関節モデル７０は、複数の関節を結んで人を表すモデルであり、図示のように、人の各関節位置に応じて、順に結ばれた１２個の関節７１、７２、７３と、手と足の先端に位置する４個の終端効果器７４からなる。また、各関節７１、７２、７３は、１０個の関節７１、７２が回転可能に、かつ、４個の関節７２が関節モデル７０内での位置が固定と設定されている。
【００１４】
ここで、モーションキャプチャデータベース５１は、人の動きや姿勢をデジタル的に記憶するモーションキャプチャシステムにより、人の３次元の動きや姿勢のデータを取得して記憶している。即ち、例えば、マーカを付けた人に所定の動作をさせて、マーカをトラッカーにより連続して検出し、それぞれの動作や姿勢に対する１又は複数の時系列データを取得して記憶している。これにより、関節モデル７０の各部毎の変化を取得し、人の動きや姿勢に応じた関節モデル７０の関節７１、７２、７３毎の回転角度、位置、変位（ここでは、これらを総称して変位情報という）を、時系列に沿うデータとして順に記憶してデータベースを構築する。
なお、関節モデル７０に当てはめる人の距離画像は、関節モデル７０の姿勢に合わせた姿勢の人の距離画像を取得するのが望ましい。また、この関節モデル７０は一例であり、あらゆる関節モデルへの適用が可能である。
【００１５】
画像処理装置１は、上記した人の３次元形状データに基づく画像（人体モデル）を表示手段（図示せず）に表示する。この表示された人体モデルの画像に対して、ユーザが、関節モデル７０の各関節７１、７２、７３や終端効果器７４に対応する位置を、マウスを操作等して指定することで、３次元形状データを表す人体モデルの画像と関節モデル７０の位置同士が対応づけられる。これにより、画像処理装置１は、人体モデルの３次元形状データを関節モデル７０に当てはめ、関節モデル７０の各関節の動きに合わせて作成した人体モデルの各関節を動かし、人体モデルを関節モデル７０に合わせて変化させる。このように人体モデル及びその各部の形状の位置や方向を変化させて、所定の姿勢や動作の人体モデル及び３次元形状データを作成する。
【００１６】
画像処理装置１は、上記のようにモーションキャプチャデータベース５１から読み出して、人の特定の動作や姿勢に応じた関節モデル７０の関節７１、７２、７３毎の変位情報を取得し、変位情報に基づき、関節７１、７２、７３の回転角度や位置等を変化させて動かし、関節モデル７０を変化させる。同時に、画像処理部１０のノイズ生成処理部１１により、人の３次元形状データ（人体モデル）を変化させ、所定のかつ少量の人の３次元形状データから、人体モデルにより人の様々な動き等を再現する。
【００１７】
即ち、現実空間では、痩せ型の人や太っている人、身長が高い人や低い人等、人毎に様々な体格差がある。また、厚着しているときや薄着しているとき等に応じて形状も様々に変化するとともに、人の動作についても、動作がゆっくりの人や速い人等の個人差が様々である。そこで、画像処理装置１は、このような、現実空間における人の体格、形状、動作における差異、照明や環境上の差異等、現実空間における差異を、ノイズ生成処理部１１によりノイズを付加することで再現する。ノイズ生成処理部１１は、ノイズ生成関数群２０に設定された各ノイズモデル２１〜２６に基づき、人の形状や動き、体格、照明等、現実空間の差異に応じたノイズを付加して、人の３次元形状データと人体モデルを変化させる。以下、ノイズ生成処理部１１による、各種ノイズ付加の一例を説明するが、これらは一例であり、現実空間を忠実に再現するための、あらゆるノイズモデルへの拡張が可能である。
【００１８】
ノイズ生成処理部１１は、人体モデル（３次元形状データ）に対して、人の体格のノイズモデル２３と人の形状のノイズモデル２４に基づき、人の体格のノイズを付加して体格の個人差を生成する。具体的には、人体モデルの頭部・胴部・腕部・足部の体積と、身長及び頭部・胴部・腕部・足部・肩幅の長さと、頭部・胸部・腹部・臀部・腕部・足部の周囲長と、を変動させる。これらの値は、日本人標準サイズを中央にとる。そして、各値の上限値及び下限値を任意に設定する。上限値と中央値の差及び下限値と中央値の差は同じになるように設定する。各値の出現確率は、上限値及び下限値が±３σと対応する正規分布に従うものとする。（その際、各値を、例えば、０．１σずつ変動させる等、所定量ずつ都度変動させる。以下、同様。）。ここでは、各値に、日本人の標準サイズを適用するが、世界の標準サイズや、国別や地方別の標準サイズを適用してもよい。また、各値のバラツキの確率密度関数に正規分布を仮定しているが、これを整形医学の分野の知見を利用して、医学的に解明された人の体格差の統計データに置き換えることもできる。
【００１９】
また、ノイズ生成処理部１１は、その他のノイズモデル２４に基づき、人体モデルに洋服等の服のノイズを付加して服の違いを生成する。この服の違いには、薄着、厚着等の厚みの違いと服の模様の違いがあるが、服の模様の違いについては、３次元形状データの人体モデルを画像面に投影して生成した輝度画像に対してテンプレートマッチング処理を行った際、充分に高い相関値が獲得できればよい。ここでは、先ず、人体モデル表面の服を着用する範囲に、所定の輝度パターン８０（図３参照）を並べて格子状に投影し、輝度パターン８０に輝度階調の±３３％範囲のホワイトノイズを加算することで、服の模様の違いを生成する。即ち、輝度階調の変化に伴い、例えば輝度パターン８０の黒色部８１は変化させずに白色部８２を次第に黒くし、或いは、白色部８２は変化させずに黒色部８１を次第に白くし、全体の色を、白色から黒色の間で次第に変化させて模様の違いを生成する。これに対し、服の形状や厚みの違いは、体格差の生成と同様に生成する。ただし、服の厚みは、胴部及び腕部の変動が最も大きく、頭部、足部については小さいため、この規則に従い、頭部・胸部・腹部・臀部の周囲長及び、身長、肩幅、胴部、腕部、足部の長さに適当なノイズを加算して３次元形状データを変化させ、人体モデルの服の厚みの違いを生成する。
【００２０】
ノイズ生成処理部１１は、人の姿勢のノイズモデル２２に基づき、人体モデルに姿勢のノイズを付加して、姿勢の個人差を生成する。その際、関節モデル７０の関節７１、７２、７３毎（図２参照）に、同じ姿勢の複数の関節角度をモーションキャプチャデータベース５１から取得して平均値と標準偏差を求める。関節角度の出現確率は正規分布に従うものとし、平均値に対して±３σの範囲で各関節角度にノイズを付加して３次元形状データを変化させ、姿勢の個人差を生成して人体モデルを作成する。ただし、モーションキャプチャデータベース５１から、同じ姿勢のサンプルを充分に多く獲得できるときは、姿勢毎に各関節角度のバラツキを統計的に解析して求めた最適な関節角度のバラツキを適用することもできる。また、リハビリテーション医学の知見を利用して、各関節の可動域や姿勢毎の関節に掛かる肉体的負荷のデータを参考にして、関節角度にバラツキ範囲を設定してもよい。
【００２１】
ノイズ生成処理部１１は、人の動きのノイズモデル２１に基づき、人体モデルに動作のノイズを付加して動作の個人差を生成する。具体的には、例えば、関節モデル７０の関節７１、７２、７３毎に、その関節角度の時系列データをモーションキャプチャデータベース５１から取得する。この関節角度の時系列データを伸縮することで、動作の個人差を表現する。関節角度の時系列データの伸縮率の範囲は、元データに対して１／２倍〜２倍の範囲で設定する。そして、伸縮率の出現する確率は一定となるものとする。元データが出現する確率、１／２倍データが出現する確率、２倍データの出現する確率は同じである。以上の規則に基づき、関節角度の時系列データにノイズを与えることで、動作の個人差を表現する。
【００２２】
また、現実空間において、ステレオカメラにより距離画像を生成することを想定している場合は、ノイズ生成処理部１１は、その画像のステレオマッチング位置に、予め設定する誤差モデルを適用して距離画像の計測誤差を再現する。即ち、仮想実験環境では、後述するカメラ仕様及び視点位置設定処理部１２の設定に基づき、設定されたステレオカメラから出力されるステレオ画像同士の対応点の正確な対応関係が判る。このステレオ対応点を中心に、３ピクセルを半径とする円の範囲で誤差を加算する。その際、正確なステレオ対応点を中心にして、誤差を含むステレオ計測点が分布する確率密度関数が正規分布に従うと仮定し、正確なステレオ対応点を中心に±３ピクセルが±３σ（標準偏差＝１ピクセル）になるようなノイズモデルを適用して、計測誤差を再現する。
【００２３】
加えて、現実空間では、被写体とカメラの間に隠蔽物が存在する場合があり、本実施形態では、ノイズ生成処理部１１により、仮想空間における被写体（人体モデル）とカメラの間の適当な位置に、適当な大きさの直方体を１又は複数配置することで隠蔽の現象を再現する。また、現実空間では、光源と被写体の間に遮蔽物があり被写体に影が映る場合や、様々な色の光源が混在していて被写体に映る場合がある。本実施形態では、これらの現象を照明ノイズとして扱い、ノイズ生成処理部１１により、予め設定する照明のノイズモデル２５を、仮想空間における被写体に投影することで、この現象を再現する。具体的には、複数周波数の正弦（ＳＩＮ）波の振幅を輝度画像の階調の±３．３％の範囲で変動させて生成した輝度ノイズを輝度画像に加算することで照明ノイズを生成する。また、輝度値のみでなく、様々な色の照明ノイズを同様に生成する。このように、ノイズ生成処理部１１は、人体モデルに遮蔽物のノイズ又は照明のノイズを付加する。
【００２４】
その後、画像処理装置１は、以上のようにノイズを付加して生成した３次元形状データ（人体モデル）から、現実空間の撮影画像に対応する画像を順次生成して、認識データベース５４を構築する。まず、画像処理装置１は、カメラ仕様及び視点位置設定処理部１２で、人体モデルから取得する画像のカメラや視点位置等に関する撮影条件を設定する。具体的には、例えば、カメラにより出力するセンサ値（輝度画像、距離画像）、その焦点距離、画像面サイズ、画像面解像度、カメラの設置状態（位置、高さ、ロール角度、パン角度、チルト角度等）、被写体との相対的な位置関係を設定する。その際、カメラは、複数設定することもできる。続いて、画像生成処理部１３により、３次元形状データ（人体モデル）に基づき、その輝度や距離等の画像を生成する。その際、カメラ仕様及び視点位置設定処理部１２で設定された撮影条件に基づいて、そのカメラ仕様及び視点位置の設定等に従い、人体モデルを、取得すべき距離又は輝度を画像面に中心射影することで、撮影条件に基づく画像を生成する。ここでは、カメラモデルとして、ピンホールカメラモデルを採用するが、例えば、魚眼カメラモデル等の他のカメラモデルに適用することもできる。このように、画像生成処理部１３は、人体モデルから画像を生成して、各画像を画像メモリ３０の対応するフォルダに記憶させる。
【００２５】
また、画像処理装置１は、画像特徴算出処理部１４により、人体モデルから生成した各画像に基づき、画像内の人の範囲や位置、姿勢や動作等、人の各認識処理に必要な画像内の人の画像特徴を算出する。この画像特徴は、画像特徴算出関数群４０に予め設定された各種の画像特徴を算出する。画像処理装置１は、算出された各画像特徴に基づき、それらを機械学習部１５により機械学習して、認識データベースを構築する。これを、人の認識に使用する認識データベース５４として記憶する。
【００２６】
その際、例えば、（１）画像内の人の領域を抽出するための画像特徴を算出し、人領域の抽出の為の画像特徴から人らしさを機械学習する。（２）人の姿勢を推定するための画像特徴を算出し、姿勢を推定するための画像特徴から各関節の回転角度や位置等を機械学習する。（３）人の動作を判定する為の画像特徴を算出し、人の動作を判定する為の画像特徴を算出する。これら（１）、（２）、（３）の画像特徴算出及び認識データベースの構築の例について以下説明する。本実施形態では、距離画像を用いた場合の一例を示すが、輝度画像や２値化画像についても適用可能である。
【００２７】
（１）人領域の抽出データベースの構築について。
人領域の抽出には、人らしさの特徴として距離画像から獲得した対象物の大きさ、長さ及び円らしさの特徴を用いる。これらの画像特徴を多層パーセプトロンにより、人か人以外かを教師あり学習することで認識データベースを構築する。大きさや長さ及び円らしさの画像特徴の算出については、特に限定されず、既存の画像処理技術を駆使して算出する。例えば、大きさについては、距離画像上の対象物が占有する領域の画素値を積分することで求めることが可能である。また、長さについては、先に求めた大きさ量を距離画像上の対象物が占有する画素数で割り算することで簡易的に求めることが可能である。円らしさについては、対象物の最外郭のエッジ線にサーキュラハフ変換を適用することで円らしさ量を獲得することが可能である。これら人らしさの画像特徴は一例であり、これら以外にも適用可能である。また、上記した各種画像特徴算出方法についても既存の画像処理技術を利用して適用することが可能である。
【００２８】
（２）人の姿勢認識データベースの構築について。
人の姿勢認識には、距離画像を格子状の小領域に分割した局所領域における対象の大きさ及び長さの特徴を用いる。この距離画像上の局所領域における対象の大きさ及び長さを入力として、多層パーセプトロンにより、各関節角度を教師あり学習することで認識データベースを構築する。距離画像上の局所領域における対象物の大きさ及び長さ特徴の算出については、（１）で記載した手法と同様に算出する。
（３）人の動作認識データベースの構築について。
人の動作は、（２）で構築した人の姿勢認識データベースを利用して推定した各関節角度及び変位の時系列データをＨＭＭ（Hidden Markov Model）アルゴリズムにより学習することで構築する。
【００２９】
画像処理装置１は、このように算出した画像特徴を機械学習して、画像内の人を認識するための認識データベース５４を構築する。なお、ここでは、距離画像から画像特徴を算出する一例を示したが、輝度画像や２値化画像への適用も可能である。また、画像特徴についても、予め定められた画像特徴のみに適用するのではなく、必要に応じて新規の画像特徴算出関数を追加して適用することもできる。
【００３０】
次に、この画像処理装置１による画像処理の手順について説明する。
図４は、画像処理装置１による画像処理の手順を示すフローチャートである。
画像処理装置１は、図示のように、各データベース５０、５１から、人の３次元形状データ及びモーションキャプチャデータを取得し（Ｓ１０１）、まず、３次元形状データに関節モデル７０を当てはめて人体モデルを作成する（Ｓ１０２）。次に、モーションキャプチャデータベース５１から読み出した、特定の動作や姿勢時における人の関節の回転角度や位置の情報等（関節毎の変位情報）に基づき、関節モデル７０を変化させて人体モデルの各関節を動かし、人体モデルを変更する（Ｓ１０３）。また、ノイズ生成処理部１１により、人体モデルに現実空間に応じた差異、例えば人の姿勢、動作、体格、服の模様、服の形状や厚み、照明、遮蔽物に関する各ノイズを上記のように付加して個人差等を生成し（Ｓ１０４）、各３次元形状データ（人体モデル）を生成する。
【００３１】
続いて、人体モデルから取得したい画像のカメラ等に関する撮影条件を設定し（Ｓ１０５）、その設定に基づき、ノイズ等を付加した人体モデルから画像を生成する処理を行い（Ｓ１０６）、生成した画像を画像メモリ３０に記憶させる。次に、生成した各画像に基づいて、画像特徴算出処理部１４により画像特徴を算出して（Ｓ１０７）、機械学習部１５により機械学習する（Ｓ１０８）。また、画像処理装置１は、以上の手順を繰り返して（Ｓ１０１〜Ｓ１０８）、人の動きや姿勢、ノイズ、撮影条件等を変化させて画像を生成し、その画像特徴を順次機械学習して、実際の画像内の人の認識に必要な認識データベース及び画像認識システムを構築する。
【００３２】
以上説明したように、本実施形態では、現実空間で取得した数少ない人の形状、姿勢、動作等のデータを３次元仮想空間上に投影することで、現実空間での取得が困難な画像（例えば、複数視点から撮影した画像等）を容易に且つ膨大な数を生成して取得することができる。また、仮想空間上で、人の形状や姿勢、動作に対して、実験を通じて統計的に求める等したノイズモデルを適用することで、現実空間での人の形状、姿勢、動作等の差異が付された現実に近い３次元形状データを取得して膨大なデータを生成することができる。その際、影、外乱光、照明についても、予め設定した照明モデルを仮想空間上で再現することにより、より現実空間での光の現象に近い現象が生じた３次元形状データを膨大に生成することができる。
【００３３】
更に、上記のように、取得した膨大な３次元形状データを多視点距離画像や１視点距離画像、多視点輝度画像、１視点輝度画像、多視点２値画像、１視点２値画像等、多種類の画像に変換でき、かつ、現実空間で取得した画像と遜色ない画像を取得できる。また、上記のように取得した画像から算出した所定の画像特徴を機械学習して認識データベースを構築することで、仮想空間において取得したデータのみで、汎用性の高い認識データベースを構築できる。この認識データベースを現実空間に適用することで、撮影装置の種類の違い等を問題としない画像認識システムを構築できる。即ち、撮影装置が距離画像センサ、又は輝度画像センサであっても、その違いを問わず画像内の人や動作等を認識でき、例えば輝度画像センサの２次元の輝度画像から、その画像特徴を算出して、３次元形状データから対応する距離画像を検索することで、より高次元な画像での認識結果を取得できる。その結果を参考にすることで、より高精度な、人の形状、姿勢、動作等の認識が可能になる。
【００３４】
なお、本発明は、コンピュータにより、画像処理装置１の以上説明した各手段を実現するためのプログラムとしても実現できる。
【符号の説明】
【００３５】
１・・・画像処理装置、１０・・・画像処理部、１１・・・ノイズ生成処理部、１２・・・カメラ仕様及び視点位置設定処理部、１３・・・画像生成処理部、１４・・・画像特徴算出処理部、１５・・・機械学習部、２０・・・ノイズ生成関数群、３０・・・画像メモリ、４０・・・画像特徴算出関数群、５０・・・人の３次元形状データベース、５１・・・モーションキャプチャデータベース、５４・・・認識データベース、７０・・・人の関節モデル。
【図１】
2010238134.tif 000003
【図２】
2010238134.tif 000004
【図３】
2010238134.tif 000005
【図４】
2010238134.tif 000006