(57)【要約】【課題】  単一カメラ画像から物体の形状を、正確かつ短時間に効率よく認識することのできる物体認識装置および方法を実現することを目的とする。【解決手段】  対象物の形状の学習画像を作成する学習画像生成部と、前記学習画像生成部にて作成された学習画像のそれぞれを固有空間上の特徴点として投影する処理を行う学習処理部と、前記学習画像の特徴点の情報を保存する学習データ部と、対象物の画像を入力し、該入力された対象物の画像を固有空間上の特徴点として投影処理を行い、前記学習データ部に保存されている前記学習画像の特徴点の情報の中でもっとも近い情報を検索して出力する認識処理部と、を備える。【選択図】  図１
2010211732.tif 000002
【特許請求の範囲】
【請求項１】
対象物の形状の学習画像を作成する学習画像生成部と、
前記学習画像生成部にて作成された学習画像のそれぞれを固有空間上の特徴点として投影する処理を行う学習処理部と、
前記学習画像の特徴点の情報を保存する学習データ部と、
対象物の画像を入力し、該入力された対象物の画像を固有空間上の特徴点として投影処理を行い、前記学習データ部に保存されている前記学習画像の特徴点の情報の中でもっとも近い情報を検索して出力する認識処理部と、を備える物体認識装置。
【請求項２】
請求項１記載の物体認識装置において、
学習画像生成部は、
対象物の３ＤＣＧ画像を作成する３Ｄ動作画像生成部と、
前記３Ｄ動作画像生成部にて作成された対象物の３ＤＣＧ画像を２次元平面に投影した２Ｄ画像を作成し、対象物の形状の学習画像として出力する２Ｄ画像生成部と、
を備えることを特徴とする物体認識装置。
【請求項３】
請求項２記載の物体認識装置において、
３Ｄ動作画像生成部は、
対象物の３ＤＣＧ基本画像を作成する３Ｄ基本動作画像生成部と、
前記３Ｄ基本動作画像生成部にて作成された１つの３ＤＣＧ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の３ＤＣＧ画像として出力する３Ｄぶれ動作画像生成部と、
を備えることを特徴とする物体認識装置。
【請求項４】
請求項２記載の物体認識装置において、
２Ｄ画像生成部は、
３Ｄ動作画像生成部にて作成された対象物の３ＤＣＧ画像を２次元平面に投影した２Ｄ基本画像を作成する２Ｄ基本画像生成部と、
前記２Ｄ基本画像生成部にて作成された１つの２Ｄ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の形状の学習画像として出力する２Ｄぶれ画像生成部と、
を備えることを特徴とする物体認識装置。
【請求項５】
請求項３記載の物体認識装置において、
３Ｄぶれ動作画像生成部は、対象物の実物のぶれの統計的分布に基いて、３Ｄ基本動作画像生成部にて作成された１つの３ＤＣＧ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の３ＤＣＧ画像として出力することを特徴とする物体認識装置。
【請求項６】
請求項３または請求項５に記載の物体認識装置において、
３Ｄぶれ動作画像生成部は、３Ｄ基本動作画像生成部にて作成された１つの３ＤＣＧ基本画像について、ぶれを与えて変化させた画像を複数作成する際に、時間的な変化を与えることを特徴とする物体認識装置。
【請求項７】
対象物の形状の学習画像を作成する学習画像生成ステップと、
前記学習画像生成部にて作成された学習画像のそれぞれを固有空間上の特徴点として投影する処理を行う学習処理ステップと、
前記学習画像の特徴点の情報を保存する学習データステップと、
対象物の画像を入力し、該入力された対象物の画像を固有空間上の特徴点として投影処理を行い、前記学習データ部に保存されている前記学習画像の特徴点の情報の中でもっとも近い情報を検索して出力する認識処理ステップと、を備える物体認識方法。
【請求項８】
請求項７記載の物体認識方法において、
学習画像生成ステップは、
対象物の３ＤＣＧ画像を作成する３Ｄ動作画像生成ステップと、
前記３Ｄ動作画像生成部にて作成された対象物の３ＤＣＧ画像を２次元平面に投影した２Ｄ画像を作成し、対象物の形状の学習画像として出力する２Ｄ画像生成ステップと、
を備えることを特徴とする物体認識方法。
【請求項９】
請求項８記載の物体認識方法において、
３Ｄ動作画像生成ステップは、
対象物の３ＤＣＧ基本画像を作成する３ＤＣＧ基本画像生成ステップと、
前記３Ｄ基本動作画像生成部にて作成された１つの３ＤＣＧ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の３ＤＣＧ画像として出力する３Ｄぶれ動作画像生成ステップと、
を備えることを特徴とする物体認識方法。
【請求項１０】
請求項８記載の物体認識方法において、
２Ｄ画像生成ステップは、
３Ｄ動作画像生成部にて作成された対象物の３ＤＣＧ画像を２次元平面に投影した２Ｄ基本画像を作成する２Ｄ基本画像生成ステップと、
前記２Ｄ基本画像生成部にて作成された１つの２Ｄ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の形状の学習画像として出力する２Ｄぶれ画像生成ステップと、
を備えることを特徴とする物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の形状および動作を認識する物体認識装置および方法に関し、特に、手や体などの形状および動作を認識する物体認識装置および方法に関する。
【背景技術】
【０００２】
手話に代表されるように、手や体などの形状および動作を認識することによりコミュニケーションを図ることが一般的に行われている。このような形状および動作を認識することは、新たなヒューマンインタフェースを構成するために必要とされている。
【０００３】
手指形状および動作を認識する方法としては、データグローブのような装着型のセンサを用いて計測する方法と、カメラ画像から非接触に認識する方法がある。ここでは、カメラ画像のみから手指の形状を認識する方法について述べる。
【０００４】
カメラ画像から物体認識を行う方法としては、複数のカメラを用いる多眼視による方法と、１個のカメラ画像のみを用いる単眼視による方法がある。
【０００５】
多眼視による方法として、非特許文献１（浜田康志、島田伸敬、白井良明著「遷移ネットワークに基づく多視点画像時系列からの手指形状推定」電子情報通信学会論文誌 D-II Vol. J85-D-II No.8 pp.1291-1299 2002年8月）には、多視点画像の手の輪郭から特徴抽出を行い、モデル画像とマッチングを行う方法が開示されている。
【０００６】
単眼視による方法として、非特許文献２（浜田康志、島田伸敬、白井良明著「手話認識のための複雑背景下で高速に運動する手指の形状推定」電子情報通信学会論文誌 D Vol. J90-D No.3 pp.617-627）には、カメラからの入力画像を学習画像として用い、入力画像の輪郭線情報から３Ｄ（3 Dimensional）モデルを構成し、学習する方法が開示されている。
【０００７】
単眼視による方法として、非特許文献３（今井章博、島田伸敬、白井良明著「輪郭の変形の学習による３−D手指姿勢の認識」電子情報通信学会論文誌 D-II Vol. J88-D-II No.8 pp.1643-1651）には、３Ｄ手指モデルからＣＧ（Computer Graphics）で作成した手の見え画像である２次元のＣＧ画像（２次元画像）を学習画像として用い、その輪郭情報を学習・認識することが開示されている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】浜田康志、島田伸敬、白井良明著「遷移ネットワークに基づく多視点画像時系列からの手指形状推定」電子情報通信学会論文誌 D-II Vol. J85-D-II No.8 pp.1291-1299 2002年8月
【非特許文献２】浜田康志、島田伸敬、白井良明著「手話認識のための複雑背景下で高速に運動する手指の形状推定」電子情報通信学会論文誌 D Vol. J90-D No.3 pp.617-627
【非特許文献３】今井章博、島田伸敬、白井良明著「輪郭の変形の学習による３−D手指姿勢の認識」電子情報通信学会論文誌 D-II Vol. J88-D-II No.8 pp.1643-1651
【非特許文献４】村瀬  洋、シュリー  ナイヤー「２次元照合による３次元物体認識−パラメトリック固有空間法−」電子情報通信学会論文誌 D-II Vol. J77-D-II No.11 pp.2179-2187  1994年11月
【発明の概要】
【発明が解決しようとする課題】
【０００９】
複雑に形状が変化する手指の形状および動作の認識を、カメラ画像における輪郭線情報を用いて行う場合、カメラ画像では、カメラと物体の位置関係によって、物体の見え方が変わる、あるいは、手前の物体で奥の物体が隠れてしまうなどのオクルージョン現象が問題となる。
【００１０】
非特許文献１に開示される技術では、複数カメラを用いることにより、オクルージョン現象による問題を低減することができる。しかしながら、複数のカメラを用いることにより、画像処理を含めてコストが高いものとなるという問題がある。
【００１１】
非特許文献２に開示される技術は、単眼カメラによる入力画像により輪郭線情報を学習して手指形状を認識する方法であるが、実画像を学習データとするため、学習時に多量の学習画像が必要になるという問題がある。
【００１２】
非特許文献３に開示される技術では、実物の手の画像を利用しないで学習処理を行うことができる。しかしながら、輪郭線上の輪郭点による認識を行っているため、オクルージョン現象による誤認識の可能性があること、膨大な数の学習用画像データを用いるため、処理量が大きいこと、照合の計算時間が長いなどの問題点がある。
【００１３】
本発明は上述したような従来技術の問題点に鑑みてなされたものであって、単一カメラ画像から物体の形状を、正確かつ短時間に効率よく認識することのできる物体認識装置および方法を実現することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の物体認識装置は、対象物の形状の学習画像を作成する学習画像生成部と、
前記学習画像生成部にて作成された学習画像のそれぞれを固有空間上の特徴点として投影する処理を行う学習処理部と、
前記学習画像の特徴点の情報を保存する学習データ部と、
対象物の画像を入力し、該入力された対象物の画像を固有空間上の特徴点として投影処理を行い、前記学習データ部に保存されている前記学習画像の特徴点の情報の中でもっとも近い情報を検索して出力する認識処理部と、を備える。
【００１５】
この場合、学習画像生成部は、
対象物の３ＤＣＧ画像を作成する３Ｄ動作画像生成部と、
前記３Ｄ動作画像生成部にて作成された対象物の３ＤＣＧ画像を２次元平面に投影した２Ｄ画像を作成し、対象物の形状の学習画像として出力する２Ｄ画像生成部と、
を備えることとしてもよい。
【００１６】
また、３Ｄ動作画像生成部は、
対象物の３ＤＣＧ基本画像を作成する３Ｄ基本動作画像生成部と、
前記３Ｄ基本動作画像生成部にて作成された１つの３ＤＣＧ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の３ＤＣＧ画像として出力する３Ｄぶれ動作画像生成部と、
を備えることとしてもよい。
【００１７】
また、２Ｄ画像生成部は、
３Ｄ動作画像生成部にて作成された対象物の３ＤＣＧ画像を２次元平面に投影した２Ｄ基本画像を作成する２Ｄ基本画像生成部と、
前記２Ｄ基本画像生成部にて作成された１つの２Ｄ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の形状の学習画像として出力する２Ｄぶれ画像生成部と、
を備えることとしてもよい。
【００１８】
また、３Ｄぶれ動作画像生成部は、対象物の実物のぶれの統計的分布に基いて、３Ｄ基本動作画像生成部にて作成された１つの３ＤＣＧ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の３ＤＣＧ画像として出力することとしてもよい。
【００１９】
また、３Ｄぶれ動作画像生成部は、３Ｄ基本動作画像生成部にて作成された１つの３ＤＣＧ基本画像について、ぶれを与えて変化させた画像を複数作成する際に、時間的な変化を与えることとしてもよい。
【００２０】
本発明の物体認識方法は、対象物の形状の学習画像を作成する学習画像生成ステップと、
前記学習画像生成部にて作成された学習画像のそれぞれを固有空間上の特徴点として投影する処理を行う学習処理ステップと、
前記学習画像の特徴点の情報を保存する学習データステップと、
対象物の画像を入力し、該入力された対象物の画像を固有空間上の特徴点として投影処理を行い、前記学習データ部に保存されている前記学習画像の特徴点の情報の中でもっとも近い情報を検索して出力する認識処理ステップと、を備える。
【００２１】
この場合、学習画像生成ステップは、
対象物の３ＤＣＧ画像を作成する３Ｄ動作画像生成ステップと、
前記３Ｄ動作画像生成部にて作成された対象物の３ＤＣＧ画像を２次元平面に投影した２Ｄ画像を作成し、対象物の形状の学習画像として出力する２Ｄ画像生成ステップと、
を備えることとしてもよい。
【００２２】
また、３Ｄ動作画像生成ステップは、
対象物の３ＤＣＧ基本画像を作成する３ＤＣＧ基本画像生成ステップと、
前記３Ｄ基本動作画像生成部にて作成された１つの３ＤＣＧ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の３ＤＣＧ画像として出力する３Ｄぶれ動作画像生成ステップと、
を備えることとしてもよい。
【００２３】
また、２Ｄ画像生成ステップは、
３Ｄ動作画像生成部にて作成された対象物の３ＤＣＧ画像を２次元平面に投影した２Ｄ基本画像を作成する２Ｄ基本画像生成ステップと、
前記２Ｄ基本画像生成部にて作成された１つの２Ｄ基本画像について、ぶれを与えて変化させた画像を複数作成し、対象物の形状の学習画像として出力する２Ｄぶれ画像生成ステップと、
を備えることとしてもよい。
【発明の効果】
【００２４】
上記のように構成される本発明においては、単一カメラ画像のみから物体を認識するため、装置構成が簡略化される。
【００２５】
物体認識の際に用いる学習データは、対象物の３ＤＣＧから複数の学習画像を作成する構成のものでは、物体を、実際にカメラを用いて多数撮影する必要がなくなるのでこの点からも装置構成を簡略化することができる。
【００２６】
また、３ＤＣＧにぶれを与えて変化させた画像を複数作成するので、学習データを容易かつ大量に準備することができるうえに、オクルージョンによる、対応付けが困難になるという問題が発生することもない。
【図面の簡単な説明】
【００２７】
【図１】本発明による物体認識装置の第１の実施形態の構成を示すブロック図である。
【図２】３Ｄ基本動作画像データから、２Ｄ画像を生成する様子を示す図である。
【図３】固有空間法を説明するための図である。
【図４】固有空間法を説明するための図である。
【図５】図１に示した探索処理部３３で行われる、入力画像の特徴点情報と、固有空間上で最も近い学習画像を探索する状態を示す図である。
【図６】本発明による物体認識装置の第２の実施形態の要部構成を示すブロック図である。
【図７】図６に示した３Ｄぶれ動作画像生成部１１２で行われる３ＤＣＧぶれ動作画像の生成処理を示す図である。
【図８】本発明による物体認識装置の第３の実施形態の要部構成を示すブロック図である。
【図９】図８に示した２Ｄぶれ画像生成部２２２で行われるぶれ情報に応じた２Ｄ画像の生成処理を示す図である。
【図１０】本発明による物体認識装置の第４の実施形態の要部構成を示すブロック図である。
【図１１】本発明による物体認識装置の第５の実施形態の要部構成を示すブロック図である。
【図１２】時間的な変化による３Ｄぶれ画像の生成処理を示す図である。
【図１３】時間的な変化による２Ｄぶれ画像の生成処理を示す図である。
【発明を実施するための形態】
【００２８】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
実施形態１
（３ＤＣＧ作成から２Ｄ見え画像を作成して学習する方法）
図１は本発明による物体認識装置の第１の実施形態の構成を示すブロック図である。
【００２９】
本実施形態の物体認識装置は、３ＤＣＧ作成から２Ｄ見え画像を作成して学習するものであり、手の様々な形状の画像を予め複数枚作成し、それらを入力して学習しておき、認識時に入力された画像に対し、形状が近い手の画像を学習画像から検索するものである。
【００３０】
本実施形態は、大きく分けて学習画像生成部１０、学習処理部２０、認識処理部３０で構成される。本実施形態は、手の認識だけでなく、身体などの形状が変化する物体の動作画像を対象とした認識でも、手のデータを身体のデータに置き換えるだけで、同様に実施できることは容易に考えられるが、以下では手の動作画像を例として説明する。
【００３１】
上記の学習画像生成部１０、学習処理部２０、認識処理部３０は、入力装置、記憶装置、制御装置、および出力装置から構成される一般的なコンピュータシステムを用いて構成される。入力装置としては、キーボードやマウス、さらには画像データを取得するカメラなどが挙げられる。記憶装置としては、ハードディスクや半導体記憶装置、ＤＶＤ−ＲＡＭやＵＳＢメモリなどが挙げられる。出力装置としては、液晶ディスプレイやプリンタなどが挙げられる。
【００３２】
学習画像生成部１０は、３次元（３Ｄ）動作画像生成部１１と、２次元（２Ｄ）画像生成部１２で構成される。
【００３３】
３Ｄ動作画像生成部１１は、３ＤＣＧを作成するツール（またはプログラム）を用いて、手の３ＤＣＧモデルデータ（以下、３ＤＣＧ基本動作画像データと称する）を作成する。
【００３４】
３ＤＣＧ基本動作画像データは、各関節が可動する手の骨格データとその上に肉付けした手のフィギュアデータで構成されるデータであり、ある静止した形状情報だけでなく、動きを伴う時間的な動作情報も含めることができる。
【００３５】
本実施形態では３ＤＣＧ基本動作画像データを学習するデータとするため、動きを伴う３ＤＣＧ基本動作画像データを複数作成するが、そのデータ数をｒとする。
【００３６】
骨格データの具体的な例としては、多くの３Ｄグラフィックソフト（ツール）で汎用に用いられているｂｖｈフォーマットがある。ｂｖｈフォーマットは動作情報も含められる。手のフィギュアデータは、ＣＧで表面を配色して作成したものでも、実際の手の画像を表面に貼り付けたものでもよい。
【００３７】
また、手の骨格データにおける手の形状情報や時間的な動作情報は、ツールで人工的に作成することもできるし、予め別の方法で実際の手の骨格形状情報や動作情報を取得しておき、それらの情報をもとに手の動作を伴う骨格データの情報を作成することも可能である。
【００３８】
予め別の方法で手の骨格形状情報や動作情報を取得する方法としては、一般的なモーションキャプチャシステムの利用や、センサを付けた手袋状のデータグローブなどの装置を利用すれば容易に可能である。
【００３９】
２Ｄ画像生成部１２は、図２に示すように、３Ｄ動作画像生成部１１で得られた３ＤＣＧ基本動作画像データから、１個の動作フレーム毎に、ある視点から見た２次元の見え画像（２次元平面へ投影した２Ｄ画像）を１枚作成する。１個の３ＤＣＧ基本動作画像データに含まれる動作フレーム数をＦとすると、２Ｄ画像もＦ枚生成される。
【００４０】
２Ｄ画像生成部１２で生成された２Ｄ画像群を学習画像データ４０とする。学習画像データ４０は、この後、学習処理部２０におけるデータ処理を経て学習データ５０とされる。画像入力部３１(カメラ）を備える認識処理部３０は、対象物体６０(手）を撮影したデータの処理結果と学習データ５０とから物体の形状や動作を示す検索結果７０を出力する。このため、２Ｄ画像生成部１２により生成される２Ｄ画像の視点の位置は、カメラが手を撮影して入力画像を生成する際のカメラ位置に近い位置がよい。
【００４１】
学習処理部２０は、固有空間生成部２１、画像投影点算出部２２で構成される。
【００４２】
はじめに固有空間法について図３および図４を参照して説明する。予め学習用の複数の２Ｄ画像を用意する。図３に示すように、２次元に画素が並んだ画像データを１次元のベクトルに変換する。複数の２Ｄ画像群から得られた複数の１次元ベクトル群から共分散行列を求め、主成分分析して固有値と固有ベクトルを求める。得られた固有ベクトルの中で、固有値が大きいものから順に少数の固有値を選び、選んだ少数の固有値に対応する固有ベクトルを基底とする固有空間を構成する。
【００４３】
図４に示すように、２Ｄ画像を当該固有空間へ投影すると固有空間上では１個の点（特徴点）となるので、学習用の２Ｄ画像群すべてを投影すると点群となる。認識時には、認識したい１個の２次元画像を入力し、同様に１次元ベクトルに変換し、当該固有空間に投影すると固有空間上で１点となるが、この点と既に学習した点群との間で位置が近い点（すなわち学習画像）を探し出すことにより認識を行うことができる。
【００４４】
２Ｄ画像は画素数（例えば１２８×１２８の画像ならば１６３８４画素）に相当する次元数（１６３８４次元）を持った情報となるが、固有空間法では選んだ固有値の数（例えば１０個）に相当する次元数（１０次元）の情報に圧縮することができるため、認識のための処理時間を大幅に短縮することが可能である。
【００４５】
次に、パラメトリック固有空間法について説明する。物体は見る方向、照明、動作などにより見かけが大きく変化する。そこで様々に変化する見かけ画像をまとめて固有空間表現で表して認識に用いる方法がパラメトリック固有空間法である。
【００４６】
パラメトリック固有空間法では、学習段階では、最初に、認識するべき物体を様々なパラメータ（方向、照明条件、時間的な動きなど）で体系的に撮影する。それを学習パターンとして主成分分析を行い、固有値、固有ベクトル（固有空間）を計算する。
【００４７】
次に、各学習パターンを固有空間に投影し、その特徴点を記憶する。物体の見かけ画像の連続的な変化は、固有空間上の点の連続的な軌跡になることから、特徴点間を補間することで、中間的な画像の認識もできる。
【００４８】
認識段階では、未知の画像を当該固有空間に投影し、その投影された特徴点が予め作成した軌跡の上に存在すれば、その物体とし、そうでなければその物体では無いとする。軌跡は物体のパラメータ（方向、照明条件、時間的な動きなど）の情報を持っているので、その情報を抽出することにより、物体の各種パラメータの検出も行うことができる。パラメトリック固有空間法については、非特許文献４（村瀬  洋、シュリー  ナイヤー「２次元照合による３次元物体認識−パラメトリック固有空間法−」電子情報通信学会論文誌 D-II Vol. J77-D-II No.11 pp.2179-2187  1994年11月）に詳細が記述されている。
【００４９】
固有空間生成部２１は、前述の固有空間法に基づき、２Ｄ画像生成部１２で生成された複数の２Ｄ画像を含む学習画像データ４０を入力し、固有空間情報である固有値及び固有ベクトルを生成する。得られた固有ベクトルのうち、固有値が大きいものから順に予め定めた数（Ｋ個とする）だけの固有値を選び、選んだ固有値（Ｋ個）に各々対応する固有ベクトル（Ｋ個）を基底とする固有空間（Ｋ個の軸を持つＫ次元空間となる）を構成する。構成したＫ次元の固有空間情報（選んだＫ個の固有ベクトルの情報）を画像投影点算出部２２へ送る。
【００５０】
画像投影点算出部２２は、学習用に用意した２Ｄ画像（学習画像）を各々当該固有空間へ投影する演算処理を行う。固有空間上では１個の２Ｄ画像は１個の点（特徴点）に投影されるので、図４に示すように、学習用の２Ｄ画像群すべてを投影すると点群となる。例えば、Ｎ個の学習用２Ｄ画像のうちｉ番目（０≦ｉ≦Ｎ−１）の２Ｄ画像をラスタスキャンして１次元ベクトルにした学習画像ベクトルをＸi＝（ｘi,0,…，ｘi,MAGESIZE-1）とする。
【００５１】
ＩＭＡＧＥＳＩＺＥは２Ｄ画像の全画素数である。固有空間はＫ次元空間であるので、２Ｄ画像Ｘiを投影した特徴点Ｅiの座標は、Ｅi＝（ｅi,0,…，ｅi,K-1）となる。ＩＭＡＧＥＳＩＺＥに比べＫは十分小さくてよい（例えば、画像が１２８×１２８でＩＭＡＧＥＳＩＺＥ＝１６３８４だが、Ｋは１０程度でよい）ので、情報量及び演算処理量が削減される。これらＮ個の２Ｄ画像の投影により得られたＮ個の特徴点情報（Ｋ次元座標値）を出力し、学習データとして保存する。
【００５２】
認識処理部３０は、画像入力部３１、画像投影点算出部３２、探索処理部３３で構成される。
【００５３】
画像入力部３１は、動画または静止画を撮影できるカメラでよい。対象物体６０として手を撮影し、得られた動画中の１個の２Ｄ画像（静止画の場合も撮影した２Ｄ画像）を取り込み、画像投影点算出部３２へ送る。
【００５４】
画像投影点算出部３２は、学習処理部２０における画像投影点算出部２２と同様の処理方法により、入力された１個の２Ｄ画像（入力画像）を固有空間へ投影する演算処理を行う。
【００５５】
固有空間は学習処理で得られたＫ次元固有空間である。入力画像をラスタスキャンして１次元ベクトルにした入力画像ベクトルをＸIN＝（ｘIN,0,…，ｘIN,MAGESIZE-1）とすると、当該固有空間へ投影した特徴点ＥINの座標は、ＥIN＝（ｅIN,0,…，ｅIN,K-1）となる。画像投影点算出部３２は、得られた特徴点ＥINの情報（Ｋ次元座標値）を探索処理部３３へ送る。
【００５６】
探索処理部３３は、図５に示すように、保存されている学習データ（Ｎ個の学習画像に対応した特徴点情報）の中から、入力画像の特徴点情報と、当該固有空間上で最も近い学習画像を探索する。具体的な方法としては、例えば入力画像のＫ次元座標ＥINと、学習画像のＫ次元座標Ｅiとの距離Ｄiを求め、最近傍の学習画像を探せばよい。距離は例えば、
【００５７】
【数１】
2010211732.tif 000003
【００５８】
などの計算により求めることができる。例１は、単純な演算であるため、処理時間が短くて済むが、マンハッタン距離のため、距離の精度が少し劣ることがある。
【００５９】
例２は２乗和であるので、Ｎ次元空間中での直線距離の２乗を表しており、正確な距離に対応している。
【００６０】
例３は２乗和のＫ乗根であり、実際の距離となるが、処理時間が大きくなるため実用的には例１または例２で演算すればよい。
【００６１】
求められたＮ個の距離Ｄiの中で最小値を持つ学習画像Ｘiを探す。このとき、最小値を持つ１個だけを抽出してもよいし、最小値の１個だけでなく、小さい順に複数個の学習画像を候補として抽出してもよい。
【００６２】
探索処理で抽出された学習画像が入力画像に近い画像と認識されたことになるので、その抽出された学習画像を探索結果７０として出力する。
【００６３】
学習処理において出力される学習データにおいて、そのデータ構造を木構造で構築しておくことにより、探索処理の際に効率よく探索を行うことができる。具体的なデータ構造としては、例えば一般によく使われているｋ次元の木構造を用いたｋｄ−ｔｒｅｅなどがあり、これを使えば探索処理時にＮ個の全数探索（Ｏ（Ｎ））を必ず行う必要がなくなり、Ｏ（ｌｏｇＮ）での処理時間となり大幅に処理時間を短縮できる。
【００６４】
実施形態２
（３Ｄぶれモデルによる生成型学習）
図６は本発明による物体認識装置の第２の実施形態の要部構成を示すブロック図である。
【００６５】
本実施形態の装置は、第１の実施形態の装置と同様に、予め手の動作の画像を複数枚作成して学習し、入力画像と形状が近い手の画像を学習画像から検索する装置であり、大きく分けて学習画像生成部１００、図１に示した学習処理部２０、図１に示した認識処理部３０で構成される。
【００６６】
学習処理部２０及び認識処理部３０については、実施形態１と同様に実現できるので説明および図示は省略する。また、第１の実施形態と同様に、手の認識だけでなく、身体などの形状が変化する物体の動作画像を対象とした認識でも、手のデータを身体のデータに置き換えるだけで、同様に実施できることは容易に考えられるが、以下では手の動作画像を例として説明する。
【００６７】
学習画像生成部１００は、実施形態１と同様に、３Ｄ動作画像生成部１１０と、２Ｄ画像生成部１２０で構成される。
【００６８】
本実施形態では、学習画像生成部１００における３Ｄ動作画像生成部１１０において、手の３次元動作を３ＤＣＧアニメーションで複数生成する際に、初めに生成した１個または複数個の３ＤＣＧアニメーションの３次元形状情報をベースにして、各々に対してぶれを与えて変化させた３ＤＣＧアニメーションを複数生成させる。
【００６９】
３Ｄ動作画像生成部１１０は、３Ｄ基本動作画像生成部１１１と、３Ｄぶれ動作画像生成部１１２で構成される。また、本実施形態は、さまざまなぶれ情報を格納する３Ｄぶれデータ１３０を備えている。
【００７０】
３Ｄ基本動作画像生成部１１１は、実施形態１と同様に、３ＤＣＧツールを用いて、手の３Ｄ基本動作画像データを作成する。３ＤＣＧ基本動作画像データは、各関節が可動する手の骨格データとその上に肉付けした手のフィギュアデータで構成されるデータで、静止した形状情報に加え動作情報も含められる。これにより、３ＤＣＧ基本動作画像データを、ｒ個作成する。
【００７１】
３Ｄぶれ動作画像生成部１１２は、図７に示すように、３Ｄ基本動作画像生成部１１１により得られた３ＤＣＧ基本動作画像データをベース画像とし、３Ｄぶれデータ１３０より与えられるさまざまなぶれ情報に応じて新たな３ＤＣＧ動作画像（３ＤＣＧぶれ動作画像とする）を多数生成させる処理を行う。
【００７２】
３ＤＣＧぶれ動作画像の作成を複数の３ＤＣＧ基本動作画像データに対して各々行うことにより、少ないベース画像から大量の学習画像データを作成することが可能になる。例えば、１０個の３ＤＣＧ基本動作画像の各々について、１０００個の画像を生成すれば、合計１００００個の学習データを作成することができるようになる。
【００７３】
一般に学習データは多い方が認識率は高くなりやすいが、学習データを多くすることは手間がかかる。これに対し、ベースとなる学習データは少しの数だけ作成し、それをベースに学習データを大量に増やせるので、学習データ準備の手間が大幅に削減できる。
【００７４】
３Ｄぶれデータ１３０に格納されるぶれ情報の例としては、手の画像の学習・認識の場合とすると、骨格データの変形として、手の指の関節の曲げ角度の変化、指の骨の長さの変化、などが挙げられる。手の指の関節は複数あり、骨格データが持つ指関節の曲げ角度情報について、３ＤＣＧ基本動作画像データが持つ指関節の曲げ角度を微小変化させることで、異なる手の形状を多数作成することができる。指関節の自由度は各々３自由度（ｘｙｚ軸３種類の回転量）とすると、各関節毎に様々な微小変化を与えることができる。
【００７５】
各自由度（回転量）毎の変化量の与え方は、例えば、最大のぶれ幅を規定してその範囲内をランダムにぶれさせる方法が考えられる。その最大ぶれ幅の大きさもランダムに変化させてもよい。また、ランダムではなく、ベース画像での指関節の曲げ角度を中心とした統計的分布（正規分布等）に従って、ぶれの量を与える方法も考えられる。さらに、これらのぶれは、関節の自由度毎に個別に変化を与えてもよいし、他の指関節と連動させた値としてもよい。
【００７６】
また、骨格データの変形のぶれの別の例として、指の骨の長さを変化させることで、異なる手の形状を多数作成することができる。指の骨の長さのぶれの与え方としては、例えばベース画像における指の長さを中心に微小に伸縮させる。
【００７７】
伸縮の仕方は、前述の曲げ角度と同様な方法で、最大のぶれ幅を規定しその範囲内をランダムにぶれさせる方法（最大ぶれ幅もランダムに変化させてもよい）や、ランダムではなく統計的分布（正規分布等）に従って長さの変化量を与える方法などが考えられる。さらにこれらは、指毎に個別に変化を与えてもよいし、他の指と連動して（例えばすべての指を１．２倍伸ばすなど）変化を与えてもよい。
【００７８】
一方、骨格データの変形だけでなく、フィギュアデータの変形も各種考えられる。例えば、指の太さを変化させることや、手表面の皮膚のしわなどの模様を変化させることや、色を変化させることや、照明変化による手表面の陰影を変化させることなど、様々な例が容易に考えられる。これらはいずれも、前述の骨格データの場合と同じように、各々の持つパラメータをランダムまたは統計的分布に従って変化させればよい。
【００７９】
他に、３次元の形状データは変化させずに、３ＤＣＧのデータ上で、手全体の位置を平行移動（３自由度）または回転移動（３自由度）させることも考えられる。これにより、次の処理で２Ｄへ投影した際に、異なる２Ｄ画像にすることができる。また、３ＤＣＧのデータとして、照明の位置や個数、照明のパラメータ（色合いや強さなど）を変化させることにより、照明変化による手表面の陰影や色合いを変化させることも容易に考えられる。
【００８０】
さらに、これら様々なぶれ生成の種類は、組み合わせることで、非常に多くの組み合わせをもつことができ、１個のベース画像（３ＤＣＧ基本動作画像）から、膨大な数の異なる学習データ（３ＤＣＧぶれ動作画像）を容易に生成させることができる。３ＤＣＧ基本動作画像と、ぶれ生成処理により得られた多数の３ＤＣＧぶれ動作画像は、次の２Ｄ画像生成部１２０へ送られる。
【００８１】
２Ｄ画像生成部１２０は、第１の実施形態と同様に、作成した複数の３ＤＣＧアニメーション（３ＤＣＧ動作画像）から手の２Ｄ画像を複数生成すればよい。この時、初めに生成した３ＤＣＧ動作画像も、ぶれを与えて生成した３ＤＣＧぶれ動作画像もすべて用いる。得られた多数の２Ｄ画像は、学習画像データ１４０として保存する。
【００８２】
これらにより、初めに作成するベースとなる３ＤＣＧ基本動作画像は、１個もしくは少数しか用意していなくても、ぶれを与えて多数の学習データを利用することができる。そのため、学習データの生成にかかる処理が少なくて済むことと、制限無く多くの学習データを作成することができ認識率が向上する可能性があることなどの大きな利点がある。
【００８３】
実施形態３
（２Ｄぶれモデルによる生成型学習）
図８は、本発明による物体認識装置の第３の実施形態の要部構成を示すブロック図である。
【００８４】
本実施形態の装置は、第１の実施形態および第２の実施形態と同様に、予め手の動作の画像を複数枚作成して学習し、入力画像と形状が近い手の画像を学習画像から検索する装置であり、大きく分けて学習画像生成部２００、図１に示した学習処理部２０、図１に示した認識処理部３０で構成される。
【００８５】
学習処理部２０及び認識処理部３０については、実施形態１と同様に実現できるので本実施形態の説明および図示は省略する。また、第１の実施形態と同様に、手の認識だけでなく、身体などの形状が変化する物体の動作画像を対象とした認識でも、手のデータを身体のデータに置き換えるだけで、同様に実施できることは容易に考えられるが、以下では手の動作画像を例として説明する。
【００８６】
学習画像生成部２００は、第１の実施形態および第２の実施形態と同様に、３Ｄ動作画像生成部２１０と、２Ｄ画像生成部２２０で構成される。また、本実施形態は、さまざまなぶれ情報を格納する２Ｄぶれデータ２３０を備えている。
【００８７】
本実施形態では、学習画像生成部２００における２Ｄ画像生成部２２０において、３Ｄ動作画像生成部２１０で得られた３ＤＣＧ動作画像データから、２次元の見え画像（２次元平面へ投影した２Ｄ画像）を作成する際に、初めに生成した２Ｄ画像（２Ｄ基本画像）をベースにして、各々の２Ｄ画像に対しぶれを与えて変化させた２Ｄ画像（２Ｄぶれ画像）を複数生成させる。
【００８８】
２Ｄ画像生成部２２０は、２Ｄ基本画像生成部２２１と、２Ｄぶれ画像生成部２２２で構成される。
【００８９】
２Ｄ基本画像生成部２２１は、第２の実施形態と同様に、３ＤＣＧ動作画像生成部２１０で得られた３ＤＣＧ動作画像データから、２次元の見え画像（２次元平面へ投影した２Ｄ画像）を作成する。
【００９０】
２Ｄぶれ画像生成部２２２は、図９に示すように、２Ｄ基本画像生成部２２１が生成した２Ｄ基本画像をベース画像とし、２Ｄぶれデータ２３０より与えられるさまざまなぶれ情報に応じて新たな２Ｄ画像を多数生成させる処理を行う。
【００９１】
２Ｄ基本画像をベース画像として、新たな２Ｄ画像を多数生成させることを２Ｄ基本画像の各々に対して行うことにより、少ないベース画像から大量の学習画像データを作成することが可能になる。
【００９２】
第２の実施形態と同様に、少量の２Ｄ基本画像をベースに学習データを大量に増やせるので、学習データを準備する手間を大幅に削減することができる。
【００９３】
さらに、第２の実施形態で示したぶれ画像の生成と組み合わせれば、さらに学習データを容易に増大させることができる。
【００９４】
２Ｄぶれデータに格納される２Ｄ画像におけるぶれ情報の例としては、画像の解像度を変化させること、コントラストや明るさや色合いなどを各々変化させること、画像処理によるフィルタリング処理を行うこと（ぼけ処理、先鋭化処理など）、画像処理によりノイズを付加することやノイズを除くこと、など様々な方法が考えられる。
【００９５】
また、これらのぶれ処理方法を複数組み合わせることで、さらに多くの学習画像を作成することができる。
【００９６】
２Ｄ画像生成部２２０で生成された２Ｄ基本画像及び２Ｄぶれ画像を含むこれら２Ｄ画像群を学習画像データ２４０とする。
【００９７】
これらにより、実施例１と同様に、初めに作成するベース画像が少数しかなくても、ぶれを与えて多数の学習データを作成して利用することができる。そのため、学習データの生成にかかる処理が少なくて済むことと、制限無く多くの学習データを作成することができ認識率が向上する可能性があることなどの大きな利点がある。
【００９８】
実施形態４
（３Ｄぶれにおける実ぶれ分布データの適用）
図１０は、本発明による物体認識装置の第４の実施形態の要部構成を示すブロック図である。
【００９９】
本実施形態の装置は、第１の実施形態ないし第３の実施形態と同様に、予め手の動作の画像を複数枚作成し学習し、入力画像と形状が近い手の画像を学習画像から検索する装置であり、大きく分けて学習画像生成部３００、図１に示した学習処理部２０、図１に示した認識処理部３０で構成される。
【０１００】
学習処理部２０及び認識処理部３０については、実施形態１と同様に実現できるので本実施形態の説明および図示は省略する。また、第１の実施形態と同様に、手の認識だけでなく、身体などの形状が変化する物体の動作画像を対象とした認識でも、手のデータを身体のデータに置き換えるだけで、同様に実施できることは容易に考えられるが、以下では手の動作画像を例として説明する。
【０１０１】
学習画像生成部は、第１の実施形態ないし第３の実施形態と同様に、３Ｄ動作画像生成部３１０と、２Ｄ画像生成部３２０で構成され、３Ｄ動作画像生成部３１０は、３Ｄ基本動作画像生成部３１１と、３Ｄぶれ動作画像生成部３１２で構成される。また、本実施形態は、３Ｄ実測ぶれ分布情報３３０および３Ｄぶれデータ３４０を備えている。
【０１０２】
３Ｄぶれデータ３４０は図６に示した３Ｄぶれデータ１３０と同様のものである。３Ｄ実測ぶれ分布情報３３０は、実際に存在する本物の物体（手）が持つ３次元画像上でのぶれの統計的分布である。
【０１０３】
本実施形態では、学習画像生成部の３Ｄ動作画像生成部３１０の３Ｄぶれ動作画像生成部３１２において、３Ｄ基本動作画像生成部３１１が生成した３Ｄ基本動作画像をベースに、３Ｄぶれデータ３４０より与えられるぶれ情報を用いることで３Ｄぶれ動作画像を多数生成する際に、３Ｄ実測ぶれ分布情報３３０を用いる。
【０１０４】
具体的には、第２の実施形態で示したぶれ情報の例として、骨格データの変形（手の指の関節の曲げ角度の変化、指の骨の長さの変化など）や、フィギュアデータの変形（指の太さを変化させることや、手表面の色などを変化させることなど）があるが、それらを変化させる際に、３Ｄ実測ぶれ分布情報３３０が格納する、予め調べた実在する本物の手の形状や色や動作などの統計的な分布をぶれ情報として与える。
【０１０５】
例えば、指関節の曲げ角度の場合で考えると、ある指関節において、予め実際の手の３Ｄ形状を多数抽出しておく。サイバーグローブなどの市販ツールを使うことで、多人数、多数回の手の形状や動作情報を採集することは容易に可能である。
【０１０６】
得られた複数の手の実形状データから、指関節の曲げ角度の分布に関する情報（平均値や分散など）を抽出しておく。その後、学習画像生成時において、３Ｄ基本動作画像が持つ該指関節の曲げ角度（または実測で得られた平均値の曲げ角度）を中心として、実測した曲げ角度分布を与えて複数の曲げ角度を統計的に生成させることができる。これをすべての指関節で各々同様の手段で得られた３Ｄ実測ぶれ分布情報３３０を利用して、３Ｄぶれ動作画像を生成すればよい。
【０１０７】
また、これは指の曲げ角度の例であるが、指の骨の長さの変化や、フィギュアデータにおける指の太さの変化や、手表面の色などを変化させることなどにおいても、同様に手の形状や色のデータを予め実測により多数取得しそれぞれ分布を求めておくことにより、各実測ぶれ分布情報を用いて３Ｄぶれ動作画像を生成することは容易に可能である。
【０１０８】
ぶれ生成処理により得られた多数の３ＤＣＧぶれ動作画像は、次の２Ｄ画像生成部１２０へ送られる。
【０１０９】
２Ｄ画像生成部３２０は、第２の実施形態と同様に、作成した複数の３ＤＣＧアニメーション（３ＤＣＧ動作画像）から手の２Ｄ画像を複数生成すればよい。この時、初めに生成した３ＤＣＧ動作画像も、ぶれを与えて生成した３ＤＣＧぶれ動作画像もすべて用いる。得られた多数の２Ｄ画像は、学習画像データ３５０として保存する。
【０１１０】
このように、実際の手を用いた実測分布を用いることにより、より現実的で正確な２Ｄぶれ画像を学習データ３５０として作成でき、その結果として認識率の向上が期待できる利点がある。
【０１１１】
実施形態５
（３Ｄぶれ・２Ｄぶれにおける時間方向のぶれモデル）
図１１は、本発明による物体認識装置の第５の実施形態の要部構成を示すブロック図である。
【０１１２】
本実施形態の装置は、第１の実施形態ないし第４の実施形態の装置と同様に、予め手の動作の画像を複数枚作成して学習し、入力画像と形状が近い手の画像を学習画像から検索する装置であり、大きく分けて学習画像生成部４００、図１に示した学習処理部２０、図１に示した認識処理部３０で構成される。
【０１１３】
学習処理部２０及び認識処理部３０については、実施形態１と同様に実現できるので本実施形態の説明および図示は省略する。
【０１１４】
学習画像生成部４００は、第１の実施形態ないし第４の実施形態の装置と同様に、３Ｄ動作画像生成部４１０と、２Ｄ画像生成部４２０で構成される。３Ｄ動作画像生成部４１０は３Ｄ基本動作画像生成部４１１と３Ｄぶれ動作画像生成部４１２から構成され、２Ｄ画像生成部４２０は２Ｄ基本画像生成部４２１と２Ｄぶれ画像生成部４２２から構成されている。
【０１１５】
また、第１の実施形態と同様に、手の認識だけでなく、身体などの形状が変化する物体の動作画像を対象とした認識でも、手のデータを身体のデータに置き換えるだけで、同様に実施できることは容易に考えられるが、以下では手の動作画像を例として説明する。
【０１１６】
第２の実施形態および第４の実施形態のように、３Ｄ動作画像生成部４１０を、３Ｄ基本動作画像生成部４１１と３Ｄぶれ動作画像生成部４１２で構成し、３Ｄ動作画像にぶれを与えて画像を変化させて３Ｄぶれ動作画像を複数生成する際に、ぶれとして時間的な変化を与える。
【０１１７】
時間的な変化とは、例えば、３Ｄ基本動作画像の１連の動作において、物体の動作速度が、動作の途中で変化する場合が考えられる。例えば、手を回す動作を例にとると、回す速度を全フレームに渡って一律に遅くしたり、または速くしたりすることが考えられる。
【０１１８】
その結果、図１２に示すように、同じフレーム番号を持つ３Ｄ基本動作画像と３Ｄぶれ動作画像同士を比べると、回転位置が異なった３Ｄ画像となり、これがフレーム毎のぶれとなる。動作は回すだけでなく、手を開く閉じる動作や、指関節毎に任意に異なる動作でも同様である。また、それらの動作の変化は、全フレーム一律に変化させるだけでなく、フレーム単位で変化量を個別に変えて（動作速度を変えて）もよい。
【０１１９】
さらに、第４の実施形態のように、その時間的なぶれの与え方については、実際の手を用いた時間的なぶれに関する実測分布を用いることにより、より現実的で正確な時間的ぶれをともなう画像を学習データとして作成でき、その結果として認識率の向上が期待できる利点がある。
【０１２０】
また、第３の実施形態のように、２Ｄ画像生成部４２０を、２Ｄ基本画像生成部４２１と２Ｄぶれ画像生成部４２２で構成し、２Ｄ画像にぶれを与えて画像を変化させて２Ｄぶれ画像を複数生成する際にも、ぶれとして時間的な変化を与えることが考えられる。
【０１２１】
時間的な変化とは、例えば２Ｄ基本画像の１連の動作において、物体の動作速度が、動作の途中で変化する場合、例えば、手を回す動作を例にとると、回す速度を全フレームに渡って一律に遅くしたり、または速くしたりすることが考えられる。
【０１２２】
その結果、図１３に示すように、同じフレーム番号を持つ２Ｄ基本画像と２Ｄぶれ画像同士を比べると、回転位置が異なった３Ｄ画像となり、これがフレーム毎のぶれとなる。動作は回すだけでなく、手を開く閉じる動作や、指関節毎に任意に異なる動作でも同様である。また、それらの動作の変化は、全フレーム一律に変化させるだけでなく、フレーム単位で変化量を個別に変えて（動作速度を変えて）もよい。得られた多数の２Ｄ画像は、学習画像データ４３０として保存する。
【０１２３】
上記のように構成される本実施形態においては、１つの３Ｄ動作画像から複数の３Ｄぶれ動作画像が作成され、さらに複数の３Ｄぶれ動作画像のそれぞれについて２Ｄぶれ画像が複数作成されるので、より多くの学習データを作成することができる。
【０１２４】
また、手の動作における時間的な変化をぶれとして与えることによっても、より多くの学習データを作成できる。このため、第２ないし第４の実施形態でのぶれ画像の作成を時間的な変化をぶれとして与えることにより行うこととしてもよい。
【０１２５】
より多くの学習データを用いることにより、その結果として認識率の向上を期待できる利点がある。
【符号の説明】
【０１２６】
１０    学習画像生成部
１１    ３Ｄ動作画像生成部
１２    ２Ｄ画像生成部
２０    学習処理部
２１    固有空間生成部
２２    画像投影点算出部
３０    認識処理部
３１    画像入力部
３２    画像投影点算出部
３３    探索処理部
４０    学習画像データ
５０    学習データ
６０    対象物体
７０    探索結果
【図１】
2010211732.tif 000004
【図２】
2010211732.tif 000005
【図３】
2010211732.tif 000006
【図４】
2010211732.tif 000007
【図５】
2010211732.tif 000008
【図６】
2010211732.tif 000009
【図７】
2010211732.tif 000010
【図８】
2010211732.tif 000011
【図９】
2010211732.tif 000012
【図１０】
2010211732.tif 000013
【図１１】
2010211732.tif 000014
【図１２】
2010211732.tif 000015
【図１３】
2010211732.tif 000016