(57)【特許請求の範囲】
【請求項１】
各画素値が奥行き方向の距離値を示す第１の距離画像と第２の距離画像を時系列で取得する第１のステップと、
前記第１及び第２の距離画像を任意の大きさの小領域に分割する第２のステップと、
前記第１及び第２の距離画像間で最も類似する小領域を求める第３のステップと、
前記第１及び第２の距離画像間で前記最も類似する各小領域について、当該小領域内の画素値の代表画素値を算出する第４のステップと、
前記最も類似する各小領域の代表画素値の差分を算出して、奥行き方向の動き量を求める第５のステップと、
前記第１及び第２の距離画像上での前記最も類似する各小領域の位置の差異から、平面方向動きベクトルを算出する第６のステップと、
を有することを特徴とする動き検出方法。
【請求項２】
各画素値が奥行き方向の距離値を示す第１の距離画像と第２の距離画像を時系列で取得する第１のステップと、
前記第１及び第２の距離画像を任意の大きさの小領域に分割する第２のステップと、
前記第１及び第２の距離画像の各小領域について、当該小領域内の画素値の代表画素値を算出する第３のステップと、
前記第１の距離画像の第１の小領域の前記代表画素値と、前記第２の距離画像内の前記第１の小領域の周辺の複数の小領域のそれぞれの前記代表画素値とが等しくなるように、当該複数の小領域のそれぞれの各画素値を補正する第４のステップと、
各画素値の補正された前記複数の小領域のなかから、前記第１の距離画像の前記第１の小領域と最も類似する第２の小領域を求める第５のステップと、
前記第１の距離画像上での前記第１の小領域の位置と前記第２の距離画像上での前記第２の小領域の位置との差異から、平面方向動きベクトルを算出する第６のステップと、
前記第１の距離画像の前記第１の小領域の前記代表画素値と前記第２の距離画像の前記第２の小領域の前記代表画素値との差分を算出して、奥行き方向の動き量を求める第７のステップと、
を有することを特徴とする動き検出方法。
【請求項３】
前記第１のステップは、撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から、各画素値が奥行き方向の距離値を示す距離画像を生成する画像生成手段とを含む画像取得装置で、第１の距離画像と第２の距離画像を時系列で取得することを特徴とする請求項１または請求項２記載の動き検出方法。
【請求項４】
前記第５及び第６のステップで各小領域から算出された平面方向動きベクトル及び奥行き方向の動き量から、前記撮像対象の動きを認識する第７のステップをさらに有することを特徴とする請求項１記載の動き検出方法。
【請求項５】
前記第６及び第７のステップで各小領域から検出された平面方向動きベクトル及び奥行き方向の動き量から、前記撮像対象の動きを認識する第８のステップをさらに有することを特徴とする請求項２記載の動き検出方法。
【請求項６】
各画素値が奥行き方向の距離値を示す距離画像を生成する距離画像生成手段と、
前記距離画像生成手段で生成された、時系列の第１の距離画像と第２の距離画像を任意の大きさの小領域に分割する分割手段と、
前記第１及び第２の距離画像間で最も類似する小領域を求める手段と、
前記第１及び第２の距離画像間で前記最も類似する各小領域について、当該小領域内の画素値の代表画素値を算出する手段と、
前記最も類似する各小領域の代表画素値の差分を算出して、奥行き方向の動き量を求める手段と、
前記第１及び第２の距離画像上での前記最も類似する各小領域の位置の差異から、平面方向動きベクトルを算出する手段と、
を具備したことを特徴とする動き検出装置。
【請求項７】
各画素値が奥行き方向の距離値を示す距離画像を生成する距離画像生成手段と、
前記距離画像生成手段で生成された、時系列の第１の距離画像と第２の距離画像を任意の大きさの小領域に分割する分割手段と、
前記第１及び第２の距離画像の各小領域について、当該小領域内の画素値の代表画素値を算出する手段と、
前記第１の距離画像の第１の小領域の前記代表画素値と、前記第２の距離画像内の前記第１の小領域の周辺の複数の小領域のそれぞれの前記代表画素値とが等しくなるように、当該複数の小領域のそれぞれの各画素値を補正する手段と、
各画素値の補正された前記複数の小領域のなかから、前記第１の距離画像の前記第１の小領域と最も類似する第２の小領域を求める手段と、
前記第１の距離画像上での前記第１の小領域の位置と前記第２の距離画像上での前記第２の小領域の位置との差異から、平面方向動きベクトルを算出する手段と、
前記第１の距離画像の前記第１の小領域の前記代表画素値と前記第２の距離画像の前記第２の小領域の前記代表画素値との差分を算出して、奥行き方向の動き量を求める手段と、
を具備したことを特徴とする動き検出装置。
【請求項８】
更に、撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段とを具備し、
距離画像生成手段は、前記受光手段で受光された反射光の強度分布から各画素値が奥行き方向の距離値を示す距離画像を生成することを特徴とする請求項６または請求項７記載の動き検出装置。
【請求項９】
前記第１及び第２の距離画像の各小領域のから算出された平面方向動きベクトル及び奥行き方向の動き量から、前記撮像対象の動きを認識する手段をさらに具備したことを特徴とする請求項６記載の動き検出装置。
【請求項１０】
前記第１及び第２の距離画像の各小領域のから算出された平面方向動きベクトル及び奥行き方向の動き量から、前記撮像対象の動きを認識する手段をさらに具備したことを特徴とする請求項７記載の動き検出装置。
【請求項１１】
各画素値が奥行き方向の距離値を示す距離画像を生成する距離画像生成手段を備えるコンピュータに、
前記距離画像生成手段で取得された、時系列の第１の距離画像と第２の距離画像を任意の大きさの小領域に分割する第１のステップと、
前記第１及び第２の距離画像間で最も類似する小領域を求める第２のステップと、
前記第１及び第２の距離画像間で前記最も類似する各小領域について、当該小領域内の画素値の代表画素値を算出する第３のステップと、
前記最も類似する各小領域の代表画素値の差分を算出して、奥行き方向の動き量を求める第４のステップと、
前記第１及び第２の距離画像上での前記最も類似する各小領域の位置の差異から、平面方向動きベクトルを算出する第５のステップと、
を実行させるプログラムを記録した機械読み取り可能な記録媒体。
【請求項１２】
各画素値が奥行き方向の距離値を示す距離画像を生成する距離画像生成手段を備えるコンピュータに、
前記距離画像生成手段で取得された、時系列の第１の距離画像と第２の距離画像を任意の大きさの小領域に分割する第１のステップと、
前記第１及び第２の距離画像の各小領域について、当該小領域内の画素値の代表画素値を算出する第２のステップと、
前記第１の距離画像の第１の小領域の前記代表画素値と、前記第２の距離画像内の前記第１の小領域の周辺の複数の小領域のそれぞれの前記代表画素値とが等しくなるように、当該複数の小領域のそれぞれの各画素値を補正する第３のステップと、
各画素値の補正された前記複数の小領域のなかから、前記第１の距離画像の前記第１の小領域と最も類似する第２の小領域を求める第４のステップと、
前記第１の距離画像上での前記第１の小領域の位置と前記第２の距離画像上での前記第２の小領域の位置との差異から、平面方向動きベクトルを算出する第５のステップと、
前記第１の距離画像の前記第１の小領域の前記代表画素値と前記第２の距離画像の前記第２の小領域の前記代表画素値との差分を算出して、奥行き方向の動き量を求める第６のステップと、
を実行させるプログラムを記録した機械読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、平面方向のみならず、奥行き方向の動きを検出する動き検出方法およびそれを用いた動き検出装置に関する。
【０００２】
また、本発明は、平面方向のみならず、奥行き方向の動きを検出して、その動きを認識する動き認識方法およびそれを用いた動き認識装置に関する。
【０００３】
【従来の技術】
従来、ビデオカメラなどの撮像装置を用いて、認識対象物の動きを抽出しようとした場合、以下のような方法が取られていた。
【０００４】
まず１つ目は、オプティカルフローと呼ばれる手法である。これは、特定のブロック画像に着目し、隣り合うフレーム間で、ある着目画像領域が平面内でどの方角に動いたかを計測し、その方向を推定するものである。次フレームにおける対象画像の移動方向を特定するには、時系列的に隣り合うフレーム間で類似度を算出する方法が代表的である。対象画像領域近傍で同じサイズのブロック画像を対象に前フレームにおける着目ブロック画像との相関係数を計算し、その係数の最も高いブロックへの方向が動きベクトルとして推定される。
【０００５】
この技術は人間の顔のトラッキングなどロボットビジョンの分野では広く利用されており、相関係数の計算はハードウェア化が容易なため、相関係数を計算する特殊なアクセラレータボードを付加することでリアルタイムなトラッキングも可能となっている。この手法は、着目ブロック画像が２次元的に大きく変化しない場合、かなりの精度で平面方向の動き成分を抽出することが可能であるが、対象画像はビデオカメラなどで取得した２次元画像であるため、奥行き方向を含めた３次元的な動き情報は検出できていない。
【０００６】
また、オプティカルフローの展開例として、隣り合うピクセル間で差分情報をハード的に抽出することで、動きベクトルを推定するセンサも登場してきている。リアルタイムに動き成分がとれることからゲームなどのエンターテイメント分野、あるいは監視システムに利用されつつある。この場合も、ピクセルレベルでの２次元的動き情報は抽出されるが、奥行き方向の動き情報は抽出することが不可能である。
【０００７】
別の手法としては、画像全体を対象とした動きの検出以外にも、画像中の特徴点をトラッキングするという手法もある。たとえば、手先の動きをトラッキングする場合を考えてみる。この場合、まず複数のカメラから撮像した手の取得画像から、手先に相当する部分を特徴点として定義し、その３次元位置情報を検出することが必要になる。そのためには、まず各カメラで同時期に取得された画像から特徴点（手先）を抽出し、そのスクリーン座標から３角測量の要領で特徴点の３次元的な空間位置情報を求める。次に時系列的に求められた特徴点の空間位置情報から、特徴点、この場合手先の３次元的な動き情報を検出することができるわけである。しかし、この手法では、事前に各カメラの各種パラメータの調整に相当するキャリブレーションを行った上で、特徴点の抽出、対応づけといった煩雑な作業が必要であり、汎用的に使える手法とは言えない。
【０００８】
また、動きを特徴づける関節などの部位にあらかじめセンサを装着し、撮像した画像からセンサ部位を抽出し、２次元的あるいは３次元的な動きを計測するモーションキャプチャと呼ばれる手法も存在する。この手法では、上記で紹介した手法に比べ、特徴点の抽出や対応づけ処理は軽くなるが、システム全体のコストが高くつき、システムを稼動する上での制約も多い。さらに煩わしい特定のセンサデバイスを装着する必要があり、とても一般ユーザが使えるものにはなっていない。
【０００９】
以上のように、従来方法では、画像系列から奥行き情報を含む３次元的な動きの抽出を行う方法には様々な問題点があった。
【００１０】
【発明の解決しようとする課題】
以上説明したように、従来の手法では、ビデオカメラなどを用いて認識対象物を２次元情報しか持たない画像として取得していたため、対象物の３次元的な動きの抽出を２次元情報のみから行うしかなく、高精度で奥行き方向を含めた３次元的な動きの認識を行うことは不可能であった。
【００１１】
そこで、本発明は、３次元的な動きを高精度に検出できる動き検出方法およびそれを用いた動き検出装置を提供することを目的とする。
【００１２】
また、本発明は、３次元的な動きを高精度に認識できる動き認識方法およびそれを用いた動き認識装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
（１）本発明の動き検出方法は、取得した距離画像を所定の大きさの小領域に分割して、連続して取得した距離画像間で、類似する前記小領域毎に平面方向の動きを検出し、前記小領域毎に奥行き情報を算出して、該奥行き情報を基に類似する小領域間で奥行き方向の動きを検出することにより、３次元的な動きを高精度に検出することができる。
【００１４】
（２）本発明の動き検出方法は、取得した距離画像を所定の大きさの小領域に分割して、前記小領域毎に奥行き情報を算出し、連続して取得した距離画像間で、前記小領域毎に前記奥行き情報を基に奥行き方向の動きを検出し、移動元の小領域と、前記検出された奥行き方向の動きに基づき前記奥行き情報を補正した小領域であって前記移動元の小領域に類似する小領域との間で平面方向の動きを検出することにより、奥行き方向の動き成分による距離画像の濃淡変化を補正した上で、平面方向動き情報の検出を行っているため、より高精度に奥行き方向の動き成分を有する対象物の３次元的な動きを検出することができる。
【００１５】
（３）本発明の動き認識方法は、取得した距離画像を所定の大きさの小領域に分割して、連続して取得した距離画像間で、類似する前記小領域毎に平面方向の動きを検出し、前記小領域毎に奥行き情報を算出して、該奥行き情報を基に類似する小領域間で奥行き方向の動きを検出し、前記平面方向の動きと前記奥行き方向の動きとから該動きを認識することにより、３次元的な動きを高精度に認識することができる。
【００１６】
（４）本発明の動き認識方法は、取得した距離画像を所定の大きさの小領域に分割して、前記小領域毎に奥行き情報を算出し、連続して取得した距離画像間で、前記小領域毎に前記奥行き情報を基に奥行き方向の動きを検出し、移動元の小領域と前記検出された奥行き方向の動きに基づき前記奥行き情報を補正した小領域であって前記移動元の小領域に類似する小領域との間で平面方向の動きを検出し、前記平面方向の動きと前記奥行き方向の動きとから該動きを認識することにより、奥行き方向の動き成分による距離画像の濃淡変化を補正した上で、平面方向動き情報の検出を行っているため、より高精度に奥行き方向の動き成分を有する対象物の３次元的な動きを認識することができる。
【００１７】
（５）本発明の動き検出装置は、距離画像を取得する画像取得手段と、
この画像取得手段で取得した距離画像を所定の大きさの小領域に分割する分割手段と、
前記画像取得手段で連続して取得した距離画像間で、類似する前記小領域毎に平面方向の動きを検出する第１の検出手段と、
前記小領域毎に奥行き情報を算出する算出手段と、
この算出手段で算出された奥行き情報を基に類似する小領域間で奥行き方向の動きを検出する第２の検出手段と、
を具備したことにより、３次元的な動きを高精度に検出することができる。
【００１８】
（６）本発明の動き検出装置は、距離画像を取得する画像取得手段と、
この画像取得手段で取得した距離画像を所定の大きさの小領域に分割する分割手段と、
前記小領域毎に奥行き情報を算出する算出手段と、
前記画像取得手段で連続して取得した距離画像間で、前記小領域毎に前記奥行き情報を基に奥行き方向の動きを検出する第１の動き検出手段と、
この第１の検出手段で検出された奥行き方向の動きに基づき前記奥行き情報を補正する補正手段と、
移動元の小領域と、前記補正手段で前記奥行き情報を補正した小領域であって前記移動元の小領域に類似する小領域との間で平面方向の動きを検出する第２の検出手段とを具備したことにより、奥行き方向の動き成分による距離画像の濃淡変化を補正した上で、平面方向動き情報の検出を行っているため、より高精度に奥行き方向の動き成分を有する対象物の３次元的な動きを検出することができる。
【００１９】
（７）本発明の動き認識装置は、距離画像を取得する画像取得手段と、
この画像取得手段で取得した距離画像を所定の大きさの小領域に分割する分割手段と、
前記画像取得手段で連続して取得した距離画像間で、類似する前記小領域毎に平面方向の動きを検出する第１の検出手段と、
前記小領域毎に奥行き情報を算出する算出手段と、
この算出手段で算出された奥行き情報を基に類似する小領域間で奥行き方向の動きを検出する第２の検出手段と、
類似する小領域間から検出された前記平面方向の動きと前記奥行き方向の動きとから該動きを認識する認識手段と、
を具備したことにより、３次元的な動きを高精度に認識することができる。
【００２０】
（８）本発明の動き認識装置は、距離画像を取得する画像取得手段と、
この画像取得手段で取得した距離画像を所定の大きさの小領域に分割する分割手段と、
前記小領域毎に奥行き情報を算出する算出手段と、
前記画像取得手段で連続して取得した距離画像間で、前記小領域毎に前記奥行き情報を基に奥行き方向の動きを検出する第１の動き検出手段と、
この第１の検出手段で検出された奥行き方向の動きに基づき前記奥行き情報を補正する補正手段と、
移動元の小領域と、前記補正手段で前記奥行き情報を補正した小領域であって前記移動元の小領域に類似する小領域との間で平面方向の動きを検出する第２の検出手段と、
類似する小領域間から検出された前記平面方向の動きと前記奥行き方向の動きとから該動きを認識する認識手段と、
を具備したことにより、奥行き方向の動き成分による距離画像の濃淡変化を補正した上で、平面方向動き情報の検出を行っているため、より高精度に奥行き方向の動き成分を有する対象物の３次元的な動きを認識することができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像認識装置の全体構成図である。
【００２２】
本実施形態の画像認識装置は、距離画像ストリームを取得するための撮像手段を備えた画像取得部１と、画像取得部１で取得された距離画像を格納する画像格納部２と、画像格納部２に格納された距離画像を動き検出単位となる所定の大きさの小領域（ブロック画像）に分割するブロック分割部３と、画像取得部１で取得した距離画像を動き検出単位となる所定の大きさの小領域（ブロック画像）に分割するブロック分割部４と、画像格納部２に格納された距離画像（サンプル距離画像）と画像取得部１で取得された距離画像（最新距離画像）との間でブロック画像毎に平面方向の動き（平面方向動きベクトル）を検出する平面方向動き検出部５と、ブロック画像の奥行き情報（距離値）を算出する距離値算出部６と、平面方向動き検出部５で検出された平面方向の動き（平面方向動き情報、より具体的には平面方向動きベクトル）に基づき推定される平面方向の移動元のブロック画像と移動先のブロック画像との間の距離値算出部６で算出された距離値を基に奥行き方向の動き（奥行き方向動き情報、より具体的には奥行き方向動きベクトル）を検出する奥行き方向動き検出部７と、平面方向動き検出部５で検出された平面方向動き情報と奥行き方向動き検出部７で検出された奥行き方向動き情報とテンプレート９を参照して当該動きを認識する動き認識部８と、認識すべき動きを登録したテンプレート９とから構成されている。
【００２３】
まず、画像取得部１および距離画像について説明する。
【００２４】
画像取得部１は、認識対象物体（例えば、人間の手、顔、全身など）を、その３次元形状を反映した奥行き値を持つ画像（以降、距離画像と呼ぶ）として所定時間毎（例えば１／３０秒毎など）に取得するものである（例えば、特願平８−２７４９４９号の画像取得方法などを用いて実現することができる）。
【００２５】
所定時間毎に距離画像が取得されてゆくため、これらをメモリなどを用いて、画像取得部１の内部または外部で逐次保持することで、対象物の距離画像による動画像（以降、距離画像ストリームと呼ぶ）を得ることができる。このとき、距離画像ストリームは、距離画像の取得間隔をｔ秒としたとき、「最新の距離画像」、「最新からｔ秒前（以降、１フレーム前と呼ぶ）の距離画像」、「最新から２ｔ秒前（２フレーム前、以下同様）の距離画像」、…、といった複数フレームの距離画像の集合体として得られることになる。
【００２６】
画像取得部１は、図２に示すように、主に、発光部１０１、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成される。
【００２７】
発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。
【００２８】
受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。
【００２９】
反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、これを反射光画像あるいは距離画像と呼ぶ。
【００３０】
受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１が発光しているときに受光した光の量と、発光部１０１が発光していないときに受光した光の量の差をとることによって、発光部１０１からの光の対象物体による反射光成分だけを取り出す。
【００３１】
反射光抽出部１０２では、受光部１０３にて受光された反射光から、その強度分布、すなわち、図３に示すような反射光画像（距離画像）を抽出する。
【００３２】
図３では、簡単のため、２５６×２５６画素の反射光画像の一部である８×８画素の反射光画像の場合について示している。
【００３３】
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、反射光画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００３４】
反射光画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、画像取得部１の前方に手を差し出した場合の反射光画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図４に示したような３次元的なイメージを得ることができる。
【００３５】
図５は、例えば、特願平９−２９９６４８号に記載されているような画像取得部１を構成する発光部１０１と、受光部１０３の外観の一例を示したもので、中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０３が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１が複数（例えば６個）等間隔に配置されている。
【００３６】
発光部１０１から照射された光が物体に反射され、受光部１０３のレンズにより集光され、レンズの後部にあるエリアセンサで受光される。エリアセンサは、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図３に示すような反射光の強度分布としての距離画像である。
【００３７】
図３は、距離画像データの一部（２５６ｘ２５６画素の一部の８ｘ８画素）を示したものである。この例では、行列中のセルの値（画素値）は、取得した反射光の強さを８ビット２５６階調で示したものである。例えば、「２５５」の値があるセルは、画像取得部１に最も接近した状態、「０」の値があるセルは、画像取得部１から遠くにあり、反射光が画像取得部１にまで到達しないことを示している。
【００３８】
図４は、図３に示したようなマトリックス形式の距離画像データ全体を３次元的に示したものである。この例では、人間の手の距離画像データの場合を示している。
【００３９】
図６に、画像取得部１により取得された手の距離画像の例を示す。距離画像は、奥行き情報を有する３次元画像で、例えば、ｘ軸（横）方向６４画素、ｙ軸（縦）方向６４画素、ｚ軸（奥行き）方向２５６階調の画像になっている。図６は、距離画像の距離値、すなわちｚ軸方向の階調をグレースケールで表現したもので、この場合、色が黒に近いほど画像取得部１からの距離が近く、白に近くなるほど距離が遠いことを示している。また、色が完全に白のところは、画像がない、あるいはあっても遠方でないのと同じであることを示している。
【００４０】
物体からの反射光の強さは当該物体までの距離の２乗に反比例して小さくなる。すなわち、距離画像中の各画素（ｉ、ｊ）の画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ２          …（１）
と表すことができる。
【００４１】
ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。上式をｄについて解くことで、距離値を求めることができる。
【００４２】
次に、図１の動き認識装置の各構成部についてより詳細に説明する。
【００４３】
画像格納部２は、画像取得部１で取得された距離画像ストリーム中に含まれる距離画像のうち、常に最新より数フレーム前（例えば、常に１フレーム前）の距離画像（以降、サンプル距離画像と呼ぶ）を格納しておくためのものである。
【００４４】
ここで、サンプル距離画像として何フレーム前の距離画像を用いるかは、画像取得部１の距離画像取得間隔（フレームレート）、対象物の動作速度などの情報を基に決定する。例えば、対象物の２次元投影イメージが変化しない一連の動作の間に、Ｎフレーム取得できるならば、サンプル画像は、１ないしＮフレーム前の距離画像の間で任意に選べばよい。
【００４５】
ブロック分割部３は、画像格納部２に格納された距離画像（サンプル距離画像）を、動き検出単位となるブロック画像に分割するためのものである。
【００４６】
ブロック分割部４は、画像取得部１で新規に取得された距離画像（最新距離画像）を、動き検出単位となるブロック画像に分割するためのものである。
【００４７】
ここでは、取得された距離画像をサイズの等しいブロック画像に分割することを考える。例えば、対象となる距離画像のフレームサイズがｘ軸（横）方向６４画素、ｙ軸（縦）方向６４画素である場合、ｘ軸方向、ｙ軸方向それぞれに８等分して分割すると、１つのブロック画像の大きさは、ｘ軸（横）方向８画素、ｙ軸（縦）方向８画素の計８ｘ８＝６４画素で構成されることになる。
【００４８】
図７は、図６に示した距離画像を８ｘ８のブロック画像に分割した様子を表したものである。
【００４９】
次に、平面方向動き検出部５で実際にどのようにして画像格納部２に格納されたサンプル距離画像と、画像取得部１によって新規に取得された最新距離画像とから、平面方向の動き情報を検出するかを図８に示すフローチャートを参照して説明する。
【００５０】
まず、ブロック分割部３で分割されたサンプル距離画像上のブロック画像のうち、動き情報算出の対象となるブロック画像（対象ブロック）を設定する（ステップＳ１）。
【００５１】
ブロック分割部４で分割された最新距離画像上のブロック画像（探索ブロック）と、ステップＳ１で設定された対象ブロックとの間の類似度を計算することで、対象物が動いたと推定される移動先ブロックの探索を行う（ステップＳ２）。
【００５２】
類似度算出の対象となる最新距離画像上の探索ブロックは、ブロック分割部３、４で同じブロックサイズに分割を行ったとすると、サンプル距離画像中の１つの対象ブロックに対し、ｘ軸方向、ｙ軸方向に１ブロックずつずらすことで、最大（ｘ軸方向フレームサイズ／ｘ軸方向ブロックサイズ）×（ｙ軸方向フレームサイズ／ｙ軸方向ブロックサイズ）個のブロック画像をとることができる。しかし、実際には時系列的に近いフレーム同士の相関はとても高いため、探索対象となるブロックは、対象ブロックに対してｘ軸方向、ｙ軸方向にそれぞれ１ブロックずつずらした範囲で行えば十分なことが多い。
【００５３】
ここでは、図９に示すように、最新距離画像Ｇ１、その１フレーム前のサンプル距離画像Ｇ２ともに一定サイズのブロック画像に分割し、各ブロック画像間の類似度を求めることにする。例えば、フレームサイズがｘ軸方向に６４画素、ｙ軸方向に６４画素の距離画像をｘ軸方向、ｙ軸方向それぞれに８分割した場合、ｘ軸方向およびｙ軸方向のブロックサイズは共に６４／８＝８画素となる。また、最新距離画像Ｇ２上の探索する範囲としてサンプル距離画像Ｇ１中の対象ブロックａ２２に対し上下、左右に１ブロックずれたブロック画像ｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３１、ｂ３２、ｂ３３とする。
【００５４】
なお、最新距離画像中の探索ブロックの選択は、このように、必ずしも探索ブロック同士が互いに重なり合わないブロック画像になるように選択する必要はなく、サイズの等しいブロック画像として、最新距離画像中の対象ブロックａ２２と等しい位置にあるブロック画像を中心として、ｘ軸方向、ｙ軸方向に１画素ずつずらすことで、最大（ｘ軸方向フレームサイズ−ｘ軸方向ブロックサイズ）×（ｙ軸方向フレームサイズ−ｙ軸方向ブロックサイズ）個、任意にとることもできる。
【００５５】
最新距離画像上の探索ブロック（ブロック単位の計測で、その位置をｘ軸方向にｘブロック目、ｙ軸方向にｙブロック目とし、（ｘ，ｙ）とする）と、サンプル距離画像上の対象ブロック（その位置をブロック単位の計測で、ｘ軸方向にｚブロック目、ｙ軸方向にｗブロック目とし、（ｚ，ｗ）とする）間の類似度Ｃｚｗ−ｘｙは、例えば、次式（２）から求めることができる。
【００５６】
【数１】
0003637226.tif 000002
【００５７】
式（２）を用いて、対象ブロック（例えば、図９の対象ブロックａ２２）とその周辺の最新距離画像上の全ての探索ブロック（例えば、図９の探索ブロックｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３１、ｂ３２、ｂ３３）のそれぞれとの類似度を算出する（ステップ３）。図９において、サンプル距離画像Ｇ１中の対象ブロックａ２２と最新距離画像Ｇ２中の探索ブロックｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３１、ｂ３２、ｂ３３との類似度を式（２）を用いて求めると、探索ブロックｂ２２との類似度が「０．１」、探索ブロックｂ３２との類似度が「０．２」、探索ブロックｂ３３との類似度が「０．９」、それ以外の探索ブロックとの類似度が「０」となる。
【００５８】
全ての探索ブロックに対して処理が終了したら、平面方向動き検出部５で平面方向動きベクトル算出処理（ステップＳ４）に移る。
【００５９】
平面方向動きベクトル算出処理では、以上で求めたサンプル距離画像上の対象ブロックに対する最新距離画像上の探索ブロックの類似度算出結果から、対象ブロックに最も類似しているブロック画像を抽出する。
【００６０】
式（２）を用いて類似度を算出した場合、その値の最も高い探索ブロックを抽出することになる。例えば、図９において、サンプル距離画像中の対象ブロックａ２２と最も類似する最新距離画像中の探索ブロックはｂ３３であるので、対象ブロックａ２２（ここでは、対象ブロックａ２２の端点あるいは中心位置）から探索ブロックｂ３３（ここでは、探索ブロックｂ３３の端点あるいは中心位置）へのベクトルが最終的な平面方向の動きベクトルとなる。
【００６１】
例えば、対象ブロックの位置が、ブロック単位の計測で（２，２）の位置（つまり、ｘ軸方向に２ブロック、ｙ軸方向に２ブロック目のブロック）、類似度の最も高い探索ブロックの位置が同様に（３，３）の位置であった場合、平面方向にブロック移動したと推定される移動量は（３，３）−（２，２）＝（１，１）となり、最終的な平面方向動きベクトル量はｘ軸方向に１×（ｘ軸方向のブロックサイズ）、ｙ軸方向に１×（ｙ軸方向のブロックサイズ）となる。
【００６２】
なお、図９は、対象ブロックを中心とした上下、左右１ブロック範囲の探索ブロックにおいて、式（２）を用いて算出した類似度と、最終的に検出された平面方向動きベクトルを図示したものである。
【００６３】
サンプル距離画像上の全ブロック画像を対象ブロックとして、ステップＳ１〜ステップＳ４を繰り返し、平面方向動きベクトルを算出する（ステップＳ５）。
【００６４】
距離値算出部６は、距離画像上のブロック画像が有するｚ軸方向（奥行き方向）の距離値を求めるものである。これは、そのブロック画像に撮像されている対象物体までの距離を代表する奥行き情報を求めることに相当している。
【００６５】
図１０は、ブロック画像を構成する全ての画素値を平均化することで、そのブロック画像の距離値を求める場合を概念的に示したものである。例えば、座標（ｘ，ｙ）にあるブロック画像の距離値Ｄｘｙは、そのブロック画像内のすべての画素値を平均化することにより、次式（３）から求めることができる。なお、図１０では、１フレーム中の隣接する２つのブロック画像（第１のブロック画像、第２のブロック画像）の離散的な画素値（ここでは、距離値に対応する）を連続する滑らかな曲線で描いている。
【数２】
0003637226.tif 000003
【００６６】
なお、式（３）を用いて、単純に、ブロック画像中の画素値の平均値をそのまま距離値として用いてもよく、また、式（３）を用いる際に、ブロック画像中の各画素毎に例えば、式（１）を用いて求めた距離値ｄをＦｘｙとし用いてもよく、また、式（３）を用いて求めた画素値の平均値から式（１）を用いて距離値ｄを求めても良い。ここで、説明の簡単なため、上記いずれの場合であってもブロック画像の距離値と呼ぶことにする。
【００６７】
ブロック画像の距離値の算出は、ここで述べた平均化による手法に限定する必要はなく、ｘｙ平面上のブロック画像を底辺とする立方体を定義し、ブロック画像を構成する距離値の総和と等しくなるようなｚ軸方向の高さを用いてもよいし、あるいは単にブロック画像を構成する距離値の中間値などを用いることもできる。
【００６８】
奥行き方向動き検出部７では、距離画像を構成する全ブロック画像において、平面方向動き検出部５で検出された平面方向動きベクトルで推定される最新距離画像上の移動先として推定されるブロック画像の距離値、およびサンプル距離画像上の移動元のブロック画像の距離値を差し引くことで、奥行き方向動き情報を算出する。
【００６９】
図１１は、奥行き方向動き検出部７において、サンプル距離画像と最新距離画像上の移動元のブロック画像と移動先のブロック画像との距離値から奥行き方向の動き情報が算出される様子を表したものである。ここで算出された奥行き方向動き情報が最終的に奥行き方向動きベクトル（向きが奥行き方向で大きさが移動元のブロック画像と移動先のブロック画像との距離値の差）として出力される。
【００７０】
以上説明したように、画像取得部１で取得される距離画像ストリームから平面方向動き情報のみならず、奥行き方向動き情報を検出することが可能となっている。
【００７１】
ブロック分割部３におけるブロック分割の精度、つまり１フレームあたりのブロック分割を細かく行えば、より精細な動き情報の検出を行うことが可能であり、逆にブロック分割を粗く行えば、より大きな撮像対象物体に対して対象レベルの動き検出を高速に行うことが可能となる。
【００７２】
動き認識部８については、後述する。
（第２の実施形態）
上記第１の実施形態では、平面方向動き情報を求め、その後、奥行き方向動き情報を求めているが、正確にいうならば、物体は、平面方向だけでなく、奥行き方向にも動いているので、最初に求めた平面方向動き情報には、奥行き方向動き情報を平面方向に投影した分の動きが影響してしまっている。
【００７３】
そこで、第２の実施形態では、このような問題点を解決するため、まず、全てのブロック画像に対し、奥行き方向動き情報を求める。このとき、サンプル距離画像上のあるブロック画像と最新距離画像上のどのブロック画像とが対応するかはわかっていないので、最新距離画像上のサンプル距離画像上の対象ブロックに対応する位置の近傍の複数のブロック画像に対し、奥行き方向動き情報を求める。次に、この奥行き方向動き情報を用いて、ブロック画像の奥行き情報（すなわち、距離値）を補正し、補正された最新の距離画像のブロック画像について、平面方向動き情報を求める。このようにすることで、奥行き方向動き情報を含まない正確な平面方向動き情報を取得でき、さらにこれに基づいて、奥行き方向動き情報を求めることが可能となる。
【００７４】
図１２は、本発明の第２の実施形態に係る画像認識装置の全体構成図である。
【００７５】
本実施形態の画像認識装置は、距離画像ストリームを取得するための撮像手段を備えた画像取得部１と、画像取得部１で取得された距離画像を格納する画像格納部１２と、画像格納部１２に格納された距離画像を動き検出単位となる所定の大きさの小領域（ブロック画像）に分割するブロック分割部１３と、ブロック分割部１３で分割されたブロック画像の奥行き情報（距離値）を算出する距離値算出部１４と、画像取得部１で取得した距離画像を動き検出単位となる所定の大きさの小領域（ブロック画像）に分割するブロック分割部１５と、ブロック分割部１５で分割されたブロック画像の奥行き情報（距離値）を算出する距離値算出部１６と、画像格納部１２に格納された距離画像（サンプル距離画像）と画像取得部１で取得された距離画像（最新距離画像）との間でブロック画像毎に奥行き方向の動き（奥行き方向動きベクトル）を検出する奥行き方向動き検出部１７と、奥行き方向動き検出部１７で検出された奥行き方向動き情報に基づき画像取得部１で取得された距離画像上のブロック画像の奥行き情報を補正する奥行き情報補正部１８と、奥行き情報を補正した最新距離画像上のブロック画像とサンプル距離画像上のブロック画像とから平面方向の動き（平面方向動きベクトル）を検出する平面方向動き検出部１９と、平面方向動き検出部１９で検出された平面方向動きベクトルと奥行き方向動き検出部１７で検出された奥行き方向動きベクトルとテンプレート９を参照して動きを認識する動き認識部８と、認識すべき動きを登録したテンプレート９とから構成されている。
【００７６】
画像取得部１、画像格納部１２、ブロック分割部１３、１５、および距離値算出部１４は、図１の画像取得部１、画像格納部２、ブロック分割部３、４、および距離値算出部６と同様であるので説明は省略し、異なる部分について説明する。
【００７７】
図１２に示す動き認識装置は、画像取得部１で取得した最新距離画像と画像格納部１２に格納されたサンプル距離画像おのおのにおいて、各ブロック画像の奥行き情報（距離値）を、距離値算出部１４、１６で予め算出しておくことにある。
【００７８】
奥行き方向動き検出部１７では、サンプル距離画像上の動き検出対象であるブロック画像（対象ブロック）に対する最新距離画像上のブロック画像の奥行き方向の動きを検出する（奥行き方向動き情報を算出する）ものである。
【００７９】
ここで、図１３に示すフローチャートを参照して、奥行き方向動き検出部１７における奥行き方向動き検出処理について説明する。
【００８０】
まず、サンプル距離画像上のブロック画像のうち、動き情報算出の対象となるブロック画像（対象ブロック）を設定する（ステップＳ２１）。
【００８１】
画像取得部１で取得された最新距離画像上の動き情報探索の対象となるブロック画像（探索ブロック）の距離値を、ステップＳ２１で設定されたサンプル距離画像上の対象ブロックの距離値と比較することで、奥行き方向動き情報を算出する（ステップＳ２２）。探索ブロックは、最新距離画像上からサンプル距離画像上の対象ブロックに移動先となりうるブロック画像、すなわち、探索ブロックを選択する場合は、第１の実施形態と同様である。
【００８２】
例えば、探索ブロックの距離値からサンプル距離画像上の対象ブロックの距離値を差し引くことで、その探索ブロックにおける対象ブロックの奥行き方向動き情報を求めることができる。
【００８３】
この段階では最新距離画像上のどの探索ブロックにサンプル距離画像上の対象ブロックが遷移したかは明確でないが、ここで求めた各探索ブロックの奥行き方向動き情報が、最終的な奥行き方向動きベクトルとなるわけである。
【００８４】
ステップＳ２２の処理を最新距離画像上の全ての探索ブロックに対して行う（ステップＳ２３）。全ての探索ブロックに対しステップＳ２２の処理を終了したら、ステップＳ２１に戻り、サンプル距離画像上の他のブロック画像を対象ブロックに設定して、サンプル距離画像上の全てのブロック画像についてステップＳ２２の処理を行う（ステップＳ２４）。
【００８５】
奥行き情報補正部１８では、奥行き方向動き検出部１７で求めた各探索ブロックの奥行き方向動き情報にもとづき、最新距離画像上のブロック画像を変換し、平面方向動き検出部１９において平面方向の動き成分を精度よく抽出するために、奥行き方向動き成分を補正する。
【００８６】
ここで、図１４に示すフローチャートを参照して、奥行き情報補正部１８における、奥行き情報補正処理について説明する。
【００８７】
まず、サンプル距離画像上のブロック画像のうち、動き情報算出の対象となるブロック画像（対象ブロック）を設定する（ステップＳ３１）。奥行き方向動き検出部１７で、動き情報探索の対象となった最新距離画像上のブロック画像に対して、各探索ブロック位置で求められた奥行き方向動き情報に基づき、当該ブロック画像全体に距離値を補正するための変換処理をかける（ステップＳ３２）。
【００８８】
一般に対象物体が奥行き方向に平行運動を行った場合、その動きは対象物体を撮像した距離画像上では、距離値変化、つまり濃淡変化として求められる。したがって、第１の実施形態における平面方向動き検出部５で行ったように異なる時間に取得された最新距離画像とサンプル距離画像間で、ブロック画像間の相関をとってもそれらの間に類似性を見出せない場合も起こり、この場合、平面方向の動き成分が検出できないということになるわけである。
【００８９】
そこで、第２の実施形態では、この奥行き情報補正部１８で、最新距離画像に奥行き成分の補正をかけることで、平面方向動き検出部１９におけるブロック画像間の類似度計算において、上記の奥行き方向依存成分を除去することが必要になるわけである。
【００９０】
ここでは、最新距離画像上の探索ブロックの画像をその距離値が、対象ブロックの距離値と等しくなるように変換処理をかけることにする。探索ブロックを構成する画素パターンには変化を与えず、距離値のみを変化させる最も簡単な方法は、ブロックを構成する画素全体の画素値をそのブロック画像の奥行き方向動き情報だけｚ軸方向にシフトさせることである。
【００９１】
例えば、ブロック単位の計測で最新距離画像上のｘ軸方向にｘブロック目、ｙ軸方向にｙブロック目の位置（ｘ，ｙ）にあるブロック画像中の画素値は次式（４）を用いて、奥行き方向の補正を行うことができる。
【００９２】
【数３】
0003637226.tif 000004
【００９３】
図１５は、奥行き情報補正部１８で、最新距離画像上のブロック画像をそのブロック画像から検出された奥行き方向動き情報だけ、ｚ軸（奥行き）方向に底上げし、当該ブロック画像の距離値をサンプル距離画像上の対象ブロックの画像の距離値に合わせている様子を示している。
【００９４】
以上の奥行き情報補正処理を最新距離画像上の全ての探索ブロックに対して行う（ステップＳ３３）。全ての探索ブロックに対しステップＳ３２の処理を終了したら、ステップＳ３１に戻り、サンプル距離画像上の他のブロック画像を対象ブロックに設定して、サンプル距離画像上の全てのブロック画像についてステップＳ２２の処理を行う（ステップＳ２４）。
【００９５】
次に、平面方向動き検出部１９では、サンプル距離画像上の対象ブロックの画像と、奥行き情報補正部１８でその距離値を補正して得られた変換距離画像とから、対象ブロックの平面方向動き情報を検出する。
【００９６】
平面方向動き検出部１９における処理の流れは、第１の実施形態における平面方向動き検出部５および図８に示した平面方向動き検出部５の処理動作を示したフローチャートの説明で、探索ブロックとして奥行き情報補正部１８で補正したブロック画像と置き換えれば同様である。
【００９７】
最終的にサンプル距離画像上の各対象ブロックにおいて、平面方向動き検出部１９で検出された最も相関の高いブロックへの相対ベクトルが平面方向動きベクトルとして検出され、移動先ブロック（最も相関の高いブロック）における奥行き方向動き検出部１７であらかじめ検出しておいた奥行き方向動き情報が奥行き方向動きベクトルとして検出できたことになる。
【００９８】
第１の実施形態における構成では、奥行き方向動き情報の検出処理が一度で済むため、高速に奥行き方向の動き情報を検出することができるが、奥行き方向の動き成分が大きな対象物に対しては、平面方向の動き成分を検出し損ねる可能性がある。一方、第２の実施形態における構成では、奥行き方向動き情報に基づき最新距離画像の奥行き情報に補正をかけ、奥行き方向の動き成分による距離画像の濃淡変化を補正した上で、平面方向動き情報の検出を行っているため、より高精度に奥行き方向の動き成分を有する対象物の３次元動き情報を検出することが可能となる。
（第１および第２の実施形態における動き検出結果の表示および動き認識部８の説明）
図１７、１８は、第１の実施形態の平面方向動き検出部５と奥行き方向動き検出部７、あるいは第２の実施形態の奥行き方向動き検出部１７と平面方向動き検出部１９にて検出された、３次元動き情報（平面方向動きベクトル、奥行き方向動きベクトル）を３次元的なベクトルで表して、所定の表示装置に表示する際の表示例を示したものである。
【００９９】
ここでは、例えば、６４×６４の画素で構成される距離画像を縦方向に８等分、横方向に８等分に分割し、各ブロック画像における動きベクトルを矢印で３次元的に表示したものである。
【０１００】
動きベクトルを３次元的に表示するとは、例えば、図１９に示すように、移動距離が０〜５ｃｍ、５〜１０ｃｍ、１０〜１５ｃｍと３段階に分類して、奥行き方向動き情報に基づき、矢印を段階的に色を違えたり、線分の種類を違えたりして表示すればよい。
【０１０１】
図１７、１８に示した画面表示例で、画面の下部に表示してあるスケールは、求められた各ブロック画像の動きベクトルを合成することで、フレーム全体のＸＹＺ各軸方向における動き成分のかたよりを表示したものである。例えば、図１７の場合、Ｘ軸方向の動きスケールが右に片寄っている、つまり動きベクトルが全体的に右を向いていることを示しており、撮像した手が右に動いていると解釈することができる。同様にＹ軸方向、あるいは奥行き方向（Ｚ軸方向）に関しても、動きベクトルのＹ軸方向成分、奥行き成分（Ｚ軸方向成分）を観察することで、撮像しているオブジェクトの全体的な動きも検出することができるわけである。
【０１０２】
このように、フレーム画像中の特定個所、つまり各ブロック画像における動き情報を検出するだけでなく、各ブロックにおける動きベクトルを合成することで、領域としての動き情報を求めることも可能であり、オブジェクトの動き認識といったより高次の動き検出に利用することもできる。
【０１０３】
例えば、図１、図１２の動き認識部８では、６４×６４の画素で構成される距離画像を縦方向に８等分、横方向に８等分に分割して各ブロック画像から検出された平面方向および奥行き方向の動きベクトルを合成して、縦方向に２等分、横方向に２等分に分割して計４つのブロック画像毎の３次元的な動きベクトルを算出する。
【０１０４】
この動きベクトルと図１６に示したようなテンプレート９と照合して検出された動きがどのような種類の動きであるかを認識する。このテンプレート９は、所定のメモリ上に構成される。
【０１０５】
図１６に示したテンプレート９には、認識すべき動き（例えば、右上への移動、左上への移動、右回りの回転移動、左回りの回転移動等）のそれぞれに対応する４つの各ブロック画像毎の３次元動きベクトルが予め登録されている。
【０１０６】
動き認識部８は、図１７に示したような動きベクトルを合成して４つの３次元動きベクトルを算出し、図１９に示したようなテンプレート９を参照することにより、この距離画像から検出された動きは右上への移動であると認識できる。また、図１８に示したような動きベクトルを合成して４つの３次元動きベクトルを算出し、図１９に示したようなテンプレートを参照することにより、この距離画像から検出された動きは右回りの回転移動であると認識できる。
【０１０７】
以上の各構成部は、画像取得部１の撮像部分を除いて、ソフトウェアとしても実現可能である。すなわち、上記した各手順をコンピュータに実行させることのできるプログラムとして機械読みとり可能な記録媒体に記録して頒布することができる。
【０１０８】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【０１０９】
【発明の効果】
以上説明したように、本発明によれば、３次元的な動きを高精度に検出できる。また、３次元的な動き高精度に認識できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像認識装置の構成例を概略的に示す図。
【図２】画像取得部の概略的な構成図。
【図３】距離画像をマトリックス状に示した図。
【図４】距離画像を３次元的に示した図。
【図５】画像取得部を構成する発光部と受光部の外観の一例を示した図。
【図６】距離画像の一具体例を示した図。
【図７】図６の距離画像を分割した様子を示した図。
【図８】平面方向動き検出処理動作を説明するためのフローチャート。
【図９】平面方向動き検出処理を具体的に説明するための図。
【図１０】ブロック画像の奥行き情報（距離値）を概念的に説明するための図。
【図１１】奥行き方向動き検出処理を具体的に説明するための図。
【図１２】本発明の第２の実施形態に係る画像認識装置の構成例を概略的に示す図。
【図１３】奥行き方向動き検出処理について説明するためのフローチャート。
【図１４】奥行き情報補正処理について説明するためのフローチャート。
【図１５】奥行き情報補正処理を具体的に説明するための図。
【図１６】認識すべき動きの登録されたテンプレートの一例を示した図。
【図１７】３次元動き情報（平面方向動きベクトル、奥行き方向動きベクトル）を３次元的なベクトルで表して、所定の表示装置に表示する際の表示例を示した図。
【図１８】３次元動き情報（平面方向動きベクトル、奥行き方向動きベクトル）を３次元的なベクトルで表して、所定の表示装置に表示する際の表示例を示した図。
【図１９】３次元動き情報（平面方向動きベクトル、奥行き方向動きベクトル）を表したベクトルの３次元的な表示例を示した図。
【符号の説明】
１…画像取得部
２…画像格納部
３、４…ブロック分割部
５…平面方向動き検出部
６…距離値算出部
７…奥行き方向動き検出部
８…動き認識部
９…テンプレート
１２…画像格納部
１３…ブロック分割部
１４…距離値算出部
１５…ブロック分割部
１６…距離値算出部
１７…奥行き方向動き検出部
１８…奥行き情報補正部
１９…平面方向動き検出部
【図１】
0003637226.tif 000005
【図２】
0003637226.tif 000006
【図３】
0003637226.tif 000007
【図４】
0003637226.tif 000008
【図５】
0003637226.tif 000009
【図６】
0003637226.tif 000010
【図７】
0003637226.tif 000011
【図８】
0003637226.tif 000012
【図９】
0003637226.tif 000013
【図１０】
0003637226.tif 000014
【図１１】
0003637226.tif 000015
【図１２】
0003637226.tif 000016
【図１３】
0003637226.tif 000017
【図１４】
0003637226.tif 000018
【図１５】
0003637226.tif 000019
【図１６】
0003637226.tif 000020
【図１７】
0003637226.tif 000021
【図１８】
0003637226.tif 000022
【図１９】
0003637226.tif 000023