(57)【要約】【課題】上位階層の画像間における位相ずれの影響を緩和できるようにすると共に、動きベクトルの検出精度を向上できるようにする。【解決手段】階層化タップ決定回路４Ａは、注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを動きベクトルメモリ５から取得し、当該動きベクトルと分割ブロックサイズから注目ブロックの位相ずれ量を算出する。そして、算出された位相ずれ量からタップの重みを決定する。階層化回路６は、この重みが決定されたタップを用いて注目ブロックの階層化画像を階層毎に生成する。これにより、上位階層の画像間における位相ずれの影響を緩和できる。従って、上位階層における動きベクトルの検出精度を向上できると共に、下位階層における動きベクトルの検出精度を向上できる。【選択図】図１
2009284089.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を所定のブロックサイズに分割して複数の第１のブロックを生成し、当該第１のブロックの各々を縮小した探索用の階層化画像を階層毎に形成する第１の階層化画像部と、
前記第１の画像と時間的に離れた第２の画像を前記ブロックサイズに分割するブロック分割部と、
前記ブロック分割部により分割されたブロックから注目ブロックを選択し、当該注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルと前記ブロックサイズから前記注目ブロックの位相ずれ量を算出する位相ずれ算出部と、
前記位相ずれ算出部により算出された前記位相ずれ量からタップの重みを決定するタップ重み決定部と、
前記タップ重み決定部により重みが決定された前記タップを用いて前記注目ブロックの階層化画像を階層毎に生成する第２の階層化画像部と、
所定階層において、前記注目ブロックの階層化画像と、前記探索用の階層化画像の探索範囲における複数の探索ブロックとを照合して各評価値を算出する第１の評価値算出部と、
前記評価値の各々の中から最小となる最小評価値を選択し、当該最小評価値に基づいて動きベクトルを検出する動きベクトル検出部とを備える動きベクトル検出装置。
【請求項２】
前記タップ重み決定部は、
元の位相のタップと、当該元の位相のタップから前記位相ずれ量が示す方向に移動させたタップとが重なる部分の重みを大きく設定する請求項１に記載の動きベクトル検出装置。
【請求項３】
前記位相ずれ算出部は、
前記動きベクトルの垂直成分と前記ブロックサイズの垂直成分とをモジュラ演算すると共に、前記動きベクトルの水平成分と前記ブロックサイズの水平成分とをモジュラ演算して前記注目ブロックの位相ずれ量を算出する請求項２に記載の動きベクトル検出装置。
【請求項４】
前記注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを選択する動きベクトル選択部と、
前記動きベクトル選択部により選択された動きベクトルに係るブロックと、注目ブロックとの評価値を求めるベクトル評価値算出部と、
前記ベクトル評価値算出部により求められた評価値から位相ずれを求めるための動きベクトルを決定する動きベクトル決定部とを備える請求項２に記載の動きベクトル検出装置。
【請求項５】
前記第１の画像を所定のブロックサイズに分割して第１のブロックを生成し、当該第１のブロックの各々を縮小した探索用の階層化画像を階層毎に形成するステップと、
前記第１の画像と時間的に離れた第２の画像を前記ブロックサイズに分割するステップと、
分割されたブロックから注目ブロックを選択し、当該注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得するステップと、
取得した動きベクトルと前記ブロックサイズから前記注目ブロックの位相ずれ量を算出するステップと、
算出された前記位相ずれ量からタップの重みを決定するステップと、
重みが決定された前記タップを用いて前記注目ブロックの階層化画像を生成するステップと、
所定階層において、前記注目ブロックの階層化画像と、前記探索用の階層化画像の探索範囲における複数の探索ブロックとを照合して各評価値を算出するステップと、
前記評価値の各々の中から最小となる最小評価値を選択し、当該最小評価値に基づいて動きベクトルを検出するステップとを有する動きベクトル検出方法。
【請求項６】
第１の画像と時間的に離れた第２の画像を所定のブロックサイズに分割するブロック分割部と、
前記ブロック分割部により分割されたブロックから注目ブロックを選択し、当該注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルと前記ブロックサイズから前記注目ブロックの位相ずれ量を算出する位相ずれ算出部と、
前記位相ずれ算出部により算出された前記位相ずれ量からタップの重みを決定するタップ重み決定部と、
前記タップ重み決定部により重みが決定された前記タップを用いて前記注目ブロックの階層化画像を階層毎に生成する第２の階層化画像部と、
前記第２の階層化画像部により生成された前記注目ブロックの階層化画像を記憶する記憶部と、
所定階層において、前記第２の階層化画像部により生成された前記注目ブロックの階層化画像と、前記記憶部に記憶された階層化画像における探索範囲の複数の探索ブロックとを照合して各評価値を算出する第２の評価値算出部と、
前記評価値の各々の中から最小となる最小評価値を選択し、当該最小評価値に基づいて動きベクトルを検出する動きベクトル検出部とを備える動きベクトル検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層化ブロックマッチングにより動きベクトルを求める動きベクトル検出装置及び動きベクトル検出方法に関する。詳しくは、注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルと分割ブロックサイズから注目ブロックの位相ずれ量を算出し、算出された位相ずれ量からタップの重みを決定し、この重みが決定されたタップを用いて注目ブロックの階層化画像を階層毎に生成することで、上位階層の画像間における位相ずれの影響を緩和できるようにすると共に、動きベクトルの検出精度を向上できるようにするものである。
【背景技術】
【０００２】
従来、動画像を処理する際に、動き量（動きベクトル）が用いられている。ここで、動きベクトルとは、画像中の物体における、時間的に異なる画像間での動き方向と大きさを表すものをいう。動きベクトルを用いる処理としては、動画像符号化における動き補償や、動画内における移動物体の認識などが挙げられる。また、この動きベクトルを検出する方法として、ブロックマッチング法（特許文献１参照）が広く知られている。
【０００３】
ブロックマッチング法では、先ず任意の画像を適当な数の画素からなるブロックに分割する。次に、このブロック化された画像（注目ブロック）が、時間的に異なる画像中のどこに移動したかを検出してこの注目ブロックの動きベクトルを検出する。ここで、注目ブロックと、探索領域となる画像の間において、所定の評価関数を用いて画素単位で評価し、この評価値が最小となる最適値を求めることによって、動きベクトルを検出する。
【０００４】
図１６は、従来例に係るブロックマッチング法による動きベクトルの検出例を示す模式図である。図１６に示す現在（注目）フレームの注目ブロックと、過去（探索）フレームにおける探索範囲の探索ブロックとをブロックマッチングして動きベクトルを求める。この動きベクトルは、前後するフレーム間に限らず、フィールド間などからでも求めることができるが、説明の理解を容易にするためにフレーム間について動きベクトルを求める。
【０００５】
ブロックマッチング法の特徴として、注目ブロックの全ての画素に対し、探索範囲の全ての領域について評価値を求める必要がある。このため、ブロックマッチング法では動きベクトルを検出するための計算量が多く、動きベクトル検出装置の大型化や演算時間の長期化といった問題があった。
【０００６】
このような計算量の問題を解決するため、階層画像を複数の解像度で階層化し、この階層画像を用いたブロックマッチング法により、動きベクトルを検出する方法が提案されている（特許文献２参照）。
【０００７】
この階層化ブロックマッチング法では、最初に原画像データ（第１階層）をある大きさのブロック（階層化ブロック）に分割する。そして、そのブロックに対してローパスフィルタや平均化処理を施すことにより、画素数が低減された画像データ（第２階層）を作成する。次に、作成された第２階層の画像データに対してブロックマッチング法を適用して、おおまかな動きベクトルを検出する。そして、この動きベクトルに基づいて、第１階層の画像データについて探索領域を設定する。そして、第１階層の探索領域でブロックマッチングを行って動きベクトルを求めることにより、計算量を少なくできる。なお、階層数は、２階層に限らず階層化処理を順次施すことにより、より画素数が低減された階層の画像を作成し、それらの画像データを用いて動きベクトルを検出することもできる。
【０００８】
例えば、図１７は、従来例に係る階層化ブロックマッチングの一例を示す模式図である。この例で、第１階層に位置する原画像データから第２階層及び第３階層の画像データを作成する。例えば、同一の階層化ブロック内に含まれる画素値のみから、上位階層を作成する。この例で、２×２画素の階層化ブロックから上位階層の１画素を作成する場合、各画素にかかる重み係数を水平及び垂直方向の行列で表現すると、下記の式（１）で表される。
【０００９】
【数１】
2009284089.tif 000003
【００１０】
式（１）に示す行列は、下位階層４画素の平均値を上位階層の１画素とする。このような下位階層の情報から上位階層を生成する際の行列をタップと呼称する。図１７に示す第２階層は、原画像の各階層化ブロックに対し、式（１）のタップを適用することにより作成される。そして、第３階層は、第２階層の各階層化ブロックに対し、式（１）のタップを適用することにより作成される。また、第３階層の画像データを作成する場合、原画像に下記の式（２）を適用することにより、原画像から直接第３階層の画像データを作成することもできる。
【００１１】
【数２】
2009284089.tif 000004
【００１２】
この場合、第１階層と第３階層における階層化ブロックサイズは、４×４画素となる。このようにして、各階層の画像データを作成して、上位階層から各階層毎に、注目ブロックと探索ブロックのブロックマッチングを行う。
【００１３】
しかしながら、このような階層化ブロックマッチングは、階層数が増加するにつれ、動きベクトルの検出精度が低下するという問題がある。その理由として、上位階層は、情報量の少ない階層化ブロックを用いてブロックマッチングが行われるので、演算速度は向上するがブロックマッチングの精度は低下する。すなわち、上位階層では、原画像データ（第１階層）の特徴量が失われるために検出精度が低下してしまう。上位階層で求めた動きベクトルの精度が低かった場合、下位階層においては、この上位階層で求めた動きベクトルに基づいて動きベクトルを検出するため、同様に動きベクトルの検出精度が低下する。
【００１４】
このような階層化によって失われる情報として、原画像を階層化ブロックに分割して階層化することに起因する位相ずれが挙げられる。例えば、図１８は、従来例に係る位相ずれによる平均値画像の違いの一例を示す説明図である。この例では、原画像の垂直８画素、水平１６画素からなる注目ブロックが、４×４画素からなる８個の階層化ブロックに分割されている。そして、４×４画素からなる各階層化ブロックが１／１６に縮小されて平均値画像が作成されている。この例では、原画像のオブジェクトＰ５が水平方向に２画素だけ移動している。このとき、１／１６に縮小した上位階層の平均値画像は、図１８に示すように大きく異なっている。これは、原画像においてオブジェクトＰ５が、階層化ブロックのサイズ（４×４画素）よりも小さい２画素しか移動していないことに起因している。このように、オブジェクトＰ５の動き量と階層化ブロックのサイズが不一致な場合、すなわち位相ずれが生じている場合、上位階層で作成される画像が大きく異なる。このため、上位階層でのブロックマッチングの精度が低下し、動きベクトルの検出精度が低下してしまう。そして、この影響を受けて、最終的に第１階層で検出する動きベクトルの精度も同様に低下する。
【００１５】
この位相ずれの対策として階層化ブロックをオーバーラップして作成して階層化する方法が提案されている（特許文献３参照）。図１９は、従来例に係るオーバーラップによる階層化方法の一例を示す模式図である。この例では、下位階層から１／４縮小した上位階層を作成する際に、階層化ブロック（２×２画素）に含まれる画素に加え、この階層化ブロックの周囲１２画素（斜線部分）も考慮して階層化を行っている。これにより、階層化ブロックの位置がフレーム間で少々異なっても共通する画素が存在するため、階層化ブロックを構成する画素は大きく変化しないので、位相ずれをある程度緩和できるようになる。
【００１６】
【特許文献１】特公昭５４−１２４９２７号公報
【特許文献２】特許３２７７４１８号公報
【特許文献３】特許３４９４３０７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、特許文献３に係るオーバーラップによる階層化方法では、注目ブロック以外の画素を考慮して上位階層を作成するため、本来必要でない画素を用いて階層化をおこなうおそれがある。例えば、注目ブロックに含まれるオブジェクトとは異なる挙動を示すオブジェクトが近接ブロックに存在する場合、近接ブロックの情報がフレーム間で大きく異なる可能性が大きい。
【００１８】
この場合、近接ブロックの情報も含めて階層化を行うと、フレーム間で作成される上位階層は異なったものとなってしまう。また、位相ずれの大きさやオーバーラップさせる方向（水平方向および垂直方向）が考慮されておらず、階層化ブロックの周囲の画素をどの程度考慮するかは一律に設定してある。
【００１９】
そこで、本発明はこのような課題を解決したものであって、上位階層の画像間における位相ずれの影響を緩和できるようにすると共に、動きベクトルの検出精度を向上できるようにした動きベクトル検出装置及び動きベクトル検出方法を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上述した課題を解決するために、本発明に係る第１の動きベクトル検出装置は、第１の画像を所定のブロックサイズに分割して複数の第１のブロックを生成し、当該第１のブロックの各々を縮小した探索用の階層化画像を階層毎に形成する第１の階層化画像部と、前記第１の画像と時間的に離れた第２の画像を前記ブロックサイズに分割するブロック分割部と、前記ブロック分割部により分割されたブロックから注目ブロックを選択し、当該注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルと前記ブロックサイズから前記注目ブロックの位相ずれ量を算出する位相ずれ算出部と、前記位相ずれ算出部により算出された前記位相ずれ量からタップの重みを決定するタップ重み決定部と、前記タップ重み決定部により重みが決定された前記タップを用いて前記注目ブロックの階層化画像を階層毎に生成する第２の階層化画像部と、所定階層において、前記注目ブロックの階層化画像と、前記探索用の階層化画像の探索範囲における複数の探索ブロックとを照合して各評価値を算出する第１の評価値算出部と、前記評価値の各々の中から最小となる最小評価値を選択し、当該最小評価値に基づいて動きベクトルを検出する動きベクトル検出部とを備えるものである。
【００２１】
本発明に係る第１の動きベクトル検出装置によれば、位相ずれ算出部は、選択した注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルとブロックサイズから注目ブロックの位相ずれ量を算出する。タップ重み決定部は、この位相ずれ算出部により算出された位相ずれ量からタップの重みを決定する。例えば、このタップ重み決定部は、元の位相のタップと、当該元の位相のタップから位相ずれ量が示す方向に移動させたタップとが重なる部分の重みを大きく設定する。第２の階層化画像部は、タップ重み決定部により重みが決定されたタップを用いて注目ブロックの階層化画像を階層毎に生成する。第１の評価値算出部は、所定階層において、注目ブロックの階層化画像と、探索用の階層化画像の探索範囲における複数の探索ブロックとを照合して各評価値を算出する。動きベクトル検出部は、評価値の各々の中から最小となる最小評価値を選択し、当該最小評価値に基づいて動きベクトルを検出する。これにより、上位階層の画像間における位相ずれの影響を緩和できると共に、動きベクトルの検出精度を向上できる。
【００２２】
上述した課題を解決するために、本発明に係る動きベクトル検出方法は、前記第１の画像を所定のブロックサイズに分割して第１のブロックを生成し、当該第１のブロックの各々を縮小した探索用の階層化画像を階層毎に形成するステップと、前記第１の画像と時間的に離れた第２の画像を前記ブロックサイズに分割するステップと、分割されたブロックから注目ブロックを選択し、当該注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得するステップと、取得した動きベクトルと前記ブロックサイズから前記注目ブロックの位相ずれ量を算出するステップと、算出された前記位相ずれ量からタップの重みを決定するステップと、重みが決定された前記タップを用いて前記注目ブロックの階層化画像を生成するステップと、所定階層において、前記注目ブロックの階層化画像と、前記探索用の階層化画像の探索範囲における複数の探索ブロックとを照合して各評価値を算出するステップと、前記評価値の各々の中から最小となる最小評価値を選択し、当該最小評価値に基づいて動きベクトルを検出するステップとを有するものである。
【００２３】
上述した課題を解決するために、本発明に係る第２の動きベクトル検出装置は、第１の画像と時間的に離れた第２の画像を所定のブロックサイズに分割するブロック分割部と、前記ブロック分割部により分割されたブロックから注目ブロックを選択し、当該注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルと前記ブロックサイズから前記注目ブロックの位相ずれ量を算出する位相ずれ算出部と、前記位相ずれ算出部により算出された前記位相ずれ量からタップの重みを決定するタップ重み決定部と、前記タップ重み決定部により重みが決定された前記タップを用いて前記注目ブロックの階層化画像を階層毎に生成する第２の階層化画像部と、前記第２の階層化画像部により生成された前記注目ブロックの階層化画像を記憶する記憶部と、所定階層において、前記第２の階層化画像部により生成された前記注目ブロックの階層化画像と、前記記憶部に記憶された階層化画像における探索範囲の複数の探索ブロックとを照合して各評価値を算出する第２の評価値算出部と、前記評価値の各々の中から最小となる最小評価値を選択し、当該最小評価値に基づいて動きベクトルを検出する動きベクトル検出部とを備えるものである。
【００２４】
本発明に係る第２の動きベクトル検出装置によれば、第２の評価値算出部は、所定階層において、第２の階層化画像部により生成された注目ブロックの階層化画像と、記憶部に記憶された階層化画像における探索範囲の複数の探索ブロックとを照合して各評価値を算出する。これにより、上位階層の画像間における位相ずれの影響を緩和できると共に、動きベクトルの検出精度を向上できる。しかも、記憶部に記憶された１つ前の階層化画像を利用して評価値を求めているので、回路規模を削減できるようになる。
【発明の効果】
【００２５】
本発明に係る第１の動きベクトル検出装置及び動きベクトル検出方法によれば、注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルと分割ブロックサイズから注目ブロックの位相ずれ量を算出し、算出された位相ずれ量からタップの重みを決定し、この重みが決定されたタップを用いて注目ブロックの階層化画像を階層毎に生成するものである。
【００２６】
この構成によって、上位階層の画像間における位相ずれの影響を緩和できる。これにより、上位階層における動きベクトルの検出精度を向上できると共に、下位階層における動きベクトルの検出精度を向上できる。
【００２７】
本発明に係る第２の動きベクトル検出装置によれば、第２の評価値算出部は、所定階層において、第２の階層化画像部により生成された注目ブロックの階層化画像と、記憶部に記憶された階層化画像における探索範囲の複数の探索ブロックとを照合して各評価値を算出する。
【００２８】
この構成によって、上位階層の画像間における位相ずれの影響を緩和できると共に、動きベクトルの検出精度を向上できる。しかも、記憶部に記憶された１つ前の階層化画像を利用して評価値を求めているので、回路規模を削減できるようになる。
【発明を実施するための最良の形態】
【００２９】
続いて、図面を参照しながら本発明に係る動きベクトル検出装置及び動きベクトル検出方法の実施の形態について説明する。図１は、本発明に係る第１の実施形態としての動きベクトル検出装置１００の構成例を示すブロック図である。図１に示す動きベクトル検出装置１００は、注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルと分割ブロックサイズから注目ブロックの位相ずれ量を算出し、算出された位相ずれ量からタップの重みを決定し、この重みが決定されたタップを用いて注目ブロックの階層化画像を階層毎に生成することで、上位階層の画像間における位相ずれの影響を緩和できるようにすると共に、動きベクトルの検出精度を向上できるようにするものである。
【００３０】
図１に示す動きベクトル検出装置１００は、入力端子１からプログレッシブ又はインターレースの動画像データを入力する。この例では、説明の理解を容易にするために、プログレッシブの動画像データについて説明する。入力端子から入力された動画像データは、ブロック位置抽出回路２に出力される。
【００３１】
ブロック位置抽出回路２はブロック分割部の一例であり、画像データを例えば２×２画素のブロックサイズに分割する。分割後、ブロック位置抽出回路２は、注目ブロックの位置情報及び画素値情報を探索階層決定回路３及び階層化タップ決定回路４Ａに出力する。
【００３２】
階層化タップ決定回路４Ａは、この注目ブロックの位置情報と、動きベクトルメモリ５に蓄積されている今までに検出された動きベクトルから、注目ブロックに係る各階層化ブロックの位相ずれを決定する。そして、この位相ずれに基づいて、生成するタップの重みを示すタップ重み情報を決定する。このタップ重み情報を決定する際の動きベクトルは、注目ブロックの近傍に位置するブロックの動きベクトルを用いる。なお、タップ重み情報の求め方の詳細は、図５及び図６で説明する。
【００３３】
階層化回路６は第２の階層化画像部の一例であり、このタップ重み情報と動画像データから各階層の画像データを生成して階層画像メモリ７に出力する。例えば、階層化回路６は、下位階層の画像データを２×２画素の階層化ブロックに分割する。そして、階層化回路６は、例えば、位相ずれに応じて重みが設定されたタップＱ４（図５Ｂ参照）を用いて下位階層の１／４の縮小画像となる画像データを作成する。階層画像メモリ７は記憶部の一例であり、階層化回路６により縮小された各階層の画像データを蓄積する。このように、注目ブロックの近傍に位置するブロックの動きベクトルから各階層におけるタップの重みが決定され、タップ重み情報と原画像データから各階層の画像データを作成する。
【００３４】
次に、動きベクトルを検出する構成を説明する。先ず、注目フレームにおける注目ブロックの画像データの作成について説明する。この例では、注目ブロック毎に階層化ブロックを作成する。例えば、第１階層の１個の注目ブロックを選択し、当該注目ブロックを縮小した第２階層の階層化ブロックを作成する。そして、当該第２階層の階層化ブロックを縮小した第３階層の階層化ブロックを作成する。同様にしてラスタスキャン順に、第１階層の隣接する次の１個の注目ブロックを選択し、当該注目ブロックを縮小した第２階層の階層化ブロックを作成する。このように、１フレーム全体の階層化ブロックを作成するのではなく、注目ブロック毎に階層化ブロックを作成する。
【００３５】
図１に示す探索階層決定回路３は、ブロック位置抽出回路２から注目ブロックの位置情報及び画素値情報を入力する。そして、階層化ブロックを作成する対象の注目ブロックを選択して決定する。上述したように、この例では、注目ブロック毎に階層化ブロックを作成する。また、探索階層決定回路３は、動きベクトル検出を行う注目ブロックについて、どの階層で探索を行うべきかを決定する。例えば、探索階層決定回路３は、動きベクトル検出部の一例である動き量検出回路８から動きベクトルの検出結果を入力すると、１つ下の階層で探索を行うように決定する。探索階層決定回路３は、このようにして決定した探索階層、例えば第２階層を示す情報と対象の注目ブロックの位置情報及び画素値情報を注目ブロック画像切り出し回路９に出力する。
【００３６】
注目ブロック画像切り出し回路９は、探索階層を示す情報、すなわち何番目の階層で探索階層を行うべきかを示す情報と、注目ブロックの位置情報及び画素値情報を入力する。注目ブロック画像切り出し回路９は、探索階層が最下位階層（原画像）であれば、入力された注目ブロックの画素値情報をそのまま評価値算出回路１０Ａに出力する。また、最下位階層以外の階層の場合は、注目ブロックの位置に対応した上位階層の画像データを階層画像メモリ７から読み出す。なお、この階層画像メモリ７に蓄積された各階層の画像データは、上述の階層化回路６によりタップ重み情報に基づいて作成されている。このように、各階層における注目ブロックの画像データを作成する。
【００３７】
次に、探索フレームにおける探索範囲の探索（参照）ブロックの画像データの作成について説明する。探索範囲決定回路２０は、探索階層決定回路３から入力した探索階層の情報、注目ブロックの位置情報及び動き量検出回路８から入力した上位階層の動きベクトルから次の下位階層の探索範囲を決定する。例えば、図９Ａ及び図９Ｂは、探索範囲決定回路２０の動作例を示す模式図である。図９Ａは、上位階層に該当する１／４の縮小画像である。図９Ａに示す動きベクトルＭＶ１は、動き量検出回路８から入力した動きベクトルである。探索範囲決定回路２０は、この動きベクトルＭＶ１、探索階層の情報及び注目ブロックの中心位置Ｐ３から探索範囲Ｗを決定する。探索範囲決定回路２０は、決定した探索範囲Ｗの情報及び探索階層の情報を探索範囲切り出し回路２１に出力する。
【００３８】
探索範囲切り出し回路２１は、入力した探索範囲の情報及び探索階層の情報に対応する探索範囲の画像データを階層画像メモリ２３から読み出す。このとき、階層画像メモリ２３から読み出される探索範囲の画像データは、階層画像メモリ７に蓄積された注目フレームよりも１つ前のフレームである探索フレームの画像データである。この階層画像メモリ２３には、第１の階層化画像部の一例である重み一定階層化回路２２により、タップの重みが一定に設定されて作成された各階層の画像データが蓄積されている。
すなわち、重み一定階層化回路２２は、動画像データを所定のブロックサイズに分割して複数の探索ブロックを生成し、当該探索ブロックの各々を縮小した探索用の画像データを階層毎に形成する。
【００３９】
次に、作成された注目ブロックの画像データと探索範囲の画像データから動きベクトルを検出する一例について説明する。評価値算出回路１０Ａは第１の評価値算出部の一例であり、注目ブロック画像切り出し回路９から入力した注目ブロックの画像データと、探索範囲切り出し回路２１から入力した探索範囲の複数の探索ブロックとを照合して各評価値、例えば差分絶対値和を算出する。そして、評価値算出回路１０Ａは、探索ブロックの位置とその評価値及び注目ブロックの位置を動き量検出回路８に出力する。探索範囲の探索ブロックは、注目ブロックと同じ大きさのブロックである。
【００４０】
動き量検出回路８は、評価値の各々の中から最小となる最小評価値を選択し、当該最小評価値に基づいて動きベクトルを検出する。例えば、動き量検出回路８は、入力された評価値の中で最小となる評価値の探索ブロックを検出する。そして、動き量検出回路８は、当該探索ブロックの位置と注目ブロックの位置からその時点での探索階層における注目ブロックの動きベクトルを検出する。動き量検出回路８は、探索階層が最下位階層でない場合、検出した動きベクトル及び探索階層の情報を探索階層決定回路３及び動きベクトルメモリ５に出力する。動きベクトルメモリ５は、動き量検出回路８から出力された動きベクトルを蓄積する。また、動き量検出回路８は、探索階層が最下位階層の場合、検出した動きベクトルを注目ブロックの最終的な動きベクトルとして出力端子２４に出力する。
【００４１】
続いて、図１に示した階層化タップ決定回路４Ａについて説明する。図２は、階層化タップ決定回路４Ａの構成例を示すブロック図である。図２に示す階層化タップ決定回路４Ａは、位相ずれ算出回路２５及びタップ重み決定回路２６を備えている。位相ずれ算出回路２５は位相ずれ算出部の一例であり、動きベクトルメモリ５から動きベクトルを入力する。例えば、この動きベクトルメモリ５には、図３Ａ及び図３Ｂに示す２種類の動きベクトルが蓄積されている。この２種類の動きベクトルは、時間方向の動きベクトルと空間方向の動きベクトルである。例えば、物体の等速仮定が成り立つとすると、時間方向の情報からその移動体の動き分だけ階層化ブロックの位相がずれていると予測される。また、物体の剛体仮定が成り立つとすると、空間方向の情報から同じ物体の画素を含む階層化ブロック間では、同じ位相ずれが起こっていると予想される。
【００４２】
図３Ａは、時間方向の動きベクトルであり、注目フレームＦとこの注目フレームＦより時間的に１つ前の探索フレームＦ−１を示す模式図である。時間方向の動きベクトルには、図３Ａに示す注目フレームＦの注目ブロックＢＬFに対して同じ位置にある探索フレームＦ−１の注目ブロックＢＬF-1の動きベクトルを用いる。なお、探索フレームＦ−１の注目ブロックＢＬF-1の周囲の複数の動きベクトルを平均した動きベクトルを用いるようにしてもよい。
【００４３】
図３Ｂは、空間方向の動きベクトルであり、注目フレームＦを示す模式図である。空間方向の動きベクトルには、図３Ｂに示す注目フレームＦの注目ブロックＢＬFに対して隣接するブロックＢＬF’の動きベクトルを用いる。なお、注目ブロックＢＬFの周囲の複数の動きベクトルを平均した動きベクトルを用いるようにしてもよい。
【００４４】
図２に示す位相ずれ算出回路２５は、図３Ａに示した時間方向の動きベクトル又は空間方向の動きベクトルのいずれかを動きベクトルメモリ５から取得する。また、位相ずれ算出回路２５は、ブロック位置抽出回路２からブロックサイズ情報を入力する。そして、位相ずれ算出回路２５は、動きベクトルとブロックサイズ情報から位相ずれを算出する。例えば、動きベクトルの水平成分をＭＶｘ、垂直成分をＭＶｙとし、水平方向の階層化ブロックのサイズをＢＳｘ、垂直方向の階層化ブロックのサイズをＢＳｙとする。このとき、水平方向及び垂直方向の位相ずれは、下記の式（３）から算出される。
【００４５】
【数３】
2009284089.tif 000005
【００４６】
位相ずれ算出回路２５は、算出した位相ずれの情報をタップ重み決定回路２６に出力する。タップ重み決定回路２６はタップ重み決定部一例であり、この位相ずれの情報から各階層において、それぞれ用いるタップの重みを決定する。例えば、タップ重み決定回路２６は、図４Ａに示すタップを用いてその重みを決定する。
【００４７】
図４Ａ及び図４Ｂは、階層化におけるタップの選択例を示す模式図である。図４Ａに示すタップは、ひし形（８角形）の形状に選択されたタップを示している。この例では、１／４の縮小画像を作成する場合に、２４個の画素をひし形の形状にタップを選択する。この例で、タップは、２×２画素の階層化ブロックの隣接する２画素までの情報を均等に用いる。このタップの重みは、下記の式（４）に示すように設定する。
【００４８】
【数４】
2009284089.tif 000006
【００４９】
ここで、点線で囲まれる範囲は、階層化ブロックの位置及びサイズを示している。タップの形状をひし形に設定すると、図１７に示したタップの形状を矩形に設定する場合に比べて、画素の特徴をより反映した縮小画像を作成することができる。これは、画素の特徴をより反映した縮小画像を作成するためには、中心から近い位置の画素を選択するタップの形状が優位だからである。すなわち、円形のタップ形状が最も画素の特徴を反映した縮小画像を作成できる。このように、タップの形状をひし形（８角形）に設定すると共に、周囲の画素を巻き込んだタップを設定する。
【００５０】
図４Ｂに示す上位階層の画像データは、下位階層の画像データが１／４に縮小されたものである。この例で、図４Ｂに示す上位階層の画素データＰ１は、下位階層のタップＱ１から作成されている。また、上位階層の画素データＰ２は、下位階層のタップＱ２から作成されている。このとき、タップＱ１とタップＱ２は、１０画素から成るその領域Ｒがオーバーラップしている。これにより、位相ずれ全般に対するロバスト性の向上が期待できる。このように、階層化のタップを選択する。
【００５１】
図２に示すタップ重み決定回路２６は、位相ずれ算出回路２５からの位相ずれの情報及び探索階層決定回路３からの階層化ブロックを作成する対象の注目ブロックの位置情報を入力する。そして、タップ重み決定回路２６は、各階層において、それぞれ用いるタップの重みを変更する。例えば、位相ずれの情報が、階層化ブロックがフレーム間で水平右方向に２画素の位相ずれが生じ、垂直上方向に１画素の位相ずれが生じていることを示す場合を考える。このとき、図５Ｂに示す、元の位相におけるタップＱ３と、予想される位相ずれの分（座標（２、１））だけずらしたタップＱ３’とが重なり合った部分の重みを大きくすることによりタップの重みを変更する。
【００５２】
例えば、図５Ａ及び図５Ｂは、タップの重み設定例（その１）を示す模式図である。図５Ａに示すタップＱ３は基準のタップであり、式（４）に示したようにその重みが全て「１」に設定されている。図５Ｂに示すタップＱ４は、位相ずれに応じて重みが設定され、その重みが「１」又は「２」に設定されている。この例で、図５Ｂに示すタップＱ４は、図５Ａに示すタップＱ３の重なり合った部分の重みを２倍に設定した例である。
【００５３】
このとき、上述した式（４）は、下記の式（５）に示すようになる。
【００５４】
【数５】
2009284089.tif 000007
【００５５】
これにより、階層化ブロックの位相がずれた方向のタップの画素の重みを大きくすることで、動画像間における位相ずれの影響を緩和できる。従って、当該タップによって作成する縮小画像は、位相ずれを加味しないタップによって作成された縮小画像に比べて、原画をより反映した画像となる。これにより、正確なブロックマッチングを行うことができる。
【００５６】
次に、位相ずれの情報が、階層化ブロックがフレーム間で水平右方向に２画素の位相ずれが生じ、垂直上方向に位相ずれが生じていないことを示す場合を考える。このとき、図６Ｂに示す、元の位相におけるタップＱ５と、予想される位相ずれの分（座標（２、０））だけずらしたタップＱ５’とが重なり合った部分の重みを大きくすることによりタップの重みを変更する。
【００５７】
例えば、図６Ａ及び図６Ｂは、タップの重み設定例（その２）を示す模式図である。図６Ａに示すタップＱ５は、その重みが全て「１」に設定されている。図６Ｂに示すタップＱ６は、図６Ａに示すタップＱ５の重なり合った部分の重みを２倍に設定した例である。このように、位相ずれを示す情報に基づいて重みを変更する。
【００５８】
なお、タップの重みや形状は、階層間で共通のものを用いてもよいし、異なっていてもよい。例えば、位相ずれをあまり考慮していないタップ、すなわち重みが偏っていないタップを用いて第２階層を作成する。そして、位相ずれを大きく考慮するために重みが大きく偏ったタップを用いて第３階層を作成する。
【００５９】
また、同じ注目ブロックに属する階層化ブロックであっても、異なるタップを用いて階層化を行うようにしてもよい。例えば、注目ブロックの一部に他の部分とは全く異なる挙動を示す物体がある場合、その物体を含む階層化ブロックのタップの重みを小さくするか、その物体を避けるようにタップの重みを作成する。これにより、その物体の影響を小さくすることができる。
【００６０】
図７Ａ及び図７Ｂは、第１階層から直接第３階層のタップの重みを設定する方法の一例を示す模式図である。図７Ａに示すタップＱ７は、第１階層の画像データを１／４縮小して第２階層の画像データを作成するためのタップである。タップＱ７の重みは一定である。また、図７Ａに示すタップＱ８は、第１階層の画像データを１／１６縮小して第３階層の画像データを作成するためのタップである。このタップＱ８は、４つのタップＱ７を重ねて作成したものである。このように、タップＱ８は、中心の画素の重みの度合いが多く設定される。
【００６１】
これに対して、図７Ｂに示すタップＱ６は、第１階層の画像データを１／４縮小して第２階層の画像データを作成するためのタップである。タップＱ６の重みは、例えば（２、０）の位相ずれを想定して変更している。また、図７Ｂに示すタップＱ１０は、第１階層の画像データを１／１６縮小して第３階層の画像データを作成するためのタップである。このタップＱ１０は、４つのタップＱ６を重ねて作成したものである。このように、タップＱ１０は、右側の画素の重みの度合いが多く設定される。
【００６２】
続いて、図２に示した階層化タップ決定回路４Ａの他の構成例について説明する。図８は、階層化タップ決定回路４Ｂの構成例を示すブロック図である。図８に示す階層化タップ決定回路４Ｂは、２種類の動きベクトルの中で最適な動きベクトルを選択してタップの重みを決定する。なお、階層化タップ決定回路４Ａと同じ構成要素には同一符号を付し、その詳細な説明は省略する。
【００６３】
この階層化タップ決定回路４Ｂは、動きベクトル選択回路２７、評価地算出回路２８、動きベクトル決定回路２９、位相ずれ算出回路２５及びタップ重み決定回路２６を備えている。動きベクトル選択回路２７は動きベクトル選択部の一例であり、動きベクトルメモリ５から、図３Ａ及び図３Ｂに示した時間方向の動きベクトル及び空間方向の動きベクトルを入力する。そして、動きベクトル選択回路２７は、時間方向の動きベクトル又は空間方向の動きベクトルのいずれか一方の動きベクトルを選択して評価地算出回路２８に出力する。
【００６４】
評価地算出回路２８はベクトル評価値算出部の一例であり、動きベクトル選択回路２７から出力された動きベクトルに係るブロックと、注目ブロックとの評価値を求める。例えば、注目ブロックと当該動きベクトルに係るブロックとの差分絶対値和や、類似性の度合いを示す相関係数などにより評価値を求める。
【００６５】
動きベクトル決定回路２９は動きベクトル決定部の一例であり、評価値算出回路３０により求められた評価値から位相ずれを求めるための動きベクトルを決定する。例えば、評価値が差分絶対値和の場合、動きベクトル決定回路２９は、時間方向の動きベクトルに基づいて求められた評価値と、空間方向の動きベクトルに基づいて求められた評価値から、値が小さい評価値が示す動きベクトルに決定する。
【００６６】
位相ずれ算出回路２５は、決定された動きベクトルとブロックサイズ情報から位相ずれを算出する。タップ重み決定回路２６は、この位相ずれの情報から各階層において、それぞれ用いるタップの重みを変更する。このように、階層化タップ決定回路４Ｂは、２種類の動きベクトルの中で最適な動きベクトルを選択してタップの重みを決定するので、ブロックマッチングの精度を向上できる。
【００６７】
続いて、動きベクトル検出装置１００の動作例を説明する。図１０は、動きベクトル検出装置１００の動作例を示すフローチャートである。図１０に示すステップＳＴ１で、動きベクトル検出装置１００は、階層画像を生成する。図１１は、階層画像を生成する一例を示すフローチャートである。図１１に示すステップＳＴ１１で、図１に示した階層化回路６は、下位階層の画像データを２×２画素の階層化ブロックに分割する。そして、階層化回路６は、例えば、位相ずれに応じて重みが設定されたタップＱ４（図５Ｂ参照）を用いて下位階層の１／４の縮小画像となる画像データを作成する。続いて、ステップＳＴ１２に移行する。
【００６８】
ステップＳＴ１２で、図２に示した位相ずれ算出回路２５は、注目ブロックの位相ずれを算出する。例えば、位相ずれ算出回路２５は、図３Ａに示した時間方向の動きベクトル又は空間方向の動きベクトルのいずれかを動きベクトルメモリ５から入力する。また、位相ずれ算出回路２５は、ブロック位置抽出回路２からブロックサイズ情報（例えば２×２画素）を入力する。そして、位相ずれ算出回路２５は、上述の式（３）を用いて当該動きベクトルとブロックサイズ情報から位相ずれを算出する。続いてステップＳＴ１３に移行する。
【００６９】
ステップＳＴ１３で、図２に示したタップ重み決定回路２６は、位相ずれの情報から各階層において、それぞれ用いるタップの重みを変更する。例えば、タップ重み決定回路２６は、図５Ｂに示したタップＱ４を用いてその重みを決定してステップＳＴ１４に移行する。
【００７０】
ステップＳＴ１４で、図１に示した階層化回路６は、例えば、位相ずれに応じて重みが設定されたタップＱ４（図５Ｂ参照）を用いて下位階層の１／４の縮小画像となる画像データを作成して階層画像メモリ７に出力する。階層画像メモリ７は、階層化回路６により縮小された各階層の画像データを蓄積する。続いて、図１０に示すステップＳＴ２に移行する。
【００７１】
図１０に示すステップＳＴ２で、階層化ブロックマッチングでは、最上位階層から順次下位階層へ探索を進めるため、最上位階層である第３階層へ移動してステップＳＴ３に移行する。
【００７２】
ステップＳＴ３で、図１に示した評価値算出回路１０Ａは、現在動きベクトルの検出を行っている注目ブロックにおいて、探索範囲に含まれる全ての探索ブロックに対して探索を行ったか否かを判定する。例えば、注目ブロックのサイズが１６×８画素で、探索範囲が４８×２４画素の場合、探索範囲に含まれる１６×８の探索ブロックは、５６１通り存在する。探索範囲に含まれる全ての探索ブロックに対して探索を行っていない場合、ステップＳＴ４に移行する。
【００７３】
ステップＳＴ４で、図１に示した評価値算出回路１０Ａは、注目ブロックと探索ブロックについての評価を行う。例えば、注目ブロックがｍ×ｎの大きさとし、注目ブロックと探索ブロックそれぞれの画素位置（ｘi、ｙj）における画素値をそれぞれＶ（ｘi、ｙj）、Ｖsearch（ｘi、ｙj）とする。このとき、注目ブロックとその探索ブロックの評価値Ｅは、下記の差分絶対値和を示す式（６）により算出される。
【００７４】
【数６】
2009284089.tif 000008
【００７５】
探索ブロックに対して評価を終えてステップＳＴ５に移行する。ステップＳＴ５で、評価値算出回路１０Ａは、次の探索ブロックと注目ブロックについての評価を行う。次の探索ブロックは、まだ評価をされていない探索ブロックのいずれかとなる。例えば、探索範囲にたいして左上から順次右下の方向へ横方向の探索を行った場合、次の探索ブロックは、直前に探索を行ったブロックの右に隣接するブロックか、次の行の左端のブロックになる。続いてステップＳＴ３に戻る。
【００７６】
ステップＳＴ３で、探索範囲に含まれる全ての探索ブロックに対して探索を行った場合、ステップＳＴ６に移行する。ステップＳＴ６で、図１に示した動き量検出回路８は、入力された評価値の中で最小となる探索ブロックを検出する。そして、動き量検出回路８は、当該探索ブロックの位置と注目ブロックの位置からその時点（ｎ階層）での探索階層における注目ブロックの動きベクトルを検出する。例えば、注目ブロックに対し、評価値が最小となった探索ブロックが水平右方向に３画素、垂直下方向に１画素ずれたとする。このとき、階層ｎにおいて検出される動きベクトルの水平成分ＭＶｘ、垂直成分ＭＶｙは、（ＭＶｘ、ＭＶｙ）＝（３、１）となる。続いてステップＳＴ７に移行する。
【００７７】
ステップＳＴ７で、動き量検出回路８は、動きベクトルを検出した階層が、最下位階層（原画像）であるか否かを判定する。動きベクトルを検出した階層が最下位階層でない場合、ステップＳＴ８に移行する。
【００７８】
ステップＳＴ８で、図１に示した探索階層決定回路３及び探索範囲決定回路２０は、上位階層の動きベクトルから次の下位階層の探索範囲を決定する。例えば、図９Ａに示す上位階層における動きベクトルＭＶ１は、水平方向に３、垂直方向に１の動きベクトルである。この上位階層は、下位階層の１／４の縮小画像である。この場合、下位階層における探索範囲Ｗの中心は、注目ブロックの中心位置Ｐ３から水平方向に６、垂直方向に２の位置になる。続いて、ステップＳＴ３に戻り、以後、ステップＳＴ４〜ＳＴ６の処理を繰り返してステップＳＴ７に移行する。ステップＳＴ７で、動きベクトルを検出した階層が最下位階層（原画像）である場合、当該動きベクトルを求める最終的な動きベクトルとして出力して処理の終了となる。
【００７９】
図１２は、動きベクトル検出装置１００のＭＣ（動き補償）の残差の一例を示す説明図である。図１２に示すＭＣ残差は、検出された動きベクトルが指し示す先のブロックと、注目ブロックとの画素差分絶対値和を１画素当たりに平均化して求めている。なお、この例では、演算コストの説明は省略している。
【００８０】
図１２に示すように、ブロックマッチングにおいて、階層化せずにフルサーチすると、ＭＣ残差は最も低い値「５．７１５」を示している。２番目にＭＣ残差が低いのは、本発明に係る適応的に重みを変更した場合であり、その値は「６．３６４」を示している。また、３番目にＭＣ残差が低いのは、重みを一定にした場合、すなわち図５Ａに示した全て「１」の重みのタップを用いた場合であり、その値は「６．４０９」を示している。また、４番目にＭＣ残差が低いのは、従来例に係るオーバーラップ階層化した場合（図１９参照）であり、その値は「６．４４５」を示している。また、最もＭＣ残差が高いのは、従来例に係る平均値３階層探索した場合であり、その値は「６．５４４」を示している。このように、本発明に係る適応的に重みを変更した場合が、階層化なしのフルサーチに次いで最もＭＣ残差が小さくなり、ブロックマッチングの精度が高くなっている。
【００８１】
続いて、タップの重みを適応的に変更した場合の階層化画像と、タップの重みを一定に設定した場合の階層化画像を比較する。図１３Ａ及び図１３Ｂは、階層化画像の比較例を示す説明図である。図１３Ａに示す注目フレームは、上位階層として、例えば図７ＡのタップＱ８を用いて重みを一定に設定して１／１６縮小画像である注目フレームＦ１を作成している。また、図１３Ｂは、上位階層として、時間方向の動きベクトルを用いて位相ずれを求めて、例えば図７ＢのタップＱ１０を用いて重みを変更して１／１６縮小画像である注目フレームＦ２を作成している。なお、図１３Ａに示す探索フレームと図１３Ｂに示す探索フレームは同一である。
【００８２】
このとき、図１３Ａに示す、重みを一定に設定して作成した注目フレームＦ１の領域Ｐ６に示す画像は、探索フレームの領域Ｐ７に示す画像と大きく異なっている。また、この注目フレームＦ１の領域Ｐ８に示す画像も、探索フレームの領域Ｐ９に示す画像と大きく異なっている。
【００８３】
これに対して、図１３Ｂに示す、重みを変更して作成した注目フレームＦ２の領域Ｐ１０に示す画像は、探索フレームの領域Ｐ１１に示す画像と類似している。また、この注目フレームＦ２の領域１２Ｐに示す画像も、探索フレームの領域Ｐ１３に示す画像と類似している。
【００８４】
このように、本発明に係る第１の実施形態としての動きベクトル検出装置１００及び動きベクトル検出方法によれば、注目ブロックから時間方向又は空間方向の近傍に位置するブロックの動きベクトルを取得し、当該動きベクトルと分割ブロックサイズから注目ブロックの位相ずれ量を算出し、算出された位相ずれ量からタップの重みを決定し、この重みが決定されたタップを用いて注目ブロックの階層化画像を階層毎に生成するものである。
【００８５】
この構成によって、上位階層の画像間における位相ずれの影響を緩和できる。これにより、上位階層における動きベクトルの検出精度を向上できると共に、下位階層における動きベクトルの検出精度を向上できる。
【００８６】
なお、タップの選択は、上述した例に限らず次のようにしてもよい。図１４は、他のタップ選択例を示す説明図である。図１４に示すタップＱ１１は、上述した図４Ａに示したタップと同じ形状である。図１４に示すタップＱ１２は、このタップＱ１１の周囲の画素を巻き込んで作成したタップである。このように、階層化タップのタップ領域を広げると共に、黒丸で示した中心の画素Ｐ４からの距離を考慮した形状のタップを作成することにより、位相ずれを解消することも考えられる。
【００８７】
また、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【００８８】
続いて、本発明に係る第２の実施形態としての動きベクトル検出装置２００について説明する。図１５は、本発明に係る第２の実施形態としての動きベクトル検出装置２００の構成例を示すブロック図である。図１５に示す動きベクトル検出装置２００は、図１に示した重み一定階層化回路２２及び階層画像メモリ２３を有していない。すなわち、探索範囲切り出し回路２１は、図１に示した重み一定階層化回路２２により、タップの重みが一定に設定されて作成された各階層の画像データを用いるのではなく、階層画像メモリ７に蓄積された、階層化回路６により重みが設定された各階層の画像データを用いる。そして、評価値算出回路１０Ｂは第２の評価値算出部の一例であり、所定階層において、階層化回路６により生成された注目ブロックと、階層画像メモリ７に記憶された１つ前に当たる探索フレームにおける探索範囲の複数の探索ブロックとを照合して各評価値を算出する。これにより、回路規模を削減できると共に、過去に作成した各階層の画像データを用いることができる。従って、装置に係る負荷を軽減できる。
【産業上の利用可能性】
【００８９】
本発明は、階層化ブロックマッチングにより動きベクトルを求める動きベクトル検出装置及び動きベクトル検出方法に適用して好適である。
【図面の簡単な説明】
【００９０】
【図１】本発明に係る第１の実施形態としての動きベクトル検出装置１００の構成例を示すブロック図である。
【図２】階層化タップ決定回路４Ａの構成例を示すブロック図である。
【図３】時間方向の動きベクトル及び空間方向の動きベクトルの選択例を示す模式図である。
【図４】Ａ及びＢは、階層化におけるタップの選択例を示す模式図である。
【図５】Ａ及びＢは、タップの重み設定例（その１）を示す模式図である。
【図６】Ａ及びＢは、タップの重み設定例（その２）を示す模式図である。
【図７】第１階層から直接第３階層のタップの重みを設定する方法の一例を示す模式図である。
【図８】階層化タップ決定回路４Ｂの構成例を示すブロック図である。
【図９】探索範囲決定回路２０の動作例を示す模式図である。
【図１０】動きベクトル検出装置１００の動作例を示すフローチャートである。
【図１１】階層画像を生成する一例を示すフローチャートである。
【図１２】動きベクトル検出装置１００のＭＣ（動き補償）の残差の一例を示す説明図である。
【図１３】Ａ及びＢは、階層化画像の比較例を示す説明図である。
【図１４】他のタップ選択例を示す説明図である。
【図１５】本発明に係る第２の実施形態としての動きベクトル検出装置２００の構成例を示すブロック図である。
【図１６】従来例に係るブロックマッチング法による動きベクトルの検出例を示す模式図である。
【図１７】従来例に係る階層化ブロックマッチングの一例を示す模式図である。
【図１８】従来例に係る位相ずれによる平均値画像の違いの一例を示す説明図である。
【図１９】従来例に係るオーバーラップによる階層化方法の一例を示す模式図である。
【符号の説明】
【００９１】
２・・・ブロック位置抽出回路（ブロック分割部）、６・・・階層化回路（第２の階層化画像部）、７・・・階層画像メモリ（記憶部）、８・・・動き量検出回路（動きベクトル検出部）、１０Ａ・・・評価値算出回路（第１の評価値算出部）、１０Ｂ・・・評価値算出回路（第２の評価値算出部）、２２・・・重み一定階層化回路（第１の階層化画像部）、２５・・・位相ずれ算出回路（位相ずれ算出部）、２６・・・タップ重み決定回路（タップ重み決定部）、２７・・・動きベクトル選択回路（動きベクトル選択部）、２８・・・評価地算出回路（ベクトル評価値算出部）、２９・・・ベクトル決定回路（動きベクトル決定部）
【図１】
2009284089.tif 000009
【図２】
2009284089.tif 000010
【図３】
2009284089.tif 000011
【図４】
2009284089.tif 000012
【図５】
2009284089.tif 000013
【図６】
2009284089.tif 000014
【図７】
2009284089.tif 000015
【図８】
2009284089.tif 000016
【図９】
2009284089.tif 000017
【図１０】
2009284089.tif 000018
【図１１】
2009284089.tif 000019
【図１２】
2009284089.tif 000020
【図１４】
2009284089.tif 000021
【図１５】
2009284089.tif 000022
【図１６】
2009284089.tif 000023
【図１７】
2009284089.tif 000024
【図１９】
2009284089.tif 000025
【図１３】
2009284089.tif 000026
【図１８】
2009284089.tif 000027