(57)【特許請求の範囲】
【請求項１】
１画像を所定の大きさの複数のブロックに分割し、各ブロック毎に、相前後する少なくとも２画像の信号から、動きベクトルを検出する動きベクトル検出回路において、
各ブロック毎に検出された動きベクトルを所定時間だけ記憶する既検出ベクトル記憶手段と、
動きベクトルをこれから検出しようとする被検出ブロックの周囲のブロックに係るｎ個の既検出の動きベクトルの中から、与えられたセット情報に従った、Ｎ（Ｎ＜ｎ）個の動きベクトルを、候補ベクトルセットとして選択する候補ベクトルセット切替手段と、
選択された候補ベクトルセットにおけるＮ個の動きベクトルから、被検出ブロックの動きベクトルに最も近い１個の動きベクトルを、当初ベクトルとして選択する当初ベクトル選択手段と、
選択された当初ベクトルに対し、ベクトル補正して、被検出ブロックについての最終的な動きベクトルを検出するベクトル補正手段と、
選択された当初ベクトルに係るブロックの被検出ブロックに対する相対位置の統計量を得、得られた統計量に基づいて、上記候補ベクトルセット切替手段に与えるセット情報を形成するセット情報形成手段と
を有することを特徴とする動きベクトル検出回路。
【請求項２】
上記セット情報形成手段は、統計量が大きい相対位置の被検出ブロックからの方向の既検出の動きベクトルが、上記当初ベクトル選択手段に与えるＮ個の動きベクトルに多く含まれるように、セット情報を形成することを特徴とする請求項１に記載の動きベクトル検出回路。
【請求項３】
１画像を所定の大きさの複数のブロックに分割し、各ブロック毎に、相前後する少なくとも２画像の信号から、動きベクトルを検出する動きベクトル検出方法において、
各ブロック毎に検出された動きベクトルを所定時間だけ記憶させておき、
動きベクトルをこれから検出しようとする被検出ブロックの周囲のブロックに係るｎ個の既検出の動きベクトルから、セット情報に従った、Ｎ（Ｎ＜ｎ）個の動きベクトルを、候補ベクトルセットとして選択し、
選択された候補ベクトルセットにおけるＮ個の動きベクトルから、被検出ブロックの動きベクトルに最も近い１個の動きベクトルを、当初ベクトルとして選択し、
選択された当初ベクトルに対し、ベクトル補正して、被検出ブロックについての最終的な動きベクトルを検出すると共に、
選択された当初ベクトルに係るブロックの被検出ブロックに対する相対位置の統計量を得、得られた統計量に基づいて、上記候補ベクトルセットを規定するセット情報を形成する
ことを特徴とする動きベクトル検出方法。
【請求項４】
統計量が大きい相対位置の被検出ブロックからの方向の既検出の動きベクトルが、上記当初ベクトルの選択に供するＮ個の動きベクトルに多く含まれるように、セット情報を形成することを特徴とする請求項３に記載の動きベクトル検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号における動き量及び方向、すなわち、動きベクトルを検出する動きベクトル検出回路及び動きベクトル検出方法に関するものである。
【０００２】
【従来の技術】
動きベクトルは、画像内の動物体の動き量及び方向を示すものであり、この動きベクトルは、例えば、ビデオ信号（例えば、テレビジョン信号）の高能率符号化におけるフレーム間符号化効率を向上させる際や、テレビジョン方式変換におけるフィールド数の変換による動きの不連続性を軽減させる際などに用いられている。
【０００３】
動きベクトルの検出方法は、１画像（フレーム、フィールド等）をｓ画素×ｔライン（ｓ，ｔは整数）のブロックに細分化した後、ブロック毎に検出する方法である。
【０００４】
このような動きベクトルの検出方法としては、相前後する画像間の信号パターンの類似性を用いて動きベクトルを検出する、一般にパターンマッチング法と言われている方法（特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報他）や、１画像内信号勾配及び画像間信号差分値の物理的対応等により動き量を推定する、一般に反復勾配法と言われている方法（特開昭６０−１５８７８６号公報他）などが良く知られている。
【０００５】
反復勾配法の中には、動きベクトルの検出精度を向上させるために、初期偏位ベクトルを用いたもの（特開昭６２−２０６９８０号公報）がある。この初期偏位ベクトルを用いた反復勾配法は、既に検出されている複数のブロックの動きベクトルの中から１個の動きベクトルを初期偏位ベクトルとして選択し、この初期偏位ベクトルを基準点として、複数のブロックの動き偏位量の検出を行い、真の動きベクトルを検出する方法である。
【０００６】
以下、前フィールドを基準として、現フィールドの真の動きベクトルを初期偏位ベクトルを用いて求める方法について、図２〜図４を用いて説明する。ここで、図３が、反復勾配演算を２回実行する反復演算法に従った動きベクトル検出回路の機能ブロック図である。
【０００７】
図２に示すように、真の動きベクトルを求めようとする被検出ブロック（ｍ１，ｎ１)に対して、時間的に前に検出されている動きベクトルの中から最適な動きベクトルを選択し、この選択された動きベクトルを初期偏位ベクトルＶ０=（α０，β０)とする。すなわち、初期偏位ベクトル選択部１１によって、既検出ベクトルメモリ１０に格納されている、被検出ブロック近傍のブロックの既検出の動きベクトルの中から、前フィールド信号ＳＣ及び現フィールド信号ＳＢのブロックマッチングに基づいた初期偏位ベクトルＶ０が選択される。この初期偏位ベクトルＶ０、前フィールド信号ＳＣ及び現フィールド信号ＳＢを用いた、第１の勾配法演算部１２による勾配法演算によって初期偏位ベクトルＶ０からの偏差分のベクトルＶ１が求められ、加算部１３によってこの分ベクトルが補正される（図４参照）。さらに、ベクトルＶ０＋Ｖ１、前フィールド信号ＳＣ及び現フィールド信号ＳＢを用いた、第２の勾配法演算部１４による勾配法演算によってベクトルＶ０＋Ｖ１からの偏差分のベクトルＶ２が求められ、加算部１５によってこの分ベクトルが補正され（図４参照）、最終的な動きベクトルＶ（＝Ｖ０＋Ｖ１＋Ｖ２）として出力されると共に、既検出ベクトルメモリ１０に与えられて格納される。
【０００８】
なお、反復勾配法による勾配法演算等については、例えば、映像情報メディア学会のＭＰＥＧ等に記載されているので、その詳細説明は省略する。
【０００９】
反復勾配法に従う動きベクトル検出回路においては、初期偏位ベクトルＶ０の選択が動きベクトルの検出精度に大きく影響する。すなわち、初期偏位ベクトルＶ０が適切に選択された場合には、被検出ブロックの真の動きベクトルに近い値から勾配演算を実行でき、検出精度が良好なものとなる。
【００１０】
従来においては、被検出ブロックの周辺ブロック（通常は被検出ブロックの周囲の８ブロック）の既検出ベクトルに基づいたパターンマッチングなどによって、初期偏位ベクトルＶ０を決定していた。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述した従来技術では、複数の候補ベクトル（周辺ブロックの既検出ベクトル）の中から初期偏位ベクトルを選択する際に、各被検出ブロック毎に独立して初期偏位ベクトルを選択しているので、画像全体が偏った動きの場合など、本来ならば、各被検出ブロックでの初期偏位ベクトルが同様であることが望まれる場合であっても、各被検出ブロックでまちまちの初期偏位ベクトルを選択し、その結果、検出精度が劣化するようなこともあった。
【００１２】
例えば、画面がパニングする場合を考えると、画面全体が同一方向に同様な速度で動いている。この場合、平坦な画像であれば、被検出ブロックの周囲の複数のブロックの既検出動きベクトルは同様な値となり、それらを偏位させた際の画素値も同様な値となって、初期偏位ベクトルを選択する際に、複数の候補ベクトルが同様な値となることがある。そのため、画面全体が同一方向に同様な速度で動いているにも拘わらず、各被検出ブロックについて選択された初期偏位ベクトルがまちまちになることがあり、このような初期偏位ベクトルに対して勾配演算を行うと、各被検出ブロックについて得られた動きベクトルについて誤差もまちまちとなる。
【００１３】
パニングの場合だけでなく、動きの少ない画像の場合等でも、各被検出ブロックについて選択された初期偏位ベクトルがまちまちとなることもあった。
【００１４】
すなわち、従来においては、画像全体の動きを考慮することなく、各被検出ブロックについて初期偏位ベクトルを選択していたため、例えば、水平方向の動きの画像で垂直方向の動きベクトルとして検出したり、垂直方向の動きの画像で水平方向の動きベクトルとして検出したりすることも生じていた。
【００１５】
そのため、画像全体に偏った動きがある場合でも、各被検出ブロックについての初期偏位ベクトル（当初ベクトル）を適切に選択でき、検出精度を向上させることができる動きベクトル検出回路及び動きベクトル検出方法が望まれている。
【００１６】
【課題を解決するための手段】
かかる課題を解決するため、第１の本発明は、１画像を所定の大きさの複数のブロックに分割し、各ブロック毎に、相前後する少なくとも２画像の信号から、動きベクトルを検出する動きベクトル検出回路において、（１）各ブロック毎に検出された動きベクトルを所定時間だけ記憶する既検出ベクトル記憶手段と、（２）動きベクトルをこれから検出しようとする被検出ブロックの周囲のブロックに係るｎ個の既検出の動きベクトルから、与えられたセット情報に従った、Ｎ（Ｎ＜ｎ）個の動きベクトルを、候補ベクトルセットとして選択する候補ベクトルセット切替手段と、（３）選択された候補ベクトルセットにおけるＮ個の動きベクトルから、被検出ブロックの動きベクトルに最も近い１個の動きベクトルを、当初ベクトルとして選択する当初ベクトル選択手段と、（４）選択された当初ベクトルに対し、ベクトル補正して、被検出ブロックについての最終的な動きベクトルを検出するベクトル補正手段と、（５）選択された当初ベクトルに係るブロックの被検出ブロックに対する相対位置の統計量を得、得られた統計量に基づいて、上記候補ベクトルセット切替手段に与えるセット情報を形成するセット情報形成手段とを有することを特徴とする。
【００１７】
また、第２の本発明は、１画像を所定の大きさの複数のブロックに分割し、各ブロック毎に、相前後する少なくとも２画像の信号から、動きベクトルを検出する動きベクトル検出方法において、（１）各ブロック毎に検出された動きベクトルを所定時間だけ記憶させておき、（２）動きベクトルをこれから検出しようとする被検出ブロックの周囲のブロックに係るｎ個の既検出の動きベクトルから、セット情報に従った、Ｎ（Ｎ＜ｎ）個の動きベクトルを、候補ベクトルセットとして選択し、（３）選択された候補ベクトルセットにおけるＮ個の動きベクトルから、被検出ブロックの動きベクトルに最も近い１個の動きベクトルを、当初ベクトルとして選択し、（４）選択された当初ベクトルに対し、ベクトル補正して、被検出ブロックについての最終的な動きベクトルを検出すると共に、（５）選択された当初ベクトルに係るブロックの被検出ブロックに対する相対位置の統計量を得、得られた統計量に基づいて、上記候補ベクトルセットを規定するセット情報を形成することを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明による動きベクトル検出回路及び動きベクトル検出方法の一実施形態を図面を参照しながら詳述する。
【００１９】
（Ａ）実施形態の概要
この実施形態では、初期偏位ベクトルの選択に際して、被検出ブロックの近傍において、広範囲の周辺ブロック、例えば、図５に示すような２４個のブロックの中から、８候補の周辺ブロックのセットを複数用意する。また、被検出ブロックについての初期偏位ベクトルが選択される毎に、８候補中の選択された初期偏位ベクトルに係る周辺ブロックの被検出ブロックに対する相対位置を計数し、この計数動作を１フィールドの間だけ行う。そして、１フィールドの中で一番多く選択された初期偏位ベクトルの相対位置により、複数のブロックセット（ベクトルセット）の中から、最も初期偏位ベクトルの選択に適した１個のブロックセットを判定して選択し、その選択されたブロックセットに属する８個の周辺ブロックについての既検出ベクトルを初期偏位ベクトルの選択に使用するものとする。すなわち、初期偏位ベクトルの前フィールドでの選択情報により候補ベクトルのセットを切替えるものであり、画像のフィールド方向の時間軸での連続性を反映させることができる。
【００２０】
この実施形態は、動き検出のための評価対象ブロックの範囲を、初期偏位ベクトルの候補ベクトル数より拡大すると共に、被検出ブロック以前の１フィールド分の初期偏位ベクトルとして選択された、相対位置が同じブロックの個数を計数し、最多の相対位置が同じブロックを、各被検出ブロックの初期偏位ベクトル（ブロック）の選択の際に優先的に使用することにより、画像のフィールド時間軸方向の全体的に一様な動きのある信号の場合等にも、動きベクトルを高精度に検出できるようにしたものである。
【００２１】
（Ｂ）実施形態の構成
図１は、この実施形態の動きベクトル検出回路の構成を示すブロック図であり、上述した図３との同一、対応部分には同一符号を付して示している。
【００２２】
図１において、この実施形態の動きベクトル検出回路は、従来と同様な既検出ベクトルメモリ１０、初期偏位ベクトル選択部１１、第１の勾配法演算部１２、加算部１３、第２の勾配法演算部１４及び加算部１５に加え、候補ベクトルセット切替部２０、８候補カウンタ２１、セット切替判定部２２及び１フィールド保持部２３を有する。なお、従来に係る図３では省略していたが、この図１では、入力段に設けられている１フィールド遅延部１６も表記している。
【００２３】
１フィールド遅延部１６は、入力されたビデオ信号ＳＡを１フィールドだけ遅延させて、現フィールド信号ＳＢの１フィールド前のフィールド信号（以下、前フィールド信号と呼ぶ）ＳＣを形成するものである。
【００２４】
なお、この実施形態においては、前フィールド信号ＳＣを基準フィールド、現フィールド信号ＳＢを探索フィールドとして、動きベクトルを検出する。また、動きベクトルの検出は、８画素×８ラインのブロックを用いて行うものとする。
【００２５】
既検出ベクトルメモリ１０、初期偏位ベクトル選択部１１、第１の勾配法演算部１２、加算部１３、第２の勾配法演算部１４及び加算部１５は、従来と同様なものである。
【００２６】
すなわち、初期偏位ベクトル選択部１１によって、既検出ベクトルメモリ１０に格納されている、被検出ブロック近傍の既検出の動きベクトルの中から、前フィールド信号ＳＣ及び現フィールド信号ＳＢのブロックマッチングに基づいた初期偏位ベクトルＳＧが選択され、この初期偏位ベクトルＳＧ、前フィールド信号ＳＣ及び現フィールド信号ＳＢを用いた、第１の勾配法演算部１２による勾配法演算によって初期偏位ベクトルＳＧからの偏差分のベクトルＳＨが求められ、加算部１３によってこの分ベクトルが補正される。さらに、ベクトルＳＩ（＝ＳＧ＋ＳＨ）、前フィールド信号ＳＣ及び現フィールド信号ＳＢを用いた、第２の勾配法演算部１４による勾配法演算によってベクトルＳＩからの偏差分のベクトルＳＪが求められ、加算部１５によってこの分ベクトルが補正され、最終的な動きベクトルＳＫ（＝ＳＩ＋ＳＪ）として出力されると共に、既検出ベクトルメモリ１０に与えられて格納される。
【００２７】
この実施形態で追加された候補ベクトルセット切替部２０は、１フィールド保持部２３から与えられたセット情報ＳＮが指示する、その時点での被検出ブロックの位置の近傍の８個の候補ベクトルを、既検出ベクトルメモリ１０から取り出して、候補ベクトルセットＳＭとして、初期偏位ベクトル選択部１１に与えるものである。候補ベクトルセットＳＭの例は、後述する動作説明で明らかにする（図８参照）。
【００２８】
なお、候補ベクトルは、既に検出されたものであれば、被検出ブロックが属する前のフィールドに係るものに限定されるものではなく、被検出ブロックが属するフィールドに係るものであっても良い。例えば、被検出ブロックを、横方向のラスタスキャン状に切り替えていくものである場合には、例えば、被検出ブロックより上方のブロックについては既に動きベクトルが検出されている。
【００２９】
候補ベクトルセット切替部２０は、例えば、図６に示すように、ｎ個（ｎは８より大きい）の候補ベクトルの組ＳＬから８個の候補ベクトルを、１フィールド保持部２３から与えられたセット情報ＳＮに従って選択するセレクタ回路で実現することができる。
【００３０】
例えば、上述した図５に示すように、被検出ブロックを中心とした縦横５×５の計２５個のブロックのうち、被検出ブロックを除いた計２４個の周辺ブロックに係るベクトルを候補ベクトルとする場合には、上述したｎは２４である。また、周辺ブロックに係るベクトルだけでなく、前フィールドでの被検出ブロック位置やその周囲８ブロックに係る既検出ベクトルの平均ベクトル等も候補ベクトルとすることもでき、この場合には、ｎ個の候補ベクトルには、その平均ベクトルも含まれる。
【００３１】
ここで、候補ベクトルセットにおける候補ベクトルの数は８に限定されないことは勿論である。なお、動きベクトルの検出処理の高速化を期して、初期偏位ベクトル選択部１１として、８個の候補ベクトルに対する評価値を並行して求めるハードウェア構成のものが既に存在している。
【００３２】
初期偏位ベクトル選択部１１は、上述のように、複数の候補ベクトルの中から初期偏位ベクトルＳＧを選択して第１の勾配法演算部１２に与えるものである。この実施形態の場合、初期偏位ベクトルＳＧとして選択された候補ベクトルの相対位置を規定する選択情報ＳＤをも形成して８候補カウンタ２１に与えるものである。言い換えると、選択情報ＳＤは、例えば、選択された初期偏位ベクトルＳＧに係るブロックのブロックセット内の相対位置を示す情報である。
【００３３】
８候補カウンタ２１は、１フィールド間にわたって、初期偏位ベクトルＳＧが選択される毎に、言い換えると、選択情報ＳＤが与えられる毎に、その選択情報ＳＤが指示する８候補ブロック内での相対位置についての選択回数（フィールドが切り替わったときには０クリアされる）を積算するものであり、現在動きベクトルの検出対象となっているフィールドについての全ての動きベクトルの検出が終了したときに、計数値が最も多い相対位置を表す最多候補ＳＥを得てセット切替判定部２２に与えるものである。
【００３４】
図７は、８候補カウンタ２１の詳細構成例を示すものである。８候補カウンタ２１は、候補デコード部３０、８個のカウンタ３１〜３８及び大小比較部３９からなる。
【００３５】
候補デコード部３０には、初期偏位ベクトル選択部１１からの選択情報ＳＤが与えられ、候補デコード部３０は、この選択情報ＳＤをデコードして、選択情報ＳＤが指示している相対位置に係るカウンタ３ｘ（ｘは１〜８のいずれか）を１インクリメントさせるためのトリガ信号ＳＤＸ（ＸはＡ〜Ｈのいずれかであり、ｘに対応している）を有意にする。
【００３６】
８個のカウンタ３１〜３８は、８個の候補ベクトルの相対位置毎のものであり（後述する図８参照）、図７の例では、８個の相対位置を、「Ａ候補」、「Ｂ候補」、…、「Ｈ候補」で表している。各カウンタ３１、…、３８はそれぞれ、トリガ信号ＳＤＡ、…、ＳＤＨが候補デコード部３０から与えられたときに１インクリメントするものである。なお、図７では、図示を省略しているが、検出対象のフィールドが切り替わった際には（例えばブランキング期間において）、図示しないタイミング発生回路から、全てのカウンタ３１〜３８に対して計数値を０クリアさせるリセット信号が与えられるようになされている。
【００３７】
また、大小比較部３９には、図７では図示を省略しているが、検出対象のフィールドが切り替わった際に（例えばブランキング期間において）、図示しない比較イネーブル信号が与えられる。大小比較部３９は、比較イネーブル信号が与えられたときには、全てのカウンタ３１〜３８から計数値ＳＥＡ〜ＳＥＨを取り出し、最も大きい計数値を認識し、その最大計数値に係る相対位置を最多候補ＳＥとしてセット切替判定部２２に与える。
【００３８】
セット切替判定部２２は、与えられた最多候補ＳＥと、１フィールド保持部２３が保持している今までのセット情報ＳＮから、これからの処理フィールドにおけるセット情報（切替信号）ＳＯを形成して１フィールド保持部２３に与える。なお、セット切替判定部２２による切替信号ＳＯの形成方法例は、後述する動作説明で明らかにする。
【００３９】
１フィールド保持部２３は、セット切替判定部２２から与えられたセット情報（切替信号）ＳＯを、これからの処理フィールドの期間だけ保持し、その保持したセット情報ＳＮを、候補ベクトルセット切替部２０及びセット切替判定部２２に与えるものである。
【００４０】
（Ｃ）実施形態の動作
以下、図１に構成を示した実施形態の動きベクトル検出回路の動作（動きベクトル検出方法）を説明する。
【００４１】
入力されたビデオ信号ＳＢを１フィールド遅延部１６を通過させることで、動きベクトルの検出に必要な現フィールド信号ＳＢ及び前フィールド信号ＳＣを用意する。これら現フィールド信号ＳＢ及び前フィールド信号ＳＣは、初期偏位ベクトル選択部１１、第１の勾配法演算部１２及び第２の勾配法演算部１４に与えられる。
【００４２】
現フィールドの動きベクトルの検出対象の被検出ブロックが新しくなると、候補ベクトルセット切替部２０によって、その被検出ブロックの周囲における、しかも、セット情報ＳＮが指示している８個の候補ベクトルのセットＳＭが、既検出ベクトルメモリ１０から取り出されて初期偏位ベクトル選択部１１に与えられる。
【００４３】
初期偏位ベクトル選択部１１においては、以上のようにして候補ベクトルセット切替部２０によって選ばれた８個の候補ベクトルの中から、前フィールド信号ＳＣ及び現フィールド信号ＳＢのブロックマッチングなどに基づいた初期偏位ベクトルＳＧが選択され、この初期偏位ベクトルＳＧが、第１の勾配法演算部１２及び加算部１３に与えられると共に、初期偏位ベクトルＳＧとして選択された候補ベクトル（候補ブロック）の被検出ブロックに対する相対位置を示す選択情報ＳＤが初期偏位ベクトル選択部１１から８候補カウンタ２１に与えられる。
【００４４】
初期偏位ベクトルＳＧが与えられた第１の勾配法演算部１２においては、初期偏位ベクトルＳＧ、前フィールド信号ＳＣ及び現フィールド信号ＳＢを用いた勾配法演算が実行されて、初期偏位ベクトルＳＧからの偏差分のベクトルＳＨが求められ、加算部１３によってこの分ベクトルが補正される。さらに、ベクトルＳＩ（＝ＳＧ＋ＳＨ）、前フィールド信号ＳＣ及び現フィールド信号ＳＢを用いた、第２の勾配法演算部１４による勾配法演算によってベクトルＳＩからの偏差分のベクトルＳＪが求められ、加算部１５によってこの分ベクトルが補正され、現在処理対象の被検出ブロックについての最終的な動きベクトルＳＫ（＝ＳＩ＋ＳＪ）として出力されると共に、既検出ベクトルメモリ１０に与えられて、１画像（１フィールド）内のそのブロック位置での既検出ベクトルとして格納される。
【００４５】
一方、選択情報ＳＤが与えられた８候補カウンタ２１においては、その選択情報ＳＤが指示する相対位置に応じた計数値を１インクリメントする。
【００４６】
このようなブロック単位の動きベクトルの検出処理は、現在処理対象のフィールドにおける全てのブロックについて実行される。
【００４７】
８候補カウンタ２１の各相対位置に応じたカウンタ（図７の３１〜３８参照）は、新たなフィールドが処理対象となったときに０クリアされ、その処理対象のフィールドが終了したときには、各被検出ブロックについて初期偏位ベクトルとして選択された相対位置の選択回数が計数値となっている。処理対象のフィールドが終了したときには、８候補カウンタ２１から、選択回数が最も多い相対位置を表す最多候補ＳＥがセット切替判定部２２に与えられる。
【００４８】
セット切替判定部２２においては、与えられた最多候補ＳＥと、１フィールド保持部２３が保持している今までのセット情報ＳＮから、これからのフィールドにおけるセット情報（切替信号）ＳＯが形成されて１フィールド保持部２３に与えられ、１フィールド保持部２３によって、そのセット情報（切替信号）ＳＯが、これからのフィールドの期間だけ保持され、保持されたセット情報ＳＮが、候補ベクトルセット切替部２０及びセット切替判定部２２に与えられる。
【００４９】
これにより、これからのフィールドにおいては、保持されたセット情報ＳＮで定まる８個の候補ベクトルセットが候補ベクトルセット切替部２０によって選択されることになる。
【００５０】
以下、候補ベクトルセットの切替方法を、言い換えると、どのような基準で切り替えるかを、数例について説明する。
【００５１】
上述したように、候補ベクトルは、既検出ベクトルであれば、被検出ブロックが属する前のフィールドに係るものであっても、また、被検出ブロックが属するフィールドに係るものであっても良い。
【００５２】
候補ベクトルセットの切替方法の基準の一つとしては、最多候補が前フィールドに係る候補ベクトル（初期偏位ベクトル）に関する相対位置である場合には、前フィールドの候補ベクトルを多くした候補ベクトルセットにし、最多候補が現フィールドに係る候補ベクトル（初期偏位ベクトル）に関する相対位置である場合には、現フィールドの候補ベクトルを多くした候補ベクトルセットにする、というように、前フィールドと現フィールドの候補ベクトルを任意数ずつ組み合わせたセットで切り替えることもできる。
【００５３】
このとき、フィールド方向（フィールド時間軸）の連続性を切替のパラメータにしても良い。
【００５４】
例えば、最多候補が前フィールドの候補ベクトル（初期偏位ベクトル）に係る場合が所定数のフィールドだけ連続したときには、前フィールドの候補ベクトルを多くした候補ベクトルセットにし、最多候補が現フィールドの候補ベクトル（初期偏位ベクトル）に係る場合が所定数のフィールドだけ連続したときには、現フィールドの候補ベクトルを多くした候補ベクトルセットにすることもできる。
【００５５】
また、他のベクトルセットの切り替え方法の基準としては、初期偏位ベクトルとして選択された候補ベクトルに係るブロックの相対位置の最多候補が、被検出ブロックの上側のブロックの場合には、上側のブロックの候補ベクトルを多くした候補ベクトルセットに切り替え、最多候補が、被検出ブロックの下側のブロックの場合には、下側のブロックの候補ベクトルを多くした候補ベクトルセットに切り替え、最多候補が、被検出ブロックの左側のブロックの場合には、左側のブロックの候補ベクトルを多くした候補ベクトルセットに切り替え、最多候補が、被検出ブロックの右側のブロックの場合には、右側のブロックの候補ベクトルを多くした候補ベクトルセットに切り替えるというような、上、下、左、右のベクトルセット間で切り替えるようにすることも可能である。
【００５６】
このとき、上述したように、フィールド方向の連続性をも切替えのパラメータにしても良い。
【００５７】
図８は、セット要素となり得るブロックを含む領域を縦横５×５ブロックとした場合における、上下左右の各方向の候補ベクトルセットの例を示すものであり、上下左右の各方向の候補ベクトルセットに加えて、方向が偏っていない基準のベクトルセットも示している。
【００５８】
なお、図８においては、上下左右の各方向の候補ベクトルセットをそれぞれ、「上方向セット」、「下方向セット」、「左方向セット」、「右方向セット」という文字列で表しており、また、基準のベクトルセットを「基準セット」という文字列で表している。また、図８において、「※」は被検出ブロックを表している。さらに、図８では、５種類の候補ベクトルのセットを表しているが、他の候補ベクトルのセットがあって良いことは勿論である。例えば、左上方向、右上方向、左下方向、右下方向の候補ベクトルセットがあっても良い。また例えば、同じ方向を指向しても、その距離の遠近等によって、複数の候補ベクトルセットがあっても良い。
【００５９】
図８において、初期状態としては、図８（Ａ）に示す基準セットが選択され、Ａ〜Ｈを候補ベクトルとして初期偏位ベクトルの検出が実行される。なお、Ａ〜Ｈは候補ベクトルを表すと共に、その候補ベクトルに係るブロックの相対位置（ブロック名）をも表している。
【００６０】
ここでは、候補ベクトルＡ、Ｂ、Ｃ、Ｄ、Ｈは、複数の候補ベクトルセット間で被検出ブロックに対する相対位置が固定の候補ベクトルであり、候補ベクトルＥ、Ｆ、Ｇは、各候補ベクトルセットにおいて、前フィールドでの最多候補によって被検出ブロックに対する相対位置が変化する候補ベクトルである。
【００６１】
また、図８の場合でも、上述したように、被検出ブロックが属するフィールドの前のフィールドの既検出ベクトルと、被検出ブロックが属する現フィールドの既検出ベクトルのいずれをも候補ベクトルセットに含めることができる。
【００６２】
固定の候補ベクトル（ブロック名）Ａ、Ｂ、Ｃ、Ｄ、Ｈの相対位置は、以下の通りとする。被検出ブロックの切り替えは、左右方向のラスタ状に従っているとする。
【００６３】
Ａ：現フィールド２ブロック左
Ｂ：現フィールド１ブロック上
Ｃ：前フィールド１ブロック右
Ｄ：前フィールド１ブロック下
Ｈ：前フィールドの平均ベクトル（前フィールドにおける被検出位置ブロック及び周囲ブロックの計９ブロックの平均）
基準セットでの初期偏位ベクトルの選択結果、相対位置がベクトルセットで変化する候補ベクトルＨ、Ｆ又はＧが最多候補となった場合には、上下左右を特定できないため、次フィールドでは再び基準セットを用いた初期偏位ベクトルの選択を行なうものとする。
【００６４】
相対位置が変化する候補ベクトルＨ、Ｆ又はＧのブロック構成の取り方の例を以下に示す。
【００６５】
基準セットでの初期偏位ベクトルの選択の１フィールド分の結果、相対位置Ｂが最多候補となった場合には、次フィールドでは、図８（Ｂ）に示す上方向セットを用いた初期偏位ベクトルの選択を行なう。
【００６６】
基準セットでの初期偏位ベクトルの選択の１フィールド分の結果、相対位置Ｄが最多候補となった場合には、次フィールドでは、図８（Ｃ）に示す下方向セットを用いた初期偏位ベクトルの選択を行なう。
【００６７】
基準セットでの初期偏位ベクトルの選択の１フィールド分の結果、相対位置Ａ又はＥが最多候補となった場合には、次フィールドでは、図８（Ｄ）に示す左方向セットを用いた初期偏位ベクトルの選択を行なう。
【００６８】
基準セットでの初期偏位ベクトルの選択の１フィールド分の結果、相対位置Ｃが最多候補となった場合には、次フィールドでは、図８（Ｅ）に示す右方向セットを用いた初期偏位ベクトルの選択を行なう。
【００６９】
上方向セットでの初期偏位ベクトルの選択の１フィールド分の結果、相対位置Ｂ、Ｅ、Ｆ、Ｇ又はＨが最多候補となった場合には、次フィールドでは再び上方向セットを用いた初期偏位ベクトルの選択を行なう。
【００７０】
上方向セットでの初期偏位ベクトルの選択の１フィールド分の結果、相対位置Ｂ、Ｅ、Ｆ、Ｇ、Ｈ以外が最多候補となった場合には、次フィールドでは、基準セットを用いた初期偏位ベクトルの選択を行なう。
【００７１】
上方向セットでの場合と同様に、下方向セットや左方向セットや右方向セットでの初期偏位ベクトルの選択の１フィールド分の結果が、被検出ブロック位置よりその方向の相対位置が最多候補となった場合には、次フィールドでは再びその方向のセットを用いた初期偏位ベクトルの選択を行ない、一方、それ以外の相対位置が最多候補となった場合には、次フィールドでは、基準セットを用いた初期偏位ベクトルの選択を行なう。
【００７２】
以上のように、フィールド毎に、基準セット、上方向セット、下方向セット、左方向セット及び右方向セット間で、初期偏位ベクトルの候補ベクトルセットがを遷移する。
【００７３】
ここで、候補ベクトルセットの遷移には最多候補の時間的な連続性をパラメータにしても良く、また、同じ方向が複数回連続した場合に遷移させる方法も可能である。
【００７４】
なお、候補ベクトルセットは、各候補ベクトルセットにおいて各種動画像をシミュレーションすることにより得られたデータを検証することにより、決定することができる。
【００７５】
（Ｄ）実施形態の効果
以上のように、上記実施形態によれば、初期偏位ベクトルを選択させるための候補ベクトルセットを複数持ち、初期偏位ベクトルの選択回数を、８候補それぞれの相対位置で１フィールド分だけカウントし、その計数値の大小比較により、８候補中の最多候補を検出し、その最多候補の特徴より、次フィールドでの初期偏位ベクトルの選択に用いる最適な候補ベクトルセットを選択し、その候補ベクトルセットで検出された初期偏位ベクトルを用いて反復勾配法により動きベクトル検出を行うようにしたので、画像全体に偏った動きがある場合でも、各被検出ブロックについての初期偏位ベクトルを適切に選択でき、検出精度を向上させることができる動きベクトル検出回路及び動きベクトル検出方法を実現できる。
【００７６】
すなわち、この実施形態の場合、初期偏位ベクトルの直接的な選択は、８候補ベクトルから行っているが、その８候補ベクトルのセットの選択をも複数のセットの中から行っているので、結果として、初期偏位ベクトルの選択に供する候補ベクトル数は８候補より多く、言い換えると、広範囲のブロックから初期偏位ベクトルを選択可能であり、この点から、適切な候補ベクトルを初期偏位ベクトルに選択できて検出精度を高めることができる。
【００７７】
また、各フィールド毎に、初期偏位ベクトルの候補ベクトルセットの組み合わせを、画像の動きの性質にあわせてフレキシブルに変えているため、すなわち、前フィールドの初期偏位ベクトルの選択結果をみて、画像の動きの特徴を捉えて初期偏位ベクトルの候補セットの組み合わせをフレキシブルに変えているため、画像全体に偏った動きがある場合でも、動きベクトルの検出精度を向上させることができる。
【００７８】
因みに、初期偏位ベクトルを決定するための直接的な候補ベクトルの数を増大させて検出精度を向上させることも考えられるが、初期偏位ベクトルの選択に供する構成が大規模になったり、処理量が多くなったりする。この点で、上記実施形態のほうが好ましい。
【００７９】
（Ｅ）他の実施形態
上記実施形態の説明においても、種々、上記実施形態を変形した他の実施形態に言及したが、さらに、以下に例示するような他の実施形態を挙げることもできる。
【００８０】
上記実施形態においては、動きベクトルの検出に供する画像信号がインターレース方式に従うものであって、相前後するフィールド間の信号を利用して動きベクトルを検出するものを示した。本発明は、これに限定されるものではない。
【００８１】
例えば、動きベクトルの検出に供するフィールド間が２フィールド以上離れたものであっても良く、また、フィールド概念がないノンインターレース方式に従う画像信号の動きベクトル検出に本発明を適用することができる。
【００８２】
また、上記実施形態の説明での各種数値はあくまでも一例である。例えば、初期候補ベクトルの直接の選択に供する候補ベクトル数は８より多くてもまた少なくても良い。また例えば、候補ベクトルセットを規定する領域の大きさも、縦横５×５ブロックの領域より大きくても小さくても良い。さらに例えば、ブロックの大きさも、８画素×８ラインより大きくても小さくても良い。
【００８３】
さらに、上記実施形態においては、候補ベクトルセットの見直しを１フィールド毎に行うものを示したが、それより長い期間や短い期間で見直すようにしても良い。
【００８４】
さらにまた、上記実施形態においては、同一セット内の８候補ベクトルについては、選択の優先度がないものを示したが、新たなセットを決定する際にそのセットでの各候補ベクトルでの選択優先度を定めたり、セット内の各候補ベクトルに予め選択優先度を付与するようにしても良い。例えば、上方向セットに切り替えさせる、又は、上方向セットを維持させる最多情報の値が非常に大きい場合には、その上方向セットでの相対位置が上方向の候補ベクトルを他の候補ベクトルより選択し易いような重み付けを行っても良い。
【００８５】
また、上記実施形態においては、最多情報に基づいて、候補ベクトルセットを決定するものを示したが、他の情報に基づいて、又は、最多情報及び他の情報に基づいて、候補ベクトルセットを決定するようにしても良い。例えば、最多情報と、次に多い情報とを比較し、その差が所定閾値以下のときには次フィールドで基準セットを選択させるようにしても良い。また、ブロック毎の相対位置を計数するのではなく、上方向の複数のブロック、下方向の複数のブロック等のように、複数のブロックを組とし、ブロックの組毎に、初期候補ベクトルとして選択された相対位置を計数するようにしても良い。
【００８６】
さらに、上記実施形態においては、候補ベクトルセット切替部２０を設けたものを示したが、既検出ベクトルメモリ１０から読み出す場合に、セット情報が指示する８候補ベクトルを読み出して初期偏位ベクトル選択部１１に与えるようにしても良い。このようにした場合であっても、機能的には、候補ベクトルセット切替部２０が存在するのと等価であり、特許請求の範囲における「候補ベクトルセット切替手段」は、既検出ベクトルメモリ１０から、セット情報が指示する８候補ベクトルを読み出すような場合をも含まれるものとする。
【００８７】
なお、初期偏位ベクトルは、動きベクトルの当初の検出ベクトルを構成しており、上記実施形態では、この当初の検出ベクトルに対し、反復勾配法を適用してベクトル補正して最終的な動きベクトルを得ていた。上述から明らかなように、本発明の特徴は、初期偏位ベクトル（当初の検出ベクトル）を得るまでにあり、初期偏位ベクトル（当初の検出ベクトル）を得た後のベクトル補正方法は反復勾配法に限定されるものではなく、例えば、ブロックマッチング法のような他の方法を適用しても良いことは勿論である。
【００８８】
【発明の効果】
以上のように、本発明によれば、画像全体に偏った動きがある場合でも、各被検出ブロックについての当初ベクトルを適切に選択でき、検出精度を向上させることができる動きベクトル検出回路及び動きベクトル検出方法を実現できる。
【図面の簡単な説明】
【図１】実施形態の動きベクトル検出回路の構成を示すブロック図である。
【図２】現フィールドと前フィールドとの、初期偏位ベクトルに係るブロックの対応を示す説明図である。
【図３】従来の動きベクトル検出回路の構成を示すブロック図である。
【図４】初期偏位ベクトルを用いた反復勾配法による動きベクトルと検出段階との関係を示す説明図である。
【図５】実施形態による初期偏位ベクトルの探索範囲の大きさと、初期偏位ベクトルの候補ベクトルのセットとの関係を示す説明図である。
【図６】実施形態の候補ベクトルセット切替部の選択構成を示すブロック図である。
【図７】実施形態の８候補カウンタの詳細構成例を示すブロック図である。
【図８】実施形態の候補ベクトルのセット例を示す説明図である。
【符号の説明】
１０…既検出ベクトルメモリ、１１…初期偏位ベクトル選択部、１２…第１の勾配法演算部、１３、１５…加算部、１４…第２の勾配法演算部、１６…１フィールド遅延部、２０…候補ベクトルセット切替部、２１…８候補カウンタ、２２…セット切替判定部、２３…１フィールド保持部。
【図１】
0003597107.tif 000002
【図２】
0003597107.tif 000003
【図３】
0003597107.tif 000004
【図４】
0003597107.tif 000005
【図５】
0003597107.tif 000006
【図６】
0003597107.tif 000007
【図７】
0003597107.tif 000008
【図８】
0003597107.tif 000009