(57)【要約】【課題】注目ブロック内で、動きの異なるものが複数混在するような場合においては、動きベクトルを正しく検出できないという問題があった。【解決手段】注目ブロックを含む、縦方向または横方向または隣接の複数のブロックにおいて検出された動きベクトルを統計化し、その結果を、候補ベクトルとして使用することにより、本来検出されるべき動きベクトルを効果的に検出することが可能になる。【選択図】図１
2008199457.tif 000002
【特許請求の範囲】
【請求項１】
複数のブロックに分割された画像信号において、所定範囲における基準ブロックを含むＮ個（Ｎは２以上の整数）のブロックの動きベクトル信号に基づいて、基準ブロックの動きベクトル候補信号を生成し、動きベクトル候補信号を基準ブロックの動きベクトル信号の検出に用いる動きベクトル検出装置であって、
Ｎ個の動きベクトル信号を量子化し、それぞれＮ個の量子化信号を生成する量子化手段と、
Ｎ個の量子化信号に基づいて、量子化レベル毎に量子化信号の個数を計数し、計数量子化信号を生成する量子化信号計数手段と、
Ｎ個の量子化信号に基づいて、量子化レベル毎に動きベクトル信号をベクトル的に積算し、積算ベクトル信号を生成するベクトル信号積算手段と、
計数量子化信号に基づいて、個数が最大となる量子化レベルを表す代表量子化レベルと、代表量子化レベルにおける個数を表す代表計数量子化信号とを生成する代表量子化レベル生成手段と、
代表量子化レベルにおける積算ベクトル信号を表す代表積算ベクトル信号を生成する代表積算ベクトル信号生成手段と、
代表積算ベクトル信号を代表計数量子化信号で除算し、動きベクトル候補信号を生成する動きベクトル候補信号生成手段と、を有することを特徴とする、動きベクトル検出装置。
【請求項２】
複数のブロックに分割された画像信号において、所定範囲を、基準ブロックを含むＮ個（Ｎは２以上の整数）のブロックが含まれるように設定する所定範囲設定手段と、
所定範囲におけるＮ個のブロックの動きベクトル信号を生成する所定範囲動きベクトル検出手段と、
請求項１に記載の動きベクトル検出装置と、を有することを特徴とする、動きベクトル検出システム。
【請求項３】
前記所定範囲設定手段は、所定範囲を、画像信号の垂直方向に設定することを特徴とする、請求項２に記載の動きベクトル検出システム。
【請求項４】
前記所定範囲設定手段は、所定範囲を、画像信号の水平方向に設定することを特徴とする、請求項２に記載の動きベクトル検出システム。
【請求項５】
前記所定範囲設定手段は、所定範囲を、基準ブロックに隣接する２個以上のブロックが含まれるように設定することを特徴とする、請求項２に記載の動きベクトル検出システム。
【請求項６】
前記所定範囲設定手段は、所定範囲を、１フレーム内のすべてのブロックが含まれるように設定することを特徴とする、請求項２に記載の動きベクトル検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号から動きベクトルを検出する装置の技術に関し、特に、動きベクトルの検出精度を向上させる動きベクトル検出装置に関する。
【背景技術】
【０００２】
従来の画像信号の動きベクトル検出装置としては、ブロックマッチング法に基づいた構成がある。すなわち、対象画像を複数のブロックに分割し、動きを検出しようとする注目ブロックと、対象画像の前または後フレームにおける、所定の探索範囲内の複数の候補領域（以下、候補ブロックと呼ぶ）との相関度をそれぞれ評価する。探索範囲の中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとする。また、上述の複数の候補ブロックの一つとして、その注目ブロックを含むライン方向のブロックにおいて、検出された動きベクトルの平均結果を使用することにより、検出性能を向上する構成もある。
【特許文献１】特開２００５−２８７０４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像信号の動きベクトル検出装置において、注目ブロック内で、例えば、物体と背景が違う方向に動くような、動きの異なるものが複数混在する場合においては、その複数存在する動きによって、本来検出されるべき正しい動きベクトルが効果的に検出できないという問題があった。
【０００４】
本発明は、上述した従来の課題を解決するもので、動きの異なるものが複数混在する場合においても、正しい動きベクトルを効果的に検出することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明の動きベクトル検出装置は、複数のブロックに分割された画像信号において、所定範囲における基準ブロックを含むＮ個（Ｎは２以上の整数）のブロックの動きベクトル信号に基づいて、基準ブロックの動きベクトル候補信号を生成し、動きベクトル候補信号を基準ブロックの動きベクトル信号の検出に用いる動きベクトル検出装置であって、Ｎ個の動きベクトル信号を量子化し、それぞれＮ個の量子化信号を生成する量子化手段と、Ｎ個の量子化信号に基づいて、量子化レベル毎に量子化信号の個数を計数し、計数量子化信号を生成する量子化信号計数手段と、Ｎ個の量子化信号に基づいて、量子化レベル毎に動きベクトル信号をベクトル的に積算し、積算ベクトル信号を生成するベクトル信号積算手段と、計数量子化信号に基づいて、個数が最大となる量子化レベルを表す代表量子化レベルと、代表量子化レベルにおける個数を表す代表計数量子化信号とを生成する代表量子化レベル生成手段と、代表量子化レベルにおける積算ベクトル信号を表す代表積算ベクトル信号を生成する代表積算ベクトル信号生成手段と、代表積算ベクトル信号を代表計数量子化信号で除算し、動きベクトル候補信号を生成する動きベクトル候補信号生成手段と、を有することを特徴としている。
【０００６】
また、本発明の動きベクトル検出システムは、複数のブロックに分割された画像信号において、所定範囲を、基準ブロックを含むＮ個（Ｎは２以上の整数）のブロックが含まれるように設定する所定範囲設定手段と、所定範囲におけるＮ個のブロックの動きベクトル信号を生成する所定範囲動きベクトル検出手段と、上記に記載の動きベクトル検出装置と、を有することを特徴としている。
【発明の効果】
【０００７】
本発明によれば、注目ブロック（基準ブロック）を含む垂直方向、水平方向、または隣接する複数のブロックにおいて、最も代表的となる動きベクトルを候補ベクトルとして抽出することができるため、注目ブロックにおける効果的な相関度の評価を可能とし、注目ブロックにおける動きベクトルを、より効果的に正しく検出できるものである。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態に関する例について、図面を参照しながら説明する。なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、以下の実施の形態は、ハードウェアおよび／またはソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
【０００９】
本発明の動きベクトル検出装置は、複数のブロックに分割された画像信号において、所定範囲における基準ブロックを含むＮ個（Ｎは２以上の整数）のブロックの動きベクトル信号に基づいて、基準ブロックの動きベクトル候補信号を生成し、動きベクトル候補信号を基準ブロックの動きベクトル信号の検出に用いる動きベクトル検出装置であって、Ｎ個の動きベクトル信号を量子化し、それぞれＮ個の量子化信号を生成する量子化手段と、Ｎ個の量子化信号に基づいて、量子化レベル毎に量子化信号の個数を計数し、計数量子化信号を生成する量子化信号計数手段と、Ｎ個の量子化信号に基づいて、量子化レベル毎に動きベクトル信号をベクトル的に積算し、積算ベクトル信号を生成するベクトル信号積算手段と、計数量子化信号に基づいて、個数が最大となる量子化レベルを表す代表量子化レベルと、代表量子化レベルにおける個数を表す代表計数量子化信号とを生成する代表量子化レベル生成手段と、代表量子化レベルにおける積算ベクトル信号を表す代表積算ベクトル信号を生成する代表積算ベクトル信号生成手段と、代表積算ベクトル信号を代表計数量子化信号で除算し、動きベクトル候補信号を生成する動きベクトル候補信号生成手段と、を有することを特徴としている。
【００１０】
また、本発明の動きベクトル検出システムは、複数のブロックに分割された画像信号において、所定範囲を、基準ブロックを含むＮ個（Ｎは２以上の整数）のブロックが含まれるように設定する所定範囲設定手段と、所定範囲におけるＮ個のブロックの動きベクトル信号を生成する所定範囲動きベクトル検出手段と、上記に記載の動きベクトル検出装置と、を有することを特徴としている。
【００１１】
（実施の形態１）
図１は、実施の形態１の動きベクトル検出装置の構成を示すブロック図である。実施の形態１の動きベクトル検出装置は、所定範囲設定部９、所定範囲動きベクトル検出部１０、領域判定部１１、領域別個数カウンタ部１２、領域別ベクトル値積算部１３、最大個数領域判定部１４、積算値選択部１５、除算部１６、および注目ブロック動きベクトル検出部１７を含む。領域判定部１１、領域別個数カウンタ部１２、領域別ベクトル値積算部１３、最大個数領域判定部１４、積算値選択部１５、および除算部１６を含む装置を、動きベクトル検出装置とも呼び、所定範囲設定部９、所定範囲動きベクトル検出部１０、およびこの動きベクトル検出装置を含む装置を、動きベクトル検出システムとも呼ぶ。
【００１２】
まず、所定範囲動きベクトル検出部１０および注目ブロック動きベクトル検出部１７に含まれる、画像信号に対する動きベクトルの検出構成について説明する。動きベクトル検出構成は、画像信号を複数の動きベクトル検出ブロック（以下、単にブロックと呼ぶ）に分割し、動きを検出しようとする任意の１個の注目ブロックと、所定の探索範囲内の複数の候補領域（以下、候補ブロックと呼ぶ）との間で相関度を求める。注目ブロックは、基準ブロックとも呼ばれる。探索範囲は、注目ブロックが含まれるフレームに対して、前フレームおよび／または後フレームの１つ以上のフレームにわたる所望の範囲に設定される。
【００１３】
動きベクトル検出構成は、この相関度が最も高くなる候補ブロックに対する、注目ブロックの変位ベクトルを生成する。注目ブロックの動きベクトルは、動きベクトル検出構成において、この変位ベクトルの注目ブロックを含むフレームへの投影ベクトルとして、検出される。
【００１４】
図１において、所定範囲設定部９は、注目ブロックが含まれるフレームにおいて、注目ブロックを含む複数ブロックの範囲を示す所定範囲Ｓ９を設定する。所定範囲動きベクトル検出部１０は、所定範囲Ｓ９内の注目ブロックを含む複数ブロックにおいて、ブロック毎の動きベクトル信号を、上述した動きベクトル検出構成により生成し、動きベクトル信号Ｓ１０として出力する。
【００１５】
領域判定部１１、領域別個数カウンタ部１２、領域別ベクトル値積算部１３、最大個数領域判定部１４、積算値選択部１５、および除算部１６は、所定範囲Ｓ９内の複数ブロックにおいて求められた各動きベクトル信号Ｓ１０を、以下で説明する構成により精度を高め、１個の動きベクトル候補信号Ｓ１６を生成する。注目ブロック動きベクトル検出部１７は、この動きベクトル候補信号Ｓ１６に基づいて、注目ブロックの動きベクトルを、再度、検出する。注目ブロック動きベクトル検出部１７における検出結果は、場合によっては、所定範囲動きベクトル検出部１０において、所定範囲Ｓ９内の注目ブロック以外のブロックにおける同様構成の検出結果とともに、動きベクトル信号Ｓ１０となり、さらに動きベクトルの精度が高められる。
【００１６】
動きベクトル信号Ｓ１０は、画像信号の水平方向および垂直方向の成分を有する。それぞれの方向について、動きベクトル値は有限な値であり、有効範囲が存在する。したがって、その有効範囲は複数の動きベクトル領域（以下、単に領域と呼ぶ）に分割することが可能である。以下では、動きベクトルを水平方向または垂直方向のいずれか一方の成分に限定して説明するが、他方の成分についても同様に説明できる。
【００１７】
例えば、動きベクトル値の有効範囲が−１２８から＋１２７までの場合において、領域１、領域２、領域３、領域４の４つの領域に分割する場合の例としては、それぞれの領域に該当するベクトル値の範囲を、
領域１は−１２８から  −６５まで、
領域２は  −６４から    −１まで、
領域３は      ０から  ＋６３まで、
領域４は  ＋６４から＋１２７まで、
のように、各領域の範囲を均等にする設定が可能である。ここで、−１２８、−６５などの値は境界値と呼ばれる。各領域は境界値で挟まれる範囲を表す。
【００１８】
また、
領域１は−１２８から  −６０まで、
領域２は  −５９から    −５まで、
領域３は    ＋４から  ＋５８まで、
領域４は  ＋５９から＋１２７まで、
のように、各領域の範囲の大きさを不均等にする設定も可能である。
【００１９】
さらに、
領域１は−１２８から  −６５まで、
領域２は  −６４から    −５まで、
領域３は    ＋４から  ＋６３まで、
領域４は  ＋６４から＋１２７まで、
のように、有効範囲の中でどの領域にも属さない範囲を設定することも可能である。
【００２０】
以上は、有効範囲を４つの領域に分割する場合での各領域の範囲設定の例であるが、上述した例以外にも様々な範囲設定が可能である。また、有効範囲を４つ以外の複数の領域に分割する場合についても、同様に、様々な具現化が可能である。上述の説明では、動きベクトル信号Ｓ１０は境界値で挟まれる各領域に分割されるとした。別の説明では、動きベクトル信号Ｓ１０は量子化されるとしてもよい。この場合、上述の領域は、量子化レベルに対応する。上述の例では、領域は４つあるので、動きベクトル信号Ｓ１０は４つの量子化レベルに量子化されている。
【００２１】
図１において、領域判定部１１は、動きベクトル値の有効範囲を予め複数に分割した領域のうち、動きベクトル信号Ｓ１０がいずれの領域に該当するかを判定する。入力された動きベクトル信号Ｓ１０がいずれの領域に該当するかは、各領域間の境界値との大小比較等により判定することができる。領域判定部１１は量子化部とも呼ばれ、領域判定部１１の判定結果Ｓ１１は量子化信号とも呼ばれる。
【００２２】
領域別個数カウンタ部１２は、分割された領域毎に設けられ、該当する領域において、判定結果Ｓ１１を順次計数する。領域別個数カウンタ部１２は量子化信号計数部とも呼ばれ、領域別個数カウンタ部１２の計数結果Ｓ１２は計数量子化信号とも呼ばれる。また、領域別ベクトル値積算部１３は、分割された領域毎に設けられ、該当する領域において、判定結果Ｓ１１が該当する領域の場合、動きベクトル信号Ｓ１０をベクトル的に順次積算する。すなわち例えば、水平方向成分および垂直方向成分のそれぞれについて、順次積算する。領域別ベクトル値積算部１３はベクトル信号積算部とも呼ばれ、領域別ベクトル値積算部１３の積算結果Ｓ１３は積算ベクトル信号とも呼ばれる。
【００２３】
上述のような、領域判定部１１、領域別個数カウンタ部１２、および領域別ベクトル値積算部１３による一連の動作は、動きベクトル信号Ｓ１０に対して行われるものであり、その結果は、入力される動きベクトル値の検出状態を示すものである。したがって、動きベクトル信号Ｓ１０を、所定範囲Ｓ９内の複数のブロックに限定することで、その限定された複数のブロックにおける、動きベクトルの検出状態が得られることになる。
【００２４】
例えば、所定範囲Ｓ９を、注目ブロックを含んだ、画像信号の垂直方向の複数のブロックで構成すると、領域別個数カウンタ部１２の計数結果Ｓ１２および領域別ベクトル値積算部１３の積算結果Ｓ１３は、注目ブロックを含んだ、画像信号の垂直方向の複数のブロックにおける動きベクトルの検出状態を示すものとなる。
【００２５】
また、所定範囲Ｓ９を、注目ブロックを含んだ、画像信号の水平方向の複数のブロックで構成すると、領域別個数カウンタ部１２の計数結果Ｓ１２および領域別ベクトル値積算部１３の積算結果Ｓ１３は、注目ブロックを含んだ、画像信号の水平方向の複数のブロックにおける動きベクトルの検出状態を示すものとなる。
【００２６】
また、所定範囲Ｓ９を、注目ブロックに隣接する複数のブロックで構成すると、領域別個数カウンタ部１２の計数結果Ｓ１２および領域別ベクトル値積算部１３の積算結果Ｓ１３は、注目ブロックを含んだ、画像信号の注目ブロックに隣接する複数のブロックにおける動きベクトルの検出状態を示すものとなる。
【００２７】
また、所定範囲Ｓ９を、１フレーム全てのブロックで構成すると、領域別個数カウンタ部１２の計数結果Ｓ１２および領域別ベクトル値積算部１３の積算結果Ｓ１３は、注目ブロックを含んだ、１フレーム全てのブロックにおける動きベクトルの検出状態を示すものとなる。
【００２８】
上述したような、動きベクトルの検出状態を示す、領域別個数カウンタ部１２のそれぞれの領域の計数結果Ｓ１２は、所定範囲Ｓ９内における複数のブロックの動きベクトル値に対して、代表的なベクトル値が存在する領域であるかどうかの度合いを示すものである。一例としては、計数結果Ｓ１２が最大となる領域が、所定範囲Ｓ９内における複数のブロックの動きベクトル値に対する、最も代表的なベクトル値が存在する領域である。この領域は、代表領域と呼ばれる。
【００２９】
最大個数領域判定部１４は、計数結果Ｓ１２が最大となる領域を表す代表領域信号Ｓ１４Ａと、その代表領域における計数結果Ｓ１２を表す代表個数信号Ｓ１４Ｂを生成し、それぞれ最も代表的なベクトル値が存在する代表領域と、その代表領域に該当したブロック数を得る。最大個数領域判定部１４は、代表量子化レベル生成部とも呼ばれる。
【００３０】
また、積算値選択部１５は、領域別ベクトル値積算部１３の積算結果Ｓ１３のうち、代表領域信号Ｓ１４Ａが表す代表領域での積算結果を選択し、最も代表的なベクトル値が存在する代表領域に該当したベクトル値の積算結果を表す代表積算値信号Ｓ１５を生成する。積算値選択部１５は、代表積算ベクトル信号生成部とも呼ばれる。
【００３１】
除算部１６は、以上のようにして得られた、代表個数信号Ｓ１４Ｂおよび代表積算値信号Ｓ１５を入力し、代表積算値信号Ｓ１５を代表個数信号Ｓ１４Ｂで除算することで、最も代表的な動きベクトル値が存在する代表領域での動きベクトルの平均値を表す動きベクトル候補信号Ｓ１６を生成する。代表領域での動きベクトルの平均を、代表ベクトルと呼ぶ。除算部１６は、動きベクトル候補信号生成部とも呼ばれる。
【００３２】
動きベクトル候補信号Ｓ１６が表す代表ベクトルは、所定範囲Ｓ９における各ブロックで検出された動きベクトル値に対して、その検出状態を代表する動きベクトルであり、存在確率が高いと想定できる。注目ブロック動きベクトル検出部１７は、画像信号を複数のブロックに分割して、注目ブロックについての動きベクトルの検出を行う場合において、存在確率が高いと想定できるベクトル値である動きベクトル候補信号Ｓ１６に基づいて、動きベクトルを検出する。
【００３３】
このように、実施の形態１において、注目ブロックの動きベクトルを検出する場合、注目ブロックを含む所定範囲の各ブロックにおいて、すでに求められた動きベクトルに基づいて、最も代表的となる動きベクトルを求め、この代表ベクトルを動きベクトル候補として、再度、注目ブロックの動きベクトルの検出に用いる。これにより、動きの異なるものが複数混在する場合においても、精度の高い動きベクトルを効果的に検出することが可能となる。その結果、動きベクトルを使用して動き補償処理される、画像信号の圧縮符号化、および補間画像の生成等において、高品質で高効率の処理を提供可能である。
【００３４】
なお、実施の形態１では、画像信号をフレーム単位で構成し、探索範囲は注目ブロックを含む１フレームの前フレームおよび／または後フレームに設定していた。別の実施の形態として、画像信号をフィールド単位で構成し、探索範囲は注目ブロックを含む１フィールドの前フィールドおよび／または後フィールドに設定してもよい。
【００３５】
以上、実施の形態におけるこれまでの説明は、すべて本発明を具体化した一例であって、本発明はこれらの例に限定されず、本発明の技術を用いて当業者が容易に構成可能な種々の例に展開可能である。
【産業上の利用可能性】
【００３６】
本発明は、動きベクトル検出装置および動きベクトル検出システムに利用できる。
【図面の簡単な説明】
【００３７】
【図１】実施の形態１の動きベクトル検出装置の構成を示すブロック図
【符号の説明】
【００３８】
９  所定範囲設定部
１０  所定範囲動きベクトル検出部
１１  領域判定部
１２  領域別個数カウンタ部
１３  領域別ベクトル値積算部
１４  最大個数領域判定部
１５  積算値選択部
１６  除算部
１７  注目ブロック動きベクトル検出部
【図１】
2008199457.tif 000003