(57)【特許請求の範囲】
【請求項１】
入力画像信号からブロックマッチング法によって動きベクトルを推定する動きベクトル推定装置において、
入力画像信号から上記入力画像信号中によって伝送されるべき画像に依存しない信号部分を切り出す信号部分切り出し手段と、
上記信号部分切り出し手段の出力を使用して、上記入力画像信号に含まれるノイズレベルの推定に係る演算を行う演算手段と、
上記の演算手段の出力によって推定されるノイズレベルが大きい場合には、切り出すべきブロックのサイズを大とし、推定されるノイズレベルが小さい場合には、切り出すべきブロックのサイズを小とするように、ブロックサイズを設定するブロックサイズ設定手段と、
上記ブロックサイズ設定手段によって設定されるブロックサイズで上記入力画像信号中の第１のフレームから第１の領域を切り出し、上記入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心として第２の領域を順次切り出し、切り出した上記第２の領域の各々と上記第１の領域との間で差分絶対値の和を順次計算し、計算した上記差分絶対値の和を上記探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成し、作成した上記評価値テーブルから最小値を検索し、上記最小値をとる位置と、上記第１の領域の中心画素の位置とのずれ量を算出し、算出した上記ずれ量を動きベクトルとして出力する手段とを有することを特徴とする動きベクトル推定装置。
【請求項２】
請求項１において、
上記第１のフレームは、
現フレームであることを特徴とする動きベクトル推定装置。
【請求項３】
請求項１において、
上記信号部分切り出し手段は、
上記入力画像信号中の同期信号を切り出すことを特徴とする動きベクトル推定装置。
【請求項４】
請求項１において、
上記演算手段は、
上記所定の信号部分からサンプリングされる複数個の信号レベルの分散値を算出することを特徴とする動きベクトル推定装置。
【請求項５】
請求項１において、
上記演算手段は、
複数個の上記所定の信号部分の各々からサンプリングされる複数個の信号レベルの間の相関値を算出することを特徴とする動きベクトル推定装置。
【請求項６】
請求項１において、
上記演算手段は、
予め保持された、入力画像信号がノイズを含まない場合の上記所定の信号部分と、１個または複数個の上記所定の信号部分の間の相関値を算出することを特徴とする動きベクトル推定装置。
【請求項７】
入力画像信号からブロックマッチング法によって動きベクトルを推定する動きベクトル推定装置において、
入力画像信号から上記入力画像信号中によって伝送されるべき画像に依存しない信号部分を切り出す信号部分切り出し手段と、
上記信号部分切り出し手段の出力を使用して、上記入力画像信号に含まれるノイズレベルの推定に係る演算を行う演算手段と、
上記の演算手段の出力によって推定されるノイズレベルが大きい程、平滑化フィルタによる平滑化の程度を大きくするようにフィルタ係数を設定するフィルタ係数設定手段と、
上記入力画像信号中の第１のフレームから第１の領域を切り出し、上記入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心として第２の領域を順次切り出し、切り出した上記第２の領域の各々と上記第１の領域との間で差分絶対値の和を順次計算し、計算した上記差分絶対値の和を上記探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成し、作成した上記評価値テーブルに、上記フィルタ係数設定手段によって設定されるフィルタ係数で平滑化処理を施し、上記平滑化処理の結果として得られる評価値テーブルから最小値を検索し、上記最小値をとる位置と、上記第１の領域の中心画素の位置とのずれ量を算出し、算出した上記ずれ量を動きベクトルとして出力する手段とを有することを特徴とする動きベクトル推定装置。
【請求項８】
請求項７において、
上記第１のフレームは、
現フレームであることを特徴とする動きベクトル推定装置。
【請求項９】
請求項７において、
上記信号部分切り出し手段は、
上記入力画像信号中の同期信号を切り出すことを特徴とする動きベクトル推定装置。
【請求項１０】
請求項７において、
上記演算手段は、
上記所定の信号部分内の複数個の信号レベルの分散値を算出することを特徴とする動きベクトル推定装置。
【請求項１１】
請求項７において、
上記演算手段は、
複数個の上記所定の信号部分の各々からサンプリングされる複数個の信号レベルの間の相関値を算出することを特徴とする動きベクトル推定装置。
【請求項１２】
請求項７において、
上記演算手段は、
予め保持された、入力画像信号がノイズを含まない場合の上記所定の信号部分と、１個または複数個の上記所定の信号部分からそれぞれサンプリングされる複数個の信号レベルの間の相関値を算出することを特徴とする動きベクトル推定装置。
【請求項１３】
請求項７において、
上記平滑化処理は、
ガウス型平滑化フィルタによってなされ、
上記フィルタ係数設定手段は、
ガウス型平滑化フィルタのフィルタ係数を設定することを特徴とする動きベクトル推定装置。
【請求項１４】
入力画像信号からブロックマッチング法によって動きベクトルを推定する動きベクトル推定方法において、
入力画像信号から上記入力画像信号中によって伝送されるべき画像に依存しない信号部分を切り出す信号部分切り出しステップと、
上記信号部分切り出し手段の出力を使用して、上記入力画像信号に含まれるノイズレベルの推定に係る演算を行う演算ステップと、
上記の演算ステップの出力によって推定されるノイズレベルが大きい場合には、切り出すべきブロックのサイズを大とし、推定されるノイズレベルが小さい場合には、切り出すべきブロックのサイズを小とするように、ブロックサイズを設定するブロックサイズ設定ステップと、
上記ブロックサイズ設定ステップによって設定されるブロックサイズ上記入力画像信号中の第１のフレームから第１の領域を切り出し、上記入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心として第２の領域を順次切り出し、切り出した上記第２の領域の各々と上記第１の領域との間で差分絶対値の和を順次計算し、計算した上記差分絶対値の和を上記探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成し、作成した上記評価値テーブルから最小値を検索し、上記最小値をとる位置と、上記第１の領域の中心画素の位置とのずれ量を算出し、算出した上記ずれ量を動きベクトルとして出力するステップとを有することを特徴とする動きベクトル推定方法。
【請求項１５】
入力画像信号からブロックマッチング法によって動きベクトルを推定する動きベクトル推定方法において、
入力画像信号から上記入力画像信号中によって伝送されるべき画像に依存しない信号部分を切り出す信号部分切り出しステップと、
上記信号部分切り出し手段の出力を使用して、上記入力画像信号に含まれるノイズレベルの推定に係る演算を行う演算ステップと、
上記の演算ステップの出力によって推定されるノイズレベルが大きい程、平滑化フィルタによる平滑化の程度を大きくするようにフィルタ係数を設定するフィルタ係数設定手段と、
上記入力画像信号中の第１のフレームから第１の領域を切り出し、上記入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心として第２の領域を順次切り出し、切り出した上記第２の領域の各々と上記第１の領域との間で差分絶対値の和を順次計算し、計算した上記差分絶対値の和を上記探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成し、作成した上記評価値テーブルに、上記フィルタ係数設定ステップによって設定されるフィルタ係数で平滑化処理を施し、上記平滑化処理の結果として得られる評価値テーブルから最小値を検索し、上記最小値をとる位置と、上記第１の領域の中心画素の位置とのずれ量を算出し、算出した上記ずれ量を動きベクトルとして出力するステップとを有することを特徴とする動きベクトル推定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号から動きベクトルの推定を行う動きベクトル推定装置および動きベクトル推定方法に関する。
【０００２】
【従来の技術】
入力画像信号から動きベクトルを推定する方法として、ブロックマッチング法等が用いられる。ブロックマッチング法は、入力画像信号中の第１のフレームから切り出した画素領域と、第１のフレームと所定の関係、例えば第１のフレームに後続する位置にある第２のフレーム内の所定の探索範囲内の各画素を中心とする領域を順次切り出し、これらの各領域と、上述したように第１のフレームから切り出した領域の間で、領域間のマッチングの程度を示す量、具体的には各々の領域内の画素間の差分絶対値の和を順次計算し、計算した上記差分絶対値の和を上記探索範囲内の各画素に対応するように保持することによって評価値テーブルを作成して、この評価値テーブルから最小値を検索し、上記最小値に対応する画素と、上述したように第１のフレームから切り出した領域の中心画素とのずれ量に基づいて動きベクトルを推定する方法である。
【０００３】
【発明が解決しようとする課題】
入力画像信号がノイズを含む場合にブロックマッチング法を用いると、動きベクトル推定の精度が下がるという問題がある。この点について図６を参照して説明する。図６Ａは、入力画像信号がノイズを含まない場合の評価値テーブルの一例を図示したものである。ここでは、評価値テーブル上の各点の値が最小値をとる点の回りに最小値をとる点から遠ざかる程大きくなるように分布する。この場合には、最小値をとる点に基づいて動きベクトルの推定を正しく行うことができる。
【０００４】
一方、図６Ｂに、入力画像信号がノイズを含む場合の評価値テーブルの一例を図示する。この場合、ノイズの影響によって評価値テーブル上に周囲と大きく異なる計算値をとる部分が幾つか生じる。このような局所的な値の内で真の最小値、すなわち図６Ａに示すような最小値よりも小さい値をとるものがあると、そのような値をとる点に基づいて動きベクトルの推定が行われてしまい、結果として動きベクトルの推定が誤ることになる。
【０００５】
この発明は、上述の問題点に鑑みてなされたものであり、従って、この発明の目的は、動きベクトルを精度良く推定することを可能とする、動きベクトル推定方法および動きベクトル推定装置を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、入力画像信号からブロックマッチング法によって動きベクトルを推定する動きベクトル推定装置において、
入力画像信号から入力画像信号中によって伝送されるべき画像に依存しない信号部分を切り出す信号部分切り出し手段と、
信号部分切り出し手段の出力を使用して、入力画像信号に含まれるノイズレベルの推定に係る演算を行う演算手段と、
の演算手段の出力によって推定されるノイズレベルが大きい場合には、切り出すべきブロックのサイズを大とし、推定されるノイズレベルが小さい場合には、切り出すべきブロックのサイズを小とするように、ブロックサイズを設定するブロックサイズ設定手段と、
ブロックサイズ設定手段によって設定されるブロックサイズで入力画像信号中の第１のフレームから第１の領域を切り出し、入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心として第２の領域を順次切り出し、切り出した第２の領域の各々と第１の領域との間で差分絶対値の和を順次計算し、計算した差分絶対値の和を探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成し、作成した評価値テーブルから最小値を検索し、最小値をとる位置と、第１の領域の中心画素の位置とのずれ量を算出し、算出したずれ量を動きベクトルとして出力する手段とを有することを特徴とする動きベクトル推定装置である。
【０００７】
請求項７の発明は、入力画像信号からブロックマッチング法によって動きベクトルを推定する動きベクトル推定装置において、
入力画像信号から入力画像信号中によって伝送されるべき画像に依存しない信号部分を切り出す信号部分切り出し手段と、
信号部分切り出し手段の出力を使用して、入力画像信号に含まれるノイズレベルの推定に係る演算を行う演算手段と、
の演算手段の出力によって推定されるノイズレベルが大きい程、平滑化フィルタによる平滑化の程度を大きくするようにフィルタ係数を設定するフィルタ係数設定手段と、
入力画像信号中の第１のフレームから第１の領域を切り出し、入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心として第２の領域を順次切り出し、切り出した第２の領域の各々と第１の領域との間で差分絶対値の和を順次計算し、計算した差分絶対値の和を探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成し、作成した評価値テーブルに、フィルタ係数設定手段によって設定されるフィルタ係数で平滑化処理を施し、平滑化処理の結果として得られる評価値テーブルから最小値を検索し、最小値をとる位置と、第１の領域の中心画素の位置とのずれ量を算出し、算出したずれ量を動きベクトルとして出力する手段とを有することを特徴とする動きベクトル推定装置である。
【０００８】
請求項１４の発明は、入力画像信号からブロックマッチング法によって動きベクトルを推定する動きベクトル推定方法において、
入力画像信号から入力画像信号中によって伝送されるべき画像に依存しない信号部分を切り出す信号部分切り出しステップと、
信号部分切り出し手段の出力を使用して、入力画像信号に含まれるノイズレベルの推定に係る演算を行う演算ステップと、
の演算ステップの出力によって推定されるノイズレベルが大きい場合には、切り出すべきブロックのサイズを大とし、推定されるノイズレベルが小さい場合には、切り出すべきブロックのサイズを小とするように、ブロックサイズを設定するブロックサイズ設定ステップと、
ブロックサイズ設定ステップによって設定されるブロックサイズ入力画像信号中の第１のフレームから第１の領域を切り出し、入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心として第２の領域を順次切り出し、切り出した第２の領域の各々と第１の領域との間で差分絶対値の和を順次計算し、計算した差分絶対値の和を探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成し、作成した評価値テーブルから最小値を検索し、最小値をとる位置と、第１の領域の中心画素の位置とのずれ量を算出し、算出したずれ量を動きベクトルとして出力するステップとを有することを特徴とする動きベクトル推定方法である。
【０００９】
請求項１５の発明は、入力画像信号からブロックマッチング法によって動きベクトルを推定する動きベクトル推定方法において、
入力画像信号から入力画像信号中によって伝送されるべき画像に依存しない信号部分を切り出す信号部分切り出しステップと、
信号部分切り出し手段の出力を使用して、入力画像信号に含まれるノイズレベルの推定に係る演算を行う演算ステップと、
の演算ステップの出力によって推定されるノイズレベルが大きい程、平滑化フィルタによる平滑化の程度を大きくするようにフィルタ係数を設定するフィルタ係数設定手段と、
入力画像信号中の第１のフレームから第１の領域を切り出し、入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心として第２の領域を順次切り出し、切り出した第２の領域の各々と第１の領域との間で差分絶対値の和を順次計算し、計算した差分絶対値の和を探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成し、作成した評価値テーブルに、フィルタ係数設定ステップによって設定されるフィルタ係数で平滑化処理を施し、平滑化処理の結果として得られる評価値テーブルから最小値を検索し、最小値をとる位置と、第１の領域の中心画素の位置とのずれ量を算出し、算出したずれ量を動きベクトルとして出力するステップとを有することを特徴とする動きベクトル推定方法である。
【００１０】
以上のような発明によれば、例えば水平同期信号等の、入力画像信号がノイズを含まない場合には平坦となるはずの信号部分を用いてノイズレベルを表現するパラメータを算出することができる。
【００１１】
【発明の実施の形態】
この発明の一実施形態の構成について図１を参照して説明する。入力画像信号が同期信号切り出し部１０と、ブロックマッチング部１１とに供給される。同期信号切り出し部１０は、入力画像信号から定常的な、すなわち画像に依存しない同期信号を切り出し、切り出した同期信号をノイズレベル推定部１２に供給する。ノイズレベル推定部１２は、供給される同期信号に基づく所定の演算処理を行うことによってノイズレベルを表現するパラメータを算出し、算出したパラメータをブロックサイズ決定部１３に供給する。ブロックサイズ決定部１３は、ノイズレベル推定部１２の出力に基づいて、ブロックマッチングのブロックのサイズを決定する。このようにして決定したブロックのサイズの下で、ブロックマッチング部１１は、ブロックマッチング法による動きベクトル推定を行う。
【００１２】
ここで、入力画像信号としては、例えば図２に示すような走査を必要とするテレビジョン信号（例えばＮＴＳＣ方式等）を使用することができる。このようなテレビジョン信号には、映像信号部分３０と同期信号（水平同期信号３１および垂直同期信号３２）とが時間的に多重されており、同期信号は画像の絵柄には依存しない。同期信号切り出し部１０は、このような時分割多重されているテレビジョン信号から同期信号を切り出す。入力画像信号にノイズが全く含まれない場合には、同期信号は絵柄に依存せず周期的な波形となる。従って、実際に供給される入力画像信号から同期信号切り出し部１０が切り出す同期信号の劣化の度合いを示す値を算出し、算出値を入力画像信号のノイズレベルを表現するパラメータとして使用することができる。
【００１３】
入力画像信号のノイズレベルを表現するパラメータとしては、水平同期信号に基づいて算出される分散値、相関値等を用いることができる。まず、図３を参照して分散値を用いる場合について説明する。上述したように、同期信号切り出し部１０が入力画像信号から同期信号を切り出すが、かかる同期信号は、入力画像信号がノイズを含まない場合には平坦となる（図３Ａ参照）。また、入力画像信号がノイズを含む場合には、同期信号がノイズの影響を受けたものとなる（図３Ｂ参照）。このような同期信号から、ノイズレベル推定部１２が所定のサンプリング周期の下でサンプリングを行う（図３Ｃ参照）。そして、サンプリング値に基づいて分散値を計算する。ノイズが全く無い場合には分散値は０となり、ノイズレベルが大きい程分散値は大きくなる。この分散値を入力画像信号のノイズレベルを表すパラメータとして用いる。
【００１４】
次に、図４を参照して相関値を用いる場合について説明する。この場合には、同期信号切り出し部１０が入力画像信号から２個の同期信号を切り出すようになされる。このようにして切り出される同期信号は、入力画像信号がノイズを含まない場合には平坦であり（図４Ａ参照）、また、互いに等しい信号レベルを有する。一方、入力画像信号がノイズを含む場合には、ノイズレベルが大きい程、これら２個の同期信号が共に劣化するので相関値は小さくなる（図４Ｂ参照）。そこで、入力画像信号から切り出した２個の同期信号の間の相関値を入力画像信号のノイズレベルを表すパラメータとして用いる。具体的には、これら２個の同期信号から所定のサンプリング周期の下でサンプリングを行い、サンプリング値に基づいてこれら２個の同期信号の間における差分の絶対値和を相関値として算出する等の方法を用いることができる。
【００１５】
同期信号を３個以上切り出し、切り出した３個以上の同期信号を用いて２種類以上の相関値を計算し、計算値を入力画像信号のノイズレベルを表すパラメータとして用いることにより、ノイズレベルをより精度良く求めるようにしても良い。また、ノイズが載っていない同期信号を予め保持しておき、保持した信号と、上述したようにして入力画像信号から切り出される１個または複数個の同期信号との間で相関値を計算し、計算値をノイズレベルを表すパラメータとして用いても良い。
【００１６】
上述したような方法によってノイズレベル推定部１２が生成する、分散値、相関値等のノイズレベルを表すパラメータを参照して、ブロックサイズ決定部１３がブロックサイズを決定する。すなわち、これらのパラメータに基づいて、ノイズレベルが大きいと判断される場合にはブロックサイズを大きくし、ノイズレベルが小さいと判断される場合にはブロックサイズを小さくするようになされる。具体的には、分散値、相関値等のパラメータを所定のしきい値で分類し、分類結果に応じて動きベクトルを推定するために切り出すべきブロックサイズを決定する等の方法を用いることができる。例えば、ノイズレベルが大／中／小と判定される場合に、ブロックサイズがそれぞれ５画素×５画素／１０画素×１０画素／１５画素×１５画素と設定される。
【００１７】
上述したような処理によって、図６Ｂに示したようなノイズに起因する局所的な値が評価値テーブル全体に占める比率がある程度以下に抑えられる。このため、ノイズに起因する局所的な値が最小値として検索されることを回避、若しくはその程度を低減することができるので、動きベクトルの推定の精度を高めることができる。
【００１８】
上述したこの発明の一実施形態は、入力画像信号から切り出した同期信号に基づいて計算した、分散値、相関値等のパラメータに基づいて、ブロックマッチング法を行うために入力画像信号から切り出すブロックのサイズを決定するようにしたものである。これに対して、同様な方法で計算される分散値、相関値等のパラメータに基づいて、入力画像信号のノイズに起因する評価値テーブルの劣化に対処するための処理、より具体的には評価値テーブルに対してフィルタ処理を施すローパスフィルタの係数を適切に設定するようにした、この発明の他の実施形態も可能である。
【００１９】
この発明の他の実施形態の構成を図５に示す。ここで、図１中の構成要素と同様な構成要素には同一の符号を付した。フィルタ係数決定部２０は、ノイズレベル推定部１２の出力、すなわち同期信号に基づいて計算される、分散値、相関値等のノイズレベルを表現するパラメータに基づいてローパスフィルタの係数を決定する。ブロックマッチング部２１は、フィルタ係数決定部２０が決定したローパスフィルタの係数を使用して評価値テーブルをフィルタ処理した上で、ブロックマッチング法による動きベクトル推定を行う。
【００２０】
ブロックマッチング部２１によるフィルタ処理が例えば式（１）に示すようなフィルタ係数を有するガウス型平滑化フィルタによってなされる場合、フィルタ係数決定部２０は、ローパスフィルタの係数Ａ，ａ，ｂ，ρを決定する。ここで、ローパスフィルタの係数は、入力画像信号に含まれるノイズが大きい程通過帯域が狭くなるように決定される。
【００２１】
【数１】
0004161440.tif 000002
【００２２】
但し、ｘ0 ，ｙ0 はフィルタの中心位置である。
【００２３】
上述したようなフィルタ処理によって、入力画像信号に含まれるノイズが大きい程、評価値テーブルが平滑化される程度が大きくなる。これにより、図６Ｂに示したようなノイズに起因して評価値テーブル上に生じる局所的な値と、周囲の値との差が緩和される。このため、ノイズに起因する局所的な値が最小値として検索されることを回避し、若しくはその程度を小さくすることができるので、動きベクトルの推定の精度を高めることができる。
【００２４】
【発明の効果】
上述したように、この発明によれば、入力画像信号中の例えば同期信号等の、映像信号が存在せず、入力画像信号がノイズを含まない場合には平坦となるはずの信号部分について分散値、相関値等を計算し、計算値を入力画像信号のノイズレベルを表現するパラメータとして使用し、かかるパラメータに基づいてブロックサイズ、評価値テーブルに対するフィルタリング処理の係数等のブロックマッチング処理の条件を設定することにより、動きベクトルをより精度良く推定することが可能となる。
【００２５】
従って、入力画像信号のノイズに対してロバストな動き量推定を実現することができる。
【００２６】
また、入力画像信号のノイズレベルに応じた、効率の良い動き量推定を実現することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の全体的な構成の一例を示すブロック図である。
【図２】入力画像信号の信号フォーマットについて説明するための略線図である。
【図３】同期信号に基づいてノイズレベルを推定する方法の一例について説明するための略線図である。
【図４】同期信号に基づいてノイズレベルを推定する方法の他の例について説明するための略線図である。
【図５】この発明の他の実施形態の全体的な構成の一例を示すブロック図である。
【図６】従来の動きベクトル推定における問題点について説明するための略線図である。
【符号の説明】
１０・・・同期信号切り出し部、１２・・・ノイズレベル推定部、１３・・・ブロックサイズ決定部、１１・・・ブロックマッチング部、２０・・・フィルタ係数決定部、２１・・・ブロックマッチング部
【図１】
0004161440.tif 000003
【図２】
0004161440.tif 000004
【図３】
0004161440.tif 000005
【図４】
0004161440.tif 000006
【図５】
0004161440.tif 000007
【図６】
0004161440.tif 000008