(57)【特許請求の範囲】
【請求項１】
インターレーススキャンテレビジョン映像信号における連続する２枚の画像から動きベクトルを検出する動きベクトル検出装置において、
奇数フィールドと偶数フィールドとで緑色の感度分布が異なる配列を有する色フィルタから出力された連続する２枚のフィールド画像から、領域ごとの動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段が動きベクトルを検出する領域の色情報を検出する色情報検出手段と、
前記動きベクトル検出手段が検出した前記領域における動きベクトルを補正するとき、前記色情報検出手段によって検出された色情報に基づいて、前記領域の緑色の割合に応じた画素分だけ垂直方向へ補正する処理を、前記領域における動きベクトルの補正処理の一部として実行する動きベクトル補正手段とを備えたことを特徴とする動きベクトル検出装置。
【請求項２】
前記動きベクトル補正手段は、
前記色情報検出手段によって検出された色情報から色差信号を生成する色差信号生成部と、
前記色差信号生成部によって生成された色差信号に基づいて前記動きベクトルを検出する領域における所定位置の緑色の強度を決定する緑色強度決定部と、
前記緑色強度決定部によって決定された緑色の強度に応じて動きベクトル補正量を決定する補正量決定部と、
前記補正量決定部によって決定された補正量だけ動きベクトルを補正する動きベクトル補正部とからなることを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項３】
インターレーススキャンテレビジョン映像信号における連続する２枚の画像から動きベクトルを検出する動きベクトル検出方法において、
奇数フィールドと偶数フィールドとで緑色の感度分布が異なる配列を有する色フィルタから出力された連続する２枚のフィールド画像から、領域ごとの動きベクトルを検出し、
前記動きベクトルを検出する領域の色情報を検出し、
検出した前記領域における動きベクトルを補正するとき、前記検出した色情報に基づいて、前記領域の緑色の割合に応じた画素分だけ垂直方向へ補正する処理を、前記領域における動きベクトルの補正処理の一部として実行することを特徴とする動きベクトル検出方法。
【請求項４】
前記動きベクトルを前記領域の緑色の割合に応じた画素分だけ垂直方向へ補正する処理は、
前記検出された色情報から色差信号を生成する色差信号生成処理と、
前記色差信号生成処理によって生成された色差信号に基づいて前記動きベクトルを検出する領域における所定位置の緑色の強度を決定する緑色強度決定処理と、
前記緑色強度決定処理によって決定された緑色の強度に応じて動きベクトル補正量を決定する補正量決定処理と、
前記補正量決定処理によって決定された補正量だけ動きベクトルを補正する動きベクトル補正処理とからなることを特徴とする請求項３に記載の動きベクトル検出方法。
【請求項５】
インターレーススキャンテレビジョン映像信号における連続する２枚の画像から動きベクトルを検出する動きベクトル検出装置において、
奇数フィールドと偶数フィールドとで緑色の感度分布が異なる配列を有する色フィルタと、
前記色フィルタから出力された連続する２枚のフィールド画像から、領域ごとの動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段から出力された各領域における動きベクトルを補正する動きベクトル補正手段とを備え、
前記動きベクトル補正手段は、奇数、偶数フィールド間で前記色フィルタの緑色の感度差によって生じた動きベクトルの検出誤差を無くす為に必要な所定の補正量と、さらに奇数、偶数フィールド間でサンプリング位置の違いによって生じた動きベクトルの検出誤差を無くす為に必要な０．５画素分の補正量を加えた補正量に基づいて、各領域における動きベクトルを垂直方向に補正することを特徴とする動きベクトル検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動きベクトル検出装置及び方法に係わり、例えば、動画像の符号化装置、画像振れ補正装置、静止画抽出装置あるいは電子拡大装置等において用いられる動きベクトル検出装置及び方法に用いて好適なものである。
【０００２】
【従来の技術】
従来、インターレーススキャンテレビジョン映像信号から連続したフィールド間の相関演算を行うことにより動きベクトルを求める検出法では、奇数フィールドと偶数フィールドのサンプリング位置の違い（垂直方向に２分の１ライン）による検出誤差が指摘され、これについては対策がなされていた。
【０００３】
しかし、原理的に単一撮像素子を用いる信号処理方式においては、相関演算を行うための輝度信号に色フィルタ配列の違いによる偶数フィールド、奇数フィールド間の感度むらがあることが考えられ、これが先に述べたサンプリング位置の違いによる垂直方向の検出ベクトルの誤差と同じように、動きベクトル検出の精度に悪影響を及ぼしていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の動きベクトル検出装置では、前記色フィルタの感度むらによる動きベクトルの検出誤差は補正されておらず、依然として、垂直方向の検出誤差が存在していた。
【０００５】
本発明は上述の問題点にかんがみ、色フィルタの感度むらによる誤差を補償した動きベクトルの検出を行うことができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の動きベクトル検出装置は、インターレーススキャンテレビジョン映像信号における連続する２枚の画像から動きベクトルを検出する動きベクトル検出装置において、奇数フィールドと偶数フィールドとで緑色の感度分布が異なる配列を有する色フィルタから出力された連続する２枚のフィールド画像から、領域ごとの動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段が動きベクトルを検出する領域の色情報を検出する色情報検出手段と、前記動きベクトル検出手段が検出した前記領域における動きベクトルを補正するとき、前記色情報検出手段によって検出された色情報に基づいて、前記領域の緑色の割合に応じた画素分だけ垂直方向へ補正する処理を、前記領域における動きベクトルの補正処理の一部として実行する動きベクトル補正手段とを備える。
【０００７】
本発明の動きベクトル検出装置における他の態様は、前記動きベクトル補正手段は、前記色情報検出手段によって検出された色情報から色差信号を生成する色差信号生成部と、前記色差信号生成部によって生成された色差信号に基づいて前記動きベクトルを検出する領域における所定位置の緑色の強度を決定する緑色強度決定部と、前記緑色強度決定部によって決定された緑色の強度に応じて動きベクトル補正量を決定する補正量決定部と、前記補正量決定部によって決定された補正量だけ動きベクトルを補正する動きベクトル補正部とからなる。
【０００８】
また、本発明の動きベクトル検出装置におけるその他の態様は、インターレーススキャンテレビジョン映像信号における連続する２枚の画像から動きベクトルを検出する動きベクトル検出装置において、奇数フィールドと偶数フィールドとで緑色の感度分布が異なる配列を有する色フィルタと、前記色フィルタから出力された連続する２枚のフィールド画像から、領域ごとの動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段から出力された各領域における動きベクトルを補正する動きベクトル補正手段とを備え、前記動きベクトル補正手段は、奇数、偶数フィールド間で前記色フィルタの緑色の感度差によって生じた動きベクトルの検出誤差を無くす為に必要な所定の補正量と、さらに奇数、偶数フィールド間でサンプリング位置の違いによって生じた動きベクトルの検出誤差を無くす為に必要な０．５画素分の補正量を加えた補正量に基づいて、各領域における動きベクトルを垂直方向に補正する。
【０００９】
本発明の動きベクトル検出方法は、インターレーススキャンテレビジョン映像信号における連続する２枚の画像から動きベクトルを検出する動きベクトル検出方法において、奇数フィールドと偶数フィールドとで緑色の感度分布が異なる配列を有する色フィルタから出力された連続する２枚のフィールド画像から、領域ごとの動きベクトルを検出し、
前記動きベクトルを検出する領域の色情報を検出し、検出した前記領域における動きベクトルを補正するとき、前記検出した色情報に基づいて、前記領域の緑色の割合に応じた画素分だけ垂直方向へ補正する処理を、前記領域における動きベクトルの補正処理の一部として実行する。
【００１０】
本発明の動きベクトル検出方法における他の態様は、前記動きベクトルを前記領域の緑色の割合に応じた画素分だけ垂直方向へ補正する処理は、前記検出された色情報から色差信号を生成する色差信号生成処理と、前記色差信号生成処理によって生成された色差信号に基づいて前記動きベクトルを検出する領域における所定位置の緑色の強度を決定する緑色強度決定処理と、前記緑色強度決定処理によって決定された緑色の強度に応じて動きベクトル補正量を決定する補正量決定処理と、前記補正量決定処理によって決定された補正量だけ動きベクトルを補正する動きベクトル補正処理とからなる。
【００１１】
本発明は上記技術手段を有するので、動きベクトルを検出する領域の緑色の色情報が検出され、前記色情報に応じて偶数フィールドと奇数フィールドとの動きベクトル検出誤差の補正が行われることにより、色フィルタの感度差の影響をなくすことが可能となり、動きベクトルの検出精度を高めることが可能となる。
【００１２】
【発明の実施の形態】
以下、本発明の動きベクトル検出装置及び方法の一実施形態を図面を参照して説明する。
〔第１の実施の形態〕
図１は、本実施の形態の動きベクトル検出装置の概略構成を示すブロック図である。
まず、動きベクトルの検出対象となる画像信号Ｓ１が空間周波数抽出用のフィルタ１０に入力される。
【００１３】
前記フィルタ１０は、画像信号Ｓ１から動きベクトル検出に有用な空間周波数成分を抽出する。すなわち、画像信号Ｓ１の低空間周波数成分及び高空間周波数成分を除去するバンドパスフィルタとして作用する。フィルタ１０を通過した画像信号Ｓ２は、２値化手段１２に供給される。
【００１４】
前記２値化手段１２は、入力された画像信号Ｓ２をゼロレベルで２値化する。具体的には、出力信号の符号ビットを出力する。２値化手段１２によって２値化された画像信号Ｓ２は、相関値演算手段１４及び１フィールド期間遅延手段としてのメモリ１６に供給される。
【００１５】
相関値演算手段１４は、ブロックマッチング法に従い、現フィールドと前フィールドとの相関演算をブロック単位に行い、その演算結果の相関値Ｓ３を動きベクトル検出手段１８に供給する。動きベクトル検出手段１８は、前記相関値演算手段１４から供給された相関値Ｓ３よりブロック単位の動きベクトルを検出する。具体的には、相関値Ｓ３が最少となる前フィールドのブロックを探索しその相対的なずれを動きベクトルとしている。
【００１６】
ブロック単位の動きベクトルＳ４は、動きベクトル補正手段２０に出力される。前記動きベクトル補正手段２０には、色情報検出手段２２から色情報Ｓ５が供給されている。これは、具体的にはホワイトバランス処理回路（図示せず）及び動きベクトル検出ブロック生成用のゲート回路（図示せず）から抽出された動きベクトル検出領域の色差信号である。
【００１７】
動きベクトル補正手段２０は、本実施の形態の動きベクトル検出装置の主要な構成部分となるところで、後程詳細に説明する。動きベクトル決定手段２４は、動きベクトル補正手段２０から供給される個々のブロックの動きベクトル情報Ｓ６から全体の動きベクトルを最終的に決定する。
【００１８】
次に、本実施の形態の動きベクトル検出装置の主要な構成部分である動きベクトル補正手段２０について詳細に説明する。
図２に、動きベクトル補正手段２０で行われる処理の流れを表すフローチャートを示し、図５に動きベクトル補正手段２０の構成を示す。
図２にしたように、最初のステップＳ２００で、色差信号生成部２０ａによって動きベクトル検出領域の色差信号Ｂ−Ｙ、Ｒ−Ｙを取得する。
【００１９】
次に、ステップＳ２０２では、前記検出色差信号Ｂ−Ｙ、Ｒ−Ｙより、図３に示すごとく評価基準から、現在その領域がどの程度緑色の割合が強いかということを緑色強度決定部２０ｂによって決定する。
【００２０】
ステップＳ２０４、２０６及び２０８では、ステップＳ２０２で決定された緑色の強度に応じて、補正量決定部２０ｃによって動きベクトル補正量を決定する。本実施の形態では、緑色の強度を３段階に分けており、それぞれ０．２、０．１、０．０５画素の補正を施すようにしている。
【００２１】
ステップＳ２１０では、更に奇数、偶数フィールドのサンプリング位置による補正量０．５画素を加え、最終的に該当領域の動きベクトルを動きベクトル補正部２０ｄによって決定している。
【００２２】
ここで、本実施の形態の動きベクトル検出装置の根拠を、図４を用いて詳細に説明する。
現在、単板撮像素子の信号処理用として最も多く使われている補色フィルタでは、ある画素の輝度信号は４つの補色フィルタに対応する画素を単純に加算して求めている。すなわち、Ｙ（輝度信号）＝Ｃｙ（シアン）＋Ｙｅ（黄色）＋Ｍｇ（マゼンダ）＋Ｇｒ（緑色）である。
【００２３】
この点だけを考慮すると、全体の色の割合としては、奇数フィールドも偶数フィールドも同じである。しかし、補色フィルタのフィルタ配列を考慮すると、奇数フィールドと偶数フィールドとでは、図４に示すように、同じラインナンバーでも異なっている。
【００２４】
ここで、一画素の輝度信号Ｙを構成する４つの基本画素を水平方向に分割し、それぞれの色成分をＲ、Ｇ、Ｂ信号に変換して求めてみると、奇数フィールドでは上半分が２Ｇ＋Ｒ＋Ｂとなり、下半分はＧ＋Ｒ＋Ｂとなっている。すなわち、上半分は下半分に対して緑色の感度が高くなっている。
【００２５】
一方、偶数フィールドでは上半分がＧ＋Ｒ＋Ｂとなり、下半分は２Ｇ＋Ｒ＋Ｂとなっているので、奇数フィールドとは逆に、下半分の方が緑色の感度が高くなっている。
【００２６】
したがって、特に、静止している緑色の被写体では、その輝度信号は偶数フィールドと奇数フィールドとでは垂直方向に異なった分布を示し、動きベクトル検出装置内ではあたかもそれが動いた結果として誤った動きベクトルを出力してしまうことがある。この誤差は、実験的に最大０．２画素程度ということが確認されている。
【００２７】
したがって、本実施の形態の如く、その検出画面の色情報、具体的には緑色の割合に応じて、動きベクトルを逆補正してやることにより、色フィルタの感度差に基づくフィールド間の動きベクトル検出誤差をなくすことが可能となり、動きベクトルの検出精度を高めることが可能となる。
【００２８】
〔第２の実施の形態〕
第１の実施の形態では、動きベクトル補正量を、緑色の強度に応じて３段階としていたが、何もこれに限ることはなく、例えば、４段階などのように、条件が許す限り多くの段階を設定するようにしてもよい。
【００２９】
〔第３の実施の形態〕
第１の実施の形態では、色差信号Ｂ−Ｙ、Ｒ−Ｙを検出してその中の緑色の強度から補正量を決定していたが、何もこれに限ることはなく、例えば一意的に補色フィルタなら０．１画素の補正を施すように設定してもよい。
【００３０】
【発明の効果】
本発明は上述したように、本発明によれば、動きベクトルの検出誤差を補正するためのパラメータとして緑色の色情報を使うことにより、従来は全く考慮されていなかった色フィルタによる動きベクトルの検出誤差を打ち消すことができ、動きベクトルの検出精度を大幅に向上させることができる。
【図面の簡単な説明】
【図１】本発明による動きベクトル検出装置の第１の実施の形態の概略を示すブロック図である。
【図２】第１の実施の形態の動きベクトル補正手段の処理手順を表すフローチャートである。
【図３】第１の実施の形態の色差信号分布による緑色信号の強度割合の評価基準を説明する図である。
【図４】奇数フィールドと、偶数フィールドの輝度信号の色成分による感度分布の違いを説明する図である。
【図５】動きベクトル補正手段の一例を示すブロック図である。
【符号の説明】
１０  フィルタ
１２  ２値化手段
１４  相関値演算手段
１６  メモリ
１８  動きベクトル検出手段
２０  動きベクトル補正手段
２２  色情報検出手段
２４  動きベクトル決定手段
【図１】
0003683990.tif 000002
【図２】
0003683990.tif 000003
【図３】
0003683990.tif 000004
【図４】
0003683990.tif 000005
【図５】
0003683990.tif 000006