(57)【特許請求の範囲】
【請求項１】
ディジタル映像信号の予測符号化における動きベクトル検出装置であって、
参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、
上記第１動きベクトル検出器の検出結果を蓄積するメモリと、
蓄積した上記検出結果をもとに上記参照画像に対する上記符号化画像の動きを推定する動き推定器と、
上記動き推定器による推定結果を用いて上記参照画像に対する上記符号化画像の動きベクトルを決定する第２動きベクトル検出器と
を備え、
上記動き推定器において、
上記参照画像と上記符号化画像の間の各隣接ピクチャ間の動きベクトルから上記参照画像に対する上記符号化画像の推定動きベクトルを得て、
各隣接ピクチャ間の動きベクトルの平均値および標準偏差を求め、
上記標準偏差の上記平均値に対する比率が所定の値より小さい場合には、上記推定動きベクトルの信頼性が高いと判定し、当該推定動きベクトルの値を出力し、
上記標準偏差の上記平均値に対する比率が上記所定の値以上の場合には、上記推定動きベクトルの信頼性が低いと判定し、当該推定動きベクトルの値をゼロベクトルに修正して出力する
ことを特徴とする動きベクトル検出装置。
【請求項２】
ディジタル映像信号の予測符号化における動きベクトル検出装置であって、
参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、
上記第１動きベクトル検出器の検出結果を蓄積するメモリと、
蓄積した上記検出結果をもとに上記参照画像に対する上記符号化画像の動きを推定する動き推定器と、
上記参照画像と上記符号化画像とを比較して上記参照画像に対する上記符号化画像の動きベクトルを決定する第２動きベクトル検出器と
を備え、
上記動き推定器は、上記参照画像と上記符号化画像の間の各隣接ピクチャ間の動きベクトルから上記参照画像に対する上記符号化画像の推定動きベクトルを得て、
上記第２動きベクトル検出器は、決定した上記動きベクトルと上記動き推定器による上記推定動きベクトルとを比較して、両者の差の絶対値が所定の閾値以上だった場合に、上記動きベクトルの信頼性が低いと判定し、当該動きベクトルの値を、ゼロベクトルまたは上記推定動きベクトルのいずれか一方の値に修正する
ことを特徴とする動きベクトル検出装置。
【請求項３】
上記動き推定器において、上記参照画像と上記符号化画像の間の各隣接ピクチャ間の動きベクトルから上記参照画像に対する上記符号化画像の動きベクトルとして推定されるベクトル領域を得ることを特徴とする請求項１または２に記載の動きベクトル検出装置。
【請求項４】
上記第２動きベクトル検出器により上記参照画像に対する上記符号化画像の動きベクトルとして検出されるベクトルを、上記動き推定器により得られる上記ベクトル領域に制限することを特徴とする請求項３に記載の動きベクトル検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は動きベクトル検出装置に関し、特に、画像予測符号化における動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】
図８に予測符号化を行うディジタル画像の説明図を示す。図８のように、ピクチャ（１）、ピクチャ（２）、ピクチャ（３）、ピクチャ（４）という順で、時間とともに変化するディジタル映像が入力されたとき、ピクチャ（１）を参照画像として、ピクチャ（４）を予測符号化するときの動きベクトル検出について従来例の動作について説明する。
【０００３】
図９は、この種の従来のベクトル検出装置の一例を示した構成図である。ディジタル映像１として入力された図８のピクチャ（１）からピクチャ（４）までの画像はフレームメモリ２０１に蓄積される。蓄積されたピクチャ（４）とピクチャ（１）は、それぞれ、符号化画像７及び参照画像８として、動きベクトル検出器２０２へ出力される。符号化画像７はブロックに分割されており、動きベクトル検出器２０２は、ブロック単位でのブロックマッチングにより動きベクトル検出を行い、動きベクトル９を出力する。
【０００４】
【発明が解決しようとする課題】
図８のように、隣接するピクチャ間においては時間的な相関性が高くても、ピクチャ間距離が大きくなると、すなわち、隣接せずに時間的に離れているピクチャ同士（例えば、ピクチャ（１）と（４））の場合は、時間的な相関性は低くなってしまい、正しい動きベクトルを検出することができない。そのため、ピクチャ（１）を参照画像としてピクチャ（２）を予測符号化するときは良いが、ピクチャ（１）を参照画像としてピクチャ（４）を予測符号化するときには、間違った動きベクトルが検出され、動きベクトルに割り当てられる情報量が無駄に大きくなり、画質の低下が生じてしまうという問題点があった。
【０００５】
本発明はかかる問題点を解決するためになされたものであり、参照画像と符号化画像の間の隣接ピクチャ間の動きベクトル情報を用いて、動きベクトルの信頼性を判断し、間違った動きベクトルの採用による情報量増大に伴う画質の低下を抑制することを可能にした動きベクトル検出装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明は、ディジタル映像信号の予測符号化における動きベクトル検出装置であって、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、第１動きベクトル検出器の検出結果を蓄積するメモリと、蓄積した上記検出結果をもとに参照画像に対する符号化画像の動きを推定する動き推定器と、動き推定器による推定結果を用いて参照画像に対する符号化画像の動きベクトルを決定する第２動きベクトル検出器とを備え、上記動き推定器において、上記参照画像と上記符号化画像の間の各隣接ピクチャ間の動きベクトルから上記参照画像に対する上記符号化画像の推定動きベクトルを得て、各隣接ピクチャ間の動きベクトルの平均値および標準偏差を求め、上記標準偏差の上記平均値に対する比率が所定の値より小さい場合には、上記推定動きベクトルの信頼性が高いと判定し、当該推定動きベクトルの値を出力し、上記標準偏差の上記平均値に対する比率が上記所定の値以上の場合には、上記推定動きベクトルの信頼性が低いと判定し、当該推定動きベクトルの値をゼロベクトルに修正して出力する動きベクトル検出装置である。
【０００７】
また、ディジタル映像信号の予測符号化における動きベクトル検出装置であって、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、第１動きベクトル検出器の検出結果を蓄積するメモリと、蓄積した上記検出結果をもとに参照画像に対する符号化画像の動きを推定する動き推定器と、参照画像と符号化画像とを比較して参照画像に対する符号化画像の動きベクトルを決定する第２動きベクトル検出器とを備え、動き推定器は、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の推定動きベクトルを得て、上記第２動きベクトル検出器は、決定した上記動きベクトルと上記動き推定器による上記推定動きベクトルとを比較して、両者の差の絶対値が所定の閾値以上だった場合に、上記動きベクトルの信頼性が低いと判定し、当該動きベクトルの値を、ゼロベクトルまたは上記推定動きベクトルのいずれか一方の値に修正する動きベクトル検出装置である。
【０００９】
また、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の動きベクトルとして推定されるベクトル領域を得る。
【００１１】
また、第２動きベクトル検出器により参照画像に対する符号化画像の動きベクトルとして検出されるベクトルを、動き推定器により得られるベクトル領域に制限する。
【００１２】
【発明の実施の形態】
実施の形態１．
図１に実施の形態１による本発明の動きベクトル検出装置の構成図を示す。図において、１０１は、ディジタル映像１として入力される複数のピクチャを蓄積するフレームメモリ、１０２は、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器、１０３は、第１動きベクトル検出器１０２の検出結果を蓄積する動き情報蓄積メモリ、１０４は、動き情報蓄積メモリ１０３に蓄積した検出結果をもとに参照画像に対する符号化画像の動きを推定する動き推定器、１０５は、動き推定器１０４による推定結果を用いて参照画像に対する符号化画像の動きベクトルを決定する第２動きベクトル検出器である。
【００１３】
次に、図１にしたがって動作を説明する。ディジタル映像１として入力された図８のピクチャ（１）からピクチャ（４）までの画像はフレームメモリ１０１に蓄積される。蓄積されたピクチャ（２）〜（４）は検出画像２として、ピクチャ（１）〜（３）は参照画像３として第１動きベクトル検出器１０２に入力される。フレームメモリ１０１は、図９に示した従来のフレームメモリ２０１と容量など基本的には同じであり、ピクチャの出力順序と枚数が異なるだけである。
【００１４】
ここで、検出画像とは動きベクトルを検出する画像のことであり、符号化画像に相当するが、実際に符号化するのではないため検出画像と呼ぶ。
【００１５】
第１動きベクトル検出器１０２は、図９に示した従来の動きベクトル検出器２０２と同じ動作をするものであり、ピクチャ（２）とピクチャ（１）をそれぞれ検出画像２及び参照画像３として動きベクトル検出を行い、ピクチャ（３）とピクチャ（２）をそれぞれ検出画像２及び参照画像３として動きベクトル検出を行い、ピクチャ（４）とピクチャ（３）をそれぞれ検出画像２及び参照画像３として動きベクトル検出を行う。検出結果は動き検出結果４として動き情報蓄積メモリ１０３に一時的に蓄積され、隣接ピクチャ動き情報５として動き推定器１０４へ出力される。
【００１６】
動き推定器１０４は、入力された隣接ピクチャ動き情報５をもとに図２のように各隣接ピクチャ間の動きベクトルを時間逆順に追っていくことによって、参照画像８に対する符号化画像７の動きベクトルを推定し、動き情報６を第２動きベクトル検出器１０５へ出力する。以下、図３のフローチャートにしたがって動き推定器１０４の動作手順について説明する。
【００１７】
まず、ステップＳ１０１にて、図２のピクチャ（４）上の各ブロックＭＢ4に対して、動き推定器１０４は、ピクチャ（４）を検出画像、ピクチャ（３）を参照画像としたときのブロックＭＢ4の（ピクチャ（３）に対する）動きベクトルＶ34を求める。
【００１８】
次に、ステップＳ１０２にて、図２のピクチャ（４）上のブロックＭＢ4を動きベクトルＶ34だけずらした位置にあるピクチャ（３）上のブロックＭＢ3を求める。
【００１９】
次に、ステップＳ１０３にて、ピクチャ（３）を検出画像、ピクチャ（２）を参照画像としたときのブロックＭＢ3の（ピクチャ（２）に対する）動きベクトルＶ23を求める。
【００２０】
次に、ステップＳ１０４にて、図２のピクチャ（３）上のブロックＭＢ3を動きベクトルＶ23だけずらした位置にあるピクチャ（２）上のブロックＭＢ2を求める。
【００２１】
次に、ステップＳ１０５にて、ピクチャ（２）を検出画像、ピクチャ（１）を参照画像としたときのブロックＭＢ2の（ピクチャ（１）に対する）動きベクトルＶ12を求める。
【００２２】
次に、ステップＳ１０６にて、推定動きベクトルＶeを、Ｖ12＋Ｖ23＋Ｖ34によって与え、動き情報６として出力する。
【００２３】
上記のようにして得られた動き情報６が入力され、第２動きベクトル検出器１０５は図４の手順で動きベクトル検出を行い、動きベクトル９を出力する。以下、図４のフローチャートにしたがって第２動きベクトル検出器の動作を説明する。
【００２４】
第２動きベクトル検出器１０５は、ステップＳ２０１にて、ピクチャ（４）を符号化画像、ピクチャ（１）を参照画像として、従来の動きベクトル検出器２０２と同様に動きベクトル検出を行い、動きベクトルＶ14を求める。
【００２５】
次に、ステップＳ２０２にて、動き情報６として入力された推定動きベクトルＶeとステップＳ２０１で求めた動きベクトルＶ14との差（成分ごとの差分絶対値和）を求める。
【００２６】
差が閾値より小さい場合、隣接ピクチャ間の時間相関性が高い、すなわち、信頼性が高いと判断し、ステップＳ２０３にて動きベクトルＶ14を動きベクトル９として出力する。
【００２７】
差が閾値より小さくない場合、隣接ピクチャ間の時間相関性が低い、すなわち、信頼性が低いと判断し、ステップＳ２０４にてゼロベクトルを動きベクトル９として出力する。
【００２８】
なお、ステップＳ２０４ではゼロベクトルを動きベクトル９として出力したが、推定動きベクトルＶeを動きベクトル９として出力するようにしてもよい。
【００２９】
以上のように、本発明の動きベクトル検出装置においては、第１動きベクトル検出器１０２の検出結果から得られた隣接ピクチャ動き情報５を用いて、動き推定器１０４により各隣接ピクチャ間の動きベクトルを推定して、第２動きベクトル検出器により推定された参照画像に対する符号化画像の動きベクトルと比較することにより、動きベクトルの信頼性を判断し、信頼性の高い動きベクトルのみを検出するようにしたので、動きベクトルの信頼性を向上することができる。よって、間違った動きベクトルを採用することによる情報量増大が抑制でき、画質の劣化を抑えることが出来る。
【００３０】
実施の形態２．
実施の形態１では、動き推定器１０４を図３の動作手順１のように動作させたが、実施の形態２では、図５に示す動作手順２のように動作させる。以下、動き推定器１０４の動作手順について説明する。なお、他の構成及び動作については実施の形態１と同様であるため、ここでは説明を省略する。
【００３１】
まず、ステップＳ１１１にて、推定動きベクトルＶe（＝Ｖ12＋Ｖ23＋Ｖ34）および隣接動きベクトルＶ12，Ｖ23，Ｖ34を求める。ステップＳ１１１の具体的な手順としては、図３の動作手順１のステップＳ１０１〜Ｓ１０６の手順で行う。
【００３２】
次に、ステップＳ１１２にて、隣接動きベクトルＶ12，Ｖ23，Ｖ34の水平成分及び垂直成分のそれぞれに対して、平均値Ｖx，Ｖy、標準偏差σx，σyを求める。
【００３３】
次に、ステップＳ１１３にて、σxがＶxの大きさより十分小さく、かつ、σyがＶyの大きさより十分小さければ、隣接動きベクトル同士の時間相関性が高いとし、ステップＳ１１４の処理を行う。そうでなければ、ステップＳ１１５の処理を行う。
【００３４】
次に、ステップＳ１１４では、隣接動きベクトル同士の時間相関性が高いので、それらをもとに生成された推定動きベクトルＶeは信頼性が高いと判断し、推定動きベクトルＶeを動き情報６として出力する。
【００３５】
次に、ステップＳ１１５では、隣接動きベクトル同士の時間相関性が低いので、それらをもとに生成された推定動きベクトルＶeは信頼性が低いと判断してこれを破棄し、ゼロベクトルを動き情報６として出力する。
【００３６】
以上のように、本実施の形態においては、第１動きベクトル検出器１０２の検出結果から得られた隣接ピクチャ動き情報５を用いて、動き推定器１０４により隣接動きベクトルの水平成分及び垂直成分の平均値及び標準偏差を求め、標準偏差の値が平均値の大きさより十分小さいかを判定することにより、隣接ピクチャ間動きベクトルの信頼性も考慮して、動きベクトルを推定することができ、第２動きベクトル検出器での推定された動きベクトルとの比較により動きベクトルの信頼性を判断し、信頼性が低ければ推定動きベクトルを修正するようにしたので、動きベクトルの信頼性を向上できる。よって、間違った動きベクトルを採用することによる情報量増大が抑制でき、画質の劣化を抑えることが出来る。
【００３７】
実施の形態３．
実施の形態１及び２では、動き推定器１０４から出力される動き情報６として推定動きベクトルを用いたが、実施の形態３では第２動きベクトル検出器１０５での探索範囲を動き情報６として構成する。
【００３８】
まず、図６にしたがって、動き推定器１０４の動作を説明する。ステップＳ１１１にて、図３の動作手順１の手順で推定動きベクトルＶeおよび隣接動きベクトルＶ12，Ｖ23，Ｖ34を求める。
【００３９】
次に、ステップＳ１１２にて、隣接動きベクトルＶ12，Ｖ23，Ｖ34の水平成分および垂直成分のそれぞれに対して、平均値Ｖx，Ｖyおよび標準偏差σx，σyを求める。
【００４０】
ステップＳ１２１にて、符号化画像と参照画像との距離ｎおよび標準偏差σx，σyの積により、探索幅ｄx，ｄyの求める。
【００４１】
ステップＳ１２２にて、図７に示すような探索範囲（１）と探索範囲（２）を求める。ここで、探索範囲（１）はゼロベクトルを中心とする、水平±ｄx、垂直±ｄyの長方形領域であり、探索範囲（２）は推定動きベクトルＶeを中心とする、水平±ｄx、垂直±ｄyの長方形領域である。
【００４２】
ステップＳ１２３にて、探索範囲（１）と探索範囲（２）の和集合で表される探索範囲を動き情報６として出力する。
【００４３】
一方、第２動きベクトル検出器１０５は、動き情報６として入力された探索範囲に対して動きベクトル検出を行い、検出結果を動きベクトル９として出力する。
【００４４】
以上のように、本実施の形態においては、第１動きベクトル検出器１０２の検出結果から得られた隣接ピクチャ動き情報５を用いて、動き推定器１０４により推定される探索範囲に動きベクトルを限定することにより、第２動きベクトル検出器で検出される動きベクトルの信頼性を向上することができる。
【００４５】
また、隣接ピクチャ間の動きベクトルのばらつきにより探索範囲の広さを変えるようにしたため、無意味に大きい動きベクトルが選択されることはなく、動きベクトルの情報量増大による画質の劣化を抑えることが出来る。
【００４６】
【発明の効果】
この発明は、ディジタル映像信号の予測符号化における動きベクトル検出装置であって、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、第１動きベクトル検出器の検出結果を蓄積するメモリと、蓄積した上記検出結果をもとに参照画像に対する符号化画像の動きを推定する動き推定器と、動き推定器による推定結果を用いて参照画像に対する符号化画像の動きベクトルを決定する第２動きベクトル検出器とを備え、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから上記参照画像に対する符号化画像の推定動きベクトルを得て、各隣接ピクチャ間の動きベクトルの平均値および標準偏差を求め、標準偏差の平均値に対する比率が所定の値より小さい場合には、推定動きベクトルの信頼性が高いと判定し、当該推定動きベクトルの値を出力し、標準偏差の平均値に対する比率が所定の値以上の場合には、推定動きベクトルの信頼性が低いと判定し、当該推定動きベクトルの値をゼロベクトルに修正して出力する動きベクトル検出装置であるので、参照画像と符号化画像の間の隣接ピクチャ間の動きベクトル情報を用いて動きベクトルを決定するので、動きベクトルの信頼性を向上させることができ、間違った動きベクトルの採用による情報量増大に伴う画質の低下を抑制する。また、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の推定動きベクトルを得るようにしたので、推定動きベクトルと第２の動きベクトル検出器により推定された動きベクトルとの比較により動きベクトルの信頼性を向上させることができる。また、各隣接ピクチャ間の動きベクトルの平均値および標準偏差を求め、上記標準偏差の上記平均値に対する比率が所定の値より小さい場合には、上記推定動きベクトルの信頼性が高いと判定し、当該推定動きベクトルの値を出力し、上記標準偏差の上記平均値に対する比率が上記所定の値以上の場合には、上記推定動きベクトルの信頼性が低いと判定し、当該推定動きベクトルの値をゼロベクトルに修正して出力するようにしたので、さらに動きベクトルの信頼性を向上させることができる。
【００４７】
また、ディジタル映像信号の予測符号化における動きベクトル検出装置であって、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、上記第１動きベクトル検出器の検出結果を蓄積するメモリと、蓄積した上記検出結果をもとに上記参照画像に対する上記符号化画像の動きを推定する動き推定器と、上記参照画像と上記符号化画像とを比較して上記参照画像に対する上記符号化画像の動きベクトルを決定する第２動きベクトル検出器とを備え、動き推定器は、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の推定動きベクトルを得て、上記第２動きベクトル検出器は、決定した上記動きベクトルと上記動き推定器による上記推定動きベクトルとを比較して、両者の差の絶対値が所定の閾値以上だった場合に、上記動きベクトルの信頼性が低いと判定し、当該動きベクトルの値を、ゼロベクトルまたは上記推定動きベクトルのいずれか一方の値に修正する動きベクトル検出装置であるので、参照画像と符号化画像の間の隣接ピクチャ間の動きベクトル情報を用いて動きベクトルを決定するので、動きベクトルの信頼性を向上させることができ、間違った動きベクトルの採用による情報量増大に伴う画質の低下を抑制する。また、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の推定動きベクトルを得るようにしたので、推定動きベクトルと第２の動きベクトル検出器により推定された動きベクトルとの比較により動きベクトルの信頼性を向上させることができる。また、第２動きベクトル検出器による動きベクトルと動き推定器による推定動きベクトルとを比較して、両者の差の絶対値が所定の閾値以上だった場合に、動きベクトルの信頼性が低いと判定し、当該動きベクトルの値を、ゼロベクトルまたは推定動きベクトルのいずれか一方の値に修正するようにしたので、さらに動きベクトルの信頼性を向上させることができる。
【００４９】
また、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の動きベクトルとして推定されるベクトル領域を得るようにしたので、無意味に大きい動きベクトルが選択されることはなく、間違った動きベクトルを採用することによる情報量増大による画質の劣化を抑えることができる。
【００５１】
また、第２動きベクトル検出器により参照画像に対する符号化画像の動きベクトルとして検出されるベクトルを、動き推定器により得られるベクトル領域に制限するようにしたので、無意味に大きい動きベクトルが選択されることはなく、間違った動きベクトルを採用することによる情報量増大による画質の劣化を抑えることができる。
【図面の簡単な説明】
【図１】  本発明の実施の形態１〜３による動きベクトル検出装置の構成を示した構成図である。
【図２】  本発明の実施の形態１〜３による動きベクトル検出装置において、隣接ピクチャの動き情報を求める処理を示した説明図である。
【図３】  本発明の実施の形態１による動きベクトル検出装置の動き推定器の動作を示した流れ図である。
【図４】  本発明の実施の形態１による動きベクトル検出装置の第２動きベクトル検出器の動作を示した流れ図である。
【図５】  本発明の実施の形態２による動きベクトル検出装置の動き推定器の動作を示した流れ図である。
【図６】  本発明の実施の形態３による動きベクトル検出装置の動き推定器の動作を示した流れ図である。
【図７】  本発明の実施の形態１による動きベクトル検出装置の動き推定器における探索範囲の説明図である。
【図８】  予測符号化を行うディジタル画像の説明図である。
【図９】  従来の動きベクトル検出装置の構成を示した構成図である。
【符号の説明】
１  ディジタル映像、２  検出画像、３  参照画像、４  動き検出結果、５  隣接ピクチャ動き情報、６  動き情報、７  符号化画像、８  参照画像、９  動きベクトル、１０１，２０１  フレームメモリ、１０２  第１動きベクトル、１０３  動き情報蓄積メモリ、１０４  動き推定器、１０５  第２動きベクトル検出器、２０２  動きベクトル検出器。
【図１】
0003720723.tif 000002
【図２】
0003720723.tif 000003
【図３】
0003720723.tif 000004
【図４】
0003720723.tif 000005
【図５】
0003720723.tif 000006
【図６】
0003720723.tif 000007
【図７】
0003720723.tif 000008
【図８】
0003720723.tif 000009
【図９】
0003720723.tif 000010