(57)【要約】      （修正有）【課題】画像処理における、集積回路の低消費電力化と高速処理を図りかつ、高画質を確保できる動画像情報の信号処理方法を提供する。【解決手段】動き補償予測を行うために供する動画像情報の信号処理方法において、現フレーム画像内で参照されるべく位置設定された参照マクロブロックと前フレーム画像内で選定された探索領域内の第一の照合マクロブロックに対して、各々のマクロブロック内の対応する画素同士の差分絶対値をマクロブロック内の全画素に対して、差分絶対値和を求め、該差分絶対値和と次に選定された第ニの照合マクロブロックとの差分絶対値和とを比較し、小さい方の差分絶対値和を最小差分絶対値和とし、以後、前記比較を継続し、該置き換えが連続して生じない回数が所定の回数に達したときに、最小差分絶対値和検出工程を強制終了させ、終了工程の直前に得た最小差分絶対値和を最終的な最小差分絶対値和とすることを特徴とする。【選択図】図３
2005130424.tif 000002
【特許請求の範囲】
時系列的に離隔した二つの画像間の動き補償予測を行うために供する動画像情報の信号処理方法において、現フレーム画像（現画像）内で参照されるべく位置設定された参照マクロブロック（符号化対象マクロブロック）と前フレーム画像（再生画像）内で選定された探索領域内の第一の照合マクロブロックに対して、各々のマクロブロック内の対応する画素同士の差分絶対値をマクロブロック内の全画素に対して求め、求めた全差分絶対値を加算することにより、差分絶対値和を求め、該差分絶対値和と次に選定された第ニの照合マクロブロックとの差分絶対値和とを比較し、小さい方の差分絶対値和を第一の最小差分絶対値和として、該第一の最小差分絶対値和と次に選定された第三の照合マクロブロックとの差分絶対値和とを比較し、該第三の照合マクロブロックとの差分絶対値和が該第一の最小差分絶対値和より小さければ、該第一の最小差分絶対値和の代りに、該第三の照合マクロブロックとの差分絶対値和を新たな最小差分絶対値和として、該第一の最小差分絶対値和と置き換え、これを第ニの最小差分絶対値和とし、他方、該第三の照合マクロブロックとの差分絶対値和が該第一の最小差分絶対値和より大きいかあるいは等しければ、該第一の最小差分絶対値和を置き換えずに、該第一の最小差分絶対値和をひきつずき最小差分絶対値和として、以後、次々に選定される照合マクロブロックとの差分絶対値和とこの時点で得られた最小差分絶対値和との比較を継続し、該置き換えが連続して生じない回数が所定の回数に達したときに、最小差分絶対値和検出工程を強制終了させ、終了時点で得られた最小差分絶対値和を該参照マクロブロックの最終的な最小差分絶対値和とする動画像情報の信号処理方法．
【発明の詳細な説明】
【発明の詳細な説明】
【発明が属する技術分野】
【０１】  本発明は動画像の高圧縮かつ高品質、例えば、ＭＰＥＧ（エムペグ）２やＭＰＥＧ４に準拠する動画像情報の信号処理方法、特に動きベクトル検出の処理過程技術の改良に関する．
【背景技術】
【０２】  従来より、膨大な動画像情報の信号処理に関する手法について多面的角度から検討されているが、例えば、ＭＰＥＧ２に準拠する動画像符号化器の信号処理量は、動き補償予測における動きベクトル検出処理が突出して多い．この動きベクトル検出処理は、時系列的に離隔した二つの画像間の動きに着目した動きベクトル検出に帰着するが、この種の基本的な技術として、現フレーム画像（現画像）の参照マクロブロック（符号化対象マクロブロック）に対して前フレーム画像（再生画像）内の探索領域の全範囲についてマクロブロック（ＭＢ）単位で探索するいわゆる全探索法が知られている．
しかしながら、上記探索法は、高画質を補償するが、実時間処理に不可欠な処理量の削減、ひいては画像処理集積回路の低消費電力化の実現という目的から外れている．【０３】  かかる観点からその最も近い技術として、例えば、ＩＥＥＥ（アイトリプルイー）、ナショナル・テレコミュニケーション・コンフェレンス、４巻、１１月、１９８１年、Ｇ５．３．１〜Ｇ５．３．５等に記載されるような３ステップ法等が知られているが、かかる手法は、テレビ会議等のように専ら静止画像に近い画像処理を対象として開発された技術であり、少なくてもＮＴＳＣ（ナショナル・テレビジョン・システム・コミティ）方式対応の高画質動画像処理に適した方式ではない．
【発明が解決しようとする課題】
【０４】  ＣＭＯＳ（シーモス）論理ゲートが動作しているとき、該論理ゲートが消費するする電力（ｐ）は近似的に下式で与えられる．
ｐ≒Ｃ・ｆ・Ｖ２  ［Ｗ］
ここで、Ｃは該論理ゲートの負荷容量、ｆは入力信号の周波数、Ｖは電源電圧である．なお、Ｃの値は論理ゲート毎に異なる．多数の論理ゲートで構成される半導体集積回路の総消費電力（ＰＴ）は各論理ゲートが消費する電力の総和である．ｐの平均的な値が、例えば１μＷ、Ｖが５Ｖとすると、１０６個の論理ゲートで構成される半導体集積回路のＰＴは６Ｗになり、これを用いたシステムは高価になってしまう．
【０５】  本発明は、上記従来技術の課題を解決するべくなされたもので、画像を処理する集積回路の低消費電力化を指向しながら高速処理を図りつつ、しかも、高画質を確保できる動画像情報の信号処理方法を提供し、論理ゲートならびに半導体集積回路の消費電力を大幅に低減することを目的としている．
【課題を解決するための手段】
本発明は時系列的に離隔した二つの画像間の動き補償予測を行うために供する動画像情報の信号処理方法において、現フレーム画像（現画像）内で参照されるべく位置設定された参照マクロブロック（符号化対象マクロブロック）と前フレーム画像（再生画像）内で選定された探索領域内の第一の照合マクロブロックに対して、各々のマクロブロック内の対応する画素同士の差分絶対値をマクロブロック内の全画素に対して求め、求めた全差分絶対値を加算することにより、差分絶対値和を求め、該差分絶対値和と次に選定された第ニの照合マクロブロックとの差分絶対値和とを比較し、小さい方の差分絶対値和を第一の最小差分絶対値和として、該第一の最小差分絶対値和と次に選定された第三の照合マクロブロックとの差分絶対値和とを比較し、該第三の照合マクロブロックとの差分絶対値和が該第一の最小差分絶対値和より小さければ、該第一の最小差分絶対値和の代りに、該第三の照合マクロブロックとの差分絶対値和を新たな最小差分絶対値和として、該第一の最小差分絶対値和と置き換え、これを第ニの最小差分絶対値和とし、他方、該第三の照合マクロブロックとの差分絶対値和が該第一の最小差分絶対値和より大きいかあるいは等しければ、該第一の最小差分絶対値和を置き換えずに、該第一の最小差分絶対値和をひきつずき最小差分絶対値和として、以後、次々に選定される照合マクロブロックとの差分絶対値和とこの時点で得られた最小差分絶対値和との比較を継続し、該置き換えが連続して生じない回数が所定の回数に達したときに、最小差分絶対値和検出工程を強制終了させ、終了時点で得られた最小差分絶対値和を該参照マクロブロックの最終的な最小差分絶対値和とすることを特徴とするので、従来技術の問題点を回避し、集積回路への適用を可能とした．
【従来技術】
【０６】  全探索法は従来の代表的な動きベクトル検出（ＭＥ）アルゴリズムの一つで、一つの参照ＭＢに対して、探索領域内の全ての照合ＭＢとの差分絶対値和（Ｄａ）を求めるブロックマッチング処理と得られたＤａのうち最小のＤａ（Ｍｉｎ．Ｄａ）を決定する最小値決定処理とで構成される．Ｄａは再生画像の画質を評価する指標で、小さい値であれば、画質がよいとされている．図１の曲線はブロックマッチング工程で逐次得られたＭｉｎ．Ｄａの推移を示している．横軸はブロックマッチング数（Ｎｂ）、縦軸は逐次得られたＭｉｎ．Ｄａである（ブロックマッチング毎に得られたＤａとそれまでに得られた最小のＤａを比較し、前者が小さければ、これを最小のＤａとして更新する）．探索領域内を全探索すると、Ｎｂの総数はｎＦ回となる．該曲線に示すように、ｎＦ回のブロックマッチングで得られるＭｉｎ．Ｄａは、この場合、ｎＡ回目（ｎＡ＜ｎＦ）のブロックマッチングで求められている．それにも拘らず、全探索法はブロックマッチングを最後まで継続するので、無駄なブロックマッチングを（ｎＦ−ｎＡ）回行うことを明示している．
【０７】  図２は現フレーム画像（現画像）の全ての参照ＭＢに対し、従来の全探索法を用いた場合における１フレーム分の参照ＭＢ毎のＮｂの推移の実験例を示すグラフである．ここではＭＢサイズを１６画素×１６ラインとしている．縦軸はＮｂ、横軸はＭＢ番号（１から９９）である．ここでは、探索領域サイズを３５画素×３５ラインとしている．従って、全てのＭＢに対してＮｂは一定で、その数は４００回である．
【本発明技術の実施例】
【０８】  図３は本発明を用いたブロックマッチング過程で逐次得られたＭｉｎ．Ｄａの推移を示している．横軸はＮｂ、縦軸は逐次得られたＭｉｎ．Ｄａである．つまり、ブロックマッチング毎に得られたＤａとそれまでのブロックマッチング工程で得られた最小のＤａを比較し、前者が小さければ、これをＭｉｎ．Ｄａとして置換える、つまり、更新する．ここでは探索領域内の中心からブロックマッチングを開始する渦巻き探索を用いている．Ｍｉｎ．Ｄａが更新されないブロックマッチングが連続しても、その連続回数が所定の回数（ｄ）に達しなければ、ブロックマッチングを継続する．例えば、ＮｂがｎＣからｎＢまでの間はＭｉｎ．Ｄａは更新されないが、（ｎＢ−ｎＣ）がｄより小さい場合、ブロックマッチングを継続する．次に、ＮｂがｎＢからｄ回連続してＭｉｎ．Ｄａが更新されずに、ＮｂがｎＡに達すると、ブロックマッチング工程は強制的に終了させられる．従って、全探索法では（ｎＦ−ｎＡ）回の無駄なブロックマッチングを実行したが、本発明ではこれを回避できるので、Ｎｂを大幅に削減できる．
【０９】  図４は現フレーム画像（現画像）の全ての参照ＭＢ（ここでは、ＭＢサイズは１６画素×１６ラインに設定されている）に対し、本発明を用いた場合における図２と同一のフレームの参照ＭＢ毎のＮｂの推移の実験例を示すグラフである．縦軸はＮｂ、横軸はＭＢ番号（１から９９）である．ここでは、ｄを６４、探索領域サイズを３５画素×３５ラインとしている．Ｎｂは設定したｄの値付近に集中し、その平均値は約８０回である．従って、全探索法の平均Ｎｂ（４００回）の１／５に削減されている
【１０】  図５は本発明の実施例を用いた場合における平均Ｎｂと終了条件であるｄとの関係の実験例を示すグラフである．ここで平均Ｎｂとは４００フレームから構成される“Ｃａｒｐｈｏｎｅ”と呼ばれるテスト画像の全てのフレームの全ての参照ＭＢのＮｂを平均した値である．ｄに関係なく、本発明の平均ＮｂはＦＳの平均Ｎｂ（４００回）を下回っている．つまり、本発明の信号処理量は全探索法の信号処理量に比べ、大幅に削減されている．
【１１】  図６は本発明の実施例を用いた場合におけるＭｉｎ．Ｄａの平均値と終了条件であるｄとの関係の実験例を示すグラフである．ここでＭｉｎ．Ｄａの平均値とは４００フレームから構成される“Ｃａｒｐｈｏｎｅ”と呼ばれるテスト画像の全てのフレームの全ての参照ＭＢのＭｉｎ．Ｄａを平均した値である．ｄを１から増加させて行くと、本発明で得た“Ｃａｒｐｈｏｎｅ”のＭｉｎ．Ｄａの平均値は急速に減少する．ｄが６４以上で全探索法のＤａ（＝１，３３４）とほぼ等しくなる．つまり、本発明の方法は、信号処理量が大幅に削減される上、全探索法並の画質を保証することがわかる．
【発明の効果】
【１２】  ｆは処理量（Ｎｂ）ならびにＶに比例する．従って、Ｎｂが１／ｍに削減されると、ｆも１／ｍに低減できる．同時にＶを１／ｍにしてもよい．従って、該論理ゲートが消費するする電力（ｐ’）は
ｐ’≒Ｃ・（ｆ／ｍ）・（Ｖ／ｍ）２＝Ｃ・ｆ・Ｖ２／ｍ３＝ｐ／ｍ３  ［Ｗ］
となる．この結果、該Ｎｂを１／ｍに削減すると、該ｐおよびＰＴを１／ｍ３に削減できる、という所期の目的を達成することができた．例えば、ｄが６４の時、該Ｎｂが１／５に削減されるので、該ｐ’および半導体集積回路のＰＴ’をそれぞれｐおよびＰＴの１／１２５に激減できる．
【図面の簡単な説明】
【１３】
【図１】従来の全探索法を用いた場合における最小差分絶対値和（Ｍｉｎ．Ｄａ）とブロックマッチング数（Ｎｂ）との関係の実験例を示すグラフである．
【図２】現フレーム画像（現画像）の全ての参照ＭＢに対し、従来の全探索法を用いた場合における参照ＭＢ毎のＮｂの推移の実験例を示すグラフである．
【図３】本発明の実施例を用いた場合における差分絶対値和の最小値（Ｍｉｎ．Ｄａ）とＮｂとの関係の実験例を示すグラフであある．
【図４】現フレーム画像（現画像）の全ての参照領域（参照ＭＢ）に対し、本発明の実施例を用いた場合における参照ＭＢ毎のＮｂの推移の実験例を示すグラフである．
【図５】本発明の実施例を用いた場合における平均Ｎｂと終了条件であるｄとの関係の実験例を示すグラフである．ここで平均Ｎｂとは４００フレームから構成される“Ｃａｒｐｈｏｎｅ”と呼ばれるテスト画像の全てのフレームの全ての参照ＭＢのＮｂを平均した値である．
【図６】本発明の実施例を用いた場合における最小差分絶対値和の平均値とブロックマッチング終了条件であるｄとの関係の実験例を示すグラフである．ここで最小差分絶対値和（Ｍｉｎ．Ｄａ）の平均値とは４００フレー厶から構成される“Ｃａｒｐｈｏｎｅ”と呼ばれるテスト画像の全てのフレームの全ての参照ＭＢのＭｉｎ．Ｄａを平均した値である．
【図１】
2005130424.tif 000003
【図２】
2005130424.tif 000004
【図３】
2005130424.tif 000005
【図４】
2005130424.tif 000006
【図５】
2005130424.tif 000007
【図６】
2005130424.tif 000008