(57)【要約】【課題】画質を極力低下させることなく符号化処理の処理負荷を低減する。【解決手段】本発明は、ＪＶＴ符号化方式のように、動き補償ブロックの画素サイズを順次変更しながらマルチリファレンスフレームを用いて動き予測補償を行う際に、当該画素サイズのうち、最上位層とすべき最も大きい画素サイズでなる動き補償ブロックに基づいて縮小ブロックを生成して階層化した後、当該縮小ブロックの縮小率に対応してそれぞれ縮小された複数の縮小参照画像と縮小ブロックとに基づいて、各参照フレーム画像内における動きベクトルの探索範囲をそれぞれ決定し、当該決定された各探索範囲を用いて、動き補償ブロックの画素サイズを順次変更しながら最適な動きベクトルを検出することにより、当該各参照フレーム画像内において限られた探索範囲だけで動きベクトルを検出できる。【選択図】        図８
2004186897.tif 000002
【特許請求の範囲】
【請求項１】
連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなる動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて動き予測補償を行う動き予測補償方法において、
上記画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小ブロックを生成する階層化ステップと、
上記縮小ブロックと、当該縮小ブロックの縮小率に対応してそれぞれ縮小された複数の縮小参照画像とに基づいて、各上記参照フレーム画像内における動きベクトルの探索範囲をそれぞれ決定する探索範囲決定ステップと、
上記探索範囲決定ステップで決定された各上記探索範囲を用いて、上記動き補償ブロックの上記画素サイズを順次変更しながら最適な上記動きベクトルを検出する検出ステップと
を具えることを特徴とする動き予測補償方法。
【請求項２】
上記探索範囲決定ステップでは、
上記縮小ブロックと、上記縮小参照画像との間における画素値の差分に基づいて上記探索範囲を決定する
ことを特徴とする請求項１に記載の動き予測補償方法。
【請求項３】
上記探索範囲決定ステップでは、
上記縮小参照画像に対して上記縮小ブロックで順次ブロックマッチングを行うことにより、上記縮小ブロック内の画素値と、上記縮小参照画像内であって上記縮小ブロックに対応する対応ブロック内の画素値との間における差分の絶対値和に基づいて上記探索範囲を決定する
ことを特徴とする請求項２に記載の動き予測補償方法。
【請求項４】
上記探索範囲決定ステップでは、
上記縮小ブロック内の画素値のうち、当該縮小ブロックの水平方向及び垂直方向にそれぞれ１画素おきの画素値と、上記対応ブロック内の画素値との間における差分の絶対値和に基づいて上記探索範囲を決定する
ことを特徴とする請求項３に記載の動き予測補償方法。
【請求項５】
上記探索範囲決定ステップでは、
上記縮小ブロック内の画素値との上記絶対値和が最小となる上記対応ブロックと、上記縮小ブロックとの間における下位層動きベクトルを上記所定の縮小率に対応する分だけ拡大し、当該拡大した下位層動きベクトルを含む周辺画素範囲を上記探索範囲として決定する
ことを特徴とする請求項３に記載の動き予測補償方法。
【請求項６】
上記探索範囲決定ステップで決定された各上記縮小参照画像内における各上記探索範囲のうち、上記縮小ブロックとの間における画素値の差分が最小となる上記縮小参照画像内における上記探索範囲だけを選択する探索範囲選択ステップを具え、
上記検出ステップでは、
上記探索範囲選択ステップで選択された上記縮小参照画像内における上記探索範囲だけを用いて最適な上記動きベクトルを検出する
ことを特徴とする請求項１に記載の動き予測補償方法。
【請求項７】
上記検出ステップでは、
上記縮小ブロックと上記縮小参照画像との間における画素値の差分と、量子化スケール関数と、上記動きベクトルの差分に対する発生符号量とに基づいて最適な上記動きベクトルを検出する
ことを特徴とする請求項１に記載の動き予測補償方法。
【請求項８】
上記検出ステップでは、
Ｒａｔｅ  Ｄｉｓｔｏｒｔｉｏｎ最適化に基づいて最適な上記動きベクトルを検出する
ことを特徴とする請求項１に記載の動き予測補償方法。
【請求項９】
上記検出ステップでは、
上記動き補償ブロックの上記画素サイズを、大きい画素サイズから小さい画素サイズへ順次変更し、当該変更するごとに上記探索範囲を縮小する
ことを特徴とする請求項１に記載の動き予測補償方法。
【請求項１０】
連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなる動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて動き予測補償を行う動き予測補償方法において、上記画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小ブロックを生成する階層化手段と、
上記縮小ブロックと、当該縮小ブロックの縮小率に対応してそれぞれ縮小された複数の縮小参照画像とに基づいて、各上記参照フレーム画像内における動きベクトルの探索範囲をそれぞれ決定する探索範囲決定手段と、
上記探索範囲決定手段により決定された各上記探索範囲を用いて、上記動き補償ブロックの上記画素サイズを順次変更しながら最適な上記動きベクトルを検出する検出手段と
を具えることを特徴とする動き予測補償装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動き予測補償方法及び動き予測補償装置に関し、例えば動画像信号をインターネット等のネットワークを介して送信する画像符号化装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、画像符号化装置は、外部から供給される動画像信号をディジタル化した後、所定の画像符号化方式に準拠した符号化処理を施すことにより画像圧縮情報を生成するようになされている。
【０００３】
かかる画像符号化方式としては、ＩＳＯ／ＩＥＣの符号化専門家グループ（ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）により汎用画像の符号化を目的として標準化されたＭＰＥＧと呼ばれる画像符号化方式と、ＩＴＵ団体によりテレビ会議用画像の符号化を目的として標準化されたＨ．２６と呼ばれる画像符号化方式とが知られている。
【０００４】
また近年における携帯電話機等の携帯端末装置の普及等により、一段と高い符号化効率を実現するための画像符号化方式の必要性が示唆されており、これに対応すべく現在では、ＭＰＥＧとＩＴＵ団体とによって、ＪＶＴ（Ｊｏｉｎｔ  Ｍｏｄｅｌ  ｏｆＥｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）と呼ばれる画像符号化方式（以下、これをＪＶＴ符号化方式と呼ぶ）の標準化が進められている。
【０００５】
このＪＶＴ符号化方式においては、動き予測補償を行う場合、縦横１６×１６画素のマクロブロックについて、図１６に示すように、縦横１６×１６画素サイズでなる１組の画素ブロック（以下、これを動き補償ブロックと呼ぶ）、縦横８  ×１６画素サイズでなる２組の動き補償ブロック、縦横１６×８  画素サイズでなる２組の動き補償ブロック、あるいは縦横８  ×８  画素サイズでなる４組の動き補償ブロックのように４種類のサイズパターン（以下、これをマクロブロックモードと呼ぶ）ＴＰ１〜ＴＰ４で動きベクトルを探索することができ、当該マクロブロックモードＴＰ１〜ＴＰ４に係る動き補償ブロックごとにそれぞれ独立して動きベクトルを持つことが可能である。
【０００６】
さらにマクロブロックモードＴＰ４に係る４組の動き補償ブロックについては、当該４組の補償ブロックそれぞれを、縦横８  ×８  画素サイズでなる１組の動き補償ブロック、縦横４  ×８  画素サイズでなる２組の動き補償ブロック、縦横８  ×４  画素サイズでなる２組の動き補償ブロック、あるいは縦横４  ×４  画素サイズでなる４組の動き補償ブロックのように４種類のサブサイズパターン（以下、これをサブマクロブロックモードと呼ぶ）ＴＰ５〜ＴＰ８で動きベクトルを探索することができ、当該サブマクロブロックモードに係る動き補償ブロックごとにそれぞれ独立して動きベクトルを持つことができる。
【０００７】
従ってＪＶＴ符号化方式においては、１つのマクロブロックについて、最大１６つの動きベクトルを持つことが可能である（例えば非特許文献１参照）。
【０００８】
また、ＪＶＴ符号化方式においては、動き予測補償を行う場合、例えば図１７に示すように、複数枚の参照フレーム画像群ＳＦを保持することが可能であり、符号化処理対象の対象フレーム画像ＯＦよりも前（過去）に存在する２以上の参照フレーム画像ＳＦ１  、ＳＦ２  及びＳＦｎ−１  を用いてブロックマッチングを行ったり、あるいは対象フレーム画像ＯＦよりも後（未来）に存在する２以上の参照フレーム画像（図示せず）を用いてブロックマッチングを行ったり、さらには対象フレーム画像ＯＦよりも前後に存在する２以上の参照フレーム画像（図示せず）を用いてブロックマッチングを行うことができ、当該参照候補として保持される参照フレーム画像群ＳＦをマルチプルリファレンスフレーム（Ｍｕｌｔｉｐｌｅ  Ｒｅｆｅｒｅｎｃｅ  Ｆｒａｍｅ）と呼んでいる（例えば非特許文献１参照）。
【０００９】
さらに、ＪＶＴ符号化方式においては、Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ  と呼ばれる最適化動き予測補償（以下、これをＲＤ最適化と呼ぶ）を採用しており、当該ＲＤ最適化により、対象フレーム画像ＯＦにおける全てのマクロブロックについて、複数枚の参照フレーム画像群ＳＦとの間で動き補償ブロック（図１６）ごとにブロックマッチングを行って差分の絶対値和等の差分値（歪）を求めると共に、量子化関数（動きベクトルに対するＬａｇｒａｎｇｅ乗数）や動きベクトル差分の発生符号量を加味して最も小さい符号量を発生し得る動きベクトルを探索することにより、動きベクトルに対する符号化効率を高めている（例えば非特許文献２参照）。
【００１０】
【非特許文献１】
ＤＲＡＦＴ  ＩＳＯ／ＩＥＣ  １／４  ４９６−１０：２００２（Ｅ）
【非特許文献２】
Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ  ｆｏｒ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ（Ｇ．Ｓｕｌｌｉｖａｎ  ａｎｄ  Ｔ．Ｗｉｅｇａｎｄ，ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ，１９９８−１１）
【００１１】
【発明が解決しようとする課題】
ところで、かかるＪＶＴ符号化方式を適用した符号化装置においては、全てのマクロブロックについて、当該マクロブロック全体と複数枚の参照フレーム画像群ＳＦとの間で、各種画素サイズでなる動き補償ブロック（図１６）に変更しながら、動きベクトル差分の発生符号量を表す発生符号量テーブルを参照すると共に、差分値（歪）のみならず量子化関数（動きベクトルに対するＬａｇｒａｎｇｅ乗数）をも求めて動き予測補償を行っていることにより、符号化処理における処理負荷が増大してしまうという問題があった。
【００１２】
本発明は以上の点を考慮してなされたもので、画質を極力低下させることなく符号化処理の処理負荷を低減し得る動き予測補償方法及び動き予測補償装置を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなる動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて動き予測補償を行う際に、当該画素サイズのうち、最上位層とすべき最も大きい画素サイズでなる動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小ブロックを生成して階層化した後、縮小ブロックと当該縮小ブロックの縮小率に対応してそれぞれ縮小された複数の縮小参照画像とに基づいて、各参照フレーム画像内における動きベクトルの探索範囲をそれぞれ決定し、当該決定された各探索範囲を用いて、動き補償ブロックの画素サイズを順次変更しながら最適な動きベクトルを検出する。
【００１４】
この場合、各参照フレーム画像全体を用いることなく、当該各参照フレーム画像内において限られた探索範囲だけで動きベクトルを検出できる。
【００１５】
【発明の実施の形態】
（１）ＪＶＴ符号化方式の概要
まず、ＪＶＴ符号化方式に規定されている動き補償について説明する。ＪＶＴ符号化方式では、１／４画素精度及び１／８画素精度で動き補償できるようになされており、１／４画素精度の動き補償処理（補間処理）について図１を用いて説明する。
【００１６】
ＪＶＴ符号化方式においては、帯域制限フィルタであるＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタを用いて動き補償するようになされており、１／２画素精度の画素値（輝度信号）を生成するためのフィルタ係数として、次式
【００１７】
【数１】
2004186897.tif 000003
【００１８】
のような６タップのフィルタ係数が定義されている。
【００１９】
ここで、図１に示した画素値ｂ，ｈに対する動き補償（補間）については（１）式のフィルタ係数を用いて、次式
【００２０】
【数２】
2004186897.tif 000004
【００２１】
に従って積和演算を行った後、「０」から「２５５」までの８ビットをＣｌｉｐ１とすると、次式
【００２２】
【数３】
2004186897.tif 000005
【００２３】
のように、Ｃｌｉｐ１以外の部分を除去するクリップ処理により算出される。
【００２４】
因みに、（３）式における「＞＞５」は、５ビット分だけシフトするという意味であり、実際には２５だけ除算しており、また（３）式における「＋１６」については、２５だけ除算した際に端数分が除去されない（四捨五入されない）ようにするためである。
【００２５】
また、画素値ｊについては、（１）式のフィルタ係数を用いて上述の画素値ｂ，ｈと同様に画素値ａａ，ｂｂ，ｃｃ，ｄｄ，ｅｅ，ｆｆ，ｇｇ，ｈｈを生成した後、当該（１）式のフィルタ係数を用いて、次式
【００２６】
【数４】
2004186897.tif 000006
【００２７】
あるいは、次式
【００２８】
【数５】
2004186897.tif 000007
【００２９】
に従って積和演算を行った後、さらに次式
【００３０】
【数６】
2004186897.tif 000008
【００３１】
に従ったクリップ処理により算出される。
【００３２】
また、画素値ａ，ｃ，ｄ，ｎ，ｆ，ｉ，ｋ，ｑについては、次式
【００３３】
【数７】
2004186897.tif 000009
【００３４】
のように、整数画素精度の画素値（図中の斜線部分に相当する）と、１／２画素精度の画素値Ｇ，Ｈ，ＵＢ１，ｈ，ｊ，ｍ，ｓの線形内挿により算出される。
【００３５】
また、画素値ｅ，ｇ，ｐについては、次式
【００３６】
【数８】
2004186897.tif 000010
【００３７】
のように、１／２画素精度の画素値ｂ，ｈ，ｍ，ｓだけを用いた線形内挿により算出される。
【００３８】
さらに、画素値ｒについては、ＪＶＴ符号化方式において“ｉｎｔｅｒｐｏｌａｔｉｖｅｌｙ  ｃｈａｌｌｅｎｇｉｎｇ  ｐｏｓｉｔｉｏｎ”  と呼ばれる点であり、次式
【００３９】
【数９】
2004186897.tif 000011
【００４０】
のように算出される。
【００４１】
次に、１／８画素精度の動き補償処理（補間処理）について図２を用いて説明する。
【００４２】
ＪＶＴ符号化方式では、１／４画素精度の画素値（輝度信号）を生成するためのポリフェノールフィルタ係数として、次式
【００４３】
【数１０】
2004186897.tif 000012
【００４４】
が定義されている。
【００４５】
１／４画素精度の画素値ｂｈ，ｂｖについては、（１０）式のフィルタ係数を用いて、整数画素精度の画素値Ａを入力サンプルとして積和演算を行った後、次式
【００４６】
【数１１】
2004186897.tif 000013
【００４７】
に従ったクリップ処理により算出される。
【００４８】
また、画素値ｃｍ，ｃｑについては、まず、画素値ｂｈ，ｂｖに対する積和演算を行った後、クリップ処理を行わない値を用いて、更に画素値ｂｈ，ｂｖを入力とする積和演算を行った後に、次式
【００４９】
【数１２】
2004186897.tif 000014
【００５０】
に従ったクリップ処理により算出される。
【００５１】
また、１／８画素精度の画素値  ｄについては、その位置によって、次式
【００５２】
【数１３】
2004186897.tif 000015
【００５３】
に従った線形内挿により算出される。
【００５４】
また、画素値ｅについては、対角線上に位置する画素値ｂｈ，ｂｖを用いて、次式
【００５５】
【数１４】
2004186897.tif 000016
【００５６】
に従って算出される。
【００５７】
また、画素値ｇについては、次式
【００５８】
【数１５】
2004186897.tif 000017
【００５９】
に従って算出される。
【００６０】
さらに、画素値ｆｈ，ｆｖについては、次式
【００６１】
【数１６】
2004186897.tif 000018
【００６２】
に従って算出される。
【００６３】
ここで、対角線上にある画素値を用いて、線形内挿により１／８画素精度の画素値を生成する手法の概念図を図３に示す。
【００６４】
次に、ＪＶＴ符号化方式における色差信号の動き補償処理（補間処理）について、図４を用いて説明する。ＪＶＴ符号化方式では、１／４画素精度の動き補償を行う場合も、１／８画素精度の動き補償を行う場合も、小数画素精度の色差信号については、次式
【００６５】
【数１７】
2004186897.tif 000019
【００６６】
に従った線形内挿により算出される。
【００６７】
ところでＪＶＴ符号化方式においては、上述したように数多くの動き補償処理モードが規定されており、マクロブロックに対して最適な当該モードを選択すること、すなわち動きベクトルの探索を行うことは高圧縮率の画像圧縮情報を生成するために重要となるので、ＲＤ最適化によって動きベクトルを探索する。
【００６８】
次に、かかるＲＤ最適化について詳細に説明する。
【００６９】
ＲＤ最適化では、動き補償における全ての画素精度に対する動き探索について、探索結果をＪ（ｍ，λＭＯＴＩＯＮ）とし、動きベクトルをｍ＝（ｍｘ，ｍｙ）ｒとし、予測動きベクトルをＳＡ（Ｔ）Ｄ（ｓ，ｃ（ｍ））とし、ｐ＝（ｐｘ，ｐｙ）ｒとし、を動きベクトルに対するＬａｇｒａｎｇｅ乗数をλＭＯＴＩＯＮとし、発生符号量テーブルによって求められる動きベクトル差分の発生情報量をＲ（ｍ−ｐ）とすると、次式
【００７０】
【数１８】
2004186897.tif 000020
【００７１】
に従って求められる。
【００７２】
ここで、ＪＶＴ符号化方式において、エントロピー符号化は、ＵＶＬＣ（Ｕｎｉｖｅｒｓａｌ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）に基づく方法と、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）基づく方法の２つが規定されているが、発生情報量については、ＣＡＢＡＣが適用されている場合であってもＵＶＬＣが適用され、動きベクトルの残差エネルギー（歪）部分（（１７式のＳＡ（Ｔ）Ｄ（ｓ，ｃ（ｍ））に相当）については、現フレームの画像信号をｓとし、参照フレームの画像信号をｃとすると、次式
【００７３】
【数１９】
2004186897.tif 000021
【００７４】
によって求められる。
【００７５】
但し、半画素精度以下の動きベクトルの補正の際には、離散コサイン変換でなく、アダマール変換を用いて求められるので、ＳＡＴＤが用いられる。
【００７６】
またＬａｇｒａｎｇｅ乗数（λＭＯＴＩＯＮ）においては、量子化パラメータをＱＰとすると、Ｉ及びＰフレームについては、次式
【００７７】
【数２０】
2004186897.tif 000022
【００７８】
のように与えられ、またＢフレームについては、次式
【００７９】
【数２１】
2004186897.tif 000023
【００８０】
のように与えられる。
【００８１】
次に、ＲＤ最適化において、複数枚の参照フレーム画像群ＳＦ（図１７）の中から実際に参照する参照フレーム画像を選択する場合について説明する。ＲＤ最適化では、参照フレーム画像の選択に関しては当該選択結果をＪ（ＲＥＦ｜λＭＯＴＩＯＮ）とし、参照フレームの発生情報量をＵＶＬＣで求めた値をＲ（ＲＥＦ）とすると、次式
【００８２】
【数２２】
2004186897.tif 000024
【００８３】
に従って、当該選択結果（Ｊ（ＲＥＦ｜λＭＯＴＩＯＮ））が最小となる値を有する参照フレーム画像が選択される。
【００８４】
またＢフレームにおける、Ｎ×Ｍブロックの予測方向の選択に関しては当該選択結果をＪ（ＰＤＩＲ｜λＭＯＴＩＯＮ）とすると、次式
【００８５】
【数２３】
2004186897.tif 000025
【００８６】
に従って、当該選択結果（Ｊ（ＰＤＩＲ｜λＭＯＴＩＯＮ））が最小となる値を有するＮ×Ｍブロックの予測方向が選択される。
【００８７】
次に、ＲＤ最適化において、図１６で上述したマクロブロックモードの選択について説明する。ＲＤ最適化では、マクロブロックモードの選択に関しては当該選択結果をＪ（ｓ，ｃ，ＭＯＤＥ｜ＱＰ，λＭＯＴＩＯＮ）とすると、次式
【００８８】
【数２４】
2004186897.tif 000026
【００８９】
に従って、当該選択結果（Ｊ（ｓ，ｃ，ＭＯＤＥ｜ＱＰ，λＭＯＴＩＯＮ））が最小となる値を有するマクロブロックモードが選択される。
【００９０】
かかるマクロブロックモードの選択候補となるＭＯＤＥをフレームタイプ毎に表１に示す。
【００９１】
【表１】
2004186897.tif 000027
【００９２】
表１において、「ＳＫＩＰ」は縦横１６ｘ１６画素サイズで動きベクトル残差、及び、係数残差が復号化側に送られないものを表し、「ＳＳＤ」は、ＭＯＤＥ  とＱＰを選択した場合のマクロブロックの発生情報量をＲ（ｓ，ｃ，ＭＯＤＥ｜ＱＰ）とし、再構成画像及び元画像の輝度成分をｃｙ［ｘ，ｙ，ＭＯＤＥ｜ＱＰ，ｓｙ［ｘ，ｙ］とし、色差成分をｃｕ，  ｃｖ，  やｓｕ，  ｓｖとすると、次式
【００９３】
【数２５】
2004186897.tif 000028
【００９４】
によって表される誤差二乗和の値である。
【００９５】
但し、発生情報量の中にはヘッダ、動きベクトル、直交変換係数など全ての情報に対応するものが含まれる。またＬａｇｒａｎｇｅ乗数（λＭＯＴＩＯＮ）は、上述の（２０）式及び（２１）式のように与えられる。
【００９６】
図１６で上述したサブマクロブッロクモードに関しては、マクロブロックのモードの場合と同様の選択処理が行われる。かかるサブマクロブロックモードの選択候補となるＭＯＤＥをフレームタイプ毎に表２に示す。
【００９７】
【表２】
2004186897.tif 000029
【００９８】
以上のようなＪＶＴ符号化方式に規定される各種処理を画像符号化装置に適用すると動きベクトル探索の際に膨大な演算量を必要してしまうので、本発明は、圧縮効率を極力損なうことなく演算量を低減する。
【００９９】
以下図面について、本発明の一実施の形態を詳述する。
【０１００】
（２）画像符号化装置の構成
まずは、図５において、ＪＶＴ符号化方式を適用した画像符号化装置１の全体構成について説明する。
【０１０１】
画像符号化装置１は、外部から供給される動画像信号Ｓ１をＡ／Ｄ変換部２を介して動画像データＤ１を生成した後に画像並替バッファ３に一旦記憶し、当該画像並替バッファ３において動画像データＤ１をフレーム画像単位で圧縮符号化順に並び替え、当該並び替えたフレーム画像をフレームデータＤ２として加算器４及び動き予測補償処理部５に順次送出するようになされている。
【０１０２】
動き予測補償処理部５は、詳細については後述するが、画像並替バッファ３から与えられるフレームデータＤ２のフレーム画像を、図１６で上述した動き補償ブロックのうち最も大きい画素サイズでなる縦横１６×１６画素サイズの動き補償ブロック（以下、これを最大動き補償ブロックと呼ぶ）に分割し、当該各最大動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて最適な動きベクトルＤ３をそれぞれ検出し、これらを可逆符号化装置１８に順次送出する。
【０１０３】
また動き予測処理部５は、複数の動きベクトルＤ３に応じて動き補償することにより得られる複数の予測データＤ４を加算器４及び１１に順次送出する。
【０１０４】
加算器４は、動き予測補償処理部５から予測データＤ４が与えられる場合、画像並替バッファ６より与えられるフレームデータＤ２（Ｉピクチャ以外の画像タイプ）から、当該フレームデータＤ２に対応する複数の予測データＤ４をそれぞれ減算することにより差分データＤ５を生成し、これを直交変換部６に送出する。
【０１０５】
これに対して加算器４は、予測データＤ４が与えられない場合には、画像並替バッファ６より与えられるフレームデータＤ２（Ｉピクチャ）をそのまま差分データＤ５として直交変換部６に送出する。
【０１０６】
直交変換部６は、差分データＤ５に対して離散コサイン変換等の直交変換処理を施すことにより直交変換係数データＤ６を生成し、これを量子化部７に送出する。
【０１０７】
量子化部７は、直交変換係数データＤ６に対して量子化処理を施すことにより量子化データＤ７を生成し、これを逆量子化部９及び可逆符号化処理部１８にそれぞれ送出する。
【０１０８】
この場合、量子化部７においては、量子化パラメータ値を決定づけるための量子化制御データＤ８がレート制御部８によるフィードバック制御に従って与えられており、当該量子化制御データＤ８の量子化パラメータ値に応じた量子化データＤ７を生成するようになされている。
【０１０９】
可逆符号化処理部１８は、量子化部７から与えられる量子化データＤ７、及び動き予測補償処理部５から与えられる動きベクトルＤ３に対して例えばＵＶＣＬに準拠した可逆符号化処理を施すことにより符号化データＤ１５を生成し、これを蓄積バッファ１９を介して外部に出力するようになされている。
【０１１０】
一方、逆量子化部９は、量子化部７から与えられる量子化データＤ７に対して逆量子化処理を施すことにより、直行変換係数データＤ６に相当する直交変換係数データＤ９を復元し、これを逆直交変換部１０に送出する。
【０１１１】
逆直交変換部１０は、逆量子化部９から与えられる直交変換係数データＤ９に対して逆直交変換処理を施すことにより、差分データＤ５に相当する差分データＤ１０を復元し、これを加算器１１に送出する。
【０１１２】
加算器１１は、動き予測補償処理部５から予測データＤ４が与えられる場合、逆直行変換部１１より与えられる差分データＤ１０に対して、当該差分データＤ１０に対応する複数の予測データＤ４を加算することによりフレームデータＤ２に相当するフレームデータＤ１１を復元し、これをデブロックフィルタ１２に送出する。
【０１１３】
これに対して加算器１１は、動き予測補償処理部５から動き補償データＤ４が与えられない場合には、逆直行変換部１１より与えられる差分データＤ１０をそのままフレームデータＤ１１としてデブロックフィルタ１２に送出する。
【０１１４】
デブロックフィルタ１２は、加算器１１から与えられるフレームデータＤ１１のうち互いに隣接するマクロブロック間に歪みが生じている場合には、当該歪み部分をフィルタリングすることにより滑らかにし、当該滑らかにしたフレームデータＤ１１を、１枚の参照フレーム画像に相当する参照フレームデータＤ１２としてフレームメモリ１３へ必要に応じて記憶する。
【０１１５】
これに対してデブロックフィルタ１２は、フレームデータＤ１１のうち互いに隣接するマクロブロック間に歪みが生じていない場合には、当該フレームデータＤ１１を参照フレームデータＤ１２としてフレームメモリ１３へ必要に応じて記憶する。
【０１１６】
このようにして画像符号化装置１は、参照候補とすべき複数枚の参照フレーム画像に相当するデータ数分だけの参照フレームデータＤ１２をフレームメモリ１３に記憶するようになされている。
【０１１７】
かかる構成に加えて、第１の間引部１４は、フレームメモリ１３から読み出した参照フレームデータＤ１２の参照フレーム画像の画素を水平方向及び垂直方向にそれぞれ１／２  だけ間引くことにより、原画である参照フレーム画像に対して１／４  の縮小率でなる縮小画像（以下、これを１／４  縮小参照画像と呼ぶ）を生成し、これを第１の縮小データＤ１３として１／４  フレームメモリ１５に記憶する。
【０１１８】
この場合、第１の間引部１４は、上述の（１）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、当該ＦＩＲフィルタ係数値を用いて図１で上述した動き補償処理と同様の処理に従って画素を間引くことにより、１／４  縮小参照画像を生成し得るようになされている。
【０１１９】
また第１の間引部１４は、参照フレームデータＤ１２が飛び越し操作画像であった場合には、垂直方向については図６に示すように、フィールド毎に間引きするようになされており、第１フィールドについては、予め内部メモリに記憶している次式
【０１２０】
【数２６】
2004186897.tif 000030
【０１２１】
でなるフィルタ係数値、また第２フィールドについては、予め内部メモリに記憶している次式、
【０１２２】
【数２７】
2004186897.tif 000031
【０１２３】
でなるフィルタ係数値を用いてフィルタリングを実行することにより、入力となる画素値のうち１つ置きごとに画素を間引きするようになされている。
【０１２４】
第２の間引部１６は、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第１の間引部１４と同様に、１／４フレームメモリ１５から読み出した第１の縮小データＤ１３の１／４  縮小参照画像の画素を水平方向及び垂直方向にそれぞれ１／２  だけ間引くことにより、原画である参照フレーム画像に対して１／１６の縮小率でなる縮小画像（以下、これを１／１６縮小参照画像と呼ぶ）を生成し、これを第２の縮小データＤ１４として１／１６フレームメモリ１７に記憶する。
【０１２５】
このように画像符号化装置１は、フレームメモリ１３に記憶された複数の参照フレームデータＤ１２に相当する複数枚の参照フレーム画像それぞれに対して１／４  及び１／１６の縮小率でなる１／４  縮小画像及び１／１６縮小画像を、当該複数の参照フレーム画像にそれぞれ対応する数だけ生成し、対応する１／４  フレームメモリ１５又は１／１６フレームメモリ１７に記憶し得るようになされている。
【０１２６】
（３）動き予測補償処理部の構成
次に、本発明を適用した動き予測補償処理部の構成について説明する。
【０１２７】
図７に示すように、動き予測補償装置としての動き予測補償処理部５は、画素ブロック分割部２０と、階層化手段としての縮小ブロック生成２１と、探索範囲決定手段及び検出手段としての動き予測補償部２２とによって構成されており、画像並替バッファ３から与えられるフレームデータＤ２を画素ブロック分割部２０に入力する。
【０１２８】
画素ブロック分割部２０は、フレームデータＤ２のフレーム画像を縦横１６×１６画素サイズのブロック単位でそれぞれ分割することにより複数の最大動き補償ブロックを生成し、当該各最大動き補償ブロックをそれぞれ最大動き補償ブロックデータＤ２０として縮小ブロック生成２１及び動き予測補償部２２に順次送出する。
【０１２９】
縮小ブロック生成部２１の第１の縮小ブロック生成部２１ａは、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第１  の間引部（図５）と同様の処理を行って画素を間引くようになされている。
【０１３０】
この場合、第１の縮小ブロック生成部２１ａは、最大動き補償ブロックデータＤ２０の最大動き補償ブロックの画素を水平方向及び垂直方向にそれぞれ１／２  だけ間引くことにより、当該縦横１６×１６画素サイズでなる最大動き補償ブロックに対して１／４  の縮小率でなる縦横８  ×８  画素サイズのブロック（以下、これを１／４  縮小ブロックと呼ぶ）を生成し、これを１／４  縮小ブロックデータＤ２１として第２の縮小ブロック生成部２１ｂ及び動き予測補償部２２にそれぞれ送出する。
【０１３１】
第２の縮小ブロック生成部２１ｂは、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第２の間引部（図５）と同様の処理を行って画素を間引くようになされている。
【０１３２】
この場合、第２の縮小ブロック生成部２１ｂは、１／４  縮小ブロックデータＤ２１の１／４  縮小ブロックの画素を水平方向及び垂直方向にそれぞれ１／２  だけ間引くことにより、縦横１６×１６画素サイズでなる最大動き補償ブロックに対して１／１６の縮小率でなる縦横４  ×４  画素サイズのブロック（以下、これを１／１６縮小ブロックと呼ぶ）を生成し、これを１／１６縮小ブロックデータＤ２２として動き予測補償部２２に送出する。
【０１３３】
動き予測補償部２２は、図８に示すように、画素ブロック分割部２０から与えられる最大動き補償ブロックデータＤ２０に相当する最大動き補償ブロックＵＢ１と、フレームメモリ１３から読み出した例えば４種類の参照フレームデータＤ１２に相当する参照フレーム画像ＳＦ１  〜ＳＦ４  とを最上層ＴＳの原画像群として認識する。
【０１３４】
また動き予測補償部２２は、第１の縮小ブロック生成部２１ａから与えられる１／４  縮小ブロックデータＤ２１に相当する１／４  縮小ブロックＣＢｆ  と、１／４  フレームメモリ１５から読み出した例えば４種類の第１の縮小画像データＤ１３に相当する１／４  縮小参照画像ＣＢ１  〜ＣＢ４  とを最上層よりも下層となる第１下層ＢＳｆの縮小画像群として認識する。
【０１３５】
さらに動き予測補償部２２は、第２の縮小ブロック生成部２１ｂから与えられる１／１６縮小ブロックデータＤ２２に相当する１／１６縮小ブロックＣＢｓ  と、１／１６フレームメモリ１７から読み出した第２の縮小画像データＤ１４に相当する１／１６縮小参照画像ＣＢ１１〜ＣＢ１４とを最下層となる第２下層ＢＳｓの縮小画像群として認識する。
【０１３６】
そして動き予測補償部２２は、それぞれ認識した最上層ＴＳ、第１下層ＢＳｆ及び第２下層ＢＳｓの各画像群を用いて動き予測補償処理を実行することにより動きベクトルＤ３及び予測データＤ４を生成し、当該動きベクトルＤ３を可逆符号化処理部１８に送出すると共に、予測データＤ４を加算器４  及び１１に送出する。
【０１３７】
このように動き予測補償処理部５は、最大動き補償ブロックＵＢ１、１／４  縮小ブロックＣＢｆ  及び１／１６縮小ブロックＣＢｓ  と、当該最大動き補償ブロックＵＢ１、１／４  縮小ブロックＣＢｆ  及び１／１６縮小ブロックＣＢｓ  の縮小率にそれぞれ対応する参照フレーム画像ＳＦ１  〜ＳＦ４  、１／４  縮小参照画像ＣＢ１  〜ＣＢ４  及び１／１６縮小参照画像ＣＢ１１〜ＣＢ１４とを組として各階層ＴＳ、ＢＳｆ及びＢＳｓに分けて動き予測補償処理を実行するようになされている。
【０１３８】
ところで動き予測補償部２２は、図示しないＣＰＵ、ＲＯＭ及びＲＡＭ等により構成される制御部により、当該ＲＯＭに予め記憶された所定の動き予測補償プログラムに従って動き予測補償処理を実行するようになされており、当該動き予測補償処理手順について以下説明する。
【０１３９】
（４）動き予測補償処理手順
【０１４０】
図９に示すように、動き予測補償部２２は、ルーチンＲＴ１の開始ステップから続くステップＳＰ１へ移って、最下層である第２下層ＢＳｓ（図８）の１／１６縮小参照画像ＣＢ１１〜ＣＢ１４それぞれに対して、縦横４  ×４  画素サイズの１／１６縮小ブロックＣＢｓ  で順次ブロックマッチングを行うことにより、第２下位層ＢＳｓ上の動きベクトル（以下、これを第２下位層動きベクトルと呼ぶ）を探索する。
【０１４１】
具体的に、動き予測補償部２２は、ＲＤ最適化を適用することなく、例えば図１０に示すように、１／１６縮小ブロックＣＢｓ  内の全ての画素値と、当該ブロックＣＢｓ  に対応する１／１６縮小参照画像ＣＢ１１（  ＣＢ１２〜ＣＢ１４）  内のブロック（以下、これを対応ブロックと呼ぶ）の画素値との間における差分の絶対値総和だけをそれぞれ求め、そのうち絶対値総和が最小となる際の対応ブロックＣＴＢと、１／１６縮小ブロックＣＢｓ  との間における動き量に基づいて第２下位層ＢＳｓ（図８）上の第２下位層動きベクトル１／１６ＭＶ１  （１／１６ＭＶ２  〜１／１６ＭＶ４  ）を検出し、次のステップＳＰ２へ移る。
【０１４２】
この場合、動き予測補償部２２は、原画である参照フレーム画像ＳＦ１  〜ＳＦ４  に比して探索範囲が小さい１／１６縮小参照画像ＣＢ１１〜ＣＢ１４に対して、動きベクトル差分の発生符号量を表す発生符号量テーブルを参照せずに、かつ量子化関数（動きベクトルに対するＬａｇｒａｎｇｅ乗数）の演算をもせずにブロックマッチングを行っていることにより、第２下位層動きベクトル１／１６ＭＶ１  〜１／１６ＭＶ４  を求める際の処理負荷を低減し得るようになされている。
【０１４３】
ステップＳＰ２において動き予測補償部２２は、例えば図１１に示すように、ステップＳＰ１で検出した第２下位層動きベクトル１／１６ＭＶ１  〜１／１６ＭＶ４  における水平成分及び垂直成分それぞれに対して動き補償処理（補間処理）を行うことにより、当該水平成分を２倍及び垂直成分を２倍の計４倍だけ拡大する。
【０１４４】
この場合、動き予測補償部２２は、１／１６縮小ブロックＣＢｓに対応する原画上の最大動き補償ブロックＵＢ１について上述のＪＶＴ符号化方式における１／４  画素精度（図１）又は１／８画素精度（図２）が選定されている場合であっても、線形内挿による整数画素精度又は１／２  画素精度に従った動き補償を行うことにより、当該動き補償の際の処理負荷を低減し得るようになされている。
【０１４５】
そして動き予測補償部２２は、かかる動き補償を行って拡大した第２下位層動きベクトルの始点及び終点を頂点とする長方形状範囲ＡＲの周辺数画素を含む範囲ＵＡＲ１  （ＵＡＲ２  〜ＵＡＲ４  ）を、第１下位層ＢＳｆの１／４  縮小参照画像ＣＢ１（ＣＢ２〜ＣＢ４）  内の探索範囲（以下、これを第１下位層探索範囲と呼ぶ）として決定し、次のステップＳＰ３移る。
【０１４６】
ステップＳＰ３において動き予測補償部２２は、ステップＳＰ２で決定した１／４  縮小参照画像ＣＢ１  〜ＣＢ４  内の第１下位層探索範囲ＵＡＲ１  〜ＵＡＲ４  それぞれに対して、ステップＳＰ１における処理と同様にＲＤ最適化を適用することなく、縦横８  ×８  画素サイズの１／４  縮小ブロックＣＢｆで順次ブロックマッチングを行うことにより、第１下位層における動きベクトル（以下、これを第１下位層動きベクトルと呼ぶ）１／４  ＭＶ１  〜１／４  ＭＶ４  （図８）を検出し、次のステップＳＰ４へ移る。
【０１４７】
ステップＳＰ４において動き予測補償部２２は、ステップＳＰ３で検出した第１下位層動きベクトル１／４  ＭＶ１  〜１／４  ＭＶ４  それぞれに対して、ステップＳＰ２における処理と同様の処理を行うことにより、最上位層ＴＳの参照フレーム画像ＳＦ１  〜ＳＦ４  （図８）内の探索範囲（以下、これを第１の最上位層探索範囲と呼ぶ）ＴＡＲ１  〜ＴＡＲ４  を決定し、次のステップＳＰ５移る。
【０１４８】
ステップＳＰ５において動き予測補償部２２は、ステップＳＰ４で決定した第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４  （図８）それぞれに対して、ＪＶＴ符号化方式で規定される縦横１６×１６画素サイズの動き補償ブロックＵＢ１で順次ＲＤ最適化によるブロックマッチングを行うことにより、動き補償ブロックＵＢ１に係る動きベクトルを検出し、次のステップＳＰ６へ移る。
【０１４９】
この場合、動き予測補償部２２は、ＪＶＴ符号化方式で規定されているように最大動き補償ブロック全体にわたって動きベクトルを探索することなく、第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４  内だけを探索して動き補償ブロックＵＢ１に係る動きベクトルを検出していることにより、上述したような膨大な演算量を要するＲＤ最適化の際の処理負荷を格段に低減し得るようになされている。
【０１５０】
ステップＳＰ６において動き予測補償部２２は、最上位層ＴＳ（図８）上における第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４を用いて、図１２に示すように動き補償ブロックのブロック形状が同じとなる第１〜第３系列ＳＳ１〜ＳＳ３ごとに、大きい画素サイズから小さい画素サイズに順次変更しながら、各動き補償ブロックＵＢ２〜ＵＢ３４ごとにＲＤ最適化によるブロックマッチングを行う。
【０１５１】
実際には、動き予測補償部２２は、第１系列ＳＳ１において、ステップＳＰ５で検出した動き補償ブロックＵＢ１の動きベクトルに基づいて、図１１で上述した探索範囲の決定と同様の処理（以下、これを探索範囲決定処理と呼ぶ）を行って、例えば図１３に示すように、第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４  （図８）よりも小さい第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８を決定し、当該第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで、縦横８  ×１６画素サイズの動き補償ブロックＵＢ２及びＵＢ３に係る２種類の動きベクトルを検出する。
【０１５２】
次いで動き予測補償部２２は、動き補償ブロックＵＢ２及びＵＢ３に係る動きベクトルに基づいて探索範囲決定処理を行って、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８よりも小さい第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２を決定し、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横４  ×８  画素サイズの動き補償ブロックＵＢ１１〜ＵＢ１４に係る４種類の動きベクトルを検出する。
【０１５３】
また、動き予測補償部２２は、第１系列ＳＳ１に対する処理とほぼ同時に第２系列ＳＳ２において、当該第１系列ＳＳ１に対する処理と同様に、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで縦横１６×８画素サイズの動き補償ブロックＵＢ４及びＵＢ５に係る２種類の動きベクトルを検出した後、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横８  ×４  画素サイズの動き補償ブロックＵＢ１５〜ＵＢ１８に係る４種類の動きベクトルを検出する。
【０１５４】
さらに、動き予測補償部２２は、第１系列ＳＳ１に対する処理とほぼ同時に第３系列ＳＳ３において、当該第１系列ＳＳ１に対する処理と同様に、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで縦横８×８画素サイズの動き補償ブロックＵＢ６〜ＵＢ９に係る４種類の動きベクトルを検出した後、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横４  ×４  画素サイズの動き補償ブロックＵＢ１９〜ＵＢ３４に係る動きベクトルを検出する。
【０１５５】
このように動き予測補償部２２は、小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小することにより、大きい画素サイズの動き補償ブロックに比してブロック数が増加する分だけ多くの演算量を必要とする小さい画素サイズの動き補償ブロックの動きベクトルを検出する際の処理負荷を低減し得ると共に、ＪＶＴ符号化方式で規定されているようにマクロブロック全体にわたって各画素サイズでなる動き補償ブロック（図１６）ごとに動きベクトルを求める場合に比して格段に処理付加を低減し得るようになされている。
【０１５６】
このようにして動き予測補償部２２は、動き補償ブロックＵＢ１以外の残りの動き補償ブロックＵＢ２〜ＵＢ３４に係る動きベクトルをそれぞれ検出した後、次のステップＳＰ７へ移る。
【０１５７】
因みに、動き予測補償部２２は、第１〜第３系列ＳＳ１〜ＳＳ３において同一の第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８及び第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２を用いるようにしたが、これに限らず、小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小すれば、形状等は異なっていても良い。
【０１５８】
ステップＳＰ７において動き予測補償部２２は、ステップＳＰ５及びＳＰ６でＲＤ最適化によってそれぞれ検出した各動き補償ブロックＵＢ１〜ＵＢ３４の動きベクトルのうち、最も小さい符号量を発生し得る最適な動きベクトルを最終的な動きベクトルＤ３（図７）として検出し、次のステップＳＰ８へ移る。
【０１５９】
ステップＳＰ８において動き予測補償部２２は、ステップＳＰ７で検出した動きベクトルＤ３に応じて、例えば図１で上述した１／４動き補償処理を行って予測データＤ４（図７）を生成し、次のステップＳＰ９へ移る。
【０１６０】
ステップＳＰ９において動き予測補償部２２は、ステップＳＰ７で検出した動きベクトルＤ３を可逆符号化処理部１８に送出すると共に、ステップＳＰ８で生成した予測データＤ４を加算器４及び１１に送出した後、次のステップＳＰ１０へ移って動き予測補償処理を終了する。
【０１６１】
（５）動作及び効果
以上の構成において、動き予測補償処理部５は、ＪＶＴ符号化方式で規定されている動き補償ブロックのうち、最も大きい画素サイズでなる動き補償ブロックＵＢ１（図８）を最上位層ＴＳとし、当該最大動き補償ブロックＵＢ１を間引きすることにより、１／４  の縮小率でなる第１下位層の縮小ブロックＣＢｓ及び１／１６縮小率でなる第２下位層の１／１６縮小ブロックＣＢｆを生成して階層化する。
【０１６２】
そして動き予測補償処理部５は、最上位層ＴＳを除く下位層（第１下位層ＢＳｆ及び第２下位層ＢＳｓ）における複数の縮小参照画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて階層的に動きベクトルの探索を行って、最上位層ＴＳにおいてＲＤ最適化による動きベクトル探索を行うための第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４  を決定する（ステップＳＰ１〜ステップＳＰ４）。
【０１６３】
この場合、動き予測補償処理部５は、動きベクトル差分の発生符号量を表す発生符号量や量子化関数を加味するＲＤ最適化を適用することなく、縮小ブロックとの差分の絶対値総和だけでブロックマッチングを行って動きベクトルを検出すると共に、当該検出した動きベクトルを１／４  画素精度（図１）又は１／８画素精度（図２）の動き補償を行うことなく、線形内挿による整数画素精度又は１／２  画素精度に従った動き補償を行うことにより、少ない演算量で第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４を決定することができる。
【０１６４】
この状態において動き予測補償処理部５は、第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４を用いて、各画素サイズでなる動き補償ブロックＵＢ１〜ＵＢ３４（図１２）に係る動きベクトルをそれぞれ検出し、当該検出した各動きベクトルのうち最も小さい符号量を発生し得る最適かつ最終的な動きベクトルＤ３として検出するようにした。
【０１６５】
従って、動き予測補償処理部５は、第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４  を決定するまでの処理に要する分だけ新たな演算が加わるものの、当該演算量よりも格段に演算量を必要とするＲＤ最適化の探索範囲を限定している分だけ、ＪＶＴ符号化方式で規定されているように各画素サイズでなる動き補償ブロックごとにマクロブロック全体にわたって動きベクトルを探索して動きベクトルを検出する場合に比して、処理負荷を格段に低減することができる。
【０１６６】
これに加えて、動き予測補償処理部５は、図１２で上述したように、各画素サイズでなる動き補償ブロックＵＢ１〜ＵＢ３４（図１２）に係る動きベクトルをそれぞれ検出する際に、大きい画素サイズから小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小することにより、小さい画素サイズの動き補償ブロックの動きベクトルを検出する際の処理負荷を低減することができ、その結果、全体としての処理負荷を一段と低減することができる。
【０１６７】
以上の構成によれば、最も大きい画素サイズでなる動き補償ブロックＵＢ１を階層化し、当該階層化した第１下位層ＢＳｆ及び第２下位層ＢＳｓにおける複数の縮小参照画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて、最上位層ＴＳにおける最適な動きベクトルを絞り込んでおおまかな第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４を少ない演算量で決定した後、当該探索範囲ＴＡＲ１  〜ＴＡＲ４を用いてＲＤ最適化によって動きベクトルを検出するようにしたことにより、当該動きベクトルＤ３を検出する際の処理負荷を格段に低減することができる。
【０１６８】
（６）他の実施の形態
なお上述の実施の形態においては、縦横１６×１６、縦横８×１６、縦横１６×８、縦横８×８、縦横４×８、縦横８×４及び縦横４×４の各画素サイズでなる動き補償ブロックに順次変更して動き予測補償を行う場合について述べたが、本発明はこれに限らず、例えば縦横１６×４画素サイズ等、この他種々の画素サイズでなる動き補償ブロックに順次変更して動き予測補償を行うようにしても良い。
【０１６９】
さらに上述の実施の形態においては、ＪＶＴ符号化方式に本発明を適用する場合について述べたが、これに限らず、要は、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなる動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて動き予測補償を行うこの他種々の符号化方式に本発明を適用することができる。
【０１７０】
さらに上述の実施の形態においては、ＦＩＲフィルタ係数値として（１）式を用いて間引きする場合について述べたが、本発明はこれに限らず、１／２  位相を生成するためのこの他種々のＦＩＲフィルタ係数値を用いるようにしても良い。
【０１７１】
さらに上述の実施の形態においては、水平方向及び垂直方向に対して同じ縮小率で縮小する場合について述べたが、本発明はこれに限らず、当該水平方向及び垂直方向に対してそれぞれ異なる縮小率で縮小するようにしても良い。
【０１７２】
さらに上述の実施の形態においては、１／４  及び１／１６の縮小率で縮小する場合について述べたが、本発明はこれに限らず、２の乗数分の１でなるこの他種々の縮小率で縮小するようにしても良い。
【０１７３】
さらに上述の実施の形態においては、１／１６縮小ブロックＣＢｓ  内の全ての画素値と、当該ブロックＣＢｓ  に対応する１／１６縮小参照画像ＣＢ１１〜ＣＢ１４内の対応ブロックの画素値との間、あるいは１／４  縮小ブロックＣＢｆ  内の全ての画素値と、当該ブロックＣＢｆ  に対応する１／４  縮小参照画像ＣＢ１  〜ＣＢ４  内の対応ブロックの画素値との間における差分の絶対値総和に基づいて動きベクトルを求める場合について述べたが、本発明はこれに限らず、当該差分の自乗和を求めるようにしても良く、要は、縮小ブロックの画素値と、縮小参照画像の画素値との間における差分値に基づいて動きベクトルを求めることができる。
【０１７４】
さらに上述の実施の形態においては、図８で上述したように第２下位層ＢＳｓ及び第１下位層ＢＳｆにおける全ての参照縮小画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて、最上位層ＴＳにおける全ての参照フレーム画像ＳＦ１〜ＳＦ４上の第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４を決定する場合について述べたが、本発明はこれに限らず、当該第１の最上位層探索範囲ＴＡＲ１  〜ＴＡＲ４のうちいずれかだけを決定するようにしても良い。
【０１７５】
この場合、動き予測補償部２２は、図９で上述した動き予測補償処理手順におけるステップＳＰ１の処理の後に、第２下位層ＢＳｓの縮小ブロックＣＢｓとのブロックマッチングにより、参照縮小画像ＣＦ１１〜ＣＦ１４（図８）のうち、当該縮小ブロックＣＢｓとの間における画素値の差分が最小となる例えば参照縮小画像ＣＦ１３を選択するステップを加え、当該ステップで選択された参照縮小画像ＣＦ１３に対応する第１下位層ＢＳｆ上の参照縮小画像ＣＦ３だけを用いてステップＳＰ２からステップＳＰ４までの各処理を行って第１の最上位層探索範囲ＴＡＲ３だけを決定する。
【０１７６】
このように動き予測補償部２２は、第２下位層ＢＳｓにおいて、最上位層ＴＳ上でＲＤ最適化による動きベクトル探索を行う参照フレーム画像ＳＦ３を選択することにより、複数の参照縮小画像ＣＦ１１、ＣＦ１３、ＣＦ１４、ＣＦ１、ＣＦ３及びＣＦ４と、複数の参照フレーム画像ＳＦ１、ＳＦ３及びＳＦ４とに対する演算量をそれぞれ削減でき、最終的かつ最適な動きベクトルＤ３（図７）を検出するまでの全体としての処理負荷についても格段に低減することができる。
【０１７７】
さらに動き予測補償部２２は、処理対象の動き補償ブロックＵＢ１がＢピクチャである場合、上述した参照フレーム画像ＳＦ３の選択と同様に、第２下位層ＢＳｓにおいて、縮小ブロックＣＢｓとのブロックマッチングにより、参照縮小画像ＣＦ１１〜ＣＦ１４（図８）のうち、当該縮小ブロックＣＢｓとの間における画素値の差分が最小となる動きベクトルを有する予測方向モードを、当該動き補償ブロックＵＢ１に対する予測方向モードとするようにしても良い。このようにすれば、最終的かつ最適な動きベクトルＤ３（図７）を検出するまでの全体としての処理負荷をさらに低減することができる。
【０１７８】
さらに上述の実施の形態においては、探索範囲の決定例として図１１で上述したように、例えば第２下位層上で検出した動きベクトルを拡大し、当該拡大した動きベクトルの始点及び終点を頂点とする長方形状範囲ＡＲの周辺数画素を含む範囲ＵＡＲ１  を第１下位層探索範囲として決定する場合について述べたが、本発明はこれに限らず、当該拡大した動きベクトルの始点及び終点を頂点とする台形形状範囲、平行四辺形形状範囲又は円形形状の周辺画素を含む範囲等、要は、拡大した動きベクトルを含む周辺画素範囲を探索範囲として決定することができる。
【０１７９】
さらに上述の実施の形態においては、図１２で上述したような順序で動き補償ブロックＵＢ２〜ＵＢ３４に対する最適な動きベクトルを検出する場合について述べたが、本発明はこれに限らず、図１２との対応部分に同一符合を付して示す図１４のような順序で動き補償ブロックＵＢ２〜ＵＢ３４に対する最適な動きベクトルを検出するようにしても良い。
【０１８０】
さらに上述の実施の形態においては、１／１６縮小ブロックＣＢｓ  、１／４  縮小ブロックＣＢｆ又は最大動き補償ブロックＵＢ１内の全ての画素値を用いてブロックマッチングを行う場合について述べたが、本発明はこれに限らず、図１５に示すように、１／１６縮小ブロックＣＢｓ  、１／４  縮小ブロックＣＢｆ又は最大動き補償ブロックＵＢ１における水平方向及び垂直方向にそれぞれ１画素おきの画素値を用いてブロックマッチングを行うようにしても良い。この場合、ブロックマッチングを行う際の処理負荷を一段と低減することができる。
【０１８１】
さらに上述の実施の形態においては、動き予測補償部２２における各処理を動き補償プログラムによって実現する場合について述べたが、本発明はこれに限らず、当該各処理の一部又は全部をそれぞれ専用の集積回路等のハードウェア手段によって実現するようにしても良い。
【０１８２】
さらに上述の実施の形態においては、ハードウェア構成の縮小ブロック生成部２１（図７）によって縮小処理を実現する場合について述べたが、本発明はこれに限らず、当該縮小ブロック生成部２１の縮小処理を、動き予測補償部２２における動き予測補償プログラムに組み込むことにより実現するようにしても良い。
【０１８３】
さらに上述の実施の形態においては、動き予測補償装置としての動き予測補償処理部５が内部ＲＯＭ（図示せず）等に格納した動き予測補償プログラムを内部ＲＡＭ（図示せず）に展開することにより図９について上述した動き予測補償処理手順に従って動き予測補償を行う場合について述べたが、本発明はこれに限らず、当該動き予測補償プログラムが格納されたプログラム媒体をインストールすることにより動き予測補償を行うようにしても良い。
【０１８４】
かかるプログラム媒体としては、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）  やＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のパッケージメディアのみならず、半導体メモリや磁気ディスク等で実現しても良い。またこれらプログラム媒体にプログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線通信媒体を利用してもよく、ルータやモデム等の各種インターフェイスを介して格納するようにしても良い。
【０１８５】
【発明の効果】
上述のように本発明によれば、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなる動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて動き予測補償を行う際に、当該画素サイズのうち、最上位層とすべき最も大きい画素サイズでなる動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小ブロックを生成して階層化した後、縮小ブロックと当該縮小ブロックの縮小率に対応してそれぞれ縮小された複数の縮小参照画像とに基づいて、各参照フレーム画像内における動きベクトルの探索範囲をそれぞれ決定し、当該決定された各探索範囲を用いて、動き補償ブロックの画素サイズを順次変更しながら最適な動きベクトルを検出する。
【０１８６】
この場合、各参照フレーム画像全体を用いることなく、当該各参照フレーム画像内において限られた探索範囲だけで動きベクトルを検出でき、かくして、画質を極力低下させることなく符号化処理の処理負荷を低減できる。
【図面の簡単な説明】
【図１】ＪＶＴ符号化方式における１／４画素精度の動き補償の説明に供する略線図である。
【図２】ＪＶＴ符号化方式における１／８画素精度の動き補償の説明に供する略線図である。
【図３】対角線上にある画素値を用いた１／８画素精度の動き補償を示す略線図である。
【図４】色差信号における動き補償の説明に供する略線図である。
【図５】画像符号化装置の構成を示すブロック図である。
【図６】フィールドに対する間引き処理の説明に供する略線図である。
【図７】動き予測補償処理部の構成を示すブロック図である。
【図８】階層化の様子示す略線図である。
【図９】動き予測補償処理手順を示すフローチャートである。
【図１０】動きベクトルの探索例の説明に供する略線図である。
【図１１】動きベクトルの探索範囲の決定例（１）の説明に供する略線図である。
【図１２】動きベクトルの検出順序の説明に供する略線図である。
【図１３】動きベクトルの探索範囲の決定例（２）の説明に供する略線図である。
【図１４】他の実施の形態における動きベクトルの検出順序の説明に供する略線図である。
【図１５】他の実施の形態におけるブロックマッチングの説明に供する略線図である。
【図１６】ＪＶＴ符号化方式に規定される動き補償ブロックを示す略線図である。
【図１７】ＪＶＴ符号化方式に規定されるマルチプルリファレンスフレームの説明に供する略線図である。
【符号の説明】
１……画像符号化装置、５……動き予測補償処理部、１３……フレームメモリ、１４……第１の間引部、１５……１／４フレームメモリ、１６……第２の間引部、１７……１／１６フレームメモリ、２０……画素ブロック分割部、２１……縮小ブロック生成部、２１ａ……第１の縮小ブロック生成部、２１ｂ……第２の縮小ブロック生成部、２２……動き予測補償部。
【図１】
2004186897.tif 000032
【図２】
2004186897.tif 000033
【図３】
2004186897.tif 000034
【図４】
2004186897.tif 000035
【図５】
2004186897.tif 000036
【図６】
2004186897.tif 000037
【図７】
2004186897.tif 000038
【図８】
2004186897.tif 000039
【図９】
2004186897.tif 000040
【図１０】
2004186897.tif 000041
【図１１】
2004186897.tif 000042
【図１２】
2004186897.tif 000043
【図１３】
2004186897.tif 000044
【図１４】
2004186897.tif 000045
【図１５】
2004186897.tif 000046
【図１６】
2004186897.tif 000047
【図１７】
2004186897.tif 000048