(57)【要約】【課題】  複数の予測モードから符号化効率がよく画質の劣化が少ない予測モードを選択して動画像を符号化する。【解決手段】  Ｉｎｔｅｒ予測器１０２およびＩｎｔｒａ予測器１０３で予測モードごとに生成された予測残差信号がモード判定器１０４に入力される。モード判定器１０４は、まず入力された予測残差信号を直交変換して直交変換係数を生成する。モード判定器１０４は、次に、予測モードごとに、予測残差信号の直交変換係数のうち量子化処理により非ゼロとなる係数の個数をカウントし、その数が最も少ない予測モードを選択する。モード判定器１０４で選択された予測モードに対応する予測残差信号は、直交変換器１０５で直交変換、量子化器１０６で量子化され、エントロピー符号化器１１１から符号化データとして出力される。【選択図】  図１
2006140758.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化方法において、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成するステップと、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得るステップと、
前記予測モードから、前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数に基づいて予測モードを選択するステップと、
前記選択された予測モードを用いて前記画素ブロックを符号化するステップと、
を有することを特徴とする動画像符号化方法。
【請求項２】
前記予測モードを選択するステップは、前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数が最小となる予測モードを選択することを特徴とする請求項１に記載の動画像符号化方法。
【請求項３】
前記予測モードが、少なくともフレーム間予測処理における予測画像生成のための動き補償予測ブロックの形状および予測画像生成のための参照画像の番号を含む動き補償パラメータの組み合わせ、もしくは、少なくともフレーム内予測処理におけるローカルデコード画像から予測画像を生成するためのローカルデコード画像の分割サイズおよび予測式の番号を含む予測パラメータの組み合わせであることを特徴とする請求項１に記載の動画像符号化方法。
【請求項４】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化方法において、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成するステップと、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得るステップと、
前記予測モードごとに前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数を求めるステップと、
前記予測モードごとに前記非ゼロとなる係数の個数から前記直交変換係数の符号化により生じる符号量を推定するステップと、
前記推定された符号量に基づいて予測モードを選択するステップと、
前記選択された予測モードを用いて前記画素ブロックを符号化するステップと、
を有することを特徴とする動画像符号化方法。
【請求項５】
前記予測モードを選択するステップは、前記推定された符号量が最小となる予測モードを選択することを特徴とする請求項４に記載の動画像符号化方法。
【請求項６】
前記符号量を推定するステップは、前記非ゼロとなる係数の個数に前記予測モードごとに一定の重み係数を乗算して前記符号量を得ることを特徴とする請求項４に記載の動画像符号化方法。
【請求項７】
前記重み係数を、前記選択された予測モードを用いて前記直交変換係数を符号化することにより生じる符号量と前記選択された予測モードの前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数により更新するステップをさらに備えることを特徴とする請求項６に記載の動画像符号化方法。
【請求項８】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化方法において、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成するステップと、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得るステップと、
前記予測モードごとに前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数を求めるステップと、
前記予測モードごとに前記非ゼロとなる係数の個数から前記直交変換係数の符号化により生じる第１の符号量を推定するステップと、
前記予測モードごとに前記予測モードに関連する付加情報の符号化により生じる第２の符号量を推定するステップと、
前記第１の符号量と前記第２の符号量に基づいて予測モードを選択するステップと、
前記選択された予測モードを用いて前記画素ブロックを符号化するステップと、
を有することを特徴とする動画像符号化方法。
【請求項９】
前記予測モードを選択するステップは、前記第１の符号量と前記第２の符号量の重み付け和を求め、その重み付け和が最小となる予測モードを選択することを特徴とする請求項８に記載の動画像符号化方法。
【請求項１０】
前記予測モードに関連する付加情報が、予測画像生成のための動きベクトル、予測画像生成のための参照画像の番号、予測画像生成のための予測式の番号もしくは画素ブロックの形状のうち、少なくともひとつの情報であることを特徴とする請求項８に記載の動画像符号化方法。
【請求項１１】
前記第２の符号量を推定するステップは、前記付加情報を２値化シンボルに変換して得られるシンボル長の総和に一定の重み係数を乗算して前記第２の符号量を得ることを特徴とする請求項８に記載の動画像符号化方法。
【請求項１２】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化方法において、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成するステップと、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得るステップと、
前記予測モードごとに前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数を求めるステップと、
前記予測モードごとに前記非ゼロとなる係数の個数から前記直交変換係数の符号化により生じる第１の符号量を推定するステップと、
前記予測モードごとに前記予測モードに関連する付加情報の符号化により生じる第２の符号量を推定するステップと、
前記予測モードごとに前記直交変換係数の符号化による符号化歪を推定するステップと、
前記第１の符号量、前記第２の符号量および前記符号化歪に基づいて予測モードを選択するステップと、
前記選択された予測モードを用いて前記画素ブロックを符号化するステップと、
を有することを特徴とする動画像符号化方法。
【請求項１３】
前記予測モードを選択するステップは、前記第１の符号量、前記第２の符号量および前記符号化歪の重み付け和を求め、その重み付け和が最小となる予測モードを選択することを特徴とする請求項１２に記載の動画像符号化方法。
【請求項１４】
前記符号化歪を推定するステップは、前記直交変換係数のうち量子化処理によりゼロとなる係数については、前記直交変換係数を二乗した値を累積加算し、前記直交変換係数のうち量子化処理により非ゼロとなる係数については、あらかじめ定めた一定値を累積加算することにより前記符号化歪を得ることを特徴とする請求項１２に記載の動画像符号化方法。
【請求項１５】
前記符号化歪を推定するステップは、前記直交変換係数のうち量子化処理によりゼロとなる係数については、前記直交変換係数の絶対値を累積加算し、前記直交変換係数のうち量子化処理により非ゼロとなる係数については、あらかじめ定めた一定値を累積加算することにより前記符号化歪を得ることを特徴とする請求項１２に記載の動画像符号化方法。
【請求項１６】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の第１の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化方法において、
動画像のフレームレートと画像サイズから得られる画素レートに基づいて前記画素ブロックごとに前記複数の第１の予測モードから複数の第２の予測モードを選択する第１の選択ステップと、
前記第２の予測モードごとに前記画素ブロックを符号化してその符号量を得るステップと、
前記第２の予測モードごとに前記画素ブロックの符号化による符号化歪を得るステップと、
前記符号量および前記符号化歪に基づいて前記複数の第２の予測モードからひとつの予測モードを選択する第２の選択ステップと、
前記選択された予測モードに対応する符号化データを出力するステップと、
を有することを特徴とする動画像符号化方法。
【請求項１７】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の第１の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化方法において、
動画像のフレームレートと画像サイズから得られる画素レートに基づいて前記画素ブロックごとに前記複数の第１の予測モードから複数の第２の予測モードを選択する第１の選択ステップと、
前記第２の予測モードごとに前記画素ブロックの符号化により生じる符号量を推定するステップと、
前記第２の予測モードごとに前記画素ブロックの符号化による符号化歪を得るステップと、
前記符号量および前記符号化歪に基づいて前記複数の第２の予測モードからひとつの予測モードを選択する第２の選択ステップと、
前記選択された予測モードに対応する符号化データを出力するステップと、
を有することを特徴とする動画像符号化方法。
【請求項１８】
前記第１の選択ステップは、第１の画素レートよりも小さい第２の画素レートに対しては、その第１の画素レートに対して選択する第２の予測モードの数以上の数の第２の予測モードを選択することを特徴とする請求項１６または請求項１７に記載の動画像符号化方法。
【請求項１９】
前記第１の選択ステップは、ハードウェアが符号化処理できる最大の画素レートを前記動画像のフレームレートと画像サイズから得られる画素レートで除算して得られる数だけ、前記複数の第１の予測モードから前記複数の第２の予測モードを選択することを特徴とする請求項１６または請求項１７に記載の動画像符号化方法。
【請求項２０】
前記第２の選択ステップは、前記符号量と前記符号化歪の重み付け和を求め、その重み付け和が最小となる予測モードを選択することを特徴とする請求項１６または請求項１７に記載の動画像符号化方法。
【請求項２１】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化装置において、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成する手段と、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得る手段と、
前記予測モードから、前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数に基づいて予測モードを選択する手段と、
前記選択された予測モードを用いて前記画素ブロックを符号化する手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２２】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化装置において、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成する手段と、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得る手段と、
前記予測モードごとに前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数を求める手段と、
前記予測モードごとに前記非ゼロとなる係数の個数から前記直交変換係数の符号化により生じる符号量を推定する手段と、
前記推定された符号量に基づいて予測モードを選択する手段と、
前記選択された予測モードを用いて前記画素ブロックを符号化する手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２３】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化装置において、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成する手段と、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得る手段と、
前記予測モードごとに前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数を求める手段と、
前記予測モードごとに前記非ゼロとなる係数の個数から前記直交変換係数の符号化により生じる第１の符号量を推定する手段と、
前記予測モードごとに前記予測モードに関連する付加情報の符号化により生じる第２の符号量を推定する手段と、
前記第１の符号量と前記第２の符号量に基づいて予測モードを選択する手段と、
前記選択された予測モードを用いて前記画素ブロックを符号化する手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２４】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化装置において、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成する手段と、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得る手段と、
前記予測モードごとに前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数を求める手段と、
前記予測モードごとに前記非ゼロとなる係数の個数から前記直交変換係数の符号化により生じる第１の符号量を推定する手段と、
前記予測モードごとに前記予測モードに関連する付加情報の符号化により生じる第２の符号量を推定する手段と、
前記予測モードごとに前記直交変換係数の符号化による符号化歪を推定する手段と、
前記第１の符号量、前記第２の符号量および前記符号化歪に基づいて予測モードを選択する手段と、
前記選択された予測モードを用いて前記画素ブロックを符号化する手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２５】
入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の第１の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化装置において、
動画像のフレームレートと画像サイズから得られる画素レートに基づいて前記画素ブロックごとに前記複数の第１の予測モードから複数の第２の予測モードを選択する第１の選択手段と、
前記第２の予測モードごとに前記画素ブロックを符号化してその符号量を得る手段と、
前記第２の予測モードごとに前記画素ブロックの符号化による符号化歪を得る手段と、
前記符号量および前記符号化歪に基づいて前記複数の第２の予測モードからひとつの予測モードを選択する第２の選択手段と、
前記選択された予測モードに対応する符号化データを出力する手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２６】
コンピュータに、入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化させる動画像符号化プログラムであって、
画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成させる機能と、
各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を生成させる機能と、
前記予測モードから、前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数に基づいて予測モードを選択させる機能と、
前記選択された予測モードを用いて前記画素ブロックを符号化させる機能と、
を備えることを特徴とする動画像符号化プログラム。
【請求項２７】
コンピュータに、入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の第１の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化させる動画像符号化プログラムであって、
動画像のフレームレートと画像サイズから得られる画素レートに基づいて前記画素ブロックごとに前記複数の第１の予測モードから複数の第２の予測モードを選択させる第１の選択機能と、
前記第２の予測モードごとに前記画素ブロックを符号化してその符号量を求めさせる機能と、
前記第２の予測モードごとに前記画素ブロックの符号化による符号化歪を求めさせる機能と、
前記符号量および前記符号化歪に基づいて前記複数の第２の予測モードからひとつの予測モードを選択させる第２の選択機能と、
前記選択された予測モードに対応する符号化データを出力させる機能と、
を備えることを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の予測モードから符号化効率がよく画質の劣化が少ない予測モードを選択して動画像を符号化する動画像符号化方法、動画像符号化装置および動画像符号化プログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−２やＭＰＥＧ−４あるいはＨ．２６４などの動画像符号化方法の国際標準方式では、予測画像生成のための参照画像や予測ブロック形状の選択方法、予測残差信号の生成方法などに複数のモード（予測モード）が存在し、符号化対象画像は、画素ブロックごとに、これらの予測モードの中から選択されたひとつの予測モードにしたがって符号化される。このような複数の予測モードから、画素ブロックごとにひとつの予測モードを選択して符号化を行なう動画像符号化方法では、選択する予測モードによって、符号化された動画像の画質や符号化のための符号量が異なるため、従来から、符号化効率がよく画質の劣化が少ない予測モードの選択方法が提案されている。
【０００３】
符号化効率のよい予測モードを選択する方法としては、例えば、予測モードごとに実際に符号化を行ない、符号量の最も小さい予測モードを選択する方法が開示されている（例えば、特許文献１を参照）。さらに、予測モードごとに実際に符号化を行なって符号量を求めるとともに、予測モードごとに原画像と復号化画像との間の誤差（符号化歪）をも求め、符号量と符号化歪とのバランスにおいて、ひとつの予測モードを選択する方法が開示されている（例えば、非特許文献１を参照）。
【０００４】
しかし、このように予測モードごとに実際に符号化を行なって符号量や符号化歪を求める方法では、符号化効率がよく画質の劣化が少ない予測モードを適切に選択することが可能になる一方で、予測モードの数が多い場合には、符号化のために必要な演算量やハードウェア規模が大きくなり、エンコーダのコスト増を招くという問題があった。
【特許文献１】特開２００３−１５３２８０公報（第３頁、図２）
【非特許文献１】Ｔ．Ｗｉｅｇａｎｄ  ｅｔ  ａｌ．，“Ｒａｔｅ−ｃｏｎｓｔｒａｉｎｅｄ  ｃｏｄｅｒ  ｃｏｎｔｒｏｌ  ａｎｄ  ｃｏｍｐａｒｉｓｏｎ  ｏｆ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｓｔａｎｄａｒｄｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ  Ｓｙｓｔ．  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌ．，ｖｏｌ．１３，ｐｐ．６８８−７０３，Ｊｕｌｙ  ２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、予測モードごとに実際に符号化を行なって符号量や符号化歪を求め、これにしたがって、ひとつの予測モードを選択する動画像符号化装置によれば、予測モードの数が多い場合には、符号化のために必要な演算量やハードウェア規模が大きくなり、エンコーダのコスト増を招くという問題があった。
【０００６】
本発明は、上記従来技術の問題点を解決するためになされたものであって、符号化効率がよく画質の劣化の少ない予測モードを、予測モード選択のための演算量やハードウェアの規模を増大させることなく選択することを可能とする動画像符号化方法、動画像符号化装置および動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の動画像符号化方法は、入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化方法において、画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成するステップと、各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得るステップと、前記予測モードから、前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数に基づいて予測モードを選択するステップと、前記選択された予測モードを用いて前記画素ブロックを符号化するステップと、を有することを特徴とする。
【０００８】
また、本発明の動画像符号化装置は、入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化する動画像符号化装置において、画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成する手段と、各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を得る手段と、前記予測モードから、前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数に基づいて予測モードを選択する手段と、前記選択された予測モードを用いて前記画素ブロックを符号化する手段と、を備えることを特徴とする。
【０００９】
また、本発明の動画像符号化プログラムは、コンピュータに、入力画像を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードからひとつの予測モードを選択して、選択された予測モードによりその画素ブロックを符号化させる動画像符号化プログラムであって、画素ブロックに対して予測モードごとに予測画像を生成し、生成された予測画像とその画素ブロックとの間の予測残差信号を生成させる機能と、各予測モードに対応する前記予測残差信号をそれぞれ直交変換して直交変換係数を生成させる機能と、前記予測モードから、前記直交変換係数のうち量子化処理により非ゼロとなる係数の個数に基づいて予測モードを選択させる機能と、前記選択された予測モードを用いて前記画素ブロックを符号化させる機能と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、予測モードごとに予測残差信号の直交変換係数から符号化処理により生じる符号量を推定して予測モードを選択するので、予測モード選択のために実際に符号化を行なう必要がなくなる。そのため、予測モード選択のための演算量やハードウェア規模を増大させることなく予測モードを選択することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について説明する。
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図である。
【００１３】
この第１の実施形態に係わる動画像符号化装置は、動きベクトル検出器１０１と、Ｉｎｔｅｒ予測器（フレーム間予測器）１０２と、Ｉｎｔｒａ予測器（フレーム内予測器）１０３と、モード判定器１０４と、直交変換器１０５と、量子化器１０６と、逆量子化器１０７と、逆直交変換器１０８と、予測復号化器１０９と、参照フレームメモリ１１０と、エントロピー符号化器１１１と、を備えている。
【００１４】
次に図１および図２を用いて、本発明の第１の実施形態に係わる動画像符号化装置の動作について説明する。なお、図２は、本発明の第１の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【００１５】
入力画像信号が動画像符号化装置に入力されると、まず、入力画像信号は一定の大きさの画素ブロックに分割され、画素ブロックごとに複数の予測モードにより予測画像信号が生成される。次に、予測モードごとに生成された予測画像信号と入力画像信号（画素ブロック）から予測残差信号が生成されてモード判定器１０４に送られる（ステップＳ１０１）。
【００１６】
以下、この予測残差信号の生成動作について説明する。
【００１７】
まず、入力画像信号が動きベクトル検出器１０１に送られる。動きベクトル検出器１０１は、入力画像信号を一定の大きさの画素ブロックに分割し、画素ブロックごとに複数の予測モードに対して動きベクトルを求める。ここで、動きベクトル検出器１０１における予測モードとは、例えば、動き補償予測ブロックの形状や動きベクトルを求めるために参照フレームメモリ１１０から読み出される参照画像の番号などの動き補償パラメータの組み合わせをいう。
【００１８】
このように動きベクトル検出器１０１において予測モードごとに検出された各画素ブロックの動きベクトルは、次に、各予測モードの動き補償パラメータの組み合わせとともに、Ｉｎｔｅｒ予測器１０２に送られる。
【００１９】
Ｉｎｔｅｒ予測器１０２は、動きベクトル検出器１０１から送られた各画素ブロックの動きベクトルと動き補償パラメータから、動き補償予測を行なって、予測モードごとに予測画像信号を生成する。そしてＩｎｔｅｒ予測器１０２は、次に、予測モードごとに生成された各画素ブロックの予測画像信号と入力画像信号との間の予測残差信号を生成する。
【００２０】
また入力画像信号は、Ｉｎｔｒａ予測器１０３にも送られる。Ｉｎｔｒａ予測器１０３は、入力画像信号を一定の大きさの画素ブロックに分割し、各画素ブロックに対して、予測モードごとに参照フレームメモリ１１０に記憶されている現フレーム内の符号化済み領域のローカルデコード画像を読み出してフレーム内予測処理を行ない、予測画像信号を生成する。Ｉｎｔｒａ予測器１０３における予測モードとは、例えば、フレーム内予測処理におけるローカルデコード画像から予測画像を生成するためのローカルデコード画像の分割サイズや予測式の番号などの予測パラメータの組み合わせをいう。
【００２１】
そしてＩｎｔｒａ予測器１０３では、予測モードごとに生成された各画素ブロックの予測画像信号と入力画像信号との間の予測残差信号を生成する。
【００２２】
このようにＩｎｔｅｒ予測器１０２とＩｎｔｒａ予測器１０３で予測モードごとに生成された各画素ブロックの予測残差信号は、次に、モード判定器１０４に送られる。
【００２３】
モード判定器１０４では、まず、Ｉｎｔｅｒ予測器１０２およびＩｎｔｒａ予測器１０３から送られた各画素ブロックの予測残差信号を直交変換して直交変換係数を生成する（ステップＳ１０２）。
【００２４】
次に、モード判定器１０４は、画素ブロックごとに、生成された予測残差信号の直交変換係数を符号化することにより生じる符号量が最も少ない予測モードを選択する（ステップＳ１０３）。
【００２５】
ここで、図３の実測データに示すように、予測残差信号の直交変換係数を符号化することにより生じる符号量（横軸）と、予測残差信号の直交変換係数のうち量子化処理により非ゼロとなる係数（非ゼロ係数）の個数（縦軸）との間には、強い相関関係が存在する。そこで、この性質を利用して、予測モードごとに予測残差信号の直交変換係数のうち量子化処理により非ゼロとなる係数の個数を求め、その個数がもっとも少ない予測モードを用いて画素ブロックの符号化を行なえば、符号化により生じる符号量を小さくすることができ、効率的な符号化を行なうことが可能になる。
【００２６】
図４は、モード判定器１０４における、予測残差信号の直交変換係数から非ゼロ係数の最も少ない予測モードを選択する動作を示すフローチャートである。
【００２７】
まず、予測モード番号ｉが初期化され、ベストモードの非ゼロ係数の個数ＣＭＩＮがあらかじめ定めた一定の値に設定される（ステップＳ２０１）。
【００２８】
次に、予測モードｉの予測残差信号の直交変換係数のうち量子化処理により非ゼロとなる係数の個数Ｃｉがカウントされる（ステップ２０２）。ここで、非ゼロ係数の個数は、例えば、直交変換係数を実際に量子化して、非ゼロとなる係数の個数をカウントすることによって求めてもよく、また、あらかじめ量子化処理によりゼロに量子化される係数の最大値を量子化ステップ幅から求めておき、この最大値を閾値として直交変換係数と比較し、閾値よりも大きい係数の数をカウントすることによって求めてよい。また、予測残差信号の直交変換係数のうち量子化処理によりゼロとなる係数の個数を求め、この個数と画素ブロックに含まれる画素数との差分をとることで非ゼロ係数の個数を求めてもよい。
【００２９】
次に、予測モードｉの非ゼロ係数の個数Ｃｉが、ベストモードの非ゼロ係数の個数ＣＭＩＮと比較される（ステップＳ２０３）。このときＣｉがＣＭＩＮよりも小さい場合には、ステップＳ２０４へ進み、ＣｉがＣＭＩＮ以上である場合にはステップＳ２０５へ進む。
【００３０】
ＣｉがＣＭＩＮよりも小さい場合には、ベストモードの非ゼロ係数の個数ＣＭＩＮにＣｉが代入され、ベストモードとして予測モードｉが設定される（ステップＳ２０４）。
【００３１】
次に、予測モードの番号ｉが、１だけカウントアップされ（ステップＳ２０５）、すべての予測モードについての処理が完了したか否かが判定される（ステップＳ２０６）。すべての予測モードの処理が完了していない場合は、ステップＳ２０２に戻り、新たに予測モードｉについて、非ゼロ係数の個数がカウントされる。すべての予測モードについての処理が完了している場合には処理を終了する。このときベストモードとして設定されている予測モードがモード判定器１０４において選択される予測モードとなる。
【００３２】
なお、このモード判定器１０４における予測モードの選択処理は、画素ブロックごとに行なわれ、各画素ブロックに対してひとつの予測モードが選択される。
【００３３】
モード判定器１０４で予測モードが選択されると、画素ブロックごとに選択された予測モードに対応する予測残差信号が直交変換器１０５に送られ、直交変換器１０５で直交変換係数に変換される。この直交変換係数は、量子化器１０６で量子化されて、エントロピー符号化器１１１によって符号化データとして出力される（ステップＳ１０４）。また、モード判定器１０４は、選択された予測モードの情報をエントロピー符号化器１１１に送り、エントロピー符号化器１１１では、予測モードの情報も符号化して符号化データとして出力する。
【００３４】
また、量子化器１０６で量子化された予測残差信号の直交変換係数は、逆量子化器１０７、逆直交変換器１０８および予測復号化器１０９を経て、ローカルデコード画像として参照フレームメモリ１１０に記憶される。
【００３５】
このように本発明の第１の実施形態に係わる動画像符号化装置によれば、予測モードごとに予測残差信号の直交変換係数のうち量子化処理により非ゼロとなる係数の個数を求め、その個数がもっとも少ない予測モードを選択して画素ブロックの符号化を行なうことで、予測モードの選択のために実際に符号化処理を行なうことなく、効率的な符号化を行なうことが可能になる。
【００３６】
なお、上述した実施形態では、モード判定器１０４で予測残差信号から直交変換係数を求めて予測モードを選択し、直交変換器１０５で再度予測残差信号を直交変換して直交変換係数を求めていたが、モード判定器１０４で求めた直交変換係数を別途設けたメモリに記憶しておき、このメモリからモード判定器１０４で選択された予測モードに対応する直交変換係数を読み出して、直接量子化器１０６に送るようにしてもよい。このようにすることで、直交変換係数の生成を重複して行う必要が無くなり、符号化のための計算量を削減することが可能になる。
【００３７】
なお、この動画像符号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、動きベクトル検出器１０１、Ｉｎｔｅｒ予測器１０２、Ｉｎｔｒａ予測器１０３、モード判定器１０４、直交変換器１０５、量子化器１０６、逆量子化器１０７、逆直交変換器１０８、予測復号化器１０９およびエントロピー符号化器１１１は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照フレームメモリ１１０は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００３８】
（第２の実施形態）
第１の実施形態では、予測残差信号の直交変換係数を符号化することにより生じる符号量と、予測残差信号の直交変換係数のうち量子化処理により非ゼロとなる係数の個数との間に相関関係があることを利用して、予測モードごとに非ゼロ係数の個数を求めて、この個数が最小となる予測モードを選択していた。
【００３９】
第２の実施形態では、予測モードごとの相関関係の違いをも考慮して、予測モードを選択する方法について説明する。
【００４０】
図２は、本発明の第２の実施形態に係わる動画像符号化装置の構成を示すブロック図である。
【００４１】
この第２の実施形態に係わる動画像符号化装置は、動きベクトル検出器２０１と、Ｉｎｔｅｒ予測器２０２と、Ｉｎｔｒａ予測器２０３と、モード判定器２０４と、直交変換器２０５と、量子化器２０６と、逆量子化器２０７と、逆直交変換器２０８と、予測復号化器２０９と、参照フレームメモリ２１０と、エントロピー符号化器２１１と、を備えている。
【００４２】
つまり、第１の実施形態とは、動画像符号化装置の構成は同じであり、モード判定器２０４における予測モード選択の動作が異なるのみである。したがって、第１の実施形態に係わる動画像符号化装置と共通の動作を行なう部分（動きベクトル検出器２０１、Ｉｎｔｅｒ予測器２０２、Ｉｎｔｒａ予測器２０３、直交変換器２０５、量子化器２０６、逆量子化器２０７、逆直交変換器２０８、予測復号化器２０９、参照フレームメモリ２１０、エントロピー符号化器２１１）については、説明を省略する。
【００４３】
次に図５および図６を用いて、本発明の第１の実施形態に係わる動画像符号化装置の動作について説明する。なお、図６は、本発明の第２の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【００４４】
まず、Ｉｎｔｅｒ予測器２０２およびＩｎｔｒａ予測器２０３で予測モードごとに生成された予測残差信号がモード判定器２０４に入力される（ステップＳ３０１）。
【００４５】
モード判定器２０４では、Ｉｎｔｅｒ予測器２０２およびＩｎｔｒａ予測器２０３から送られた各画素ブロックの予測残差信号を直交変換して直交変換係数を生成する（ステップＳ３０２）。
【００４６】
モード判定器２０４は、次に、画素ブロックごとに、生成された予測残差信号の直交変換係数を符号化することにより生じる符号量が最も少ない予測モードを選択する（ステップＳ３０３からステップＳ３０５）。
【００４７】
ここで、上述したように、予測残差信号の直交変換係数を符号化することにより生じる符号量と、予測残差信号の直交変換係数のうち量子化処理により非ゼロとなる係数の個数との間には、強い相関関係が存在する。また、その相関係数は予測残差信号を生成した予測モードにより異なる。したがって、予測モードｉに対する非ゼロ係数の個数をＣｉとすると、予測モードｉにより画素ブロックを符号化したときに生じる符号量ＲＣｉは、上記相関関係から、例えば、（１）式によって推定することができる。
【数１】
2006140758.tif 000003
【００４８】
ここでαｉは、予測モードｉにおける相関関係を表す重み係数である。なお、αｉは、予測モードごとに、あらかじめ学習用の動画像データを用いて実験的に求めておけばよい。
【００４９】
そこで、モード判定器２０４は、まず、予測モードごとに、予測残差信号の直交変換係数を量子化処理することにより非ゼロとなる係数の個数をカウントする（ステップＳ３０３）。次に、予測モードごとに、（１）式にしたがって、予測残差信号の直交変換係数を符号化することにより生じる符号量を推定する（ステップＳ３０４）。そして、推定された符号量ＲＣｉから、符号化に用いる予測モードを選択する（ステップＳ３０５）。予測モードの選択は、推定された符号量ＲＣｉが最小となるモードを選択すればよい。
【００５０】
このモード判定器２０４における予測モードの選択処理は、画素ブロックごとに行なわれ、各画素ブロックに対してひとつの予測モードが選択される。
【００５１】
モード判定器２０４で予測モードが選択されると、画素ブロックごとに選択された予測モードに対応する予測残差信号が直交変換器２０５に送られ、直交変換器２０５で直交変換係数に変換される。この直交変換係数は、量子化器２０６で量子化されて、エントロピー符号化器２１１によって符号化データとして出力される（ステップＳ３０６）。
【００５２】
このように本発明の第２の実施形態に係わる動画像符号化装置によれば、予測モードごとに、非ゼロ係数の個数から予測残差信号の直交変換係数を符号化することにより生じる符号量を推定し、この推定された符号量にしたがって予測モードを選択することで、予測モードごとの非ゼロ係数の個数と符号量との相関関係をも考慮した効率的な符号化を行なうことが可能になる。
【００５３】
なお、上述した実施形態では、予測モードｉにおける相関関係を表す重み係数αｉを、あらかじめ実験的に求めた定数としていたが、この重み係数を、すでに符号化された画素ブロックの非ゼロ係数の個数と、符号化によって実際に生じた符号量とを用いて、逐次的に更新していくことも可能である。すなわち、モード判定器２０４で選択された予測モードの非ゼロ係数の個数Ｃｉと、エントロピー符号化器２１１から得られるこの予測モードにより画素ブロックを符号化したときに生じる符号量Ｒ´Ｃとから、例えば、（２）式にしたがって重み係数αｉを更新する。
【数２】
2006140758.tif 000004
【００５４】
このように重み係数αｉを逐次更新することにより、より高精度な符号量の推定を行なうことが可能となる。
【００５５】
重み係数αｉの更新は、さらに、過去の複数の符号化された画素ブロックの非ゼロ係数の個数と符号量とを用いて行なってもよく、直前の符号化済みフレーム全体の画素ブロックの符号量と非ゼロ係数の個数とを用いて行なってもよい。このように複数の画素ブロックの符号化結果を用いて重み係数αｉの更新を行なうことで、より正確な重み係数の値を求めることが可能になる。
【００５６】
（第３の実施形態）
第２の実施形態では、予測残差信号の直交変換係数のうち量子化処理により非ゼロとなる係数の個数から画素ブロックの符号化処理によって生じる符号量を推定し、この符号量が最小となる予測モードを選択していた。
【００５７】
第３の実施形態では、予測画像生成のための動きベクトルや予測画像生成のための参照画像の番号などの予測モードに関連する付加情報の符号化処理によって生じる符号量をも推定して、予測モードを選択する方法について説明する。
【００５８】
図７は、本発明の第３の実施形態に係わる動画像符号化装置の構成を示すブロック図である。
【００５９】
この第３の実施形態に係わる動画像符号化装置は、動きベクトル検出器３０１と、Ｉｎｔｅｒ予測器３０２と、Ｉｎｔｒａ予測器３０３と、モード判定器３０４と、直交変換器３０５と、量子化器３０６と、逆量子化器３０７と、逆直交変換器３０８と、予測復号化器３０９と、参照フレームメモリ３１０と、エントロピー符号化器３１１と、を備えている。
【００６０】
つまり、第２の実施形態とは、動画像符号化装置の構成は同じであり、モード判定器３０４における予測モード選択の動作が異なるのみである。したがって、第２の実施形態に係わる動画像符号化装置と共通の動作を行なう部分（動きベクトル検出器３０１、Ｉｎｔｅｒ予測器３０２、Ｉｎｔｒａ予測器３０３、直交変換器３０５、量子化器３０６、逆量子化器３０７、逆直交変換器３０８、予測復号化器３０９、参照フレームメモリ３１０、エントロピー符号化器３１１）については、説明を省略する。
【００６１】
次に図７および図８を用いて、本発明の第３の実施形態に係わる動画像符号化装置の動作について説明する。なお、図８は、本発明の第３の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【００６２】
まず、Ｉｎｔｅｒ予測器３０２およびＩｎｔｒａ予測器３０３で予測モードごとに生成された予測残差信号と各予測モードに関連する付加情報がモード判定器３０４に入力される（ステップＳ４０１）。ここで予測モードに関連する付加情報とは、例えば、動きベクトル検出器３０１で生成される動きベクトル、予測画像生成のための参照画像の番号、参照画像から予測画像を生成するための予測式の番号もしくは画素ブロックの形状などの、符号化処理の方法を特定する情報をいい、符号化された画素ブロックとともに蓄積あるいは復号化器へ送信される情報をいう。また、付加情報は、これらの情報のうちのひとつの情報としてもよく、あるいは、これらの情報を組み合わせた情報であるとしてもよい。
【００６３】
モード判定器３０４では、Ｉｎｔｅｒ予測器３０２およびＩｎｔｒａ予測器３０３から送られた各画素ブロックの予測残差信号を直交変換して直交変換係数を生成する（ステップＳ４０２）。
【００６４】
モード判定部３０４は、次に、画素ブロックごとに、生成された予測残差信号の直交変換係数を符号化することにより生じる第１の符号量を推定する（ステップＳ４０３からステップＳ４０４）。
【００６５】
第１の符号量は、上述したように、予測モードごとに直交変換係数を量子化することにより非ゼロとなる係数の個数Ｃｉを求め（ステップＳ４０３）、（１）式にしたがって、この個数Ｃｉに一定の重み係数αｉを乗算することによって推定することができる（ステップＳ４０４）。
【００６６】
次に、モード判定部３０４は、画素ブロックごとに、予測モードに関連する付加情報を符号化することにより生じる第２の符号量を推定する（ステップＳ４０５からステップＳ４０６）。
【００６７】
第２の符号量は、例えば、各付加情報を２値化シンボルに変換したときのシンボル長の総和ＳＯＨを求め（ステップＳ４０５）、そのシンボル長の総和ＳＯＨに一定の重み係数βを乗算することによって推定することができる（ステップＳ４０６）。すなわち、予測モードｉに対する第２の符号量ＲＯＨｉは、（３）式によって推定することができる。
【数３】
2006140758.tif 000005
【００６８】
ここで、βｉは、予測モードｉにおける重み係数、ＳＯＨｉは、予測モードｉにおける付加情報のシンボル長の総和である。なお、βｉは、予測モードごとに、あらかじめ学習用の動画像データを用いて実験的に求めておけばよい。
【００６９】
次に、モード判定部３０４は、（４）式にしたがって、予測モードごとに（１）式および（３）式で推定される第１の符号量および第２の符号量の和Ｒを求め、Ｒが最小となる予測モードを選択する（ステップＳ４０７）。
【数４】
2006140758.tif 000006
【００７０】
このモード判定器３０４における予測モードの選択処理は、画素ブロックごとに行なわれ、各画素ブロックに対してひとつの予測モードが選択される。
【００７１】
モード判定器３０４で予測モードが選択されると、画素ブロックごとに選択された予測モードに対応する予測残差信号が直交変換器３０５に送られ、直交変換器３０５で直交変換係数に変換される。この直交変換係数は、量子化器３０６で量子化されて、エントロピー符号化器３１１によって符号化データとして出力される（ステップ４０８）。
【００７２】
このように本発明の第３の実施形態に係わる動画像符号化装置によれば、予測残差信号の直交変換係数を符号化することにより生じる符号量だけではなく、予測モードに関連する付加情報を符号化することにより生じる符号量をも考慮して、符号化により生じる符号量の小さい予測モードを選択することができるので、より効率的な符号化を行なうことが可能になる。
【００７３】
なお、上述した実施形態では、予測モードｉおけるシンボル長に対する重み係数βｉを、あらかじめ実験的に求めた定数としていたが、この重み係数を、すでに符号化された付加情報のシンボル長と、付加情報の符号化によって実際に生じた符号量とを用いて、逐次的に更新していくことも可能である。すなわち、モード判定器３０４で選択された予測モードに関連する付加情報のシンボル長ＳＯＨｉと、エントロピー符号化器３１１から得られるこの予測モードに関連する付加情報を符号化したときに生じる符号量をＲ´ＯＨとから、例えば、（５）式にしたがって重み係数βｉを更新すればよい。
【数５】
2006140758.tif 000007
【００７４】
このように重み係数βｉを逐次更新することにより、より高精度な符号量の推定を行なうことが可能となる。
【００７５】
（第４の実施形態）
第３の実施形態では、予測モードごとに予測残差信号の直交変換係数を符号化することにより生じる符号量と、予測モードに関連する付加情報を符号化することにより生じる符号量を推定し、その符号量の重み付け和が最小となる予測モードを選択していた。
【００７６】
第４の実施形態では、さらに予測モードごとに予測残差信号の直交変換係数を符号化することにより生じる符号化歪をも考慮して、予測モードを選択する方法について説明する。
【００７７】
図９は、本発明の第４の実施形態に係わる動画像符号化装置の構成を示すブロック図である。
【００７８】
この第４の実施形態に係わる動画像符号化装置は、動きベクトル検出器４０１と、Ｉｎｔｅｒ予測器４０２と、Ｉｎｔｒａ予測器４０３と、モード判定器４０４と、直交変換器４０５と、量子化器４０６と、逆量子化器４０７と、逆直交変換器４０８と、予測復号化器４０９と、参照フレームメモリ４１０と、エントロピー符号化器４１１と、レート制御器４１２と、を備えている。
【００７９】
つまり、第３の実施形態とは、レート制御器４１２を有する点とモード判定器４０４における予測モード選択の動作が異なるのみである。したがって、第３の実施形態に係わる動画像符号化装置と共通の動作を行なう部分（動きベクトル検出器４０１、Ｉｎｔｅｒ予測器４０２、Ｉｎｔｒａ予測器４０３、直交変換器４０５、量子化器４０６、逆量子化器４０７、逆直交変換器４０８、予測復号化器４０９、参照フレームメモリ４１０、エントロピー符号化器４１１）については、説明を省略する。
【００８０】
次に図９および図１０を用いて、本発明の第４の実施形態に係わる動画像符号化装置の動作について説明する。なお、図１０は、本発明の第４の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【００８１】
モード判定器４０４は、まず、上述した方法により、予測モードごとに、予測残差信号の直交変換係数を符号化することにより生じる第１の符号量および予測モードに関連する付加情報を符号化することにより生じる第２の符号量を推定する。
【００８２】
次に、モード判定器４０４は、レート制御器４１２から入力される量子化ステップ幅を用いて、予測残差信号の直交変換係数を符号化することにより生じる符号化歪を推定する（ステップＳ５０７）。
【００８３】
ここで、予測残差信号の直交変換係数を符号化することにより生じる符号化歪とは、直交変換係数の量子化により生じる量子化歪に起因するものである。一般に、予測残差信号の直交変換係数の係数値の出現頻度分布は、ラプラス分布で近似することができる。図１１に、直交変換係数の係数値の出現頻度分布をラプラス分布で近似した場合の係数値の分布例を示す。また、図１２に、直交変換係数の係数値の出現頻度分布をラプラス分布で近似した場合の係数値の分布と、量子化ステップ幅ＱＳＴＥＰで係数値を量子化する場合の量子化代表値の様子を表す。なお、係数値の出現頻度分布がラプラス分布で近似できる場合、係数値を量子化することにより生じる量子化歪の平均値を小さくするため、量子化代表値は、量子化ステップ幅で区分される範囲の中央ではなく、やや原点に近い方に設定することが多い。
【００８４】
ここで、予測残差信号の直交変換係数の係数値ａｉを量子化代表値Ｑｊに量子化したときの量子化歪ｄは、（６）式により求めることができる。
【数６】
2006140758.tif 000008
【００８５】
特に、量子化代表値Ｑｊがゼロである場合、すなわち係数値がゼロに量子化される場合には、量子化歪ｄは（７）式のように計算できる。
【数７】
2006140758.tif 000009
【００８６】
一方、係数値が大きく、ゼロ以外の量子化代表値に量子化される領域では、図１３（ａ）のような係数値の出現頻度分布は、図１３（ｂ）に示すように、量子化ステップ幅の範囲内で一様に分布していると仮定することができるため、量子化代表値が量子化ステップ幅の中央に設定されていると仮定すると、各係数値における量子化歪の平均値は（８）式で計算することができることが知られている。
【数８】
2006140758.tif 000010
【００８７】
以上の性質を踏まえ、係数値が量子化ステップ幅の範囲内で一様に分布していると仮定することのできる、係数値の大きい領域では、（８）式にしたがって、量子化歪の推定値を計算し、それ以外の領域では、（６）式にしたがって、量子化歪を計算すれば、効率的に直交変換係数の量子化にともなう量子化歪を推定することが可能になる。そしてこの量子化歪の総和を各予測モードの符号化歪とすればよい。
【００８８】
図１４に、モード判定器４０４における予測モードｉの符号化歪を推定する動作を表すフローチャートを示す。
【００８９】
まず、予測モードｉの符号化歪の値Ｄｉが初期化され、処理する直交変換係数の番号ｊもリセットされる（ステップＳ６０１）。
【００９０】
次に、直交変換係数ａｊが読み出され（ステップＳ６０２）、その直交変換係数ａｊがゼロに量子化されるか否かが判定される（ステップＳ６０３）。直交変換係数ａｊがゼロに量子化される場合には、量子化歪は、（７）式にしたがって計算され、符号化歪Ｄｉに加算される（ステップＳ６０４）。一方、直交変換係数ａｊがゼロ以外の値に量子化される場合には、量子化歪は、（８）式にしたがって計算され、符号化歪Ｄｉに加算される（ステップＳ６０５）。なお、（８）式によって計算される量子化歪は、量子化ステップ幅によって定まる定数であるため、レート制御器４１２からモード判定器４０４に量子化ステップ幅が入力されたときに一度だけ計算しておき、これを用いれば再度計算する必要がない。
【００９１】
ここで、直交変換係数ａｊがゼロに量子化されるか否かの判定は、直交変換係数ａｊを実際に量子化することによって行なってもよいが、直交変換係数ａｊがゼロに量子化される場合の最大の係数の値を閾値としてあらかじめ求めておき、この閾値と直交変換係数ａｊとを比較して、直交変換係数ａｊが閾値よりも小さければゼロに量子化されると判定すれば効率的な判定を行なうことができる。
【００９２】
符号化歪の計算が終わると、次に、すべての直交変換係数の処理が完了したか否かが判定される（ステップＳ６０６）。すべての直交変換係数の処理が完了していなければ、ｊをカウントアップ（ステップＳ６０７）して再度符号化歪の計算を行い、すべての直交変換係数の処理が完了していれば終了する。
【００９３】
このように、直交変換係数がゼロに量子化されるか否かを判定し、ゼロに量子化される係数については、（７）式にしたがって詳細な量子化歪の値を求め、それ以外の係数については（８）式で求まるあらかじめ定めた値を量子化歪の値として用いることにより、直交変換係数を符号化したときの符号化歪をより効率的に求めることが可能になる。
【００９４】
次に、モード判定器４０４は、推定された第１の符号量、第２の符号量および符号化歪から、画素ブロックごとにひとつの予測モードを選択する（ステップＳ５０８）。予測モードの選択は、（９）式にしたがって第１の符号量ＲＣｉ、第２の符号量ＲＯＨｉおよび符号化歪Ｄｉの重み付け和Ｊｉを求め、この和Ｊｉが最も小さい予測モードを選択することによって行なえばよい。
【数９】
2006140758.tif 000011
【００９５】
ここでλは、レート制御器４１２から送られる量子化ステップ幅ＱＳＴＥＰを用いて、（１０）式によって定まる定数である。
【数１０】
2006140758.tif 000012
【００９６】
このモード判定器４０４における予測モードの選択処理は、画素ブロックごとに行なわれ、各画素ブロックに対してひとつの予測モードが選択される。
【００９７】
モード判定器４０４で予測モードが選択されると、画素ブロックごとに選択された予測モードに対応する予測残差信号が直交変換器４０５に送られ、直交変換器４０５で直交変換係数に変換される。この直交変換係数は、量子化器４０６で量子化されて、エントロピー符号化器４１１によって符号化データとして出力される（ステップ５０９）。
【００９８】
また、エントロピー符号化器４１１は、画素ブロック単位の符号量の情報をレート制御器４１２に入力する。そして、レート制御器４１２は、画素ブロック単位で量子化ステップ幅を決定し、この量子化ステップ幅をモード判定器４０４に送る。
【００９９】
このように本発明の第４の実施形態に係わる動画像符号化装置によれば、予測モードごとの符号化により生じる符号量を推定するだけでなく、符号化により生じる符号化歪をも推定し、これらの符号量と符号化歪に基づいて予測モードの選択を行なうので、より高精度な符号化を行なうことが可能になる。また、符号化歪の推定においては、量子化処理によりゼロに量子化される直交変換係数については、正確な量子化歪の値を求め、それ以外の係数については、あらかじめ定めた定数を量子化歪の推定値として用いているので、より効率的な推定を行なうことが可能である。
【０１００】
なお、上述した実施形態では、直交変換係数の量子化歪ｄを、直交変換係数の係数値ａｉと量子化代表値Ｑｊの差分の二乗により求めたが、（１１）式に示すように、直交変換係数の係数値ａｉと量子化代表値Ｑｊの差分の絶対値を量子化歪ｄとしてもよい。
【数１１】
2006140758.tif 000013
【０１０１】
このときゼロ以外の量子化代表値に量子化される領域では、（８）式で求まる値の平方根を量子化歪とすればよい。
【０１０２】
このように、直交変換係数の係数値ａｉと量子化代表値Ｑｊの差分の絶対値を量子化歪とすることにより、二乗の計算を省略することができるので、より高速に量子化歪を計算することが可能になる。
【０１０３】
（第５の実施形態）
図１５は、本発明の第５の実施形態に係わる動画像符号化装置のハードウェア構成を示すブロック図である。
【０１０４】
この第５の実施形態に係わる動画像符号化装置は、複数のハードウェアモジュールが制御バス（Ｃｏｎｔｒｏｌ  ｂｕｓ）５０３で接続され、ＣＰＵ５０１により制御される。ハードウェアモジュール間のデータ転送は、ローカルメモリ（ｌｍ）を経由して行なわれる。また動画像符号化装置の外部とのデータ転送は、ＤＭＡコントローラ（ＤＭＡＣ）５０２により、外部メモリ（Ｅｘｔｅｒｎａｌ  Ｍｅｍｏｒｙ）５０６から外部データバス５０５および内部データバス（Ｄａｔａ  ｂｕｓ）５０４を経由して行なわれる。
【０１０５】
符号化処理のハードウェアモジュールは、動きベクトル検出を行なうＭＥＦ５０７、動き補償処理およびローカルデコード画像生成を行なうＭＣＬＤ５０８、直交変換／量子化／逆量子化／逆直交変換を行なうＤＣＴＩＤＣＴ５０９、可変長符号化あるいは可変長シンボル化を行なうＶＣＬ／ＢＩＮ５１０、可変長シンボルの算術符号化などを行なうＣＡＢＡＣ／ＮＡＬ／ＢＳ５１１、フレーム内予測を行なうＩｎｔｒａＰｒｅｄ５１２、デブロッキングループフィルタ処理を行なうＤＢＬＫ５１３で構成される。
【０１０６】
図１５のように構成された動画像符号化装置では、符号化処理できる最大の画素レート（１秒間あたりの画素数）は、ＣＰＵの性能などによって定まる。そのため、このような動画像符号化装置で複数の予測モードからひとつの予測モードを選択して符号化処理を行なう場合、動画像データのフレームレートが高い場合や動画像データの画像サイズが大きい場合には、すべての予測モードについて符号化処理を行なって符号量や符号化歪が小さい予測モードを選択していると、符号化処理しなければならない画素レートが、ハードウェアが処理できる最大の画素レートを超えてしまい、リアルタイムの符号化ができなくなる、という問題がある。
【０１０７】
一方、あらかじめひとつの予測モードだけを用いて符号化処理を行なう場合には、動画像データのフレームレートが低い場合や動画像データの画像サイズが小さい場合には、符号化処理する画素レートが、ハードウェアが処理できる最大の画素レートよりも小さくなるため、ハードウェアリソースが余る状態となる。
【０１０８】
したがって、ハードウェアが処理できる最大の画素レートを超えることなく、ハードウェアリソースを最大限に利用するためには、動画像データのフレームレートと画像サイズに応じて、まず複数の予測モードから一定の数の予測モードを選択し、選択された予測モードについてのみ符号化処理を行なうようにするとよい。
【０１０９】
特に、例えば、高精細テレビ（ＨＤＴＶ）を録画する際に、長時間録画を実現するため、画面の水平サイズを半分にして符号化する場合や、さらに長時間の録画のために、標準画質テレビ（ＳＤＴＶ）にダウンコンバートして符号化する場合などには、ハードウェアリソースを効率的に使い、複数の予測モードで符号化処理を行なってから画質の劣化の少ない予測モードを選択することが望ましい。
【０１１０】
次に図１５および図１６を用いて、本発明の第５の実施形態に係わる動画像符号化装置の動作について説明する。なお、図１６は、本発明の第５の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【０１１１】
まず、ＣＰＵ５０１は、動画像データのフレームレートと画像サイズから、符号化処理する予測モードの数を決定し、複数の予測モードから、その数だけ予測モードを選択する（ステップＳ７０１）。ここで予測モードの数Ｎは、（１２）式に示すように、ハードウェアが符号化処理できる最大の画素レートＲＭＡＸを、入力動画像データのフレームレートＦと画像サイズＳの積で除算して得られる値とする。
【数１２】
2006140758.tif 000014
【０１１２】
なお、予測モードの数は、このようにフレームレートと画像サイズの積の計算や、最大の画素レートとの間の除算の計算を行なうことなく、動画像データのフレームレートと画像サイズから、テーブル引きで求めることができるようにしておいてもよい。
【０１１３】
また、入力される動画像データのフレームレートが一定である場合には、入力される動画像データの画像サイズのみから、例えば、テーブル引きなどで予測モードの数を求めることができるようにしておいてもよい。また、逆に、入力される動画像データの画像サイズが一定である場合には、フレームレートのみから、例えば、テーブル引きなどで予測モードの数を求めることができるようにしておいてもよい。
【０１１４】
また、選択する予測モードは、例えば、画素ブロックの形状が異なる複数の予測モードを選択してもよいし、動き補償に用いる参照フレームが異なる複数の予測モードを選択してもよい。あるいは、すべての予測モードについて予測残差信号を算出し、予測残差信号の大きさが小さいものから順番に、上述した数だけ予測モードを選択できるようにしてもよい。
【０１１５】
次に、ＣＰＵ５０１は、ハードウェアを制御し、選択された予測モードごとに、参照画像を外部メモリ５０６からローカルメモリに読み込み、ハードウェアパイプラインを動作させて、画素ブロックに対する符号化処理を行ない、符号化処理により生じる符号量（ステップＳ７０２）および符号化歪を求める（ステップＳ７０３）。
【０１１６】
なお、符号化処理により生じる符号量は、実際にＣＡＢＡＣ／ＮＡＬ／ＢＳ５１１において可変長シンボルを算術符号化することにより求めてもよいが、可変長シンボルから、例えば、（１３）式によって推定することによって求めてもよい。
【数１３】
2006140758.tif 000015
【０１１７】
ここで、Ｒは、符号化処理により生じる符号量の推定値を表す。また、ＳＤＣＴは、予測残差信号の直交変換係数から得られるシンボル長であり、ＳＯＨは、予測モードに関連する付加情報から得られるシンボル長である。また、ａおよびｂは、それぞれのシンボル長に対する重み係数である。
【０１１８】
選択されたすべての予測モードについて符号化処理により生じる符号量および符号化歪が求められると、ＣＰＵ５０１は、予測モードごとに符号化処理により生じる符号量と符号化歪の重み付け和を求め、この重み付け和が最小となる予測モードを選択する（ステップＳ７０４）。
【０１１９】
そして、選択された予測モードに対応した符号化データが、ＤＭＡＣ５０２により、外部データバス５０５を通じて出力される（ステップＳ７０５）。
【０１２０】
図１７は、本発明の第５の実施形態に係わる動画像符号化装置により、図１８に示すように、各フレームの画像の画素数（画像サイズ）がそれぞれ３Ｍ（図１８（ａ））とＭ（図１８（ｂ））である２つの動画像を符号化した場合のパイプライン動作のタイミングチャートの例を示す図である。なお、それぞれの動画像のフレームレートは同じであるとする。
【０１２１】
このとき、図１８（ａ）および図１８（ｂ）に示す画像に対して、（１２）式にしたがって、ハードウェアが符号化処理できる最大の画素レートを動画像データのフレームレートと画素サイズの積で除算した値を求めると、その比は１：３となる。したがって、図１８（ａ）の画像に対して、図１７（ａ）に示すように、画素ブロックごとにひとつの予測モード（予測モード１）を用いて符号化処理を行なう場合、図１８（ｂ）の画像に対しては、図１７（ｂ）に示すように、画素ブロックごとに３つの予測モード（予測モード１から３）を用いて符号化すれば、ハードウェアリソースを最大限に利用した符号化が可能となる。
【０１２２】
このように、本発明の第５の実施形態に係わる動画像符号化装置によれば、ハードウェアが符号化処理できる最大の画素レート、動画像データのフレームレートおよび動画像データの画像サイズに応じて、まず複数の予測モードから、一定の数だけ予測モードを選択し、選択された予測モードについてのみ符号化処理を行なうので、ハードウェアリソースを効率的に用いて符号化処理を行なうことが可能になる。
【０１２３】
すなわち、上述した高精細テレビ（ＨＤＴＶ）の録画の例では、画面の水平サイズを半分にして符号化する場合には、通常の符号化の場合に比して２倍の数の予測モードについて符号化処理を行なうことが可能になり、また標準画質テレビ（ＳＤＴＶ）にダウンコンバートして符号化する場合には、ＨＤＴＶに比して画素レートが６分の１になるため、通常の符号化の場合に比して６倍の数の予測モードについて符号化処理を行なうことが可能になる。
【０１２４】
なお、上述した実施形態では、動画像データのフレームレートおよび動画像データの画像サイズから、ハードウェアリソースを最大限に利用した符号化を行なえるように予測モードの数を決定したが、このように予測モードの数を決定した上で、この予測モードの数を下回る数の予測モードを選択するようにしてもよい。この場合、ハードウェアリソースには余りが生じることになるが、符号化処理のリアルタイム性は保証することが可能になる。
【０１２５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１２６】
【図１】本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図。
【図２】本発明の第１の実施形態の動作を示すフローチャート。
【図３】本発明の第１の実施形態による符号化処理により生じる符号量と非ゼロ係数の個数との関係を示す図。
【図４】本発明の第１の実施形態の予測モードの選択動作を示すフローチャート。
【図５】本発明の第２の実施形態に係わる動画像符号化装置の構成を示すブロック図。
【図６】本発明の第２の実施形態の動作を示すフローチャート。
【図７】本発明の第３の実施形態に係わる動画像符号化装置の構成を示すブロック図。
【図８】本発明の第３の実施形態の動作を示すフローチャート。
【図９】本発明の第４の実施形態に係わる動画像符号化装置の構成を示すブロック図。
【図１０】本発明の第４の実施形態の動作を示すフローチャート。
【図１１】本発明の第４の実施形態の直交変換係数の係数値の出現頻度分布を示す図。
【図１２】本発明の第４の実施形態の直交変換係数の係数値の出現頻度分布と量子化代表値の関係を示す図。
【図１３】本発明の第４の実施形態の直交変換係数の係数値の出現頻度分布を一様分布と仮定した様子を示す図。
【図１４】本発明の第４の実施形態の符号化歪の推定動作を示すフローチャート。
【図１５】本発明の第５の実施形態に係わる動画像符号化装置の構成を示すブロック図。
【図１６】本発明の第５の実施形態の動作を示すフローチャート。
【図１７】本発明の第５の実施形態のパイプライン動作を示すタイミングチャート。
【図１８】本発明の第５の実施形態により符号化する画像の一例を示す図。
【符号の説明】
【０１２７】
１０１、２０１、３０１、４０１・・・動きベクトル検出器
１０２、２０２、３０２、４０２・・・Ｉｎｔｅｒ予測器
１０３、２０３、３０３，４０３・・・Ｉｎｔｒａ予測器
１０４，２０４，３０４，４０４・・・モード判定器
１０５、２０５、３０５、４０５・・・直交変換器
１０６、２０６、３０６、４０６・・・量子化器
１０７、２０７、３０７，４０７・・・逆量子化器
１０８、２０８、３０８、４０８・・・逆直交変換器
１０９、２０９、３０９、４０９・・・予測復号化器
１１０、２１０、３１０、４１０・・・参照フレームメモリ
１１１、２１１、３１１、４１１・・・エントロピー符号化器
４１２・・・レート制御器
５０１・・・ＣＰＵ
５０２・・・ＤＭＡコントローラ
５０３・・・制御バス
５０４・・・内部データバス
５０５・・・外部データバス
５０６・・・外部メモリ
５０７・・・動きベクトル検出器（ＭＥＦ）
５０８・・・動き補償処理およびローカルデコード画像生成器（ＭＣＬＤ）
５０９・・・直交変換／量子化／逆量子化／逆直交変換器（ＤＣＴＩＤＣＴ）
５１０・・・可変長符号化器（ＶＣＬ／ＢＩＮ）
５１１・・・算術符号化器（ＣＡＢＡＣ／ＮＡＬ／ＢＳ）
５１２・・・フレーム内予測器
５１３・・・デブロッキングフィルタ（ＤＢＬＫ）
【図１】
2006140758.tif 000016
【図２】
2006140758.tif 000017
【図３】
2006140758.tif 000018
【図４】
2006140758.tif 000019
【図５】
2006140758.tif 000020
【図６】
2006140758.tif 000021
【図７】
2006140758.tif 000022
【図８】
2006140758.tif 000023
【図９】
2006140758.tif 000024
【図１０】
2006140758.tif 000025
【図１１】
2006140758.tif 000026
【図１２】
2006140758.tif 000027
【図１３】
2006140758.tif 000028
【図１４】
2006140758.tif 000029
【図１５】
2006140758.tif 000030
【図１６】
2006140758.tif 000031
【図１７】
2006140758.tif 000032
【図１８】
2006140758.tif 000033