(57)【要約】【課題】高能率符号化規格であるＨ．２６４でエントロピー符号化にＣＡＶＬＣを用いる場合に、エントロピー符号化可能な最大値を超える直交変換出力が発生し符号化画像が劣化するのを防ぐことが可能な動画像符号化装置及び動画像符号化プログラムを提供する。【解決手段】複数あるイントラ予測モードおよびインター予測モードの評価値と優先度を予測モード評価手段１２１より求める。予測モード選択手段１２０により、求めた優先度の高い順から予測モードを選択する。選択した予測モードにより符号化を行う。レベル検査手段１４０により、エントロピー符号化手段１０３へ入力する符号化信号レベルを検査する。前記符号化信号レベルが所定の基準値を超えていたならば、予測モードを次に優先度の高いモードにして再度符号化を行う。符号化信号レベルが基準値を超えなくなるまで予測モードを選択しなおして符号化を行う処理を繰り返す。【選択図】      図１
2006093777.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を複数の画素の２次元配列からなるマクロブロックに分割し、前記マクロブロック単位でインター予測符号化またはイントラ予測符号化を行い、前記イントラ予測符号化または前記インター予測符号化にて生成された第一の符号化信号を入力として直交変換及び量子化符号化を行い、前記直交変換及び量子化符号化にて生成された第二の符号化信号を入力としてエントロピー符号化を行って第三の符号化信号を生成する動画像符号化装置において、
前記マクロブロック毎に前記イントラ予測符号化において採用候補となる複数のイントラ予測モード全てに対して、符号化効率の度合いを示すイントラ予測モード評価値を算出し、前記マクロブロック毎に前記インター予測符号化において採用候補となる複数のインター予測モード全てに対して、符号化効率の度合いを示すインター予測モード評価値を算出し、算出した前記イントラ予測モード評価値と前記インター予測評価値との全ての評価値を比較して、値が小さく符号化効率の良いと判断できる順に、対応する前記複数のイントラ予測モードと前記複数のインター予測モードとの各予測モード毎に優先度を付与する予測モード評価手段と、
前記各予測モードと、前記各予測モードに対応する前記優先度とを記憶する記憶手段と、
前記記憶手段に記憶されている各予測モードのなかから優先度の高い順に予測モードを選択する予測モード選択手段と、
前記予測モード選択手段により選択した予測モードが前記複数のイントラ予測モードのうちの一つである場合に、選択したイントラ予測モードに従ってイントラ予測符号化を行い、前記第一の符号化信号を出力するイントラ予測符号化手段と、
前記予測モード選択手段により選択した予測モードが前記複数のインター予測モードのうちの一つである場合に、選択したインター予測モードに従ってインター予測符号化を行い、前記第一の符号化信号を出力するインター予測符号化手段と、
前記イントラ予測符号化手段またはインター予測符号化手段により生成された前記第一の符号化信号を入力として直交変換及び量子化符号化を行い、前記第二の符号化信号を出力する直交変換及び量子化符号化手段と、
前記直交変換及び量子化符号化手段により生成された前記第二の符号化信号を入力として、前記第二の符号化信号の信号レベルが所定の基準値以内であるか否かを検査して、前記第二の符号化信号の信号レベルが前記所定の基準値以内であったならば、前記第二の符号化信号を後段に出力することとし、前記第二の符号化信号の信号レベルが前記所定の基準値を超えたならば、前記予測モード選択手段に異常符号化モード発生信号を送ると共に、前記第二の符号化信号を後段に出力しないこととするレベル検査手段と、
前記レベル検査手段より出力された前記第二の符号化信号を入力としエントロピー符号化を行って、前記第三の符号化信号を出力するエントロピー符号化手段とを有し、
前記予測モード選択手段が、前記レベル検査手段より前記異常符号化モード発生信号を受信したならば、現在選択し符号化を行っている予測モードを破棄し、前記記憶手段に記憶されている、次に優先度の高い予測モードを選択し、
その選択した予測モードに従って、前記イントラ予測符号化手段または前記インター予測符号化手段が、現在の符号化対象マクロブロックの予測符号化を再度行い新たな第一の符号化信号を生成し、
前記直交変換及び量子化符号化手段が、前記新たな第一の符号化信号を入力として直交変換及び量子化符号化処理を再度行い新たな第二の符号化信号を生成し、
前記レベル検査手段が、前記新たな第二の符号化信号の信号レベルを再度検査することとし、
前記レベル検査手段おいて、前記新たな第二の符号化信号の信号レベルが前記所定の基準値以内と判断されるまで、前記異常符号化モード発生信号受信時の信号処理を繰り返し行うことを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、前記予測モード選択手段は、前記異常符号化モード発生信号を受信した回数をカウントし、カウント値が所定数を超えたならば前記前記異常符号化モード発生信号受信時の信号処理を中止することを特徴とする動画像符号化装置。
【請求項３】
画像信号を複数の画素の２次元配列からなるマクロブロックに分割し、前記マクロブロック単位でインター予測符号化またはイントラ予測符号化を行い、前記イントラ予測符号化または前記インター予測符号化にて生成された第一の符号化信号を入力として直交変換及び量子化符号化を行い、前記直交変換及び量子化符号化にて生成された第二の符号化信号を入力としてエントロピー符号化を行って第三の符号化信号を生成する機能をコンピュータに実行させるための動画像符号化プログラムにおいて、
前記マクロブロック毎に前記イントラ予測符号化において採用候補となる複数のイントラ予測モード全てに対して、符号化効率の度合いを示すイントラ予測モード評価値を算出し、前記マクロブロック毎に前記インター予測符号化において採用候補となる複数のインター予測モード全てに対して、符号化効率の度合いを示すインター予測モード評価値を算出し、算出した前記イントラ予測モード評価値と前記インター予測評価値との全ての評価値を比較して、値が小さく符号化効率の良いと判断できる順に、対応する前記複数のイントラ予測モードと前記複数のインター予測モードとの各予測モード毎に優先度を付与する予測モード評価機能と、
前記各予測モードと、前記各予測モードに対応する前記優先度とを記憶する記憶機能と、
前記記憶機能に記憶されている各予測モードのなかから優先度の高い順に予測モードを選択する予測モード選択機能と、
前記予測モード選択機能により選択した予測モードが前記複数のイントラ予測モードのうちの一つである場合に、選択したイントラ予測モードに従ってイントラ予測符号化を行い、前記第一の符号化信号を出力するイントラ予測符号化機能と、
前記予測モード選択機能により選択した予測モードが前記複数のインター予測モードのうちの一つである場合に、選択したインター予測モードに従ってインター予測符号化を行い、前記第一の符号化信号を出力するインター予測符号化機能と、
前記イントラ予測符号化機能またはインター予測符号化機能により生成された前記第一の符号化信号を入力として直交変換及び量子化符号化を行い、前記第二の符号化信号を出力する直交変換及び量子化符号化機能と、
前記直交変換及び量子化符号化機能により生成された前記第二の符号化信号を入力として、前記第二の符号化信号の信号レベルが所定の基準値以内であるか否かを検査して、前記第二の符号化信号の信号レベルが前記所定の基準値以内であったならば、前記第二の符号化信号を後段に出力することとし、前記第二の符号化信号の信号レベルが前記所定の基準値を超えたならば、前記予測モード選択機能に異常符号化モード発生信号を送ると共に、前記第二の符号化信号を後段に出力しないこととするレベル検査機能と、
前記レベル検査機能より出力された前記第二の符号化信号を入力としエントロピー符号化を行って、前記第三の符号化信号を出力するエントロピー符号化機能とをコンピュータに実現させる動画像符号化プログラムであり、
前記予測モード選択機能が、前記レベル検査機能より前記異常符号化モード発生信号を受信したならば、現在選択し符号化を行っている予測モードを破棄し、前記記憶機能に記憶されている、次に優先度の高い予測モードを選択し、
その選択した予測モードに従って、前記イントラ予測符号化機能または前記インター予測符号化機能が、現在の符号化対象マクロブロックの予測符号化を再度行い新たな第一の符号化信号を生成し、
前記直交変換及び量子化符号化機能が、前記新たな第一の符号化信号を入力として直交変換及び量子化符号化処理を再度行い新たな第二の符号化信号を生成し、
前記レベル検査機能が、前記新たな第二の符号化信号の信号レベルを再度検査することとし、
前記レベル検査機能おいて、前記新たな第二の符号化信号の信号レベルが前記所定の基準値以内と判断されるまで、前記異常符号化モード発生信号受信時の信号処理をコンピュータに繰り返し行わせるための動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像情報を高能率符号化する動画像符号化装置に係り、特にＨ．２６４規格においてエントロピー符号化方式としてＣＡＶＬＣを用いた場合に好適な画質を提供する動画像符号化装置及び動画像符号化プログラムに関するものである。
【背景技術】
【０００２】
動画像符号化方式の国際標準規格としてＨ．２６４がある。Ｈ．２６４は従来方式であるＭＰＥＧ−２やＭＰＥＧ−４と同程度の画質を維持しながら、より圧縮効率を向上させた符号化方式であり、ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−４ Ｐａｒｔ１０等とも呼ばれている。
【０００３】
H．２６４の概要を以下に簡単に説明する。
［ピクチャ］
符号化が行われる画像を一般にピクチャと呼ぶ。Ｈ．２６４では、１つのフレームを１つのピクチャとして符号化したり（フレーム構造）、１つのフレームを２つのフィールドに分割し、分割した各フィールドをそれぞれ１つのピクチャとして符号化したり（フィールド構造）、１つのフレームを１つのピクチャとしながらもマクロブロックペア（１６画素×３２画素）と呼ばれる単位でフレームとフィールドを切り替えて符号化する（適応フレームフィールド構造）ことが可能である。また、１つのピクチャを複数のスライスに分割し、スライス単位でスライスタイプを設定することが可能である。スライスとは、一つのピクチャ内の例えば１６画素×１６画素の単位ブロックを水平方向に順次繋げた帯状の領域であり、スライス内で独立に復号が可能な単位である。
【０００４】
Ｈ．２６４では、インター予測符号化、イントラ予測符号化、直交変換符号化、量子化符号化、エントロピー符号化などの符号化手法が用いられている。以下、それぞれの手法について説明する。
［インター予測符号化］
インター予測符号化は、一般に時間的に連続する動画像間においては画像相関性が高いという特性を利用して符号量を圧縮する符号化手法である。動き補償予測符号化とも呼ばれる。
【０００５】
符号化対象ピクチャを所定の画素数の２次元ブロックに分割し、分割したブロック毎に、時間的に連続する参照ピクチャ上で一番相関の高いブロック領域を検出する。そして前記符号化対象ピクチャブロックと前記参照ピクチャ上で一番相関の高いブロック領域との差分をとった残差成分と、前記参照ピクチャ上のブロック領域が符号化対象ピクチャブロックからどのくらいずれた位置に存在するのかを表す動きベクトルとを求めて符号量を圧縮する手法である。
＜Ｉ，Ｐ，Ｂピクチャ＞
インター予測符号化の際に符号化対象ピクチャより時間的に前のピクチャのみを参照ピクチャとして符号化したピクチャをＰピクチャと呼ぶ。また、インター予測符号化の際に符号化対象ピクチャの時間的に前と後、両方のピクチャを参照ピクチャとして符号化したピクチャをＢピクチャと呼ぶ。インター予測符号化を行なわないピクチャをＩピクチャと呼ぶ。Ｉピクチャはインター予測符号化を行わないので符号化効率は良くないが、前記Ｐピクチャ、Ｂピクチャを生成するための参照ピクチャとして使用するために定期的に生成する必要がある。
＜マクロブロック＞
従来のＭＰＥＧ−２等では、インター予測符号化で用いられる分割ブロック領域は１６×１６画素、または８×８画素に固定されていた。Ｈ．２６４では、符号化効率を高めるために、１６×１６画素のブロック内を図５に示すようにさらに細かい７つのパターンのパーティションに分けてインター予測符号化を行う。１６×１６画素のブロックをマクロブロック（以下ＭＢと略する）と呼ぶ。８×１６画素、１６×８画素、８×８画素のブロックをＭＢパーティションと呼ぶ。4×８画素、８×４画素、４×４画素のブロックをＭＢサブパーティションと呼ぶ。
＜参照ピクチャ＞
また従来のＭＰＥＧ−２等では、インター予測符号化で用いられる参照ピクチャは、Ｐピクチャでは前方の１ピクチャ、Ｂピクチャでは前後それぞれ１ピクチャに固定されていた。Ｈ．２６４では符号化効率を高めるために、参照ピクチャとして、Ｐピクチャは前方最大１６ピクチャ、Ｂピクチャは前後それぞれ最大１６ピクチャまで参照ピクチャとして使用可能である。
＜インター予測モード＞
従って、Ｈ．２６４では、前記７パターンのブロック内パーティションと、参照ピクチャとの組み合わせの数だけインター予測符号化を行えるモードが存在することになる。これらのモードをインター予測モードと呼ぶ。インター予測符号化は、前記インター予測モードのうち一番符号化効率が良いと推定できる予測モードを選択して行うのが一般的である。
［イントラ予測符号化］
イントラ予測符号化は、同一画像内の所定画素の周辺には画像相関性が高い画素が存在する可能性が高いことを利用して符号量を圧縮する符号化手法である。イントラ予測符号化は従来のＭＰＥＧ−２規格等には無かった手法である。
【０００６】
符号化対象ピクチャを１６×１６画素、または４×４画素のブロックに分割して、分割したブロック毎に、近傍の参照画素領域との差分である残差成分を求めて符号量を圧縮する。
【０００７】
前記近傍の参照画素領域は、H．２６４で定義されている１３種類のイントラ予測モードにてどの位置の参照画素領域を用いるかが決定される。イントラ予測符号化は、前記イントラ予測モードのうち一番符号化効率が良いと推定できる予測モードを選択して行うのが一般的である。
【０００８】
前記イントラ予測モードとインター予測モードをまとめて本説明では予測モードと呼ぶ。
［直交変換符号化］
直交変換符号化は、前記インター予測符号化が行われた後の残差成分、または前記イントラ予測符号化が行われた後の残差成分を、所定の画素数のブロックに分割して、前記ブロック毎に２次元直交変換を施すと、ある直交変換係数の周りに大きな値が集中する画像の特性を利用した符号化手法である。
【０００９】
従来のＭＰＥＧ−２等では、分割ブロックサイズを８×８画素とし、直交変換には離散コサイン変換を用いていた。Ｈ．２６４では、符号化効率を高めるために、分割ブロックサイズを４×４画素とし、直交変換には整数変換を用いている。
［量子化符号化］
量子化は直行変換符号化を行うことによって発生した直交変換係数をマクロブロック毎に指定された量子化幅によってある代表値に変換する符号化手法である。後述するエントロピー符号化と組み合わせることで符号量圧縮を実現する。以下量子化符号化で生成される符号を変換係数と呼ぶ。
［エントロピー符号化］
エントロピー符号化は、出現頻度の高い変換係数値には短いビット長の符号を割り当て、出現頻度の低い変換係数値には長いビット長の符号を割り当てることにより符号量を圧縮する手法である。前記量子化符号化にて得られた変換係数行列に対して行われる。
【００１０】
従来のＭＰＥＧ−２等では、ハフマン符号化を用いていた。Ｈ．２６４では、符号化効率を高めるために、ＣＡＶＬＣまたはＣＡＢＡＣを用いている。
ＣＡＶＬＣはＣｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ（文脈適応型可変長符号化）の略称である。ＣＡＶＬＣは、符号シンボルの文脈に応じて適応的にＶＬＣテーブルを切り替えて使用することで、従来のＭＰＥＧ−２などで使用されていたハフマン符号化などの単純なＶＬＣと比較して、高い圧縮率を達成可能としているエントロピー符号化方式である。
【００１１】
ＣＡＢＡＣはＣｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ（文脈適応型２値算術符号化）の略称である。ＣＡＢＡＣは、符号シンボルの文脈に応じて算術符号化の系列を切り替えることで、ＣＡＶＬＣよりもさらに高い圧縮率を達成することができるエントロピー符号化方式である。
【００１２】
ＣＡＶＬＣを用いて変換係数をエントロピー符号化する場合、規格上で定められているエントロピー符号化可能な変換係数の最大値は２５２８である。しかしながら、実際に直交変換及び量子化で算出される可能性のある変換係数の最大値は３２７６となる。よって、Ｈ．２６４でＣＡＶＬＣを用いる符号化に際しては、２５２９以上３２７６までのエントロピー符号化不可能な変換係数が発生し得る。前記エントロピー符号化不可能な変換係数が発生した場合への対応を何もしないと、２５２９以上３２７６までの変換係数発生時のエントロピー符号化処理が動作不定となり、一般に大きな画質劣化が生じる。
上記課題に対する対処法として、変換係数が２５２９を超えた場合には、超えた値を全て２５２９に制限する手法や、画素値を量子化する際の分解能を示す値である量子化パラメータＱｐを大きくして分解能を粗くし、変換係数の値が全体的に小さくなるようにして符号化する、などの手法がＭＰＥＧ−２等では一般的に用いられている。
またさらに進んだ対処法として、非特許文献１に示すような、直交変換及び量子化符号化を行わないで画素値をそのまま多重化するＩ＿ＰＣＭモードと呼ばれる予測モードを用いて符号化する方法が紹介されている。
【００１３】
ここでは、上記Ｉ＿ＰＣＭモードを用いた符号化方法について図面及びフローチャートに基づき説明する。図６は従来例に係る動画像符号化装置の構成を示すブロック図である。図７は従来例に係る動画像符号化装置の処理手順を説明するフローチャートである。
【００１４】
入力画像信号２０は、複数画像格納できる入力画像メモリ２００に格納される。
インター予測符号化を行う場合には、動きベクトル検出器２０５において、符号化対象ピクチャＭＢ、全ての符号化対象ピクチャＭＢパーティション、及び全ての符号化対象ピクチャサブＭＢパーティションについて、各参照ピクチャに関する動きベクトルを求める。（ステップＳ２０１）。
【００１５】
動きベクトル検出器２０５において求めた、ＭＢ、各ＭＢパーティション毎、各サブＭＢパーティション毎の動きベクトルと、前記各動きベクトル検出に使用した参照ピクチャを指し示す値である参照インデックスを、動き情報メモリ２０６に格納する（ステップＳ２０２）。
【００１６】
イントラ予測器２０７は、符号化対象ピクチャＭＢと、再生ピクチャメモリ２１２に格納されている符号化対象ピクチャを所定のイントラ予測モードで符号化した後に復号化して元の画像を再生成したピクチャ（以下このように、画像を一旦符号化した後に復号化して元の画像を再生成したピクチャを再生ピクチャと呼ぶ）とを用いてイントラ予測を行い、イントラ予測信号を算出する。イントラ予測信号は、Ｈ．２６４規格で定められたイントラ予測モード全てに対して算出する。
【００１７】
算出したイントラ予測信号を予測モード評価値算出器２２１とスイッチ２３０に与える。
インター予測器２０８は、符号化対象ピクチャＭＢと、ＤＰＢ（Decoded Picture Buffer）２１４に格納されている参照用のデブロックフィルタ処理済み再生ピクチャを使用し、また動き情報メモリ２０６に格納された参照インデックス及び動きベクトルを使用してインター予測を行い、インター予測信号を算出する。インター予測信号は、Ｈ．２６４規格で定められた、ピクチャタイプと、ＭＢタイプと、予測タイプと、参照ピクチャとの組み合わせに応じた数だけ存在するインター予測モード全てに対してインター予測信号を算出する。
【００１８】
算出したインター予測信号を予測モード評価値算出器２２１とスイッチ２３０に与える。
予測モード評価値算出器２２１は、符号化対象ピクチャＭＢをＩピクチャとして符号化する場合には、全イントラ予測モードにおいて、符号化効率の度合いを示すイントラ予測モード評価値を算出する。
【００１９】
また、符号化対象ピクチャＭＢをＰピクチャまたはＢピクチャとして符号化する場合には、全イントラ予測モードにおいて符号化効率の度合いを示すイントラ予測モード評価値と全インター予測モードにおいて符号化効率の度合いを示すインター予測モード評価値とを算出する（ステップＳ２０４）。
【００２０】
本説明では、前記イントラ予測モード評価値と前記インター予測モード評価値をまとめて予測モード評価値と呼ぶ。
そして、算出した前記全予測モード評価値を予測モード選択器２２０に送る。
【００２１】
予測モード選択器２２０は、予測モード評価値算出器２２１から送られる全予測モード評価値の中で最も小さな予測モード評価値を持つモードを符号化対象ピクチャＭＢの予測モードとして選択する。（ステップＳ２０５）。
【００２２】
選択した予測モードがイントラ予測モードであれば、イントラ予測器２０７に選択したイントラ予測モードで符号化したイントラ予測信号をスイッチ２３０に出力するように指示する。そしてスイッチ２３０を端子３０ｄ側に繋いで、イントラ予測信号を減算器２０１に出力する。
【００２３】
選択した予測モードがインター予測モードであれば、インター予測器２０８に選択したインター予測モードで符号化したインター予測信号をスイッチ２３０に出力するように指示する。そしてスイッチ２３０を端子３０ｆ側に繋いで、インター予測信号を減算器２０１に出力する。
【００２４】
減算器２０１は、入力画像信号２０から、前記予測モード選択器２２０にて選択したイントラ予測信号またはインター予測信号を減算して、得られた残差信号をスイッチ２３１を介して直交変換及び量子化符号化器２０２に送る（ステップＳ２０６）。
【００２５】
直交変換及び量子化符号化器２０２は、入力された残差信号について、４×４ブロックを基本単位として直交変換及び量子化符号化処理を行い、得られた変換係数行列をスイッチ２３２を介してレベル検査器２４０に送る（ステップＳ２０７）。
【００２６】
レベル検査器２４０は、入力された変換係数行列の値を検査する（ステップＳ２０８）。
変換係数行列内で、ＣＡＶＬＣにてエントロピー符号化可能な最大値である２５２８を超えた値を検出しない場合には、前記変換係数行列をエントロピー符号化器２０３に送る。
【００２７】
一方、変換係数行列内で、ＣＡＶＬＣにてエントロピー符号化可能な最大値である２５２８を超えた値を検出した場合には、予測モードをＩ＿ＰＣＭモードに変更する。
Ｉ＿ＰＣＭモードに変更したら、２５２８を超えた値を検出した符号化対象ピクチャMBを、Ｉ＿ＰＣＭモードとして符号化しなおすように予測モード選択器２２０に指示する。
【００２８】
予測モード選択器２２０は、Ｉ＿ＰＣＭモードを指示されると、スイッチ２３０を端子３０eに、スイッチ２３１を端子３１ｄに、スイッチ２３２を端子３２ｄに、スイッチ２３３を端子３３ｄに、それぞれ繋ぐ。これらのスイッチ操作により、入力画像の画素値を、直交変換及び量子化符号化器２０２、レベル検査器２４０、エントロピー符号化器２０３を経由せずに多重化器２０４に送る。スイッチ２３０において端子３０eを選択すると、データ０発生器２４１と減算器２０１が繋がるため、入力画像からデータ０が減算されることになり、結果的に入力画像がそのままスイッチ２３１に入力されることになる。
【００２９】
エントロピー符号化器２０３は、入力された２次元の変換係数行列を１次元に変換し、その係数をＣＡＶＬＣに従って符号化して、得られたエントロピー符号列を多重化器２０４に送る（ステップＳ２１０）。
【００３０】
多重化器２０４は、復号時に使用する制御情報であるヘッダ情報と、イントラ予測モードであればエントロピー符号列とを、インター予測モードであればエントロピー符号列と動きベクトルと参照インデックスとを、Ｉ＿ＰＣＭモードであれば画素値とをそれぞれ多重化して、符号出力として出力する（ステップＳ２１１）。
【００３１】
符号化対象ピクチャＭＢが、Ｉピクチャであるか参照ピクチャとして使用されるピクチャの場合には以下の処理を行う。
逆直交変換及び量子化符号化器２１０は、直交変換及び量子化符号化器２０２の逆処理を行い、再生された残差信号を加算器２１１に送る（ステップＳ２２０）。
【００３２】
加算器２１１は、再生された残差信号と予測信号を加算して、得られた再生ピクチャを再生ピクチャメモリ２１２に送る。（ステップＳ２２１）。
Ｉ＿ＰＣＭモードと判断された符号化対象ピクチャＭＢについては、入力画像を逆直交変換及び量子化符号化器２１０を経由させないように、ＳＷ２３３を端子３３ｄに繋いで、直接加算器２１１に送られる。そして、加算器２１１でデータ０発生器２４１からスイッチ２３０を経由して送られてくるデータ０の信号と加算されてから再生ピクチャメモリ２１２に送られる。
【００３３】
再生ピクチャメモリ２１２はＭＢ単位で送られてくる符号化対象ピクチャの再生ピクチャを保持し（ステップＳ２２２）、１つの再生ピクチャについて全てのＭＢの符号化処理が終了した時点で、デブロックフィルタ２１３に再生ピクチャを送る。
【００３４】
デブロックフィルタ２１３は、４×４のブロック境界についてブロックノイズを低減するためのデブロック処理を行う。符号化しているピクチャが、参照ピクチャであるか出力時間に達していないピクチャである場合には、得られた再生ピクチャをＤＰＢ２１４に送る。（ステップＳ２３０）。
【００３５】
ＤＰＢ２１４は、入力された再生ピクチャを格納する（ステップＳ２３１）。ＤＰＢは最大で１６のピクチャを記憶することのできるピクチャメモリであり、ＤＰＢ内に格納されているピクチャについて、そのピクチャの出力時間になればそのピクチャを出力し、そのピクチャの消去時間になればそのピクチャをＤＰＢから消去する。また、参照インデックスに該当する再生ピクチャを参照ピクチャとして、動き補償予測器２０８に与える。
【非特許文献１】JVT-J021r2 "Analysis of maximum level allowed in H.264"
【発明の開示】
【発明が解決しようとする課題】
【００３６】
ＣＡＶＬＣを用いて変換係数をエントロピー符号化する場合、規格上で定められているエントロピー符号化可能な変換係数の最大値は２５２８である。しかしながら、実際に直交変換及び量子化で算出される可能性のある変換係数の最大値は３２７６となる。よって、Ｈ．２６４でＣＡＶＬＣを用いる符号化に際しては、２５２９以上３２７６までのエントロピー符号化不可能な変換係数が発生し得る。前記エントロピー符号化不可能な変換係数が発生した場合への対応を何もしないと、２５２９以上３２７６までの変換係数発生時のエントロピー符号化処理が動作不定となり、一般に大きな画質劣化が生じる。
上記課題に対する対処法として、変換係数が２５２９を超えた場合には、超えた値を全て２５２９に制限する手法や、画素値を量子化する際の分解能を示す値である、量子化パラメータＱｐを大きくして、分解能を粗くして符号化する手法がＨ．２６１やＭＰＥＧ−２などでは一般的に用いられている。
【００３７】
しかし、最大値を制限する手法では情報が欠落するので符号化画像が大きく劣化するという課題があった。
またＱｐを大きくして符号化する手法では、量子化誤差が大きくなるため、符号化画像が劣化するという課題があった。また、ＭＢ単位でＱｐを変更する際にＱｐに相当する符号量が別に必要となるため、特に低ビットレートにおいてその符号量増加が画質劣化の要因となる。
【００３８】
また従来例で詳しく説明したＩ＿ＰＣＭモードを用いる符号化手法では、エントロピー符号化可能な最大値を超える場合には直交変換符号化を行わないので、上記のようなエントロピー符号化可能な最大値を超えてしまう問題に起因する画質劣化は防ぐことができる。しかし、画像の画素値を圧縮しないでそのまま伝送するため、符号量が非常に大きくなってしまう。よって、バッファオーバーフローや他のＭＢへの符号量配分が小さくなることに起因する画質劣化が起きるという課題があった。
【００３９】
本発明は、以上の点を鑑みてなされたものである。
画像符号化に際してエントロピー符号化可能な最大値を超える変換係数を含む符号化対象ピクチャＭＢが発生した場合に、当該符号化対象ピクチャＭＢに対して施すイントラ予測符号化またはインター予測符号化の予測モードを、変換符号化係数がエントロピー符号化可能な最大値を超えない予測モードになるまで、符号化効率の良い順から順次変更して符号化を行いなおす。
【００４０】
上記手段により、符号化画質を劣化させることなく、かつ符号化効率の低下も最小限に抑えることが可能な、動画像符号化装置及び動画像符号化プログラムを実現することを本発明の目的とする。
【００４１】
また、上記の予測モードを変更して符号化を行いなおす処理の繰り返しの回数を制限することにより、符号化処理の高速化を図ることができる動画像符号化装置を実現することを本発明の第二の目的とする。
【課題を解決するための手段】
【００４２】
そこで上記課題を解決するために本発明は、下記の装置及びプログラムを提供するものである。
（１）画像信号を複数の画素の２次元配列からなるマクロブロックに分割し、前記マクロブロック単位でインター予測符号化またはイントラ予測符号化を行い、前記イントラ予測符号化または前記インター予測符号化にて生成された第一の符号化信号を入力として直交変換及び量子化符号化を行い、前記直交変換及び量子化符号化にて生成された第二の符号化信号を入力としてエントロピー符号化を行って第三の符号化信号を生成する動画像符号化装置において、
前記マクロブロック毎に前記イントラ予測符号化において採用候補となる複数のイントラ予測モード全てに対して、符号化効率の度合いを示すイントラ予測モード評価値を算出し、前記マクロブロック毎に前記インター予測符号化において採用候補となる複数のインター予測モード全てに対して、符号化効率の度合いを示すインター予測モード評価値を算出し、算出した前記イントラ予測モード評価値と前記インター予測評価値との全ての評価値を比較して、値が小さく符号化効率の良いと判断できる順に、対応する前記複数のイントラ予測モードと前記複数のインター予測モードとの各予測モード毎に優先度を付与する予測モード評価手段と（１２１、Ｓ１０４）、
前記各予測モードと、前記各予測モードに対応する前記優先度とを記憶する記憶手段と（１２２）、
前記記憶手段に記憶されている各予測モードのなかから優先度の高い順に予測モードを選択する予測モード選択手段と（１２０、Ｓ１０５）、
前記予測モード選択手段により選択した予測モードが前記複数のイントラ予測モードのうちの一つである場合に、選択したイントラ予測モードに従ってイントラ予測符号化を行い、前記第一の符号化信号を出力するイントラ予測符号化手段と（１０７、１０１、Ｓ１０６）、
前記予測モード選択手段により選択した予測モードが前記複数のインター予測モードのうちの一つである場合に、選択したインター予測モードに従ってインター予測符号化を行い、前記第一の符号化信号を出力するインター予測符号化手段と（１０８、１０１、Ｓ１０６）、
前記イントラ予測符号化手段またはインター予測符号化手段により生成された前記第一の符号化信号を入力として直交変換及び量子化符号化を行い、前記第二の符号化信号を出力する直交変換及び量子化符号化手段と（１０２、Ｓ１０７）、
前記直交変換及び量子化符号化手段により生成された前記第二の符号化信号を入力として、前記第二の符号化信号の信号レベルが所定の基準値以内であるか否かを検査して、前記第二の符号化信号の信号レベルが前記所定の基準値以内であったならば、前記第二の符号化信号を後段に出力することとし、前記第二の符号化信号の信号レベルが前記所定の基準値を超えたならば、前記予測モード選択手段に異常符号化モード発生信号を送ると共に、前記第二の符号化信号を後段に出力しないこととするレベル検査手段と（１４０、Ｓ１０８）、
前記レベル検査手段より出力された前記第二の符号化信号を入力としエントロピー符号化を行って、前記第三の符号化信号を出力するエントロピー符号化手段とを有し（１０３、Ｓ１１０）、
前記予測モード選択手段が、前記レベル検査手段より前記異常符号化モード発生信号を受信したならば、現在選択し符号化を行っている予測モードを破棄し、前記記憶手段に記憶されている、次に優先度の高い予測モードを選択し、
その選択した予測モードに従って、前記イントラ予測符号化手段または前記インター予測符号化手段が、現在の符号化対象マクロブロックの予測符号化を再度行い新たな第一の符号化信号を生成し、
前記直交変換及び量子化符号化手段が、前記新たな第一の符号化信号を入力として直交変換及び量子化符号化処理を再度行い新たな第二の符号化信号を生成し、
前記レベル検査手段が、前記新たな第二の符号化信号の信号レベルを再度検査することとし、
前記レベル検査手段おいて、前記新たな第二の符号化信号の信号レベルが前記所定の基準値以内と判断されるまで、前記異常符号化モード発生信号受信時の信号処理を繰り返し行うことを特徴とする動画像符号化装置。
（２）上記（１）に記載の動画像符号化装置において、前記予測モード選択手段は、前記異常符号化モード発生信号を受信した回数をカウントし、カウント値が所定数を超えたならば前記前記異常符号化モード発生信号受信時の信号処理を中止することを特徴とする動画像符号化装置。
（３）画像信号を複数の画素の２次元配列からなるマクロブロックに分割し、前記マクロブロック単位でインター予測符号化またはイントラ予測符号化を行い、前記イントラ予測符号化または前記インター予測符号化にて生成された第一の符号化信号を入力として直交変換及び量子化符号化を行い、前記直交変換及び量子化符号化にて生成された第二の符号化信号を入力としてエントロピー符号化を行って第三の符号化信号を生成する機能をコンピュータに実行させるための動画像符号化プログラムにおいて、
前記マクロブロック毎に前記イントラ予測符号化において採用候補となる複数のイントラ予測モード全てに対して、符号化効率の度合いを示すイントラ予測モード評価値を算出し、前記マクロブロック毎に前記インター予測符号化において採用候補となる複数のインター予測モード全てに対して、符号化効率の度合いを示すインター予測モード評価値を算出し、算出した前記イントラ予測モード評価値と前記インター予測評価値との全ての評価値を比較して、値が小さく符号化効率の良いと判断できる順に、対応する前記複数のイントラ予測モードと前記複数のインター予測モードとの各予測モード毎に優先度を付与する予測モード評価機能と（１２１、Ｓ１０４）、
前記各予測モードと、前記各予測モードに対応する前記優先度とを記憶する記憶機能と（１２２）、
前記記憶機能に記憶されている各予測モードのなかから優先度の高い順に予測モードを選択する予測モード選択機能と（１２０、Ｓ１０５）、
前記予測モード選択機能により選択した予測モードが前記複数のイントラ予測モードのうちの一つである場合に、選択したイントラ予測モードに従ってイントラ予測符号化を行い、前記第一の符号化信号を出力するイントラ予測符号化機能と（１０７、１０１、Ｓ１０６）、
前記予測モード選択機能により選択した予測モードが前記複数のインター予測モードのうちの一つである場合に、選択したインター予測モードに従ってインター予測符号化を行い、前記第一の符号化信号を出力するインター予測符号化機能と（１０８、１０１、Ｓ１０６）、
前記イントラ予測符号化機能またはインター予測符号化機能により生成された前記第一の符号化信号を入力として直交変換及び量子化符号化を行い、前記第二の符号化信号を出力する直交変換及び量子化符号化機能と（１０２、Ｓ１０７）、
前記直交変換及び量子化符号化機能により生成された前記第二の符号化信号を入力として、前記第二の符号化信号の信号レベルが所定の基準値以内であるか否かを検査して、前記第二の符号化信号の信号レベルが前記所定の基準値以内であったならば、前記第二の符号化信号を後段に出力することとし、前記第二の符号化信号の信号レベルが前記所定の基準値を超えたならば、前記予測モード選択機能に異常符号化モード発生信号を送ると共に、前記第二の符号化信号を後段に出力しないこととするレベル検査機能と（１４０、Ｓ１０８）、
前記レベル検査機能より出力された前記第二の符号化信号を入力としエントロピー符号化を行って、前記第三の符号化信号を出力するエントロピー符号化機能とをコンピュータに実現させる動画像符号化プログラムであり（１０３、Ｓ１１０）、
前記予測モード選択機能が、前記レベル検査機能より前記異常符号化モード発生信号を受信したならば、現在選択し符号化を行っている予測モードを破棄し、前記記憶機能に記憶されている、次に優先度の高い予測モードを選択し、
その選択した予測モードに従って、前記イントラ予測符号化機能または前記インター予測符号化機能が、現在の符号化対象マクロブロックの予測符号化を再度行い新たな第一の符号化信号を生成し、
前記直交変換及び量子化符号化機能が、前記新たな第一の符号化信号を入力として直交変換及び量子化符号化処理を再度行い新たな第二の符号化信号を生成し、
前記レベル検査機能が、前記新たな第二の符号化信号の信号レベルを再度検査することとし、
前記レベル検査機能おいて、前記新たな第二の符号化信号の信号レベルが前記所定の基準値以内と判断されるまで、前記異常符号化モード発生信号受信時の信号処理をコンピュータに繰り返し行わせるための動画像符号化プログラム。
【発明の効果】
【００４３】
本発明により以下の効果を得ることができる。
画像符号化に際してエントロピー符号化可能な最大値を超える変換係数を含む符号化対象ピクチャＭＢが発生した場合に、当該符号化対象ピクチャＭＢに対して施すイントラ予測符号化またはインター予測符号化の予測モードを、変換符号化係数がエントロピー符号化可能な最大値を超えない予測モードになるまで、符号化効率の良い順から順次変更して符号化を行いなおす。
【００４４】
上記手順により、符号化画質を劣化させることなく、かつ符号化効率の低下も最小限に抑えることが可能な、動画像符号化装置及び動画像符号化プログラムを実現することが可能となる。
【００４５】
また、上記の予測モードを変更して符号化を行いなおす処理の繰り返し回数を制限することにより、符号化処理の高速化を図ることができる動画像符号化装置を実現することが可能となる。
【発明を実施するための最良の形態】
【００４６】
本発明で用いているＨ．２６４のイントラ予測モードとインター予測モードについて詳細に説明する。
＜イントラ予測モード＞
イントラ予測モードについて説明する。Ｈ．２６４おいて、イントラ予測は１つの符号化対象ピクチャＭＢについて、１個の１６×１６画素または１６個の４×４画素のいずれかのブロック単位で行わる。イントラ予測符号化に用いる近傍画素領域を、どの方向のどの領域を使用するかで表１に示すような１３種類のイントラ予測モードが定義されている。
【００４７】
【表１】
2006093777.tif 000003
＜インター予測モード＞
Ｈ．２６４では、複数の参照ピクチャをインター予測符号化に用いることができる。従って、ＰピクチャおよびＢピクチャがどの参照ピクチャから予測されたかを判別するために、参照インデックスリストと呼ばれる二つのインデックス配列情報が各符号化対象ピクチャ毎の付加情報として定義されている。それぞれＲ０［Ｎ］、Ｒ１［Ｎ］と表される。Ｎは所定の参照ピクチャ数である。Ｒ０［Ｎ］は符号化対象ピクチャに対して時間的に前方の参照ピクチャを指し示す場合に使用され、Ｒ１［Ｎ］は符号化対象ピクチャに対して時間的に後方の参照ピクチャを指し示す場合に使用されるのが一般的であるが、特にこのような使い方に限定せずにどのような使い方をしても良い。
【００４８】
本説明ではＲ０に使用される参照ピクチャ数を３とし、Ｒ１に使用される参照ピクチャ数を１として説明する。
Ｐピクチャの予測の一例を図３に示す。Ｐピクチャは時間的に前方の参照ピクチャから予測される。図３においてピクチャＰ６は、ピクチャＰ４、ピクチャＰ２、ピクチャＩ０からインター予測を行うことができる。従って、ピクチャＰ６に付加する参照インデックスのＲ０［０］にはピクチャＰ４を指し示す値が格納され、Ｒ０［１］にはピクチャＰ２を指し示す値が格納され、Ｒ０［２］にはピクチャＩ０を指し示す値が格納される。
【００４９】
Ｐピクチャのインター予測モードについて説明する。表２にＰピクチャの場合のＭＢタイプ、ＭＢパーティション数と予測タイプを示す。表２において、予測タイプL0とは参照インデックスリストＲ０［Ｎ］を使用して予測を行う予測タイプであることを示す。
【００５０】
また表３は、図３のＰピクチャＰ６を符号化する際のインター予測符号化を行うことができるインター予測予測モードの組み合わせを列記したものである。全てを列記すると非常に多数になるので、ここでは表１の１６×８のＭＢタイプに限っての例を示す。実際には同様の多数のモードが他のＭＢタイプにも存在する。
【００５１】
１６×８のＭＢタイプではパーティションが２個あり、一つのパーティション毎に参照ピクチャとして３ピクチャを選択できる。従って、インター予測モードとしての組み合わせは表３に示す９通りとなる。
【００５２】
【表２】
2006093777.tif 000004
【００５３】
【表３】
2006093777.tif 000005
Ｂピクチャの予測の一例を図４に示す。一般的なＢピクチャは時間的に前方の参照ピクチャと後方の参照ピクチャから予測される。図４においてピクチャＢ５は、ピクチャＰ４、ピクチャＰ２、ピクチャＩ０の時間的に前方の参照ピクチャと、ピクチャＰ６の時間的に後方の参照ピクチャからインター予測を行うことができる。従って、ピクチャＢ５に付加する参照インデックスのＲ０［０］にはピクチャＰ４を指し示す値が格納され、Ｒ０［１］にはピクチャＰ２を指し示す値が格納され、Ｒ０［２］にはピクチャＩ０を指し示す値が格納される。また、Ｒ１［０］にはピクチャＰ６を指し示す値が格納される。
【００５４】
前記参照インデックスはＭＢまたはＭＢパーティション単位で指定可能であり、動きベクトルはＭＢ、ＭＢパーティション、またはサブＭＢパーティション毎に指定可能である。
【００５５】
次にＢピクチャのインター予測モードについて説明する。表４にＢピクチャの場合のＭＢタイプ、ＭＢパーティション数と各ＭＢパーティションが選択可能な予測タイプを示す。表４において、L0は参照インデックスリストＲ０を使用して予測を行う予測タイプ、L1は参照インデックスリストＲ１を使用して予測を行う予測タイプ、BiPredは参照インデックスリストＲ０と参照インデックスリストＲ１の両方を使用して予測を行う予測タイプ、Directはダイレクトモードと呼ばれる参照インデックスリストＲ０と参照インデックスリストＲ１の両方を使用して予測を行う予測タイプであることを示す。ダイレクトモードは参照インデックス及び動きベクトルは伝送しない予測タイプであって、参照インデックス及び動きベクトルは復号側において規格で定められた手順に従って算出される。
【００５６】
また表５は、図４のＢピクチャＢ５を符号化する際のインター予測符号化を行うことができるインター予測モードの組み合わせを列記したものである。全てを列記すると非常に多数になるので、ここでは表１の１６×８のＭＢタイプに限っての例を示す。実際には同様の多数のモードが他のＭＢタイプにも存在する。
【００５７】
１６×８のＭＢタイプではＭＢパーティションが２個あり、一つのＭＢパーティション毎に予測タイプが４種類、参照ピクチャがＬ０タイプでは３ピクチャ、Ｌ１タイプでは１ピクチャ選べる。従って、インター予測モードとしての組み合わせは表５に示すように４９通りとなる。
【００５８】
【表４】
2006093777.tif 000006
【００５９】
【表５】
2006093777.tif 000007
以上述べてきたように、Ｈ．２６４においては非常に多数の予測モードが存在する。従って、これら多数の予測モードから符号化効率が良く、かつ画質劣化の少ない予測モードを選択して符号化を行う処理は、Ｈ．２６４画像符号化処理の中で大変重要な処理である。
【００６０】
本発明は以上のように多数の予測モードを持つＨ．２６４規格の特徴を利用したものである。
上記にように多数の予測モードの中から、最も符号化効率が良いと判断できる予測モードを選択するわけであるが、選択した予測モードを用いて実際に符号化を行った際に、変換係数がエントロピー符号化可能な最大値を超えてしまった場合に符号化画像が劣化してしまう問題があるのは既に述べた通りである。
【００６１】
上記課題に対する対処法として、最大値を制限する手法や、量子化パラメータＱｐを大きくして符号化する手法や、Ｉ＿ＰＣＭモードを用いる手法があるが、いずれの手法でもそれぞれ画像劣化の程度は改善方向であるものの、依然として符号化画像が劣化する課題が残ることも既に述べた。
【００６２】
本発明では、符号化に際して以下の手順で予測モードを選択することにより、符号化画像の劣化を防ぎ、かつ符号化効率の低下を最小限に抑えることが可能となる。
まず、符号化対象ピクチャＭＢにおいて、上記多数の予測モード全てについて符号化効率の度合いである予測モード評価値を求める。次に予測モード評価値が小さく符号化効率がよいと判断できる予測モード順に、優先度を付与する。そして優先度の高い予測モードから順に選択して、実際に符号化を行う。このとき変換係数がエントロピー符号化可能な最大値を超えているかいないかを検査する。そして、変換係数がエントロピー符号化可能な最大値を超えなかったら、次の符号化対象ピクチャＭＢを選択して符号化を続行する。一方、変換係数がエントロピー符号化可能な最大値を超えてしまった場合には、次に高い優先度の予測モードを選択して、再度現在の符号化対象ピクチャＭＢについて符号化を行いなおす。この予測モードを選択して、再度現在の符号化対象ピクチャＭＢについて符号化を行いなおす処理を、変換係数がエントロピー符号化可能な最大値を超えなくなるまで繰り返す。
【００６３】
このように符号化効率の良い予測モード順に優先度を付与して、変換係数がエントロピー符号化可能な最大値を超えた場合は、付与した優先度の高い順から予測モードを選択して符号化を行いなおすことにより、符号化画質を劣化させることなく、かつ符号化効率の低下も最小限に抑えることが可能な、動画像符号化装置及び動画像符号化プログラムを実現できる。
【００６４】
また、上記の予測モードの選択および符号化を行いなおす処理の繰り返し回数を制限して、制限回数を超えた場合には予測モードを最初のモードに戻して固定し、従来の量子化パラメータQpを大きくする手法や、I＿PCMモードを用いる方法等に変更する構成にすると、符号化処理の高速化にも対応可能である。
【実施例１】
【００６５】
本発明の第一の実施例について説明する。
本実施例では、説明を簡略化するために、フレーム構造の場合に限って説明する。なお、フィールド構造や適応フレームフィールド構造である場合についても、本発明は適用することができる。本実施例ではフレーム構造について説明するため、フレームとピクチャは同じ意味となる。また、本実施例では、１つのピクチャは１つのスライスとするが、本発明は１つのピクチャを複数のスライスに分割する場合にも同様に適用することができる。
【００６６】
図１は本発明に係る動画像符号化装置の一実施例の構成を示すブロック図である。図２は本発明に係る動画像符号化装置の一実施例における処理手順を説明するフローチャートである。以下に本発明の一実施例を処理の流れに従って図１および図２を用いて説明する。
【００６７】
入力画像信号１０は、複数画像格納できる入力画像メモリ１００に格納される。
インター予測符号化を行う場合には、動きベクトル検出器１０５において、符号化対象ピクチャＭＢ、全ての符号化対象ピクチャＭＢパーティション、及び全ての符号化対象ピクチャサブＭＢパーティションについて、各参照ピクチャに関する動きベクトルを求める。（ステップＳ１０１）。
【００６８】
動きベクトル検出器１０５において求めた、ＭＢ、各ＭＢパーティション毎、各サブＭＢパーティション毎の動きベクトルと、前記各動きベクトル検出に使用した参照ピクチャを指し示す値である参照インデックスを、動き情報メモリ１０６に格納する（ステップＳ１０２）。
【００６９】
ここで、イントラ予測モードおよびインター予測モードモードを何回変更したかを記憶しておくための変数であるLoopCountを初期値０にセットする（ステップＳ１０３）。このLoopCountはイントラ予測モードおよびインター予測モードを変更する度に１を加算していくものである。なお本実施例ではLoopCountは、初期値を０にして１を加算していくが、初期値は０に限らずどのような値でもよく、また加算する値も１に限らずどのような値でもよい。また初期値に加算していくのではなく減算しても良い。
【００７０】
イントラ予測器１０７は、符号化対象ピクチャＭＢと、再生ピクチャメモリ１１２に格納されている符号化対象ピクチャを所定のイントラ予測モードで符号化した後に復号化して元の画像を再生成したピクチャ（以下このように、画像を一旦符号化した後に復号化して元の画像を再生成したピクチャを再生ピクチャと呼ぶ）とを用いてイントラ予測を行い、イントラ予測信号を算出する。イントラ予測信号は、Ｈ．２６４規格で定められたイントラ予測モード全てに対して算出する。
【００７１】
算出したイントラ予測信号を予測モード評価値算出および優先度付与器１２１とスイッチ１３０に与える。
インター予測器１０８は、符号化対象ピクチャＭＢと、ＤＰＢ（Decoded Picture Buffer）１１４に格納されている参照用のデブロックフィルタ処理済み再生ピクチャとを使用し、また動き情報メモリ１０６に格納された参照インデックス及び動きベクトルを使用してインター予測を行い、インター予測信号を算出する。インター予測信号は、例えば表２、表３、表４、表５の例で示したように、Ｈ．２６４規格で定められた、ピクチャタイプと、ＭＢタイプと、予測タイプと、参照ピクチャとの組み合わせに応じた数だけ存在するインター予測モード全てに対してインター予測信号を算出する。
【００７２】
算出したインター予測信号を予測モード評価値算出および優先度付与器１２１とスイッチ１３０に与える。
予測モード評価値算出および優先度付与器１２１は、符号化対象ピクチャＭＢをＩピクチャとして符号化する場合には、全イントラ予測モードにおいて符号化効率の度合いを示すイントラ予測モード評価値Ｊを算出する。
【００７３】
また、符号化対象ピクチャＭＢをＰピクチャまたはＢピクチャとして符号化する場合には、全イントラ予測モードにおいて符号化効率の度合いを示すイントラ予測モード評価値Ｊと全インター予測モードにおいて符号化効率の度合いを示すインター予測モード評価値Ｊとを算出する（ステップＳ１０４）。
【００７４】
本説明では、前記イントラ予測モード評価値と前記インター予測モード評価値をまとめて予測モード評価値と呼ぶ。
イントラ予測モードのイントラ予測モード評価値Ｊの計算では、まず全イントラ予測モードの再生ピクチャを得て、得られた再生ピクチャと符号化対象ピクチャＭＢとの誤差量Ｄをイントラ予測モード毎に順次算出する。誤差量Ｄは例えば数１に示す二乗誤差和にて求められる。ここで、Ｍは垂直方向のブロックの大きさ、Ｎは水平方向のブロックの大きさを示す。また、ｉはブロック内の垂直方向の位置、ｊはブロック内の水平方向の位置を示し、Ｓ［ｉ］［ｊ］は符号化対象ピクチャＭＢの位置（ｉ，ｊ）に相当する画素値、Ｒ［ｉ］［ｊ］は再生ピクチャ信号の位置（ｉ，ｊ）に相当する画素値を示す。イントラ予測の場合、参照用の再生ピクチャは符号化対象ピクチャの再生ピクチャである。
【００７５】
また、各イントラ予測モードにて実際に符号化した時に発生する符号化対象ピクチャＭＢの符号量Ｒを、イントラ予測モード毎に算出する。
前記各イントラ予測モード毎に得られた誤差量Ｄと発生符号量Ｒを用いて、各イントラ予測モード毎の符号化効率の度合いを示す各イントラ予測モード評価値Ｊを算出する。各イントラ予測モード評価値Ｊは例えば数２で求められる。
【００７６】
λはラグランジュ乗数と呼ばれる量子化パラメータＱＰに依存する定数であり、イントラ予測で用いるＩピクチャの場合には例えば数３から求められる。
インター予測モードのインター予測モード評価値Ｊの計算では、まず全インター予測モードの再生ピクチャを得て、得られた前記再生ピクチャと、符号化対象ピクチャＭＢとの誤差量Ｄを、インター予測モード毎に順次算出する。誤差量Ｄは例えば数１に示す二乗誤差和にて求められる。ここで、Ｍは垂直方向のブロックの大きさ、Ｎは水平方向のブロックの大きさす。また、ｉはブロック内の垂直方向の位置、ｊはブロック内の水平方向の位置を示し、Ｓ［ｉ］［ｊ］は符号化対象ピクチャの位置（ｉ，ｊ）に相当する画素値、Ｒ［ｉ］［ｊ］は再生ピクチャ信号の位置（ｉ，ｊ）に相当する画素値を示す。再生ピクチャ信号の位置（ｉ，ｊ）は当該インター予測モードに対応する動きベクトルにより決定される。インター予測の場合、参照用の再生ピクチャは符号化対象ピクチャの時間的に前後の参照ピクチャの再生ピクチャである。
【００７７】
また、各インター予測モードにて実際に符号化した時に発生する符号化対象ピクチャＭＢの符号量Ｒをインター予測モード毎に算出する。
前記各インター予測モードにて計算した誤差量Ｄと発生符号量Ｒを用いて、各インター予測モード毎の符号化効率の度合いを示すインター予測モード評価値Ｊを算出する。インター予測モード評価値Ｊは例えば数２で求められる。
【００７８】
λはラグランジュ乗数と呼ばれる量子化パラメータＱＰに依存する定数であり、Ｐピクチャの場合には例えば数３から求められる。またＢピクチャの場合は例えば数４から求められる。
【００７９】
【数１】
2006093777.tif 000008
【００８０】
【数２】
2006093777.tif 000009
【００８１】
【数３】
2006093777.tif 000010
【００８２】
【数４】
2006093777.tif 000011
各予測モード評価値Ｊは値が小さいほど符号量と歪が小さいと判断する。すなわち各予測モード評価値Ｊが小さいものほど予測モードとして符号化効率が良いモードであると判断される。このような処理により各予測モード評価値Ｊを求めて予測モードを評価する手法をレート歪最適化法と呼ぶ。
【００８３】
本実施例では、レート歪最適化法を用いて全予測モードを評価したが、誤差値のみで評価する歪最適化法で評価値を計算することも可能である。また符号量のみで評価するレート最適化法で評価値を計算することも可能である。さらには符号量や誤差量を近似的に求めるような手法を用いてもよい。また、評価する予測モードをあらかじめ限定して評価することも可能である。
【００８４】
次に、予測モード評価値算出および優先度付与器１２１は、符号化対象ピクチャＭＢをＩピクチャとして符号化する場合には、全イントラ予測モードのイントラ予測モード評価値Ｊを比較して、全イントラ予測モード評価値Ｊが小さなイントラ予測モードから順に優先度を付与する。
【００８５】
また、符号化対象ピクチャＭＢをＰピクチャまたはＢピクチャとして符号化する場合には、全イントラ予測モードと全インター予測モードとの予測モード評価値Ｊを比較して、予測モード評価値Ｊが小さなイントラ予測モードまたはインター予測モードから順に優先度を付与する。このようにして全イントラ予測モードおよび全インター予測モードと、対応する各予測モードに付与した優先度を予測モード選択器１２０に送る。
【００８６】
優先度について例を挙げて説明する。Ｉピクチャの符号化対象ピクチャＭＢを符号化する場合のイントラ予測モード評価値Ｊと予測モードの優先度の関係についての一例を表６に示す。最も小さなイントラ予測モード評価値Ｊを持つIntra16x16 mode0に優先度０を付与し、次に小さなイントラ予測モード評価値Ｊを持つIntra4x4 mode0に優先度１を付与する。以下、同様にして全てのイントラ予測モードについて優先度を付与する。なお本実施例では優先度は値が小さいほど優先順位が高いとしているが、優先度の付与のしかたは優先順位が決まるものであればどのような方法でもよい。
【００８７】
【表６】
2006093777.tif 000012
予測モード選択器１２０は、予測モード評価値算出および優先度付与器１２１から送られる全予測モードと、前記全予測モードに付与した優先度を、予測モード及び優先度記憶メモリ１２２に保持する。そして保持した全予測モードの優先度を調べて、優先度の高い順に予測モードを一つ選択し、選択した予測モードをその符号化対象ピクチャＭＢの予測モードとする。（ステップＳ１０５）。
【００８８】
表６を例に説明する。LoopCountが０で最初の予測モード選択処理の場合には、付与されている優先度が一番高い値の０であるイントラ予測モードであるIntra16x16 mode 0を予測モードとして選択する。LoopCountが１の場合は予測モード選択処理が２回目であるので、付与されている優先度が二番目に高い値の１であるイントラ予測モードであるIntra4x4 mode0を予測モードとして選択する。以下同様にLoopCountの増加に応じて、優先度の高いイントラ予測モードから順に予測モードとして選択していく。
【００８９】
なお、イントラ予測モードIntra4x4 mode0のように、１６個の４×４サブMBパーティションをもつイントラ予測モードについては、それぞれのサブMBパーティション毎にレート歪最適化法を行ってイントラ予測モード評価値を求めて、その総和をとった結果をイントラ予測モード評価値Ｊとする。
【００９０】
選択した予測モードがイントラ予測モードであれば、イントラ予測器１０７に選択したイントラ予測モードで符号化したイントラ予測信号をスイッチ１３０に出力するように指示する。そして、スイッチ１３０を端子３０a側に繋いでイントラ予測信号を減算器１０１に送る。
【００９１】
選択した予測モードがインター予測モードであれば、インター予測器１０８に選択したインター予測モードで符号化したインター予測信号をスイッチ１３０に出力するように指示する。そしてスイッチ１３０を端子３０ｃ側に繋いで、インター予測信号を減算器１０１に出力する
減算器１０１は、入力画像信号１０から、前記予測モード選択器１２０にて選択したイントラ予測信号またはインター予測信号を減算して、得られた残差信号を直交変換及び量子化符号化器１０２に送る（ステップＳ１０６）。
【００９２】
直交変換及び量子化符号化器１０２は、入力された残差信号について、４×４ブロックを基本単位として直交変換及びスケーリング処理を行い、得られた変換係数行列をレベル検査器１４０に送る（ステップＳ１０７）。スケーリング処理とは、演算量を削減するために直行変換の乗除算と量子化符号化とを同時に行う処理のことである。
【００９３】
レベル検査器１４０は、入力された変換係数行列の値を検査する（ステップＳ１０８）。
変換係数行列内で、ＣＡＶＬＣにてエントロピー符号化可能な最大値である２５２８を超えた値を検出しない場合には、前記変換係数行列をエントロピー符号化器１０３に送る。
【００９４】
一方、変換係数行列内で、ＣＡＶＬＣにてエントロピー符号化可能な最大値である２５２８を超えた値を検出した場合には、予測モード選択器１２０に異常予測モード発生信号を送ると共に、変換係数行列をエントロピー符号化器１０３には送らずに廃棄する。
【００９５】
予測モード選択器１２０は、現在の符号化対象ピクチャMBに対する直交変換及び量子化符号化終了時において、レベル検査器１４０から異常予測モード発生信号が送られてきたならば、LoopCountを１インクリメントする（ステップＳ１１４）。
【００９６】
そして予測モード選択器１２０は、インクリメントしたLoopCountの値を調べて、あらかじめ所定の数に決定している予測モード選択処理制限回数を超えているか否かを調べる。
【００９７】
LoopCountの値が、予測モード選択処理制限回数を超えていなかったならば、次に優先度の高い予測モードを選択する。
選択した予測モードがイントラ予測モードであれば、イントラ予測器１０７に選択したイントラ予測モードで符号化したイントラ予測信号を出力するように再度指示し、スイッチ１３０を端子３０a側に繋いでイントラ予測信号を減算器１０１に送る。
【００９８】
一方選択した予測モードがインター予測モードであれば、インター予測器１０８に選択したインター予測モードで符号化したインター予測信号を出力するように再度指示し、スイッチ１３０を端子３０ｃ側に繋いでインター予測信号を減算器１０１に送る。
【００９９】
減算器１０１は、入力画像信号１０から前記予測モード選択器１２０にて選択したイントラ予測信号またはインター予測信号を再度減算して、得られた残差信号を直交変換及び量子化符号化器１０２に送る（ステップＳ１０６）。
【０１００】
直交変換及び量子化符号化器１０２は、入力された残差信号について、４×４ブロックを基本単位として再度直交変換及びスケーリング処理を行い、得られた変換係数行列をレベル検査器１４０に送る（ステップＳ１０７）。
【０１０１】
上記のように、予測モード選択器１２０がレベル検査器１４０より異常予測モード発生信号を受け取った場合に行う一連の符号化処理を、レベル検査器１４０がエントロピー符号化可能な最大値である２５２８を超えた値を検出しなくなるまで繰り返す（ステップＳ１０８）。なお、異常予測モード発生信号を受け取った場合に行う一連の符号化処理の結果をレート歪最適化法の時にあらかじめ記憶しておくメモリを具備しておけば、一連の符号化処理は不要とすることもできる。
【０１０２】
このように符号化効率の良い予測モード順に優先度を付与して、変換係数がエントロピー符号化可能な最大値を超えた場合（レベル検査器１４０から異常予測モード発生信号を受け取った場合）は、付与した優先度の高い順から予測モードを選択しなおして、選択した予測モードにより符号化を行いなおすことにより、符号化画像を劣化させることなく、かつ符号化効率の低下も最小限に抑えることが可能となる。
【０１０３】
上記一連の符号化繰り返し処理を行っている途中で、LoopCountが、あらかじめ決定している所定の予測モード選択処理制限回数を超えた場合には、予測モード選択器１２０は予測モード選択処理による対応を中止して、予測モードを一番符号化効率の良い予測モードに戻して固定する（ステップＳ１１５）。そして、直交変換及び量子化符号化手段の入力分解能を決定する値である量子化パラメータＱｐに所定数を加算することにより、直交変換及び量子化符号化器入力の分解能を粗くする手法に移行する。本実施例ではQpを１ずつインクリメントして（ステップＳ１１６）、レベル検査器１４０がエントロピー符号化可能な最大値である２５２８を超えた値を検出しなくなるまで繰り返す処理とする（ステップＳ１０８）。
【０１０４】
本実施例では、量子化パラメータＱｐを粗くする手法において、Ｑｐを１インクリメントする手法を選択したがインクリメントする値は１に限らずどのような値でもよい。  また量子化パラメータＱｐを粗くする手法ではなく、従来例で詳細に説明したＩ＿ＰＣＭモードを選択する手法に移行しても良い。
【０１０５】
このように予測モード選択処理を行う繰り返し回数を制限することにより、符号化処理の高速化にも対応できる。
なお、予測モード選択処理の回数制限は必ずしも行う必要はなく、全ての予測モードを優先度の順に応じて選択するだけでもよい。
【０１０６】
エントロピー符号化器１０３は、入力された２次元の変換係数行列を１次元に変換し、その係数をＣＡＶＬＣに従って符号化して、得られたエントロピー符号列を多重化器１０４に送る（ステップＳ１１０）。
【０１０７】
多重化器１０４は、復号時に使用する制御情報であるヘッダ情報と、イントラ予測モードであればエントロピー符号列とを、インター予測モードであればエントロピー符号列と動きベクトルと参照インデックスとを、Ｉ＿ＰＣＭモードであれば画素値とをそれぞれ多重化して、符号出力として出力する（ステップＳ１１１）。
【０１０８】
符号化対象ピクチャＭＢが、Ｉピクチャであるか参照ピクチャとして使用されるピクチャの場合には以下の処理を行う。
逆直交変換及び量子化符号化器１１０は、直交変換及び量子化符号化器１０２の逆処理を行い、再生された残差信号を加算器１１１に送る（ステップＳ１２０）。
【０１０９】
加算器１１１は、再生された残差信号と予測信号を加算して、得られた再生ピクチャを再生ピクチャメモリ１１２に送る。（ステップＳ１２１）。
再生ピクチャメモリ１１２はＭＢ単位で送られて来る符号化対象ピクチャの再生ピクチャを保持し（ステップＳ１２２）、１つの再生ピクチャについて全てのＭＢの符号化処理が終了した時点で、デブロックフィルタ１１３に再生ピクチャを送る。
【０１１０】
デブロックフィルタ１１３は、４×４のブロック境界についてブロックノイズを低減するためのデブロック処理を行う。符号化しているピクチャが、参照ピクチャであるか出力時間に達していないピクチャである場合には、得られた再生ピクチャをＤＰＢ１１４に送る。（ステップＳ１３０）。
【０１１１】
ＤＰＢ１１４は、入力された再生ピクチャを格納する（ステップＳ１３１）。ＤＰＢは最大で１６のピクチャを記憶することのできるピクチャメモリであり、ＤＰＢ内に格納されているピクチャについて、そのピクチャの出力時間になればそのピクチャを出力し、そのピクチャの消去時間になればそのピクチャをＤＰＢから消去する。また、参照インデックスに該当する再生ピクチャを参照ピクチャとして、動き補償予測器１０８に与える。
【０１１２】
さらにまた、本発明は上記した動画像符号化装置の機能をコンピュータに実現させるためのプログラムも含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【０１１３】
【図１】本発明による動画像符号化装置の構成を説明する図である。
【図２】本発明による動画像符号化装置の処理手順を説明するフローチャートである。
【図３】Ｈ．２６４において行われるＰピクチャの動き補償予測の例を説明する図である。
【図４】Ｈ．２６４において行われるＢピクチャの動き補償予測の例を説明する図である。
【図５】Ｈ．２６４におけるＭＢのパーティションパターンを説明する図である。
【図６】従来例の動画像符号化装置の構成を説明する図である。
【図７】従来例による動画像符号化装置の処理手順を説明するフローチャートである。
【符号の説明】
【０１１４】
１０    画像入力
２０    符号出力
１００  入力画像メモリ
１０１  減算器
１０２  直交変換及び量子化符号化器
１０３  エントロピー符号器
１０４  多重化器
１０５  動きベクトル検出器
１０６  動き情報メモリ
１０７  イントラ予測器
１０８  インター予測器
１１０  逆直交変換及び量子化符号化器
１１１  加算器
１１２  再生ピクチャメモリ
１１３  デブロックフィルタ
１１４  ＤＰＢ
１２０  予測モード選択器
１２１  予測モード評価値算出および優先度付与器
１２２  予測モード及び優先度記憶メモリ
１３０  スイッチ
１４０  レベル検査器
【図１】
2006093777.tif 000013
【図２】
2006093777.tif 000014
【図３】
2006093777.tif 000015
【図４】
2006093777.tif 000016
【図５】
2006093777.tif 000017
【図６】
2006093777.tif 000018
【図７】
2006093777.tif 000019