(57)【要約】【課題】入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の符号化モードから１つのモードを選択し、選択された符号化モードで前記画素ブロックを符号化する動画像符号化方法において、処理負担等の増加を抑えつつ、かつ好適なモード選択をなす発明を提供する。【解決手段】入力画像は、予測信号生成部１０８にて処理され、処理負担の少ない簡易モード判定によって複数の符号化モードに対して簡易符号化コストを計測する。符号化モードは量子化ステップに基づいて候補を絞られた後、ＭＢ予測モード選択部１０９にて、レート−歪み最適化を用いたモード判定により符号化効率の高い符号化モードを選択する。選択された符号化モードは直交変換部１０２、及び量子化部１０３にて変換量子化され、可変長符号化された後に多重化され、出力される。【選択図】      図１
2005191706.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化方法において、
前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成ステップと、
前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成ステップと、
前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算ステップと、
前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択ステップと、
前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測ステップと、
前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択ステップと、
を具備する
ことを特徴とする動画像符号化方法。
【請求項２】
前記第１符号化モード選択ステップにおいて、
前記簡易符号化コストと前記詳細符号化コストとが合致したか否かの候補正解率と、前記量子化ステップ幅との相関関係に基づいて所定の候補数を決定する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記第１符号化モード選択ステップにおいて、
前記候補数を前記量子化ステップ幅に対応して増加または減少させて、所定の候補数を決定する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
前記第１符号化モード選択ステップにおいて、
前記量子化ステップに対応して単調に変動する閾値関数を用いて、前記閾値関数で計算された値より前記簡易符号化コストが小さい候補を選択して、所定の候補数を決定する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項５】
入力画像信号を複数の画素ブロックに分割し、フレーム内の複数の方向から１つの方
向を決定し、前記フレーム内で前記決定された方向の、既に符号化された画素から予測
信号を生成し、前記予測信号と前記画素ブロック信号との残差信号を符号化する、フ
レーム内画像符号化方法において、
前記複数の方向を間引いた複数の方向から、それぞれ予測信号を生成し、前記複数の予測信号から、前記間引いた複数の方向からの予測におけるそれぞれの第１の符号化コストを計算し、前記第１の符号化コストが最小となる第１の予測方向を決定する第１階層探索ステップと、
前記第１の予測方向の近傍角となる複数の予測方向について、それぞれ予測信号の生成及び第２の符号化コストの計算を行う第２階層探索ステップと、
前記第１の符号化コスト及び第２の符号化コストの中から、符号化コストが最小となる予測方向を決定し、前記決定された予測方向を用いて、前記画素ブロック信号の符号化を行う符号化モード判定ステップと、
を具備する
ことを特徴とする、フレーム内画像符号化方法。
【請求項６】
前記第１階層探索ステップを行う前に、前記参照画素と隣接する複数の画素ブロックの予測方向から前記画素ブロックの予測方向を推定し、前記推定された予測方向の予測信号を生成、及び符号化コストを計算し、その符号化コストが閾値より小さいときは、その予測方向を前記画素ブロックの予測モードと決定し、閾値より大きいときは前記第２階層探索ステップまでを行い、符号化候補として用いる
ことを特徴とする請求項５記載の動画像符号化方法。
【請求項７】
入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の符号化モードから１つのモードを選択して符号化を行う場合に、ブロックサイズの異なるフレーム内符号化を行う動画像符号化方法において、
大画素ブロックに含まれる各小画素ブロックの各符号化モードの予測を行う小画素ブロック符号化モード判定ステップと、
前記決定された各小画素ブロックの各予測モードの重み付き頻度を計算する重み付き計算ステップと、
前記計算された小画素ブロックの各予測モードの重み付き頻度と、前期小画素ブロックの各予測モードの分散値を用いて、前記大画素ブロックの少なくとも１つ以上の予測方向を推定し、前記推定された少なくとも１つ以上の予測方向を優位な予測モード候補として選択し、前記選択された１つ、または、複数の予測モード候補の中で予測精度の高い予測モード候補を選択する大画素ブロック予測モード選択ステップと、
を具備する
ことを特徴とする動画像符号化方法。
【請求項８】
入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の符号化モードから１つのモードを選択して符号化を行う場合に、フレーム内予測符号化とフレーム間予測符号化が混在する動画像符号化方法において、
フレーム内符号化ピクチャ、または、フレーム内符号化スライスにおいては、高精度なフレーム内予測符号化モード判定を行い、
フレーム間符号化ピクチャ、または、フレーム間符号化スライスにおいては、簡易的なフレーム内予測符号化モード判定ステップを行う
ことを特徴とする動画像符号化方法。
【請求項９】
入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の符号化モードから１つのモードを選択して符号化を行う場合に、フレーム内符号化とフレーム間符号化が混在する動画像符号化方法において、
マクロブロック毎に、簡易的なモード判定によりフレーム内符号化であるか、あるいはフレーム間符号化を仮決定する簡易モード判定処理ステップと、
仮決定されたフレーム内符号化、フレーム間符号化のいずれかについて、より高精度なモード判定を行う高精度モード判定ステップと、
を具備する
ことを特徴とする動画像符号化方法。
【請求項１０】
入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化装置において、
前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成手段と、
前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成手段と、
前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算手段と、
前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択手段と、
前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測手段と、
前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択手段と、
を具備する
ことを特徴とする動画像符号化装置。
【請求項１１】
入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化方法をコンピュータによって実現するためのプログラムにおいて、
前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成機能と、
前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成機能と、
前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算機能と、
前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択機能と、
前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測機能と、
前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択機能と、
を実現する
ことを特徴とする動画像符号化方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の符号化モードのいずれかを選択して符号化を行う動画像符号化方法、動画像符号化装置及びプログラムに関するものである。
【背景技術】
【０００２】
複数の予測モードや、複数のブロック形状を持つ予測符号化を用いた動画像符号化方法が、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとのジョイントにより、ＩＴＵ−Ｔ
Ｒｅｃ．Ｈ．２６４及びＩＳＯ／ＩＥＣ  １４４９６−１０として審議されている（以下、「Ｈ．２６４」という）。
【０００３】
このＨ．２６４のフレーム内予測符号化では、予測ブロック毎に４×４の予測ブロックと１６×１６の予測ブロックの形状が選択可能であり、また、複数の予測モードの中から１つの予測モードを選択して予測することが可能になっている。従来の符号化方式であるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のフレーム内予測符号化では、選べる予測モードが多くなかったが、Ｈ．２６４では予測ブロック形状が１６×１６画素ブロック、４×４画素ブロックと小ブロック化されており、豊富な予測モードの中から画像の特徴に応じて最適なモードを選択することが可能となっている。フレーム間予測符号化においては、従来は８×８画素ブロックサイズ以上の予測が用いられていたが、Ｈ．２６４では４×４画素ブロックサイズでの予測が可能で、さらに既に符号化された複数枚の参照画像からの動き補償により、従来方法よりも高精度な予測が可能となっている。このように、ブロック毎に選択可能な予測モードの数を増やし、より予測効率の高い符号化モードを選択することで、符号化効率の向上が図られている。
【０００４】
また、発生符号量を拘束条件として、ラグランジュ未定乗数法を用いて符号化制御を行うレート−歪み最適化方法が提案されている。これは、実際に符号化して得られる発生符号量と、符号化歪み（例えば、原画像とローカルデコード画像の二乗誤差、平均二乗誤差等）から、符号化効率の最も高い符号化モードを選択する方法である。
【０００５】
しかし、この方法の問題点として、符号化モード数及びブロック形状数が増大すると、モードの取り得る組み合わせの数だけ繰り返し符号化する必要が生じるため、実計算時間が増大する。
【０００６】
画素ブロック毎に符号化モードの適切な選択を行うことは重要であり、従来からモード選択方法に関する技術が提案されている。
【０００７】
(1) 予測誤差の小さい符号化モードを選択する方法（特許文献１参照）。
【０００８】
(2) 予測残差信号などから発生符号量を推定して、推定された発生符号量が最小となる符号化モードを選択する方法（特許文献２参照）。
【０００９】
(3) 各符号化モードについて、それぞれ実際に符号化を行ってみて、符号量が最小の符号化モードを選択する方法（特許文献１、特許文献３参照）。
【００１０】
(4) （３）の方法に加えて、各符号化モード毎に符号化歪み、すなわち復号化された画像と原画像との誤差を計算し、発生符号量と符号化歪みとのバランスにおいて、最適な符号化モードを選択する方法（非特許文献１参照）。
【特許文献１】特開２００３−１５３２８０公報
【特許文献２】特開平１０−２９０４６４号公報
【特許文献３】特開平９−３２２１７６号公報
【非特許文献１】Thomas Wiegand and Berand Girod,"Multi-frame motion compensated prediction for video transmission",Kluwer Academic Publishers 2001
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、（１）や（２）の方法では、推測や予測に基づいて符号化モードの選択を行っているのでその選択が適切でない場合もあり、符号化効率の高い符号化を行えない場合がある。
【００１２】
これに対し、（３）や（４）の方法では、実際の符号化による符号量計測結果に基づいた選択を行っているので、符号化効率の高い符号化を行えることが一般に知られている。しかしながら、（３）や（４）の方法では、選択可能な符号化モード毎に、実際に符号化して発生符号量を計測しなければならず、符号化効率が改善する反面、符号化モード数が多い場合、符号化に必要な演算量やハードウェア規模が大きくなり、エンコーダのコスト増を招くという問題点がある。
【００１３】
そこで本発明は、上記に鑑みてなされたものであって、複数のモードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ、好適なモード選択をなすことができる動画像符号化方法、動画像符号化装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
請求項１に係る発明は、入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化方法において、前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成ステップと、前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成ステップと、前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算ステップと、前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択ステップと、前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測ステップと、前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択ステップと、を具備することを特徴とする動画像符号化方法である。
【００１５】
請求項２に係る発明は、前記第１符号化モード選択ステップにおいて、前記簡易符号化コストと前記詳細符号化コストとが合致したか否かの候補正解率と、前記量子化ステップ幅との相関関係に基づいて所定の候補数を決定することを特徴とする請求項１記載の動画像符号化方法である。
【００１６】
請求項３に係る発明は、前記第１符号化モード選択ステップにおいて、前記候補数を前記量子化ステップ幅に対応して増加または減少させて、所定の候補数を決定することを特徴とする請求項１記載の動画像符号化方法である。
【００１７】
請求項４に係る発明は、前記第１符号化モード選択ステップにおいて、前記量子化ステップに対応して単調に変動する閾値関数を用いて、前記閾値関数で計算された値より前記簡易符号化コストが小さい候補を選択して、所定の候補数を決定することを特徴とする請求項１記載の動画像符号化方法である。
【００１８】
請求項５に係る発明は、入力画像信号を複数の画素ブロックに分割し、フレーム内の複数の方向から１つの方向を決定し、前記フレーム内で前記決定された方向の、既に符号化された画素から予測信号を生成し、前記予測信号と前記画素ブロック信号との残差信号を符号化する、フレーム内画像符号化方法において、前記複数の方向を間引いた複数の方向から、それぞれ予測信号を生成し、前記複数の予測信号から、前記間引いた複数の方向からの予測におけるそれぞれの第１の符号化コストを計算し、前記第１の符号化コストが最小となる第１の予測方向を決定する第１階層探索ステップと、前記第１の予測方向の近傍角となる複数の予測方向について、それぞれ予測信号の生成及び第２の符号化コストの計算を行う第２階層探索ステップと、前記第１の符号化コスト及び第２の符号化コストの中から、符号化コストが最小となる予測方向を決定し、前記決定された予測方向を用いて、前記画素ブロック信号の符号化を行う符号化モード判定ステップと、を具備することを特徴とする動画像符号化方法である。
【００１９】
請求項６に係る発明は、前記第１階層探索ステップを行う前に、前記参照画素と隣接する複数の画素ブロックの予測方向から前記画素ブロックの予測方向を推定し、前記推定された予測方向の予測信号を生成、及び符号化コストを計算し、その符号化コストが閾値より小さいときは、その予測方向を前記画素ブロックの予測モードと決定し、閾値より大きいときは前記第２階層探索ステップまでを行い、符号化候補として用いることを特徴とする請求項５記載の動画像符号化方法である。
【００２０】
請求項７に係る発明は、入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の符号化モードから１つのモードを選択して符号化を行う場合に、ブロックサイズの異なるフレーム内符号化を行う動画像符号化方法において、大画素ブロックに含まれる各小画素ブロックの各符号化モードの予測を行う小画素ブロック符号化モード判定ステップと、前記決定された各小画素ブロックの各予測モードの重み付き頻度を計算する重み付き計算ステップと、前記計算された小画素ブロックの各予測モードの重み付き頻度と、前期小画素ブロックの各予測モードの分散値を用いて、前記大画素ブロックの少なくとも１つ以上の予測方向を推定し、前記推定された少なくとも１つ以上の予測方向を優位な予測モード候補として選択し、前記選択された１つ、または、複数の予測モード候補の中で予測精度の高い予測モード候補を選択する大画素ブロック予測モード選択ステップと、を具備することを特徴とする動画像符号化方法である。
【００２１】
請求項８に係る発明は、入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の符号化モードから１つのモードを選択して符号化を行う場合に、フレーム内予測符号化とフレーム間予測符号化が混在する動画像符号化方法において、フレーム内符号化ピクチャ、または、フレーム内符号化スライスにおいては、高精度なフレーム内予測符号化モード判定を行い、フレーム間符号化ピクチャ、または、フレーム間符号化スライスにおいては、簡易的なフレーム内予測符号化モード判定ステップを行うことを特徴とする動画像符号化方法である。
【００２２】
請求項９に係る発明は、入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の符号化モードから１つのモードを選択して符号化を行う場合に、フレーム内符号化とフレーム間符号化が混在する動画像符号化方法において、マクロブロック毎に、簡易的なモード判定によりフレーム内符号化であるか、あるいはフレーム間符号化を仮決定する簡易モード判定処理ステップと、仮決定されたフレーム内符号化、フレーム間符号化のいずれかについて、より高精度なモード判定を行う高精度モード判定ステップと、を具備することを特徴とする動画像符号化方法である。
【００２３】
請求項１０に係る発明は、入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化装置において、前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成手段と、前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成手段と、前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算手段と、前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択手段と、前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測手段と、前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択手段と、を具備することを特徴とする動画像符号化装置である。
【００２４】
請求項１１に係る発明は、入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化方法をコンピュータによって実現するためのプログラムにおいて、前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成機能と、前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成機能と、前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算機能と、前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択機能と、前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測機能と、前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択機能と、を実現することを特徴とする動画像符号化方法のプログラムである。
【発明の効果】
【００２５】
本発明によれば、複数の符号化モードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ好適なモード選択をなすことができるという効果を奏する。
【発明を実施するための最良の形態】
【００２６】
以下に添付図面を参照して、この発明に係る動画像符号化方法及び動画像符号化装置の最良な実施形態を詳細に説明する。
【００２７】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図である。
【００２８】
（１）動画像符号化装置の構成
図１によると、動画像信号は符号化部１１０に入力される。この符号化部１１０の減算器１０１は入力信号を直交変換する直交変換部（例えば離散コサイン変換器）１０２及び直交変換係数（ＤＣＴ係数）を量子化する量子化部１０３を介して可変長符号化部１１２に接続される。量子化部１０３の出力端は局部復号器を構成する逆量子化部１０４、逆直交変換部１０５、加算器１０６を介してフレームメモリ１０７に接続される。フレームメモリ１０７の出力端は後述する予測信号生成部１０８の入力端に接続される。予測信号生成部１０８の出力端は後述するＭＢ（マクロブロック）予測モード選択部１０９に接続される。このＭＢ予測モード選択部１０９の出力端は減算器１０１及び加算器１０６に夫々接続される。
【００２９】
可変長符号化部１１２の出力端は多重化部１１３を介して出力バッファ１１４に接続される。符号化制御部１１１は符号化部１１０を制御するために設けられている。
【００３０】
上記構成において、入力動画像信号は、複数の画素ブロックに分割され、画素ブロック毎に予測画像生成部１０８に入力される。予測画像生成部１０８では、フレームメモリ１０７に記録された参照フレームを用いて、複数の予測モードの中から最適な予測モードが選択され、選ばれた予測モードを用いて予測画素信号が生成される。予測画素信号に基づいてＭＢ予測モード選択部１０９により最適な予測モードが選択される。すなわち、予測画像生成部１０８により選択された最適予測モードにより生成された予測画素信号に基づいてＭＢ予測モード選択部１０９はフレーム間予測モード及びフレーム内予測モードの一方の最適な予測モードを選択する。選択された予測モードに対応する予測画素信号が減算器１０１に入力される。減算器１０１により予測画素信号と入力画像信号との予測残差信号が計算される。この予測残差信号は直交変換部１０２に入力され、直交変換（例えばＤＣＴ変換）される。
【００３１】
直交変換係数は量子化部１０３により量子化され、量子化された直交変換係数は、ＭＢ予測モード選択部１０９から出力される予測モード情報、量子化係数等の予測方法に関する情報とともに、可変長符号化部１１２により可変長符号化される。これらの符号化データは多重化部１１３により多重化され、出力バッファ１１４を通して符号化データとして出力される。
【００３２】
また、量子化された直交変換係数は、逆量子化部１０４及び逆直交変換部１０５を介して局部復号される。局部復号信号、すなわち復号予測残差信号は加算器１０６において予測信号と加算されて、参照フレームとしてフレームメモリ１０７へと保存される。
【００３３】
符号化制御部１１１は発生符号量のフィードバック制御及び量子化特性制御などを行い、発生符号量の制御を行うレート制御や、予測部の制御、符号化全体の制御を行う。
【００３４】
これら各部の機能は、コンピュータに記憶されたプログラムによって実現される。
【００３５】
（２）符号化方式
次に図２を用いて、具体的な符号化方式の説明を行う。
【００３６】
本実施形態では、マクロブロック毎に複数のブロック形状があり、各々が複数の予測モードを持っている予測符号化に関する。
【００３７】
（２−１）予測信号生成部１０８の動作説明
図２は、予測信号生成部１０８の内部構造を示すものである。
【００３８】
予測信号生成部１０８は符号化制御部１１１によって制御され、ある符号化モードで符号化されるときに、図１のフレームメモリ１０７に蓄積されていた参照画素信号２０４と入力画像信号２０５が予測制御部２０１へと入力される。
【００３９】
予測制御部２０１では、符号化制御部１１１からのピクチャタイプ情報、或いはスライスタイプ情報に応じてフレーム内符号化部２０２、もしくはフレーム間符号化部２０３に参照画素信号２０４、入力画像信号２０５を入力する。
【００４０】
フレーム内符号化部２０２及びフレーム間符号化部２０３は、それぞれ符号化処理を行い、予測画素信号２０６、予測モード情報２０７、直交変換係数２０８を出力する。
【００４１】
（２−２）フレーム内符号化部２０２、フレーム間符号化部２０３の動作説明
図３は、図２のフレーム内符号化部２０２、もしくはフレーム間符号化部２０３の内部構造を示すものである。
【００４２】
図２で与えられた参照画素信号２０４は予測部３０１へと入力され予測画素信号３１２を生成する。前記符号化モードで予測された予測画素信号３１２は減算器３０７で入力画像信号２０５から減算されて、予測残差信号３０８となり、候補選択部３０２に入り、これらの予測画素信号３１２と入力画素信号２０５を用いて前記候補選択部３０２では符号化する予測モードを選択する。同時に予測画素信号３１２も候補選択部３０２へと入力される。
【００４３】
ここで予測残差信号がHadamard Transform部（以下、「ＨＴ部」という）３１７へと入力され、アダマール変換され、変換残差信号として候補選択部３０２へ入力されても良い。
【００４４】
予測残差信号３０８は直交変換部３０３にて直交変換され、変換係数は量子化部３０４にて量子化される。量子化された変換係数は可変長符号化され、ビットストリームデータとして出力されるとともに、可変長符号化時に計測された発生符号量Ｒ３１３が画素ブロック予測モード決定部３１５へと入力される。
【００４５】
一方、前記量子化部３０４で量子化された変換係数は逆量子化部３０５にて逆量子化され、さらに直交変換係数２０８は逆直交変換部３０６にて逆変換されて量子化後の残差信号となり、加算器３０９を介して予測画素信号３１２と加算され、復号画素信号３１６となる。
【００４６】
画素ブロック予測モード決定部３１５では、可変長符号化部３１０で計測される発生符号量Ｒ３１３と符号化歪み算出部３１１で計測される符号化歪みＤ３１４から、ラグランジュ未定乗数法を用いて各予測モードのラグランジュコストを計算し、コスト最小となる予測モードを最適予測モードとして選択し、そのときの予測モード情報２０７及び符号化された直交変換係数２０８が符号化され多重化される。
【００４７】
（３）モード判定の処理
図１のＭＢ予測モード選択部１０９及び図３の画素ブロック予測モード決定部３１５のモード判定では、ラグランジュの未定乗数法に基づくレート−歪み最適化を用いる。
【００４８】
ここでラグランジュコストをＪ、発生符号量をＲ及び符号化歪みをＤとする。λはラグランジュ乗数であり、量子化ステップに依存する。
【数１】
2005191706.tif 000003
【００４９】
ラグランジュ未定乗数法は、ある拘束条件を持つ最大化問題を拘束条件無しの最大化問題へと帰着させる手法である。符号化歪みＤは、予測残差信号３０８を直交変換、量子化し、逆量子化し、逆直交変換した後に予測画素信号３１２と加算されて得られる復号画素信号３１６と入力画像信号２０５との二乗誤差として計算される。また発生符号量Ｒは量子化した直後の直交変換係数を用いて可変長符号化した後に得られるため、複数のモード、或いはブロック形状を有する場合、計算負荷が増大する。
【００５０】
第１のモード判定部では、画素ブロック毎の入力画像信号及び符号化モードにて予測された予測画素信号を用いて、前記画素ブロックの予測残差信号３０８を計算する。この予測残差信号３０８の絶対誤差値（ＳＡＤ）と符号化時の副情報を用いて複数ある予測モードを推定する。この推定された符号化モードの中から最適なモード選択を行うことを特徴としている。これにより、ブロック形状毎、または、符号化モード毎に、選択する予測モードの数を変更することが可能となる。
【００５１】
第２のモード判定部では、最適候補群として選択された予測モードのみを直交変換、量子化、逆量子化、逆直交変換、及び符号化すればよいため、予測モードループ内での直交変換、量子化、逆量子化、逆直交変換、符号化等の処理を省き、また可変長符号化部３１０、符号化歪み算出部３１１での演算量を大幅に減少することが可能である。
【００５２】
ここで予測モードｉに対する予測残差信号３０８の絶対誤差は次式で計算される。
【数２】
2005191706.tif 000004
【００５３】
ｋはマクロブロック内の画素番号である。例えばＨ．２６４のフレーム内符号化が選択された場合、前記符号化モード情報を符号化するための符号量は符号化モードによって異なっている。またフレーム間符号化では、各ブロック形状、参照フレーム番号、及び選択されたＭＶによって符号化モードの符号量が異なる。このような副情報を詳細符号化コストの符号量に対応して簡易符号化コストの簡易符号量として、判定式に導入し、次式のモード判定式を用いる。副情報はその符号化モードを選択したときの、符号化モード自身の符号量を表している。
【数３】
2005191706.tif 000005
【００５４】
ここでλｅｆｆｅｃｔはラグランジュ乗数を表し、数１のλとは値が異なる。
【００５５】
それぞれの予測モードｉに対して簡易符号化コストを計算し、この簡易符号化コストから候補選択を行う。つまり、選択されない予測モードは図３の第１のモード判定で符号化されないため、大幅な演算量の低減が見込める。さらに、簡易符号化コストはフレーム内符号化及びフレーム間符号化などの符号化モードに依存しない、予測残差信号と簡易符号量を元に計算することが可能である。このため本方式の実装及び開発に関するハードウェアコストの削減が実現できる。
【００５６】
（４）符号化モード候補の選択方法
符号化モード候補の選択に関する第１の実施形態について説明する。
【００５７】
本実施形態では、量子化ステップ幅に応じて選択する候補の個数を適応的に変更できるようにしたものである。
【００５８】
符号化モード毎の詳細符号化コストを推定するものとして上記の簡易符号化コストを計算し、コストの値に応じて適応的に選択する候補の数を変える。この場合、量子化ステップの値によって、簡易符号化コストが大きいか、小さいかの判断を行う。
【００５９】
例えば、ある量子化ステップにて計算された１つの符号化モードの簡易符号化コストが他の符号化モードの簡易符号化コストよりも大幅に小さければ、その符号化モードが好適であると判断し、他の符号化モードは計算しない。
【００６０】
一方、計算された符号化モードがどれも似たような値を取る場合は、それらは候補として残し、第１のモード判定を終了する。
【００６１】
これにより第２のモード判定ではラグランジュコストを求め、レート−歪み最適化によって最適な符号化モードが選ばれる。
【００６２】
このように、簡易符号化コストを計算し、その値に応じて適応的に選択する候補の数を変える事により、符号化効率を落とすことなく、高速に符号化できる。
【００６３】
以下、符号化モード候補の選択方法を詳しく説明する。
【００６４】
（４−１）第１選択方法
符号化モード候補の第１選択方法について説明する。
【００６５】
第１選択方法では、量子化ステップ幅に応じて選択する候補の個数を変更できるようにしたものである。
【００６６】
例として図４右にこの実施形態の例を示す。簡易符号化コストを昇順に並べ、上位から予め決められた個数だけ候補を選択する。
【００６７】
符号化モード毎に量子化ステップ幅に対する簡易符号化コストとラグランジュコストの相関が異なるため、簡易符号化コストで選ばれた選択候補の中に、ラグランジュコストで選択されるべき候補が残っているならば、符号化効率は低下しない。このため、量子化ステップ幅に応じて、選択する候補の個数を調節することによって、符号化効率を落とすことなく、選択されない候補の符号化及び量子化、直交変換等の演算量を削減することができる。
【００６８】
ラグランジュコストを用いたモード判定において、ラグランジュ乗数は量子化ステップに依存した指数関数的な振る舞いをするように調整される。一般に、量子化ステップの値が小さいと、残差の符号化に係る時間が増大し、全体の演算量は増える傾向にあり、大きいと量子化により残差の符号量が少なくなるため符号化に消費される時間が減る。
【００６９】
量子化ステップ幅に応じて候補数を選択するために、上述したラグランジュコストと簡易符号化コストの相関を予め調べる必要がある。全量子化ステップ幅において、相関が変わらない場合、候補数は固定でよい。例えばＨ．２６４などの符号化方式の場合、フレーム内符号化の簡易符号化コストとラグランジュコストのコスト相関は量子化ステップが小さいときに小さくなり、量子化ステップが大きくなると相関も大きくなる傾向がある。一方、フレーム間符号化に関しては、簡易符号化コストとラグランジュコストのコスト相関は量子化ステップにあまり依存しない。よって、選択候補の個数を固定として良い。予め候補数を決める例を図１９（ａ）（ｂ）を用いて示す。
【００７０】
図１９（ａ）（ｂ）の縦軸は簡易符号化コストで上位２つを選択したときに、その２つがラグランジュコスト評価で選択されるかされないかを示す候補正解率の例である。候補正解率１００％とは、簡易符号化コストで選択された符号化モードが完全にラグランジュコストで選択された符号化モードと一致していることを示し、符号化結果が１００％一致することを示す。簡易符号化コストで選択される符号化モードと詳細符号化コストで選択される符号化モードが合致するかを表す候補正解率は画像、または画像サイズにあまり影響を受けず、量子化ステップ幅の値に強く依存している。このため、予め符号化モード毎の量子化ステップ依存性を調べておくことにより、画像に対してより頑健な符号化が実現できる。
【００７１】
図１９（ａ）は正解率が右上がりで上がっている。このような場合、量子化ステップが小さい領域では候補数を増やし、大きい領域では候補数を減らすことによって符号化効率を落とすことなく、演算量を削減できる。
【００７２】
図１９（ｂ）の場合、量子化ステップが小さい領域では候補数を減らし、大きい領域では候補数を増やすことで符号化効率を維持できる。
【００７３】
このように各々のモード判定で、予め量子化ステップに応じた簡易符号化コストとラグランジュコストの相関を調べ、さらに簡易符号化コストで選択されるモードと詳細符号化コストで選択されるモードが合致するかの正解率を調べ、量子化ステップの領域毎の候補選択数を変えることにより、全ビットレート帯において安定して高速な符号化が可能となり、且つ符号化効率を落とすことなく実現できる。
【００７４】
（４−２）第２選択方法
符号化モード候補の第２選択方法について説明する。
【００７５】
第２選択方法では、選択する符号化モード候補数を、量子化ステップに応じて単調に変動させる。
【００７６】
例えば、Ｈ．２６４などの符号化方式の場合、フレーム内符号化のコスト相関は量子化ステップが小さいときに小さくなり、量子化ステップが大きくなると相関も大きくなる傾向がある。
【００７７】
つまり、高ビットレートでは候補数を増やし、低ビットレートでは候補を減らすことにより、符号化効率を落とすことなく符号化が可能である。一方、様々な符号化モードが混在するレベルでのモード判定においては、量子化ステップの値に応じて選択されやすい符号化モードが存在する。
【００７８】
例えば、Ｈ．２６４のフレーム内符号化において、４×４ブロックサイズ予測はブロックが小さく詳細な予測が可能であるため、量子化ステップが小さい領域で非常に選択されやすい傾向がある。
【００７９】
しかし、符号化モード自身の符号量が多いため、量子化ステップが大きい領域では選択されにくい。つまり、量子化ステップが小さい領域ではほとんど４×４予測を選べば、符号化効率は落ちない。一方、大画素ブロックサイズ予測である１６×１６ブロックサイズ予測ではブロックサイズが大きく、選択できる予測モードも少ないため、予測精度は４×４ブロックサイズ予測に比べると高くない。しかし、符号化モード自身の符号量が少ないため、量子化ステップが大きくなると選択されやすくなる。よって、量子化ステップ大の領域では４×４ブロックサイズ予測と１６×１６ブロックサイズ予測が適度に混在し、モード判定が難しくなる。このように様々な符号化モードが混在するモード判定においては、量子化ステップが大きくなるにつれ、候補数を単調に増やすことで、符号化モードが取り得る候補を増やし、符号化効率を維持する。
【００８０】
（５）第１の実施形態の変更例
第１の実施形態の変更例について説明する。
【００８１】
本変更例では、簡易符号化コストが閾値関数より小さい予測モードのみを選択する。この閾値は量子化ステップに依存し、上述した第１の実施形態と同様、全量子化ステップ値帯において演算量の削減と安定した符号化を維持する。
【００８２】
このモード選択の概略を図４左で表す。複数の予測モードに対して計算されたコストの大きさがある閾値よりも大きい場合は、最適候補となり得る確率が低いと判断される。つまり、予測残差が大きいために、符号化後の画質が悪くなり、あるいは符号量が大きくなることが予め推測される。この閾値は量子化ステップとともに変化する値を取り、例えば、量子化ステップＱＰに対する減少関数となる。例として次式を示す。
【数４】
2005191706.tif 000006
【００８３】
ここでθｔｈは前記閾値を表している。ＱＰが小さい場合、ラグランジュ乗数λが小さくなり、符号化歪みの小さい符号化モードが選ばれやすくなり、予測残差の小さい予測モードが最適モードに選ばれる可能性が高いため、閾値θｔｈを大きく取り候補数を減らすことによって、演算量の大幅な削減を行う。逆に、ＱＰが大きい場合には選択する予測モードを多く取り、複数の候補から最適な符号化モードを選ぶことにより、画質劣化が少なくなるよう調整するべきである。また、ＱＰが大きくなると量子化により、符号量が減少し、必要とされる演算量が減少するため、符号化モードを多く選択したとしても、演算量の増大が少ない。このように量子化ステップＱＰによって選択する予測モードの候補数を調整することによって、画質を維持したままモード判定に費やす演算量を大幅に削減し、且つ全量子化ステップ帯において安定した符号化を行うことが可能である。
【００８４】
（５−１）符号化処理
図１５は、本実施形態で符号化する場合の処理のフローチャートを表している。
【００８５】
図１５に示すフローチャートによると、先ず、最小コストを更新する変数ｍｉｎ＿ｃｏｓｔを初期化する（ステップ０１）。符号化制御によって予測信号生成（ステップ０２）が実施されると、算出された予測値と入力画像０３、さらにその符号化モードの符号量を用いて簡易符号化コスト計算を行う（ステップ０４）。計算された簡易符号化コストに基づいて第１の実施形態及び第２，３の実施形態に基づいた第１の予測モード選択（ステップ０５）を行い、この第１の予測モード選択で選ばれたモードに対して、予測モードループにおいて、直交変換（ステップ０６）、量子化（ステップ０７）、逆量子化（ステップ０８）、逆直交変換（ステップ１０）、可変長符号化（ステップ１１）及び符号化歪み計算（ステップ１３）が順次行われる。
【００８６】
この後、可変長符号化によって得られた符号量Ｒ１２、さらに符号化歪み計算で得られた符号化歪みＤ１４に基づきラグランジュコスト評価が行われ（ステップ１５）、前記予測モードのｍｉｎ＿ｃｏｓｔ＞Ｊが判定される（ステップ１６）。この判定がＹＥＳであると、最小コストが更新され（ステップ１７）、予測モードが更新される（ステップ１８）。これにより第２の選択ステップにおける最適符号化モードが１つに絞られる。
【００８７】
予測モード更新後及びｍｉｎ＿ｃｏｓｔ＞Ｊの判定がＮＯのとき、予測終了が決定される（ステップ１９）。ステップ０５〜１８の予測モードループがモード選択により選ばれた予測モードの数だけ繰り返されると、予測ループが終了する。その後、参照画素が更新され（ステップ２０）、処理は終了する。
【００８８】
この後、前記予測モードで得られた復号画像信号が参照画素信号としてメモリに保存され、次のマクロブロックの予測に利用される。
【００８９】
（５−２）グランジュコストを計算してモード判定を行う処理
一方、発生符号量と符号化歪みを実測し、これらを基にグランジュコストを計算し、モード判定を行う方式は図５に示す形態であり、このときの処理過程は図１６のフローチャートに示される。
【００９０】
（５−２−１）フレーム内符号化部２０２とフレーム間符号化部２０３の構成
図５は図２のフレーム内符号化部２０２（及びフレーム間符号化部２０３）を示す。
【００９１】
これによると、参照画素信号２０４が予測部５０１へ入力されると、予測部５０１は予測画素信号５１２を出力する。予測画素信号５１２は減算器５０９により入力画像信号２０５から減算され、残差信号５１１が生成される。この残差信号５１１は直交変換部５０２によって直交変換（例えばＤＣＴなど）される。直交変換により得られた直交変換係数は量子化部５０３によって量子化される。量子化変換係数は可変長符号化部５０６へと送られ、ここで可変長符号化されて発生符号量Ｒ（５１３）が求められる。
【００９２】
また、量子化直交変換係数は逆量子化部５０４によって逆量子化され、さらに逆直交変換部５０５によって復号化され、局部復号信号が生成される。この局部復号信号は予測部５０１から得られる予測画素信号５１２と加算される。加算結果は復号画素信号５１６として符号化歪み算出部５０７へと入力される。符号化歪み算出部５０７は入力画像信号２０５と復号画素信号５１６とに基づいて符号化歪みＤ（５１４）を算出する。符号化歪みＤ（５１４）と発生符号量Ｒ（５１３）は予測モード決定部５０８へ入力される。
【００９３】
予測モード決定部５０８はラグランジュ未定乗数法を用いて符号化歪みＤ（５１４）と発生符号量Ｒ（５１３）からラグランジュコストを算出し、コスト最小の予測モードを最終予測モードとして、復号画素信号５１６、直交変換係数２０７を出力する。
【００９４】
（５−２−２）処理方法
図１６に示すフローチャートによると、先ず、最小コストを更新する変数ｍｉｎ＿ｃｏｓｔを初期化する（ステップ０１）。予測（ステップ０２）が実施されると、予測モードループにおいて、直交変換（ステップ０５）、量子化（ステップ０６）、逆量子化（ステップ０７）、逆直交変換（ステップ０９）、可変長符号化（ステップ１０）及び符号化歪み計算（ステップ１２）が順次行われる。この場合、予測モードが増えるとそれに伴って演算量が増大する反面、正確な符号量Ｒ１１と符号化歪みＤ１３が計算でき、符号化効率の高い高画質な符号化画像が得られる。
【００９５】
この後、符号化歪みＤに基づきコスト評価が行われ（ステップ１４）、ｍｉｎ＿ｃｏｓｔ＞Ｊが判定される（ステップ１５）。この判定がＹＥＳであると、最小コストが更新され（ステップ１６）、予測モードが更新される（ステップ１７）。
【００９６】
予測モード更新後及びｍｉｎ＿ｃｏｓｔ＞Ｊの判定がＮＯのとき、予測終了が決定される（ステップ１８）。ステップ０２〜１８の予測モードループが予測モードの数だけ繰り返されると、予測ループが終了する。その後、参照画素が更新され（ステップ１９）、処理は終了する。
【００９７】
レート−歪み最適化モード判定は、符号化モード全てを符号化し、符号化歪みと符号量を算出することでラグランジュコストを計測し、コスト最小を与える符号化モードを最適符号化モードと判断する。図１６では予測モードループが予測（ステップ０２）から予測終了判定（ステップ１８）まで含まれているため、全予測が終了するまで、直交変換、量子化、逆量子化、逆直交変換、符号化等を繰り返し、膨大な演算量を必要とする事がわかる。
【００９８】
（第２の実施形態）
次に、予測制御部２０１でフレーム内符号化が選択されたときの第２の実施形態について説明する。
【００９９】
本実施形態は、先ず、複数の符号化済みの隣接ブロックから算出された予測方向を持つ予測モードを最初に行い、次に複数の予測方向を間引いた予測モードで簡易符号化コストを計算してコストが最小となるような予測方向である優位方向を決定し、優位と判断された方向に対して、隣り合う予測方向、つまり、選択された前記優位方向近傍の角度を持つ予測モードに対して簡易符号化コストを計算し、これら選択された予測方向全ての中から、簡易符号化コストが最小になる予測モードを選択することで予測画像生成の演算量を減らすことを特徴としている。
【０１００】
例えば、Ｈ．２６４等のフレーム内予測における輝度信号では１マクロブロックに１６個の４×４画素ブロックを持つものと、１個の１６×１６画素ブロックを持つものの２通りが提案されている。４×４画素ブロックには９つの予測モード、１６×１６画素ブロックには４つの予測モードがある。
【０１０１】
図６にＨ．２６４のフレーム内予測に用いられるマクロブロックのブロック形状を図示する。Ｈ．２６４等では、符号化対象フレームを１６×１６画素のマクロブロックに分割し、さらにフレーム内予測ではマクロブロックを４×４画素へと分割する。４×４画素ブロックの場合、前記フレーム内予測は４×４予測が順次１６回行われることとなる。
【０１０２】
図７はＨ．２６４のフレーム内予測の４×４画素ブロックにおける全予測モード、すなわち、垂直予測モード、水平予測モード、ＤＣ予測モード、直交左下予測モード、直交右下予測モード、垂直右予測モード、水平下予測モード、垂直左予測モード及び水平上予測モードを示している。記号Ａ〜Ｍは既に符号化されている参照画素信号である。
【０１０３】
例えば、垂直予測モードは垂直方向に沿ってそれぞれ既に符号化済みの参照画素Ａ、Ｂ、Ｃ、Ｄから予測する。ＤＣ予測モードは参照画素Ａ〜ＤとＪ〜Ｍまでの平均値を求め、この平均値により４×４ブロックの全画素が予測される。図１１はこれらの予測方向に対応する予測番号を示している。
【０１０４】
図８はＨ．２６４の１６×１６画素ブロックにおける全予測モード、すなわち垂直予測、水平予測、ＤＣ予測、平面予測を表している。記号Ｈ，Ｖは既に符号化されている水平、垂直参照画素信号である。
【０１０５】
（１）符号化制御部１１１の処理
符号化制御部１１１によりフレーム内符号化が選択されたときの処理をＨ．２６４のフレーム内符号化の４×４予測を例として図９を用いて説明する。
【０１０６】
符号化制御部１１１によって制御され、フレーム内予測（４×４予測）が選択されたときに、フレームメモリ１０７に蓄積されていた参照画素信号２０４が後述する予測モード階層化部９０１へと入力される。この予測モード階層化部９０１は、第１のモード判定部９０４内の閉ループとなっており、４×４予測部で生成された予測画素信号９１１をもとに、４×４予測の予測モードの選択を行う。予測モード階層化部９０１から出力された予測画素信号９１１は減算器９０９により、入力画像信号２０５から減算されて予測残差信号９１０となり、４×４候補選択部９０２へと入力されている。ここで、予測残差信号はＨＴ部９２３にてアダマール変換され、変換残差信号を作成しても良い。
【０１０７】
予測残差信号、もしくは変換残差信号をもとに４×４候補選択部９０２では好適予測モードの選択を行う。予測モード階層化部９０１で選択される予測モードは４×４候補選択部９０２によって制御されており、現在の予測状態に応じて上述した簡易符号化コストを計算し、次の予測モードを制御している。
【０１０８】
４×４予測部９０３で生成された予測画素信号９１１は４×４候補選択部９０２へと接続されており、１つ、或いは複数の予測モードが選択され、第２のモード判定部へと渡される。
【０１０９】
第２のモード判定部は図３で説明したものとまったく同一である。但し、第１のモード判定部で選択されている最適予測モード（一候補）に対してのみ処理を行ってもよく、１つのモードのみを符号化すればよいため、従来のラグランジュ未定乗数法に比べてはるかに高速である。
【０１１０】
また、別の実施形態では、図９の第１のモード選択部で得られた複数の予測モードを図３の第１のモード判定部へと接続し、さらに階層化しても良い。
【０１１１】
第１のモード判定部では４×４予測の特性を用いて階層化を行う。前述したようにＨ．２６４の４×４予測では、ＤＣ予測を除くと予測方向に応じて８つの予測モードが用意されており、２２．５度の間隔で予測が可能である。
【０１１２】
（２）処理方法
図１７に示すフローチャートによると、先ず、最小コストを更新する変数ｍｉｎ＿ｃｏｓｔを初期化する（ステップ０１）。符号化モード情報を符号化するための符号量が小さいモードとして、隣接ブロックで選択された予測モードから算出されたモードの予測を行う（ステップ０２）。生成された予測画素信号と入力画像０３を用いて簡易符号化コストを計算する（ステップ０４）。ｃｏｓｔ＜Ｔｈ１の判定を行い（ステップ０５）、ＹＥＳ、つまり閾値Ｔｈ１より簡易符号化コストが小さければ、前記予測モードを最適予測モードと決定し（ステップ１６）、階層化処理は終了する。
【０１１３】
もし判定がＮＯであれば、図６の０，１，３，４に前記当する予測、すなわち垂直予測、水平予測、直交左下予測、直交右下予測のそれぞれ図１１の中心に対して９０°、０°、２２５°及び−４５°の方向に対応する予測を行う（ステップ０６）。上記生成された予測画素信号と入力画像を用いて各々に対応する簡易符号化コストの計算を行う（ステップ０７）。水平予測コストと垂直予測コストの絶対差分値である９０°方向の差分値と直交左下予測コストと直交右下予測コストの絶対差分値である４５°方向の差分値を計算し、判定を行う（ステップ０８）。差分値がともにＴｈ２より小さい場合、方向相関が小さいと判断できるためＤＣ予測を行う（ステップ１１）。判定がＮＯのとき、ある方向の符号化コストが最小となり、優位な予測が存在するためこれら４つのコストのうち、もっともコストが小さい予測を決定し、その方向に対して隣接する予測方向である＋２２．５°と−２２．５°方向の予測を行う（ステップ１０）。つまり優位方向が図６で示される４の予測方向の場合、その方向を基準として＋２２．５°と−２２．５°に対応する５，６の予測モードの予測を行う。上記生成された予測画素信号と入力画像を用いて各々に対応する簡易符号化コストの計算を行う（ステップ１２）。このステップまでに生成された全予測モード中でｃｏｓｔ＜ｍｉｎ＿ｃｏｓｔ？判定を行う（ステップ１３）。この判定がＹＥＳの場合、ｍｉｎ＿ｃｏｓｔと予測モードの更新を行う（ステップ１４）。判定がＮＯの場合、ｍｉｎ＿ｃｏｓｔ及び予測モードは更新されず、次の予測モードを調べる。予測終了判定を行い（ステップ１５）、この判定がＹＥＳの場合、最適予測モードを決定し（ステップ１６）、処理は終了する。このようにして選択された予測モードの中で最もコストが小さい予測モードを探索する。
【０１１４】
予測の方向に応じて大きく分けると、（ステップ０２）（ステップ０６）（ステップ１０）の３つの予測ステップから構成されており、ベストケースで１回、ワーストケースで７回の予測回数となる。閾値Ｔｈ１は量子化ステップによって変化する値を取り、４×４予測と１６×１６予測の符号量と残差のトレードオフを改善するように調整されるべきである。つまり、量子化値が小さい領域ではでは４×４予測よりも１６×１６予測が選ばれやすくなるため、Ｔｈ１が大きな値を取ることで、４×４予測が高速に実行される。一方、量子化値が大きい領域ではでは４×４予測が支配的となるため、Ｔｈ１は０に近い値をとり、精度を上げるべきである。
【０１１５】
（３）第２の実施形態の変更例
本変更例では、図１７のフローチャートにおいて、隣接ブロックの予測モードから計測される予測モードを実行する一連のステップ、すなわちステップ０２、ステップ０４、ステップ０５は省略することも可能である。
【０１１６】
（第３の実施形態）
次に１６×１６予測のモード選択における第３の実施形態について説明する。
【０１１７】
本実施形態では、小画素ブロックである４×４画素ブロックのモード判定を先に実行することで、大画素ブロックでは、小画素ブロックのモード情報を利用するものである。
【０１１８】
（１）第１モード判定部１００６の構成
図１０は１６×１６予測が選択されたときの第１モード判定部１００６を示している。第２モード判定部は図３と変わらないため、第１モード判定部１００６のみ図示している。
【０１１９】
１６×１６予測では処理を高速化するために、４×４予測で定められた４×４予測モード情報１００１を用いる。予測モード分散計算部１００２では、前記４×４予測モード情報１００１の分散を計算する。さらに予測モード頻度計算部１００３では、１６個のモードインデックスの重み付き頻度を計算する。これら２つの指標を用いて１６×１６予測制御部１００４では、予測するモードを選択し、１６×１６予測部１００５にて、１６×１６予測画素信号を生成する。
【０１２０】
４×４予測モード情報の分散σ２が小さいとき、各々の４×４画素ブロックで予測モードが揃っているため、その予測と似た１６×１６予測を選ぶことが望まれる。また分散σ２が大きいときは、それぞれが異なる向きを取っているため、平面予測あるいはＤＣ予測が当たる可能性が高くなる。垂直方向の重み付け頻度をＨｈｉｓｔ、水平方向の重み付け頻度をＶｈｉｓｔとすると、各頻度は次式で算出される。
【数５】
2005191706.tif 000007
【数６】
2005191706.tif 000008
【０１２１】
ここでＭｓは４×４予測モード情報であり、ｓは４×４画素ブロックのインデックスである。またａ，ｂ，ｃは各々定数である。Ｈｈｉｓｔが閾値θＭより大きいとき、垂直方向の相関が強いことが判るため、１６×１６予測の垂直予測を選択し、予測画像生成及び符号化コストを計算する。ここで分散が閾値θσ２より大きければ、平面予測も同時に選択し、予測画像生成及び符号化コスト計算をする（なお、θの添え字の「σ２」は、添え字の状態で正確に表現できないので、正確に再表現すると「σ２」である。）。同様にＶｈｉｓｔが閾値θＭより大きいときは水平方向の相関が強いことが判るので水平方向を選択し、予測画像生成及び符号化コスト計算を行う。こちらも分散が閾値θσ２より大きければ、平面予測を選択し、予測画像生成及び符号化コスト計算を行う。ＨｈｉｓｔとＶｈｉｓｔのどちらも閾値より大きいときはそれぞれ予測を行う。またＨｈｉｓｔとＶｈｉｓｔの差分値が閾値θｐｒｅｄより小さい場合は、ＤＣ予測と平面予測の両方を行う。このように４×４予測のモード情報による頻度ヒストグラムと分散を用いて１６×１６予測のモード選択を行うことにより、予測信号生成に必要とされる演算量を抑え、ハードウェアコストを削減することが可能である。ここで、それぞれの閾値が量子化ステップの値によって可変であっても良い。
【０１２２】
４×４予測が２２．５°づつの予測方向を持っているのに対して、１６×１６予測は９０度の予測、すなわち垂直予測、水平予測と平面予測、ＤＣ予測しかない。そこで、垂直予測と水平予測の判定精度を上げるために、数６のａ，ｂ，ｃを重み付けする。この場合、ａ，ｂ，ｃはａ＞ｂ＞ｃ＞０の関係を満たす。
【０１２３】
また、平面予測を推測するため、対角方向の重み付け頻度を考慮しても良い。
【数７】
2005191706.tif 000009
【０１２４】
（第４の実施形態）
次にフレーム内符号化とフレーム間符号化が混在する符号化方式の場合についての第４の実施形態について述べる。
【０１２５】
一般的にフレーム間符号化は動き補償予測を行い、時間方向の圧縮を行うため、フレーム内符号化に比べて符号量が少ない。フレーム内／間符号化モードが混在する例として図１４に示す。
【０１２６】
フレーム内符号化ピクチャであるＩ−ピクチャは全ＭＢがフレーム内予測符号化によって符号化されるため、演算量が少ないのに対して、フレーム間符号化ピクチャであるＰ−ピクチャ（あるいは双方向予測が可能なＢ−ピクチャ）では、ＭＢ毎にフレーム内符号化ＭＢとフレーム間符号化ＭＢが混在する。フレーム間符号化ＭＢはフレーム内符号化ＭＢに比べて演算量が多く、さらにＰ−ピクチャ（Ｂ−ピクチャ）では一般的に、フレーム内符号化よりも符号量が少ないフレーム間符号化モードが選択されることが多い。そこでフレーム間符号化ピクチャ、或いはフレーム間符号化スライスで行われるフレーム間符号化は高精度なモード判定を行い、フレーム内符号化は簡易的なモード判定を行い高速化する。
【０１２７】
例えば、フレーム内符号化を上述したラグランジュコストを用いない簡易符号化コストによるモード判定を行うことで、符号化効率を低下させずに高速化することが可能である。
【０１２８】
図１２にこの実施形態の一例を示す。
【０１２９】
図１２はフレーム内符号化部２０２の内部構造を示している。
【０１３０】
フレーム内予測制御部１２０１はラグランジュコストフレーム内符号化１２０２と簡易符号化コストフレーム内符号化１２０３にそれぞれ接続されており、入力として参照画素信号２０４と入力画像信号を受け取る。フレーム内予測制御部１２０１は符号化制御部１１１から現在のスライスタイプを受け取り、前記スライスタイプがフレーム内符号化ピクチャ、及びフレーム内符号化スライスのときは、ラグランジュコストフレーム内符号化１２０２が選択され、ラグランジュコストを用いた高精度なモード判定による符号化が行われる。一方、フレーム間符号化ピクチャ、及びフレーム間符号化スライスが選択されている場合、簡易符号化コストフレーム内符号化１２０３が選択され、簡易符号化コストを用いた高速なモード判定による符号化を行う。このように、ピクチャタイプ及びスライスタイプによりフレーム内符号化部のモード判定を切り替えることにより、符号化効率を低下させずに、好適な符号化を行うことが可能である。
【０１３１】
（第５の実施形態）
第５の実施形態では、フレーム内符号化とフレーム間符号化が混在する符号化方式の場合について、マクロブロック毎にまず、簡易的なモード判定を行い、フレーム内符号化かフレーム間符号化のどちらを行うかを判断する方式について説明する。
【０１３２】
（１）予測信号生成部１０８の構成
図１３はこの実施形態の概略を示しており、図１の予測信号生成部１０８の内部構造が示されている。また図１８にフローチャートを示す。
【０１３３】
予測制御部１３０１は簡易フレーム内符号化１３０２と接続されており、参照画素信号２０４と入力画像信号２０５を入力として、符号化制御を行う。簡易フレーム内符号化１３０２、及び簡易フレーム間符号化１３０３は参照画素信号２０４と入力画像信号２０５を入力とし、予測信号を生成し、簡易符号化コスト１３０７を計測する。これらは予測モード決定部１３０４と接続されており、予測モード決定部はフレーム内符号化１３０５、及びフレーム間符号化１３０６と接続されている。
【０１３４】
簡易フレーム内符号化１３０２では、フレーム内予測を行い、簡易符号化コストを用いたモード判定によってコストを計測する。その後、簡易フレーム間符号化１３０３では、フレーム間予測を行い、簡易符号化コストを用いたモード判定によってコストを計測する。簡易フレーム内符号化１３０２と簡易フレーム間符号化１３０３はそれぞれ、予測画素信号２０６と簡易符号化コスト１３０７を予測モード決定部１３０４へと出力する。予測モード決定部１３０４では、入力された簡易符号化コスト１３０７を用いてフレーム内／フレーム間符号化を判定し、好適モードと判断されたフレーム内／フレーム間符号化モードで、最終的な符号化を行う。簡易フレーム内符号化と簡易フレーム間符号化はどちらを先に行っても良い。
【０１３５】
フレーム内符号化及びフレーム間符号化では、レート−歪み最適化を用いたモード判定を用いて符号化効率を維持する。このようにマクロブロック毎に、簡易符号化コストを用いて高速に好適な符号化モードを事前判断し、選ばれた符号化モードではラグランジュコストを用いて最適な符号化モードを選択することにより、符号化効率を落とすことなく、高速な符号化が可能である。
【０１３６】
（２）処理方法
図１８によると、先ず、現在のスライスタイプ判定を行う（ステップ０１）。この判定がフレーム内符号化スライス（Ｉ−スライス）の場合、フレーム間符号化は行われないため、フレーム内符号化を行う（ステップ１０）。判定がフレーム間符号化スライス（Ｐ−スライス、Ｂ−スライス）の場合、最小簡易符号化コストを更新する変数ｍｉｎ＿ｃｏｓｔを初期化する（ステップ０２）。入力画像０３とメモリ０７から与えられる参照画素信号から、簡易フレーム内符号化を行う（ステップ０４）。計測された最小簡易符号化コストを用いてｍｉｎ＿ｃｏｓｔを更新する（ステップ０５）。さらに簡易フレーム間符号化を行う（ステップ０６）。ここで計測されたフレーム間符号化の最小簡易符号化コストがｍｉｎ＿ｃｏｓｔより小さいかどうかを判定する（ステップ０８）。この判定がＹＥＳの場合、フレーム間符号化を行い（ステップ０９）、レート−歪み最適化を用いて最適符号化モードを決定する（ステップ１１）。判定がＮＯの場合、フレーム内符号化が実行され（ステップ１０）、最適符号化モードが決定される（ステップ１１）。
【産業上の利用可能性】
【０１３７】
以上のように、本発明は、動画像を圧縮して送信、記録等する技術に有用である。
【図面の簡単な説明】
【０１３８】
【図１】本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図である。
【図２】第１の実施形態に係わる予測信号生成部の内部構造を示すブロック図である。
【図３】第１の実施形態に係わる予測信号生成部の詳細構造を示すブロック図である。
【図４】第１の実施形態に係わる予測モードの選択方法の例を示す図である。
【図５】第１の実施形態の変更例に係わるレート−歪み最適化モード判定を行う例を示す図である。
【図６】第２の実施形態に係わる画素ブロックの分割例と予測モードを示す図である。
【図７】第２の実施形態に係わるＨ．２６４における４×４画素ブロックの予測モード例を示す図である。
【図８】第２の実施形態に係わるＨ．２６４における１６×１６画素ブロックの予測モード例を示す図である。
【図９】第２の実施形態に係わるＨ．２６４のフレーム内符号化４×４予測の高速化に関する例を示すブロック図である。
【図１０】第３の実施形態に係わるＨ．２６４のフレーム内符号化１６×１６予測の高速化に関する例を示すブロック図である。
【図１１】第２の実施形態に係わるＨ．２６４の４×４予測の予測方向の例を示すブロック図である。
【図１２】第４の実施形態に係わる予測信号生成部のフレーム内符号化の高速化処理の例を示すブロック図である。
【図１３】第５の実施形態に係わる予測信号生成部の高速化処理の例を示すブロック図である。
【図１４】第４の実施形態に係わるフレーム内／間符号化スライス混在の例を示すブロック図である。
【図１５】第１の実施形態の変更例に係わる簡易符号化コストを用いた高速符号化処理の例を示すフローチャートである。
【図１６】第１の実施形態の変更例に係わるレート−歪み最適化を用いた符号化処理の例を示すフローチャートである。
【図１７】第２の実施形態に係わる階層化サーチを用いたフレーム内高速符号化の例を示すフローチャートである。
【図１８】第５の実施形態に係わるフレーム内／間混在符号化における高速符号化の例を示すフローチャートである。
【図１９】（ａ）（ｂ）は第１の実施形態に係わる量子化ステップと候補正解率の関係を示すグラフである。
【符号の説明】
【０１３９】
１０１  減算器
１０２  直交変換部
１０３  量子化部
１０４  逆量子化部
１０５  逆直交変換部
１０６  加算器
１０７  フレームメモリ
１０８  予測信号生成部
１０９  ＭＢ予測モード選択部
１１０  符号化部
１１１  符号化制御部
１１２  可変長符号化部
１１３  多重化部
１１４  出力バッファ
【図１】
2005191706.tif 000010
【図２】
2005191706.tif 000011
【図３】
2005191706.tif 000012
【図４】
2005191706.tif 000013
【図５】
2005191706.tif 000014
【図６】
2005191706.tif 000015
【図７】
2005191706.tif 000016
【図８】
2005191706.tif 000017
【図９】
2005191706.tif 000018
【図１０】
2005191706.tif 000019
【図１１】
2005191706.tif 000020
【図１２】
2005191706.tif 000021
【図１３】
2005191706.tif 000022
【図１４】
2005191706.tif 000023
【図１５】
2005191706.tif 000024
【図１６】
2005191706.tif 000025
【図１７】
2005191706.tif 000026
【図１８】
2005191706.tif 000027
【図１９】
2005191706.tif 000028