(57)【要約】【課題】複数のモードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ好適なモード選択をなす。【解決手段】入力される画像は、予測符号化部１００および直交変換及び量子化部１０１によって処理され、処理負担の小さいエントロピー符号化されその符号量がエントロピー符号化符号量計測部１０３によって計測される。このような符号量計測が当該動画像符号化装置３００で選択しうる複数のモードについて行われ、符号化モード制御・判定部１０４は最も符号量の小さいモードを選択する。そして、選択されたモードで処理されたデータに対し、エントロピー符号化部１０８によって上記エントロピー符号化よりも処理負担は大きいもの圧縮効率のよい符号化処理が施される。【選択図】        図１
2005151391.tif 000002
【特許請求の範囲】
【請求項１】
複数のモードの中からいずれかのモードを選択し、選択したモードで動画像を符号化する動画像符号化方法であって、
入力される画像に対し、前記複数のモードの各々の方式にしたがった処理を行って信号を生成する信号生成ステップと、
前記モードごとに生成された信号に対して第１のエントロピー符号化方式にしたがった符号化処理が行われた場合の符号量を計測する計測ステップと、
前記計測ステップで計測された前記モードごとの信号の符号量を比較し、前記複数のモードの中からいずれか１つのモードを選択する選択ステップと、
前記選択ステップで選択されたモードの方式にしたがった処理が行われた信号に対し、前記第１の符号化方式よりも効率のよい第２のエントロピー符号化方式にしたがった符号化処理を行う第２の符号化ステップと
を具備することを特徴とする動画像符号化方法。
【請求項２】
複数のモードの中からいずれかのモードを選択し、選択したモードで動画像を符号化する動画像符号化方法であって、
入力される画像に対し、前記複数のモードの各々の方式にしたがった処理を行って信号を生成する信号生成ステップと、
前記モードごとに生成された信号に対して第１のエントロピー符号化方式にしたがった符号化処理が行われた場合の符号量を計測する計測ステップと、
前記入力される画像と、当該画像を前記複数のモードの各々の方式にしたがって処理した信号に基づいて復号した画像との差分を導出する画像差分導出ステップと、
前記計測ステップで計測された前記モードごとの信号符号量および前記モードごとの画像差分を比較し、前記複数のモードの中からいずれか１つのモードを選択する選択ステップと、
前記選択ステップで選択されたモードの方式にしたがった処理が行われた信号に対し、前記第１の符号化方式よりも効率のよい第２のエントロピー符号化方式にしたがった符号化処理を行う第２の符号化ステップと
を具備することを特徴とする動画像符号化方法。
【請求項３】
複数のモードの中からいずれかのモードを選択し、選択したモードで動画像を符号化する動画像符号化装置であって、
入力される画像に対し、前記複数のモードの各々の方式にしたがった処理を行って信号を生成する信号生成手段と、
前記モードごとに生成された信号に対して第１のエントロピー符号化方式にしたがった符号化処理が行われた場合の符号量を計測する符号量計測手段と、
前記符号量計測手段により継続された前記モードごとの信号の符号量を比較し、前記複数のモードの中からいずれか１つのモードを選択する選択手段と、
前記選択手段により選択されたモードの方式にしたがった処理が行われた信号に対し、前記第１の符号化方式よりも効率のよい第２のエントロピー符号化方式にしたがった符号化処理を行う第２の符号化手段と
を具備することを特徴とする動画像符号化装置。
【請求項４】
前記入力される画像と、当該画像を前記複数のモードの各々の方式にしたがって処理した信号に基づいて復号した画像との差分を導出する画像差分導出手段をさらに具備し、
前記選択手段は、前記符号量計測手段により計測された前記モードごとの信号符号量および前記画像差分導出手段によって導出されたモードごとの画像差分を比較し、前記複数のモードの中からいずれか１つのモードを選択する
ことを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記第１の符号化方式は、可変長符号化であり、
前記第２の符号化方式は、算術符号化である
ことを特徴とする請求項３または４に記載の動画像符号化装置。
【請求項６】
コンピュータを、
入力される画像に対し、複数のモードの各々の方式にしたがった符号化処理を行って信号を生成する信号生成手段、
前記モードごとに生成された信号に対して第１のエントロピー符号化方式にしたがった符号化処理が行われた場合の符号量を計測する符号量計測手段、
前記符号量計測手段により継続された前記モードごとの信号の符号量を比較し、前記複数のモードの中からいずれか１つのモードを選択する選択手段、
前記選択手段により選択されたモードの方式にしたがった処理が行われた信号に対し、前記第１の符号化方式よりも効率のよい第２のエントロピー符号化方式にしたがった符号化処理を行う第２の符号化手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のモードのいずれかを選択して符号化を行う動画像符号化方法、動画像符号化装置およびプログラムに関するものである。
【背景技術】
【０００２】
従来、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などの動画像符号化方式の国際標準においては、参照画像の選択や、ブロック形状、予測信号の生成方法などとして複数のモードが存在している。そして、複数のモードの中から、画素ブロック毎に１つの符号化モードを選択して、符号化する方式が採用されている。
【０００３】
これらの動画像符号化方法では、符号化の際に、最適な符号化モードを行うことが好ましい。すなわち、符号化効率の最もよい符号化モードを選択することが好ましく、この選択如何によって再生される画像の品質が左右される。つまり、符号化モードの最適な選択がなされなかった場合には、最適な選択がなされた場合と比較して、同一ビットレートで符号化した際の画質が悪化したり、また、同一の画質で再生するために必要な符号量が増加したりすることになる。
【０００４】
したがって、画素ブロックごとに符号化モードの適切な選択を行うことは重要であり、従来からモード選択方法に関する技術が提案されている。
（１）  予測誤差の小さい符号化モードを選択する方法（特許文献１参照）
（２）  予測誤差信号などから発生符号量を推定して、推定された発生符号量が最小となる符号化モードを選択する方法（特許文献２参照）
（３）  各符号化モードについて、それぞれ実際に符号化を行ってみて、符号量が最小の符号化モードを選択する方法（特許文献１、特許文献３参照）
（４）  （３）の方法に加えて、各符号化モード毎に符号化歪み、すなわち復号化された画像と原画像との誤差を計算し、発生符号量と符号化歪みとのバランスにおいて、最適な符号化モードを選択する方法（非特許文献１参照）
【０００５】
【特許文献１】特開２００３−１５３２８０号公報
【特許文献２】特開平１０−２９０４６４号公報
【特許文献３】特開平９−３２２１７６号公報
【非特許文献１】Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、（１）や（２）の方法では、推測や予測に基づいて符号化モードの選択を行っているのでその選択が適切でない場合もあり、符号化効率の高い符号化を行えない場合がある。
【０００７】
これに対し、（３）や（４）の方法では、実際の符号化による符号量計測結果に基づいた選択を行っているので、符号化効率の高い符号化を行えることが一般に知られている。しかしながら、（３）や（４）の方法では、選択可能な符号化モード毎に、実際に符号化して発生符号量を計測しなければならず、符号化効率が改善する反面、符号化モード数が多い場合、符号化に必要な演算量やハードウェア規模が大きくなり、エンコーダのコスト増を招くという問題がある。
【０００８】
本発明は、上記に鑑みてなされたものであって、複数のモードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ好適なモード選択をなすことができる動画像符号化方法、動画像符号化装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明にかかる動画像符号化方法は、複数のモードの中からいずれかのモードを選択し、選択したモードで動画像を符号化する動画像符号化方法であって、入力される画像に対し、前記複数のモードの各々の方式にしたがった処理を行って信号を生成する信号生成ステップと、前記モードごとに生成された信号に対して第１のエントロピー符号化方式にしたがった符号化処理が行われた場合の符号量を計測する計測ステップと、前記計測ステップで計測された前記モードごとの信号の符号量を比較し、前記複数のモードの中からいずれか１つのモードを選択する選択ステップと、前記選択ステップで選択されたモードの方式にしたがった処理が行われた信号に対し、前記第１の符号化方式よりも効率のよい第２のエントロピー符号化方式にしたがった符号化処理を行う第２の符号化ステップとを具備することを特徴とする。
【００１０】
また、本発明の別の態様にかかる動画像符号化方法は、複数のモードの中からいずれかのモードを選択し、選択したモードで動画像を符号化する動画像符号化方法であって、入力される画像に対し、前記複数のモードの各々の方式にしたがった処理を行って信号を生成する信号生成ステップと、前記モードごとに生成された信号に対して第１のエントロピー符号化方式にしたがった符号化処理が行われた場合の符号量を計測する計測ステップと、前記入力される画像と、当該画像を前記複数のモードの各々の方式にしたがって処理した信号に基づいて復号した画像との差分を導出する画像差分導出ステップと、前記計測ステップで計測された前記モードごとの信号符号量および前記モードごとの画像差分を比較し、前記複数のモードの中からいずれか１つのモードを選択する選択ステップと、前記選択ステップで選択されたモードの方式にしたがった処理が行われた信号に対し、前記第１の符号化方式よりも効率のよい第２のエントロピー符号化方式にしたがった符号化処理を行う第２の符号化ステップとを具備することを特徴とする。
【００１１】
また、本発明の別の態様にかかる動画像符号化装置は、複数のモードの中からいずれかのモードを選択し、選択したモードで動画像を符号化する動画像符号化装置であって、入力される画像に対し、前記複数のモードの各々の方式にしたがった処理を行って信号を生成する信号生成手段と、前記モードごとに生成された信号に対して第１のエントロピー符号化方式にしたがった符号化処理が行われた場合の符号量を計測する符号量計測手段と、前記符号量計測手段により継続された前記モードごとの信号の符号量を比較し、前記複数のモードの中からいずれか１つのモードを選択する選択手段と、前記選択手段により選択されたモードの方式にしたがった処理が行われた信号に対し、前記第１の符号化方式よりも効率のよい第２のエントロピー符号化方式にしたがった符号化処理を行う第２の符号化手段とを具備することを特徴とする。
【００１２】
また、本発明の別の態様にかかるプログラムは、コンピュータを、入力される画像に対し、複数のモードの各々の方式にしたがった符号化処理を行って信号を生成する信号生成手段、前記モードごとに生成された信号に対して第１のエントロピー符号化方式にしたがった符号化処理が行われた場合の符号量を計測する符号量計測手段、前記符号量計測手段により継続された前記モードごとの信号の符号量を比較し、前記複数のモードの中からいずれか１つのモードを選択する選択手段、前記選択手段により選択されたモードの方式にしたがった処理が行われた信号に対し、前記第１の符号化方式よりも効率のよい第２のエントロピー符号化方式にしたがった符号化処理を行う第２の符号化手段として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、複数のモードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ好適なモード選択をなすことができるという効果を奏する。
【発明を実施するための最良の形態】
【００１４】
以下に添付図面を参照して、この発明にかかる動画像符号化方法および動画像符号化装置の最良な実施の形態を詳細に説明する。
【００１５】
（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる動画像符号化装置の構成を示すブロック図である。同図に示すように、この動画像符号化装置３００は、予測符号化部１００と、直交変換及び量子化部１０１と、スイッチ１０２と、エントロピー符号化符号量計測部１０３と、符号化モード制御・判定部１０４と、逆直交変換及び逆量子化部１０５と、予測復号化部１０６と、参照画像メモリ１０７と、エントロピー符号化部１０８とを備えている。
【００１６】
当該動画像符号化装置３００に入力される符号化対象となる画像信号は、画素ブロックごとに分割され、各画素ブロックごとに予測符号化部１００に入力される。予測符号化部１００では、画素ブロックごとの画像に対し、フレーム内またはフレーム間の予測を行い、予測信号を生成して出力する。
【００１７】
当該動画像符号化装置３００では、予測符号化部１００が行うフレーム内及びフレーム間予測モードとして、ブロックサイズや予測信号の生成方法の異なる複数の予測モードが用意されている。予測符号化部１００は、符号化モード制御・判定部１０４によって設定された予測モードで、参照画像メモリ１０７に一時保存された参照画像を用いて、予測信号の生成を行い、また入力画像信号から予測信号を差し引いた予測誤差信号の生成を行う。指示された予測モードが動き補償フレーム間予測の場合は、予測符号化部１００は動きベクトルの検出も併せて行う。
【００１８】
このように予測符号化部１００で生成された予測誤差信号は、直交変換及び量子化部１０１に出力される。直交変換及び量子化部１０１は、直交変換を行うと共に、その変換係数を量子化し、量子化した直交変換係数及び予測モード情報（或いは動きベクトル情報）をスイッチ１０２および逆直交変換及び逆量子化部１０５に出力する。本実施の形態において、予測符号化部１００および直交変換及び量子化部１００は、設定されたモードにしたがった方式の動画像符号化処理を行う信号生成手段として機能している。
【００１９】
逆直交変換及び逆量子化部１０５は、上記直交変換及び量子化部１０１によって量子化された変換係数を逆量子化し、変換係数を復元する。また、逆直交変換及び逆量子化部１０５は、復元した変換係数に対して逆直交変換処理を行い、予測誤差信号等を復元し、かかる信号を予測復号化部１０６に出力する。
【００２０】
予測復号化部１０６は、予測符号化部１００によって行われた処理に対応する処理を行い、フレーム画像を復元し、参照画像メモリ１０７に出力する。参照画像メモリ１０７は当該復元された画像を蓄積する。このように参照画像メモリ１０７に蓄積された画像が、予測符号化部１００による予測誤差信号等の生成の際に参照される。
【００２１】
スイッチ１０２は、直交変換及び量子化部１０１から供給された直交変換係数及び予測モード情報等を、エントロピー符号化符号量計測部１０３またはエントロピー符号化部１０８のいずれか一方に出力する。
【００２２】
エントロピー符号化符号量計測部１０３は、スイッチ１０２経由で入力される直交変換係数等を示す信号に対し、第１のエントロピー符号化方式にしたがったエントロピー符号化処理が行われた場合の符号量を計測する。本実施の形態におけるエントロピー符号化符号量計測部１０３では、ハフマン符号に基づくエントロピー符号化がなされた場合の符号量を計測する。
【００２３】
ここで、図２にハフマン符号化に用いられる符号化テーブルの一例を示す。同図に示すように、このテーブルでは、直交変換係数や予測モード情報等がシンボルで表現されており、各シンボルに対して可変長符号の符号語が与えられている。エントロピー符号化符号量計測部１０３は、このようなハフマン符号化テーブルを参照することで、入力される直交変換係数や予測モード情報等を可変長符号化した際の符号語の符号長を累積加算することで、符号量の計測を行う。なお、エントロピー符号化符号量計測部１０３は、エントロピー符号化データの出力は行わず、符号量の計測のみを行う。
【００２４】
エントロピー符号化符号量計測部１０３で計測された符号量は、符号化モード制御・判定部１０４に入力される。符号化モード制御・判定部１０４は、予測符号化部１００における予測モードを設定する。予測符号化部１００では、符号化モード制御・判定部１０４によって設定された予測モードにしたがった処理を行い、予測差信号等を生成することになる。
【００２５】
また、符号化モード制御・判定部１０４は、エントロピー符号化符号量計測部１０３から供給される発生符号量情報に基づき、予測モードを決定する。より具体的には、符号化モード制御・判定部１０４は、スイッチ１０２の出力端がエントロピー符号化符号量計測部１０３に接続されている状態において当該動画像符号化装置３００において実行可能な複数のモードの各々を予測符号化部１００に順次設定する。そして、各々の予測モードで処理がなされた場合にエントロピー符号化符号量計測部１０３から供給される各モードごとの符号量に基づいて１つのモードを選択する。
【００２６】
つまり、符号化対象の画素ブロックに対して、複数のモードの各々で実際に予測符号化及び発生符号量の計測（図１における予測符号化部１００→直交変換及び量子化部１０１→スイッチ１０２→エントロピー符号化符号量計測部１０３→符号化モード制御・判定部１０４といった順序で流れる処理）を行わせ、それぞれのモードごとに得られた符号量を比較し、いずれか１つのモードを選択する。本実施の形態では、符号化モード制御・判定部１０４は、最も符号量の小さいモードを選択する。
【００２７】
このように符号化モード制御・判定部１０４がモードを選択すると、選択されたモードにしたがった処理により生成された予測誤差信号等を直交変換及び量子化した信号等、つまり選択されたモードにおいて予測符号化部１００および直交変換及び量子化部１０１によって生成された信号がスイッチ１０２を経由して出力すべきデータとしてエントロピー符号化部１０８に出力される。
【００２８】
エントロピー符号化部１０８は、上述したように選択されたモードで生成された信号に対し、第２の符号化方式にしたがったエントロピー符号化処理を行う。かかる第２の符号化方式は、上記エントロピー符号化符号量計測部１０３が行う第１の符号化方式（ハフマン符号による符号化）よりも、圧縮効率の高い符号化方式である。本実施の形態では、エントロピー符号化部１０８は、算術符号化によるエントロピー符号化処理を行う。このようなエントロピー符号化部１０８によって符号化されたデータが当該動画像符号化装置３００に出力データとして出力される。
【００２９】
以上が本実施の形態にかかる動画像符号化装置３００の構成である。以下、本発明にかかる動画像符号化方法について、当該動画像符号化装置３００が実施する場合を例にあげ、図３を参照しながら説明する。
【００３０】
当該動画像符号化装置３００に、１フレーム毎に動画像信号が入力されると（ステップＳ１）、入力された画像は画素ブロック毎に符号化が開始される(ステップＳ２)。まず、符号化モード制御・判定部１０４は、符号化モードを示すインデックスidexに０をセットし、また、最小コストを示す変数min_costを最大値で初期化する(ステップＳ３)。
【００３１】
次に、符号化モード制御・判定部１０４は、スイッチ１０２の出力端がエントロピー符号化符号量計測部１０３に接続される状態でindexの値で示されるモードを予測符号化部１００に設定する。これによりindexの値で示されるモードに対応する仮予測符号化が予測符号化部１００および直交変換及び量子化部１０１によって行われ（ステップＳ４）、その符号量がエントロピー符号化符号量計測部１０３によって計測される（ステップＳ５）。ここで計測される符号量は、ハフマン符号などのエントロピー符号化部１０８によって実行される符号化処理よりも圧縮効率が低いものであり、その分演算処理負担は軽いものである。
【００３２】
符号化モード制御・判定部１０４は、計測された発生符号量に基づいて符号化コスト（cost）の計算を行う（ステップＳ６）。符号化コストは、例えば発生符号量そのものである。そして、符号化モード制御・判定部１０４は、計算された符号化コスト（cost）が、最小コストmin_costより小さいか否かを判別し（ステップＳ７）、小さい場合にはその符号化コストで最小コストmin_costを更新するとともに、その際の仮予測符号化の予測モードindexをbest_modeインデックスとして保持する。また、この仮予測符号化結果、つまりindexで示されるモードに対応した符号化処理によって生成された符号化データを保持しておく（ステップＳ８）。
【００３３】
次に、符号化モード制御・判定部１０４は、符号化モードindexをインクリメントし、インクリメント後のindexが予め定められた値maxより大きいか否かを判別する（ステップＳ９）。ここで、予め定められた値maxは、当該動画像符号化装置３００が行い得るモードの数であり、かかる判別が「ＹＥＳ」であることはすべてのモードについて上記ステップＳ４〜ステップＳ８までの処理が終了したことを意味する。
【００３４】
ここで、インクリメント後のindexが値maxより小さい場合には（ステップＳ９の判別「Ｎｏ」）、インクリメント後のindexで示されるモードで、ステップＳ４からステップＳ９の処理を行う。
【００３５】
そして、indexが予め定められた値maxより大きくなったとき（ステップＳ９の判別「Ｙｅｓ」）、つまり当該動画像符号化装置３００において行い得る全てのモードについてステップＳ４〜ステップＳ８までの処理を繰り返した後、符号化モード制御・判定部１０４は、最適な符号化モード（best_mode）を選択する。すなわち、best_modeインデックスに保持されるindexに示されるモードを最適なモードとして選択する。つまり、各モードの符号量に対応する符号化コストを比較し、符号化コストの最も少ないモードを最適な符号化モードとして選択するのである。
【００３６】
最適な符号化モードが選択されると、選択された符号化モード（best_mode）での予測符号化データ（符号化シンボル系列）がスイッチ１０２を経由してエントロピー符号化部１０８に供給され、ステップＳ５とは異なる、算術符号化などのより圧縮率の高いエントロピー符号化方法を用いてエントロピー符号化が行われる（ステップＳ１０）。このように高い圧縮率のエントロピー符号化処理により符号化された符号化データが出力される。そして、かかる処理をフレーム内の全ての画素ブロックに対して行い、１フレームの画素ブロックの符号化が終了すると（ステップＳ１１の判別「ＹＥＳ」）、次のフレームを入力し（ステップＳ１）、該フレームについて上記と同様の処理を行う。
【００３７】
以上説明したように本実施の形態では、複数の選択可能な符号化モードの各々について実際に符号化処理がなされ、各モードごとの符号化データの符号量の最も小さいモードが選択され、選択されたモードで符号化された符号化データが出力される。このようにすべてのモードについて実際に符号化した結果に基づいて、モード選択を行っているので、符号化効率の高い符号化を行うことができるモードを選択できる、つまり画素ブロックの内容等に応じて好適なモード選択をなすことができる。
【００３８】
また、本実施の形態では、モード選択のためにエントロピー符号化符号量計測部１０３によって行われる符号量計測では、ハフマン符号に基づくルックアップテーブルによる符号量計測が行われる。すなわち、比較的処理負担の少ない符号量計測が行われるので、繰り返しの符号量計測を高速に実行することが可能となる。一方、選択されたモードでの最終的なエントロピー符号化は、エントロピー符号化部１０８によって行われる。すなわち、より圧縮率の高い符号化方式による符号化処理がなされるので、当該動画像符号化装置３００から出力される最終的な符号化データの符号化効率は高いものとなるが、演算負荷は増加する。
【００３９】
つまり、エントロピー符号化には、各シンボルの発生確率に応じて、各々のシンボルに対する可変長の符号語が割り当てられている可変長符号化方法や、シンボル系列の出現確率に応じて符号語を算術演算により逐次的に生成する算術符号化方法などがある。可変長符号化は、MPEG-2(ISO/IEC13818-2)などの動画像符号化国際標準で採用されている。また、ITU-T Rec. H.264などの動画符号化では、エントロピー符号化として、可変長符号化と、算術符号化の２つの方法が提供されている。算術符号化は、通常の可変長符号化に比べて一般に処理量が多く、前述のモード判定のために算術符号化の繰り返しを行うと、可変長符号化を用いる場合に比べて、エンコーダのコスト増を招いてしまう。特に、ITU-T Rec. H.264などで採用されている算術符号化は、コンテキストベース適応算術符号化と呼ばれ、符号化シンボル毎に、周囲の条件を判断し、確率テーブルを切り替えて、算術符号化を行う方式が採用されており、通常の可変長符号化に対して、非常多くの演算量を要する。
【００４０】
このように演算負荷が多少大きくなるが、各モードすべてについて負担の大きい符号化処理を行う必要がなく、選択されたモードでの符号化のみ行うようにすればよいので、演算負担の増加も抑制することができる。すなわち、本実施の形態では、高速かつ好適なモード選択と、高速で圧縮効率の高い動画像符号化を実現することが可能となる。
【００４１】
なお、上述したように選択されたモードでの符号化の際、予測誤差信号の量子化された直交変換係数は、逆直交変換及び逆量子化部１０５にも入力されて、逆量子化及び逆直交変換が施されて予測誤差信号を再生し、予測復号化部１０６によりローカルデコード画像が生成され、参照画像メモリ１０７に参照画像として一時保存される。これらのローカルデコード画像生成処理は、選択されたモードについてのみ行えばよく、予測モード判定のためのループ内では、必ずしも実行しなくてもよい。
【００４２】
（第２の実施形態）
図４は、本発明の第２の実施形態に係る動画像符号化装置４００の構成を示すブロック図である。同図に示すように、第２の実施の形態における動画像符号化装置４００は、上記第１の実施の形態における動画像符号化装置３００の構成に加え、符号化歪み計測部１２０を備えている。なお、第２の実施の形態において、第１の実施の形態と共通する構成要素には同一の符号を付けてその説明を省略する。
【００４３】
符号歪み計測部１２０は、逆直交変換及び逆量子化部１０５及び予測復号化部１０６により生成されたローカルデコード画像と、符号化対象の入力画像（符号化前の原画像）とから、これらの画像差分である符号化歪み（例えば、二乗誤差）を計算する。ここで、符号歪み計測部１２０による符号化歪みの計算は、符号化モード制御・判定部１０４によって設定される各モード、つまり当該動画像符号化装置４００で行うことができる複数のモードごとに行われる。つまり、各モードごとにそのモードで処理され符号化された画像を復元した画像と入力画像との差分を表す符号化歪みが計測されるのである。
【００４４】
第２の実施形態にかかる動画像符号化装置４００では、符号化モード制御・判定部１０４が、エントロピー符号化符号量計測部１０３から供給される各モードごとの符号量と、上記符号歪み計測部１２０から供給される各モードごとの符号化歪みとに基づいて、複数のモードの中から１つのモードを選択する。
【００４５】
符号化モード制御・判定部１０４によるモード選択基準としては、例えばモードごとに符号量と符号化歪みコストを数値化し、両者を重み付き加算した値が最も小さいモードを選択するといった基準を用いることができる。前記重み付き加算の重み係数は、非特許文献１などに開示されている、レート（符号量）−歪み（符号化歪み）最適化方法（Rate-Distortion Optimization）などにより、決定することが可能である。上記のコストを用いて符号化モードの判定を行うことで、符号量と符号化歪みとのバランスにおいて、好適な予測モードが選択され、符号化効率をより向上させることが可能となる。
【００４６】
以上のように符号化モード制御・判定部１０４によってモードが選択されると、上記第１の実施の形態と同様、選択されたモードにおける符号化モード情報や動きベクトル情報、予測誤差信号がスイッチ１０２を経由してエントロピー符号化部１０８に供給される。そして、エントロピー符号化部１０８によって、エントロピー符号化符号量計測部１０３よりも高効率のエントロピー符号化が行われ、符号化データが出力される。
【００４７】
以上が第２の実施の形態にかかる動画像符号化装置４００の構成である。以下、本発明にかかる動画像符号化方法について、当該動画像符号化装置４００が実施する場合を例にあげ、図５を参照しながら説明する。
【００４８】
当該動画像符号化装置４００に、１フレーム毎に動画像信号が入力されると（ステップＳ１０１）、入力された画像は画素ブロック毎に符号化が開始される(ステップＳ１０２)。まず、符号化モード制御・判定部１０４は、符号化モードを示すインデックスidexに０をセットし、また、最小コストを示す変数min_costを最大値で初期化する(ステップＳ１０３)。
【００４９】
次に、符号化モード制御・判定部１０４は、indexの値で示されるモードを予測符号化部１００に設定する。これによりindexの値で示されるモードに対応する仮予測符号化が予測符号化部１００および直交変換及び量子化部１０１によって行われ（ステップＳ１０４）、その符号量がエントロピー符号化符号量計測部１０３によって計測される（ステップＳ１０５）。
【００５０】
一方、予測符号化部１００および直交変換及び量子化部１０１によって符号化された画像は、逆直交変換及び逆量子化部１０５及び予測復号化部１０６により仮デコード画像に復元される（ステップＳ１０６）。そして、符号化歪み計測部１２０によって、かかる仮デコード画像と符号化対象の入力画像（符号化前の原画像）とから、これらの画像差分である符号化歪みが計算される（Ｓ１０７）。
【００５１】
符号化モード制御・判定部１０４は、計測された発生符号量に基づいて符号化コスト（cost）の計算を行う（ステップＳ１０８）。そして、符号化モード制御・判定部１０４は、計算された符号化コスト（cost）および符号化歪みを数値化したものの加算値（cost）が、最小コストmin_costより小さいか否かを判別し（ステップＳ１０９）、小さい場合にはそのコストで最小コストmin_costを更新するとともに、その際の仮予測符号化の予測モードindexをbest_modeインデックスとして保持する。また、この仮予測符号化結果、つまりindexで示されるモードに対応した符号化処理によって生成された符号化データを保持しておく（ステップＳ１１０）。
【００５２】
次に、符号化モード制御・判定部１０４は、符号化モードindexをインクリメントし、インクリメント後のindexが予め定められた値maxより大きいか否かを判別する（ステップＳ１１１）。インクリメント後のindexが値maxより小さい場合には（ステップＳ１１１の判別「Ｎｏ」）、インクリメント後のindexで示されるモードで、ステップＳ１０４からステップＳ１１１までの処理を行う。
【００５３】
そして、indexが予め定められた値maxより大きくなったとき（ステップＳ１１１の判別「Ｙｅｓ」）、全てのモードについてステップＳ１０４〜ステップＳ１１１までの処理を繰り返した後、符号化モード制御・判定部１０４は、最適な符号化モード（best_mode）を選択する。すなわち、best_modeインデックスに保持されるindexに示されるモードを最適なモードとして選択する。
【００５４】
最適な符号化モードが選択されると、選択された符号化モード（best_mode）での予測符号化データ（符号化シンボル系列）がスイッチ１０２を経由してエントロピー符号化部１０８に供給され、算術符号化などのより圧縮率の高いエントロピー符号化方法を用いてエントロピー符号化が行われる（ステップＳ１１２）。そして、かかる処理をフレーム内の全ての画素ブロックに対して行い、１フレームの画素ブロックの符号化が終了すると（ステップＳ１１３の判別「ＹＥＳ」）、次のフレームを入力し（ステップＳ１）、該フレームについて上記と同様の処理を行う。
【００５５】
以上説明したように第２の実施の形態では、複数の選択可能な符号化モードの各々について実際に符号化処理がなされ、各モードごとの符号化データの符号量が計測されるとともに、各モードごとに符号化歪みが計測される。そして、実際に各モードで符号化することで得られたモードごとの符号量および符号化歪みに基づいて、モードを選択するようにしたので、適切な選択をなすことができる。すなわち、画像劣化が少なく、かつ符号量も小さいモードを選択することができるのである。
【００５６】
そして、第２の実施の形態においても、上記第１の実施の形態と同様、モード選択のためにエントロピー符号化符号量計測部１０３によって行われる符号量計測は、処理負担の少ない符号化が利用される一方で、最終的に出力すべきデータのエントロピー符号化は、より圧縮率の高い符号化方式による符号化処理がなされる。したがって、上記第１の実施の形態と同様、高速かつ好適なモード選択と、高速で圧縮効率の高い動画像符号化を実現することが可能となる。
【００５７】
なお、上述した各実施の形態で行われる動画像符号化処理は、専用のハードウェア回路によって行うようにしてもよいし、ＣＰＵがプログラムにしたがって動作することにより、モード選択を含む動画像符号化処理（図３参照、図５参照）が行われるように構成してもよい。また、コンピュータにこのような処理を実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。
【産業上の利用可能性】
【００５８】
以上のように、本発明にかかる動画像符号化装置および動画像符号化方法は、動画像を圧縮して送信、記録等する技術に有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施の形態にかかる動画像符号化装置の構成を示すブロック図である。
【図２】前記動画像符号化装置の構成要素であるエントロピー符号化符号量計測部に用いられる符号化テーブルの内容を示す図である。
【図３】前記動画像符号化装置により実施される動画像符号化方法の手順を示すフローチャートである。
【図４】本発明の第２の実施の形態にかかる動画像符号化装置の構成を示すブロック図である。
【図５】第２の実施の形態にかかる動画像符号化装置により実施される動画像符号化方法の手順を示すフローチャートである。
【符号の説明】
【００６０】
１００  予測符号化部
１０１  直交変換及び量子化部
１０２  スイッチ
１０３  エントロピー符号化符号量計測部
１０４  符号化モード制御・判定部
１０５  逆直交変換及び逆量子化部
１０６  予測復号化部
１０７  参照画像メモリ
１０８  エントロピー符号化部
１２０  符号化歪み計測部
３００  動画像符号化装置
４００  動画像符号化装置
【図１】
2005151391.tif 000003
【図２】
2005151391.tif 000004
【図３】
2005151391.tif 000005
【図４】
2005151391.tif 000006
【図５】
2005151391.tif 000007