(57)【要約】【課題】複数の符号化モードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担の増加を抑えつつ好適なモード選択を行う。【解決手段】入力動画像信号１１を予測符号化ユニット１０１〜１０８によって複数の符号化モードで符号化して得られる符号化要素１３、１６及び１７から符号量計測部１１１によって符号量を処理負担の大きな算術符号化を行う前のBin数として計測し、符号量の計測結果から符号化モード選択部１１２により最も符号量の小さい符号化モードを選択する。次に、選択された符号化モードで得られる符号化要素１３、１６及び１７に対し、算術符号化器１１０によって算術符号化を施して符号化データ１８を得る。【選択図】図１
2005318296.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、
前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、
前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、
選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを具備する動画像符号化方法。
【請求項２】
入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、
前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、
前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測ステップと、
前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、
選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを具備する動画像符号化方法。
【請求項３】
前記符号量計測ステップは、前記符号化要素に対応するbin数を累積加算することにより前記符号量を計測する請求項１または２のいずれか１項に記載の動画像符号化方法。
【請求項４】
前記選択ステップは、前記符号化モード毎に計測される前記符号量及び誤差の重み付き加算値を算出するステップを含み、該重み付き加算値が最小となる符号化モードを選択する請求項２に記載の動画像符号化方法。
【請求項５】
前記重み付き加算値を算出するステップは、前記予測符号化における量子化パラメータに応じて変化する重み係数を用いる請求項４に記載の動画像符号化方法。
【請求項６】
前記重み付き加算値を算出するステップは、前記算術符号化における過去一定期間での圧縮率によって変化する重み係数を用いる請求項４に記載の動画像符号化方法。
【請求項７】
入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する予測符号化手段と、
前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測手段と、
前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択手段と、
選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う算術符号化手段とを具備する動画像符号化装置。
【請求項８】
前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測手段をさらに具備し、前記選択手段は前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する動画像符号化装置。
【請求項９】
入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、
前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、
前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、
選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを含む動画像符号化処理をコンピュータに実行させるためのプログラム。
【請求項１０】
入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、
前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、
前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測ステップと、
前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、
選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを含む動画像符号化処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の符号化モードから一つのモードを選択して予測符号化を行い、予測符号化により得られる符号化要素に対して算術符号化を行う動画像符号化方法と装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６４などの動画像符号化方式の国際標準においては、参照画像の選択、画素ブロック形状、及び予測信号の生成方法などに関して複数の符号化モードが存在している。これらの符号化モードの中から、画素ブロック毎に一つのモードを選択して符号化を行う。
【０００３】
これらの動画像符号化方法では、符号化の際に最適な、つまり符号化効率の最もよい符号化モードを行うことが好ましい。最適な符号化モードが選択されなかった場合には、最適な符号化モードが選択がなされた場合と比較して、同一ビットレートで符号化した際の画質が悪化したり、あるいは同一の画質で再生するために必要な符号量が増加したりすることになる。画素ブロック毎に最適な符号化モードを行うことは重要であり、従来から選択方法に関する技術が種々提案されている。
【０００４】
例えば、特許文献１（特開平１０−２９０４６４号公報）には、予測誤差信号などから符号量を推定して、推定された符号量が最小となる符号化モードを選択する方法が開示されている。
【０００５】
一方、非特許文献１(Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001)には、各符号化モードでそれぞれ実際に符号化を行って符号量を求めると共に、各符号化モード毎に符号化歪、すなわち復号化された画像と原画像との誤差を計算し、符号量と符号化歪とのバランスにおいて最適な符号化モードを選択する方法が開示されている。
【特許文献１】特開平１０−２９０４６４号公報
【非特許文献１】Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の方法では、符号量の推定に基づいて符号化モードを選択しているので、予測が誤った場合には符号化モードの選択が適切でない場合もあり、必ずしも符号化効率の向上は望めない。
【０００７】
一方、非特許文献１の方法によると、実際の符号化による符号量計測結果に基づいて符号化モードの選択を行っているので、符号化効率が改善する。しかしながら、非特許文献１では選択可能な複数の符号化モードについて実際に符号化を行って符号量を計測しなければならないため、符号化モードの数が多い場合には、符号化に必要な演算量やハードウェア規模が大きくなり、エンコーダのコスト増を招くという問題がある。特に、ITU-T Rec. H.264のようにエントロピー符号化に算術符号化を用いる場合、この問題は顕著である。
【０００８】
本発明は、複数の符号化モードの中から一つのモードを選択して動画像の符号化を行う際に、処理負担の増加を抑えつつ好適なモード選択を行うことができる動画像符号化方法と装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の第１の観点では入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを具備する動画像符号化方法を提供する。
【００１０】
本発明の第２の観点では、入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測ステップと、前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを具備する動画像符号化方法を提供する。
【００１１】
好ましい実施の態様によると前記符号量計測ステップでは、例えば前記符号化要素に対応するbin数を累積加算することにより前記符号量を計測する。前記選択ステップでは、例えば前記符号化モード毎に計測される前記符号量及び誤差の重み付き加算値を算出するステップを含み、該重み付き加算値が最小となる符号化モードを選択する。さらに、前記重み付き加算値を算出するステップでは、例えば前記予測符号化における量子化パラメータに応じて変化する重み係数、あるいは前記算術符号化における過去一定期間での圧縮率によって変化する重み係数を用いる。
【００１２】
本発明の他の観点では、入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する予測符号化手段と、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測手段と、前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択手段と、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う算術符号化手段とを具備する動画像符号化装置を提供する。
【００１３】
この場合、前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測手段をさらに具備し、前記選択手段では前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択してもよい。
【００１４】
本発明のさらに別の観点によると、入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを含む動画像符号化処理をコンピュータに実行させるためのプログラム、あるいは入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測ステップと、前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを含む動画像符号化処理をコンピュータに実行させるためのプログラムを提供することもできる。
【発明の効果】
【００１５】
本発明によれば、複数のモードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ好適なモード選択を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の実施の形態を説明する。  
（第１の実施形態）  
本発明の第１の実施形態に従う動画像符号化装置では、図１に示されるように符号化対象画像の入力動画像信号１１が画素ブロック毎に減算器１０１に入力され、ここで入力動画像信号１１と予測画像信号１５との差がとられることにより、予測誤差信号１２が生成される。予測誤差信号１２に対して直交変換器１０２により直交変換が施され、直交変換係数が生成される。直交変換係数は、量子化器１０３により量子化される。
【００１７】
量子化された直交変換係数情報は、逆量子化器１０４により逆量子化された後、逆直交変換器１０５により逆直交変換されることによって、予測誤差信号が再生される。加算器１０６では、再生された予測誤差信号と予測画像信号１５が加算されることによって、局部復号画像信号１４が生成される。局部復号画像信号１４は参照画像メモリ１０７に参照画像信号として蓄積され、参照画像メモリ１０７から読み出される参照画像信号は、予測器１０８に入力される。参照画像メモリ１０７は、複数のフレームメモリを含んでいる。
【００１８】
予測器１０８では、フレーム内（イントラ）予測またはフレーム間（インター）予測が行われ、予測画像信号１５が生成される。フレーム間予測では参照画像メモリ１０７からの参照画像信号に対して動き補償予測が行われ、フレーム内予測では符号化中のフレームの符号化済みの領域から符号化モードに応じた予測が行われる。予測画像信号１５は入力動画像信号１１との差分をとるために減算器１０１に送られ、さらに局部復号画像信号１４を生成するために加算器１０６にも送られる。予測器１０８からは、さらにフレーム予測かフレーム間予測かを示す予測モード、参照画像メモリ１０７から選択した参照画像の番号及び予測時のブロックサイズなどの符号化モード情報１６と、フレーム間予測（動き補償予測）に用いた動きベクトル情報１７が出力される。
【００１９】
量子化器１０３から出力される量子化された直交変換係数情報１３、予測器１０８から出力される符号化モード情報１６及び動きベクトル情報１７を総称して符号化要素（シンタックス・エレメント)と呼ぶ。これらの符号化要素は、切替器１０９に入力される。切替器１０９は、入力された符号化要素を算術符号化器１１０に入力するか、あるいは符号量計測器１１１に入力するかの切り替えを行う。
【００２０】
算術符号化器１１０では、符号化要素である量子化直交変換係数情報１３、動きベクトル情報１６及び符号化モード情報１７にそれぞれ対応して符号が生成され、これらの符号が多重化されることによって、ビットストリームの符号化データ１８として出力される。符号化データ１８は、図示しない蓄積系あるいは伝送路へ送出される。
【００２１】
符号量計測部１１１は、切替器１０９を介して入力される符号化要素から算術符号化前のBin数を符号変換テーブルあるいは計算を用いて求め、さらにBin数から算術符号化器１１０の符号量を計測する。
【表１】
2005318296.tif 000003
【００２２】
表１に、算術符号化に用いられる符号変換テーブルの一例を示す。直交変換係数情報や符号化モード情報等の符号化要素を示すValueがあり、各Valueに対して可変長符号のBin stringが割り当てられている。符号量計測部１１１は、例えば表１のような符号変換テーブルを参照して各Valueに対応するBin数を累積加算することで、算術符号化器１１０での算術符号化前の符号量の計測を行う。符号量計測部１１１の別の例では、例えば図２に示されるような処理でValueをBin stringに変換して符号量を計測することもできる。ここで符号量計測部１１１では、算術符号化データの出力は行わず、符号量の計測のみを行う。
【００２３】
符号量計測部１１１で計測された符号量の情報は、符号化モード選択部１１２に入力される。符号化モード選択部１１２は、符号量計測部１１１から供給される符号量情報に基づき符号化モードを決定する。具体的には、符号化モード選択部１１２は切替器１０９の出力が符号量計測部１１１側に切り替えられている状態で複数の符号化モードから一つの符号化モードを順次選択し、選択した符号化モードを予測器１０８に対して設定する。
【００２４】
この後、符号化モード選択部１１２は各符号化モードで符号化がなされた場合に符号量計測部１１１から供給される符号化モード毎の符号量情報に基づいて最終的に一つの符号化モードを選択する。すなわち、このとき動画像符号化装置は符号化対象の画素ブロックに対して、複数の符号化モードの各々で実際に予測符号化及び符号量の計測を行う。符号化モード選択部１１２は、各符号化モード時に得られる符号量情報を比較して、例えば最も符号量の小さい一つの符号化モードを選択する。
【００２５】
このようにして符号化モード選択部１１２が一つの符号化モードを選択すると、選択された符号化モードに従った予測符号化により生成される符号化要素、すなわち量子化直交変換係数情報１３、符号化モード情報１６及び動き補償予測モード時に得られる動きベクトル情報１７が切替器１０９を経由して算術符号化器１１０に入力される。算術符号化器１１０は、上述したように選択された符号化モードで生成された量子化直交変換係数情報１３、符号化モード情報１６及び動きベクトル情報１７等の符号化要素に対して算術符号化を行い、符号化データ１８を出力する。
【００２６】
算術符号化器１１０は、図３に示されるようにBin string生成部２１０、context選択部２０２及び算術符号生成部２０３を有する。Bin string生成部２０１は、表１に示したテーブルや図２に示される変換によって、量子化直交変換係数情報１３や符号化モード情報１６及び動きベクトル情報１７といった符号化要素を示すValueを“０”，“１”からなるBin stringに変換して出力する。一方、context選択部２０２は、入力された量子化直交変換係数情報１３や符号化モード情報１６及び動きベクトル情報１７のそれぞれに対応した確率モデルを選択して出力する。算術符号生成部２０３は、入力されたBin stringと確率モデルに従って符号化データ１８を出力する。こうして算術符号化器１１０から出力される符号化データ１８が動画像符号化装置の出力となる。
【００２７】
次に、第１の実施形態に従う動画像符号化装置のより具体的な処理手順を説明する。図１の動画像符号化装置に１フレーム単位で動画像信号１１が入力されると（ステップＳ１０１）、画素ブロック毎に符号化が開始される(ステップＳ１０２)。この場合、まず符号化モード選択部１１２は符号化モードを示すインデックスindexに０をセットし、さらに最小コストを示す変数min_costを最大値で初期化する(ステップＳ１０３)。
【００２８】
次に、符号化モード選択部１１２は切替器１０９の出力が符号量計測部１１１に接続された状態で、indexの値で示される符号化モードを予測器１０８に対して設定する。これによって、indexの値で示される符号化モードによる仮予測符号化が行われ（ステップＳ１０４）、そのときの符号量が符号量計測部１１１で計測される（ステップＳ１０５）。ここで計測される符号量は、算術符号化器１１０が算術符号化を行う前のBin数に基づいて求められる。従って、符号量の計測に際しては実際に算術符号化を行わないので、その分だけ符号量計測のための演算処理の負担は軽く抑えられる。
【００２９】
符号化モード選択部１１２は、こうして計測された符号量に基づいて符号化コスト（cost）の計算を行う（ステップＳ１０６）。計算される符号化コストは、例えば符号量そのものである。次に、符号化モード選択部１１２は計算した符号化コスト（cost）が最小コストmin_costより小さいか否かを判定し（ステップＳ１０７）、小さい場合にはその符号化コストで最小コストmin_costを更新すると共に、その際の仮予測符号化の符号化モードを示す符号化モードindexをbest_modeインデックスとして保持する。また、このときの仮予測符号化結果、つまりindexで示される符号化モードに対応した予測符号化によって生成された符号化要素の情報を保持しておく（ステップＳ１０８）。
【００３０】
次に、符号化モード選択部１１２は符号化モードindexをインクリメントし、インクリメント後の符号化モードindexが予め定められた値maxより小さいか否かを判定する（ステップＳ１０９）。ここで、予め定められた値maxは選択可能な符号化モードの個数である。従って、ステップＳ１０９の判定結果が“ＮＯ”であることは、全ての符号化モードについてステップＳ１０４〜Ｓ１０８の処理が終了したことを意味する。
【００３１】
インクリメント後の符号化モードindexが値maxより小さい場合（ステップＳ１０９の判定結果が“ＹＥＳ”の場合）には、インクリメント後の符号化モードindexで示される符号化モードでステップＳ１０４〜Ｓ１０９の処理を行う。この後、符号化モードindexが予め定められた値max以上になったとき（ステップＳ１０９の判定結果が“ＮＯ”のとき）には、選択可能な符号化モードの全てについてステップＳ１０４〜Ｓ１０８の処理を繰り返し、符号化モード選択部１１２は最適な符号化モード（best_mode）を選択する。すなわち、best_modeインデックスに保持されるindexに示される符号化モードを最適な符号化モードとして選択する。このように各符号化モードでの符号量に対応する符号化コストを比較し、符号化コストの最も小さいモードを最適な符号化モード（best_mode）として選択することができる。
【００３２】
この後、選択された最適な符号化モード（best_mode）での予測符号化データ（符号化Value系列）を切替器１０９により算術符号化器１１０に供給してBin stringに対して実際に算術符号化を行い（ステップＳ１０）、符号化データ１８を出力する。以上のステップＳ１０２〜Ｓ１１０の処理を１フレーム内の全ての画素ブロックに対して行うと（ステップＳ１１１で“ＹＥＳ”）、１フレームの画素ブロックの符号化が終了する。
【００３３】
なお、量子化器１０３より出力される量子化直交変換係数１３から逆量子化器１０４及び逆直交変換器１０５を経て局部復号画像信号１４を生成して参照画像メモリ１０７に参照画像データとして蓄積する処理は、最終的に選択された最適な符号化モードでのみ行えばよい。従って、局部復号画像信号１４の生成のための処理は、符号化モード選択のためのループ内では必ずしも実行する必要はない。
【００３４】
以上説明したように第１の実施形態によれば、選択可能な複数の符号化モードについて実際に近い符号化処理を行い、各符号化モードでの符号化データの符号量の最も小さいモードを選択し、選択した符号化モードで符号化を行う。従って、符号化効率の高い符号化モード、つまり画素ブロックの内容等に応じて最適な符号化モードを選択することが可能となる。
【００３５】
また、本実施形態によると、符号化モード選択のために符号量計測部１１１によって行われる符号量計測では、処理が重くかつ１入力毎の処理が必要な算術符号化を行う必要がないので、符号化モード毎に繰返す符号量計測を高速に実行することが可能となる。さらに、選択された符号化モードで得られる符号化要素に対する最終的なエントロピー符号化は、算術符号化器１１０によって高い圧縮率でなされるので、最終的に得られる符号化データ１８の符号化効率は高いものとなる。  
このように本実施形態では、高速かつ好適な符号化モード選択により、高速で圧縮効率の高い動画像符号化を実現することが可能となる。特に、ITU-T Rec. H.264のような動画符号化では、エントロピー符号化として算術符号化が採用されており、本実施形態の方式が有用である。
【００３６】
（第２の実施形態）
次に、図５を用いて本発明の第２の実施形態に従う動画像符号化装置を説明する。図５に示すように、第２の実施形態における動画像符号化装置では第１の実施形態の動画像符号化装置に符号化歪計測部１１３が追加されている。
【００３７】
以下、図１中の構成要素と同一要素に同一符号を付して第１の実施形態との相違点を中心に説明すると、符号歪計測部１１３は符号化対象画像である入力動画像信号１１と、逆量子化器１０４、逆直交変換器１０５及び加算器１０６を経て生成される局部復号画像信号１４間の誤差である符号化歪（例えば、二乗誤差）を計算する。ここで、符号化歪計測部１１３による符号化歪の計算は、符号化モード選択部１１２によって選択され設定される各符号化モード、つまり動画像符号化装置で選択可能な複数の符号化モード毎に行われる。すなわち、符号化モード毎に予測符号化により得られる符号化要素を局部復号して得られる画像信号と入力動画像との画像差分を表す符号化歪が計測される。
【００３８】
第２の実施形態においては、符号化モード選択部１１２は符号量計測部１１１により計測される符号化モード毎の符号量と、符号歪計測部１１３により計測される符号化モード毎の符号化歪に基づいて、複数の符号化モードの中から一つのモードを選択する。
【００３９】
符号化モード選択部１１２による符号化モードの選択基準としては、例えば符号化モード毎に符号量と符号化歪コストを数値化し、両者の重み付き加算値が最も小さいモードを選択するという基準を用いることができる。重み付き加算値を算出する際に用いる重み係数は、例えば非特許文献１に開示されているレート（符号量）−歪（符号化歪）最適化方法（Rate-Distortion Optimization）などにより、決定することが可能である。このように符号化歪も考慮して符号化モードを選択すれば、符号量と符号化歪とのバランスにおいて好適な符号化モードを選択でき、符号化効率をより向上させることが可能となる。
【００４０】
重み付き加算に用いる重み係数は、実際の符号量を用いる場合を想定して決定される。一方、符号量計測部１１１で計測される符号量は、算術符号化を行う前のBin stringsの符号量である。従って、実際の符号量は算術符号化による圧縮率分だけ、計測される符号量より少なくなることが考えられる。算術符号化による圧縮率は、入力動画像の種類、量子化器１０３での量子化パラメータ（量子化幅、量子化ステップサイズともいう）、符号化の予測構造（フレーム内予測、フレーム間予測等）によって変化する。
【００４１】
そこで、重み付き加算に用いる重み係数を例えば（ａ）予測符号化における量子化パラメータに応じて変化させる、（ｂ）直前フレームの圧縮率に比例して変化させるあるいは（ｃ）入力動画像信号１１の符号化対象画像（現符号化フレーム）と同じ予測構造を用いて符号化した符号化済み画像（既符号化フレーム）の圧縮率に比例して変化させる、などのように適応的に変化させることで、より的確な最適化が可能となる。（ｂ）（ｃ）では、要するに算術符号化における過去一定期間での圧縮率によって変化する重み係数を用いることになる。
【００４２】
このようにして符号化モード選択部１１２が一つの符号化モードが選択されると、第１の実施形態と同様、選択された符号化モードに従った予測符号化により生成される量子化直交変換係数情報１３、符号化モード情報１６及び動き補償予測モード時に得られる動きベクトル情報１７が切替器１０９を経由して算術符号化器１１０に入力される。算術符号化器１１０は、選択された符号化モードで生成された量子化直交変換係数情報１３、符号化モード情報１６及び動きベクトル情報１７に対して算術符号化を行い、符号化データ１８を出力する。
【００４３】
次に、第２の実施形態に従う動画像符号化装置のより具体的な処理手順を説明する。図５の動画像符号化装置に１フレーム単位で動画像信号１１が入力されると（ステップＳ２０１）、画素ブロック毎に符号化が開始される(ステップＳ２０２)。この場合、まず符号化モード選択部１１２は符号化モードを示すインデックスindexに０をセットし、さらに最小コストを示す変数min_costを最大値で初期化する(ステップＳ２０３)。
【００４４】
次に、符号化モード選択部１１２は切替器１０９の出力が符号量計測部１１１に接続された状態で、indexの値で示される符号化モードを予測器２０８に対して設定する。これにより、indexの値で示される符号化モードによる仮予測符号化が行われ（ステップＳ２０４）、そのときの符号量が符号量計測部１１１で計測される（ステップＳ２０５）。ここで計測される符号量は、算術符号化器１１０が算術符号化を行う前のBin数に基づいて求められる。従って、符号量の計測に際しては実際に算術符号化を行わないので、その分だけ符号量計測のための演算処理の負担は軽く抑えられる。
【００４５】
一方、量子化器１０３より出力される量子化直交変換係数１３から逆量子化器１０４及び逆直交変換器１０５を経て局部復号画像信号１４（仮デコード画像）を生成する（ステップＳ２０６）。
【００４６】
次に、符号化歪計測部１１３によって符号化対象画像である入力動画像信号１１とステップＳ２０６で生成される局部復号画像信号１４間の誤差である符号化歪（例えば、二乗誤差）を計算する（ステップＳ２０７）。
【００４７】
次に、符号化モード選択部１１２は、ステップＳ２０５で計測された符号量に基づいて符号化コスト（cost）の計算を行う（ステップＳ２０８）。計算される符号化コストは、例えば符号量そのものである。
【００４８】
次に、符号化モード選択部１１２は計算した符号化コスト及び符号化歪を数値化した値の加算値（cost）が最小コストmin_costより小さいか否かを判定し（ステップＳ２０９）、小さい場合にはその符号化コストで最小コストmin_costを更新すると共に、その際の仮予測符号化の符号化モードを示す符号化モードindexをbest_modeインデックスとして保持する。また、このときの仮予測符号化結果、つまりindexで示される符号化モードに対応した予測符号化によって生成された符号化要素の情報を保持しておく（ステップＳ２１０）。
【００４９】
次に、符号化モード選択部１１２は符号化モードindexをインクリメントし、インクリメント後の符号化モードindexが予め定められた値maxより小さいか否かを判定する（ステップＳ２１１）。ここで、予め定められた値maxは選択可能な符号化モードの個数である。従って、ステップＳ２１１の判定結果が“ＮＯ”であることは、全ての符号化モードについてステップＳ２０４〜Ｓ２１０の処理が終了したことを意味する。
【００５０】
インクリメント後の符号化モードindexが値maxより小さい場合（ステップＳ２１１の判定結果が“ＹＥＳ”の場合）には、インクリメント後の符号化モードindexで示される符号化モードでステップＳ２０４〜Ｓ２１０の処理を行う。この後、符号化モードindexが予め定められた値max以上になったとき（ステップＳ２１１の判定結果が“ＮＯ”のとき）には、選択可能な符号化モードの全てについてステップＳ２０４〜Ｓ２１０の処理を繰り返し、符号化モード選択部１１２は最適な符号化モード（best_mode）を選択する。すなわち、best_modeインデックスに保持されるindexに示される符号化モードを最適な符号化モードとして選択する。このように各符号化モードでの符号量に対応する符号化コストを比較し、符号化コストの最も小さいモードを最適な符号化モード（best_mode）として選択することができる。
【００５１】
この後、選択された最適な符号化モード（best_mode）での予測符号化データ（符号化Value系列）を切替器２０９により算術符号化器１２０に供給してBin stringに対して実際に算術符号化を行い（ステップＳ２１２）、符号化データ１８を出力する。以上のステップＳ２０２〜Ｓ２１２の処理を１フレーム内の全ての画素ブロックに対して行うと（ステップＳ２１３で“ＹＥＳ”）、１フレームの画素ブロックの符号化が終了する。
【００５２】
なお、量子化器２０３から出力される量子化直交変換係数１３から逆量子化器２０４及び逆直交変換器２０５を経て局部復号画像信号１４を生成して参照画像メモリ２０７に参照画像データとして蓄積する処理は、最終的に選択された最適な符号化モードでのみ行えばよい。従って、局部復号画像信号１４の生成のための処理は、符号化モード選択のためのループ内では必ずしも実行する必要はない。
【００５３】
以上説明したように第２の実施形態では、選択可能な複数の符号化モードについて実際に近い符号化処理を行い、各符号化モードでの符号化データの符号量を計測すると共に、符号化モード毎に符号化歪を計測し、符号化モード毎の符号量及び符号化歪に基づいて画像劣化が少なく、かつ符号量も小さい一つの符号化モードを選択することができる。
【００５４】
また、第１の実施形態と同様、符号化モード選択のために符号量計測部１１１によって行われる符号量計測では、処理が重くかつ１入力毎の処理が必要な算術符号化を行う必要がないので、符号化モード毎に繰返す符号量計測を高速に実行することが可能となる。
【００５５】
さらに、選択された符号化モードで得られる符号化要素に対する最終的なエントロピー符号化は、算術符号化器１１０によって高い圧縮率でなされるので、最終的に得られる符号化データ１８の符号化効率は高いものとなる。従って、第１の実施形態と同様に高速かつ好適な符号化モード選択により、高速で圧縮効率の高い動画像符号化を実現することが可能となる。
【００５６】
なお、上述した各実施形態で行われる動画像符号化処理は、専用のハードウェア回路によって実現されてもよいし、ＣＰＵがプログラムに従って動作することにより、符号化モード選択を含む図４や図６に示したような動画像符号化処理が実行されるようにしてもよい。また、このような動画像符号化処理をコンピュータに実行させるためのプログラムをインターネットのようなの通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）のようなコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。
【００５７】
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【産業上の利用可能性】
【００５８】
本発明に従う動画像符号化技術は、動画像信号を圧縮して記録したり伝送する用途に有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に従う動画像符号化装置のブロック図
【図２】図１中の符号量計測部に用いられるBin stringを生成する手順の一例を示す図
【図３】図１中の算術符号化部の具体例のブロック図
【図４】第１の実施形態における動画像符号化の手順を示すフローチャート
【図５】本発明の第２の実施形態に従う動画像符号化装置のブロック図
【図６】第２の実施形態における動画像符号化の手順を示すフローチャート
【符号の説明】
【００６０】
１１…入力動画像信号
１２…予測誤差信号
１３…量子化直交変換係数
１４…局部復号画像信号
１５…予測画像信号
１６…符号化モード情報
１７…動きベクトル情報
１８…符号化データ
１０１…減算器
１０２…直交変換器
１０３…量子化器
１０４…逆量子化器
１０５…逆直交変換器
１０６…加算器
１０７…参照画像メモリ
１０８…予測器
１０９…切替器
１１０…算術符号化器
１１１…符号量計測器
１１２…符号化モード選択器
１１３…符号化歪計測部
２０１…Bin string生成部
２０２…context選択部
２０３…算術符号生成部
【図１】
2005318296.tif 000004
【図２】
2005318296.tif 000005
【図３】
2005318296.tif 000006
【図４】
2005318296.tif 000007
【図５】
2005318296.tif 000008
【図６】
2005318296.tif 000009