(57)【要約】  【課題】  高い量子化効率を実現できる画像処理装置を提供する。  【解決手段】  レート制御回路５４では仮想バッファ占有量ｄｊｉ，ｄｊｐ，ｄｊｂの初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを、Ｉ，Ｐ，Ｂピクチャの複雑度ＸＩ，ＸＰ，ＸＢを基に決定する。レート制御回路５４は、初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを基に量子化パラメータＱＰを生成する。  【選択図】  図２
2006074347.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャを構成する複数のブロックを順に処理対象として選択し、前記複数のブロックのうち既に量子化された前記ブロックのビット量の第１の総和と前記ピクチャに予め割り当てられた総ビット量を基に規定された前記既に量子化されたブロックの予定ビット量の第２の総和との差分と、前記差分の初期値とを基に、前記処理対象として選択したブロックの量子化スケールを決定する量子化スケール決定手段と、
前記ピクチャの複雑度を検出する複雑度検出手段と
を有し、
前記量子化スケール決定手段は、前記複雑度検出手段が検出した前記ピクチャの複雑度が大きくなるに従って値を大きくするように前記初期値を生成し、当該初期値を用いて、前記量子化スケールを決定する
画像処理装置。
【請求項２】
前記量子化スケール決定手段は、前記差分と前記初期値との総和が大きくなるに従って値を大きくするように前記量子化スケールを決定する
請求項１に記載の画像処理装置。
【請求項３】
前記量子化スケール決定手段は、
前記複雑度検出手段が検出したＩピクチャの複雑度が大きくなるに従って値を大きくするように前記初期値を生成する、
請求項１に記載の画像処理装置。
【請求項４】
前記量子化スケール算出手段は、前記ピクチャ内の既に量子化された前記ブロックの数を前記ピクチャ内の前記ブロックの総数で除算した値を前記ピクチャに予め割り当てられた総ビット量を乗じて前記第２の総和を算出する
請求項１に記載の画像処理装置。
【請求項５】
前記複雑度検出手段は、複数の前記ピクチャで構成される動画像データを復号して得られた処理対象の前記ピクチャを構成する複数の前記ブロックの量子化スケールの平均値と、前記複数のブロックのビット量の平均値とを乗じて前記複雑度を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記量子化スケール決定手段は、複数の量子化スケールの各々で前記ピクチャを量子化した場合の前記ピクチャのビット量と、前記複数の量子化スケールとの関係を示す関係値をさらに用いて、前記初期値を生成する
請求項１に記載の画像処理装置。
【請求項７】
前記複雑度検出手段は、複数の量子化スケールの各々で前記ピクチャを量子化した場合の前記ピクチャのビット量と、前記複数の量子化スケールとの関係を示す関係値をさらに用いて、前記複雑度を算出する
請求項１に記載の画像処理装置。
【請求項８】
前記複雑度検出手段は、前記ピクチャがインター符号化あるいはイントラ符号化される場合に、前記ブロックの原画像とインター予測画像との第１の差分と、前記ブロックの原画像とイントラ予測画像との第２の差分とのうち小さい方を第３の差分として特定し、前記ピクチャを構成する複数のブロックについて前記特定した前記第３の差分の総和を前記複雑度として決定する
請求項１に記載の画像処理装置。
【請求項９】
動画像を構成する各ピクチャを符号化する画像処理装置であって、
前記ピクチャを構成する複数のブロックを順に処理対象として選択し、前記複数のブロックのうち既に量子化された前記ブロックのビット量の第１の総和と前記ピクチャに予め割り当てられた総ビット量を基に規定された前記既に量子化されたブロックの予定ビット量の第２の総和との差分と、前記差分の初期値とを基に、前記処理対象として選択したブロックの量子化スケールを決定する量子化スケール決定手段と、
前記ピクチャの複雑度を検出する複雑度検出手段と、
前記量子化スケール決定手段が決定した前記量子化スケールを基に、前記ブロックを量子化する量子化手段と、
前記量子化手段が量子化した前記ブロックを符号化する符号化手段と
を有し、
前記量子化スケール決定手段は、前記複雑度検出手段が検出した前記ピクチャの複雑度が大きくなるに従って値を大きくするように前記初期値を生成し、当該初期値を用いて、前記量子化スケールを決定する
画像処理装置。
【請求項１０】
ピクチャの複雑度を検出する第１の工程と、
前記ピクチャを構成する複数のブロックを順に処理対象として選択し、前記複数のブロックのうち既に量子化された前記ブロックのビット量の第１の総和と前記ピクチャに予め割り当てられた総ビット量を基に規定された前記既に量子化されたブロックの予定ビット量の第２の総和との差分と、前記差分の初期値とを基に、前記処理対象として選択したブロックの量子化スケールを決定する第２の工程と
を有し、
前記第２の工程は、前記第１の工程で検出した前記ピクチャの複雑度が大きくなるに従って値を大きくするように前記初期値を生成し、当該初期値を用いて前記量子化スケールを決定する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの量子化を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及している。
ＭＰＥＧ方式では、符号化対象の画像データに直交変換を施して変換係数を生成し、当該変換係数を所定の量子化スケールで量子化し、当該量子化された画像データを符号化する。
ところで、ＭＰＥＧ方式では、符号化対象のピクチャを構成する複数のマクロブロックを順に処理対象として選択し、上記複数のマクロブロックのうち既に量子化されたマクロブロックのビット量の総和Bと当該ピクチャに予め割り当てられた総ビット量Tを基に規定された既に量子化されたブロックの予定ビット量の総和との差分と、所定の初期値ｄ０とを加算した仮想バッファ占有量ｄを基に、上記処理対象として選択したマクロブロックの量子化スケールを決定する。
従来では、上記仮想バッファ占有量ｄの算出に用いる初期値ｄ０を、ビットレートおよびピクチャレートを基に、符号化対象のピクチャの複雑度を用いることなく決定している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の符号化装置では、符号化対象のピクチャの複雑度、すなわち、実際のシーケンスを考慮せずに仮想バッファ占有量ｄの算出に用いる初期値ｄ０を決定しているため、量子化スケールを基にした量子化処理の挙動が不安定になり、効率的な量子化を行えず、符号化効率が低くなる場合があるという問題がある。
このような問題は、ＭＰＥＧの他に、Ｈ．２６４／ＡＶＣ(Advanced Video Coding)においても同様に生じる。
【０００４】
本発明は上述した従来技術の問題点を解決するために、高い量子化効率を実現できる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の発明の画像処理装置は、ピクチャを構成する複数のブロックを順に処理対象として選択し、前記複数のブロックのうち既に量子化された前記ブロックのビット量の第１の総和と前記ピクチャに予め割り当てられた総ビット量を基に規定された前記既に量子化されたブロックの予定ビット量の第２の総和との差分と、前記差分の初期値とを基に、前記処理対象として選択したブロックの量子化スケールを決定する量子化スケール決定手段と、前記ピクチャの複雑度を検出する複雑度検出手段とを有し、前記量子化スケール決定手段は、前記複雑度検出手段が検出した前記ピクチャの複雑度が大きくなるに従って値を大きくするように前記初期値を生成し、当該初期値を用いて、前記量子化スケールを決定する。
【０００６】
第１の発明の画像処理装置の作用は以下のようになる。
複雑度検出手段が、ピクチャの複雑度を検出する。
次に、量子化スケール決定手段が、ピクチャを構成する複数のブロックを順に処理対象として選択し、前記複数のブロックのうち既に量子化された前記ブロックのビット量の第１の総和と前記ピクチャに予め割り当てられた総ビット量を基に規定された前記既に量子化されたブロックの予定ビット量の第２の総和との差分と、前記差分の初期値とを基に、前記処理対象として選択したブロックの量子化スケールを決定する。
このとき、量子化スケール決定手段は、前記複雑度検出手段が検出した前記ピクチャの複雑度が大きくなるに従って値を大きくするように前記初期値を生成し、当該初期値を用いて、前記量子化スケールを決定する。
【０００７】
また、第２の発明の画像処理装置は、動画像を構成する各ピクチャを符号化する画像処理装置であって、前記ピクチャを構成する複数のブロックを順に処理対象として選択し、前記複数のブロックのうち既に量子化された前記ブロックのビット量の第１の総和と前記ピクチャに予め割り当てられた総ビット量を基に規定された前記既に量子化されたブロックの予定ビット量の第２の総和との差分と、前記差分の初期値とを基に、前記処理対象として選択したブロックの量子化スケールを決定する量子化スケール決定手段と、前記ピクチャの複雑度を検出する複雑度検出手段と、前記量子化スケール決定手段が決定した前記量子化スケールを基に、前記ブロックを量子化する量子化手段と、前記量子化手段が量子化した前記ブロックを符号化する符号化手段とを有し、前記量子化スケール決定手段は、前記複雑度検出手段が検出した前記ピクチャの複雑度が大きくなるに従って値を大きくするように前記初期値を生成し、当該初期値を用いて、前記量子化スケールを決定する。
【０００８】
第３の発明の画像処理方法は、ピクチャの複雑度を検出する第１の工程と、前記ピクチャを構成する複数のブロックを順に処理対象として選択し、前記複数のブロックのうち既に量子化された前記ブロックのビット量の第１の総和と前記ピクチャに予め割り当てられた総ビット量を基に規定された前記既に量子化されたブロックの予定ビット量の第２の総和との差分と、前記差分の初期値とを基に、前記処理対象として選択したブロックの量子化スケールを決定する第２の工程とを有し、前記第２の工程は、前記第１の工程で検出した前記ピクチャの複雑度が大きくなるに従って値を大きくするように前記初期値を生成し、当該初期値を用いて前記量子化スケールを決定する。
【発明の効果】
【０００９】
本発明によれば、高い量子化効率を実現できる画像処理装置および画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１０】
＜第１実施形態＞
以下、本発明の第１実施形態を説明する。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
図２に示すレート制御回路５４が本発明の量子化スケール決定手段に対応し、複雑度算出回路５３が本発明の複雑度検出手段に対応している。
また、可逆符号化回路２７が本発明の符号化手段に対応している。
また、本実施形態のマクロブロックＭＢが本発明のブロックに対応し、量子化パラメータＱＰが本発明の量子化スケールに対応し、複雑度ＸＩ，ＸＰ，ＸＰが本発明の複雑度に対応している
また、式（２−１０），（２−１１），（２−１２）のＢｊが本発明の第１の総和に対応し、「ＴＩ（ＴＰ，ＴＢ）×（ｊ−１）／ＭＢｃｎｔ」が本発明の第２の総和に対応している。
また、本実施形態の「ａｉ」，「ａｐ」，「ａｂ」が本発明の関係値に対応している。
【００１１】
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
図１に示す復号装置３は符号化装置２の符号化に対応した復号を行う。
【００１２】
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、再構成回路３１、デブロックフィルタ３２、メモリ３３、イントラ予測回路４１、動き予測・補償回路４２、選択回路４４、ＭＰＥＧ２復号回路５１、複雑度算出回路５３およびレート制御回路５４を有する。
【００１３】
以下、符号化装置２の概要を説明する。
符号化装置２では、ＭＰＥＧ２復号回路５１においてＭＰＥＧ２で符号化されたＭＰＥＧ画像データＳ１１を復号して画像データＳ５１を生成し、画像データＳ５１をＨ．２６４／ＡＶＣ(Advanced Video Coding)で符号化する。
先ず、ＭＰＥＧ２で符号化されたＭＰＥＧ画像データＳ１１が、ＭＰＥＧ２復号回路５１に入力される。
次に、ＭＰＥＧ２復号回路５１が、ＭＰＥＧ画像データＳ１１を復号して画像データＳ５１を生成し、これを画面並べ替え回路２３に出力する。
また、ＭＰＥＧ２復号回路５１は、ＭＰＥＧ２の符号化過程における量子化で用いられた各マクロブロックＭＢの量子化スケールＱｕａｎｔおよびビット量Ｒを複雑度算出回路５３に出力する。
複雑度算出回路５３は、ＭＰＥＧ２復号回路５１から入力した１ピクチャ（フレーム）分の量子化スケールＱｕａｎｔおよびビット量Ｒを基に、複雑度Ｃｏｍｐｌｅｘｉｔｙを算出する。
複雑度算出回路５３は、Ｉ，Ｐ，Ｂピクチャの各々について、上記複雑度Ｃｏｍｐｌｅｘｉｔｙを算出し、それぞれを複雑度ＸＩ，ＸＰ，ＸＢとしてレート制御回路５４に出力する。
次に、レート制御回路５４は、画面並べ替え回路２３からの画像データＳ２３、複雑度算出回路５３からの複雑度ＸＩ，ＸＰ，ＸＢ、並びにバッファ２８からの画像データＳ２とを基に、各マクロブロックＭＢの量子化パラメータＱＰを算出し、これを量子化回路２６に出力する。
このとき、レート制御回路５４は、符号化対象のピクチャを構成する複数のマクロブロックＭＢを順に処理対象として選択し、上記複数のマクロブロックＭＢのうち既に量子化されたマクロブロックＭＢのビット量の総和Ｂと当該ピクチャに予め割り当てられた総ビット量Ｔを基に規定された既に量子化されたブロックの予定ビット量の総和との差分と、所定の初期値ｄ０とを加算した仮想バッファ占有量ｄを基に、上記処理対象として選択したマクロブロックＭＢの量子化スケールを決定する。
本実施形態では、上記初期値ｄ０を、複雑度算出回路５３から入力した複雑度ＸＩ，ＸＰ，ＸＢを基に算出する。
その後、量子化回路２６は、量子化パラメータＱＰを基に、画像データＳ２５を量子化する。
【００１４】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される被符号化画像データＳ１０をデジタルの画像データＳ２２に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像データＳ２２あるいはＭＰＥＧ２復号回路５１から入力した画像データＳ５１を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた画像データＳ２３を演算回路２４、イントラ予測回路４１、動き予測・補償回路４２およびレート制御回路５４に出力する。
以下、本実施形態では、画面並べ替え回路２３が、ＭＰＥＧ２復号回路５１から入力した画像データＳ５１を処理する場合を例示する。
【００１５】
演算回路２４は、画像データＳ２３と、選択回路４４から入力した予測画像データＰＩとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路５４から入力した量子化パラメータＱＰを基に、当該量子化パラメータＱＰに応じて規定される量子化スケール（量子化ステップ）で画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００１６】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、選択データＳ４４がインター予測符号化を選択したことを示す場合に、動き予測・補償回路４２から入力した動きベクトルＭＶを符号化してヘッダデータに格納する。
また、可逆符号化回路２７は、選択データＳ４４がイントラ予測符号化を選択したことを示す場合に、イントラ予測回路４１から入力したイントラ予測モードＩＰＭをヘッダデータなどに格納する。
また、可逆符号化回路２７は、各マクロブロックＭＢに、量子化回路２６における量子化で用いた量子化スケールを含める。
バッファ２８に格納された画像データは、変調等された後に送信される。
【００１７】
逆量子化回路２９は、量子化回路２６で用いた量子化スケールを基に、画像データＳ２６を逆量子化して逆直交変換回路３０に出力する。
逆直交変換回路３０は、逆量子化回路２９から入力した逆量子化された画像データに、直交変換回路２５の直交変換に対応した逆直交変換を施して再構成回路３１に出力する。
再構成回路３１は、選択回路４４から入力した予測画像データＰＩと、逆直交変換回路３０から入力した画像データとを加算して再構成画像データを生成し、これをデブロックフィルタ３２に出力する。
デブロックフィルタ３２は、再構成回路３１から入力した画像データのブロック歪みを除去した後に、これを参照画像データとしてメモリ３３に書き込む。
【００１８】
イントラ予測回路４１は、予め規定されたイントラ予測モードのそれぞれを基に、メモリ３３から読み出した画像データを構成する各マクロブロックＭＢにイントラ予測符号を施して予測画像を生成し、当該予測画像データと画像データＳ２３との差分ＤＩＦを検出する。
そして、イントラ予測回路４１は、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードを特定し、当該特定したイントラ予測モードＩＰＭを可逆符号化回路２７に出力する。
また、イントラ予測回路４１は、上記特定したイントラ予測モードによる予測画像データＰＩと、上記差分ＤＩＦとを選択回路４４に出力する。
【００１９】
動き予測・補償回路４２は、画像データＳ２３を、フレームデータおよびフィールドデータを単位として動き予測処理を行い、メモリ３３から読み出した参照画像データＲＥＦを基に動きベクトルＭＶを決定する。
すなわち、動き予測・補償回路４２は、動きベクトルＭＶと参照画像データＲＥＦとによって規定される予測画像データＰＩと、画像データＳ２３との差分ＤＩＦを最小にする動きベクトルＭＶを決定する。
動き予測・補償回路４２は、予測画像データＰＩおよび差分ＤＩＦを選択回路４４に出力し、動きベクトルＭＶを可逆符号化回路２７に出力する。
【００２０】
選択回路４４は、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路４２から入力した差分ＤＩＦとを比較する。
選択回路４４は、上記比較によりイントラ予測回路４１から入力した差分ＤＩＦの方が小さいと判断すると、イントラ予測回路４１から入力した予測画像データＰＩを選択して演算回路２４に出力する。
選択回路４４は、上記比較により動き予測・補償回路４２から入力した差分ＤＩＦの方が小さいと判断すると、動き予測・補償回路４２から入力した予測画像データＰＩを選択して演算回路２４に出力する。
また、選択回路４４は、イントラ予測回路４１からの予測画像データＰＩを選択した場合にはインター予測符号化を選択したことを示す選択データＳ４４を可逆符号化回路２７に出力し、動き予測・補償回路４２からの予測画像データＰＩを選択した場合にはイントラ予測符号化を選択したことを示す選択データＳ４４を可逆符号化回路２７に出力する。      
【００２１】
［ＭＰＥＧ２復号回路５１］
ＭＰＥＧ２復号回路５１は、例えば、ＭＰＥＧ画像データＳ１１を入力し、ＭＰＥＧ画像データＳ１１をＭＰＥＧ２で復号して画像データＳ５１を生成し、これを画面並べ替え回路２３に出力する。
ＭＰＥＧ２復号回路５１は、ＭＰＥＧ２の符号化過程における量子化で用いられた各マクロブロックＭＢの量子化スケールＱｕａｎｔおよびビット量Ｒを複雑度算出回路５３に出力する。
【００２２】
［複雑度算出回路５３］
複雑度算出回路５３は、ＭＰＥＧ２復号回路５１から入力した１ピクチャ（フレーム）分の量子化スケールＱｕａｎｔおよびビット量Ｒについて、それらの平均値である平均量子化スケールＱｕａｎｔ＿ａｖｅおよび平均ビット量Ｒ＿ａｖｅを算出する。
複雑度算出回路５３は、下記式（１−１）により、平均量子化スケールＱｕａｎｔ＿ａｖｅと平均ビット量Ｒ＿ａｖｅとを乗算して複雑度Ｃｏｍｐｌｅｘｉｔｙを算出する。
【００２３】
【数１】
2006074347.tif 000003
【００２４】
複雑度算出回路５３は、Ｉ，Ｐ，Ｂピクチャの各々について、上記複雑度Ｃｏｍｐｌｅｘｉｔｙを算出し、それぞれを複雑度ＸＩ，ＸＰ，ＸＢとしてレート制御回路５４に出力する。
【００２５】
［レート制御回路５４］
レート制御回路５４は、複雑度ＸＩ，ＸＰ，ＸＢと、リアクションパラメータｒと、特性値ａｉ，ａｐ，ａｂとを基に、仮想バッファの初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを算出する。
ここで、複雑度ＸＩ，ＸＰ，ＸＢは、複雑度算出回路５３から入力される。
リアクションパラメータｒは、フィードバックの応答を制御するパラメータであり、例えば、下記式（１−２）で定義される。
下記式（１−２）において、「ｂｉｔ＿ｒａｔｅ」は目標符号量（ｂｉｔ／ｓｅｃ）であり、「ｐｉｃｔｕｒｅ＿ｒａｔｅ」は当該シーケンスにおける、１秒あたり表示されるピクチャの数である。これらの値は、予め設定される。
【００２６】
【数２】
2006074347.tif 000004
【００２７】
特性値ａｉ，ａｐ，ａｂは、符号化特性、並びにそれぞれＩ，Ｐ，Ｂフレームの特性によって決まる値を示し、予め設定される。
【００２８】
レート制御回路５４は、下記式（１−３）に基づいてＫｉを算出し、当該Ｋｉを用いて下記式（１−４）に基づいて初期値ｄ０ｉを算出する。
下記式（１−３）において、Ｒｉは、Ｉピクチャの目標ビット量であり、予め設定される。
【００２９】
【数３】
2006074347.tif 000005
【００３０】
【数４】
2006074347.tif 000006
【００３１】
また、レート制御回路５４は、下記式（１−５）に基づいてＫｐを算出し、当該Ｋｐを用いて下記式（１−６）に基づいて初期値ｄ０ｐを算出する。
【００３２】
【数５】
2006074347.tif 000007
【００３３】
【数６】
2006074347.tif 000008
【００３４】
また、レート制御回路５４は、下記式（１−７）に基づいてＫｂを算出し、当該Ｋｂを用いて下記式（１−８）に基づいて初期値ｄ０ｂを算出する。
【００３５】
【数７】
2006074347.tif 000009
【００３６】
【数８】
2006074347.tif 000010
【００３７】
レート制御回路５４は、以下に示すステップ１〜３により、量子化スケールコードｍｑｕａｎｔｊを算出する。
ステップ１では、ＧＯＰ(Group Of Pictures) 内の各ピクチャに対する割当ビット量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割当られるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下の仮定を用いて、各ピクチャへの符号量割当を行っている。
すなわち、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。
そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを表す複雑度ＸＩ，ＸＰ，ＸＢ（Ｇｌｏｂａｌ  Ｃｏｍｐｌｅｘｉｔｙ  Ｍｅａｓｕｒｅ）を下記（２−１）により更新する。
この複雑度により、次のピクチャを符号化する際の量子化スケールコードと発生符号量の関係を推定できる。
【００３８】
【数９】
2006074347.tif 000011
【００３９】
ここで、ＳＩ，ＳＰ，ＳＢは、ピクチャ符号化時の発生符号化ビット、ＱＩ，ＱＰ，ＱＢは、ピクチャ符号化時の平均量子化スケールコードである。
また、初期値は、目標符号量であるｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、下記（２−２），（２−３），（２−４）で示される値とする。
【００４０】
【数１０】
2006074347.tif 000012
【００４１】
【数１１】
2006074347.tif 000013
【００４２】
【数１２】
2006074347.tif 000014
【００４３】
上記仮定より、ＧＯＰ中の各ピクチャに対する割当符号量（ＴI ，ＴP，ＴB ）は、下記（２−６），（２−７），（２−８）で示される値となる。
下記（２−６）において、ｐｉｃｔｕｒｅ＿ｒａｔｅは、当該シーケンスにおける、１秒あたり表示されるピクチャの数を示している。
【００４４】
【数１３】
2006074347.tif 000015
【００４５】
【数１４】
2006074347.tif 000016
【００４６】
【数１５】
2006074347.tif 000017
【００４７】
ここで、ＮP ，ＮB は、ＧＯＰ内でまだ符号化されていない、Ｐ，Ｂピクチャの枚数である。
【００４８】
すなわち、まず、ＧＯＰ内の未符号化ピクチャのうち、割当対象となるピクチャと、異なるピクチャタイプのものに関しては、上述の画質最適化条件の元、そのピクチャの発生する符合量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。
次に、未符号化ピクチャ全体の発生する推定発生符号量が、割当対象ピクチャの何枚分の符号量に相当するかを求める。
例えば、上記（２−５）の、第１引数の分母第２項、Ｎp Ｘp ／ＸI ＫP は、ＧＯＰ内の、ＮP 枚の未符号化ピクチャが、Ｉピクチャに換算すると何枚分に換算するかを表すものであり、ＮP に、Ｐピクチャに対する発生符号量の、Ｉピクチャの発生符号量に対する割合ＳP ／ＳI を乗じてＸI ，ＸP ，ＫB で表すことにより得られる。
【００４９】
割当対象ピクチャに対するビット量は、未符号化ピクチャに対する割当ビット量Ｒを、この枚数で割ることによって得られる。但し、ヘッダなどに、固定的に必要となる符号量を考慮して、その値に下限を設定している。
このようにして求めた割当符号量を基にして、各ピクチャをステップ１，２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割当られる符号量Ｒを、下記（２−８）により更新する。
【００５０】
【数１６】
2006074347.tif 000018
【００５１】
また、ＧＯＰの最初のピクチャを符号化する際には、以下の（２−９）により、Ｒを更新する。
【００５２】
【数１７】
2006074347.tif 000019
【００５３】
ここで、Ｎは、ＧＯＰ内のピクチャ数である。また、シーケンス最初でのＲの初期値は０とする。
次に、ステップ２について述べる。
ステップ２では、ステップ１で求めた、各ピクチャに対する割当ビット量（ＴI，ＴP ，ＴB ）を、実際の符号量に一致させるため、各ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御により求める。
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を下記（２−１０），（２−１１），（２−１２）により求める。
【００５４】
【数１８】
2006074347.tif 000020
【００５５】
【数１９】
2006074347.tif 000021
【００５６】
【数２０】
2006074347.tif 000022
【００５７】
ｄ０ｉ ,ｄ０ｐ ,ｄ０ｂは、各仮想バッファの初期占有量であり、上述した式（１−４），（１−６），（１−８）を基に生成したものが用いられる。
Ｂj は、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢｃｎｔは、１ピクチャ内のマクロブロック数である。
【００５８】
各ピクチャ符号化終了時の仮想バッファ占有量（ｄMBcntxI ，ｄMBcntxp ，ｄMBcntxB ）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 I ，ｄ0 P ，ｄ0 B ）として用いられる。
次に、ｊ番目のマクロブロックに対する量子化スケールコードＱj を下記（２−１３）により算出する。
【００５９】
【数２１】
2006074347.tif 000023
【００６０】
ｒはリアクションパラメータであり、上記式（１−２）で定義されたものが用いられる。
【００６１】
次に、ステップ３について述べる。
レート制御回路５４は、画面並べ替え回路２３から入力した画像データＳ２３を基に各ブロックのアクティビティを算出する。
アクティビティは、予測誤差でなく、原画の輝度信号画素値を用い、フレームＤＣＴモードにおける４個の８×８ブロックと、フィールドＤＣＴ符号化モードにおける４個の８×８ブロックとの合計８個のブロックの画素値を用いて、下記（２−１４），（２−１５），（２−１６）により与えられる。
下記（２−１５）に示すｖａｒ＿ｓｂｌｋは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるに従って値が大きくなる。
【００６２】
【数２２】
2006074347.tif 000024
【００６３】
【数２３】
2006074347.tif 000025
【００６４】
【数２４】
2006074347.tif 000026
【００６５】
ここでＰk は原画の輝度信号ブロック内画素値である。上記（２−１４）において最小値（ｍｉｎ）を採るのは、１６×１６のマクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
さらに、以下の（２−１７）により、その値が０．５〜２の範囲をとる正規化アクティビティＮａｃｔj を求める。
【００６６】
【数２５】
2006074347.tif 000027
【００６７】
ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔj の平均値である。
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔj は、参照量子化スケールコードＱj を基に下記（２−１８）により与えられる。
【００６８】
【数２６】
2006074347.tif 000028
【００６９】
そして、レート制御回路５４は、各マクロブロックＭＢの量子化スケールコードｍｑｕａｎｔｊを量子化パラメータＱＰとして量子化回路２６に出力する。
【００７０】
量子化回路２６は、レート制御回路５４から入力した量子化パラメータＱＰに応じて規定される量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成する。
なお、本実施形態では、量子化パラメータＱＰが「６」増加すると、量子化スケールが２倍になるように規定されている。
【００７１】
以下、複雑度算出回路５３による複雑度ＸＩ，ＸＰ，ＸＢの生成処理、並びにレート制御回路５４による量子化パラメータＱＰの生成処理を説明する。
図３は、複雑度算出回路５３による複雑度ＸＩ，ＸＰ，ＸＢの生成処理を説明するためのフローチャートである。
ステップＳＴ１：
複雑度算出回路５３は、ＭＰＥＧ２の符号化過程における量子化で用いられた各マクロブロックＭＢの量子化スケールＱｕａｎｔおよびビット量ＲをＭＰＥＧ２復号回路５１から入力する。
ステップＳＴ２： 
複雑度算出回路５３は、ＭＰＥＧ２復号回路５１から入力した１ピクチャ（フレーム）分の量子化スケールＱｕａｎｔおよびビット量Ｒについて、それらの平均値である平均量子化スケールＱｕａｎｔ＿ａｖｅおよび平均ビット量Ｒ＿ａｖｅを算出する。
ステップＳＴ３：
複雑度算出回路５３は、前記式（１−１）により、ステップＳＴ２で算出した平均量子化スケールＱｕａｎｔ＿ａｖｅと平均ビット量Ｒ＿ａｖｅとを乗算して複雑度Ｃｏｍｐｌｅｘｉｔｙを算出する。
【００７２】
ステップＳＴ４：
複雑度算出回路５３は、Ｉ，Ｐ，Ｂピクチャの各々について、上記ステップＳＴ１〜ＳＴ３の処理を個別に行って複雑度Ｃｏｍｐｌｅｘｉｔｙを算出し、それぞれを複雑度ＸＩ，ＸＰ，ＸＢとしてレート制御回路５４に出力する。
【００７３】
図４は、レート制御回路５４による量子化パラメータＱＰの生成処理を説明するためのフローチャートである。
ステップＳＴ１１：
レート制御回路５４は、複雑度算出回路５３から複雑度ＸＩ，ＸＰ，ＸＢを入力する。
ステップＳＴ１２：
レート制御回路５４は、前記式（１−３）に基づいてＫｉを算出し、前記式（１−５）に基づいてＫｐを算出し、前記式（１−７）に基づいてＫｂを算出する。
ステップＳＴ１３：
レート制御回路５４は、ステップＳＴ１２で算出したＫｉを用いて前記式（１−４）に基づいて初期値ｄ０ｉを算出する。
また、レート制御回路５４は、ステップＳＴ１２で算出したＫｐを用いて前記式（１−６）に基づいて初期値ｄ０ｐを算出する。
また、レート制御回路５４は、ステップＳＴ１２で算出したＫｂを用いて前記式（１−６）に基づいて初期値ｄ０ｂを算出する。
【００７４】
ステップＳＴ１４：
レート制御回路５４は、前記式（２−５），（２−６），（２−７）に基づいて、ＧＯＰ内のＩ，Ｐ，Ｂピクチャに対してそれぞれ割り当てるビット量Ｔｉ，Ｔｐ，Ｔｂを算出する。
ステップＳＴ１５：
レート制御回路５４は、ｊ番目のマクロブロック符号化に先立ち、ステップＳＴ１３で算出した初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂと、ステップＳＴ１４で算出したビット量Ｔｉ，Ｔｐ，Ｔｂを用いて、前記式（２−１０），（２−１１），（２−１２）に基づいて、仮想バッファの占有量ｄｊｉ，ｄｊｐ，ｄｊｂを算出する。
ステップＳＴ１６：
レート制御回路５４は、ステップＳＴ１５で算出した上記仮想バッファの占有量ｄｊｉ，ｄｊｐ，ｄｊｂをｄｊとして用いて、ｊ番目のマクロブロックに対する量子化スケールコードＱj を前記式（２−１３）により算出する。
【００７５】
ステップＳＴ１７：
レート制御回路５４は、ｊ番目のマクロブロックに対するアクティビティＮａｃｔj を、前記式（２−１４）〜（２−１７）に基づいて算出する。
ステップＳＴ１８：
レート制御回路５４は、ステップＳＴ１６で算出した量子化スケールコードＱjと、ステップＳＴ１７で算出したアクティビティＮａｃｔjとを用いて、前記式（２−１８）に基づいて、視覚特性を考慮した量子化スケールコードｍｑｕａｎｔj を算出する。
ステップＳＴ１９：
レート制御回路５４は、ステップＳＴ１８で算出した各マクロブロックＭＢの量子化スケールコードｍｑｕａｎｔｊを量子化パラメータＱＰとして量子化回路２６に出力する。
【００７６】
以下、ＭＰＥＧ画像データＳ１１を復号した画像データＳ５１をＨ２６４／ＡＶＣで符号化する場合の符号化装置２の全体動作例を説明する。
先ず、ＭＰＥＧ２で符号化されたＭＰＥＧ画像データＳ１１が、ＭＰＥＧ２復号回路５１に入力される。
次に、ＭＰＥＧ２復号回路５１が、ＭＰＥＧ画像データＳ１１を復号して画像データＳ５１を生成し、これを画面並べ替え回路２３に出力する。
ＭＰＥＧ２復号回路５１は、例えば、ＭＰＥＧ画像データＳ１１を入力し、ＭＰＥＧ画像データＳ１１をＭＰＥＧ２で復号して画像データＳ５１を生成し、これを画面並べ替え回路２３に出力する。
また、ＭＰＥＧ２復号回路５１は、ＭＰＥＧ２の符号化過程における量子化で用いられた各マクロブロックＭＢの量子化スケールＱｕａｎｔおよびビット量Ｒを複雑度算出回路５３に出力する。
【００７７】
複雑度算出回路５３は、ＭＰＥＧ２復号回路５１から入力した１ピクチャ（フレーム）分の量子化スケールＱｕａｎｔおよびビット量Ｒについて、それらの平均値である平均量子化スケールＱｕａｎｔ＿ａｖｅおよび平均ビット量Ｒ＿ａｖｅを算出する。
そして、複雑度算出回路５３は、平均量子化スケールＱｕａｎｔ＿ａｖｅと平均ビット量Ｒ＿ａｖｅとを乗算して複雑度Ｃｏｍｐｌｅｘｉｔｙを算出する。
複雑度算出回路５３は、Ｉ，Ｐ，Ｂピクチャの各々について、上記複雑度Ｃｏｍｐｌｅｘｉｔｙを算出し、それぞれを複雑度ＸＩ，ＸＰ，ＸＢとしてレート制御回路５４に出力する。
【００７８】
そして、レート制御回路５４は、画面並べ替え回路２３からの画像データＳ２３、複雑度算出回路５３からの複雑度ＸＩ，ＸＰ，ＸＢ、並びにバッファ２８からの画像データＳ２とを基に、各マクロブロックＭＢの量子化パラメータＱＰを算出し、これを量子化回路２６に出力する。
【００７９】
また、イントラ予測回路４１においてイントラ予測が行われ、予測画像データＰＩと差分ＤＩＦとが選択回路４４に出力される。
また、動き予測・補償回路４２において、動き予測・補償処理が行われ、動きベクトルＭＶが特定されると共に、予測画像データＰＩと差分ＤＩＦとが選択回路４４に出力される。
そして、選択回路４４が、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路５８から入力した差分ＤＩＦとのうち小さい方の差分ＤＩＦに対応する予測画像データＰＩを演算回路２４に出力する。
【００８０】
次に、演算回路２４が、画像データＳ２３と、選択回路４４から入力した予測画像データＰＩとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。  次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、レート制御回路３２から入力した量子化パラメータＱＰを基に、当該量子化パラメータＱＰに応じて規定される量子化スケールを基に画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆符号化回路２７が、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
【００８１】
以上説明したように、符号化装置２のレート制御回路５４では、図３および図４を用いて説明したように、量子化パラメータＱＰを算出する際に用いる仮想バッファ占有量ｄｊｉ，ｄｊｐ，ｄｊｂの初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを、Ｉ，Ｐ，Ｂピクチャの複雑度ＸＩ，ＸＰ，ＸＢを基に決定する。
そのため、符号化装置２によれば、符号化（量子化）対象の画像データＳ２３のピクチャの特性を反映して当該ピクチャ内の各マクロブロックに対して適切な量子化パラメータＱＰを決定でき、レート制御回路５４の挙動を安定させることができる。これにより、高い符号化効率を実現できる。
また、符号化装置２によれば、ＭＰＥＧ２復号回路５１において得られた各マクロブロックＭＢの量子化スケールＱｕａｎｔおよびビット量Ｒを基に複雑度ＸＩ，ＸＰ，ＸＢを算出するため、量子化パラメータＱＰを１パスで短時間で生成できる。
【００８２】
＜第２実施形態＞
図５は、本実施形態の符号化装置１０２の全体構成図である。
図５に示すように、符号化装置１０２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、再構成回路３１、デブロックフィルタ３２、メモリ３３、イントラ予測回路４１、動き予測・補償回路４２、選択回路４４、複雑度算出回路１５３およびレート制御回路５４を有する。
符号化装置１０２は、第１実施形態とは異なり、ＭＰＥＧ２復号回路を備えていない。符号化装置１０２は、２パスで量子化パラメータＱＰを生成する。
【００８３】
図５において、図２と同じ符号を付した構成要素は、第１実施形態で説明したものと同じである。すなわち、符号化装置１０２は、複雑度算出回路１５３が第１実施形態の複雑度算出回路５３と異なる。
以下、複雑度算出回路１５３について説明する。
図６は、複雑度算出回路１５３による複雑度ＸＩ，ＸＰ，ＸＢの生成処理を説明するためのフローチャートである。
ステップＳＴ３１：
複雑度算出回路１５３は、量子化（符号化）対象の画像データＳ２３を１パス目で量子化スケールＱｕａｎｔ１，Ｑｕａｎｔ２で量子化して得られた画像データＳ２の処理対象のピクチャのビット量を基に、パラメータａｉ，ａｐ，ａｂ１，ａｂ２を算出する。
ここで、パラメータａｉ，ａｐ，ａｂ１，ａｂ２は、符号化装置１０２による符号化の性質と、それぞれＩ，Ｐ，Ｂ１，Ｂ２ピクチャの特徴との関係を示している。
複雑度算出回路１５３は、異なる量子化スケールＱｕａｎｔ１およびＱｕａｎｔ２を用いて、最初のＩ，Ｐ，Ｂ１，Ｂ２ピクチャをそれぞれ符号化した場合のビット量をそれぞＸれRI_1, RP_1, RB1_1, RB2_１およびRI_２, RP_２, RB1_２, RB2_２とする。
そして、複雑度算出回路１５３は、Ｉピクチャについて、図７に示すように、縦軸にlogQuant1, logQuant2、横軸にlog RI_1, log RI_２をプロットした場合に得られる下記式（３−１）で規定される近似直線の傾きをパラメータaｉとする。なお、本実施形態において、近似直線は、例えば、最小二乗法による近似直線である。
複雑度算出回路１５３は、例えば、近似直線「logQuant = -1.0383logR + 7.5244」の傾き「1.0383」をパラメータaｉとする。
【００８４】
【数２７】
2006074347.tif 000029
【００８５】
また、複雑度算出回路１５３は、Ｐピクチャについて、図７に示すように、縦軸にlogQuant1, logQuant2、横軸にlog RP_1, log RP_２をプロットした場合に得られる下記式（３−２）で規定される近似直線の傾きをパラメータaｐとする。
【００８６】
【数２８】
2006074347.tif 000030
【００８７】
また、複雑度算出回路１５３は、Ｂ１ピクチャについて、図７に示すように、縦軸にlogQuant1, logQuant2、横軸にlog RB1_1, log RB1_２をプロットした場合に得られる下記式（３−３）で規定される近似直線の傾きをパラメータaｂ１とする。
【００８８】
【数２９】
2006074347.tif 000031
【００８９】
また、複雑度算出回路１５３は、Ｂ２ピクチャについて、図７に示すように、縦軸にlogQuant1, logQuant2、横軸にlog RB2_1, log RB2_２をプロットした場合に得られる下記式（３−４）で規定される近似直線の傾きをパラメータaｂ２とする。
【００９０】
【数３０】
2006074347.tif 000032
【００９１】
なお、複雑度算出回路１５３は、パラメータａｉ，ａｐ，ａｂ１，ａｂ２として、これらの平均値「（ａｉ＋ａｐ＋ａｂ１＋ａｂ２）／４」を用いてもよい。
ステップＳＴ３２：
複雑度算出回路１５３は、画像データＳ２のＩ，Ｐ，Ｂの各ピクチャについて、予め与えられた量子化スケールＱｕａｎｔと、当該量子化スケールＱｕａｎｔで量子化した後のビット量Ｒｉ，Ｒｐ，Ｒｂを特定する。
ステップＳＴ３３： 
複雑度算出回路１５３は、ステップＳＴ３１で算出したパラメータａｉ，ａｐ，ａｂ１，ａｂ２と、ステップＳＴ３２で特定した量子化スケールＱｕａｎｔおよびビット量Ｒｉ，Ｒｐ，Ｒｂとを基に、下記式（３−５），（３−６），（３−７），（３−８）により、複雑度ＸＩ，ＸＰ，ＸＢを算出する。
【００９２】
【数３１】
2006074347.tif 000033
【００９３】
【数３２】
2006074347.tif 000034
【００９４】
【数３３】
2006074347.tif 000035
【００９５】
【数３４】
2006074347.tif 000036
【００９６】
ステップＳＴ３４：
複雑度算出回路１５３は、ステップＳＴ３３で算出した複雑度ＸＩ，ＸＰ，ＸＢをレート制御回路５４に出力する。
【００９７】
すなわち、符号化装置１０２では、符号化の１パス目で複雑度算出回路１５３において、Ｉ，Ｐ，Ｂピクチャの複雑度ＸＩ，ＸＰ，ＸＢをそれぞれ算出し、２パス目でレート制御回路５４において量子化パラメータＱＰを決定する。
なお、レート制御回路５４は、第１実施形態で前述した式（１−３）〜（１−８）に従って、仮想バッファ占有量の初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを算出してもよいし、上記式（１−５），（１−７）の代わりに、下記式（３−９），（３−１０）に従って、初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを算出してもよい。
また、下記式（３−１０）において、Ｂ１，Ｂ２ピクチャの複雑度ＸＢ１，ＸＢ２の平均値を持ち手、Ｋｂを算出してもよい。
【００９８】
【数３５】
2006074347.tif 000037
【００９９】
【数３６】
2006074347.tif 000038
【０１００】
ここで、ａｖｇ（ＸＰ）は、１ＧＯＰあるいは１シーケンス内のＰピクチャの複雑度ＸＰの平均値を示している。また、ａｖｇ（ＸＢ）は、１ＧＯＰあるいは１シーケンス内のＢピクチャの複雑度ＸＢの平均値を示している。
【０１０１】
また、レート制御回路５４は、例えば、１枚目のＩ，Ｐ，Ｂピクチャの複雑度ＸＩ，ＸＰ，ＸＢを用いて、その後の１ＧＯＰあるいは１シーケンス内の各ピクチャの仮想バッファ占有量の初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを算出してもよい。
【０１０２】
以上説明したように、符号化装置１０２によれば、ＭＰＥＧ２復号回路５１を用いない場合でも、量子化パラメータＱＰを算出する際に用いる仮想バッファ占有量ｄｊｉ，ｄｊｐ，ｄｊｂの初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを、Ｉ，Ｐ，Ｂピクチャの複雑度ＸＩ，ＸＰ，ＸＢを基に決定することができる。
そのため、符号化装置１０２によれば、符号化（量子化）対象の画像データＳ２３のピクチャの特性を反映して当該ピクチャ内の各マクロブロックに対して適切な量子化パラメータＱＰを決定でき、レート制御回路５４の挙動を安定させることができる。これにより、高い符号化効率を実現できる。
【０１０３】
＜第３実施形態＞
図９は、本実施形態の符号化装置２０２の全体構成図である。
図９に示すように、符号化装置２０２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、再構成回路３１、デブロックフィルタ３２、メモリ３３、イントラ予測回路４１、動き予測・補償回路４２、選択回路４４、複雑度算出回路２５３およびレート制御回路５４を有する。
符号化装置２０２は、第２実施形態とは異なり、ＭＰＥＧ２復号回路を備えていない場合において、１パスで量子化パラメータＱＰを生成する。
【０１０４】
図９において、図２と同じ符号を付した構成要素は、第１実施形態で説明したものと同じである。すなわち、符号化装置２０２は、複雑度算出回路２５３が第１実施形態の複雑度算出回路５３と異なる。
以下、複雑度算出回路２５３について説明する。
図１０は、複雑度算出回路２５３による複雑度ＸＩ，ＸＰ，ＸＢの生成処理を説明するためのフローチャートである。
ステップＳＴ４１：
複雑度算出回路２５３は、画面並べ替え回路２３から入力した画像データＳ２３内の処理対象のピクチャを構成する各マクロブロックＭＢについて、下記式（４−１）に従って、当該マクロブロックＭＢの原画像Ｏｒｇｉ，ｊ（ｉ，ｊ＝０〜１５の整数）とイントラ予測による予測画像Ｐｒｅｄ＿Ｉｎｔｒａｉ，ｊとの差異を示す指標データＩｎｔｒａＳＡＤ（本発明の第２の差分）を算出する。
【０１０５】
【数３７】
2006074347.tif 000039
【０１０６】
ステップＳＴ４２：
複雑度算出回路２５３は、画面並べ替え回路２３から入力した画像データＳ２３内の処理対象のピクチャを構成する各マクロブロックＭＢについて、下記式（４−２）に従って、当該マクロブロックＭＢの原画像Ｏｒｇｉ，ｊ（ｉ，ｊ＝０〜１５の整数）とインター予測による予測画像Ｐｒｅｄ＿Ｉｎｔｅｒｉ，ｊとの差異を示す指標データＩｎｔｅｒＳＡＤ（本発明の第１の差分）を算出する。
本実施形態では、１パスの符号化を行うため、予測画像Ｐｒｅｄ＿Ｉｎｔｅｒｉ，ｊは、階層的に動きベクトルを探索する階層サーチにおいて、マクロブロックＭＢと同じサイズの１６ｘ１６画素のブロックサイズについて探索した動きベクトルに対応している。
【０１０７】
【数３８】
2006074347.tif 000040
【０１０８】
ステップＳＴ４３：
複雑度算出回路２５３は、下記式（４−３）に従って、処理対象のピクチャ内の各マクロブロックＭＢ（ｋ）について、ステップＳＴ４１で算出した指標データＩｎｔｒａＳＡＤと、ステップＳＴ４２において算出した指標データＩｎｔｅｒＳＡＤとのうち小さい方を、指標データＢＤ（ｋ）（本発明の第３の差分）とする。
【０１０９】
【数３９】
2006074347.tif 000041
【０１１０】
ステップＳＴ４４：
複雑度算出回路２５３は、下記式（４−４）に従って、処理対象のピクチャ内の全てのマクロブロックＭＢについてステップＳＴ４３で算出した指標データＢＤ（ｋ）を加算して指標データｔｏｔａｌ＿ＢＤを算出する。下記式（４−４）において「Ω」は処理対象のピクチャ内のマクロブロックＭＢの全体集合を示す。
【０１１１】
【数４０】
2006074347.tif 000042
【０１１２】
ステップＳＴ４５：
複雑度算出回路２５３は、ステップＳＴ４４においてそれぞれ算出したＩ，Ｐ，Ｂピクチャの総和ｔｏｔａｌ＿ＢＤをそれぞれ複雑度ＸＩ，ＸＰ，ＸＢとしてレート制御回路５４に出力する。
【０１１３】
以上説明したように、符号化装置２０２によれば、ＭＰＥＧ２復号回路５１を用いない場合でも、量子化パラメータＱＰを算出する際に用いる仮想バッファ占有量ｄｊｉ，ｄｊｐ，ｄｊｂの初期値ｄ０ｉ，ｄ０ｐ，ｄ０ｂを、Ｉ，Ｐ，Ｂピクチャの複雑度ＸＩ，ＸＰ，ＸＢを基に１パスで短時間で決定することができる。
そのため、符号化装置１０２によれば、符号化（量子化）対象の画像データＳ２３のピクチャの特性を反映して当該ピクチャ内の各マクロブロックに対して適切な量子化パラメータＱＰを短時間で決定でき、レート制御回路５４の挙動を安定させることができる。これにより、高い符号化効率を実現できる。
【０１１４】
本発明は上述した実施形態には限定されない。
上述した実施形態では、符号化装置２、１０２，２０２がＨ．２６４／ＡＶＣで符号化を行う場合を例示したが、仮想バッファ占有量の初期値を基に量子化スケールを決定するものであれば、ＭＰＥＧなどのその他の符号化方式でもよい。
【産業上の利用可能性】
【０１１５】
本発明は、量子化処理を伴う符号化システムに適用可能である。
【図面の簡単な説明】
【０１１６】
【図１】図１は、本発明の第１実施形態の通信システムの全体構成図である。
【図２】図２は、図１に示す符号化回路の構成図である。
【図３】図３は、図２に示す複雑度算出回路の処理を説明するためのフローチャートである。
【図４】図４は、図２に示すレート制御回路の処理を説明するためのフローチャートである。
【図５】図５は、本発明の第２実施形態の符号化回路の構成図である。
【図６】図６は、図５に示す複雑度算出回路の処理を説明するためのフローチャートである。
【図７】図７は、図６に示すステップＳＴ３１の処理を説明するための図である。
【図８】図８は、本発明の第３実施形態の符号化装置の構成図である。
【図９】図９は、図８に示す複雑度算出回路の処理を説明するためのフローチャートである。
【符号の説明】
【０１１７】
２，１０２、２０２…符号化装置２、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…再構成回路、３２…デブロックフィルタ、３３…メモリ、４１…イントラ予測回路、４２…動き予測・補償回路、４４…選択回路、５１…ＭＰＥＧ２復号回路、５３、１５３、２５３…複雑度算出回路、５４…レート制御回路
【図１】
2006074347.tif 000043
【図２】
2006074347.tif 000044
【図３】
2006074347.tif 000045
【図４】
2006074347.tif 000046
【図５】
2006074347.tif 000047
【図６】
2006074347.tif 000048
【図７】
2006074347.tif 000049
【図８】
2006074347.tif 000050
【図９】
2006074347.tif 000051