(57)【要約】【課題】  高品質な復号画像を得ることが可能な符号化データを生成できるデータ処理装置を提供する。【解決手段】  Ｑ算出回路３４が、符号化データＥＤを基に、当該符号化データが復号時に復号に供されるビットレートを特定する。そして、Ｑ算出回路３４が、当該特定した前記ビットレートを基に、量子化回路２６の量子化スケールを制御する。【選択図】  図２
2005151344.tif 000002
【特許請求の範囲】
【請求項１】
被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決定するデータ処理装置であって、
前記符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する特定回路と、
前記特定回路が特定した前記ビットレートを基に、前記量子化スケールを制御する量子化制御回路と
を有するデータ処理装置。
【請求項２】
前記符号化データを基に、前記符号化データの復号側に設けられ復号に供するために前記符号化データを記憶する記憶回路のデータ蓄積量を特定するための指標となる指標データを生成する指標生成回路と、
前記指標生成回路が生成した前記指標データを基に、前記ビットレートの目標値を示す目標ビットレートを算出する目標算出回路と
をさらに有し、
前記量子化制御回路は、前記特定回路によって特定される前記ビットレートが、前記目標算出回路が算出した前記目標ビットレートに近づくように、前記量子化スケールを制御する
請求項１に記載のデータ処理装置。
【請求項３】
前記特定回路は、前記復号側において前記復号に供するために前記記憶回路から読み出される前記符号化データの前記ビットレートを特定する
請求項２に記載のデータ処理装置。
【請求項４】
前記特定回路は、過去の前記符号化データ内のピクチャの平均ビット量と、前記ピクチャのピクチャレートとを基に、前記符号化データのビットレートを特定する
請求項３に記載のデータ処理装置。
【請求項５】
前記符号化データが動画の複数のピクチャで構成される場合に、
前記量子化制御回路は、前記複数のピクチャの前記量子化スケールを制御する
請求項１に記載のデータ処理装置。
【請求項６】
前記量子化制御回路は、処理対象の前記ピクチャがシーンチェンジ後の最初の前記ピクチャでない場合に、前記特定回路が特定した前記ビットレートを基に、前記量子化スケールを制御し、
処理対象の前記ピクチャがシーンチェンジ後の最初の前記ピクチャである場合に、前記被処理データの複雑度を基に、前記量子化スケールを制御する
請求項１に記載のデータ処理装置。
【請求項７】
前記目標算出回路は、指定された最終目標ビットレートおよび前記記憶回路に対する前記符号化データの書き込み時間とを基に算出した予定発生ビット量と、前記符号化データの累積ビット量との差分を基に、前記目標ビットレートを算出する
請求項２に記載のデータ処理装置。
【請求項８】
前記目標算出回路は、前記記憶回路がオーバフローおよびアンダーフローすることを回避するように前記目標ビットレートを算出する
請求項２に記載のデータ処理装置。
【請求項９】
前記量子化制御回路は、前記特定回路が特定した前記ビットレートと前記目標算出回路が算出した前記目標ビットレートとの比と、前回決定した前記量子化スケールとを基に、新たな前記量子化スケールを決定して前記制御を行う
請求項２に記載のデータ処理装置。
【請求項１０】
前記量子化制御回路は、前記特定回路が特定した前記ビットレートと、前記目標算出回路が算出した前記目標ビットレートとの差分と、前回決定した前記量子化スケールとを基に、前記ビットレートのオーバシュートおよびアンダーシュートを抑制するように、新たな前記量子化スケールを決定して前記制御を行う
請求項２に記載のデータ処理装置。
【請求項１１】
被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決定するデータ処理方法であって、
前記符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する第１の工程と、
前記第１の工程で特定した前記ビットレートを基に、前記量子化スケールを制御する第２の工程と
を有するデータ処理方法。
【請求項１２】
量子化スケールを算出する量子化スケール算出回路と、
前記量子化スケール算出回路が算出した前記量子化スケールを基に、被処理データを量子化する量子化回路と、
前記量子化回路の量子化結果を符号化して符号化データを生成する符号化回路と
を有し、
前記量子化スケール算出回路は、
前記符号化回路が生成した前記符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する特定回路と、
前記特定回路が特定した前記ビットレートを基に、前記量子化スケールを算出する量子化制御回路と
を有する符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、量子化スケールを適切に決定できるデータ処理装置およびその方法と符号化装置に関する。
【背景技術】
【０００２】
近年、画像データとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)やＪＶＴ(Joint Video Team)などの規格に準拠した装置が開発されている。
このような規格の符号化装置では、画像の局所的な情報を利用することにより、効率の良い符号化を実現している。
画像には、画像中で複雑な部分は、他の部分よりも量子化を粗くして符号化しても、肉眼では画質劣化が認識され難いという性質がある。
【０００３】
従って、従来の符号化装置では、画像を複数の部分に分け、各部分について、画像の複雑度を検出し、その検出結果を基に、複雑な画像の部分は粗く量子化し、そうでない部分は細かく量子化して、画質劣化の影響を抑えながら、データ量を削減している。
このような画像の複雑度の情報は、アクティビティ(activity)と呼ばれている。
従来の符号化装置では、量子化対象の画像データのアクティビティを算出し、当該アクティビティに基づいて、量子化スケールを規定する量子化スケールを各ピクチャ毎に生成している。すなわち、各ピクチャ毎に、当該ピクチャに割り当てるビット量を決定している。
ところで、符号化装置が生成した符号化データは、復号装置において、バッファＣＰＢ(Coded Picture Buffer)に蓄積された後に、符号化データを構成するピクチャが所定のピクチャレートで復号部に順に供給されて復号される。
ここで、バッファＣＰＢから復号部に１つのピクチャが供給されることによりバッファＣＰＢのデータ蓄積量が減少する量は、当該ピクチャのデータ量、すなわち当該ピクチャの量子化パレメータに依存する。
従って、符号化装置は、復号装置のバッファＣＰＢがオーバーフローおよびアンダーフローしないように、上記量子化スケールを決定する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の符号化装置では、量子化対象の画像データのアクティビティのみを基に、各ピクチャの量子化スケールを決定しているため、バッファＣＰＢの状態を適切に保つように最終的に符号化されるピクチャのデータ量を制御できない場合があり、復号された画像の品質が低いという問題がある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、高品質な復号画像を得ることが可能な符号化データを生成できるデータ処理装置およびその方法と符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した従来技術の問題を解決し、上述した目的を達成するために、第１の発明は、被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決定するデータ処理装置であって、前記符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する特定回路と、前記特定回路が特定した前記ビットレートを基に、前記量子化スケールを制御する量子化制御回路とを有する。
【０００７】
第１の発明のデータ処理装置の作用は以下のようになる。
先ず、特定回路が、符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する。
次に、量子化制御回路が、前記特定回路が特定した前記ビットレートを基に、前記量子化スケールを制御する。
【０００８】
第２の発明のデータ処理方法は、被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決定するデータ処理方法であって、前記符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する第１の工程と、前記第１の工程で特定した前記ビットレートを基に、前記量子化スケールを制御する第２の工程とを有する。
【０００９】
第２の発明のデータ処理方法の作用は以下のようになる。
先ず、第１の工程において、符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する。
次に、第２の工程において、前記第１の工程で特定した前記ビットレートを基に、前記量子化スケールを制御する。
【００１０】
第３の発明の符号化装置は、量子化スケールを算出する量子化スケール算出回路と、前記量子化スケール算出回路が算出した前記量子化スケールを基に、被処理データを量子化する量子化回路と、前記量子化回路の量子化結果を符号化して符号化データを生成する符号化回路とを有し、前記量子化スケール算出回路は、前記符号化回路が生成した前記符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する特定回路と、前記特定回路が特定した前記ビットレートを基に、前記量子化スケールを算出する量子化制御回路とを有する。
【００１１】
第３の発明の符号化装置の作用は以下のようになる。
量子化スケール算出回路の特定回路が、符号化回路が生成した前記符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する。
次に、量子化制御回路が、前記特定回路が特定した前記ビットレートを基に、前記量子化スケールを算出する。
次に、量子化回路が、前記量子化制御回路が算出した前記量子化スケールを基に、被処理データを量子化する。
次に、符号化回路が、前記量子化回路の量子化結果を符号化して符号化データを生成する。
【発明の効果】
【００１２】
本発明によれば、高品質な復号画像を得ることが可能な符号化データを生成できるデータ処理装置およびその方法と符号化装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態に係わる画像処理装置について説明する。
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方法と符号化装置について説明する。
図１は、本実施形態の画像処理システム１の全体構成図である。
図１に示すように、画像処理システム１は、符号化装置２および復号装置３を有する。  符号化装置２は、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮した符号化データＥＤ（ビットストリーム）を生成し、当該符号化データＥＤを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
復号装置３は、例えば、符号化装置２から受信した符号化データＥＤを復調した後に、バッファＣＰＢに格納し、バッファＣＰＢ（本発明の記憶回路）から読み出した符号化データＥＤを復号部４に供給し、復号部４において上記符号化時の直交変換の逆変換と動き補償によって復号した画像データを生成して利用する。
ここで、バッファＣＰＢから復号部４に１つのピクチャが供給されることによりバッファＣＰＢのデータ蓄積量が減少する量は、当該ピクチャのデータ量、すなわち当該ピクチャの量子化パラメータに依存する。
符号化装置２は、後述するように、復号装置３のバッファＣＰＢがオーバーフローおよびアンダーフローしないように、上記量子化スケールを決定する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
画像処理システム１は、符号化装置２における量子化スケールの算出方法に特徴を有している。
【００１４】
以下、図１に示す符号化装置２について説明する。
符号化装置２が発明の符号化装置に対応している。
図２は、図１に示す符号化装置２の構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、アクティビティ算出回路３３、Ｑ算出回路３４、動き予測・補償回路３２、デブロックフィルタ３７を有する。
【００１５】
量子化回路２６が第３の発明の量子化回路に対応し、可逆符号化回路２７が第３の発明の符号化回路に対応し、Ｑ算出回路３４が第１の発明のデー処理装置および第３の発明の量子化スケール算出回路に対応している。
【００１６】
以下、図２に示す符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた画像データＳ２３（本発明の被処理データ）を演算回路２４、動き予測・補償回路３２およびアクティビティ算出回路３３に出力する。
【００１７】
演算回路２４は、画像データＳ２３がインター(Inter) 符号化される場合には、画像データＳ２３と、動き予測・補償回路３２から入力した予測画像データＳ３２ａとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
また、演算回路２４は、画像データＳ２３がイントラ(Intra) 符号化される場合には、画像データＳ２３を画像データＳ２４として直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、Ｑ算出回路３４から入力した量子化スケールＭＢＱで、画像データＳ２５をマクロブロックＭＢ単位で量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００１８】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化して符号化データＥＤを生成し、これをバッファ２８に格納する。
このとき、可逆符号化回路２７は、動き予測・補償回路３２から入力した動きベクトルＭＶあるいはその差分を符号化して符号化データＥＤのヘッダデータ内に格納する。
バッファ２８に格納された符号化データＥＤは、Ｑ算出回路３４に出力されると共に、例えば、変調等された後に図１に示す復号装置３に送信される。
【００１９】
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これをデブロックフィルタ３７に出力する。
逆量子化回路２９は、ＪＶＴ規格に基づいて、量子化処理を行う。
逆直交変換回路３０は、量子化され、デブロックフィルタ３７でブロック歪みが除去された画像データに上記直交変換の逆変換を施して生成した画像データをフレームメモリ３１に格納する。
【００２０】
動き予測・補償回路３２は、フレームメモリ３１からの画像データＳ３１と、画面並べ替え回路２３からの画像データＳ２３とを基に、動き予測・補償処理を行って、動きベクトルＭＶおよび予測画像データＳ３２ａを算出する。
なお、動き予測・補償回路３２は、Ｑ算出回路３４からのマクロブロックＭＢの量子化スケールＭＢＱを基にマクロブロックタイプを決定し、当該決定したマクロブロックタイプで規定されるブロックを単位として、動き予測・補償処理を行う。
動き予測・補償回路３２は、動きベクトルＭＶを可逆符号化回路２７に出力し、予測画像データＳ３２ａを演算回路２４に出力する。
【００２１】
アクティビティ算出回路３３は、画像データＳ２３（原画のピクチャ）が順次走査画像である場合に、その輝度信号画素値を用いて、マクロブロックＭＢを単位として、当該マクロブロックＭＢの画像の複雑度を示すアクティビティを算出する。
具体的には、アクティビティ算出回路３３は、各マクロブロックＭＢ、あるいは当該マクロブロックＭＢ内に規定された所定のブロックを単位として、当該単位としたブロック内の画素データの平均値を算出する。
そして、アクティビティ算出回路３３は、上記単位としたブロック内の各画素データと、上記算出した平均値の差分の自乗和を基に、上記マクロブロックＭＢのアクティビティ値ＡＣＴを算出し、これをＱ算出回路３４に出力する。
上記アクティビティ値ＡＣＴは、マクロブロックＭＢの画像が複雑になるに従って値が大きくなる。
【００２２】
Ｑ算出回路３４は、アクティビティ算出回路３３からのアクティビティ値ＡＣＴおよびバッファ２８からの符号化データＥＤを基に、各ピクチャの量子化スケールＰｉｃＱを算出する。
また、Ｑ算出回路３４は、上記算出した量子化スケールＰｉｃＱを基に、各ピクチャを構成する各マクロブロックＭＢの量子化スケールＭＢＱを算出し、これを量子化回路２６および動き予測・補償回路３２に出力する。
以下、Ｑ算出回路３４が、符号化データＥＤを基に量子化スケールＰｉｃＱを算出する方法を説明する。
Ｑ算出回路３４は、図１に示す復号装置３のバッファＣＰＢの状態を考慮しながら、バッファＣＰＢに記憶される符号化データＥＤのデータ量が適切な値（初期値ＩｎｉｔｉａｌＣｐｂ）に近づくように、各ピクチャの量子化スケールＰｉｃＱ、すなわち各ピクチャのデータ量を制御する。
ここで、バッファＣＰＢから単位時間に読み出されて復号部４に供給されるピクチャの数はピクチャレートによって規定される一定数であるため、各ピクチャのデータ量をＱ算出回路３４で制御することで、バッファＣＰＢに記憶されている符号化データＥＤのデータ量（バッファ蓄積量）を制御できる。
【００２３】
以下、図２に示すＱ算出回路３４の構成について詳細に説明する。
図３は、符号化データＥＤを基に量子化スケールＭＢＱを生成する部分に関する図２に示すＱ算出回路３４の構成図である。
図３に示すように、Ｑ算出回路３４は、例えば、ＭＢＲ測定回路１０、ＣＰＢＯＣ算出回路１１、ＬＴ調整量算出回路１２、ＳＴ調整量算出回路１３、ＣＴＢＲ算出回路１４、遅延回路１５、ＰｉｃＱ制御回路１６およびＭＢＱ制御回路１７を有する。
図３において、ＭＢＲ測定回路１０が第１および第３のの発明の特定回路に対応し、ＰｉｃＱ制御回路１６が第１および第３の発明の量子化制御回路に対応している。
また、ＣＰＢＯＣ算出回路１１が第１の発明の指標生成回路に対応し、ＬＴ調整量算出回路１２、ＳＴ調整量算出回路１３およびＣＴＢＲ算出回路１４が第１の発明の目標算出回路に対応している。
【００２４】
〔ＭＢＲ測定回路１０〕
ＭＢＲ測定回路１０は、図２に示すバッファ２８から入力した符号化データＥＤを基に、符号化データＥＤを構成する各ピクチャの平均的なビット量（データ量）を示す測定ビットレートＣＭＢＲ（本実施形態の特定回路が特定するビットレート）を算出し、これをＰｉｃＱ制御回路１６に出力する。
測定ビットレートＣＭＢＲは、図１に示す復号装置３において、符号化データＥＤがバッファＣＰＢから読み出されて復号部４に出力されるビットレートを示している。
図４は、ＭＢＲ測定回路１０の処理を説明するためのフローチャートである。
ステップＳＴ１：
ＭＢＲ測定回路１０は、過去に入力した符号化データＥＤを構成するＩピクチャの平均ビット量ＡｖｅＩＰｉｃＢｉｔを算出する。
ステップＳＴ２：
ＭＢＲ測定回路１０は、過去に入力した符号化データＥＤを構成するＰピクチャの平均ビット量ＡｖｅＰＰｉｃＢｉｔを算出する。
ステップＳＴ３：
ＭＢＲ測定回路１０は、ステップＳＴ１で算出したＡｖｅＩＰｉｃＢｉｔ、ステップＳＴ２で算出したＡｖｅＰＰｉｃＢｉｔを基に、下記式（１）により、測定ビットレートＣＭＢＲを算出する。
【００２５】
（数１）
ＣＭＢＲ＝ＰｉｃＲ＊（ＡｖｅＩＰｉｃＢｉｔ＋ＡｖｅＰＰｉｃＢｉｔ＊ＰＰｉｃＮｕｍＩｎＧｏｐ）／ＴｏｔａｌＰｉｃＮｕｍＩｎＧｏｐ            …（１）
【００２６】
上記式（１）において、ＴｏｔａｌＰｉｃＮｕｍＩｎＧｏｐは、単数のＧＯＰ内のピクチャの数を示し、予め設定された定数である。
また、ＰＰｉｃＮｕｍＩｎＧｏｐは、（ＴｏｔａｌＰｉｃＮｕｍＩｎＧｏｐ−１）を示している。
【００２７】
〔ＣＰＢＯＣ算出回路１１〕
ＣＰＢＯＣ算出回路１１は、バッファ２８からの符号化データＥＤを基に、復号装置３のバッファＣＰＢに記憶されている符号化データＥＤのデータ量（蓄積データ量）を示す指標データＣＰＢＯＣを算出する。
ＣＰＢＯＣ算出回路１１は、指標データＣＰＢＯＣをＬＴ調整量算出回路１２およびＳＴ調整量算出回路１３に出力する。
【００２８】
以下に示すＬＴ調整量算出回路１２およびＳＴ調整量算出回路１３は、復号装置３のバッファＣＰＢがオーバーフローおよびアンダーフローしないように、目標ビットレートＣＴＢＲ（本発明の目標ビットレート）を調整するための調整量ＬＴＡＪ，ＳＴＡＪをそれぞれ算出する。
〔ＬＴ調整量算出回路１２〕
ＬＴ調整量算出回路１２は、ＣＰＢＯＣ算出回路１１からの指標データＣＰＢＯＣを基に、後述する目標ビットレートＣＴＢＲの調整量ＬＴＡＪを算出する。
ここで、調整量ＬＴＡＪは、目標ビットレートＣＴＢＲが負にならないように調整するためのものである。
図５は、ＬＴ調整量算出回路１２の処理を説明するためのフローチャートである。
ステップＳＴ１１：
ＬＴ調整量算出回路１２は、バッファ２８からの符号化データＥＤの累積ビット量を検出する。
また、ＬＴ調整量算出回路１２は、符号化装置２の外部から指定された最終目標ビットレートＦＴＢＲ（本発明の最終目標ビットレート）と、符号化装置２による符号化開始からの時間とを乗算して予定発生ビット量を算出する。
そして、ＬＴ調整量算出回路１２は、上記検出した累積ビット量と、上記算出した予定発生ビット量との差分を示す差分データＤＶを生成する。
【００２９】
ステップＳＴ１２：
ＬＴ調整量算出回路１２は、最終目標ビットレートＦＴＢＲに１／２を乗じてデータＭａｘΔＢＲを算出する。
ステップＳＴ１３：
ＬＴ調整量算出回路１２は、ステップＳＴ１１で生成した差分データＤＶと、ステップＳＴ１２で算出したデータＭａｘΔＢＲとを基に、下記式（２）により、目標ビットレートＣＴＢＲの調整量ＬＴＡＪを算出する。
なお、下記式（２）において、Ｓｐａｎ、ＧａｉｎおよびＭｉｎΔＢＲは予め設定された定数である。
【００３０】
（数２）
ＬＴＡＪ＝ＭａｘΔＢＲ／〔１＋ｅｘｐ｛（−ＤＶ＋（ＭａｘΔＢＲ＊Ｓｐａｎ／２））＊Ｇａｉｎ｝〕−ＭｉｎΔＢＲ                      …（２）
【００３１】
図６は、上記調整量ＬＴＡＪと指標データＣＰＢＯＣとの関係を示す図である。
図６において、「Ａのプロットは本実施形態に対応し、「Ｂ」のプロットはＬＴＡＪ＝ＤＶ／Ｓｐａｎにより求めたものである。
図６に示すように、調整量ＬＴＡＪは、指標データＣＰＢＯＣが初期値ＩｎｉｔｉａｌＣｐｂ以上の場合に正の値を示す、すなわち目標ビットレートＣＴＢＲを上げる向きに調整する値を持つ。
また、調整量ＬＴＡＪは、指標データＣＰＢＯＣが初期値ＩｎｉｔｉａｌＣｐｂ未満の場合に負の値を示す、すなわち目標ビットレートＣＴＢＲを下げる向きに調整する値を持つ。
また、調整量ＬＴＡＪは、図６に示すように、指標データＣＰＢＯＣが所定の値（例えば、８０００００）以下になっても、所定の値（例えば、約−１９００００）より小さくならないように規定される。これにより、目標ビットレートＣＴＢＲが負になることが回避される。
上述した調整量ＬＴＡＪの特性は、ＬＴ調整量算出回路１２が上記式（２）により、目標ビットレートＣＴＢＲの調整量ＬＴＡＪを算出することによって実現される。
【００３２】
〔ＳＴ調整量算出回路１３〕
ＳＴ調整量算出回路１３は、ＣＰＢＯＣ算出回路１１からの指標データＣＰＢＯＣを基に、目標ビットレートＣＴＢＲの調整量ＳＴＡＪを算出する。
ここで、調整量ＳＴＡＪは、指標データＣＰＢＯＣを、初期値ＩｎｉｔｉａｌＣｐｂに戻すように作用する。
図７は、ＳＴ調整量算出回路１３の処理を説明するためのフローチャートである。
ステップＳＴ２１：
ＳＴ調整量算出回路１３は、ＣＰＢＯＣ算出回路１１から入力した指標データＣＰＢＯＣを用いて、下記式（３）により、データＣｐｂＳｃａｌｅを算出する。
【００３３】
（数３）
ＣｐｂＳｃａｌｅ＝−（（Ｓｃａｌｅ＊（ＩｎｉｔＣｐｂ−ＣＰＢＯＣ）＋ＣＰＢＯＣ）／（（ＩｎｉｔＣｐｂ−ＣＰＢＯＣ）＋Ｓｃａｌｅ＊ＣＰＢＯＣ））
…（３）
【００３４】
図８は、上記データＣｐｂＳｃａｌｅと指標データＣＰＢＯＣとの関係を示す図である。
図８に示すように、データＣｐｂＳｃａｌｅは、指標データＣＰＢＯＣが初期値ＩｎｉｔｉａｌＣｐｂ以上の場合に正の値を示す、すなわち目標ビットレートＣＴＢＲを上げる向きに調整する値を持つ。
また、データＣｐｂＳｃａｌｅは、指標データＣＰＢＯＣが初期値ＩｎｉｔｉａｌＣｐｂ未満の場合に負の値を示す、すなわち目標ビットレートＣＴＢＲを下げる向きに調整する値を持つ。
また、データＣｐｂＳｃａｌｅは、図８に示すように、指標データＣＰＢＯＣが所定の値（例えば、１８００００）以下になると、急峻にその値を小さくする。
これにより、上述した復号装置のバッファＣＰＢがアンダフローすることを回避する。
上述したデータＣｐｂＳｃａｌｅの特性は、ＳＴ調整量算出回路１３が上記式（３）により、データＣｐｂＳｃａｌｅを算出することによって実現される。
【００３５】
ステップＳＴ２２：
ＳＴ調整量算出回路１３は、ステップＳＴ２１で算出したデータＣｐｂＳｃａｌｅと、入力した最終目標ビットレートＦＴＢＲとを下記式（４）により乗算して調整量ＳＴＡＪを算出する。
【００３６】
（数４）
ＳＴＡＪ＝ＦＴＢＲ＊ＣｐｂＳｃａｌｅ                      …（４）
【００３７】
〔ＣＴＢＲ算出回路１４〕
ＣＴＢＲ算出回路１４は、入力した最終目標ビットレートＦＴＢＲと、ＬＴ調整量算出回路１２から入力した調整量ＬＴＡＪと、ＳＴ調整量算出回路１３から入力した調整量ＳＴＡＪとを下記式（５）により加算して目標ビットレートＣＴＢＲを算出する。
ＣＴＢＲ算出回路１４は、目標ビットレートＣＴＢＲをＰｉｃＱ制御回路１６に出力する。
【００３８】
（数５）
ＣＴＢＲ＝ＦＴＢＲ＋ＬＴＡＪ＋ＳＴＡＪ                  …（５）
【００３９】
〔遅延回路１５〕
遅延回路１５は、ＰｉｃＱ制御回路１６から入力したピクチャのＱスケールＱＰｉｃを１ピクチャに相当する時間だけ遅延させてＰｉｃＱ制御回路１６に出力する。
【００４０】
〔ＰｉｃＱ制御回路１６〕
ＰｉｃＱ制御回路１６は、ピクチャのＱスケールＱＰｉｃ（本発明の量子化スケール）を算出（決定）し、これを遅延回路１５およびＭＢＱ制御回路１７に出力する。
ＰｉｃＱ制御回路１６は、ＭＢＲ測定回路１０から入力した測定ビットレートＣＭＢＲと、ＣＴＢＲ算出回路１４から入力した目標ビットレートＣＴＢＲとを基に、ＱスケールＱＰｉｃを以下のように算出する。
具体的には、ＰｉｃＱ制御回路１６は、測定ビットレートＣＭＢＲを目標ビットレートＣＴＢＲに近づけるように、ＱスケールＱＰｉｃを算出する。
【００４１】
図９は、ＰｉｃＱ制御回路１６の処理を説明するためのフローチャートである。
ステップＳＴ３１：
ＰｉｃＱ制御回路１６は、ＭＢＲ測定回路１０から入力した測定ビットレートＣＭＢＲと、ＣＴＢＲ算出回路１４から入力した目標ビットレートＣＴＢＲとを用いて、下記式（６）により、データＰＲＯ＿ＰＡＲＴを算出する。
式（６）内のＫｐは、応答性を調整するための係数であり、例えば、測定ビットレートＣＭＢＲ、目標ビットレートＣＴＢＲおよび指標データＣＰＢＯＣなどを用いて規定される。当該応答性を低くすることで、量子化スケールの変動を抑制することができる。
【００４２】
（数６）
ＰＲＯ＿ＰＡＲＴ＝Ｋｐ＊（ＣＭＢＲ／ＣＴＢＲ−１）          …（６）
【００４３】
ステップＳＴ３２：
ＰｉｃＱ制御回路１６は、ＭＢＲ測定回路１０から入力した測定ビットレートＣＭＢＲと、ＣＴＢＲ算出回路１４から入力した目標ビットレートＣＴＢＲとを用いて、下記式（７）により、データＤＶ＿ＰＡＲＴを算出する。
式（７）内のＫｄは、応答性を良くするための係数である。
また、ｎはピクチャの番号を示している。ＣＭＢＲ〔ｎ−１〕は、ＣＭＢＲ〔ｎ〕に対応するピクチャの１つ前のピクチャのＣＭＢＲを示している。
【００４４】
（数７）
ＤＶ＿ＰＡＲＴ＝Ｋｄ＊（ＣＭＢＲ〔ｎ〕−ＣＭＢＲ〔ｎ−１〕）
…（７）
【００４５】
ステップＳＴ３３：
ＰｉｃＱ制御回路１６は、前回算出した量子化スケールＱＰｉｃ〔ｎ−１〕と、ステップＳＴ３１で算出したデータＰＲＯ＿ＰＡＲＴと、ステップＳＴ３２で算出したデータＤＶ＿ＰＡＲＴとを用いて、下記式（８）により、量子化スケールＱＰｉｃ〔ｎ〕を算出する。
【００４６】
（数８）
ＱＰｉｃ〔ｎ〕＝ＱＰｉｃ〔ｎ−１〕＊（１＋ＰＲＯ＿ＰＡＲＴ＋ＤＶ＿ＰＡＲＴ）
…（８）
【００４７】
〔ＭＢＱ制御回路１７〕
ＭＢＱ制御回路１７は、ＰｉｃＱ制御回路１６から入力したピクチャの量子化スケールＰｉｃＱを基に、当該ピクチャ内の各マクロブロックＭＢの量子化スケールＭＢＱを算出し、これを図２に示す量子化回路２６および動き予測・補償回路３２に出力する。
【００４８】
以下、図３に示すＱ算出回路３４の全体動作について説明する。
図１０は、図３に示すＱ算出回路３４の全体動作について説明するためのフローチャートである。
ステップＳＴ４１：
図３に示すＱ算出回路３４のＭＢＲ測定回路１０が、図４を用いて説明した手順で測定ビットレートＣＭＢＲを算出する。
ステップＳＴ４２：
図３に示すＣＰＢＯＣ算出回路１１、ＬＴ調整量算出回路１２、ＳＴ調整量算出回路１３およびＣＴＢＲ算出回路１４が、図５、図７および図９を用いて説明した手順で目標ビットレートＣＴＢＲを算出する。
すなわち、図１１に示すようにＬＴ調整量算出回路１２が調整量ＬＴＡＪを算出し（ＳＴ５１）、ＳＴ調整量算出回路１３が調整量ＳＴＡＪを算出し（ＳＴ５２）、これを用いてＣＴＢＲ算出回路１４が目標ビットレートＣＴＢＲを算出する（ＳＴ５２）。
【００４９】
ステップＳＴ４３：
Ｑ算出回路３４は、処理対象のピクチャがシーンチェンジ後の最初のピクチャであるか否かを判断し、最初のピクチャであると判断するとステップＳＴ４４に進み、そうでない場合にはステップＳＴ４５に進む。
【００５０】
ステップＳＴ４４：
Ｑ算出回路３４は、図２に示すアクティビティ算出回路３３からのアクティビティＡＣＴを基に、処理対象のピクチャの各マクロブロックＭＢの量子化スケールＭＢＱを算出し、これを量子化回路２６および動き予測・補償回路３２に出力する。すなわち、Ｑ算出回路３４は、従来と同じ手法で量子化スケールを算出する。
【００５１】
ステップＳＴ４５：
Ｑ算出回路３４は、ステップＳＴ４１で算出した測定ビットレートＣＭＢＲおよびステップＳＴ４２で算出した目標ビットレートＣＴＢＲとを基に、図９を用いて説明したように、各ピクチャの量子化スケールＱＰｉｃを算出し、その後、各マクロブロックＭＢの量子化スケールＭＢＱを算出し、これを量子化回路２６および動き予測・補償回路３２に出力する。
【００５２】
次に、図２に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３において画像データの並べ替えが行われる。
そして、アクティビティ算出回路３３において、アクティビティＡＣＴが生成され、これがＱ算出回路３４に出力される。
Ｑ算出回路３４は、アクティビティ算出回路３３からのアクティビティＡＣＴと、バッファ２８からの符号化データＥＤとを基に前述したように、量子化スケールＭＢＱを算出し、これを量子化回路２６および動き予測・補償回路３２に出力する。
【００５３】
イントラ符号化が行われる画像データに関しては、画像データ全体の画像情報が直交変換回路２５に入力され、直交変換回路２５において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路２５の出力となる変換係数は、量子化回路２６において量子化処理され、画像データＳ２５として可逆符号化回路２７に出力される。
量子化回路２６は、Ｑ算出回路３４から入力した量子化スケールＭＢＱに基づいて、量子化スケールＱＰを基に画像データＳ２５を量子化する。
可逆符号化回路２７は、画像データＳ２６に可変長符号化、算術符号化等の可逆符号化を施して符号化データＥＤを生成し、これをバッファ２８に出力する。
同時に、量子化回路２６からの画像データＳ２６は、逆量子化回路２９に入力され、さらに逆直交変換回路３０において逆直交変換処理が施されて、復号された画像データとなり、その画像データがフレームメモリ３１に蓄積される。
【００５４】
一方、インター符号化が行われる画像に関しては、先ず、その画像データＳ２３が動き予測・補償回路３２に入力される。また、参照画像の画像データＳ３１がフレームメモリ３１より読み出され、動き予測・補償回路３２に出力される。
そして、動き予測・補償回路３２において、参照画像の画像データＳ３１を用いて、動きベクトルＭＶおよび予測画像データＳ３２ａが生成される。
【００５５】
そして、演算回路２４において、画面並べ替え回路２３からの画像データＳ２３と、動き予測・補償回路３２からの予測画像データＳ３２ａとの差分信号である画像データＳ２４が生成され、当該画像データＳ２４が直交変換回路２５に出力される。
そして、可逆符号化回路２７において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像データと同様である。
【００５６】
以上説明したように、符号化装置２では、Ｑ算出回路３４において、バッファ２８からの符号化データＥＤを基に、図１に示す復号装置３のバッファＣＰＢの蓄積量を考慮して、量子化スケールＭＢＱを決定する。
そのため、符号化装置２によれば、復号装置３のバッファＣＰＢのオーバーフローおよびアンダーフローを回避でき、復号部４で復号された画像の品質を向上できる。
また、符号化装置２によれば、図４を用いて説明したように、ＭＢＲ測定回路１０において、複数のピクチャの平均ビット量を基に測定ビットレートＣＭＢＲを算出し、これを基に目標ビットレートＣＴＢＲを算出する。そのため、各ピクチャのビット量の差異により、各ピクチャの量子化スケールＭＢＱが大幅に変動することを回避できる。
また、符号化装置２によれば、復号部４の処理負担の均一化できる。これにより、復号後の画質を向上できる。
また、符号化装置２によれば、上記式（８）に示すように、ＰｉｃＱ制御回路１６がフィードバックにより、量子化スケールＱＰｉｃを算出する。これによっても、量子化スケールＱＰｉｃの時間的な急激な変動を抑えることができる。
また、符号化装置２によれば、上記式（６）内のＫｐを調整することにより、量子化スケールの急激な変動を抑制することができる。これによっても、復号部４の処理負担の均一化できる。これにより、復号後の画質を向上できる。
【産業上の利用可能性】
【００５７】
本発明は、被処理データを量子化するシステムに適用できる。
【図面の簡単な説明】
【００５８】
【図１】図１は、本発明の実施形態の画像処理システムの全体構成図である。
【図２】図２は、図１に示す符号化装置２の構成図である。
【図３】図３は、符号化データＥＤを基に量子化スケールＭＢＱを生成する部分に関する図２に示すＱ算出回路の構成図である。
【図４】図４は、図３に示すＭＢＲ測定回路の処理を説明するためのフローチャートである。
【図５】図５は、図３に示すＬＴ調整量算出回路の処理を説明するためのフローチャートである。
【図６】図６は、調整量ＬＴＡＪと指標データＣＰＢＯＣとの関係を示す図である。
【図７】図７は、図３に示すＳＴ調整量算出回路の処理を説明するためのフローチャートである。
【図８】図８は、データＣｐｂＳｃａｌｅと指標データＣＰＢＯＣとの関係を示す図である。
【図９】図９は、図３に示すＰｉｃＱ制御回路の処理を説明するためのフローチャートである。
【図１０】図１０は、図３に示すＱ算出回路の全体動作について説明するためのフローチャートである。
【図１１】図１１は、図１０に示すステップＳＴ４２の処理を説明するためのフローチャートである。
【符号の説明】
【００５９】
１…通信システム、２…符号化装置、３…復号部４…復号部、１０…ＭＢＲ測定回路、１１…ＣＰＢＯＣ算出回路、１２…ＬＴ調整量算出回路、１３…ＳＴ調整量算出回路、１４…ＣＴＢＲ算出回路、１５…遅延回路、１６…ＰｉｃＱ制御回路、１７…ＭＢＱ制御回路、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…動き予測・補償回路、３３…アクティビティ算出回路、３４…Ｑ算出回路、ＣＰＢ…バッファ
【図１】
2005151344.tif 000003
【図２】
2005151344.tif 000004
【図３】
2005151344.tif 000005
【図４】
2005151344.tif 000006
【図５】
2005151344.tif 000007
【図６】
2005151344.tif 000008
【図７】
2005151344.tif 000009
【図８】
2005151344.tif 000010
【図９】
2005151344.tif 000011
【図１０】
2005151344.tif 000012
【図１１】
2005151344.tif 000013