(57)【要約】【課題】冗長なメモリ領域や、冗長な符号量消費を抑えた上で、符号量超過を防止できるようにする。【解決手段】入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置において、前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えるようにすることにより、冗長なメモリ領域を確保しなくても済むようにすること、及び最大符号量超過を防止することを可能にする。【選択図】図１
2010193399.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置であって、
前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えることを特徴とする画像符号化装置。
【請求項２】
入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置であって、
所定のサイズの画素ブロック単位に推定符号量を算出し、前記算出した推定符号量に基いて予測方法を決定する予測方法決定手段と、
前記予測方法決定手段により決定された予測方法に従い予測符号化を行って予測画像を生成し、前記予測画像と前記動画像における符号化対象画像との差分データに対して直交変換処理、及び、量子化処理を行う予測符号化手段と、
前記予測符号化手段により生成された予測符号化データに対してエントロピー符号化を行うエントロピー符号化手段とを備え、
前記予測方法決定手段は、前記算出した推定符号量と第１の所定値とを比較する第１の符号量比較処理を行い、前記第１の符号量比較処理により推定符号量が第１の所定値を越えた場合には、予測方法として画面内予測を適用し、
前記エントロピー符号化手段は、エントロピー符号化後の符号量と第２の所定値とを比較する第２の符号量比較処理を行い、前記符号量が第２の所定値を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元した画像データをＩ＿ＰＣＭデータとして置き換える置換処理を行うことを特徴とする画像符号化装置。
【請求項３】
前記所定のサイズの画素ブロックは、１６×１６画素からなるマクロブロックであり、前記推定符号量は、動き予測処理によって生成された差分値の絶対値和（ＳＡＤ）または、動き予測処理によって生成された差分値を直交変換して得られる係数の絶対値和（ＳＡＴＤ）であることを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記予測方法決定手段で算出した推定符号量が所定値を越えた場合に適用される画面内予測は、所定の画素の平均値を利用した予測モードであることを特徴とする請求項２または３に記載の画像符号化装置。
【請求項５】
前記画像符号化の方式は、ＭＰＥＧ−４ ＡＶＣ方式であることを特徴とする請求項２〜４の何れか１項に記載の画像符号化装置。
【請求項６】
入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法であって、
前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えることを特徴とする画像符号化方法。
【請求項７】
入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法であって、
所定のサイズの画素ブロック単位に推定符号量を算出し、前記算出した推定符号量に基いて予測方法を決定する予測方法決定工程と、
前記予測方法決定工程において決定された予測方法に従い予測符号化を行って予測画像を生成し、前記予測画像と前記動画像における符号化対象画像との差分データに対して直交変換処理、及び、量子化処理を行う予測符号化工程と、
前記予測符号化工程において生成された予測符号化データに対してエントロピー符号化を行うエントロピー符号化工程とを備え、
前記予測方法決定工程においては、前記算出した推定符号量と第１の所定値とを比較する第１の符号量比較処理を行い、前記第１の符号量比較処理により推定符号量が第１の所定値を越えた場合には、予測方法として画面内予測を適用し、
前記エントロピー符号化工程においては、エントロピー符号化後の符号量と第２の所定値とを比較する第２の符号量比較処理を行い、前記符号量が第２の所定値を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元した画像データをＩ＿ＰＣＭデータとして置き換える置換処理を行うことを特徴とする画像符号化方法。
【請求項８】
入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法をコンピュータに実行させるプログラムであって、
前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替える画像符号化方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項９】
請求項８に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置及び画像符号化方法に関し、特に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等の動画像の符号化装置に用いて好適な技術に関する。
【背景技術】
【０００２】
動画像の符号化方式の１つにＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）があり、ディジタル・テレビ放送や映像記録メディアへ広く採用されている。ＭＰＥＧ−４ ＡＶＣでは、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉｂａｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）。またはコンテキスト適応型２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、といったコンテキスト適応型のエントロピー符号化方式を採用して符号化効率を高めている。
【０００３】
このＭＰＥＧ−４ ＡＶＣでは、１マクロブロック当りの最大符号量が規定されており、４：２：０コンポーネント、８ビットで符号化を行う場合、３２００ビットが上限となる。このため、この最大符号量を超えないように符号化を行わなくてはならないように規定されている。
【０００４】
そのため、符号化を行った結果、最大符号量の最大値を越えてしまった場合は規格違反となり、予測方法や量子化パラメータ等の符号化条件を変更して再符号化を行う必要がある。この場合には、再符号化処理が完了するまでは次のマクロブロックの処理が行えない上に、再処理後の符号量が最大符号量を超える可能性もあるため、処理時間の遅延が懸念される。
【０００５】
再符号化を行う方法の他に、直交変換及び量子化符号化を行わないで画素値をそのまま多重化するＩ＿ＰＣＭモードと呼ばれる予測モードを用いて符号化する方法もある。しかし、この符号化方法においては、最終的な符号量はエントロピー符号化を行った後でないと符号量超過であるか判定できないため、Ｉ＿ＰＣＭデータを予め保存しておく必要がある。
【０００６】
こうした仕組みを利用して、１マクロブロック当りの最大符号量超過を保護するために、エントロピー符号化前の情報からある閾値を元に符号量を判定し、Ｉ＿ＰＣＭデータへ差し替える方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１６６０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述のように、エントロピー符号化を行う前に、符号量を予め予測してＩ＿ＰＣＭへ切り替える方法は、最大符号量超過を防止する意味では有効である。しかしながら、エントロピー符号化部へ、メモリを介してデータを渡す場合に、ワーストケースを想定すると、ほぼ１画面分の画像データを確保しておく必要がある。したがって、この方法の場合も冗長なメモリ領域を確保しなければならない不都合がある。
【０００９】
また、飽くまでエントロピー符号化前の情報から最終符号量を予測して判定するため、実際には最大符号量が超過しないケースにおいてもＩ＿ＰＣＭへ切り替えてしまうケースも考えられ、冗長に符号量を消費してしまう可能性がある。
【００１０】
本発明は前述の問題点に鑑み、冗長なメモリ領域や、冗長な符号量消費を抑えた上で、符号量超過を防止できるようにすることを目的としている。
【課題を解決するための手段】
【００１１】
本発明の画像符号化装置は、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置であって、前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えることを特徴とする。
また、本発明の画像符号化装置の他の特徴とするところは、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置であって、所定のサイズの画素ブロック単位に推定符号量を算出し、前記算出した推定符号量に基いて予測方法を決定する予測方法決定手段と、前記予測方法決定手段により決定された予測方法に従い予測符号化を行って予測画像を生成し、前記予測画像と前記動画像における符号化対象画像との差分データに対して直交変換処理、及び、量子化処理を行う予測符号化手段と、前記予測符号化手段により生成された予測符号化データに対してエントロピー符号化を行うエントロピー符号化手段とを備え、前記予測方法決定手段は、前記算出した推定符号量と第１の所定値とを比較する第１の符号量比較処理を行い、前記第１の符号量比較処理により推定符号量が第１の所定値を越えた場合には、予測方法として画面内予測を適用し、前記エントロピー符号化手段は、エントロピー符号化後の符号量と第２の所定値とを比較する第２の符号量比較処理を行い、前記符号量が第２の所定値を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元した画像データをＩ＿ＰＣＭデータとして置き換える置換処理を行うことを特徴とする。
【００１２】
本発明の画像符号化方法は、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法であって、前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えることを特徴とする。
また、本発明の画像符号化方法の他の特徴とするところは、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法であって、所定のサイズの画素ブロック単位に推定符号量を算出し、前記算出した推定符号量に基いて予測方法を決定する予測方法決定工程と、前記予測方法決定工程において決定された予測方法に従い予測符号化を行って予測画像を生成し、前記予測画像と前記動画像における符号化対象画像との差分データに対して直交変換処理、及び、量子化処理を行う予測符号化工程と、前記予測符号化工程において生成された予測符号化データに対してエントロピー符号化を行うエントロピー符号化工程とを備え、前記予測方法決定工程においては、前記算出した推定符号量と第１の所定値とを比較する第１の符号量比較処理を行い、前記第１の符号量比較処理により推定符号量が第１の所定値を越えた場合には、予測方法として画面内予測を適用し、前記エントロピー符号化工程においては、エントロピー符号化後の符号量と第２の所定値とを比較する第２の符号量比較処理を行い、前記符号量が第２の所定値を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元した画像データをＩ＿ＰＣＭデータとして置き換える置換処理を行うことを特徴とする。
【００１３】
本発明のコンピュータプログラムは、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法をコンピュータに実行させるプログラムであって、前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替える画像符号化方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、予測方法決定処理の段階で算出した推定符号量が所定値を超える場合には、符号量が発生し難い画面内予測を適用するようにした。これにより、エントロピー符号化部におけるエントロピー符号化処理を行った後の符号量が最大符号量を超え難いようにすることができる。また、エントロピー符号化後の符号量が最大符号量を超えた場合には、画面内予測に限定した簡易復号化処理により、Ｉ＿ＰＣＭデータへ置き換えるようにした。これにより、冗長なメモリ領域を必要とすることなく、またエントロピー符号化部より前の再処理を行うことなく、最大符号量超過が発生する不都合を防止することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態を示し、画像符号化装置の構成例を説明するブロック図である。
【図２】本発明の第１の実施形態を示し、予測方法決定手順を説明するフローチャートである。
【図３】本発明の第１の実施形態を示し、Ｉ＿ＰＣＭデータ置き換え手順を説明するフローチャートである。
【図４】本発明の第２の実施形態を示し、画像符号化装置において行われる予測方法決定手順を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
（第１の実施形態）
以下、本発明を適用可能な第１の実施形態であるＭＰＥＧ−４ ＡＶＣ方式で映像信号を符号化する画像符号化装置の構成及び処理の流れについて、図１のブロック図を参照しながら説明する。なお、映像信号は１９２０×１０８８画素の４：２：０コンポーネント信号とし、８ビットで符号化されるものとするが、画面解像度、クロマフォーマット、量子化ビット数は他の仕様であっても本発明には影響しない。
【００１７】
本実施形態の画像符号化装置１００は、符号化対象画面を１６×１６画素ブロックに分割したマクロブロック単位で符号化処理を行う。予測方法決定部１０１は、符号化対象画面内の各マクロブロックに対する予測方法を決定する処理を行う。
【００１８】
予測方法決定部１０１は、入力される動画像における符号化対象画像と、メモリ１０３から読み出した符号化済み画像の画素値とから簡易的な画面内予測、または動き検出を含む画面間予測処理を行うことにより、符号化効率が最適となる予測方式を決定する。
【００１９】
例えば、符号化対象マクロブロックがＩスライスの場合は、画面内予測画素ブロックサイズ及び予測モードを決定する。また、ＰスライスまたはＢスライスの場合には、画面内予測、または画面間予測の内、符号化効率の高い方を選択する。本実施形態においては、画面間予測の場合には画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。そして画面間予測の場合には、参照画像フレーム、マクロブロック分割パターン、動きベクトル等の画面間予測符号化用パラメータを決定する。
【００２０】
ここで、予測方法決定部１０１では、算出した推定符号量が最小となるように予測方法を選択することにより符号化効率が最適となるようにしている。その推定符号量は、簡易的な予測処理を行うことにより生成した予測画像から符号化対象画像を引いた差分値である差分データに直交変換を施した変換係数の絶対値和（ＳＡＴＤ）として算出される。
【００２１】
更に、選択された予測方法に対する推定符号量（以下、ＣＵＲ＿ＳＡＴＤとする）が予め設定された最大推定符号量（以下、ＭＡＸ＿ＳＡＴＤ）を越えた場合には、１６×１６画素の平均値による画面内予測を適用するようにしている。
【００２２】
以下に、図２に示すフローチャートを参照しながら予測方法を決定する手順の一例について説明を行うことにする。
始めに、ステップＳ２０１において、動画像における符号化対象スライスがＩスライスか、或いはそれ以外のスライス（ＰスライスまたはＢスライス）であるかに応じて、画面内、画面間予測における推定符号量を算出するために、スライスタイプの判定を行う。
【００２３】
ステップＳ２０１の判定の結果、Ｉスライスの場合にはステップＳ２０２に進み、画面内予測における各モード別推定符号量を算出し、その中で最も推定符号量が小さい予測モードを選択する。その後、ステップＳ２０４に進む。
【００２４】
一方、ステップＳ２０１の判定の結果、ＰスライスまたはＢスライスの場合には、ステップＳ２０３に進み、画面間予測における各モード別推定符号量を算出し、その中で最も推定符号量の小さい予測モードを選択する。その後、ステップＳ２０４に進む。
【００２５】
ステップＳ２０４においては、前述したステップＳ２０２またはステップＳ２０３の処理により選択された予測モードにおける推定符号量ＣＵＲ＿ＳＡＴＤと、予め設定されている最大推定符号量ＭＡＸ＿ＳＡＴＤとを比較する。この比較の結果、ＣＵＲ＿ＳＡＴＤがＭＡＸ＿ＳＡＴＤよりも小さい場合にはステップＳ２０５に進み、ＣＵＲ＿ＳＡＴＤ算出時に選択された予測方法がそのまま適用される。
【００２６】
また、ステップＳ２０４の比較の結果、ＣＵＲ＿ＳＡＴＤがＭＡＸ＿ＳＡＴＤ以上であった場合にはステップＳ２０６に進み、画面内予測モード（輝度：１６×１６画素の平均値、色差８×８画素の平均値）が適用される。
【００２７】
ステップＳ２０５またはステップＳ２０６の処理が終了するとステップＳ２０７に進み、予測方法を決定する処理が終了か否かを判断する。この判断の結果、終了しない場合にはステップＳ２０１に戻り前述した処理を行う。また、ステップＳ２０７の判断の結果、処理を終了する場合にはエンド処理を行う。
【００２８】
このように、予測方法決定部１０１は、算出した推定符号量と第１の所定値とを比較する第１の符号量比較処理を行い、算出した推定符号量が第１の所定値を越えた場合には、予測方法として画面内予測を適用する。具体的には、予測方法決定部１０１は、ＣＵＲ＿ＳＡＴＤがＭＡＸ＿ＳＡＴＤ（第１の処定値）を超える場合に、輝度１６×１６画素、色差８×８画素の画面内予測モードを適用する。これにより、ＭＢの符号化に必要な構成要素を抑えながら、エントロピー符号化後の符号量がある程度以上発生しないように抑制することができる。こうして決定された予測符号化用パラメータは、予測処理部１０２へ出力され、予測符号化処理を行うために用いられる。
【００２９】
予測処理部１０２は、予測方法決定部１０１により決定された予測符号化用パラメータに応じて、メモリ１０３から読み出した符号化済み画像から予測画像を生成し、局所復号化部１０５へ出力する。また、映像入力される符号化対象画像（画素ブロック）と予測画像との差分となる予測残差信号（差分データ）を生成し、直交変換・量子化部１０４へ出力する。
【００３０】
ここで、前述のＣＵＲ＿ＳＡＴＤがＭＡＸ＿ＳＡＴＤを超える場合において、予測方法決定部１０１が画面内予測モードを適用した場合には、予測処理部１０２は生成した予測画像をエントロピー符号化部１０６へ出力する。この時、前述の例では１６×１６画素平均値予測を適用しているため、１画素分の予測画素を出力すればよい。
【００３１】
直交変換・量子化部１０４では、指定された所定のサイズの画素ブロック単位（８×８画素または、４×４画素ブロック単位）に整数精度離散コサイン変換、及び離散アダマール変換による直交変換処理を行う。離散アダマール変換は、１６×１６画素ブロック単位で画面内予測処理が行われた輝度信号、または色差信号に対して各画素ブロックを整数精度離散コサイン変換した結果のＤＣ（直流）成分に対してのみ行われる。
【００３２】
さらに直交変換・量子化部１０４は、直交変換された変換係数に対して、指定された量子化パラメータに応じた量子化ステップにより量子化処理を行う。量子化処理の後のデータ（予測符号化データ）は、エントロピー符号化部１０６へ入力される。また、直交変換・量子化部１０４において量子化されたデータ（予測符号化データ）は、局所復号化部１０５へも同時に入力される。
【００３３】
局所復号化部１０５では、入力された予測符号化データに対して逆量子化処理、逆直交変換処理（逆離散アダマール変換及び逆整数精度離散コサイン変換）を行ったデータに対して、予測処理部１０２から入力される予測画像を加算して復号化処理を行う。こうして復号化されたデータはメモリ１０３へ出力され、メモリ１０３に保持される。
【００３４】
メモリ１０３に保持された復号化データは、以降に行われる画面内予測処理に利用される。更に、デブロッキングフィルタ処理が施された復号化データをメモリ１０３へ保持する。メモリ１０３へ保持されたデブロッキングフィルタ処理後の復号化データは、以降に行われる画面間予測処理に利用される。
【００３５】
エントロピー符号化部１０６では、入力された予測符号化データに対してＣＡＶＬＣ、またはＣＡＢＡＣによるエントロピー符号化処理を行い、符号化映像データを多重化処理部１０７へ出力する。ＣＡＶＬＣは、Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ（コンテキスト適応型可変長符号化方式）の略である。この方式は、ＤＣＴ係数を符号化する際、連続する０の長さであるランとレベルを可変長符号化テーブルを用いてスキャンの方向と反対の方向から符号化を行なう。
【００３６】
ＣＡＢＡＣは、Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ（コンテキスト適応型２値算術符号化方式）の略で、時間とともに変化する符号化対象の出現頻度を変化させる方式である。一般に算術符号化と呼ばれる方式である。ＣＡＢＡＣでは、通常の算術符号化のほかに、圧縮すべき符号ごとにコンテキストを付け、そのコンテキストごとに出現頻度の変更を行なっている。
【００３７】
ここで、エントロピー符号化部１０６は、エントロピー符号化後の符号量（以下、ＣＵＲ＿ＢＲＡＴＥ）と、第２の所定値として予め設定された最大符号量（以下、ＭＡＸ＿ＢＲＡＴＥ）とを比較する第２の符号量比較処理を行う。この比較の結果、エントロピー符号化後の符号量がＭＡＸ＿ＢＲＡＴＥを越えた場合には、以下のように処理する。
【００３８】
すなわち、本実施形態のエントロピー符号化部１０６は、内蔵する簡易復号化処理部１０６ａにより、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元された画像データをＩ＿ＰＣＭデータとして置き換える置換処理機能を備えている。ここでは、簡易復号化処理部１０６ａをエントロピー符号化部１０６に内蔵しているが、簡易復号化処理部１０６ａはエントロピー符号化部１０６と分離されていてもよい。
【００３９】
以下に、図３に示すフローチャートを参照しながらＩ＿ＰＣＭデータ置き換え手順について説明を行う。
まず始めに、ステップＳ３０１において、エントロピー符号化を行う。そして、符号量ＣＵＲ＿ＢＲＡＴＥが算出されるとステップＳ３０２に進む。ステップＳ３０２においては、ＣＵＲ＿ＢＲＡＴＥと予め設定されている最大符号量ＭＡＸ＿ＢＲＡＴＥとの比較を行う。ここでは、１ＭＢ当たりのＭＡＸ＿ＢＲＡＴＥは、規格上の上限である３２００ビットに設定されている。
【００４０】
ステップＳ３０２の比較の結果、ＣＵＲ＿ＢＲＡＴＥがＭＡＸ＿ＢＲＡＴＥよりも小さい場合にはステップＳ３０３に進み、そのままエントロピー符号化後の符号化データを符号化する。その後、ステップＳ３０７に進む。
【００４１】
一方、ステップＳ３０２の比較の結果、ＣＵＲ＿ＢＲＡＴＥがＭＡＸ＿ＢＲＡＴＥよりも大きい場合には、規格外となるためそのまま符号化できない。そこで、ステップＳ３０４〜３０６に進んで通常の符号化の処理となる。
【００４２】
ステップＳ３０４においては、エントロピー符号化部１０６を対象ＭＢのエントロピー符号化前の状態へ戻す。続いて、ステップＳ３０５に進み、エントロピー符号化前のデータと入力される予測画素値からエントロピー符号化部１０６に内蔵されている簡易復号化処理部１０６ａにより復号化処理を行い、画像データ、すなわち、Ｉ＿ＰＣＭデータを生成する。
【００４３】
ここで、エントロピー符号化部１０６に内蔵されている簡易復号化処理部１０６ａでは、前段の予測方法決定部１０１により推定符号量が所定値よりも大きい場合には、平均値による画面内予測モードが選択されている。
【００４４】
このため、エントロピー符号化前のデータに対して逆量子化、逆直交変換を行い、入力された予測画素を加算するだけで画像データに復元可能となっている。つまり、画面内予測のみ復号化処理が行えるようになっていればよく、複雑な動き補償回路を必要としない比較的容易な復号化処理回路として実装可能となっている。続いて、ステップＳ３０６に進み、符号化対象データを生成されたＩ＿ＰＣＭデータへ置き換える処理を行う。その後、ステップＳ３０７に進む。
【００４５】
ステップＳ３０７においては、処理を終了するか否かを判断する。この判断の結果、終了しない場合にはステップＳ３０１に戻って前述した処理を行う。また、ステップＳ３０７の判断の結果、処理を終了する場合にはエンド処理を行う。
【００４６】
本実施形態の画像符号化装置１００は、以上のように処理するので、エントロピー符号化後の符号量が所定値を超える場合であっても、簡易復号化処理部１０６ａによりＩ＿ＰＣＭデータへ置き換え可能となっている。
【００４７】
多重化処理部１０７は、こうして入力された符号化映像データ、図示されないシステムデータ（スライスヘッダ等）を多重化して符号化データとして出力する。
【００４８】
以上に示したように、本実施形態の画像符号化装置１００においては、まず、予測方法決定部１０１で行われる予測方法決定処理の段階で算出した推定符号量が所定値よりも大きい場合には、符号量が発生し難い画面内平均値予測モードを適用する。これにより、エントロピー符号化部１０６におけるエントロピー符号化処理を行った後の符号量が最大符号量を超え難いようにすることができる。
【００４９】
更に、エントロピー符号化後の符号量が最大符号量を超えた場合であっても画面内予測に限定した簡易復号化処理により、Ｉ＿ＰＣＭデータへ置き換えるようにした。これにより、冗長なメモリ領域を必要とすることなく、またエントロピー符号化部１０６より前の再処理を行うことなく、最大符号量超過が発生する不都合を防止することが可能な符号化処理が可能となる。
【００５０】
（第２の実施の形態）
次に、本発明を適用可能なＭＰＥＧ−４ ＡＶＣ方式で映像信号を符号化する画像符号化装置の第２の実施形態を説明する。本実施形態の画像符号化装置は、第１の実施の形態に示した画像符号化装置１００と同様の構成である。したがって、ブロック図に関しては図１を流用するとともに、動作説明が重複する部分は省略する。以下の説明は、差分となる予測方法決定部１０１における予測方法決定手順について説明を行う。
【００５１】
本実施形態の画像符号化装置１００における予測方法決定部１０１は、算出した推定符号量が最小となるように予測方法を選択して、符号化効率が最適となるように決定する。そして、決定した推定符号量は、簡易的な予測処理を行うことにより生成した予測画像から符号化対象画像を引いた差分データの絶対値和（ＳＡＤ）として算出される。
【００５２】
更に、選択された予測方法に対する推定符号量（以下、ＣＵＲ＿ＳＡＤ）が予め設定された最大推定符号量（以下、ＭＡＸ＿ＳＡＤ）を越えた場合には、１６×１６画素の平均値による画面内予測を適用するようにしている。
【００５３】
以下に、図４に示すフローチャートを参照しながら予測方法決定手順について説明する。
まず始めに、ステップＳ４０１において、符号化対象スライスがＩスライスかそれ以外のスライス（ＰスライスまたはＢスライス）かを判断する。この判断の結果、符号化対象スライスがＩスライスであった場合はステップＳ４０２に進み、画面内予測における各モード別推定符号量を算出し、その中で最も推定符号量が小さい予測モードを選択する。その後、ステップＳ４０４に進む。
【００５４】
一方、ステップＳ４０１の判断の結果、ＰスライスまたはＢスライスの場合にはステップＳ４０３に進み、画面間予測における各モード別推定符号量を算出し、その中で最も推定符号量の小さい予測モードを選択する。その後、ステップＳ４０４に進む。
【００５５】
ステップＳ４０４においては、ステップＳ４０２またはステップＳ４０３で選択された予測モードにおける推定符号量ＣＵＲ＿ＳＡＤと、予め設定されている最大推定符号量ＭＡＸ＿ＳＴＤとを比較する。この比較の結果、ＣＵＲ＿ＳＡＤがＭＡＸ＿ＳＡＤよりも小さい場合にはステップＳ４０５に進み、ＣＵＲ＿ＳＡＤ算出時に選択された予測方法をそのまま適用する。その後、ステップＳ４０７に進む。
【００５６】
一方、ステップＳ４０４の比較の結果、ＣＵＲ＿ＳＡＤがＭＡＸ＿ＳＡＤ以上であった場合にはステップＳ４０６に進み、画面内予測モード（輝度：１６×１６画素の平均値、色差８×８画素の平均値）を適用する。その後、ステップＳ４０７に進む。
【００５７】
ステップＳ４０７においては、予測方法決定処理を終了するか否かを判断する。この判断の結果、終了しない場合にはステップＳ４０１に戻って前述した処理を行う。また、ステップＳ４０７の判断の結果、予測方法決定処理を終了する場合にはエンド処理を行う。
【００５８】
このように、本実施形態においては、ＣＵＲ＿ＳＡＤがＭＡＸ＿ＳＡＤを超える場合に、輝度１６×１６画素、色差８×８画素の画面内予測モードを適用することによりＭＢの符号化に必要な構成要素を抑えるようにした。これにより、エントロピー符号化後の符号量がある程度以上発生しないように抑え込むことが可能となる。
【００５９】
以上、説明したように、推定符号量にＳＡＤを採用した場合でも同様に、まず予測方法決定処理の段階で算出した推定符号量が所定値よりも大きい場合には、符号量が発生し難い画面内平均値予測モードを適用する。
【００６０】
これにより、エントロピー符号化後の符号量が最大符号量を超え難いようにする。更に、エントロピー符号化後の符号量が最大符号量を超えた場合であっても画面内予測に限定した簡易復号化処理により、Ｉ＿ＰＣＭデータへ置き換えるようにした。これにより、冗長なメモリ領域を必要とすることなく、またエントロピー符号化部以前の再処理を行うことなく最大符号量超過を防止可能な符号化処理を行うことが可能となる。
【００６１】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像符号化装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００６２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００６３】
なお、本発明は、前述した画像符号化方法における各工程を実行するソフトウェアのプログラム（実施形態では図２〜図４に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６４】
したがって、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６６】
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００６７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００６８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。
【００７１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【符号の説明】
【００７２】
１００  画像符号化装置
１０１  予測方法決定部
１０２  予測処理部
１０３  メモリ
１０４  直交変換・量子化部
１０５  局所復号化部
１０６  エントロピー符号化部
１０６ａ  簡易復号化処理部
１０７  多重化処理部
【図１】
2010193399.tif 000003
【図２】
2010193399.tif 000004
【図３】
2010193399.tif 000005
【図４】
2010193399.tif 000006