(57)【特許請求の範囲】
【請求項１】
量子化因子から離散的に選択された選択量子化因子に基づく量子化ステップを用いて入力画像を少なくとも量子化することにより上記入力画像を符号化し、符号化による上記入力画像の発生符号量を算出する選択発生符号量算出部と、
上記選択量子化因子に基づいて上記入力画像が符号化されたときの発生符号量に対する補間処理により、選択量子化因子以外の量子化因子に基づいて上記入力画像が符号化されたときの発生符号量を算出する補間発生符号量算出部と、
上記選択発生符号量算出部及び上記補間発生符号量算出部によって算出された上記発生符号量において、目標符号量に最も近い発生符号量に対応する量子化因子を予測量子化因子として選択する予測量子化因子選択部と、
上記予測量子化因子選択部によって選択された上記予測量子化因子及び当該予測量子化因子の前後の量子化因子に基づいて上記入力画像を符号化したときの発生符号量が上記目標符号量に最も近い量子化因子を基本量子化因子として決定する基本量子化因子決定部と、
上記基本量子化因子決定部によって決定された上記基本量子化因子に基づいて上記入力画像を符号化する本符号化部と
を有する画像処理装置。
【請求項２】
上記基本量子化因子決定部は、
上記予測量子化因子及び当該予測量子化因子の前後の量子化因子に基づいて上記入力画像を符号化したときの発生符号量の範囲内に、上記目標符号量が入らない場合には、上記予測量子化因子から正負の方向にそれぞれ１だけ変化して上記入力画像を符号化したときの発生符号量の変動率の平均値を、量子化因子の変動に伴う発生符号量の変動率として算出する変動率算出部と、
上記予測量子化因子の前後の量子化因子を用いたときの発生符号量に対し、上記予測量子化因子を中心に上記量子化因子の値が１だけ変化したときの上記変動率に応じた符号量だけ増減させることにより、上記予測量子化因子及び当該予測量子化因子の前後の量子化因子以外の量子化因子に基づいて上記入力画像を符号化したときの発生符号量を算出する変動発生符号量算出部と、
上記変動発生符号量算出部によって算出された発生符号量において、上記目標符号量に最も近い発生符号量に対応する量子化因子を上記基本量子化因子として選択する選択部と
をさらに有する請求項１に記載の画像処理装置。
【請求項３】
上記本符号化部は、
量子化の前にローカルデコード画像を予測画像とする画面内予測を実行し、
上記選択発生符号量算出部は、
上記本符号化部と比して、量子化の前に入力画像を上記予測画像とする画面内予測を実行する処理により入力画像を符号化する
請求項１に記載の画像処理装置。
【請求項４】
上記選択発生符号量算出部は、
上記予測画像を入力画像としたことに応じて発生する、上記予測画像を上記ローカルデコード画像とした場合に対する上記発生符号量の誤差を補正する
請求項３に記載の画像処理装置。
【請求項５】
上記選択発生符号量算出部は、
上記発生符号量に対し、予め統計によりモデル化された誤差情報における補正量を乗算して上記発生符号量に対する補正符号量を算出し、当該補正符号量を上記発生符号量に加算することにより、上記予測画像を入力画像としたことに応じて発生する、上記予測画像を上記ローカルデコード画像とした場合に対する上記発生符号量の誤差を補正する
請求項４に記載の画像処理装置。
【請求項６】
上記誤差情報は、
補正すべき誤差を表す補正量が算出される、上記量子化因子による平均的な誤差のモデルと、上記入力画像の符号化による発生符号量による平均的な誤差のモデルとして作成されており、
上記選択発生符号量算出部は、上記量子化因子に対応する誤差量と上記発生符号量に対応する誤差量とのうち、より小さい誤差量を示す誤差情報から補正量を決定する
請求項５に記載の画像処理装置。
【請求項７】
上記選択発生符号量算出部は、
上記量子化因子及び上記入力画像の符号化による発生符号量を指標としてそれぞれモデル化された誤差情報を有し、より小さい誤差量を示す誤差情報から補正量を決定する
請求項６に記載の画像処理装置。
【請求項８】
上記本符号化部は、
上記入力画像の量子化の後に、可変長符号化又は算術符号化を入力画像に応じて切り替えて実行し、
上記選択発生符号量算出部は、
上記入力画像の量子化の後に、上記可変長符号化を実行することにより、上記可変長符号化による上記入力画像の発生符号量を算出し、上記本符号化部が上記入力画像に対して上記算術符号化を実行する場合には、上記可変長符号化による上記入力画像の発生符号量を補正することにより、上記算術符号化による上記入力画像の発生符号量を算出する
請求項３に記載の画像処理装置。
【請求項９】
上記本符号化部は、
量子化の前にローカルデコード画像を予測画像とする画面内予測を実行し、
上記基本量子化因子決定部は、
上記予測量子化因子選択部によって選択された上記予測量子化因子及び当該予測量子化因子の前後の量子化因子に基づいて上記入力画像を符号化する際、上記予測量子化因子に基づくローカルデコード画像を当該予測量子化因子の近傍の量子化因子に対する予測画像とする
請求項１に記載の画像処理装置。
【請求項１０】
量子化因子から離散的に選択された選択量子化因子に基づく量子化ステップを用いて入力画像を少なくとも量子化することにより上記入力画像を符号化し、符号化による上記入力画像の発生符号量を算出する選択発生符号量算出ステップと、
上記選択量子化因子に基づいて上記入力画像が符号化されたときの発生符号量に対する補間処理により、選択量子化因子以外の量子化因子に基づいて上記入力画像が符号化されたときの発生符号量を算出する補間発生符号量算出ステップと、
上記選択発生符号量算出ステップ及び上記補間発生符号量算出ステップによって算出された上記発生符号量において、目標符号量に最も近い発生符号量に対応する量子化因子を予測量子化因子として選択する予測量子化因子選択ステップと、
上記予測量子化因子選択ステップによって選択された上記予測量子化因子及び当該予測量子化因子の前後の量子化因子に基づいて上記入力画像を符号化したときの発生符号量が上記目標符号量に最も近い量子化因子を基本量子化因子として決定する基本量子化因子決定ステップと、
上記基本量子化因子決定ステップによって決定された上記基本量子化因子に基づいて上記入力画像を符号化する本符号化ステップと
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば画像符号化装置等に係り、特に1ピクチャに与えられた目標符号量に画面内フィードバック制御を行わずに発生符号量を合わせ込む技術分野に関する。
【背景技術】
【０００２】
従来、動画のビットストリームを伝送したり記録メディアに記録したりするシステム等においては、伝送路或いは記録容量を効率良く利用するために、高能率符号化が実施されている。これを実現する画像符号化装置では、エンコーダで発生するビットストリームの符号化ビットレートは伝送メディアの転送レートに合わせて一定とされており、この制限の下でデータ発生量、つまり、エンコーダにおける量子化の量子化ステップが制御されている。すなわち、例えば絵柄が複雑な画像が連続するときは量子化ステップを大きくしてデータ発生量を抑圧し、これとは逆に単純な絵柄が連続するときは量子化ステップを小さくしてデータ発生量を増加させることで、バッファメモリのオーバーフロー又はアンダーフローを生じさせないようにして固定レートを保持している。
【０００３】
従って、このような従来技術に係る画像符号化装置では、複雑な画像が連続するときは量子化ステップが大きくなり画質が劣化し、単純な画像が連続するときは量子化ステップが小さくなり全体を通じて均等な画質を得ることができなかった。この問題に鑑みて、例えば特許文献１では、ＧＯＰ(Group Of Pictures)毎の符号化の難易度と複数のＧＯＰの符号化の難易度の総和の比に従って各ＧＯＰ自身に割り当てられる割当符号量を、絵柄が複雑な画像を含むＧＯＰに対しては多く割り当て、絵柄が単純な画像を含むＧＯＰに対しては少なく割り当てるように算出する画像符号化装置が開示されている。
【０００４】
一方、１ピクチャに与えられた目標符号量に発生符号量を合わせ込む方法として、例えばTM5（test model 5）のstep2が良く知られている。これは、ピクチャに割り当てられた符号量をマクロブロック（MB；Macro block）に均等に配分したものをMBの目標符号量とし、ピクチャ内でフィードバック（feed back）制御をかける事で、目標符号量に合わせ込む手法である。
【特許文献１】特許第３３５８６２０号公報。
【０００５】
しかしながら、前述したTM5のstep2の方法では、シーケンス先頭ピクチャやシーンチェンジ直後ピクチャのエンコードにおいて、量子化ステップの初期値が、そのピクチャの絵柄に合ったものではないため、画質が劣化する場合があった。
【０００６】
例えばフィードバック制御において絵柄に追従するまでの部分の量子化ステップが大きすぎる場合は、その部分の画質が他の部分に比べて劣化してしまい、量子化ステップが小さすぎる場合は、その部分で符号量を使いすぎてしまい、他の部分にその影響が及ぶおそれがある。
【０００７】
また、MBの目標符号量を常に一定にしているため、画面内で画の難しさに偏りがある時などは、不適切な符号量配分になっていた。そこで、画像符号化装置は、予め並列に符号化を実行して発生符号量を予測し、１ピクチャに与えられた目標符号量に画面内フィードバック制御を行わずに発生符号量を合わせ込むことが望ましい。しかしながら、画像符号化装置は、量子化パラメータの数だけ並列して量子化を実行するのでは、回路規模が大きくなってしまうという問題があった。
【発明の開示】
【０００８】
かかる課題を解決するため、本発明の画像処理装置においては、量子化因子から離散的に選択された選択量子化因子に基づく量子化ステップを用いて入力画像を少なくとも量子化することにより入力画像を符号化し、符号化による入力画像の発生符号量を算出する選択発生符号量算出部と、選択量子化因子に基づいて入力画像が符号化されたときの発生符号量に対する補間処理により、選択量子化因子以外の量子化因子に基づいて入力画像が符号化されたときの発生符号量を算出する補間発生符号量算出部と、選択発生符号量算出部及び補間発生符号量算出部によって算出された発生符号量において、目標符号量に最も近い発生符号量に対応する量子化因子を予測量子化因子として選択する予測量子化因子選択部と、予測量子化因子選択部によって選択された予測量子化因子及び当該予測量子化因子の前後の量子化因子に基づいて入力画像を符号化したときの発生符号量が目標符号量に最も近い量子化因子を基本量子化因子として決定する基本量子化因子決定部と、基本量子化因子決定部によって決定された基本量子化因子に基づいて入力画像を符号化する本符号化部とを設けるようにした。
【０００９】
これにより、画像処理装置は、全ての量子化パラメータに基づいて入力画像を符号化しなくても済むと共に、簡易的な符号化により入力画像を符号化するため、回路構成を簡略化しつつ、当該簡易的な符号化に基づく誤差を補正して発生符号量の精度を向上させ得る。
【００１０】
さらに本発明の画像処理方法においては、量子化因子から離散的に選択された選択量子化因子に基づく量子化ステップを用いて入力画像を少なくとも量子化することにより入力画像を符号化し、符号化による入力画像の発生符号量を算出する選択発生符号量算出ステップと、選択量子化因子に基づいて入力画像が符号化されたときの発生符号量に対する補間処理により、選択量子化因子以外の量子化因子に基づいて入力画像が符号化されたときの発生符号量を算出する補間発生符号量算出ステップと、選択発生符号量算出ステップ及び補間発生符号量算出ステップによって算出された発生符号量において、目標符号量に最も近い発生符号量に対応する量子化因子を予測量子化因子として選択する予測量子化因子選択ステップと、予測量子化因子選択ステップによって選択された予測量子化因子及び当該予測量子化因子の前後の量子化因子に基づいて入力画像を符号化したときの発生符号量が目標符号量に最も近い量子化因子を基本量子化因子として決定する基本量子化因子決定ステップと、基本量子化因子決定ステップによって決定された基本量子化因子に基づいて入力画像を符号化する本符号化ステップとを設けるようにした。
【００１１】
これにより、画像処理方法は、全ての量子化パラメータに基づいて入力画像を符号化しなくても済むと共に、簡易的な符号化により入力画像を符号化するため、回路構成を簡略化しつつ、当該簡易的な符号化に基づく誤差を補正して発生符号量の精度を向上させ得る。
【００１２】
さらに本発明の画像処理装置においては、入力画像を少なくとも量子化因子に基づいて量子化することにより入力画像を簡易符号化し、簡易符号化による入力画像の発生符号量を算出する簡易発生符号量算出部と、簡易発生符号量算出部によって算出された発生符号量に基づいて、入力画像を符号化したときの発生符号量が目標符号量に最も近いと予測される量子化因子を基本量子化因子として決定する基本量子化因子決定部と、量子化因子に基づくリスケーリングファクタにより入力画像を除算したときの剰余に基づいて、入力画像が前回符号化されたときに使用された量子化因子を検出量子化因子として符号化単位ごとに検出するバックサーチ部と、バックサーチ部によって検出された検出量子化因子に基づいて入力画像を符号化し、符号化単位ごとの発生符号量を算出する検出発生符号量算出部と、バックサーチ部によって検出量子化因子が検出されなかった符号化単位についての基本量子化因子に基づく発生符号量と、バックサーチ部によって量子化因子が検出された符号化単位についての検出発生符号量算出部によって算出された発生符号量とを加算することにより、複数の符号化単位から構成される制御単位ごとの発生符号量を算出する制御単位発生符号量算出部とを設けるようにした。
【００１３】
これにより、画像処理装置は、非原画でなる入力画像に対して、バックサーチ部によって検出量子化因子が検出されなかった符号化単位についての基本量子化因子に基づく発生符号量を用いることにより、簡易な構成でバックサーチ部によって検出された検出量子化因子に基づいて入力画像を符号化した場合の発生符号量を算出することができる。
【００１４】
本発明によれば、全ての量子化パラメータに基づいて入力画像を符号化しなくても済むと共に、簡易的な符号化により入力画像を符号化するため、回路構成を簡略化しつつ、当該簡易的な符号化に基づく誤差を補正して発生符号量の精度を向上させ得る。かくして本発明は、発生符号量を算出する際に回路規模を削減し得る画像処理装置及び画像処理方法を実現し得る。
【００１５】
さらに本発明によれば、非原画でなる入力画像に対して、バックサーチ部によって検出量子化因子が検出されなかった符号化単位についての基本量子化因子に基づく発生符号量を用いることにより、簡易な構成でバックサーチ部によって検出された検出量子化因子に基づいて入力画像を符号化した場合の発生符号量を算出することができる。かくして本発明は、発生符号量を算出する際に回路規模を削減し得る画像処理装置及び画像処理方法を実現し得る。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の第1の実施の形態に係る画像符号化装置の構成図。
【図２】図２は、離散的な値のQPの補正を行い、間のQPについて補間により符号量を計算することを説明する概念図。
【図３】図３は、本発明の第１の実施の形態に係る画像符号化装置による符号化の処理手順を詳細に説明するフローチャート。
【図４】図４は、適応的なQ Matrixの切り替え処理について更に説明するフローチャート。
【図５】図５は、本発明の低精度発生符号量の算出処理について説明するフローチャート。
【図６】図６は、本発明の第２の実施の形態に係る画像符号化装置の構成図。
【図７】図７は、本発明の第２の実施の形態に係る画像符号化装置による符号化の処理手順を詳細に説明するフローチャート。
【図８】図８は、前回のパラメータ推定処理を説明するフローチャート。
【図９】図９は、原画モードかダビングモードかの判定を説明するフローチャート。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。なお説明は以下の順序で行う。
１．第１の実施の形態（補間による低精度発生符号量の予測）
２．第２の実施の形態（バックサーチによる高精度発生符号量の予測）
【００１８】
＜１．第１の実施の形態＞
［１−１．本発明の特徴］
この実施の形態に係る画像符号化装置１００及び画像符号化方法は、以下などを特徴とする。
【００１９】
画像符号化装置１００は、Ｈ．２６４／AVC（Advanced Video Coding;高度動画像圧縮符号化標準）等に代表される算術符号化を用いた画像圧縮方式でなる。画像符号化装置１００は、符号量制御を行う際に、ピクチャ内で良好な符号量分布を実現するために、並列プレエンコード（Pre Encode）と直列プレエンコードを組み合わせる。これにより、画像符号化装置１００は、回路規模とLatency（遅延時間）の増加を抑えつつ、精度のよい予測を行う。
【００２０】
より詳細には、画像符号化装置１００は、第１及び第２のプレエンコード部１及び２により、量子化と符号長計算部のみ並列に行い、他の処理要素は共用することで、回路共通化による回路規模の削減を図る。
【００２１】
つまり、本来であれば、並列プレエンコードを行う場合には、全ての処理要素を並列に設ける必要があるところ、この実施の形態に係る画像符号化装置１００では、精度に影響なく共通化できる処理要素を的確に特定し、該処理要素につき回路を共通化する。これにより、第１及び第２のプレエンコード部１及び２自体の回路規模とlatency（遅延時間）の増加を抑える。
【００２２】
そして、第１のプレエンコード部１では、少し精度を落とし回路規模並びに処理負荷を抑えた並列プレエンコードを広い範囲の量子化パラメータ（QP）で行い、目標符号量を実現するQPを粗く見積もる。第２のプレエンコード部２では、精度を上げた並列プレエンコードを狭い範囲で行い、本エンコード部３で使用する基本量子化パラメータQPＭＢを決定する。以上により、画像符号化装置１００は、画像符号化の精度を上げつつ処理負荷を軽減する。さらに、プレエンコードを簡略化したことによる誤差がビットレートや量子化パラメータQPと相関を持つことから、詳細は後述するような統計モデルを予め作成しておき、ビットレートや量子化パラメータQPから誤差の補正を行うこととしている。
【００２３】
図１には、本発明の一実施の形態に係る画像符号化装置１００の構成を示し説明する。
【００２４】
この画像符号化装置１００は、第１のプレエンコード部１、第２のプレエンコード部２、本エンコード部３、符号量制御部４、ディレイバッファ５，６を有している。
【００２５】
第１のプレエンコード部１は、第１のプレエンコードを行うモジュールであり、画面内予測モード決定部１１、画面内予測処理部１２、DCT（Discrete Cosine Transform；離散コサイン変換）部１３、量子化部１４、エントロピー符号長計算部１５、アクティビティ（Activity）計算部１６を備えている。
【００２６】
第２のプレエンコード部２は、第２のプレエンコードを行うモジュールであり、画面内予測処理部２１、DCT部２２、量子化部２３、エントロピー符号長計算部２４、バッファ２５、IDCT（Inverse DCT）部２６、逆量子化部２７を備えている。
【００２７】
そして、本エンコード部３は、本エンコードを行うモジュールであり、画面内予測処理部３１、DCT部３２、量子化部３３、エントロピー符号化部３４、バッファ３５、IDCT部３６、逆量子化部３７を備えている。
【００２８】
符号量制御部４は、符号量制御を行うモジュールである。
【００２９】
［１−２．量子化パラメータ及び量子化行列の予測］
［１−２−１．低精度発生符号量の算出］
画像符号化装置１００は、符号化難易度に応じて例えば３つの量子化行列Q Matrixを適用的に選択して使用する（詳しくは後述する）。画像符号化装置１００は、一の量子化行列Q Matrixを設定すると共に、当該設定された量子化行列Q Matrixの取り得る範囲の量子化パラメータQPについて、第１のプレエンコード部１による簡易な処理によって発生符号量を粗く見積もる。以下、当該プレエンコード部１の結果により見積もられた発生符号量を低精度発生符号量と呼ぶ。画像符号化装置１００は、全ての量子化行列Q Matrixについて同様の処理を実行し、量子化行列Q Matrix及び量子化パラメータQPを変更したときの低精度発生符号量を算出する。そして画像符号化装置１００は、低精度発生符号量が目標符号量に最も近くなる量子化パラメータQP及び量子化行列Q Matrixを次のステップ（第２のプレエンコード部２）でピクチャの平均量子化パラメータBase QPとして使用する予測量子化パラメータQPｄ、次のステップで使用するピクチャの量子化行列Q Matrix（以下、これを予測量子化行列Q MatrixDと呼ぶ）とする。
【００３０】
このとき画像符号化装置１００は、離散的に選択された一部の量子化パラメータQP（以下、これを選択量子化パラメータQPlと呼ぶ）を用いて入力画像９１における低精度発生符号量を算出する。画像符号化装置１００は、選択量子化パラメータQPl間の低精度発生符号量を補間によって算出することにより、量子化行列Q Matrixが取り得る範囲の量子化パラメータQPの全てについて、低精度発生符号量を算出するようになされている。
【００３１】
実際上、入力画像９１は、最初に第１のプレエンコード部１の画面内予測モード決定部１１に入力される。画面内予測モード決定部１１は、この入力画像９１に基づいて、全ての画面内予測モードによって差分画像データを生成すると共に、当該差分画像データの発生符号量の予測に基づいて画面内予測モードを決定する。予測モード（予測方向）は、最小４×４画素単位で９通りの予測モードの中から決定されることになる。
【００３２】
この決定された画面内予測モードは、画面内予測処理部１２に送出されると共に、第２のプレエンコード部２や本エンコード部３にも送出される。この画面内予測モードは、第２のプレエンコード部２による第２のプレエンコード、本エンコード部３による本エンコードでも使用される。
【００３３】
次に画面内予測処理部１２は、予測画像と入力画像９１との差分画像を計算し、差分画像データを生成する。ここでの予測画像は、処理を削減するため入力画像９１から作られる。このように、第１のプレエンコード部１は、入力画像を用いて画面内予測処理を行うことで、逆量子化部、IDCT部、バッファを削減することができ、回路規模を削減することが可能となる。
【００３４】
DCT部１３は、差分画像データに対して整数精度DCT処理を実行し、DCT係数を生成すると、これを量子化部１４に送出する。量子化部１４は、このDCT係数について量子化を行い、量子化係数を生成すると、これをエントロピー符号長計算部１５に送出する。エントロピー符号長計算部１５は、量子化係数に対し、コンテキスト適応型可変長符号化方式（CAVLC； Context-Adaptive Variable Length Coding）を行うことにより符号量を計算する。CAVLCによれば、周囲の状況に応じて高効率の符号化方式を適応的に選択できる。
【００３５】
このように第１のプレエンコードでは、本エンコードにおいてエントロピー符号化方式としてCABAC（Context-Adaptive Binary Arithmetic Coding）を用いる場合でも、符号量計算にCAVLCを用いることを特徴の一つとしている。尚、CABACとは、コンテキスト適応型２値算術符号化方式である。
【００３６】
ここで、量子化部１４は、並列に設けられた量子化部１４−１，…，１４−ｎ（ｎ＝１，２，３・・）により構成され、エントロピー符号長計算部１５は、並列に設けられたエントロピー符号長計算部１５−１，…，１５−ｎ（ｎ＝１，２，３・・）により構成されている。ｎの値は、例えば１５に設定されている。量子化部１４は、０〜５１でなる量子化パラメータQPのうち、設定されている量子化行列Q Matrixに対応した選択量子化パラメータQPlを各量子化部１４−１，…，１４−ｎに設定する。この選択量子化パラメータQPlは、量子化行列Q Matrixが取り得る量子化パラメータQPの範囲から、任意の間隔で離散的に選択される。なお選択量子化パラメータQPlは、例えば一定間隔で選択されても良く、量子化パラメータQPの値に応じて変化する間隔で選択されても良い。このような構成の下、第１のプレエンコード部１は、量子化と符号長計算を、上記並列数と同数の複数の量子化パラメータQPに対して並列に実行し、それぞれの発生符号量を符号量制御部４に出力する。
【００３７】
即ち、第１のプレエンコード部１は、量子化部１４、エントロピー符号長計算部１５による回路規模を抑えた並列プレエンコードにより、広い範囲の量子化パラメータQPで第１のプレエンコードを行うことで、広い範囲の量子化パラメータQPに対する発生符号量を算出する。
【００３８】
ここで、アクティビティ計算部１６は、画面内予測モード決定部１１による画面内予測モードの決定と同時並行して、アクティビティ（Activity）を計算し、該アクティビティによりマクロブロック（MB；Macro Block）をグループ分けする。つまり、NumOfActivityGroupのグループに分ける場合を想定すると、アクティビティ計算部１６は、ActivityTheshold[0] 〜 ActivityTheshold[NumOfActivityGroup - 2] とアクティビティの値とを比較することにより、アクティビティグループを決定する。
【００３９】
尚、量子化処理において実際に使用される量子化パラメータQPは、ピクチャの平均量子化パラメータQP (BaseQP)に対して、アクティビティグループに依存したオフセット(AdaptQPDelta)を加えることで求められる。
【００４０】
MB_QP＝BaseQP＋AdaptQPDelta[activity_group]
【００４１】
例えば、NumOfActivityGroupを13とするなら、AdaptQPDeltaの各値は、
【００４２】
AdaptQPDelta[13]＝{-6,-5,-4,-3,-2,-1,0,1,2,3,4,5,6}
【００４３】
とすることができる。
【００４４】
各MBに対して決定されたアクティビティグループ（Activity Group）番号は、量子化部１４に入力される。量子化部１４は、選択量子化パラメータQPlに対し、アクティビティグループに応じたオフセットを付加して適応量子化パラメータＱＰｔを算出する。量子化部１４は、適応量子化パラメータＱＰｔに基づいて、DCT係数に対する量子化処理を実行する。
【００４５】
第１のプレエンコード部１は、次の量子化行列Q Matrix及び当該量子化行列Q Matrixに対応する選択量子化パラメータQPlを設定することにより、同様にして発生符号量を算出する。この結果、第１のプレエンコード部１は、量子化行列Q Matrix及び当該量子化行列Q Matrixに対応する選択量子化パラメータQPlについて、発生符号量をそれぞれ算出することになる。
【００４６】
［１−２−２．発生符号量の誤差の補正］
符号量制御部４は、第１のプレエンコード部１において算出された発生符号量に対して補正を行う。
【００４７】
ここでの補正は、誤差が、ある程度の傾向を持っている事を利用して行う。
【００４８】
一つ目の誤差要因は、画面内予測処理にローカルデコード（Local Decode）画ではなく入力画像９１を用いている事である。この場合、画面内予測に使う画にコーデック（Codec）による歪がのっていないので、実際のエンコードより符号化効率が良くなり、符号量が少なめに出る傾向がある。この誤差の大きさは、歪の大きさに依存するので、発生符号量と誤差の関係では、ビットレート（Bit rate）が小さくなると誤差が大きくなる傾向がある。また、量子化パラメータQPと誤差の関係では、量子化パラメータQPが大きくなると誤差が大きくなる傾向にある。よって、予め誤差の大きさの統計データを取り、ビットレート“r”とQP“q”の関数として定義する。
【００４９】
具体的に、符号量制御部４は、CAVLCによって符号化されたときの発生符号量について、ビットレートによる平均的な誤差のモデル、量子化パラメータQPによる平均的な誤差のモデルをそれぞれ作成しておく。この誤差モデルは、量子化パラメータQP及びビットレートにそれぞれ対応する例えば数式やテーブルとして予め記憶される。符号量制御部４は、量子化パラメータQP及びビットレートから補正すべき誤差を表す補正量C_rate、C_qpを、対応する誤差モデルからそれぞれ算出する。符号量制御部４は、量子化パラメータQP及びビットレートに対応する補正量C_rate、C_qpのうち、次式に従って小さい値を補正量Cｖとして選択する。
【００５０】
補正量Cｖ＝min（C_rate、C_qp）
【００５１】
これにより、誤差の補正量が大きくなり過ぎてしまい、補正された発生符号量が第２のプレエンコード部２において算出される高精度発生符号量よりも大きくなってしまうことを防止し得るようになされている。なおこの補正量C_rate、C_qpは、第１のプレエンコード部１によって算出された発生符号量（Pre-Encode符号量）に対する補正量の割合（％）を表している。
【００５２】
符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量に対し、次式に従って補正量Cｖを乗算することにより、発生符号量に対する補正量（以下、これをCAVLC補正符号量と呼ぶ）を算出する。
【００５３】
CAVLC補正符号量＝Pre-Encode符号量×Ｃｖ
【００５４】
符号量制御部４は、発生符号量に対してCAVLC補正符号量を加算することにより、CAVLCについての低精度発生符号量を算出する。
【００５５】
二つ目の誤差要因は、エントロピー符号化方式でCABACを選択したときのみ発生するものである。第１のプレエンコード部１では、CABACによる符号化を実行せず、CAVLCの符号量からCABACによって符号化したときの低精度発生符号量を予測する。CABACはCAVLCより符号化効率が良いので、CAVLCでプレエンコードした発生符号量は、実際の符号量より多めに出る傾向がある。例えば、発生符号量と誤差の関係では、この誤差の大きさは統計的に見てビットレート（Bit rate）が小さくなるとCABACの効率が良くなることに起因して、大きくなる傾向にある。これも同様に、予め誤差の大きさの統計データを取り、平均的な誤差のモデルを作成しておくことで補正する。
【００５６】
CABACに起因する誤差は、CAVLCの符号量による符号化において生じる誤差と比較して、量子化パラメータQP及びビットレートに関し反対側に変化し、その変化量は小さいことが明らかになった。
【００５７】
そこで、CABACについての補正量（以下、これをCABAC補正量と呼ぶ）をビットレート“r”とQP“q”の関数として定義する。このとき、補正量Cｂは、次式によって算出される。
【００５８】
補正量Cｂ＝min（ｒ,ｑ）
【００５９】
符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量（Pre-Encode符号量）に対し、次式に従って補正量Cｖを乗算することにより、発生符号量に対する補正量（以下、これをCABAC補正符号量と呼ぶ）を算出する。
【００６０】
CABAC補正符号量＝Pre-Encode符号量×Ｃｂ
【００６１】
符号量制御部４は、低精度発生符号量に対してCABAC補正符号量を加算することにより、CABACについての低精度発生符号量を算出する。符号量制御部４は、図２に示すように、第１のプレエンコード部１によって算出された発生符号量（四角で表す）に対して補正されたCAVLC補正量及びCABAC補正符号量（黒丸で表す）をそれぞれ算出することができる。
【００６２】
次に、符号量制御部４は、量子化パラメータ(QP)の推定処理を行う。上述したように、第１のプレエンコード部１は、任意の間隔で、離散的な値の選択量子化パラメータQPlでプレエンコードを行って発生符号量を取得している。符号量制御部４は、量子化行列Q Matrixの取り得る量子化パラメータQPの範囲のうち、選択量子化パラメータQPl以外の量子化パラメータQPに関して、補間により発生符号量を計算する（白丸で示す）。補間処理としては、線形補間など一般的な補間処理を用いることができる。
【００６３】
即ち、図２に示されるように、第１のプレエンコード部１で得た離散的な値の量子化パラメータQP（四角で示す）ついて、補正を行い補正後の量子化パラメータQP（黒丸で示す）を得て、更に、その間の量子化パラメータQP（白に丸で示す）について補間により符号量を計算することになる。
【００６４】
このように、符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量に対し、当該第１のプレエンコード部１において簡易化した処理に応じて発生する発生符号量の誤差を補正してCAVLCについての低精度発生符号量を算出する。これにより、符号量制御部４は、簡易化された符号化処理による発生符号量の予測精度を向上させ得る。符号量制御部４は、CAVLCについての低精度発生符号量を用いてCABACによる発生符号量の予測量である低精度発生符号量を算出する。これにより、符号量制御部４は、処理の複雑なCABACを行うことなく、CABACによる低精度発生符号量を見積もることができる。符号量制御部４は、離散的に選択された選択量子化パラメータQPlによって予測された低精度発生符号量から、補間処理により、当該選択量子化パラメータQPl以外の量子化パラメータQPについての低精度発生符号量を予測する。これにより、符号量制御部４は、わざわざ全ての量子化パラメータQPを用いて入力画像９１を符号化せずに済み、第１のプレエンコード部１の構成を簡易にすることができる。
【００６５】
［１−２−３．予測量子化行列の決定］
上述したように、量子化行列Q Matrixが取り得る全ての量子化パラメータQPについて、低精度発生符号量が算出された。符号量制御部４は、符号化難易度に応じて量子化行列Q Matrixを変更し、変更された量子化行列Q Matrixに対応する低精度発生符号量に基づいて、目標符号量に最も近い量子化パラメータQPを基本量子化パラメータQPＭＢとして選択するようになされている。
【００６６】
符号量制御部４は、量子化行列Q Matrix毎に、目標符号量に一番近い低精度発生符号量が生成されたときに使用された量子化パラメータQPを近傍量子化パラメータQPnとして選択する。符号量制御部４は、符号化難易度として、例えば各量子化行列Q Matrix毎に選択された近傍量子化パラメータQPnを使用する。もちろん、アクティビティなど別の指標を用いることも可能である。ここでは、切り替えて使う量子化行列Q Matrixの数をNumOfQMatrixIdとし、傾斜の緩やかな量子化行列Q Matrixから昇順にId（識別子）を付け、各量子化行列Q Matrixの取り得る範囲における最大の量子化パラメータQPをQMatrixTheshold[Id]とする。
【００６７】
符号量制御部４は、Idの値の小さい量子化行列Q Matrixから近傍量子化パラメータQPnとQMatrixThesholdとを比較する。符号量制御部４は、近傍量子化パラメータQPnがQMatrixTheshold[Id]より小さい量子化行列Q Matrixのうち、最小のIdを有する量子化行列Q Matrixを予測量子化行列Q MatrixDとして決定する。符号量制御部４は、当該予測量子化行列Q MatrixＤにおける近傍量子化パラメータQPnを予測量子化パラメータQPdとして決定する。
【００６８】
すなわち符号量制御部４は、低精度発生符号量が目標符号量に近い量子化パラメータQPを取り得る量子化行列Q Matrixのうち、最小の傾斜を有する量子化行列Q Matrixを予測量子化行列Q MatrixDとして決定する。この予測量子化行列Q MatrixDは本エンコード部３による本エンコードにも使用されることになる。符号量制御部４は、低精度発生符号量の条件を満たす中で最小の傾斜を有する量子化行列Q Matrixを用いることができるため、画質の劣化を極力防止することができる。
【００６９】
なお、符号量制御部４は、第１のプレエンコード部１によってIdの小さい量子化行列Q Matrixから順に当該量子化行列Q Matrixの取り得る範囲の選択量子化パラメータQPlについて低精度発生符号量を算出する。そして符号量制御部４は、近傍量子化パラメータQPnがQMatrixTheshold[Id]より小さい量子化行列Q Matrixを検出した場合には、当該量子化行列Q Matrix及び近傍量子化パラメータQPnを予測量子化行列Q MatrixD及び予測量子化パラメータQPdとして決定する。このとき符号量制御部４は、第１のプレエンコード部１に次のピクチャに対する処理を開始させる。すなわち符号量制御部４は、第１のプレエンコード部１に処理中のピクチャに関する次のIdでなる量子化行列Q Matrixについての低精度発生符号量を算出させない。これにより、符号量制御部４は、予測量子化パラメータQPd及び予測量子化行列Q MatrixDを決定するのに要する処理時間を短縮し得る。
【００７０】
このように、符号量制御部４は、低精度発生符号量が目標符号量に近くなる量子化パラメータQPを取り得る量子化行列Q Matrixのうち、画質の低下を防止するために最も傾斜の小さい量子化行列Q Matrixを予測量子化行列Q MatrixDとして選択する。符号量制御部４は、予測量子化行列Q MatrixDにおいて低精度発生符号量が目標符号量に最も近くなる量子化パラメータQPを予測量子化パラメータQPdとして選択する。これにより、符号量制御部４は、画質を極力低下させないように適応的に量子化行列Q Matrixを変更しつつ、低精度発生符号量が目標符号量に最も近くなる量子化パラメータQPを予測量子化パラメータQPdとして選択することができる。
【００７１】
［１−３．基本量子化パラメータの決定］
第２のプレエンコード部２は、予測量子化パラメータQPd及び予測量子化行列Q MatrixDを用いて実際にエンコーダ３と同様の符号化を実行することにより、高精度発生符号量を高い精度で算出する。以下、この第２のプレエンコード部２によって算出された発生符号量を高精度発生符号量と呼ぶ。このとき第２のプレエンコード部２は、予測量子化パラメータQPdだけでなく、当該予測量子化パラメータQPdの前後の量子化パラメータQPを用いて高精度発生符号量を算出し、その変動率を用いて予測量子化パラメータQPd近傍の高精度発生符号量を予測する。
【００７２】
符号量制御部４は、予測量子化パラメータQPｄ、予測量子化行列Q MatrixD及び各MBのアクティビティグループを第２のプレエンコード部２に供給する。第２のプレエンコード部２は、これらの値に基づいて第２のプレエンコードを行う。
【００７３】
第２のプレエンコード部２では、入力画像９１が、ディレイバッファ５を介して遅延処理された後に画面内予測処理部２１に入力される。画面内予測処理部２１は、予測画像と入力画像９１との差分を計算し、差分画像データを生成する。そして、DCT部２２は、差分画像データに対してDCT処理を実行しDCT係数を生成する。量子化部２３は、DCT係数に対して量子化処理を実行し、量子化係数を生成する。エントロピー符号長計算部２４は、CAVLC又はCABACを用いて量子化係数をそれぞれエントロピー符号化し、高精度発生符号量を計算する。
【００７４】
尚、第２のプレエンコード部２における処理の過程において、量子化部２３は量子化係数を逆量子化部２７に送出する。逆量子化部２７は、量子化係数を逆量子化してDCT係数を再生する。そして、IDCT部２６はDCT係数をIDCT変換し、ローカルデコード画像を生成し、バッファ２５に保存することになる。
【００７５】
ここで、量子化部２３は、この例では３段の量子化部２３−１，２３−２，２３−３により構成され、エントロピー符号長計算部２４は、この例では３段のエントロピー符号長計算部２４−１，２４−２，２４−３により構成されている。３段と少なくしているのは、既に第１のプレエンコードで量子化パラメータQPが広い範囲で粗く見積もられているからである。
【００７６】
このような構成の下、量子化部２３、エントロピー符号長計算部２４は、並列に処理を実行し、予測量子化パラメータQPd及び当該予測量子化パラメータQPdの前後の量子化パラメータQPでの高精度発生符号量を得ることになる。このとき、エントロピー符号長計算部２４は、本エンコード部３による本エンコードのエントロピー符号化方式と同じ方式をCABAC/CAVLCのいずれかから選択する。
【００７７】
続いて、符号量制御部４は、第２のプレエンコードにより得られた高精度発生符号量から、本エンコードで使用するピクチャの基本量子化パラメータQPMBを決定する。そして、符号量制御部４は、この決定されたピクチャの基本量子化パラメータQPMBや予測量子化行列Q MatrixD、各MBのアクティビティグループから、量子化の情報（Q Matrix、各MBのQP等）を本エンコード部３に送出する。
【００７８】
より詳細には、目標符号量が、第２のプレエンコードで得られた高精度発生符号量に挟まれている場合、つまり、
【００７９】
Generated_bits(QP_precode1+1) <=Target_bits
<=Generated_bits(QP_precode1-1)
【００８０】
の場合には、目標符号量に最も近い量子化パラメータQPを基本量子化パラメータQPMBとして選択する。
【００８１】
そうでない場合、符号量制御部４は、量子化パラメータQPの変化に対する高精度発生符号量の変動率を、第２のプレエンコードの結果から求める。予測量子化パラメータQPdは、第１のプレエンコード部１による低精度発生符号量に基づいて算出されている。このため目標符号量に最も近い量子化パラメータQPは、予測量子化パラメータQPdの近傍に存在する。量子化パラメータQPの値が近い場合、発生符号量の変動率は略一定である。そこで、符号量制御部４は、予測量子化パラメータQPd及び当該予測量子化パラメータQPdの前後の量子化パラメータQPにおける高精度発生符号量の変動率から各量子化パラメータQPでの高精度発生符号量を予測し、目標符号量に最も近い量子化パラメータQPを基本量子化パラメータQPMBとして選択する。
【００８２】
まず、量子化パラメータQPが「１」減算されたときに、高精度発生符号量が何％変わるかを表すDiffRatio_1を、第２のプレエンコード２の結果から以下のようにして求める。なお、Generated_bitsは第２のプレエンコード２における発生符号量を表しており、QP_precode1は、予測量子化パラメータQPｄを、QP_precode1-1は予測量子化パラメータQPdより「１」小さい量子化パラメータQPを表している。
【００８３】
DiffRatio_1=(Generated_bits(QP_precode1-1)-
Generated_bits(QP_precode1))/Generated_bits(QP_precode1)
【００８４】
量子化パラメータQPが「１」加算されたときに、高精度発生符号量が何％変わるかを表すDiffRatio_２を、第２のプレエンコード２の結果から以下のようにして求める。QP_precode1+1は予測量子化パラメータQPdより「１」大きい量子化パラメータQPを表している。
【００８５】
DiffRatio_2=(Generated_bits(QP_precode1)-
Generated_bits(QP_precode1+1))/Generated_bits(QP_precode1+1)
【００８６】
予測量子化パラメータQPdの近傍における高精度発生符号量の変動率DiffRatioを、以下のようにして求める。
【００８７】
DiffRatio=(DiffRatio_1+DiffRatio_2)/2
【００８８】
すなわち、予測量子化パラメータQPdから正負の方向にそれぞれ「１」だけ変化したときの発生符号量の変動の平均値としてDiffRatioを算出する。
【００８９】
DeltaQPを、高精度発生符号量が目標符号量に最も近い量子化パラメータQPと予測量子化パラメータQPd（QP_precode1）との差の絶対値とすると、目標符号量に最も近い高精度発生符号量に対応する量子化パラメータQPが予測量子化パラメータQPdより１だけ小さい量子化パラメータQP（QP_precode1-1）より小さいときには、高精度発生符号量が目標符号量に最も近い量子化パラメータQPの高精度発生符号量（Generated_bits(QP) ）を以下のように算出する。
【００９０】
Generated_bits(QP)
=Generated_bits(QP_precode1-1)×(1.0+DiffRatio)^(DeltaQP-1)
【００９１】
目標符号量に最も近い高精度発生符号量に対応する量子化パラメータQPが予測量子化パラメータQPdより１だけ大きい量子化パラメータQP（QP_precode1+1）より大きいときには、高精度発生符号量が目標符号量に最も近い量子化パラメータQPの高精度発生符号量（Generated_bits(QP) ）を以下のように算出する。
【００９２】
Generated_bits(QP)
=Generated_bits(QP_precode1+1)×(1.0-DiffRatio)^(DeltaQP-1)
【００９３】
すなわち、符号量制御部４は、予測量子化パラメータQPdの前後の量子化パラメータQPを用いたときの高精度発生符号量に対し、予測量子化パラメータQPdを中心に量子化パラメータQPの値が「１」だけ変化したときの変動率に応じた符号量だけ増減させる。符号量制御部４は、予測量子化パラメータQPdの近傍の量子化パラメータQPを用いた場合の高精度発生符号量を高い精度で算出することができる。
【００９４】
以上のようにして、符号量制御部４は、目標符号量に最も近い量子化パラメータQPを本エンコードにおいて平均量子化パラメータ（BaseQP）として使用する基本量子化パラメータQPMBとして選択することになる。
【００９５】
上述したように、第２のプレエンコード部２では、第１のプレエンコード部１により推定された予測量子化パラメータQPd（QP_precode1）と、ひとつ大きい量子化パラメータQP（QP_precode1+1）, ひとつ小さい量子化パラメータQP（QP_precode1-1）でプレエンコードする。ここで、回路規模削減のため、前述したように、量子化部２３とエントロピー符号長計算部２４のみ並列化し、その他の処理は共用する。
【００９６】
このとき、画面内予測処理で使用するローカルデコード（Local Decode）画は、第１のプレエンコード部１の結果に基づいて推定された予測量子化パラメータQPd（QP_precode1）で量子化したデータとする。つまり、逆量子化とIDCTで処理されるデータは、予測量子化パラメータQPd（QP_precode1）の量子化の出力である。これは、予測量子化パラメータQPdの前後の量子化パラメータQP（QP_precode1+1、QP_precode1-1）を使うプレエンコードの画面内予測処理の入力を、自分自身のローカルデコード（Local Decode）画ではなく、予測量子化パラメータQPd（QP_precode1）のローカルデコード（Local Decode）画で代用することを意味する。
【００９７】
このように、符号量制御部４は、第1のプレエンコード部１の結果に基づく低精度発生符号量の予測により、低精度発生符号量が目標符号量に最も近くなる可能性が極めて高い予測量子化パラメータQPd及びその前後の量子化パラメータQPによって本エンコードと同様の符号化によって高精度発生符号量を算出する。これにより、符号量制御部４は、予測量子化パラメータQPd及びその前後の量子化パラメータQPを用いた場合の高精度発生符号量をほぼ正確に算出することができる。さらに本発明は、狭い範囲内では量子化パラメータQPの変化に伴う高精度発生符号量の変動率がほぼ一定であることに着目した。符号量制御部４は、予測量子化パラメータQPd及びその前後の量子化パラメータQPにおける高精度発生符号量の変動率に基づいて、予測量子化パラメータQPdの近傍の量子化パラメータQPを用いたときの高精度発生符号量を算出する。これにより符号量制御部４は、予測量子化パラメータQPdの近傍の量子化パラメータQPについても、ほぼ正確に高精度発生符号量を算出することができる。
【００９８】
［１−４．本エンコード］
本エンコード部３は、第２のプレエンコード部２の結果に基づいて得られる基本量子化パラメータQPMB、並びに第１のプレエンコード部１の結果に基づいて得られる予測量子化行列Q Matrix、アクティビティグループ、画面内予測モード等を使用して本エンコードを行う。即ち、本エンコード部３は、ディレイバッファ６を介して遅延処理された入力画像９１を受けると、画面内予測処理部３１では第１のプレエンコード時に決定された画面内予測モードで、予測画像と入力画像９１との差分画像データが計算される。DCT部３２はDCT処理を行い、量子化部３３はDCT係数の量子化を行う。量子化部３３の出力（量子化係数）は逆量子化部３７にも送られる。逆量子化部３７は、量子化係数を逆量子化してDCT係数を再生する。そして、IDCT部３６はDCT係数をIDCT変換し、予測画像を生成し、バッファ３５に保存する。
【００９９】
こうして、前述したようなDCT部３２によるDCT、量子化部３３によるDCT係数の量子化を経て、エントロピー符号化部３４によりエントロピー符号化がなされ、目標符号量とされた出力ストリーム９２が出力される。
【０１００】
［１−５．まとめ］
このように、この実施の形態に係る画像符号化装置１００では、第１のプレエンコード部１による第１のプレエンコードにおいて、複数の選択量子化パラメータQPlでエンコードした時の低精度発生符号量を粗く計算することにより、目標符号量になる予測量子化パラメータQPdを見積もる。
【０１０１】
このとき、第１のプレエンコード部１は、任意の間隔の選択量子化パラメータQPlでエンコードした場合の発生符号量を計算するために、並列にエンコードを行うこととしている。
【０１０２】
一般的には、並列にエンコードを行うためには、回路規模が非常に大きくなってしまうが、この実施の形態では、回路規模削減のために並列エンコードを実現しつつ、出来るだけ共通に処理を行うようにして問題を解消している。
【０１０３】
即ち、より具体的に、第１のプレエンコード部１は、先に説明したように、量子化部１４とエントロピー符号長計算部１５のみ並列に設け、他の処理は共用する。また、逆量子化部、IDCT部、バッファを削減するために、予測画像として入力画像を用いて、画面内予測処理を行うこととしている。
【０１０４】
一方、エントロピー符号化でCABACを用いる場合、高いビットレートでは、処理できない事である。即ち、第１のプレエンコード部１は、仮にエントロピー符号化でCABACを用いる場合、符号量予測のために、ある量子化パラメータQPで符号量計算を行おうとしたとき、その量子化パラメータQPでの符号量が大きい場合（すなわち量子化係数における各値が大きい場合）、発生符号量を予測することが出来ない。
【０１０５】
CABACは１bit毎に確率計算を行ってデータを圧縮していくエントロピー符号化方式である。１bitずつ処理するということは、符号量が多くなると処理時間が長くなることを意味し、一定の時間内（例えば１フレームの時間）に処理が終了しなくなる。よって、第１のプレエンコード部１は、仮にエントロピー符号化でCABACを用いる場合、符号量が多い場合は、エントロピー符号化後の発生符号量を計算することができなくなり、高いビットレートにおいて発生符号量を予測することができないのである。
【０１０６】
この点、第１の実施の形態において、第１のプレエンコード部１は、符号量計算にCAVLCを用いる。このように、第１のプレエンコード部１では、回路規模を削減し、処理を削減し、簡略化したプレエンコードを行うことで、低精度発生符号量を粗く見積もる。そして符号量制御部４は、目標符号量に近い低精度発生符号量を有する量子化パラメータQPを予測量子化パラメータQPdとして選択する。
【０１０７】
第２のプレエンコード部２では、第１のプレエンコード部１による予測量子化パラメータQPdの推定が誤差を持っていることに鑑み、再度プレエンコードすることで、量子化パラメータQP推定の精度を上げる。即ち、第１のプレエンコード部１により大まかに見積もった予測量子化パラメータQPdの周辺の量子化パラメータQPで、再度プレエンコードすることにより高精度発生符号量を取得し、目標とする高精度発生符号量に一番近い量子化パラメータQPを再度求める。エントロピー符号長計算は、本エンコードと同じ方式(CABAC又はCAVLC)を用いる。
【０１０８】
尚、画面内予測処理の入力（ローカルデコード画像）が異なる事による誤差は存在するが、量子化パラメータQPが略同じ値であり、エンコードによる歪も略同じ量であるので、無視できるものとする。
【０１０９】
［１−６．処理手順］
以下、図３のフローチャートを参照して、本発明の一実施の形態に係る画像符号化装置１００による符号化の処理手順ＲＴ１を詳細に説明する。この処理手順の一部または全部は、一実施の形態に係る画像符号化方法にも相当する。
【０１１０】
先ず、アクティビティ計算部１６は、MB毎にアクティビティを計算し、その値に応じてMBをアクティビティグループに分ける（ステップＳ１）。
【０１１１】
続いて、画面内予測モード決定部１１は、入力画像９１に基づいて画面内予測モードを決定する（ステップＳ２）。この画面内予測モードは、第２のプレエンコード部２による第２のプレエンコード、本エンコード部３による本エンコードでも使用される。
【０１１２】
次に画面内予測処理部１２は、予測画像と入力画像との差分画像データを計算する。ここでの予測画像は、処理を削減するため入力画像９１が用いられる。次いで、DCT部１３は、整数精度DCTを行い、DCT係数を量子化部１４に送出する（ステップＳ３）。
【０１１３】
量子化部１４は、任意の間隔の複数の選択量子化パラメータQPｌをピクチャの平均量子化パラメータ（BaseQP）としてDCT係数値を量子化する。エントロピー符号長計算部１５は、量子化係数を可変長符号化し、符号長計算を行うことで、選択量子化パラメータＱＰｌごとの発生符号量を取得する（ステップＳ４）。この時、MBの量子化パラメータQPは、前述したようにアクティビティを考慮した値が与えられて、エンコードされる。即ち、前述したように、MBの量子化パラメータQPは、ピクチャの平均量子化パラメータ（BaseQP）に対して、アクティビティグループに依存したオフセットを加えることで求められる。
【０１１４】
尚、適応的な量子化行列Q Matrix切り替え処理に対応させる場合には、上記の処理を量子化行列Q Matrix毎に行う。つまり、量子化行列Q Matrix毎に、離散的な（飛び飛びの）値の選択量子化パラメータQPlでプレエンコードを行って、１ピクチャ分の発生符号量を取得する。この時、量子化行列Q Matrix毎に量子化パラメータQPの取り得る範囲をカバーするように選択量子化パラメータQPlを選択する。
【０１１５】
次に符号量制御部４が、第１のプレエンコード部１によって算出された発生符号量の補正処理を行い、低精度発生符号量を算出する。符号量制御部４は、プレエンコードを簡略化したことによる誤差の補正を行うと共に、補間処理により、選択量子化パラメータQPl以外の量子化パラメータQPに対応する低精度発生符号量を算出する（ステップＳ５）。
【０１１６】
符号量制御部４は、各量子化行列Q Matrixに対し、ステップＳ５の処理を実行し、量子化行列Q Matrixごとの低精度発生符号量を算出する（ステップＳ６）。以上の処理で、必要となる全ての量子化パラメータQPに対する低精度発生符号量が求められるので、その中で目標符号量に最も近い低精度発生符号量を生成し得る量子化パラメータQPのうち、傾斜の最も小さい量子化行列Q Matrixを予測量子化行列Q MatrixDとして選択する。さらに符号量制御部４は、予測量子化行列Q MatrixDに対応する目標符号量に最も近い低精度発生符号量を生成し得る量子化パラメータQPを予測量子化パラメータQPdとして選択する。（ステップＳ７）。また、上記の様に量子化行列Q Matrixを選択することで、取り得る量子化パラメータQPの範囲を限定することになり、第１のプレエンコード部１で低精度発生符号量を算出する際の選択量子化パラメータQPlの範囲を減らすことが可能になる。これが、第１のプレエンコード部１にて決定された予測量子化行列Q MatrixDと予測量子化パラメータQPdとなる。
【０１１７】
続いて、第２のプレエンコード部２による発生符号量取得処理を行う（ステップＳ８〜Ｓ１０）。この第２のプレエンコード部２の目的は、第１のプレエンコード部１による予測量子化パラメータQPdの推定が誤差を持っていることに鑑みて、再度プレエンコードすることで、基本量子化パラメータQPMB推定の精度を上げることにある。
【０１１８】
即ち、第１のプレエンコード部１の結果により大まかに見積もった予測量子化パラメータQPdの周辺の量子化パラメータQPで、再度プレエンコードすることにより高精度発生符号量を取得し、目標符号量に一番近い量子化パラメータQPを再度求める。エントロピー符号長計算は、本エンコードと同じ方式(CABAC又はCAVLC)が用いられる。
【０１１９】
具体的には、第１のプレエンコード部１の結果により決定された画面内予測モードを用いて画面内予測処理部２１による画面内予測処理及びDCT部２２によるDCTを行う（ステップＳ８）。第２のプレエンコード部２は、画面内予測で使用するローカルデコード画像（予測画像）として、第１のプレエンコード部１の結果により推定された予測量子化パラメータQPd（QP_precode1）で量子化したローカルデコード画像を共用する。
【０１２０】
量子化に際しては、第１のプレエンコード部１の結果により決定された予測量子化パラメータQPd（QP_precode1）、量子化行列Q Matrix及びアクティビティグループ（Activity Group）が用いられる。量子化部２３−１には予測量子化パラメータQPd（QP_precode1）が設定され、量子化部２３−２には予測量子化パラメータQPdよりも「1」だけ小さい量子化パラメータQP（QP_precode1-1）が設定され、量子化部２３−３には予測量子化パラメータQPdよりも「１」だけ大きい量子化パラメータ（QP_precode1+1）が設定される。
【０１２１】
さらに、MBの量子化パラメータ（QP）には、アクティビティを考慮した値が与えられてエンコードされる。以上の第２のプレエンコードにより、１ピクチャの高精度発生符号量を取得することができる（ステップＳ９）。
【０１２２】
続いて、符号量制御部４は、第２のプレエンコード部２に基づいて得られた高精度発生符号量から基本量子化パラメータQPMBを決定する（ステップＳ１０）。
【０１２３】
続いて、本エンコード部３が本エンコードを行う（ステップＳ１１）。本エンコードでは、第２のプレエンコード部２の結果により決定されたピクチャの基本量子化パラメータQPMB、第１のプレエンコード部１の結果により決定された予測量子化行列Q MatrixD、Activity Groupを使用してエンコードを行う。こうして符号化に関わる一連の処理を終了する。
【０１２４】
以下、図４のフローチャートを参照して、画像符号化装置１００による符号化の処理手順ＲＴ１のステップＳ７において実行されるQ Matrix決定処理手順ＲＴ２について更に説明する。
【０１２５】
この処理を開始すると、符号量制御部４は、先ずIdをId=0にイニシャライズした後（ステップＳ２１）、Idの値の小さい量子化行列Q-Matrixから、低精度発生符号量が目標符号量に最も近い量子化パラメータ（QP）と、量子化行列Q-Matrixにおいて取り得る最大の量子化パラメータQP（QMatrixTheshold［Id］）とを比較する（ステップＳ２２）。そして、符号量制御部４は、Id番目の量子化行列Q-Matrixでの低精度発生符号量が目標符号量に最も近い量子化パラメータ（QP）がQMatrixTheshold[Id]より小さければ、現在の量子化行列Q-Matrixを予測量子化行列Q MatrixDに決定する。さらに符号量制御部４は、予測量子化行列Q MatrixDにおける低精度発生符号量が目標符号量に最も近い量子化パラメータ（QP）を予測量子化パラメータQPdに決定すると（ステップＳ２３）、Q Matrix決定処理手順ＲＴ２を終了する。
【０１２６】
一方、ステップＳ２２において、符号量制御部４は、Id番目の量子化行列Q-Matrixでの低精度発生符号量が目標符号量に最も近い量子化パラメータ（QP）がQMatrixTheshold[Id]以上であれば、Idをインクリメント（ステップＳ２４）する。符号量制御部４は、Id＝量子化行列Q-Matrixの総数よりも「１」小さい（NumOfQMatrixId-1）であるか否かを判断する（ステップＳ２５）。そして、Id＝NumOfQMatrixId-1でなければステップＳ２２に戻り、次の量子化行列Q-Matrixをチェックする。一方、Id＝NumOfQMatrixId-1であれば、一番急峻な傾斜を有する量子化行列Q-Matrix（IDが NumOfQMatrixIdの量子化行列Q-Matrix）が選択され（ステップＳ２３）、Q Matrix決定処理手順ＲＴ２を終了する。
【０１２７】
この図４のQ Matrix決定処理手順ＲＴ２により、符号量制御部４は、量子化行列Q-Matrix毎に、取り得る最大の量子化パラメータQPを設定して、傾斜の緩やかな量子化行列Q-Matrixから順に、低精度発生符号量が目標符号量に最も近いと推定された量子化パラメータQPに対応する低精度発生符号量が目標符号量に本当に近い値を示すか否かを判断する。そして、近い値であれば対応する量子化行列Q-Matrixを本エンコードで用いる予測量子化行列Q MatrixDとして決定することになる。
【０１２８】
以上説明したように、本発明の一実施の形態では、ピクチャ単位の２回のプレエンコードを実施する。そして、画像符号化装置１００は、効率向上のためには、処理量が増大し、それに起因してエンコードの回路規模が増大するとの問題を解消するために、回路一部共有化による部分的並列構成を採用する。これにより、プレエンコーダの構成を簡略化しつつ、該簡略化に伴う誤差を統計データで補正する。
【０１２９】
従って、画像符号化装置１００は、１ピクチャに与えられた目標符号量に、画面内Feed Back制御を行わずに本エンコードにおいて発生する本エンコード発生符号量を合わせ込むことが可能になる。これにより、画像符号化装置１００は、Feed Backパラメータの不適切な初期値による弊害や、不適切な目標符号量配分など、Feed Back制御の問題を取り除くことが可能になる。その結果、画像符号化装置１００は、目標符号量に本エンコード発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり適切な量子化パラメータの決定が可能となる。
【０１３０】
なお、本発明は前述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々の改良や変更が可能である。
【０１３１】
たとえば、上記画像符号化装置１００及び画像符号化方法は、該装置に実装されるコンピュータプログラム或いは該プログラムを記録した記録媒体、該方法を実施するコンピュータプログラム或いは該プログラムを記録した記録媒体としての実施も可能である。
【０１３２】
［１−７．動作及び効果］
以上の構成によれば、画像処理装置としての画像符号化装置１００は、入力画像９１が簡易な処理により符号化されてなる簡易符号化データであるDCT係数を、量子化因子である量子化パラメータQPから離散的に選択された選択量子化パラメータQPlに基づいて入力画像である入力画像９１を少なくとも量子化することにより入力画像９１を符号化し、符号化による入力画像９１の発生符号量を算出する。
【０１３３】
画像符号化装置１００は、符号化による入力画像の発生符号量における簡易な処理に応じて発生する誤差を補正し、低精度発生符号量を算出する。
【０１３４】
画像符号化装置１００は、選択量子化パラメータQPlに基づいて入力画像９１が符号化されたときの低精度発生符号量に対する補間処理により、選択量子化パラメータQPl以外の量子化パラメータQPに基づいて入力画像９１が符号化されたときの低精度発生符号量を算出する。
【０１３５】
これにより、画像符号化装置１００は、全ての量子化パラメータQPを符号化しなくても、当該全ての量子化パラメータQPに基づく低精度発生符号量を算出することができ、低精度発生符号量の算出を簡易にすると共に、算出回路を削減することができる。
【０１３６】
画像符号化装置１００は、選択量子化パラメータQPlに基づく符号化及び補間処理により算出された低精度発生符号量に基づいて、入力画像９１を符号化したときの本エンコード発生符号量が目標符号量に最も近いと予測される量子化パラメータQPを基本量子化パラメータQPMBとして決定する。画像符号化装置１００は、本エンコード部３により基本量子化パラメータQPMBに基づいて入力画像９１を符号化（本エンコード）する。
【０１３７】
これにより、画像符号化装置１００は、簡易な処理により生成された低精度発生符号量に基づいて基本量子化パラメータQPMBを決定することができるため、基本量子化パラメータQPMBを決定するための処理を簡易化することができる。
【０１３８】
画像符号化装置１００は、基本量子化パラメータQPMBに対してアクティビティに応じたオフセットを付加した適応量子化パラメータQPtに基づいて入力画像９１を符号化する。
【０１３９】
これにより、画像符号化装置１００は、画質に応じた適切な適応量子化パラメータQPtを用いて入力画像９１を符号化できるため、出力ストリーム９２における画質の低下を極力抑制できる。
【０１４０】
画像符号化装置１００は、量子化の際に使用する量子化行列Q Matrixが取り得る量子化パラメータQPの範囲内から選択された選択量子化パラメータQPlを使用する。
【０１４１】
これにより、画像符号化装置１００は、量子化パラメータQPの範囲を限定することができるため、選択量子化パラメータQPlの数を低減させて回路構成を簡易化できる。また、選択量子化パラメータQPlの間隔を小さく設定することができるため、低精度発生符号量の精度を向上させ得る。
【０１４２】
画像符号化装置１００は、以下のようにして選択量子化パラメータQPlに基づく符号化及び補間処理により算出された低精度発生符号量に基づいて、入力画像９１を符号化したときの発生符号量が目標符号量に最も近いと予測される量子化パラメータQPを基本量子化パラメータQPMBとして決定する。すなわち、画像符号化装置１００は、低精度発生符号量において、目標符号量に最も近い発生符号量に対応する量子化パラメータQPを予測量子化パラメータQPdとして選択する。画像符号化装置１００は、選択された予測量子化パラメータQPd及び当該予測量子化パラメータQPdの近傍の量子化パラメータQPに基づいて入力画像９１を符号化し、符号化による入力画像９１の高精度発生符号量を算出する。画像符号化装置１００は、予測量子化パラメータQPd及び当該予測量子化パラメータQPdの近傍の量子化パラメータQPのいずれかに基づいて入力画像９１を符号化したときの高精度発生符号量が目標符号量に最も近い場合に、予測量子化パラメータQPd及び当該予測量子化パラメータQPdの近傍の量子化パラメータQPから、目標符号量に最も近い高精度発生符号量に対応する量子化パラメータQPを基本量子化パラメータQPMBとして選択する。
【０１４３】
これにより、画像符号化装置１００は、予測量子化パラメータQPd及びその近傍の量子化パラメータQPに基づく発生符号量を算出することができる。この予測量子化パラメータQPdは、目標符号量と最も近い本エンコード発生符号量を生成し得る基本量子化パラメータQPMBの近傍であると予測されるものである。このため、画像符号化装置１００は、目標符号量と最も近い発生符号量を生成し得る量子化パラメータQPである可能性の高い予測量子化パラメータQPｄに基づいて入力画像９１を符号化し、その発生符号量を算出することができる。
【０１４４】
画像符号化装置１００は、傾斜の小さい量子化行列Q Matrixから順に使用して符号化による入力画像９１の発生符号量を算出し、予測量子化パラメータQPdが使用された量子化行列Q Matrixの取り得る範囲内であった場合に、使用された量子化行列Q Matrixを本エンコード部３によって使用する予測量子化行列Q MatrixDに決定する。画像符号化装置１００は、予測量子化パラメータQPdの直前及び直後の量子化パラメータQPを予測量子化パラメータQPdの近傍の量子化パラメータQPdとする。画像符号化装置１００は、予測量子化パラメータQPｄ及び当該予測量子化パラメータQPｄの近傍の量子化パラメータQPに基づいて入力画像９１を符号化したときの高精度発生符号量の範囲内に、目標符号量が入る場合には、予測量子化パラメータQPｄ及び当該予測量子化パラメータQPｄの近傍の量子化パラメータQPから、目標符号量に最も近い高精度発生符号量に対応する量子化パラメータQPを基本量子化パラメータQPMBとして選択する。
【０１４５】
これにより、画像符号化装置１００は、入力画像９１を基本量子化パラメータQPMBによって実際に符号化したときの高精度発生符号量に基づいて基本量子化パラメータQPMBを決定できるため、基本量子化パラメータQPMBの検出精度を向上させ得る。
【０１４６】
画像符号化装置１００は、予測量子化パラメータQPｄ及び当該予測量子化パラメータQPｄの近傍の量子化パラメータQPに基づいて入力画像９１を符号化したときの発生符号量の範囲内に、目標符号量が入らない場合には、予測量子化パラメータQPｄ及び当該予測量子化パラメータQPｄの近傍の量子化パラメータQPに基づいて入力画像９１を符号化したときの高精度発生符号量から、量子化パラメータQPの変動に伴う高精度発生符号量の変動率DiffRatioを算出する。画像符号化装置１００は、変動率算出部によって算出された変動率DiffRatioから、予測量子化パラメータQPｄ及び当該予測量子化パラメータQPｄの近傍の量子化パラメータQP以外の量子化パラメータQPに基づいて入力画像９１を符号化したときの高精度発生符号量を算出する。画像符号化装置１００は、高精度発生符号量において、目標符号量に最も近い発生符号量に対応する量子化パラメータQPを基本量子化パラメータQPMBとして選択する。
【０１４７】
これにより、画像符号化装置１００は、量子化パラメータQPが近い範囲内においては高精度発生符号量の変動率DiffRatioがほぼ一定であるという性質を利用して、予測量子化パラメータQPｄの周辺の量子化パラメータQPにおける高精度発生符号量を高い精度で算出することができる。
【０１４８】
画像符号化装置１００は、簡易的な処理により、簡易符号化による入力画像９１の低精度発生符号量を算出する。これにより、画像符号化装置１００は、第１のプレエンコード部１の構成を簡易にすることができる。
【０１４９】
画像符号化装置１００は、本エンコード部３と同等の処理により、第２のプレエンコード部２によって実行される符号化による入力画像９１の高精度発生符号量を算出する。これにより、画像符号化装置１００は、本エンコード発生符号量とほぼ同一の符号量を示す高精度発生符号量に基づいて基本量子化パラメータQPMBを決定できる。このため、画像符号化装置１００は、基本量子化パラメータQPMBを用いて本符号化（本エンコード）したときの本エンコード発生符号量を目標符号量に近くできる。
【０１５０】
画像符号化装置１００は、本エンコード部３により基本量子化パラメータQPMBに基づいて入力画像９１を本エンコードし、第１のエンコード部１により本エンコードと比して、簡易な処理により入力画像９１を符号化する。
【０１５１】
これにより、画像符号化装置１００は、簡易な処理により粗く見積もられた低精度発生符号量に基づいて、まず基本量子化パラメータQPMBの近傍であると予測される予測量子化パラメータQPｄを決定する。そして画像符号化装置１００は、第２のプレエンコード部２により、予測量子化パラメータQPｄに基づいて基本量子化パラメータQPMBを決定する。このため、画像符号化装置１００は、簡易な構成により、高い精度で基本量子化パラメータQPMBを決定することができる。
【０１５２】
画像符号化装置１００は、本エンコード部３により量子化の前にローカルデコード画像を予測画像とする画面内予測を実行する。画像符号化装置１００は、第１のプレエンコード部１により量子化の前に入力画像９１を予測画像とする画面内予測を実行することにより、入力画像９１の簡易符号化による低精度発生符号量を算出する。画像符号化装置１００は、低精度発生符号量に対し、予測画像を入力画像９１としたことに応じて発生する誤差を補正する。
【０１５３】
画像符号化装置１００は、予め統計によりモデル化された誤差情報を用いて予測画像を入力画像９１としたことに応じて発生する誤差を補正することにより、低精度発生符号量を算出する。
【０１５４】
この誤差情報は、量子化パラメータQP及び入力画像９１の符号化による発生符号量の関数として定義されている。
【０１５５】
これにより、画像符号化装置１００は、誤差を適切に定義することができるため、CAVLC補正量を適切に算出して低精度発生符号量の精度を向上させ得る。
【０１５６】
画像符号化装置１００は、量子化パラメータQP及び入力画像９１の符号化による低精度発生符号量を指標としてそれぞれモデル化された誤差情報を有し、より小さい誤差量を示す誤差情報からCAVLC補正量を決定する。
【０１５７】
これにより、画像符号化装置１００は、CAVLC補正量を不要に大きくしてしまうことを防止し、補正後の低精度発生符号量の精度を向上させ得る。
【０１５８】
画像符号化装置１００は、本エンコード部３による入力画像９１の量子化の後に、可変長符号化又は算術符号化を入力画像９１に応じて切り替えて実行する。画像符号化装置１００は、第２のプレエンコード部２により可変長符号化を実行することにより、可変長符号化による入力画像９１の発生符号量を算出し、本エンコード部３が入力画像９１に対して算術符号化を実行する場合には、可変長符号化による入力画像９１の発生符号量を補正することにより、算術符号化による入力画像９１の低精度発生符号量を算出する。
【０１５９】
これにより、画像符号化装置１００は、算術符号化を実行することなく算術符号化による入力画像９１の低精度発生符号量を予測することができるため、算術符号化のための複雑な回路を設けずに済む。
【０１６０】
画像符号化装置１００は、予め統計によりモデル化された誤差情報を用いて可変長符号化による入力画像９１の発生符号量を補正し、算術符号化による入力画像９１の低精度発生符号量を予測する。
【０１６１】
これにより、画像符号化装置１００は、比較的複雑な傾向を示す算術符号化による誤差を適切に定義することができるため、CABAC補正量を適切に算出して低精度発生符号量の精度を向上させ得る。
【０１６２】
画像符号化装置２００は、本エンコード部３によって量子化の前にローカルデコード画像を予測画像とする画面内予測を実行する。画像符号化装置２００は、予測量子化パラメータQPｄ及び当該予測量子化パラメータQPdの近傍の量子化パラメータQPに基づいて入力画像９１を符号化する際、予測量子化パラメータQPｄに基づくローカルデコード画像を当該予測量子化パラメータQPｄの近傍の量子化パラメータQPに対する予測画像とする。
【０１６３】
これにより、画像符号化装置１００は、予測量子化パラメータQPdに基づくローカル画像を当該予測量子化パラメータQPdの近傍の量子化パラメータQPと共用することができるため、回路構成を簡易にすることができる。
【０１６４】
以上の構成によれば、図５のフローチャートに示すように、画像符号化装置１００は、離散的に選択された選択量子化パラメータQPlを用いて簡易的な符号化により入力画像９１を符号化して発生符号量を算出（ステップＳ３１）し、当該発生符号量における簡易的な符号化によって発生する誤差を補正し（ステップＳ３２）、低精度発生符号量を算出する。画像符号化装置１００は、補正された発生符号量を補間することにより、選択量子化パラメータQPl以外の量子化パラメータQPについての低精度発生符号量を算出する（ステップＳ３３）。
【０１６５】
これにより、画像符号化装置１００は、簡易的な符号化及び選択量子化パラメータQPlによる簡易な構成により、比較的精度の高い低精度発生符号量を算出することができる。
【０１６６】
［２．第２の実施の形態］
図６〜図９に示す第２の実施の形態では、図１〜図５に示した第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、バックサーチを実行する前モード推定プレエンコード部４０を有している点が第１の実施の形態と異なっている。
【０１６７】
［２−１．バックサーチ］
本発明は、例えば画像符号化装置等に係り、特にダビング時の画質の劣化を防ぎ所望とする本エンコード発生符号量に制御する技術分野に関する。
【０１６８】
従来、テレビジョン放送局間で映像データの伝送を行う際、或いは複数のビデオテープレコーダ（ＶＴＲ装置）を用いて映像データの複写を行う際には、MPEG（Moving picture experts group）2方式で圧縮符号化した映像データを伸長復号し、再度、圧縮符号化することから、エンコーダとデコーダを直列にタンデム接続する必要がある。
【０１６９】
そして、このようなタンデム接続時の圧縮符号化と伸長復号の繰り返しによる映像の品質劣化を低減する手法として所謂「バックサーチ」という手法が採用されている。
【０１７０】
ここで、「バックサーチ」とは、以前の圧縮符号化で使用された量子化ステップ、或いは、その倍数関係にある量子化ステップを用いると、離散余弦変換（DCT；discrete cosine transfer）係数の剰余の総和が極小となるという性質を利用して、最小値に係る量子化ステップを最適な量子化ステップとして求める手法である。
【０１７１】
この「バックサーチ」を用いた技術については、例えば特許文献１では、前回の圧縮符号化における量子化ステップをバックサーチ方式により再生し、前回と同じ量子化ステップおよびＧＯＰ（Group of pictures）位相で再び入力映像データを圧縮符号化し、エンコーダとデコーダをタンデム接続して映像データの圧縮符号化及び伸長復号を繰り返した場合の映像の品質の劣化を防止する映像データ圧縮装置が開示されている。
【０１７２】
このMPEG2など、直交変換を用いた符号化方式において、ダビング時の劣化を防ぐ方法として、量子化ステップや、Interの予測画像(動きベクトル)を再現あるいは再利用する方法がある（例えば特許文献２参照）。
【特許文献２】特開平１０−１７４０９８号公報。
【０１７３】
一方、H264(AVC；Advanced Video Coding;高度動画像圧縮符号化標準）Intra画像では、フレーム内予測（Intra予測）があり、ピクチャ単位の量子化行列Q Matrix、DCTブロック単位の画面内予測モードとマクロブロック単位の量子化ステップを再現することで、ダビング時の劣化を防ぐことができる。
【０１７４】
［２−２．画像符号化装置の構成］
図６には、本発明の一実施の形態に係る画像符号化装置２００の構成を示し説明する。
【０１７５】
即ち、H/264/AVC（Advanced Video Coding;高度動画像圧縮符号化標準）に代表される算術符号化を用いた画像圧縮方式で、符号量制御を行う際に、ピクチャ内で良好な符号量分布を実現し、同時にダビング特性を向上させるために、第１のプレエンコード部１で求めたパラメータを用いて、第２のプレエンコード部２と前モード推定プレエンコード部４０によるプレエンコードを並列に行い、ダビングモードでエンコードするか、原画モードでエンコードするかを決定する。
【０１７６】
そして、この前モード推定プレエンコード部４０では、第１のプレエンコード部１で求めた予測量子化行列Q MatrixDを用い、また第１のプレエンコード部１で求めた予測量子化パラメータQPdを起点として、上下の一定の範囲の量子化パラメータQPに対して推定処理を行い、前回の符号化に使用された量子化パラメータQPを求めることで、バックサーチ処理のサーチ範囲を限定し回路規模を削減する。
【０１７７】
さらに、画像符号化装置２００は、第２のプレエンコード部２と前モード推定プレエンコード部４０による処理を並列に行うことにより、バックサーチ結果での符号量が条件を満たさない場合に対処できるようにする。これにより、画像符号化装置２００は、量子化パラメータQPの推定範囲を符号量が増える方向にも取れる様にする。
【０１７８】
そして、本エンコード部３では、原画モードかダビングモードであるかにより、エンコードに使うパラメータを切り替えて本エンコードを行う。
【０１７９】
前モード推定プレエンコード部４０は、前モードを推定するためのプレエンコードを行うモジュールであり、画面内予測処理部４１、DCT部４２、バックサーチ部４３、バッファ４４、量子化部４５、エントロピー符号長計算部４６を備えている。
【０１８０】
符号量制御部４は、符号量制御を行うモジュールである。
【０１８１】
尚、AVC Intraでは、復号の際に、一度符号化、復号化を通じた画像を再度復号化する際に、前回の符号化で使われた量子化パラメータQP及び画面内予測モードを使うと、前回の符号化で量子化歪みが既に落とされているので、それ以上、量子化歪みが生じにくいという性質がある。このように前回の符号化で使われた量子化パラメータQP及び画面内予測モードを検出することを、「バックサーチ」と称するものとする。
【０１８２】
バックサーチ部４３は、量子化パラメータQP検出機能、並びに画面内予測モードの検出機能を備える。バックサーチ部４３は、量子化パラメータQP検出機能により、前回のエンコードの過程で得られるDCT係数に基づいて、前回のエンコードにおいて使われた量子化パラメータQPを検出する。以下、検出された量子化パラメータQPを検出量子化パラメータQPeと呼ぶ。具体的に、バックサーチ部４３は、MB毎にDCT係数を複数の量子化パラメータQPによるリスケーリングファクターRFで除算したときの剰余を用いて、検出量子化パラメータQPeを検出する。そして、バックサーチ部４３は、画面内予測モード検出機能により、検出された検出量子化パラメータQPeに基づいて前回の符号化に使用された画面内予測モードを検出する。この構成の詳細については、特許文献３に記載されている。なお本実施の形態においては、処理の軽減化のため、バックサーチとして検出量子化パラメータQPeと画面内予測モードの検出のみを実行し、量子化行列Q MatrixＥの検出を実行しない。
【特許文献３】国際出願番号ＰＣＴ／ＪＰ２００８／０６６９１７
【０１８３】
エントロピー符号長計算部 ４６は、本エンコード部３による本エンコードのエントロピー符号化と同じ方式をCABAC/CAVLCから選択する。前モード推定プレエンコード部４０は、検出量子化パラメータＱＰｅ及び検出された画面内予測モードに基づいて、バックサーチ発生符号量を算出する。符号量制御部４は、こうして得られたバックサーチ発生符号量から、目標符号量を満たすかを判断することになる。
【０１８４】
符号量制御部４は、第２のプレエンコード部２と前モード推定プレエンコード部４０の結果から、原画モードでエンコードするか、ダビングモードでエンコードするかを決定し、最終的なエンコードのパラメータを決定する（詳しくは後述する）。符号量制御部４は、原画モード/ダビングモードの判定結果と、基本量子化パラメータQPMB、予測量子化行列Q MatrixD、及び画面内予測モード、並びに各MBのアクティビティグループ（以下、これらをまとめて本エンコード情報と呼ぶ）を本エンコード部３に渡す。この結果、本エンコード部３は、原画モード及びダビングモードのいずれかに移行し、当該原画モード及びダビングモードに応じた本エンコード情報を用いてエンコードを行う。
【０１８５】
本エンコード部３は、ディレイバッファ６を介して遅延処理された入力画像９１を受け取ると、第１のプレエンコード部１によって決定された画面内予測モードを用い、画面内予測処理部３１によって予測画像と入力画像との差分画像データを生成する。DCT部３２はDCT処理を行い、量子化部３３はDCT係数の量子化を行う。量子化部３３の出力は逆量子化部３７にも送られる。逆量子化部３７は、逆量子化してDCT係数を再生する。そして、IDCT部３６はDCT係数をIDCT変換し、入力画像を再生し、バッファ３５に保存する。こうして、前述したようなDCT部３２によるDCT、量子化部３３によるDCT係数の量子化を経て、エントロピー符号化部３４によりエントロピー符号化がなされ、目標符号量とされた出力ストリーム９２が出力される。
【０１８６】
［２−３．非原画に対するモードの選択］
次に、原画モード／ダビングモードの判定処理について説明する。上述したように、バックサーチ部４３によって、処理対象となるMBから検出量子化パラメータQPeが検出されている。このとき、入力画像９１が原画あっても、偶発的にバックサーチが成功し、検出量子化パラメータQPeが検出される場合がある。逆に、入力画像９１が非原画であっても、偶発的にバックサーチが不成功となり、検出量子化パラメータQPeが検出されない場合がある。
【０１８７】
そこで、符号量制御部４は、バックサーチの成功率が閾値以上であるか否かにより、現在処理中の入力画像９１におけるピクチャが原画であるか非原画であるかを判定する。
【０１８８】
ここで、原則としてピクチャが非原画であるときに使用されるダビングモードでは、バックサーチが成功したMBに対しては検出量子化パラメータQPeを用いるのに対し、バックサーチが不成功のMBに対して基本量子化パラメータQPMB及びアクティビティによるオフセットを用いる。このとき、これらの組み合わせによっては、ピクチャのバックサーチ発生符号量が目標符号量を超えてしまう場合がある。このため、符号量制御部４は、ピクチャが非原画であると判定した場合には、ダビングモードにおけるバックサーチ発生符号量を算出し、バックサーチ発生符号量が目標符号量内に収まる場合には、ダビングモードを選択し、バックサーチ発生符号量が目標符号量内に収まらない場合には、原画モードを選択するようになされている。
【０１８９】
具体的に、符号量制御部４は、バックサーチが成功したMB（以下、これを成功MBと呼ぶ）の発生符号量の和（GenBits_success）を算出する。成功MBでは、アクティビティを考慮することなく、検出量子化パラメータQPeをそのまま使用する。そのため符号量制御部４は、成功MBについて、前モード推定プレエンコード部４０によって算出された発生符号量を使用し、発生符号量の和（GenBits_success）を算出する。
【０１９０】
符号量制御部４は、バックサーチが不成功のMB（以下、これを不成功MBと呼ぶ）について、第２のプレエンコード部２において算出された高精度発生符号量に基づいて、基本量子化パラメータQPMBを用いたときの発生符号量の和（GenBits_not_success）を算出する。上述したように、第２のプレエンコード部２では、量子化パラメータQPが「１」だけ変化したときの変動率（Diffratio）、及び基本量子化パラメータQPMBを算出している。符号量制御部４は、発生符号量の和（GenBits_not_success）に対し、予測量子化パラメータQPeと基本量子化パラメータQMBとの差分値（Diff_QP）の回数だけ変動率（Diffratio）を乗算することにより、不成功MBについて基本量子化パラメータQPMBを用いたときの発生符号量（GenBits_not_success_rev）を算出する。すなわち、基本量子化パラメータQPMBが予測量子化パラメータQPdより大きい時、
【０１９１】
GenBits_not_success_rev=GenBits_not_success  x  (1.0+DiffRatio)^Diff_QP
【０１９２】
と求め、基本量子化パラメータQPMBが予測量子化パラメータQPdより小さい時、
【０１９３】
GenBits_not_success_rev=GenBits_not_success  x  (1.0-DiffRatio)^Diff_QP
【０１９４】
として求める。
【０１９５】
符号量制御部４は、成功MBの発生符号量（GenBits_success）と不成功MBの発生符号量（GenBits_not_success_rev）を加算することにより、ダビングモードを使用した場合のピクチャのバックサーチ発生符号量（GenBits_rev）を次式のように算出する。
【０１９６】
GenBits_rev=GenBits_success+GenBits_not_success_rev
【０１９７】
次に、符号量制御部４は、ピクチャのバックサーチ発生符号量（GenBits_rev）が目標符号量内に収まるか否かについて判別する。
【０１９８】
符号量制御部４は、次式に従い、ピクチャのバックサーチ発生符号量（GenBits_rev）と目標符号量（TargetBit）とを比較する。なおαは、符号量の揺れがどの程度まで許容されるかによって決定される加算符号量である。
【０１９９】
GenBits_rev<=(TargetBits+α)
【０２００】
符号量制御部４は、ピクチャのバックサーチ発生符号量（GenBits_rev）が目標符号量内に収まる場合、ダビングモードを選択する。
【０２０１】
一方、符号量制御部４は、ピクチャのバックサーチ発生符号量（GenBits_rev）が目標符号量内に収まらない場合、不成功MBの発生符号量（GenBits_not_success_rev）が計算によって算出されたことによる誤差によって目標符号量内に収まらない可能性があるため、この可能性について検証する。符号量制御部４は、成功MBの発生符号量（GenBits_success）と不成功MBの予測量子化パラメータQPdを用いたときの発生符号量（GenBits_not_success）とを加算したピクチャの修正前発生符号量（GenBits）と目標符号量（TargetBit）とを次式に従って比較する。
【０２０２】
GenBits<=(TargetBits+α)
【０２０３】
符号量制御部４は、ピクチャの修正前発生符号量（GenBits）が目標符号量（TargetBit）を超えている場合、計算によって算出されたことによる誤差がない状態であっても、発生符号量が目標符号量（TargetBit）を超えているため、原画モードを選択する。
【０２０４】
なお、前モード推定プレエンコード部４０は、画面内予測処理部４１で予測画像として入力画像９１を使用しているが、一度エンコードされた画に対して、同じパラメータでエンコードした場合、歪は乗らない。ゆえに、入力画像９１とローカルデコード（Local Decode）画像は同じになり、符号量に誤差は乗らない。よって、検出率が高い場合、予測画像として入力画像９１を用いたことによる誤差は非常に小さく無視できる。
【０２０５】
このように、符号量制御部４は、ピクチャが非原画であった場合には、ダビングモードを使用した場合におけるピクチャのバックサーチ発生符号量を予測し、ピクチャのバックサーチ発生符号量が目標符号量に収まる場合には、ダビングモードを選択する。一方、符号量制御部４は、ピクチャのバックサーチ発生符号量が目標符号量に収まらない場合には、原画モードを選択するようになされている。
【０２０６】
［２−４．本エンコード］                                                        
この時、本エンコード部３の画面内予測処理部３１は、原画モードであれば、画面内予測モード決定部１１で決定された画面内予測モードを処理対象となるMBに対して使用する。画面内予測処理部３１は、ダビングモードであれば、処理対象となるMBごとに使用する画面内予測モードを変更する。すなわち画面内予測処理部３１は、処理対象となるMBにおいてバックサーチが成功した場合には、バックサーチ部４３によって検出された画面内予測モードを使用する。画面内予測処理部３１は、処理対象となるMBにおいてバックサーチが不成功であった場合には、第１のプレエンコード部１によって検出された第１位の画面内予測モードを使用する。
【０２０７】
このとき、量子化部３３は、処理対象となるMBごとに使用する量子化パラメータQPを変更する。すなわち画面内予測処理部３１は、処理対象となるMBにおいてバックサーチが成功した場合には、バックサーチ部４３によって検出された検出量子化パラメータQPeをそのまま使用する。画面内予測処理部３１は、処理対象となるMBにおいてバックサーチが不成功であった場合には、第２のプレエンコード部２の結果に応じて決定された基本量子化パラメータQPMBを使用する。なお、基本量子化パラメータQPMBは、平均量子化パラメータ（QPBase）として用いられ、第１のプレエンコード部１によって決定されたアクティビティグループに応じたオフセットが付加される。量子化部３３は、バックサーチの成功の有無に拘らず、量子化行列Q Matrixとして第１のプレエンコード部１によって決定された予測量子化行列Q MatrixDを用いる。
【０２０８】
このように、画像符号化装置２００は、原画モード／ダビングモード判定結果に基づいて原画モードに移行し、第２のプレエンコード部２の結果に応じて決定された基本量子化パラメータQPMBをピクチャの平均量子化パラメータ（QPBase）として用いる。一方、画像符号化装置２００は、ダビングモードに移行すると、前モード推定プレエンコード部４０によって検出された検出量子化パラメータQPeをそのまま用いるようになされている。
【０２０９】
［２−５．処理手順］
以下、図７のフローチャートを参照して、本発明の一実施の形態に係る画像符号化装置による符号化処理手順ＲＴ１０を詳細に説明する。この処理手順の一部または全部は、一実施の形態に係る画像符号化方法にも相当する。
【０２１０】
尚、ステップＳ１〜Ｓ１０については、図３と同様のため、説明を省略する。
【０２１１】
画像処理装置２００は、前モード推定プレエンコード部４０による前モード推定プレエンコードを行う（ステップＳ４１乃至Ｓ４３）。この前モード推定プレエンコードにおいて、前モード推定プレエンコード部４０は、前回の符号化パラメータ（量子化パラメータQP及び画面内予測モード）を推定し、推定された符号化パラメータで符号化した場合のバックサーチ発生符号量を取得する。
【０２１２】
画像符号化装置２００は、画面内予測処理部４１によって予測画像と入力画像９１との差分画像データを生成する。この時、画面内予測処理部４１は、画面内予測モード決定部１１で決定された第１候補から第Ｍ候補まで各々で差分画像データを計算する。画面内予測処理では、本来ローカルデコード（Local Decode）画像を使用して処理を行うが、ここでは入力画像９１を用いて行う。
【０２１３】
次に画像符号化装置２００は、DCT部４２によるDCT変換を行い、その出力を、バックサーチ部４３、バッファ４４に供給する（ステップＳ４１）。続いて、前モード推定プレエンコード部４０は、サブルーチンＳＲＴ２０へ移り、前回のパラメータ推定処理を行う（ステップＳ４２）。
【０２１４】
続いて、画像符号化装置２００は、量子化部４５によって量子化を行い、エントロピー符号長計算部４６によって符号量計算処理を行う（ステップＳ４３）。
【０２１５】
即ち、量子化部４５は、バックサーチ部４３から出力された画面内予測モードに応じて、バッファ４４に格納されているデータから指定された画面内予測モードに該当するデータを選択し、量子化を行う。このとき、量子化部４５は、バックサーチ部４３から出力された検出量子化パラメータQPeに基づいて量子化を行う。その後、画像符号化装置２００は、エントロピー符号長計算部４６によってMBごとの発生符号量を計算する。エントロピー符号長計算は、本エンコードのエントロピー符号化と同じ方式(CABAC/CAVLC)で行われる。そして符号量制御部４は、バックサーチの成功の有無に応じて、ダビングモードを使用したときのピクチャのバックサーチ発生符号量を推定する。
【０２１６】
次に、画像符号化装置２００は、エンコードモード(原画モード/ダビングモード)判定を行う（ステップＳ４４）。
【０２１７】
画像符号化装置２００は、本エンコード部３による本エンコードを行う（ステップＳ４５）。この本エンコードでは、原画モードかダビングモードであるかにより、エンコードに使うパラメータを切り替えてエンコードを行う。
【０２１８】
こうして画像符号化装置２００は、符号化処理手順ＲＴ１０の一連の処理を終了する。
【０２１９】
以下、図８のフローチャートを参照して、符号化処理手順ＲＴ１０のステップＳ４２において実行される前モードの推定処理を説明する。
【０２２０】
まず、第１のプレエンコード結果により算出された予測量子化パラメータQPd及び各MBのアクティビティグループから、推定の起点となる初期の量子化パラメータQPを設定する。（ステップＳ１０１）。
【０２２１】
続いて、検出量子化パラメータQPeの推定処理を行う（ステップＳ１０２）。検出量子化パラメータQPeの推定処理は、ステップＳ１０１において設定された値に対して、一定の範囲の量子化パラメータQPに対して行われる。つまり、０〜５１でなる量子化パラメータQPのうち、上限値(QP  LowerQPRange)から下限値(QP  UpperQPRange)の範囲の量子化パラメータQPに対して推定処理を行う。なお、この範囲は例えば「１０」程度に設定される。
【０２２２】
換言すれば、前モード推定プレエンコード部４０は、第１のプレエンコード部１で求めた予測量子化行列Q MatrixＤを用い、第１のプレエンコード部１の結果に基づいて算出された予測量子化パラメータQPdを起点として、所定の範囲の量子化パラメータQPに対して推定処理を行うことになる。
【０２２３】
そして、バックサーチ部４３は、検出量子化パラメータQPeの推定が成功したか否かを判断し（ステップＳ１０３）、推定が不成功の場合は、予測量子化パラメータQPdと画面内予測モード決定部１１で決定された第１候補の画面内予測モードを出力する（ステップＳ１０４）。一方、バックサーチ部４３は、推定が成功した場合は、推定された検出量子化パラメータQPeを出力し（ステップＳ１０５）、画面内予測モードの推定処理を行う（ステップＳ１０６）。
【０２２４】
この画面内予測モードの推定処理は、第１候補から第M候補に対して行われる。バックサーチ部４３は、画面内予測モードの推定が成功したか否かを判断し（ステップＳ１０７）、成功した場合は、推定された画面内予測モードを出力し（ステップＳ１０８）、不成功の場合は、画面内予測モード決定部１１で決定された第１候補の画面内予測モードを出力する（ステップＳ１０９）。
【０２２５】
バックサーチ部４３は、画面内予測を行うブロック数を処理したか否かを判断し（ステップＳ１１０）、処理が完了していなければステップＳ１０６に戻り、上記処理を繰り返す。一方、バックサーチ部４３は、処理が完了していると判断した場合には、符号化処理手順ＲＴ１０のステップＳ４２（図７）に戻る。
【０２２６】
以下、図９のフローチャートを参照して、符号化処理手順ＲＴ１０のステップＳ４４において実行される原画モード／ダビングモードの判定処理にについて説明する。
【０２２７】
この処理に入ると、先ず、符号量制御部４は、原画／非原画(符号化された画)の判定を行う（ステップＳ１１１）。即ち、符号量制御部４は、前回の符号化に使用された量子化パラメータQPの推定処理で検出量子化パラメータQPeが検出されたMBの数と、MB総数から、検出率を求め、この検出率が一定以上であるとき非原画と判定する。
【０２２８】
ここで、符号量制御部４は、処理対象であるピクチャが原画であると判定した場合には（ステップＳ１１２をYesに分岐）、原画モードに決定し（ステップＳ１１７）、符号化処理手順ＲＴ１０（図７）のステップＳ４４に戻る。
【０２２９】
一方、符号量制御部４は、処理対象であるピクチャが非原画であると判定した場合（ステップＳ１１２をNoに分岐）、ダビングモードで処理対象のピクチャを符号化した場合のバックサーチ発生符号量を予測する（ステップＳ１１３）。ここでは、符号量制御部４は、不成功MBについては、第２のプレエンコード部２の結果により求めた基本量子化パラメータQPMBを使った場合の符号量を予測する。符号量制御部４は、ビットレート（発生符号量）の条件を満たす場合には（ステップＳ１１５をYesに分岐）、本エンコード部３におけるエンコードモードをダビングモードに決定する（ステップＳ１１６）。一方、符号量制御部４は、ビットレートの条件を満たさない場合、本エンコード部３におけるエンコードモードを原画モードとし（ステップＳ１１７）、符号化処理手順ＲＴ１０（図７）のステップＳ４４に戻る。
【０２３０】
［２−６．まとめ］
以上のように、画像符号化装置２００において、前モード推定プレエンコード部４０による処理は、第２のプレエンコード部２によるプレエンコード処理と並列に実行される。このように、画像符号化装置２００は、第２のプレエンコード部２及び前モード推定プレエンコード部４０による処理を並列に実行する。画像符号化装置２００は、検出量子化パラメータQPeの推定を、第１のプレエンコード部１で決定された予測量子化パラメータQPdより小さい方向（符号量が増える方向）にも行うことが可能になり、推定による検出率を上げることができる。つまり、アクティビティグループの前回のエンコードからの変化で、MBの量子化パラメータQPが変化したことへの対応が十分に行えるようになる。
【０２３１】
また、画像符号化装置２００は、第２のプレエンコード部２の処理と前モード推定プレエンコード部４０の処理を並列に行うことで、バックサーチ結果でのバックサーチ発生符号量が条件を満たさない場合に対処できる。この結果、画像符号化装置２００は、検出量子化パラメータQPeの推定範囲を符号量が増える方向にも取れる様にでき、バックサーチの検出率を向上させ得る。
【０２３２】
そして、画像符号化装置２００は、前モード推定プレエンコード部４０における画面内予測処理において、予測画像として入力画像９１を用いることで、構成を簡易にすると共に、バックサーチの検出率を向上させる。また、画像符号化装置２００は、パラメータ推定処理に量子化とエントロピー符号長計算のみを追加することで発生符号量の計算を実現し、回路規模を削減することを可能としている。
【０２３３】
［２−７．動作及び効果］
以上の構成によれば、画像符号化装置２００は、入力画像９１を少なくとも量子化パラメータQPに基づいて量子化することにより、第１のプレエンコード部１によって入力画像９１を簡易符号化し、簡易符号化による入力画像９１の低精度発生符号量を算出する。画像符号化装置２００は、簡易符号化によって算出された低精度発生符号量に基づいて、本エンコード部３によって入力画像９１を符号化したときの本エンコード発生符号量が目標符号量に最も近いと予測される量子化パラメータQPを基本量子化パラメータQPMBとして決定する。画像符号化装置２００は、量子化パラメータQPに基づくリスケーリングファクタRFにより入力画像９１を除算したときの剰余に基づいて、入力画像９１が前回符号化されたときに使用された量子化パラメータQPを符号化単位であるMBごとに検出する。画像符号化装置２００は、検出された検出量子化パラメータQPeに基づいて入力画像９１を符号化し、MBごとの発生符号量を算出する。画像符号化装置２００は、検出量子化パラメータQPeが検出されなかったMBについての基本量子化パラメータQPMBに基づく発生符号量GenBits_not_success_revと、検出量子化パラメータQPeが検出されたMBについての発生符号量GenBits_successとを加算することにより、複数のMBから構成される制御単位であるピクチャごとの発生符号量を算出する。
【０２３４】
これにより、画像符号化装置２００は、バックサーチ処理の結果に応じて本エンコードを実行した場合のピクチャごとの発生符号量GenBits_revを予測することができる。
【０２３５】
画像符号化装置２００は、第２のプレエンコード部２及び前モード推定エンコード部４０を同時並行して処理させることにより、MBごとの発生符号量を算出する。
【０２３６】
これにより、画像符号化装置２００は、入力画像９１が非原画であった場合であっても、基本量子化パラメータQPMBに基づく発生符号量を算出できる。このため、画像符号化装置２００は、バックサーチが不成功のMBに対して基本量子化パラメータQPMBに基づく発生符号量を用いることができ、ダビングモードにおけるピクチャごとの発生符号量GenBits_revを予測することができる。
【０２３７】
画像符号化装置２００は、検出量子化パラメータQPeの検出率に基づいて、入力画像が原画であるか非原画であるかを判定する。画像符号化装置２００は、入力画像９１が非原画であると判定され、かつピクチャ単位ごとの発生符号量GenBits_revが目標符号量に基づく許容値 (TargetBits + α)に収まる場合、検出量子化パラメータQPeが検出されたMBについては、検出量子化パラメータQPeを本エンコードで使用する量子化パラメータQP（本エンコード量子化因子）とし、検出量子化パラメータQPeが検出されなかったMBについては、基本量子化パラメータQPMBを本エンコードで使用する量子化パラメータQPとする。
【０２３８】
これにより、画像符号化装置２００は、検出量子化パラメータQPeを用いて本エンコードする場合に、本エンコード発生符号量を確実に目標符号量に基づく許容値内に収めることができる。なお、画像符号化装置２００は、画質の劣化を極力抑制するため、発生符号量の若干の超過があった場合でも、許容値 (TargetBits + α)以内であればダビングモードを使用することにしている。
【０２３９】
画像符号化装置２００は、入力画像９１が原画であると判定された場合には、基本量子化パラメータQPMBを本エンコードで使用する量子化パラメータQPとする。この許容値(TargetBits + α)は、目標符号量TargetBitsに対し、許容されるぶれ量αを加算した値でなる。
【０２４０】
これにより、画像符号化装置２００は、原画に対して、基本量子化パラメータQPMBを用いて本エンコードをすることができ、本エンコード発生符号量を目標符号量に抑制することができる。
【０２４１】
画像符号化装置２００は、基本量子化パラメータQPMB又はその近傍であると予測される予測量子化パラメータQPd及び当該予測量子化パラメータQPdの近傍の量子化パラメータQPに基づいて入力画像９１を符号化し、符号化による入力画像９１の高精度発生符号量を算出する。画像符号化装置２００は、予測量子化パラメータQPd及び当該予測量子化パラメータQPｄの近傍の量子化パラメータQPに基づいて入力画像９１を符号化したときの高精度発生符号量から、量子化パラメータQPの変動に伴う発生符号量の変動率DiffRatioを算出する。画像符号化装置２００は、予測量子化パラメータQPdに基づくMBごとの高精度発生符号量に対し、基本量子化パラメータQPMBの予測量子化パラメータQPｄからの差分値と同一回数（Diff_QP）だけ変動率DiffRatioに１を加算した変動乗数（ (1.0 + DiffRatio)）を乗算する。
【０２４２】
これにより、画像符号化装置２００は、予測量子化パラメータQPd及び当該予測量子化パラメータQPｄの近傍の量子化パラメータQPに基づいて基本量子化パラメータQPMBに基づく高精度発生符号量を算出することができ、構成を簡易にすることができる。
【０２４３】
以上の構成によれば、画像符号化装置２００は、検出量子化パラメータQPeが検出されたMBについては検出量子化パラメータQPeを用いたときの発生符号量を用い、検出量子化パラメータQPeが検出されなかったMBについては基本量子化パラメータQPMBを用いた発生符号量を用いることにより、ダビングモードにおけるピクチャごとのバックサーチ発生符号量を算出するようにした。
【０２４４】
これにより、画像符号化装置２００は、ダビングモードにおけるバックサーチ発生符号量を予め予測し得るようになされている。
【０２４５】
［３．他の実施の形態］
なお上述した第１及び第２の実施の形態においては、選択量子化パラメータＱＰｌが１５だけ選択されるようにした場合について述べた。本発明はこれに限らず、その数に制限はない。また、量子化行列Q Matrixに応じて選択量子化パラメータＱＰｌの数を変更したり、選択される間隔を変更したりしても良い。また、選択量子化パラメータＱＰｌの間隔を任意に変更することも可能である。
【０２４６】
また上述した第１及び第２の実施の形態においては、第１のプレコード部１において予測画像として入力画像９１が用いられるようにした場合について述べた。本発明はこれに限らず、ローカルデコード画像が用いられるようにしても良い。
【０２４７】
さらに上述した第１及び第２の実施の形態においては、第１のプレコード部１のエントロピー符号化としてCAVLCのみが実行されるようにした場合について述べた。本発明はこれに限らず、CAVLCとCABACの両方が実行されるようにしても良い。
【０２４８】
さらに上述した第１及び第２の実施の形態においては、低精度発生符号量に基づいて予測量子化パラメータQPｄが選択され、さらに当該予測量子化パラメータQPdに基づいて基本量子化パラメータQPMBが選択されるようにした場合について述べた。本発明はこれに限らず、例えば低精度発生符号量に基づいて直接基本量子化パラメータQPMBが選択されるようにしても良い。
【０２４９】
さらに上述した第１及び第２の実施の形態においては、ピクチャごとの発生符号量を目標符号量内に抑えるようにした場合について述べた。本発明はこれに限らず、例えばスライスごとの発生符号量を目標符号量内に抑えるようにしても良い。
【０２５０】
さらに上述した第１及び第２の実施の形態においては、符号量制御として、ピクチャごとの発生符号量を目標符号量内に抑えるようにした場合について述べた。本発明はこれに限らず、例えば複数のピクチャごとの平均発生符号量を目標符号量内に抑えるようにしても良い。
【０２５１】
さらに上述した第１及び第２の実施の形態においては、選択量子化パラメータQPlが量子化行列Q Matrixの取り得る範囲から選択されるようにした場合について述べた。本発明はこれに限らず、量子化行列Q Matrixに拘らず一律的に選択量子化パラメータQPlが選択されるようにしても良い。
【０２５２】
さらに上述した第１及び第２の実施の形態においては、傾斜の低い量子化行列Q Matrixから順に使用して符号化し、予測量子化行列Q MatrixDを決定するようにした場合について述べた。本発明はこれに限らず、例えば傾斜の大きい量子化行列Q Matrixから順に使用して符号化し、全て符号化し終えた後に予測量子化行列Q MatrixDを選択するようにしても良い。
【０２５３】
さらに上述した第１及び第２の実施の形態においては、第２のプレエンコード部４０において予測量子化パラメータQPdの近傍の量子化パラメータQPとして、当該予測量子化パラメータQPの前後の値を用いるようにした場合について述べた。本発明はこれに限らず、例えば２つ飛びの値を近傍の量子化パラメータQPとしても良い。この近傍の量子化パラメータQPは、例えば量子化パラメータQPの値に応じた変動率の変化に応じて適宜選択されても良い。
【０２５４】
さらに上述した第１及び第２の実施の形態においては、第２のプレエンコード部２において、予測量子化パラメータQPｄ及び予測量子化パラメータQPdの近傍の量子化パラメータQPにおける高精度発生符号量の変動率に基づいて他の量子化パラメータQPによる高精度発生符号量を算出するようにした場合について述べた。本発明はこれに限らず、例えば近傍の量子化パラメータQPの数を増大させて逐次符号化することにより、高精度発生符号量を算出するようにしても良い。
【０２５５】
さらに上述した第１及び第２の実施の形態においては、第２のプレエンコード部において、予測量子化パラメータＱＰｄのローカルデコード画像を予測量子化パラメータQPdの近傍の量子化パラメータQPとして共用するようにした場合について述べた。本発明はこれに限らず、それぞれについてローカルデコード画像を生成するようにしても良い。
【０２５６】
さらに上述した第１及び第２の実施の形態においては、ビットレート及び量子化パラメータＱＰについての誤差情報をそれぞれ有し、小さい値を有する誤差情報から誤差量を選択するようにした場合について述べた。本発明はこれに限らず、例えばビットレート及び量子化パラメータＱＰのいずれかに対応する誤差情報から誤差量を選択したり、ビットレート及び量子化パラメータＱＰの双方に対応する一つの誤差情報から誤差量を選択するようにしても良い。
【０２５７】
さらに上述した第１及び第２の実施の形態においては、ＣＡＶＬＣについて補正した低精度発生符号量を補正することによりＣＡＢＡＣについての低精度発生符号量を算出するようにした場合について述べた。本発明はこれに限らず、ＣＡＶＬＣについて補正前の発生符号量からＣＡＢＡＣについての低精度発生符号量を算出するようにしても良い。
【０２５８】
さらに上述した第２の実施の形態においては、バックサーチにより符号化単位としてＭＢごとに量子化パラメータＱＰを検出するようにした場合について述べた。本発明はこれに限らず、符号化単位として、量子化パラメータＱＰが設定される単位ごとであれば良く、そのサイズに制限はない。
【０２５９】
さらに上述した第２の実施の形態においては、ダビングモードにおいて、不成功ＭＢについて基本量子化パラメータＱＰＭＢに応じた発生符号量を用いるようにした場合について述べた。本発明はこれに限らず、さらにアクティビティを付加し、適応量子化パラメータQPtに応じた発生符号量を用いるようにしても良い。
【０２６０】
さらに上述した第２の実施の形態においては、画質の劣化防止を優先し、バックサーチ発生符号量が許容されるぶれ量を加算した許容値以下の場合にダビングモードへ移行するようにした場合について述べた。本発明はこれに限らず、発生符号量の制御を優先し、バックサーチ発生符号量が目標符号量以下の場合にダビングモードに移行するようにしても良い。
【０２６１】
さらに、上述した第１及び第２の実施の形態においては、AVCに本発明を適用するようにした場合について述べた。本発明はこれに限らず、適応的にVLCテーブルを選択する種々の符号化方式に本発明を適用することが可能である。
【０２６２】
さらに上述した第１の実施の形態においては、選択発生符号量算出部としての第１のプレエンコード部１と、誤差補正部及び補間発生符号量算出部としての符号量制御部４とによって画像処理装置としての画像符号化装置１００を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による選択発生符号量算出部と、誤差補正部と、補間発生符号量算出部とによって本発明の画像処理装置を構成するようにしても良い。
【０２６３】
さらに上述した第２の実施の形態においては、簡易発生符号量算出部としての第１のプレエンコード部１と、基本量子化因子決定部としての第２のプレエンコード部２及び符号量制御部４と、バックサーチ部としてのバックサーチ部４３と、検出発生符号量算出部としての量子化部４５と、制御単位発生符号量算出部としての符号量制御部４とによって画像処理装置としての画像符号化装置２００を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成でなる簡易発生符号量算出部と、基本量子化因子決定部と、バックサーチ部と、検出発生符号量算出部と、制御単位発生符号量算出部とによって本発明の画像処理装置を構成するようにしても良い。
【符号の説明】
【０２６４】
１……第１のプレエンコード部、２……第２のプレエンコード部、３……エンコード部、４……符号量制御部、６，７……ディレイバッファ、１１……画面内予測モード決定部、１２……画面内予測処理部、１３……DCT部、１４……量子化部、１５……エントロピー符号長計算部、２１……画面内予測処理部、２２……DCT部、２３……量子化部、２４……エントロピー符号長計算部、２５……バッファ、２６……IDCT部、２７……逆量子化部、３１……画面内予測処理部、３２……DCT部、３３……量子化部、３４……エントロピー符号化部、３５……バッファ、３６……IDCT部、３７……逆量子化部、４０……前定モード推定プレエンコード部、４１……画面内予測処理部、４２……DCT部、４３……バックサーチ部、４４……バッファ、４５…量子化部、４６…エントロピー符号長計算部
【図１】
0005472105.tif 000002
【図２】
0005472105.tif 000003
【図３】
0005472105.tif 000004
【図４】
0005472105.tif 000005
【図５】
0005472105.tif 000006
【図６】
0005472105.tif 000007
【図７】
0005472105.tif 000008
【図８】
0005472105.tif 000009
【図９】
0005472105.tif 000010