(57)【要約】画像を周波数領域に変換して量子化した変換量子化値をエントロピー符号化する際、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を、画像符号化装置の出力とする。これにより、符号化装置の回路規模を大きくすることなく、再符号化による符号化遅延を一定の時間に保証することを可能とし、主観的にも高画質な画像符号化装置を提供することができる。
2007043609.tif 000002
【特許請求の範囲】
【請求項１】
画像符号化装置であって、
画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を、前記画像符号化装置の出力とすることを特徴とする画像符号化装置。
【請求項２】
画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化するエントロピー符号化手段と、画像を非エントロピー符号化する非エントロピー符号化手段とを備える画像符号化装置であって、
前記エントロピー符号化の出力符号ビット数が規定量を超えた場合に、前記画像符号化装置の出力が、前記変換量子化値を再構築して得た画像を前記非エントロピー符号化手段が非エントロピー符号化して得た符号化データであることを特徴とする画像符号化装置。
【請求項３】
入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段と、前記エントロピー符号化手段の出力ビットを監視する手段とを備える画像符号化装置であって、
処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、この出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築手段の復号画像を符号化データとして出力する再符号化手段を具備することを特徴とする画像符号化装置。
【請求項４】
前記画像ブロックを予測符号化するパラメータを検出する手段と、
前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、
前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段と
を具備することを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記画像ブロックを予測符号化するパラメータを検出する手段と、前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、
前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段を具備することを特徴とする画像符号化装置。
【請求項６】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定する手段を具備することを特徴とする請求項４又は請求項５に記載の画像符号化装置。
【請求項７】
前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する第２のビット数推定手段と、
前記第２のビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段と
を具備することを特徴とする請求項６に記載の画像符号化装置。
【請求項８】
入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、
前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定するビット数推定手段と、
前記ビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段と
を具備することを特徴とする画像符号化装置。
【請求項９】
画像符号化方法であって、
画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとすることを特徴とする画像符号化方法。
【請求項１０】
画像符号化方法であって、
画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとすることを特徴とする画像符号化方法。
【請求項１１】
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理と
を具備することを特徴とする画像符号化方法。
【請求項１２】
前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
を具備することを特徴とする請求項１１に記載の画像符号化方法。
【請求項１３】
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
を具備することを特徴とする画像符号化方法。
【請求項１４】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする請求項１２又は請求項１３に記載の画像符号化方法。
【請求項１５】
量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
を具備することを特徴とする請求項１４に記載の画像符号化方法。
【請求項１６】
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
前記量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
を具備することを特徴とする画像符号化方法。
【請求項１７】
画像符号化のプログラムであって、
前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとする処理を、情報処理装置に実行させることを特徴とするプログラム。
【請求項１８】
画像符号化方法のプログラムであって、
前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとする処理を、情報処理装置に実行させることを特徴とするプログラム。
【請求項１９】
画像符号化方法のプログラムであって、
前記プログラムは、
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理と
を情報処理装置に実行させることを特徴とするプログラム。
【請求項２０】
前記プログラムは、
前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
を情報処理装置に実行させることを特徴とする請求項１９に記載のプログラム。
【請求項２１】
画像符号化方法のプログラムであって、
前記プログラムは、
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
を情報処理装置に実行させることを特徴とするプログラム。
【請求項２２】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする請求項２０又は請求項２１に記載のプログラム。
【請求項２３】
前記プログラムは、量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
を情報処理装置に実行させることを特徴とする請求項２２に記載のプログラム。
【請求項２４】
画像符号化方法のプログラムであって、
前記プログラムは、
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
前記量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
を情報処理装置に実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可変長符号化や算術符号化などのエントロピー符号化に基づいた画像符号化技術に関し、特に、画像符号化装置に適用して好適なものである。
【背景技術】
【０００２】
従来、画像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の画像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。【０００３】
前記の画像符号化方式として近年規格化されたISO/IEC 14496-10 Advanced Video Codingがあり（非特許文献１  ISO/IEC 14496-10 Advanced Video Coding）、前記AVC符号器の参照モデルとしてJoint Model方式が知られている（以後、従来の画像符号化装置とよぶ）。【０００４】
図１を参照して、ディジタル化された画像フレームを入力とし、ビットストリームを出力する、従来の画像符号化装置の構成と動作を説明する。【０００５】
図１を参照すると、従来の画像符号化装置は、原画像フレームバッファ1000、MB符号化装置2000、レート制御装置3000、復号画像フレームバッファ4000で構成される。【０００６】
原画像フレームバッファ1000は、画像フレームがQCIF(Quarter Common Intermediate Format)の場合、図２に示すような画像データを格納する。画像フレームは、MB(Macro Block)とよばれる16x16画素の輝度画素と、8x8画素のCrとCbの色差画素を構成要素とする画素ブロックに分割される。【０００７】
MB符号化装置2000は、通常、画像フレームの左上から右下へのラスタスキャン順で、前記MBを符号化する。【０００８】
レート制御装置3000は、MB符号化装置2000のビットストリームの出力ビット数を監視して、MB符号化装置2000に供給する量子化パラメータを調整し、出力ビットストリームが目標のビット数に近づくようにレート制御する。具体的には、ビットストリームのビット数が目標のビット数よりも多くなると、量子化幅を大とする量子化パラメータをMB符号化装置2000に供給し、逆にビットストリームのビット数が目標のビット数よりも少なくなると量子化幅を小とする量子化パラメータをMB符号化装置2000に供給する。【０００９】
復号画像フレームバッファ4000は、MB符号化装置2000の復号画像を、以降の符号化（予測）に利用するために、MB符号化装置2000が1MBの符号化を完了したタイミングで、MB符号化装置2000の復号画像を読み込んで格納する。【００１０】
続いて、MB符号化装置2000の内部構成と動作を詳細に説明する。【００１１】
図１を参照すると、MB符号化装置2000は、Read装置2100(原画像MBメモリ2110、参照画像メモリ2120)、予測装置2200、Venc装置2300(変換/量子化装置2310、逆量子化/逆変換装置2320、復号画像MBメモリ2330)、EC装置2400(エントロピー符号化装置2410、出力バッファ2420、制御装置2430、Context複製メモリ2440)で構成される。【００１２】
原画像MBメモリ2110は、原画像フレームバッファ1000に格納された画像フレームから、符号化対象MBの画像(以後、単純に原画像orgと呼ぶ)を読み込んで格納する。【００１３】
参照画像メモリ2120は、符号化対象MBを予測して符号化するために必要な画像(以後、単純に参照画像refと呼ぶ)を、復号画像フレームバッファ4000から読み込んで格納する。【００１４】
予測装置2200は、復号画像フレームバッファ4000および後述する復号画像メモリ2330に格納された参照画像から、原画像を好適に符号化できる予測パラメータparamを検出し、後述する予測画像predと予測誤差画像peを生成する。前記予測パラメータは、エントロピー符号化装置2410に供給される。予測誤差画像peは、後述する変換/量子化装置2310に供給される。予測誤差画像peは、後述する逆量子化/逆変換装置2320の出力に加算されて、復号画像MBメモリ2330に復号画像として格納される。【００１５】
ただし、後述する原画像PCM再符号化が発生した場合、復号画像MBメモリ2330には、原画像MBメモリ2110から供給される原画像が復号画像として格納される。【００１６】
ここで、前記予測には、フレーム内予測とフレーム間予測の２種類がある。フレーム内予測/フレーム間予測での予測画像と、予測誤差画像を以下で説明する。【００１７】
フレーム内予測は、現在の符号化対象画像フレームと表示時刻が同一の過去の復号画像を参照し、画像フレーム内（空間方向）での画素の相関を利用して、予測画像predを生成する。一例として、MBを更に細かく分割した4x4画素ブロックサイズでのフレーム内予測を図３に示す(色差やその他の場合でのフレーム内予測については、非特許文献１  ISO/IEC 14496-10 Advanced Video Codingの8.3節  Intra prediction processを参照)。【００１８】
図３のintra_dirは、フレーム内予測の方向などを示す画面内予測方向パラメータである。予測装置2200は、フレーム内予測を選択すると、画面内予測方向パラメータintra_dirに従い予測画像predを生成する。以後の説明のために、フレーム内予測を、
2007043609.tif 000003
と定義する。ここで、intra_prediction()は、画面内予測方向パラメータintra_dirに従い、参照画像refから、フレーム内予測画像を生成する関数である。【００１９】
一方のフレーム間予測は、現在の符号化対象画像フレームと表示時刻が異なる過去の復号画像を参照し、画像フレーム間（時間方向）の相関を利用して、予測画像predを生成する。フレーム間予測の一例として、16x16画素ブロックのフレーム間予測を図４に示す(その他の画素ブロックサイズなどのフレーム間予測については、非特許文献１  ISO/IEC 14496-10 Advanced Video Codingの8.4節  Inter prediction processを参照)。【００２０】
図４の動きベクトルmv_x、mv_yは、フレーム間予測の予測パラメータである。予測装置2200は、フレーム間予測を選択すると、動きベクトルmv_x、mv_yに従い予測画像predを生成する。以後の説明のために、フレーム間予測を、
2007043609.tif 000004
と定義する。ここで、inter_prediction()は、動きベクトルmv_x、mv_yに従い、参照画像refから、フレーム間予測画像を生成する関数である。なお、AVCにおいては、動きベクトルの画素精度は１/4画素である。【００２１】
予測装置2200は、式(3)のコスト関数（予測評価値）を利用して、上述した予測画像predを生成する予測パラメータparamを検出する。ここで、予測パラメータとは、フレーム内予測であれば前記の画面内予測方向intra_dir、フレーム間予測であれば前記の動きベクトルmv_x、mv_yなどである(その他の予測パラメータについては、非特許文献１  ISO/IEC 14496-10 Advanced Video Codingの7節 Syntax and semanticsを参照)。
2007043609.tif 000005
2007043609.tif 000006
2007043609.tif 000007
2007043609.tif 000008
2007043609.tif 000009
ただし、QPはMBの量子化パラメータ、idx は図２のMB内部での4x4ブロックの番号、
2007043609.tif 000010
はidxに対応する4x4ブロックの左上角のMB内部での座標を示す。【００２２】
検出された予測パラメータparamに対応する予測画像predと、原画像orgの差分を予測誤差画像peと呼ぶ（式(6)）。【００２３】
以上で、フレーム内予測/フレーム間予測での予測画像と、予測誤差画像の説明を終わる。【００２４】
続いて、変換/量子化装置2230は、前記の予測装置2200から供給される予測誤差peを、MBよりも細かいブロックの単位（以後、変換ブロックとよぶ）で周波数変換し、空間領域から周波数領域に変換する。前記周波数領域に変換された予測誤差画像を変換係数Tと呼ぶ。【００２５】
さらに、変換/量子化装置2230は、前記の変換係数Tを、レート制御装置3000から供給される量子化パラメータQPに対応する量子化幅で量子化する。前記量子化された変換係数は、一般的に変換量子化値Lと呼ばれる。変換量子化値Lは、以降の符号化のために逆量子化/逆変換装置2330へ、ビットストリーム形成のためにEC装置2400に供給される。【００２６】
まず、逆量子化/逆変換装置2330に供給される変換量子化値Lに着目して、以降の動作を説明する。【００２７】
逆量子化/逆変換装置2330は、変換/量子化装置2230から供給される前記変換量子化値Lを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。前記元の空間領域に戻された予測誤差画像を再構築予測誤差画像pe_recと呼ぶ。【００２８】
逆量子化/逆変換装置2330から供給される前記再構築予測誤差画像pe_recには、予測装置2200から供給される予測画像peが加算されて(式(8))、復号画像として復号画像MBメモリ2330に格納される。復号画像MBメモリ2330に格納された復号画像recは、以降に、予測装置2200や復号画像フレームバッファ4000に読み込まれて参照画像となる。
2007043609.tif 000011
続いて、EC装置2400に供給される変換量子化値Lに着目して、以降の動作を説明する。【００２９】
EC装置2400は、エントロピー符号化装置2410、出力バッファ2420、制御装置2430、Context複製メモリ2440で構成される。【００３０】
エントロピー符号化装置2410は、入力データをエントロピー符号化して、出力ビットを出力バッファ2420に供給する。制御装置2430は、エントロピー符号化装置2410の出力ビット数を監視して、他の装置の動作を制御する。Context複製メモリ2440は、後述するContextデータの複製を格納するメモリである。【００３１】
各装置の動作を説明する。【００３２】
制御装置2430は、エントロピー符号化装置2410の出力ビット数を監視し、制御信号(エントロピー符号化制御信号、出力バッファ制御信号)を介して、エントロピー符号化装置2410および出力バッファ2420を制御する。【００３３】
1MBすべての入力データをエントロピー符号化して、その出力ビット数がAVC規格で定められる上限ビット数(非特許文献１  ISO/IEC 14496-10 Advanced Video Coding  Annex A A.3 Levelsを参照すると3200bit))を超えなかった場合、制御装置2430は、出力バッファ制御信号によって出力バッファ2420に格納されたビットをMBの符号化データとして出力させる。なお、前記の規格で定められる1MBあたりの上限ビット数を単純に規定値と呼ぶ。【００３４】
一方、1MBの入力データをエントロピー符号化した出力ビット数が規定値を超えた瞬間に、制御装置2430は、エントロピー符号化制御信号によってエントロピー符号化装置2410を一旦停止させて、出力バッファ制御信号によって出力バッファ2420のビットを全て廃棄する（つまり、この時点での出力バッファ2420の中身を符号化データとしない）。前記ビット廃棄の後、制御装置2430は、エントロピー符号化制御信号によってエントロピー符号化装置2410を起動させて、規定値以下のビット数となるように入力画像データを再符号化させる。【００３５】
続いて、エントロピー符号化装置2410の内部構成と動作を説明する。【００３６】
図５を参照すると、エントロピー符号化装置2410は、2進化装置24100、算術コーダ24101、Context Modeling装置24102、スイッチ24103SW、24104SWで構成される。【００３７】
再符号化を行わない場合と、再符号化を行う場合に分けて、エントロピー符号化装置2410の動作を説明する。【００３８】
まず、再符号化を行わない場合を説明する。【００３９】
エントロピー符号化装置2410は、まず、以降の再符号化に対応するために、処理対象MBをエントロピー符号化する直前に、Context Modeling装置24102に格納されたContextデータすべてを、Context複製メモリ2440に保存する。続いて、エントロピー符号化装置2410は、スイッチ24103SWを経由して予測装置2200から供給される予測パラメータ、および変換/量子化装置2310から供給される変換量子化値を2進化装置24100によって2進数化し（以後、前記2進化されたデータを以後、binと呼ぶ）、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いて前記binを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出ながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。【００４０】
ここで、AVCにおけるContextデータとは、エントロピー符号化されるシンボル(bin)ごとのMPS(Most Probable SyMBol）の1bitと、LPS(Least Probable SyMBol）の確率pLPSの値を格納した確率テーブルのインデックス(State)の6bitのデータである(詳細については、非特許文献１  ISO/IEC 14496-10 Advanced Video Codingの9.3節  CABAC parsing process for slice dataを参照)。Contextデータは、通常画像フレーム内の先頭MBなどで初期化されて、以降の算術符号化でその値が更新され続ける。【００４１】
続いて、再符号化を行う場合を説明する。【００４２】
エントロピー符号化装置2410は、まず、入力データに対するエントロピー符号化の処理を一旦停止させる、続いて、Context複製メモリ2440に保存されたContextデータをContext Modeling装置24102に読み込む。その後、2進化装置24100は、PCM(Pulse Code Modulation)の開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いて前記binを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。前記PCMの開始を示す予測パラメータのbinを算術符号化し終えた後に、24104SWを切り換えて、原画像MBメモリ2110に格納された画像を読み込んでPCMのまま再符号化して、出力バッファ2420に書き出す。【００４３】
再符号化の処理として、前記の変換処理を適用していない原画像をPCMで再符号化する処理を原画像PCM再符号化と呼ぶ(例えば、特許文献１  特開2004-13521)。前記、原画像PCM再符号化を利用すれば、変換や予測が全く効かない画像を無歪みで、規定値以下の一定のビット数で符号化できるので、符号化装置のエントロピー符号化装置だけでなく、復号側のエントロピー復号化装置の処理時間をある一定時間に保証できると言われている。【００４４】
以上で、EC装置2400の動作説明を終わる。【００４５】
以上の説明したMB符号化を逐次実行することで、従来の画像符号化装置は、ビットストリームを生成する。
【特許文献１】特開2004-13521号公報
【非特許文献１】ISO/IEC 14496-10 Advanced Video Coding
【発明の開示】
【発明が解決しようとする課題】
【００４６】
前述した、AVCなどのMB単位の画像符号化では、以下の図６のようにMB符号化装置2000内部のRead装置2100、予測装置2200、Venc装置2300、EC装置2400をパイプライン動作させることで、効率的な符号化処理ができる。なお、AVCのようにフレーム内予測を利用する符号化では、隣接MBの画素を参照して予測符号化するので、隣接MB間にも予測の依存関係（図６の“→”）がある。【００４７】
ところで、エントロピー符号化(EC)によってMBのビット数が規定値を超えた場合、そのビット数を規定値以下にするために、再符号化処理として前記の原画像PCM再符号化を実行する。【００４８】
しかしながら、パイプライン動作においては、直前MB(MB(i-1))に対して原画像PCM再符号化を要求した時点では、後続MB(MB(i))に対する原画像の読み込みによって、直前MBの原画像が原画像MBメモリ2110に存在しない。よって、パイプライン動作では、直前MBの原画像を原画像フレームバッファ1000から原画像MBメモリ2100に再度読み込まなければならない。【００４９】
また、直前MB(MB(i-1))が原画像PCM再符号化されたことで、後続MBの参照画像が（直前MBの復号画像を原画像に置き換えたことで）元の値と異なるので、上述した予測の依存関係が崩れる。よって、パイプライン動作では、後続MBの予測も再度実行しなければならない。【００５０】
これらの結果、従来方式の画像符号化装置をパイプライン動作させた場合、再符号化が発生した瞬間に、図７のパイプラインインストールが発生する。【００５１】
図７のパイプラインストールが多発すると、画像フレーム全体の符号化が完了する時間が、無視できないほど遅延（以後、符号化遅延と呼ぶ）する。ゆえに、従来の符号化装置を単純にパイプライン動作させた場合には、実時間で画像フレームの符号化を完了させることを保証できない。【００５２】
もちろん、MB符号化装置2000を複数備えれば、前記の符号化遅延を回避できるが、符号化装置の回路規模が大きくなるといった別の課題がある。【００５３】
また、前記原画像PCM再符号化では、原画像PCM再符号化によって原画像で再構築されたMBの周波数特性が、復号画像で再構築された周辺MBと異なるために、主観的な違和感を生じるといった画質上の問題もある。この問題は、MB符号化装置2000を複数備えるだけでは、回避できない。【００５４】
そこで、本発明は、上記の課題に鑑みてみてなされたものであり、符号化装置の回路規模を大きくすることなく、再符号化による符号化遅延を一定の時間に保証することが可能で、主観的にも高画質な画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００５５】
上記課題を解決する第１の発明は、画像符号化装置であって、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を、前記画像符号化装置の出力とすることを特徴とする。【００５６】
上記課題を解決する第２の発明は、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化するエントロピー符号化手段と、画像を非エントロピー符号化する非エントロピー符号化手段とを備える画像符号化装置であって、前記エントロピー符号化の出力符号ビット数が規定量を超えた場合に、前記画像符号化装置の出力が、前記変換量子化値を再構築して得た画像を前記非エントロピー符号化手段が非エントロピー符号化して得た符号化データであることを特徴とする。【００５７】
上記課題を解決する第３の発明は、入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段と、前記エントロピー符号化手段の出力ビットを監視する手段とを備える画像符号化装置であって、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、この出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築手段の復号画像を符号化データとして出力する再符号化手段を具備することを特徴とする。【００５８】
上記課題を解決する第４の発明は、上記第３の発明において、前記画像ブロックを予測符号化するパラメータを検出する手段と、前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段とを具備することを特徴とする。【００５９】
上記課題を解決する第５の発明は、入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記画像ブロックを予測符号化するパラメータを検出する手段と、前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段を具備することを特徴とする。【００６０】
上記課題を解決する第６の発明は、上記第４、５の発明において、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定する手段を具備することを特徴とする。【００６１】
上記課題を解決する第７の発明は、上記第６の発明において、前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する第２のビット数推定手段と、前記第２のビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段とを具備することを特徴とする。【００６２】
上記課題を解決する第８の発明は、入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定するビット数推定手段と、前記ビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段とを具備することを特徴とする。【００６３】
上記課題を解決する第９の発明は、画像符号化方法であって、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとすることを特徴とする。【００６４】
上記課題を解決する第１０の発明は、画像符号化方法であって、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとすることを特徴とする。【００６５】
上記課題を解決する第１１の発明は、画像符号化方法であって、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理とを具備することを特徴とする。【００６６】
上記課題を解決する第１２の発明は、上記第１１の発明において、前記画像ブロックを予測符号化する予測パラメータを検出する処理と、前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理とを具備することを特徴とする。【００６７】
上記課題を解決する第１３の発明は、画像符号化方法であって、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記画像ブロックを予測符号化する予測パラメータを検出する処理と、前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理とを具備することを特徴とする。【００６８】
上記課題を解決する第１４の発明は、上記第１２、１３の発明において、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする。【００６９】
上記課題を解決する第１５の発明は、上記第１４の発明において、量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを具備することを特徴とする。【００７０】
上記課題を解決する第１６の発明は、画像符号化方法であって、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、前記量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを具備することを特徴とする。【００７１】
上記課題を解決する第１７の発明は、画像符号化のプログラムであって、前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとする処理を、情報処理装置に実行させることを特徴とする。【００７２】
上記課題を解決する第１８の発明は、画像符号化方法のプログラムであって、前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとする処理を、情報処理装置に実行させることを特徴とする。【００７３】
上記課題を解決する第１９の発明は、画像符号化方法のプログラムであって、前記プログラムは、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理とを情報処理装置に実行させることを特徴とする。【００７４】
上記課題を解決する第２０の発明は、上記第１９の発明において、前記プログラムは、前記画像ブロックを予測符号化する予測パラメータを検出する処理と、前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理とを情報処理装置に実行させることを特徴とする。【００７５】
上記課題を解決する第２１の発明は、画像符号化方法のプログラムであって、前記プログラムは、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記画像ブロックを予測符号化する予測パラメータを検出する処理と、前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理とを情報処理装置に実行させることを特徴とする。【００７６】
上記課題を解決する第２２の発明は、上記２０、２１の発明において、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする。【００７７】
上記課題を解決する第２３の発明は、上記第２２の発明において、前記プログラムは、量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを情報処理装置に実行させることを特徴とする。【００７８】
上記課題を解決する第２４の発明は、画像符号化方法のプログラムであって、前記プログラムは、入力画像フレームを画像ブロックに分割する処理と、前記画像ブロックを予測する処理と、前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、前記量子化されたデータから復号画像を再構築する処理と、前記量子化されたデータをエントロピー符号化する処理と、前記量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを情報処理装置に実行させることを特徴とする。
【発明の効果】
【００７９】
本発明の画像符号化装置では、PCM再符号化において、変換および量子化が適用された復号画像を用いる。この効果により、PCM再符号化が発生しても、後続MBの符号化処理をやり直す必要がなく、パイプラインストールによる符号化遅延を従来よりも格段に短縮できる。【００８０】
また、本発明の画像符号化装置では、PCM符号化が発生しても、復号画像によってMBの画像が再構築されるので、周辺MBとの周波数特性も同一となり、主観的な違和感を生じる問題も原理的に生じない。【００８１】
さらには、処理対象MBのエントロピー符号化後の出力ビット数をエントロピー符号化の前に予測し、エントロピー符号化後の出力ビット数が規定値を変えないように符号化することで、再符号化を完全に回避することができる。つまり、再符号化によるパイプラインストールが発生しないので、符号化遅延を一定の時間に保証することができる。【００８２】
以上の効果により、本発明は、再符号化のパイプラインストールによる符号化遅延を一定の時間に保証することが可能で、なおかつ主観的にも高画質な画像符号化装置を提供することができる。
【図面の簡単な説明】
【００８３】
【図１】図１は従来の画像符号化装置を示す図である。
【図２】図２は画像フレーム(4:2:0フォーマット)の構成を説明する為の図である。
【図３】図３はフレーム内予測の一例を示す図である。
【図４】図４はフレーム間予測の一例を示す図である。
【図５】図５はエントロピー符号化装置を示す図である。
【図６】図６はパイプラインによる符号化を説明する為の図である。
【図７】図７はパイプラインストールを説明する為の図である。
【図８】図８は第１の実施の形態の画像符号化装置を説明する為の図である。
【図９】図９は第１の実施の形態のEC装置動作フローチャートである。
【図１０】図１０は実施の形態のパイプライン動作を説明する為の図である。
【図１１】図１１は第２の実施の形態の画像符号化装置を説明する為の図である。
【図１２】図１２は第２の実施の形態のEC装置動作フローチャートである。
【図１３】図１３は本実施の形態におけるパイプラインの動作を説明する為の図である。
【図１４】図１４は第３の実施の形態の画像符号化装置のブロック図である。
【図１５】図１５は第３の実施の形態のEC装置動作フローチャートである。
【図１６】図１６は第４の実施の形態の画像符号化装置のブロック図である。
【図１７】図１７は第４の実施の形態のレート制御装置動作フローチャートである。
【図１８】図１８は第５の実施の形態の画像符号化装置のブロック図である。
【図１９】図１９はBlock bit推定装置の動作フローチャートである。
【図２０】図２０はスキャン位置を説明する為の図である。
【図２１】図２１はデータ変調装置の動作フローチャートである。
【図２２】図２２は第５の実施の形態の画像符号化装置のブロック図である。
【図２３】図２３は情報処理装置の構成を示す図である。
【符号の説明】
【００８４】
1000    原画像フレームバッファ
2000    MB符号化装置
3000    レート制御装置
4000    復号画像フレームバッファ
5000    スイッチ
【発明を実施するための最良の形態】
【００８５】
（１）第１の実施の形態
本発明の第1の実施の形態の画像符号化装置の構成を図８に示す。【００８６】
図１の従来の画像符号化装置と比較すると、発明の画像符号化装置は、制御装置2430が供給するエントロピー符号化制御信号によって動作するスイッチSW5000を備える。また、発明のEC装置2400（エントロピー符号化装置2410）は、図１の原画像MBメモリ2110から供給される原画像の代わりに、復号画像MBメモリ2330、もしくは復号画像フレームバッファ4000からSW5000を経由して供給される復号画像を入力とするため、従来のEC装置2400と動作が異なる。【００８７】
スイッチSW5000は、制御装置2430から供給されるエントロピー符号化制御信号によって制御されており、エントロピー符号化制御信号から復号画像の伝送を要求されたとき、復号画像をエントロピー符号化装置2410に供給する。具体的には、復号画像MBメモリ2330に現在のエントロピー符号化対象MBの復号画像が残っていれば、復号画像MBメモリ2330に格納された復号画像をエントロピー符号化装置2410に供給し、復号画像MBメモリ2330に現在のエントロピー符号化対象MBの復号画像が残っていなければ、復号画像フレームバッファ4000に格納された現在のエントロピー符号化対象MBの復号画像をエントロピー符号化装置2410に供給する。【００８８】
発明の画像符号化装置における、その他の装置（原画像フレームバッファ1000、Read装置2100、予測装置2200、Venc装置2300、レート制御装置3000、復号画像フレームバッファ4000）は、図１の従来と同一である。よって、以下では、発明の特徴部であるEC装置2400の動作について図９のフローチャートを参照して説明する。【００８９】
ステップS10000では、以降の再符号化に対応するために、処理対象MBをエントロピー符号化する直前に、Context Modeling装置24102に格納された現時点でのContextデータすべてを、Context複製メモリ2440に保存する。【００９０】
ステップS10001では、スイッチ24103SWを経由して入力される入力データを2進化装置24100によって2進数化し(binを生成し)、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。入力データに対応する全てのbinを算術符号化した後、ステップS10002に進む。【００９１】
ステップS10002では、1MBすべての入力データのエントロピー符号化（算術符号化）が完了したかを判断する。1MBすべての入力データのエントロピー符号化が完了した場合、処理を終了して、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。エントロピー符号化が完了していない場合には、ステップS10003に進む。【００９２】
ステップS10003では、入力データをエントロピー符号化した現時点での出力ビット数bitが、規定値MB_bit_th以下か否かを判断する。規定値MB_bit_th以下であればステップS10001に進み、以下でなければステップS10004に進む（なお、ステップS10004からS10008は復号画像をPCMで再符号化する再符号化処理なので、以後、復号画像PCM再符号化と呼ぶ）。【００９３】
ステップS10004では、瞬時に、Read装置2100、予測装置2200、Venc装置2300、エントロピー符号化装置2410を緊急停止させる（それぞれの装置の内部状態はそのまま）。その後、ステップS10005に進む。【００９４】
ステップS10005では、現時点での出力バッファ2420の中身を符号化データとしないように、出力バッファ2420のビットを全て廃棄する。続いて、ステップS10006に進む。【００９５】
ステップS10006では、以降のエントロピー符号化のために、Context複製メモリ2440に保存されたContextデータをContext Modeling装置24102に読み込む。続いて、ステップS10007に進む。【００９６】
ステップS10007では、SW5000から供給される復号画像をPCMで再符号化する。まず、制御装置2430は、エントロピー符号化装置2410を起動させる。その後、2進化装置24100は、PCMの開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記のbinに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。その後、24104SWを切り換えて、SW5000から供給される復号画像を読み込んで、復号画像をPCMのまま再符号化して、出力バッファ2420に書き出す。前記復号画像は、変換/量子化装置2310で変換および量子化された出力データから再構築した画像である。続いて、ステップS10008に進む。【００９７】
ステップS10008では、Read装置2100、予測装置2200、Venc装置2300の緊急停止を解除する。その後、ECを終了し、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。【００９８】
以上で、発明の特徴部であるEC装置2400の動作説明を終了する。【００９９】
本発明の画像符号化装置では、PCM再符号化において、原画像ではなく、変換および量子化が適用された復号画像を用いる。この効果により、従来の画像符号化装置で必要であった、原画像の再読み込みは不要となる。さらには、PCM再符号化に後続するMBの参照画像もPCM再符号化前と完全一致するので、前記後続MBで予測をやり直す必要もない。これらの結果、発明の画像符号化装置では、PCM再符号化が発生しても、パイプラインストールによる符号化遅延が、従来よりも格段に短くなる（図１０）。その上、本発明のPCM符号化では復号画像によってMBの画像が再構築されるので、周辺MBとの周波数特性も同一となり、主観的な違和感を生じる問題も原理的に生じない。【０１００】
また、発明の画像符号化装置では、MB符号化装置2000の数も1個のままであり、スイッチSW5000はほとんど回路規模に影響を与えない。【０１０１】
以上の説明から、本発明によって、画像符号化装置の回路規模を大きくすることなく、再符号化による符号化遅延を格段に短縮し、なおかつ主観的にも高画質な画像符号化装置を提供することができる。
（２）第２の実施の形態
処理対象MBに対するエントロピー符号化後のビット数をエントロピー符号化の前に推定し、推定したビット数が規定値を超そうな場合、後述する復号画像PCM符号化を処理対象MBに適用することで、符号化遅延をさらに短縮する発明の第2実施形態の画像符号化装置の構成を図１１に示す。【０１０２】
図８の本発明の第１の実施形態の画像符号化装置と比較すると、本発明の第２の実施形態の画像符号化装置は、MB bit推定装置2450を備える。また、発明のEC装置2400（エントロピー符号化装置2410）は、MB bit推定装置2450から供給される推定ビット数を入力とするため、発明の第１実施形態のEC装置2400と動作が異なる。【０１０３】
MB bit推定装置2450は、レート制御装置3000から供給される量子化パラメータQPと、予測装置2200から供給される式(3)の予測評価値Costから、式(9)によって処理対象MBのエントロピー符号化後の出力ビット数MB_est_bitを推定する。
2007043609.tif 000012
2007043609.tif 000013
2007043609.tif 000014
2007043609.tif 000015
2007043609.tif 000016
2007043609.tif 000017
2007043609.tif 000018
2007043609.tif 000019
式(9)は、文献(蝶野他、” H.264の量子化特性に関する一検討,”FIT 2004, J-062, 2004)から導出した関数である。ただし、αは0より大きい1以下の数、βは1以上の数、fは0より大きい1未満の数である。【０１０４】
本発明の第２実施の形態の画像符号化装置における、EC装置2400以外の装置は、図８の発明の第１の実施形態と同一である。よって、以下では、発明の特徴部であるEC装置2400の動作について図１２のフローチャートを参照して説明する。【０１０５】
ステップS20000では、推定ビット数MB_est_bitが規定値MB_bit_th以下か否かを判断する。以下であれば、ステップS10000。以下でなければ、ステップS20001に進む。【０１０６】
以降に記述するステップS10000からステップS10008は、発明の第１実施形態と同一であるが、再度記述する。【０１０７】
ステップS10000では、以降の再符号化に対応するために、処理対象MBをエントロピー符号化する直前に、Context Modeling装置24102に格納された現時点でのContextデータすべてを、Context複製メモリ2440に保存する。【０１０８】
ステップS10001では、スイッチ24103SWを経由して入力される入力データを2進化装置24100によって2進数化し(binを生成し)、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。入力データに対応する全てのbinを算術符号化した後、ステップS10002に進む。【０１０９】
ステップS10002では、1MBすべての入力データのエントロピー符号化（算術符号化）が完了したかを判断する。1MBすべての入力データのエントロピー符号化が完了した場合、処理を終了して、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。エントロピー符号化が完了していない場合には、ステップS10003に進む。【０１１０】
ステップS10003では、入力データをエントロピー符号化した現時点での出力ビット数bitが、規定値MB_bit_th以下か否かを判断する。規定値MB_bit_th以下であればステップS10001に進み、以下でなければステップS10004に進む（なお、ステップS10004からS10008は復号画像をPCMで再符号化する再符号化処理なので、以後、復号画像PCM再符号化と呼ぶ）。【０１１１】
ステップS10004では、瞬時に、Read装置2100、予測装置2200、Venc装置2300、エントロピー符号化装置2410を緊急停止させる（それぞれの装置の内部状態はそのまま）。その後、ステップS10005に進む。【０１１２】
ステップS10005では、現時点での出力バッファ2420の中身を符号化データとしないように、出力バッファ2420のビットを全て廃棄する。続いて、ステップS10006に進む。【０１１３】
ステップS10006では、以降のエントロピー符号化のために、Context複製メモリ2440に保存されたContextデータをContext Modeling装置24102に読み込む。続いて、ステップS10007に進む。【０１１４】
ステップS10007では、SW5000から供給される復号画像をPCMで再符号化する。まず、制御装置2430は、エントロピー符号化装置2410を起動させる。その後、2進化装置24100は、PCMの開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記のbinに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。その後、24104SWを切り換えて、SW5000から供給される復号画像を読み込んで、復号画像をPCMのまま再符号化して、出力バッファ2420に書き出す。前記復号画像は、変換/量子化装置2310で変換および量子化された出力データから再構築した画像である。続いて、ステップS10008に進む。【０１１５】
ステップS10008では、Read装置2100、予測装置2200、Venc装置2300の緊急停止を解除する。その後、ECを終了し、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。【０１１６】
ステップS20001では、SW5000から供給される復号画像をPCMで符号化する（再符号化とはならないので、復号画像PCM符号化と呼ぶ）。まず、2進化装置24100は、PCMの開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記のbinに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。その後、24104SWを切り換えて、SW5000から供給される復号画像を読み込んで、復号画像をPCMのまま再符号化して、出力バッファ2420に書き出す。前記復号画像は、変換/量子化装置2310で変換および量子化された出力データから再構築した画像である。その後、ECを終了し、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。【０１１７】
以上で、本実施形態におけるEC装置2400の動作説明を終了する。【０１１８】
本実施形態の画像符号化装置では、処理対象MBに対するエントロピー符号化後のビット数をエントロピー符号化の前に推定し、推定ビット数が規定値を超えそうな場合、エントロピー符号化後のビット数が必ず規定値以下となることを保証できる復号画像PCM符号化を処理対象MBに適用する。この結果、再符号化が原理的に発生しないので、本実施形態の画像符号化装置は、符号化遅延をさらに短縮できる（図１３）。【０１１９】
また、式(9) のパラメータαを符号化対象フレームのエンコードの残り時間に応じて、例えば、残り時間が短ければαを小さく(0に近づける)、そうでなければαを大きく（1に近づける）することで、符号化遅延を一定時間に収まるように制御できることは言うまでもない。
（３）第３の実施の形態
上述した第２の実施形態の画像符号化装置において、式(9) のパラメータαを小さく設定して規定値MB_bit_thに対して十分なマージン見込んだ推定ビット数MB_est_bitを設定すれば、エントロピー符号化の出力ビット数が規定値MB_bit_thを決して超えない。つまり、再符号化は不要となる。【０１２０】
この場合、再符号化が不要になる分、図１１のContext複製メモリ2440は不要となり、エントロピー符号化の出力ビット数を監視する必要もない。この結果、画像符号化装置をよりシンプルに構成できる（図１４）。【０１２１】
この構成の場合での、EC装置2400の動作を図１５を参照して説明する。【０１２２】
ステップS20000では、推定ビット数MB_est_bitが規定値MB_bit_th以下か否かを判断する。以下であれば、ステップS10000。以下でなければ、ステップS20001に進む。【０１２３】
ステップS10001では、スイッチ24103SWを経由して入力される入力データを2進化装置24100によって2進数化し(binを生成し)、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、binに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。入力データに対応する全てのbinを算術符号化した後、ステップS10002に進む。【０１２４】
ステップS10002では、1MBすべての入力データのエントロピー符号化（算術符号化）が完了したかを判断する。1MBすべての入力データのエントロピー符号化が完了した場合、処理を終了して、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。エントロピー符号化が完了していない場合には、ステップS10001に進む。【０１２５】
ステップS20001では、SW5000から供給される復号画像をPCMで符号化する（再符号化とはならないので、復号画像PCM符号化と呼ぶ）。まず、2進化装置24100は、PCMの開始を示す予測パラメータのbinを生成して、算術コーダ24101に供給する。これと同時に、Context Modeling装置24102は、前記のbinに対応するContextデータを算術コーダ24101に供給する。算術コーダ24101は、前記Contextデータを用いてbinを算術符号化し、スイッチ24104SWを経由して出力ビットを出力バッファ2420に書き出しながら、算術符号化で更新されたContextデータをContext Modeling装置24102に返す。その後、24104SWを切り換えて、SW5000から供給される復号画像を読み込んで、復号画像をPCMのまま再符号化して、出力バッファ2420に書き出す。前記復号画像は、変換/量子化装置2310で変換および量子化された出力データから再構築した画像である。その後、ECを終了し、出力バッファ2420に格納されたビットをMBのビットストリームとして出力する。【０１２６】
以上で、本実施形態におけるEC装置2400の動作説明を終了する。【０１２７】
本実施形態の画像符号化装置においては、再符号化は不要となる。この結果、発明の第2実施形態の画像符号化装置で必要であったContext複製メモリ2440や、エントロピー符号化の出力ビット数を監視する手段も必要もない。この結果、本実施形態の画像符号化装置は、従来よりもさらに回路構成をシンプルにできるメリットがある。
（４）第４の実施の形態
上述した第３の実施の形態の画像符号化装置では、レート制御装置3000の想定以上のビット数がPCM符号化によって発生した場合に、以降のMBに割り当てる符号量が減少し、以降に符号化するMBの画質が低下する可能性がある。そこで、前記の画質低下を防ぐことが可能な、発明の第４の実施の形態の画像符号化装置の構成を図１６に示す。【０１２８】
図１４の発明の第３実施の形態の画像符号化装置と比較すると、発明の第４実施の形態の画像符号化装置は、レート制御装置3000にMB bit推定装置2450から推定ビット数が供給される。このため、レート制御装置3000と動作が従来と異なる。【０１２９】
レート制御装置3000は、MB符号化装置2000のビットストリームの出力ビット数だけでなく、MB bit推定装置2450から供給される推定ビット数も利用して、量子化パラメータを変更する。【０１３０】
MB bit推定装置2450は、前記変更された量子化パラメータを利用して推定ビット数を式(9)で再計算して、再計算した推定ビット数を制御装置2430に供給する。【０１３１】
レート制御装置3000以外の装置は、図１４の発明の第３の実施の形態と同一である。よって、以下では、発明の特徴部であるレート制御装置3000の動作について図１７のフローチャートを参照して説明する。【０１３２】
ステップS30000では、式(17)によって処理対象MBに対する量子化パラメータQPを計算する。
2007043609.tif 000020
2007043609.tif 000021
2007043609.tif 000022
ここで、qp_picは符号化対象フレームに対する量子化パラメータ、Bitrateは目標のビットレート、Framerateは画像のフレームレート、cur_pic_bitは符号化対象フレームを符号化した現時点での発生ビット数、target_pic_bitは符号化対象フレームの目標符号量、pic_MB_sizeは符号化対象フレームに含まれるMBの数、MB_nuMBerは符号化対象フレーム内で今まで符号化したMBの個数である。【０１３３】
続いて、ステップS3000１に進む。【０１３４】
ステップS30001では、ステップS30000で計算した量子化パラメータqpに対する推定ビット数MB_est_bitが規定値MB_bit_thを超えるか否か（条件１）、MBの最大割り当てビット数MB_tar_max_bit（式(20)、γは1以上の数）が規定値MB_bit_th未満か否か（条件2）を判断する。前記条件１と条件２が成立した場合は、ステップS300002に進み、成立しなかった場合はステップS30000で計算した量子化パラメータqpを変換/量子化装置2310に供給する。
2007043609.tif 000023
ステップS30002では、式(21)によって、ステップS3000の量子化パラメータqpを更新し、更新した量子化パラメータqpを変換/量子化装置2310に供給する。
2007043609.tif 000024
ここで、qp _thは、MB_tar_max_bit以下を満たす式(9)のMB_est_bitに対応する量子化パラメータQPの最小値である。【０１３５】
以上で、本実施形態におけるレート制御装置3000の動作説明を終了する。【０１３６】
本実施形態の画像符号化装置では、式(9)から処理対象MBに対するエントロピー符号化後のビット数を推定し、レート制御装置3000の想定以上のビット数がPCM符号化によって発生しないように制御できる。この結果、PCM符号化が突然発生して、以降のMBに割り当てる符号量が減少し、以降に符号化するMBの画質が低下してしまう課題を解決できる。
（５）第５の実施の形態
上述した発明の第４の実施の形態の画像符号化装置において、レート制御装置3000が推定ビット数を利用して量子化パラメータを制御しても、エントロピー符号化後の出力ビット数を完全に規定値以下にできない場合がある。これに対処可能な、発明の第５の実施の形態の画像符号化装置の構成を図１８に示す。【０１３７】
図１６の第４の実施の形態の画像符号化装置と比較すると、第５の実施の形態の画像符号化装置は、Block bit推定装置2340、データ変調装置2350を備える。ただし、Block bit推定装置2340およびデータ変調装置2350以外の装置は、図１６の発明の第４の実施の形態のと同一である（ただし、後述するBlock bit推定装置2340およびデータ変調装置2350の機能により、エントロピー符号化後の出力ビット数は必ず規定値MB_bit_th以下となるので、MB bit推定装置2450は、規定値MB_bit_th以下となる値の推定ビット数MB_est_bitを制御装置2430に供給するものとする）。よって、以下では、発明の特徴部であるBlock bit推定装置2340およびデータ変調装置2350について説明する。【０１３８】
Block bit推定装置2340は、変換/量子化装置2310から供給される変換量子化値Lを監視し、変換ブロックのエントロピー符号化後の出力ビット数を推定する（以後、前記推定されたビット数をブロック推定ビット数block_est_bitと呼ぶ）。前記ブロック推定ビット数block_est_ bitを利用して、変換量子化値Lの廃棄位置(disp_scan_pos)を検出する。【０１３９】
データ変調装置2350は、Block bit推定装置2340から供給される変換量子化値Lの廃棄位置(disp_scan_pos)に従って、変換/量子化装置2310から供給される変換量子化値Lに後述する廃棄処理を適用し、廃棄処理を適用した変換量子化値Lを逆量子化/逆変換装置2320およびエントロピー符号化装置2410に供給する。【０１４０】
まず、発明の動作説明のために変換量子化値Lを説明する。【０１４１】
AVCにおける変換/量子化装置2230は、予測装置2200から供給される予測誤差peを、MBよりも細かい4x4ブロックの単位（変換ブロック）で、以下の式(22)によって周波数変換し、変換係数Tと計算する。ただし、idxは図２のMB内部での4x4ブロックの番号である。
2007043609.tif 000025
さらに、変換係数Tは、レート制御装置3000から供給される量子化パラメータQPを用いて式(23)で量子化し、変換量子化値Lを得る。
2007043609.tif 000026
2007043609.tif 000027
2007043609.tif 000028
2007043609.tif 000029
ここで、式(26)のfintraは0以上1未満の数、finterは0以上1未満の数である。
以上で、変換量子化値Lの説明を終了する。【０１４２】
図１９のフローチャートを参照して、Block bit推定装置2340の動作を説明する。【０１４３】
まず、block bit推定処理に先立って、ブロック推定ビット数block_est_bit=0、スキャン位置scan_pos=-1, 変換量子化値Lの廃棄開始位置を示すスキャン位置disp_scan_pos=-1とする。ここでスキャン位置とは、図２０に示す変換ブロック内での変換量子化値のエントロピー符号化順序である。【０１４４】
ステップS40000では、scan_posを1インクリメントする。【０１４５】
ステップS40001では、scan_posに対応する変換量子化値L(idx)xyから、式(27)によってblock_est_bitを更新する。
2007043609.tif 000030
2007043609.tif 000031
2007043609.tif 000032
2007043609.tif 000033
2007043609.tif 000034
ただし、abs(x)はxの絶対値を返す関数、int(x)はｘの最も近い整数に切り捨てる関数、pos_x(scan_pos)は図２０のスキャン位置scan_posに対応するブロック内のx座標を返す関数、pos_y(scan_pos)は図２０のスキャン位置scan_posに対応するブロック内のy座標を返す関数とする。なお、式(29)の処理は、変換量子化値Lを、エントロピー符号化装置で２進数化した際のbin数を計算することを意味する。【０１４６】
ステップS40002では、block_est_bitが、式(32)の変換ブロック上限ビット数block_bit_thを超えるか否か判断する。
2007043609.tif 000035
ここで、αは0より大きい1以下の数、header_bit(param)は予測装置2000が供給する予測パラメータparamをエントロピー符号化した際のビット数を返す関数、block_numは1MBに含まれる変換ブロックの個数でAVCではblock_num =24である。【０１４７】
block_est_bitが、block_bit_thを超えなかった場合にはステップS40003に進み、超えた場合にはステップS40004に進む。【０１４８】
S40003では、スキャンが終了（scan_pos=15）か否かを判断する。スキャンが終了であれば処理を終了し、終了でなければステップS40000に進む。【０１４９】
S40004では、disp_scan_pos=scan_posとして、処理を終了する。【０１５０】
以上で、Block bit推定装置2340の動作説明を終了する。【０１５１】
続いて、図２１のフローチャートを参照して、データ変調装置2350の動作を説明する。【０１５２】
ステップS50000では、Block bit推定装置2340から供給される廃棄位置disp_scan_posから、変換量子化値の廃棄を行うか否かを判断する。disp_scan_posが-1であれば、廃棄せずに処理を終了する（変換量子化値Lの値は不変）。一方、disp_scan_posが-1でなければステップS50001に進む。【０１５３】
ステップS50001では、式(33)によって変換量子化値の廃棄を行う。
2007043609.tif 000036
ここで、s_pos(x,y)は図２０の4x4ブロック内の座標(x,y)に対応するスキャン位置を返す関数である。【０１５４】
以上で、データ変調装置2350の動作説明を終了する。【０１５５】
上述した変換量子化値の廃棄によって、1変換ブロックあたりのエントロピー符号化の出力ビット数をblock_bit_th（式(32)）以下に出来る。この結果、1MBあたりのエントロピー符号化の出力ビット数も、必ず規定値MB_bit_th以下となる。【０１５６】
以上の作用により、本実施形態の画像符号化装置では、レート制御装置3000が如何なる量子化パラメータを設定しても、エントロピー符号化後の出力ビット数を完全に規定値MB_bit_th以下にできる。【０１５７】
なお、本実施形態では、レート制御装置3000が如何なる量子化パラメータを設定しても、エントロピー符号化後の出力ビット数を完全に規定値MB_bit_th以下となるので、実質的に復号画像PCM符号化を行う必要がない。すなわち、図１８の構成から復号画像PCM符号化の機能を省略して、図２２のように画像符号化装置を構成できる。この構成の場合、画像符号化装置の回路規模をより小さくできるメリットがある。
（６）第６の実施の形態
さらには上述した実施の形態においては、上述した説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。【０１５８】
図２３に示す情報処理システムは、プロセッサA1001，プログラムメモリA1002，記憶媒体A1003およびA1004からなる。記憶媒体A1003およびA1004は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。
【図１】
2007043609.tif 000037
【図２】
2007043609.tif 000038
【図３】
2007043609.tif 000039
【図４】
2007043609.tif 000040
【図５】
2007043609.tif 000041
【図６】
2007043609.tif 000042
【図７】
2007043609.tif 000043
【図８】
2007043609.tif 000044
【図９】
2007043609.tif 000045
【図１０】
2007043609.tif 000046
【図１１】
2007043609.tif 000047
【図１２】
2007043609.tif 000048
【図１３】
2007043609.tif 000049
【図１４】
2007043609.tif 000050
【図１５】
2007043609.tif 000051
【図１６】
2007043609.tif 000052
【図１７】
2007043609.tif 000053
【図１８】
2007043609.tif 000054
【図１９】
2007043609.tif 000055
【図２０】
2007043609.tif 000056
【図２１】
2007043609.tif 000057
【図２２】
2007043609.tif 000058
【図２３】
2007043609.tif 000059
【手続補正書】
【提出日】平成19年3月20日(2007.3.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像符号化装置であって、
画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を、前記画像符号化装置の出力とすることを特徴とする画像符号化装置。
【請求項２】
画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化するエントロピー符号化手段と、画像を非エントロピー符号化する非エントロピー符号化手段とを備える画像符号化装置であって、
前記エントロピー符号化の出力符号ビット数が規定量を超えた場合に、前記画像符号化装置の出力が、前記変換量子化値を再構築して得た画像を前記非エントロピー符号化手段が非エントロピー符号化して得た符号化データであることを特徴とする画像符号化装置。
【請求項３】
入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段と、前記エントロピー符号化手段の出力ビットを監視する手段とを備える画像符号化装置であって、
処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、この出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築手段の復号画像を符号化データとして出力する再符号化手段を具備することを特徴とする画像符号化装置。
【請求項４】
前記画像ブロックを予測符号化するパラメータを検出する手段と、
前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、
前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段と
を具備することを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
入力画像フレームを画像ブロックに分割する手段と、前記画像ブロックを予測する手段と、前記画像ブロックを予測符号化するパラメータを検出する手段と、前記予測パラメータ検出手段の出力データと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する手段と、前記予測手段によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する変換量子化手段と、前記変換量子化手段の出力データから復号画像を再構築する手段と、前記変換量子化手段の出力データをエントロピー符号化する手段とを備える画像符号化装置であって、
前記推定出力ビット数が規定量を超える場合には、前記再構築手段の復号画像を処理対象画像ブロックの符号化データとして出力する手段を具備することを特徴とする画像符号化装置。
【請求項６】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定する手段を具備することを特徴とする請求項４又は請求項５に記載の画像符号化装置。
【請求項７】
前記変換量子化手段の出力データを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する第２のビット数推定手段と、
前記第２のビット数推定手段の推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段と
を具備することを特徴とする請求項６に記載の画像符号化装置。
【請求項８】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、前記変換量子化手段の出力データを廃棄する手段を具備することを特徴とする請求項６に記載の画像符号化装置。
【請求項９】
画像符号化方法であって、
画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとすることを特徴とする画像符号化方法。
【請求項１０】
画像符号化方法であって、
画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとすることを特徴とする画像符号化方法。
【請求項１１】
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理と
を具備することを特徴とする画像符号化方法。
【請求項１２】
前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
を具備することを特徴とする請求項１１に記載の画像符号化方法。
【請求項１３】
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
を具備することを特徴とする画像符号化方法。
【請求項１４】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする請求項１２又は請求項１３に記載の画像符号化方法。
【請求項１５】
量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理と
を具備することを特徴とする請求項１４に記載の画像符号化方法。
【請求項１６】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理を具備することを特徴とする請求項１４に記載の画像符号化方法。
【請求項１７】
画像符号化のプログラムであって、
前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を符号化データとする処理を、情報処理装置に実行させることを特徴とするプログラム。
【請求項１８】
画像符号化方法のプログラムであって、
前記プログラムは、画像を周波数領域に変換し量子化した変換量子化値をエントロピー符号化する際に、エントロピー符号化の出力符号ビット数が規定量を超えた場合、前記変換量子化値を再構築して得た画像を非エントロピー符号化して符号化データとする処理を、情報処理装置に実行させることを特徴とするプログラム。
【請求項１９】
画像符号化方法のプログラムであって、
前記プログラムは、
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量を超えた場合には、出力ビットを処理対象画像ブロックの符号化データとはせず、前記再構築された復号画像を符号化データとして出力する処理と
を情報処理装置に実行させることを特徴とするプログラム。
【請求項２０】
前記プログラムは、
前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
前記予測パラメータの出力データと量子化パラメータとを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数が規定量を超える場合には、再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
を情報処理装置に実行させることを特徴とする請求項１９に記載のプログラム。
【請求項２１】
画像符号化方法のプログラムであって、
前記プログラムは、
入力画像フレームを画像ブロックに分割する処理と、
前記画像ブロックを予測する処理と、
前記画像ブロックを予測符号化する予測パラメータを検出する処理と、
前記予測パラメータと量子化パラメータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記予測によって得られた予測誤差画像ブロックを周波数領域に変換して量子化する処理と、
前記量子化されたデータから復号画像を再構築する処理と、
前記量子化されたデータをエントロピー符号化する処理と、
前記推定出力ビット数が規定量を超える場合には、前記再構築された復号画像を処理対象画像ブロックの符号化データとして出力する処理と
を情報処理装置に実行させることを特徴とするプログラム。
【請求項２２】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数が規定量以下となるように量子化パラメータを設定することを特徴とする請求項２０又は請求項２１に記載のプログラム。
【請求項２３】
前記プログラムは、量子化されたデータを利用して、処理対象画像ブロックのエントロピー符号化後の出力ビット数を推定する処理と、
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理とを情報処理装置に実行させることを特徴とする請求項２２に記載のプログラム。
【請求項２４】
前記推定出力ビット数を利用して、処理対象画像ブロックのエントロピー符号化の出力ビット数が規定量以下となるように、量子化処理の出力データを廃棄する処理を情報処理装置に実行させることを特徴とする請求項２２記載のプログラム。
【国際調査報告】
2007043609.tif 000060
2007043609.tif 000061
2007043609.tif 000062
2007043609.tif 000063
2007043609.tif 000064
2007043609.tif 000065