(57)【要約】  映像符号化装置は、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化部１１と、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング部１２とを備えている。量子化ステップサイズ符号化部１１は、量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するように構成される。
2013001729.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、
前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、
符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング手段とを備え、
前記量子化ステップサイズ符号化手段は、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する
ことを特徴とする映像符号化装置。
【請求項２】
前記量子化ステップサイズ符号化手段は、前記量子化ステップサイズ代表値として、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる
請求項１に記載の映像符号化装置。
【請求項３】
前記量子化ステップサイズ符号化手段は、前記量子化ステップサイズ代表値として、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる
請求項１に記載の映像符号化装置。
【請求項４】
所定の動作パラメータに基づいて前記量子化ステップサイズダウンサンプリング手段の動作を制御する量子化ステップサイズダウンサンプリング制御手段と、
圧縮符号化された映像ビットストリームと前記量子化ステップサイズダウンサンプリング手段の動作パラメータの少なくとも一部とを多重化する多重化手段とを有する
請求項１から請求項３のいずれかに記載の映像符号化装置。
【請求項５】
前記動作パラメータは、少なくともダウンサンプリングの倍率を含む
請求項４に記載の映像符号化装置。
【請求項６】
入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、
前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、
復号済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング手段とを備え、
前記量子化ステップサイズ復号手段は、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する
ことを特徴とする映像復号装置。
【請求項７】
前記量子化ステップサイズ復号手段は、前記量子化ステップサイズ代表値として、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる
請求項６に記載の映像復号装置。
【請求項８】
前記量子化ステップサイズ復号手段は、前記量子化ステップサイズ代表値として、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる
請求項６に記載の映像復号装置。
【請求項９】
所定の動作パラメータに基づいて前記量子化ステップサイズダウンサンプリング手段の動作を制御する量子化ステップサイズダウンサンプリング制御手段と、
前記量子化ステップサイズダウンサンプリング手段の動作パラメータの少なくとも一部を含むビットストリームの多重化を解除する多重化解除手段とを有する
請求項６から請求項８のいずれかに記載の映像復号装置。
【請求項１０】
前記動作パラメータは、少なくともダウンサンプリングの倍率を含む
請求項９に記載の映像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化技術、特に、再構築画像を参照しての予測と量子化によるデータ圧縮とを行う映像符号化技術に関する。
【背景技術】
【０００２】
一般的な映像符号化装置は、入力映像の各フレームに対し、所定の映像符号化方式に準拠した符号化処理を行うことによって、符号化データすなわちビットストリームを生成する。所定の映像符号化方式の代表例である、非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding （ＡＶＣ）は、各フレームをＭＢ（Macro Block）とよばれる１６×１６画素サイズのブロックに分割し、さらに、ＭＢを４×４画素サイズのブロックに分割して、ＭＢを符号化の最小構成単位とする。図１７に、フレームのカラーフォーマットがYCbCr 4:2:0フォーマットであり、空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合におけるブロック分割の例を示す。【０００３】
分割された各画像ブロックは、順次映像符号化装置に入力され、符号化される。図１８は、ＡＶＣ方式に準拠したビットストリームを生成する一般的な映像符号化装置の構成の一例を示すブロック図である。以下、図１８を参照して、一般的な映像符号化装置の構成と動作について説明する。【０００４】
図１８に示す映像符号化装置は、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０と、ビットストリームバッファ１１１とを備える。【０００５】
映像符号化装置に入力された画像は、予測選択器１１０を介してフレーム内予測器１０８もしくはフレーム間予測器１０９より供給される予測画像を減じられた後、予測誤差画像として周波数変換器１０１に入力される。【０００６】
周波数変換器１０１は、入力された予測誤差画像を空間領域から周波数領域に変換し、係数画像として出力する。【０００７】
量子化器１０２は、周波数変換器１０１より供給された係数画像を、量子化制御器１０４より供給される、量子化の粒度を制御するための量子化ステップサイズを用いて量子化し、量子化係数画像として出力する。【０００８】
可変長符号化器１０３は、量子化器１０２より供給される量子化係数画像をエントロピー符号化する。また、量子化制御器１０４から供給される前記量子化ステップサイズと、予測選択器１１０から供給される画像予測パラメータとを併せて符号化する。これらの符号化データは多重化され、ビットストリームとしてビットストリームバッファ１１１に蓄積される。【０００９】
ビットストリームバッファ１１１は、可変長符号化器１０３より供給されるビットストリームを蓄積し、所定の伝送速度によって、映像符号化装置の出力としてビットストリームを出力する。ビットストリームバッファ１１１によって、映像符号化装置内の処理速度と、映像符号化装置より出力されるビットストリームの伝送速度とが調整される。【００１０】
ここで、図１９を用いて、可変長符号化器１０３における量子化ステップサイズの符号化処理を説明する。可変長符号化器１０３において量子化ステップサイズの符号化を行う量子化ステップサイズ符号化器は、図１９に示されるように、量子化ステップサイズバッファ１０３１１と、エントロピー符号化器１０３１２とを含む。【００１１】
量子化ステップサイズバッファ１０３１１は、直前に符号化した画像ブロックに対して割り当てた量子化ステップサイズQ(i-１)を保持する。【００１２】
入力された量子化ステップサイズQ(i)は、以下の（１）式に示すように、量子化ステップサイズバッファ１０３１１から供給される直前の量子化ステップサイズQ(i-１)を減じられた後、差分量子化ステップサイズdQ(i)として、エントロピー符号化器１０３１２に入力される。【００１３】
dQ(i) = Q(i) − Q(i-１)                       ・・・（１）【００１４】
エントロピー符号化器１０３１２は、入力された差分量子化ステップサイズdQ(i)をエントロピー符号化し、量子化ステップサイズに対応する符号として出力する。【００１５】
以上で、量子化ステップサイズ符号化処理の説明を終了する。【００１６】
量子化制御器１０４は、現在の入力画像ブロックに対する量子化ステップサイズを決定する。一般には、量子化制御器１０４は、可変長符号化器１０３の出力符号量を監視し、当該画像ブロックに対する出力符号量が小さくなるように量子化ステップサイズを大きくしたり、逆に当該画像ブロックに対する出力符号量が大きくなるように量子化ステップサイズを小さくしたりする。量子化ステップサイズを増減することによって、映像符号化装置が入力動画像を目標符号量で符号化できるようにする。決定された量子化ステップサイズは、量子化器１０２及び可変長符号化器１０３に供給される。【００１７】
量子化器１０２より出力された量子化係数画像は、以降の画像ブロックの符号化において予測に用いるために、逆量子化器１０５によって逆量子化されて、係数画像となる。逆量子化器１０５より出力された係数画像は、逆周波数変換器１０６によって空間領域に戻されて、予測誤差画像となる。予測誤差画像は、予測画像を加えられた後、再構築画像としてフレームメモリ１０７及びフレーム内予測器１０８に入力される。【００１８】
フレームメモリ１０７は、過去に入力され符号化された画像フレームの再構築画像を蓄積する。フレームメモリ１０７に蓄積される画像フレームを、参照フレームと呼ぶ。【００１９】
フレーム内予測器１０８は、現在符号化中の画像フレーム内において過去に符号化された画像ブロックの再構築画像を参照して、予測画像を生成する。【００２０】
フレーム間予測器１０９は、フレームメモリ１０７より供給される参照フレームを参照して、予測画像を生成する。【００２１】
予測選択器１１０は、フレーム内予測器１０８から供給される予測画像とフレーム間予測器１０９から供給される予測画像を比較して、入力画像に近い側の予測画像を選択し出力する。また、フレーム内予測器１０８又はフレーム間予測器１０９が行った予測方法に関する情報（画像予測パラメータと呼ぶ）を出力し、可変長符号化器１０３に供給する。【００２２】
一般的な映像符号化装置は、以上の処理によって入力動画像を圧縮符号化し、ビットストリームを生成する。【００２３】
出力されたビットストリームは、映像復号装置に伝達され、映像復号装置によって復号処理が行われて、動画像として復元される。図２０は、一般的な映像符号化装置が出力したビットストリームを復号し復号映像を得る、一般的な映像復号装置の構成の一例を示す。以下、図２０を参照して、一般的な映像復号装置の構成と動作を説明する。【００２４】
図２０に示す映像復号装置は、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７と、ビットストリームバッファ２０８とを備える。【００２５】
ビットストリームバッファ２０８は、入力されたビットストリームを蓄積した後、可変長復号器２０１に出力する。ビットストリームバッファ２０８によって、映像復号装置に入力されるビットストリームの伝送速度と、映像復号装置内の処理速度とが調整される。【００２６】
可変長復号器２０１は、ビットストリームバッファ２０８より入力されたビットストリームを可変長復号し、逆量子化の粒度を制御するための量子化ステップサイズと、量子化係数画像と、画像予測パラメータとを得る。前記量子化ステップサイズと量子化係数画像は、逆量子化器２０２に供給される。画像予測パラメータは、予測選択器２０７に供給される。【００２７】
逆量子化器２０２は、入力された量子化係数画像を、入力された量子化ステップサイズに基づいて逆量子化して、係数画像として出力する。【００２８】
逆周波数変換器２０３は、逆量子化器２０２から供給される係数画像を周波数領域から空間領域に変換し、予測誤差画像として出力する。予測誤差画像は、予測選択器２０７から供給される予測画像と加算されて、復号画像となる。復号画像は、出力画像として映像復号装置から出力されるとともに、フレームメモリ２０４及びフレーム内予測器２０５に入力される。【００２９】
フレームメモリ２０４は、過去に復号された画像フレームを蓄積する。フレームメモリ２０４に蓄積される画像フレームを、参照フレームと呼ぶ。【００３０】
フレーム内予測器２０５は、現在復号中の画像フレーム内において過去に復号された画像ブロックの再構築画像を、可変長復号器２０１より供給される画像予測パラメータに基づいて参照して、予測画像を生成する。【００３１】
フレーム間予測器２０６は、フレームメモリ２０４より供給される参照フレームを、可変長復号器２０１より供給される画像予測パラメータに基づいて参照して、予測画像を生成する。【００３２】
予測選択器２０７は、フレーム内予測器２０５とフレーム間予測器２０６から供給される予測画像を、可変長復号器２０１から供給される画像予測パラメータに基づいて選択する。【００３３】
ここで、図２１を用いて、可変長復号器２０１における量子化ステップサイズの復号処理について説明する。可変長復号器２０１において、量子化ステップサイズの符号化を行う量子化ステップサイズ復号器は、図２１に示されるように、エントロピー復号器２０１１１と、量子化ステップサイズバッファ２０１１２とを含む。【００３４】
エントロピー復号器２０１１１は、入力された符号をエントロピー復号し、差分量子化ステップサイズdQ(i)を出力する。【００３５】
量子化ステップサイズバッファ２０１１２は、直前の量子化ステップサイズQ(i-１)を保持する。【００３６】
以下の（２）式に示すように、エントロピー復号器２０１１１により生成された差分量子化ステップサイズdQ(i)に、量子化ステップサイズバッファ２０１１２から供給されるQ(i-１)が加算される。加算値は、量子化ステップサイズQ(i)として出力されるとともに、量子化ステップサイズバッファ２０１１２に入力される。【００３７】
Q(i) = Q(i-１) + dQ(i)                      ・・・（２）【００３８】
以上で、量子化ステップサイズ復号処理の説明を終了する。【００３９】
一般的な映像復号装置は、以上の処理によって入力ビットストリームを復号し、動画像を生成する。【００４０】
ところで、符号化処理によって圧縮される動画像の主観品質を保つために、一般的な映像符号化装置における量子化制御器１０４は、一般に、出力符号量を解析するだけでなく、入力画像と予測誤差画像の一方又は双方を解析して、人間の視覚感度に応じた量子化ステップサイズを決定する。すなわち、量子化制御器１０４は、視覚感度適応量子化を行う。具体的には、現符号化対象画像に対する人間の視覚感度が高いと判定された場合には量子化ステップサイズを小さく、逆に視覚感度が低いと判定された場合には量子化ステップサイズを大きく設定する。そのような制御が行われることによって、視覚感度の高い領域に対して、より多くの符号量を割り当てることが可能になるので、主観画質が向上する。【００４１】
視覚感度適応量子化技術としては、例えば、MPEG-２のTest Model 5（TM５）で採用された、入力画像のテクスチャの複雑度に基づく適応量子化が知られている。テクスチャの複雑度は、一般に、アクティビティと呼ばれる。また、特許文献１では、入力画像のアクティビティに併せて予測画像のアクティビティを用いる適応量子化方式が提案されている。また、特許文献２では、エッジ部を考慮したアクティビティに基づく適応量子化方式が提案されている。【００４２】
視覚感度適応量子化技術を用いるときに、画像フレーム内で、頻繁に量子化ステップサイズの変動が発生することが問題となる。ＡＶＣに従うビットストリームを生成する一般的な映像符号化装置では、量子化ステップサイズを符号化するにあたって、直前に符号化した画像ブロックに対する量子化ステップサイズとの差分をエントロピー符号化する。従って、符号化順序方向に対する量子化ステップサイズの変動が大きくなると、量子化ステップサイズの符号化に要する符号量が増加する。その結果、ビットストリームのサイズが増加し、ビットストリームバッファの実装に必要なメモリサイズが増大してしまう。【００４３】
符号化順序方向は画面上の視覚感度の連続性とは無関係であるため、視覚感度適応量子化技術は、必然的に量子化ステップサイズの符号化に要する符号量を増加させる。ゆえに、一般的な映像符号化装置では、視覚感度適応量子化技術によって主観画質を改善させようとした場合、必然的にビットストリームのサイズが増加し、所要メモリサイズが増大してしまうという問題がある。【００４４】
この問題に対して、特許文献３には、視覚感度に応じて量子化ステップサイズを適応設定する代わりに、空間領域及び周波数領域での視覚感度に応じて、ゼロに量子化する範囲すなわちデッドゾーンを適応設定する技術が開示されている。特許文献３に記載された方式は、視覚感度が低いと判定された変換係数に対するデッドゾーンを、視覚感度が高いと判定された変換係数に対するデッドゾーンよりも広くする。そのような制御が行われることによって、量子化ステップサイズを変動させることなく、視覚感度適応量子化を行うことができる。
【先行技術文献】
【特許文献】
【００４５】
【特許文献１】特許２６４６９２１号公報
【特許文献２】特許４５２９９１９号公報
【特許文献３】特許４６１３９０９号公報
【非特許文献】
【００４６】
【非特許文献１】ISO/IEC 14496-10 Advanced Video Coding
【発明の概要】
【発明が解決しようとする課題】
【００４７】
しかし、特許文献３に記載された技術を用いると、デッドゾーンの範囲に収まらない変換係数に対しては、視覚感度に適応した量子化を行うことができない。すなわち、視覚感度が低いと判定されても、デッドゾーンの範囲に収まらない変換係数に対しては係数符号量を削減することができない。また、量子化ステップサイズを拡大した場合には、量子化後の変換係数値はゼロ付近に集中するが、デッドゾーンを拡大した場合には、デッドゾーンの範囲に収まらない変換係数は量子化してもゼロ付近に集中しなくなる。すなわち、デッドゾーンを拡大した場合には、量子化ステップサイズを拡大した場合と比較して、エントロピー符号化による符号化効率が不十分となる。こうした理由により、一般的な符号化技術には、視覚感度に適応した量子化を行うと、映像符号化装置および映像復号装置における所要メモリサイズが増大するという問題があるといえる。【００４８】
本発明は上記の課題に鑑みてなされた発明であって、第１の目的は、符号量増加を抑えつつ量子化ステップサイズを頻繁に変動させることを可能とし、所要メモリサイズ増大を抑えて高画質な動画像符号化を行う映像符号化装置を提供することである。また、本発明の第２の目的は、所要メモリサイズ増大を抑えて高画質な動画像の再生が可能な映像復号装置を提供することである。
【課題を解決するための手段】
【００４９】
本発明による映像符号化装置は、入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング手段とを備え、量子化ステップサイズ符号化手段は、量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測することを特徴とする。【００５０】
本発明による映像復号装置は、入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、復号済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング手段とを備え、量子化ステップサイズ復号手段は、量子化ステップサイズ代表値を用いて量子化ステップサイズを予測することを特徴とする。
【発明の効果】
【００５１】
本発明によれば、映像符号化装置において、量子化ステップサイズを画像フレーム内で頻繁に変動させても、それに付随する発生符号量の増加を抑えることができる。換言すれば、より少ない符号量で量子化ステップサイズの符号化を行える。従って、視覚感度適応量子化による主観画質向上のために所要メモリサイズが増大するという問題が解消される。さらに、本発明によれば、映像復号装置において、少量の符号を受信するだけで、頻繁に変動する量子化ステップサイズを復号することができるので、少ない所要メモリサイズで高画質な動画像の再生を行える。
【図面の簡単な説明】
【００５２】
【図１】本発明の第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。
【図２】符号化対象の画像ブロックと近傍画像ブロックとの位置関係の一例を示す説明図である。
【図３】本発明の第２の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。
【図４】本発明の第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。
【図５】ブロック座標の例を示す説明図である。
【図６】本発明の第４の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。
【図７】本発明の第５の実施形態の映像符号化装置を示すブロック図である。
【図８】本発明の第５の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。
【図９】量子化ステップサイズダウンサンプリングパラメータの多重化の例を示したリストを示す説明図である。
【図１０】本発明の第６の実施形態の映像復号装置を示すブロック図である。
【図１１】本発明の第６の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。
【図１２】本発明による映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図１３】本発明による映像符号化装置における特徴的な構成要素を示すブロック図である。
【図１４】本発明による映像復号装置における特徴的な構成要素を示すブロック図である。
【図１５】本発明による映像符号化方法における特徴的なステップを示すフローチャートである。
【図１６】本発明による映像復号方法における特徴的なステップを示すフローチャートである。
【図１７】ブロック分割の例を示す説明図である。
【図１８】映像符号化装置の構成の一例を示すブロック図である。
【図１９】一般的な映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。
【図２０】映像復号装置の構成の一例を示すブロック図である。
【図２１】一般的な映像復号装置における量子化ステップサイズ符号化器を示すブロック図である。
【発明を実施するための形態】
【００５３】
以下、本発明の実施形態について、図面を参照して説明する。
【００５４】
実施形態１．
本発明の第１の実施形態の映像符号化装置は、図１８に示された一般的な映像符号化装置と同様に、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０と、ビットストリームバッファ１１１とを備える。しかし、可変長符号化器１０３に含まれている量子化ステップサイズ符号化器の構成は、図１９に示された構成とは異なる。
【００５５】
図１は、本発明の第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。図１に示すように、本実施形態における量子化ステップサイズ符号化器は、図１９に示された量子化ステップサイズ符号化器と比較すると、予測量子化ステップサイズ生成器１０３１３を含む点が異なる。
【００５６】
量子化ステップサイズバッファ１０３１１は、過去に符号化した画像ブロックに対して割り当てた量子化ステップサイズを蓄積し、保持する。
【００５７】
予測量子化ステップサイズ生成器１０３１３は、過去に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを量子化ステップサイズバッファから取り出し、予測量子化ステップサイズを生成する。
【００５８】
入力量子化ステップサイズは、予測量子化ステップサイズ生成器１０３１３から供給される予測量子化ステップサイズを減じられた後、差分量子化ステップサイズとして、エントロピー符号化器１０３１２に入力される。
【００５９】
エントロピー符号化器１０３１２は、入力された差分量子化ステップサイズをエントロピー符号化し、量子化ステップサイズに対応した符号として出力する。
【００６０】
このように構成することによって、量子化ステップサイズの符号化に要する符号量を削減することができる。その結果、量子化ステップサイズ変動に伴う所要メモリサイズの増大を抑制できる。その理由は、予測量子化ステップサイズ生成器１０３１３が、符号化順序に依存しない近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することにより、エントロピー符号化器１０３１２に入力される差分量子化ステップサイズの絶対量を小さくすることができるからである。また、近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成するとエントロピー符号化器１０３１２に入力される差分量子化ステップサイズの絶対量を小さくすることができる理由は、動画像には一般に近傍画素間の相関性があるために、視覚感度適応量子化を用いた場合には、相関性の高い近傍画像ブロックに対しては割り当てられる量子化ステップサイズの類似度が高くなるからである。
【００６１】
上述した第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。
【００６２】
本例では、符号化単位となる画像ブロックは固定サイズであるとする。量子化ステップサイズの予測に用いる近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する３つの画像ブロックを用いることにする。
【００６３】
現在符号化対象の画像ブロックをＸとし、３つの近傍画像ブロックＡ，Ｂ，Ｃがそれぞれ、図２に示すように、画像ブロックＸに対して左、上、右斜め上に隣接する位置にあるとする。任意のブロックＺにおける量子化ステップサイズをQ(Z)、予測量子化ステップサイズをpQ(Z) と表記するとき、予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X)を、以下の（３）式により求める。
【００６４】
pQ(X) = Median(Q(A),Q(B),Q(C))                  ・・・（３）
【００６５】
ただし、Median(x, y, z) は、x, y, z の３つの値から中間値を求める関数である。
【００６６】
エントロピー符号化器１０３１２は、以下の（４）式により得られた差分量子化ステップサイズdQ(X)を、エントロピー符号の一つである符号付きExp-Golomb（Exponential-Golomb）符号を用いて符号化し、当該画像ブロックに対する量子化ステップサイズに対応する符号として出力する。
【００６７】
dQ(X) = Q(X) − pQ(X)                          ・・・（４）
【００６８】
本例では、量子化ステップサイズの予測に利用する近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する３つの画像ブロックを用いた。しかし、近傍画像ブロックはそれに限定されず、例えば、左、上、左斜め上にそれぞれ隣接する画像ブロックを用い、以下の（５）式によって予測量子化ステップサイズを求めてもよい。
【００６９】
pQ(X) = Median(Q(A), Q(B), Q(D))                ・・・（５）
【００７０】
なお、予測に用いる画像ブロックは、３つではなく任意の個数であってよく、また、予測に用いる演算として、中間値ではなく例えば平均値などを用いてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。また、さらに、予測に用いる画像ブロックは、空間近傍すなわち同一画像フレーム内の画像ブロックに限定されず、時間近傍すなわち既に符号化された他の画像フレーム内の画像ブロックであってもよいし、他の任意の近傍画像ブロックであってもよい。
【００７１】
また、本例では、符号化対象画像ブロックと予測に用いる画像ブロックとが同じ固定サイズである場合を仮定した。しかし、本発明は、符号化の単位となる画像ブロックが固定サイズである場合に限定されず、符号化の単位となる画像ブロックが可変サイズであり、符号化対象画像ブロックと予測に用いる画像ブロックとが互いに異なるサイズであってもよい。
【００７２】
また、本例では、符号化対象画像ブロックの量子化ステップサイズと予測量子化ステップサイズとの差分を符号化する際に、Exp-Golomb符号に基づいて符号化する例を示したが、本発明はExp-Golomb符号の使用に限定されず、他のエントロピー符号に基づいて符号化してもよい。例えば、ハフマン符号や算術符号などに基づく符号化を行ってもよい。
【００７３】
以上で、本発明の第１の実施形態の映像符号化装置の説明を終了する。
【００７４】
実施形態２．
本発明の第２の実施形態の映像復号装置は、図２０に示された一般的な映像復号装置と同様に、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７と、ビットストリームバッファ２０８とを備える。しかし、可変長復号器２０１に含まれている量子化ステップサイズ復号器の構成は、図２１に示された構成とは異なる。
【００７５】
図３は、本発明の第２の実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。図３に示すように、本実施形態における量子化ステップサイズ復号器は、図２１に示された量子化ステップサイズ復号器と比較すると、予測量子化ステップサイズ生成器２０１１３を含む点が異なる。
【００７６】
エントロピー復号器２０１１１は、入力された符号をエントロピー復号し、差分量子化ステップサイズを出力する。
【００７７】
量子化ステップサイズバッファ２０１１２は、過去に復号した量子化ステップサイズを蓄積し、保持する。
【００７８】
予測量子化ステップサイズ生成器２０１１３は、過去に復号済みの量子化ステップサイズのうち、現在の復号対象画像ブロックの近傍画素ブロックに対応する量子化ステップサイズを量子化ステップサイズバッファから取り出し、予測量子化ステップサイズを生成する。具体的には、例えば、第１の実施形態の映像符号化装置の具体例における予測量子化ステップサイズ生成器１０３１３と同じ動作を行う。
【００７９】
エントロピー復号器２０１１１により生成された差分量子化ステップサイズは、予測量子化ステップサイズ生成器２０１１３から供給される予測量子化ステップサイズを加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に入力される。
【００８０】
このように量子化ステップサイズ復号器を構成することによって、映像復号装置は、より少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、量子化ステップサイズ変動に伴う所要メモリサイズの増大を抑制できる。その理由は、予測量子化ステップサイズ生成器２０１１３が、復号順序に依存しない近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することによって、予測量子化ステップサイズは実際に割り当てられる量子化ステップサイズに近くなるので、エントロピー復号器２０１１１はゼロに近い差分量子化ステップサイズを復号すればよいからである。近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することによって実際に割り当てられる量子化ステップサイズに近い予測量子化ステップサイズが得られる理由は、動画像には一般に近傍画素間の相関性があり、視覚感度適応量子化を用いた場合には、相関性の高い近傍画像ブロックに対しては割り当てられる量子化ステップサイズの類似度が高くなるからである。
【００８１】
以上で、本発明の第２の実施形態の映像復号装置の説明を終了する。
【００８２】
実施形態３．
本発明の第３の実施形態の映像符号化装置は、本発明の第１の実施形態の映像符号化装置と同様に、図１８に示されるように、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０と、ビットストリームバッファ１１１とを備える。しかし、可変長符号化器１０３における量子化ステップサイズ符号化器の構成は、図１９及び図１に示された構成とは異なる。
【００８３】
図４は、本発明の第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。図４に示すように、本実施形態における量子化ステップサイズ符号化器の構成は、図１に示された第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器と比較すると、量子化ステップサイズダウンサンプリング器１０３１４および量子化ステップサイズアップサンプリング器１０３１５を含む点が異なる。
【００８４】
予測量子化ステップサイズ生成器１０３１３及びエントロピー符号化器１０３１２の動作は、第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器の動作と同じであるため、ここでは説明を省略する。
【００８５】
量子化ステップサイズダウンサンプリング器１０３１４は、符号化済みの画像ブロックに対して割り当てた量子化ステップサイズを所定の方法に基づいてダウンサンプリングして、量子化ステップサイズバッファ１０３１１に供給する。
【００８６】
量子化ステップサイズバッファ１０３１１は、量子化ステップサイズダウンサンプリング器１０３１４より供給される、ダウンサンプリングされた過去の符号化済み画像ブロックに対する量子化ステップサイズを蓄積し、保持する。
【００８７】
量子化ステップサイズアップサンプリング器１０３１５は、量子化ステップサイズバッファ１０３１１から、ダウンサンプリングされた過去の符号化済み画像ブロックに対する量子化ステップサイズを取り出し、所定の方法に基づいてアップサンプリングして、予測量子化ステップサイズ生成器１０３１３に供給する。
【００８８】
このように構成することによって、本実施形態の映像符号化装置は、第１の実施形態の映像符号化装置と比較すると、量子化ステップサイズバッファの所要容量を削減できる。その結果、映像符号化装置において、量子化ステップサイズを変動させるための所要メモリサイズの増大をさらに抑制できる。
【００８９】
上述した第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。
【００９０】
本例では、符号化単位となる画像ブロックは固定サイズであるとし、それぞれの画像ブロックは図５に示されるようにフレーム上の左上端のブロックを原点とする２次元ブロック座標によって表されるとする。また、量子化ステップサイズの予測に用いる近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する３つの画像ブロックを用いることにする。
【００９１】
現在符号化対象の画像ブロックをＸ、ブロックＸのブロック座標を(x(X), y(X))とし、図２に示すように、左に隣接しブロック座標(x(X)-１, y(X))に位置するブロックをA、上に隣接しブロック座標 (x(X), y(X)-１)に位置するブロックをB、右斜め上に隣接しブロック座標 (x(X)+１, y(X)-１)に位置するブロックをCとする。任意のブロックＺにおける符号化済み量子化ステップサイズをQ(Z), 予測量子化ステップサイズをpQ(Z)と表記するとき、予測量子化ステップサイズ生成器１０３１３は、ブロックＸの予測量子化ステップサイズpQ(X)を、以下の（６）式により求める。
【００９２】
pQ(X) = Median(Qds(A), Qds(B), Qds(C))                  ・・・（６）
【００９３】
ただし、Median(x, y, z)  は、x, y, z  の３つの値から中間値を求める関数である。また、Qds(Z)は、ブロックＺにおける量子化ステップサイズ代表値を表す。Ｚのブロック座標を(x(Z), y(Z))、ブロック座標(v, w)に位置するブロックをBlk(v, w) と表すとき、Qds(Z)は、以下の（７）式により求められる。
【００９４】
Qds(Z) = Q( Blk( N*(x(Z)//N), N*(y(Z)//N) ))                 ・・・（７）
【００９５】
ただし、Ｎはダウンサンプリングの倍率を表す数値である。例えば、Ｎ＝４ならば水平方向１／４、垂直方向１／４のダウンサンプリングを行うことを意味する。また、（ａ*ｂ）はａとｂの乗算、（ａ／／ｂ）は整数ａのｂによる除算（小数点以下切り捨て）を表す。
【００９６】
以上の（６）式および（７）式で規定される動作に従うと、予測量子化ステップサイズ生成器１０３１３は、量子化ステップサイズバッファ１０３１１より量子化ステップサイズアップサンプリング器１０３１５を通じて供給される量子化ステップサイズを参照するにあたって、水平方向Ｎ個×垂直方向Ｎ個の計Ｎ２個のブロックごとに、代表値として最も左上の１個の量子化ステップサイズしか参照しない。従って、量子化ステップサイズダウンサンプリング器１０３１４は、それ以外の量子化ステップサイズを量子化ステップサイズバッファ１０３１１に供給しないよう動作する。その結果、量子化ステップサイズバッファ１０３１１の所要メモリ容量を１／N２に削減できる。
【００９７】
得られた予測量子化ステップサイズは、エントロピー符号化器１０３１２によって符号化され、出力される。エントロピー符号化器１０３１２の動作は、第１の実施形態の映像符号化装置における具体的な動作例と同じである。
【００９８】
以上、本例では、量子化ステップサイズの予測に利用する近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する３つの画像ブロックを用いた。しかし、近傍画像ブロックはそれに限定されず、例えば、左、上、左斜め上にそれぞれ隣接する画像ブロックを用い、（６）式の代わりに、以下の（８）式によって予測量子化ステップサイズを求めてもよい。
【００９９】
pQ(X) = Median(Qds(A), Qds(B), Qds(D))                 ・・・（８）
【０１００】
ただし、ＤはブロックＸに対して左斜め上に隣接しブロック座標 (x(X)-１, y(X)-１)に位置するブロックである。
【０１０１】
また、予測に用いる画像ブロックは、３つではなく任意の個数であってよく、また、予測に用いる演算として、中間値ではなく例えば平均値などを用いてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。また、さらに、予測に用いる画像ブロックは、空間近傍すなわち同一画像フレーム内の画像ブロックに限定されず、時間近傍すなわち既に符号化された他の画像フレーム内の画像ブロックであってもよいし、他の任意の近傍画像ブロックであってもよい。
【０１０２】
また、本例では、符号化対象画像ブロックと予測に用いる画像ブロックとが同じ固定サイズである場合を仮定した。しかし、本発明は、符号化の単位となる画像ブロックが固定サイズである場合に限定されず、符号化の単位となる画像ブロックが可変サイズであり、符号化対象画像ブロックと予測に用いる画像ブロックとが互いに異なるサイズであってもよい。
【０１０３】
また、本例では、水平方向Ｎ個×垂直方向Ｎ個の計Ｎ２個のブロックごとに、最も左上の１個の量子化ステップサイズを選択して量子化ステップサイズ代表値としたが、本発明はそれに限定されず、任意のサンプリング位置から１個の量子化ステップサイズを選択してもよい。あるいは、任意のサンプリング位置から複数の量子化ステップサイズを選択し、その平均値を量子化ステップサイズ代表値としてもよい。たとえば、（７）式の代わりに、以下の（９）式によって量子化ステップサイズ代表値を求めてもよいし、さらには中間値演算など、平均値演算以外の任意の演算を用いてもよい。
【０１０４】
【数１】
2013001729.tif 000003
【０１０５】
また、本例では、水平方向のダウンサンプリングと垂直方向のダウンサンプリングを同じ倍率で行ったが、水平方向と垂直方向で異なる倍率を用いてもよい。あるいは、水平方向と垂直方向のいずれか一方向のみダウンサンプリングを行うようにしてもよい。さらには、他の任意の方法によりダウンサンプリングを行うようにしてもよい。
【０１０６】
以上で、本発明の第３の実施形態の映像符号化装置の説明を終了する。
【０１０７】
実施形態４．
本発明の第４の実施形態の映像復号装置は、本発明の第２の実施形態の映像復号装置と同様に、図２０に示されるように、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７と、ビットストリームバッファ２０８とを備える。しかし、可変長復号器２０１に含まれている量子化ステップサイズ復号器の構成は、図２１及び図３に示された構成とは異なる。
【０１０８】
図６は、本発明の第４の実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。図６に示されるように、本実施形態の映像符号化装置の可変長復号器２０１において量子化ステップサイズの復号を行う量子化ステップサイズ復号器は、図３に示した第２の実施形態の映像復号装置における量子化ステップサイズ復号器と比較すると、量子化ステップサイズダウンサンプリング器２０１１４および量子化ステップサイズアップサンプリング器２０１１５を含む点が異なる。
【０１０９】
予測量子化ステップサイズ生成器２０１１３およびエントロピー復号器２０１１１の動作は、第２の実施形態の映像復号装置における量子化ステップサイズ復号器の動作と同じであるため、ここでは説明を省略する。
【０１１０】
量子化ステップサイズダウンサンプリング器２０１１４は、過去に復号済みの量子化ステップサイズを所定の方法に基づいてダウンサンプリングして、量子化ステップサイズバッファ２０１１２に供給する。
【０１１１】
量子化ステップサイズバッファ２０１１２は、量子化ステップサイズダウンサンプリング器２０１１４より供給される、ダウンサンプリングされた過去の復号済み量子化ステップサイズを蓄積し、保持する。
【０１１２】
量子化ステップサイズアップサンプリング器２０１１５は、量子化ステップサイズバッファ２０１１２から、ダウンサンプリングされた過去の復号済み量子化ステップサイズを取り出し、所定の方法に基づいてアップサンプリングして、予測量子化ステップサイズ生成器２０１１３に供給する。
【０１１３】
予測量子化ステップサイズ生成器２０１１３は、ブロックＸの予測量子化ステップサイズpQ(X)を、上記の（６）式または（８）式により求める。
【０１１４】
このように構成することによって、本実施形態の映像復号装置は、第２の実施形態の映像符号化装置と比較すると、量子化ステップサイズバッファの所要容量を削減できる。その結果、映像符号化装置において、量子化ステップサイズを変動させるための所要メモリサイズの増大をさらに抑制できる。
【０１１５】
実施形態５．
図７は、本発明の第５の実施形態の映像符号化装置の構成を示すブロック図である。また、図８は、本実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。
【０１１６】
図７に示されるように、本実施形態の映像符号化装置は、第３の実施形態の映像符号化装置（図１８参照）と比較すると、量子化ステップサイズダウンサンプリング制御器１１２および多重化器１１３を含む点が異なる。さらに、図８に示されるように、本実施形態の映像符号化装置の可変長符号化器１０３において量子化ステップサイズの符号化を行う量子化ステップサイズ符号化器は、図４に示された量子化ステップサイズ符号化器と比較すると、量子化ステップサイズダウンサンプリング器１０３１４及び量子化ステップサイズアップサンプリング器１０３１５に対して、図７に示される量子化ステップサイズダウンサンプリング制御器１１２から量子化ステップサイズダウンサンプリングパラメータが供給される点が、第３の実施形態とは異なる。
【０１１７】
量子化ステップサイズダウンサンプリング制御器１１２は、量子化ステップサイズダウンサンプリング器１０３１４におけるダウンサンプリング動作及び量子化ステップサイズアップサンプリング器１０３１５におけるアップサンプリング動作を規定する制御情報を、可変長符号化器１０３及び多重化器１１３に供給する。量子化ステップサイズのダウンサンプリング動作及びアップサンプリング動作を規定する制御情報を、量子化ステップサイズダウンサンプリングパラメータと呼ぶ。量子化ステップサイズダウンサンプリングパラメータは、ダウンサンプリングの粒度を表す数Ｎの値を含む。
【０１１８】
多重化器１１３は、可変長符号化器１０３より供給される映像ビットストリームに、上記量子化ステップサイズダウンサンプリングパラメータを多重化して、ビットストリームとして出力する。
【０１１９】
量子化ステップサイズダウンサンプリング器１０３１４は、符号化済みの画像ブロックに対して割り当てた量子化ステップサイズを、量子化ステップサイズダウンサンプリングパラメータによって規定される方法に基づいてダウンサンプリングして、量子化ステップサイズバッファ１０３１１に供給する。
【０１２０】
量子化ステップサイズアップサンプリング器１０３１５は、量子化ステップサイズバッファ１０３１１から、ダウンサンプリングされた過去の符号化済み画像ブロックに対する量子化ステップサイズを取り出し、量子化ステップサイズダウンサンプリングパラメータによって規定される方法に基づいてアップサンプリングして、予測量子化ステップサイズ生成器１０３１３に供給する。
【０１２１】
このように構成することによって、本実施形態の映像符号化装置は、第１の実施形態の映像符号化装置と比較すると、量子化ステップサイズバッファの所要容量を削減できる。また、本実施形態の映像符号化装置は、第３の実施形態の映像符号化装置と比較すると、符号化対象量子化ステップサイズと予測に用いる量子化ステップサイズとの相関性の低下を抑えるよう、ダウンサンプリングの粒度を制御できる。よって、量子化ステップサイズの符号化に要する符号量を削減することができる。すなわち、本実施形態の映像符号化装置は、第１及び第３の実施形態の映像符号化装置と比較すると、量子化ステップサイズバッファの所要容量の削減量と、量子化ステップサイズの符号化に要する符号量の削減量との間のバランスを最適化できる。その結果、量子化ステップサイズ変動に伴う所要メモリサイズの増大を抑制できる。
【０１２２】
上述した第５の実施形態の映像符号化装置の具体的な動作を、具体例を用いて以下で説明する。
【０１２３】
本例では、量子化ステップサイズ符号化器は、第３の実施形態の映像符号化装置の具体的な動作の例と同様の動作を行う。ただし、上述した（７）式または（９）式におけるダウンサンプリングの粒度を表す数Ｎは、量子化ステップサイズダウンサンプリング制御器１１２より供給される。
【０１２４】
多重化器１１３は、上述したＮの値を、例えば、temporal_qp_buffer_decimation_depth = log２Nとするとき、非特許文献１の”Specification of syntax functions, categories, and descriptors”の記述に準じ、図９に示すリストに例示されるように、ヘッダ情報の一部としてビットストリームに多重化する。
【０１２５】
なお、本実施例では、ダウンサンプリングの粒度を表す数Ｎの値を量子化ステップサイズダウンサンプリングパラメータとして用いたが、本発明はそれに限定されず、他の任意のパラメータを量子化ステップサイズダウンサンプリングパラメータとして用いてもよい。例えば、水平方向Ｎ個×垂直方向Ｎ個の計Ｎ２個のブロックごとにいずれか一つの量子化ステップサイズを量子化ステップサイズ代表値として選択する際のサンプリング位置を量子化ステップサイズダウンサンプリングパラメータとして用いてもよいし、あるいは、複数の量子化ステップサイズを用いて量子化ステップサイズ代表値を生成する際の演算の種類を表す情報を量子化ステップサイズダウンサンプリングパラメータとして用いてもよい。
【０１２６】
実施形態６．
図１０は、本発明の第６の実施形態の映像復号装置の構成を示すブロック図である。また、図１１は、本実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。図１０に示されるように、本実施形態の映像復号装置は、第４の実施形態の映像復号装置（図２０参照）と比較すると、多重化解除器２０９および量子化ステップサイズダウンサンプリング制御器２１０を含む点が異なる。さらに、図１１に示されるように、本実施形態の映像復号装置の可変長復号器２０１において量子化ステップサイズの復号を行う量子化ステップサイズ復号器は、図６に示された量子化ステップサイズ復号器と比較すると、量子化ステップサイズダウンサンプリング器２０１１４及び量子化ステップサイズアップサンプリング器２０１１５に対して、図１０に示される量子化ステップサイズダウンサンプリング制御器２１０から量子化ステップサイズダウンサンプリングパラメータが供給される点が、第４の実施形態とは異なる。
【０１２７】
多重化解除器２０９は、ビットストリームバッファ２０８より供給される映像ビットストリームの多重化を解除して、映像ビットストリームと、量子化ステップサイズダウンサンプリング器２０１１４におけるダウンサンプリング動作及び量子化ステップサイズアップサンプリング器２０１１５におけるアップサンプリング動作を規定する制御情報とを抽出する。量子化ステップサイズのダウンサンプリング動作及びアップサンプリング動作を規定する制御情報を、量子化ステップサイズダウンサンプリングパラメータと呼ぶ。上述したように、量子化ステップサイズダウンサンプリングパラメータは、ダウンサンプリングの粒度を表す数Ｎの値を含む。
【０１２８】
量子化ステップサイズダウンサンプリング器２０１１４は、過去に復号済みの量子化ステップサイズを、量子化ステップサイズダウンサンプリングパラメータによって規定される方法に基づいてダウンサンプリングして、量子化ステップサイズバッファ２０１１２に供給する。
【０１２９】
量子化ステップサイズアップサンプリング器２０１１５は、量子化ステップサイズバッファ２０１１２から、ダウンサンプリングされた過去の復号済み画像ブロックに対する量子化ステップサイズを取り出し、量子化ステップサイズダウンサンプリングパラメータによって規定される方法に基づいてアップサンプリングして、予測量子化ステップサイズ生成器２０１１３に供給する。
【０１３０】
予測量子化ステップサイズ生成器２０１１３は、ブロックＸの予測量子化ステップサイズpQ(X)を、上記の（６）式または（８）式により求める。
【０１３１】
このように構成することによって、本実施形態の映像復号装置は、第２の実施形態の映像復号装置と比較すると、量子化ステップサイズバッファの所要容量を削減できる。また、本実施形態の映像復号装置は、第４の実施形態の映像復号装置と比較すると、復号対象量子化ステップサイズと予測に用いる量子化ステップサイズとの相関性の低下を抑える制御のもとでダウンサンプリングを行うことができる。よって、さらに少ない符号量を受信するだけで量子化ステップサイズを復号できる。すなわち、本実施形態の映像復号装置は、第２及び第４の実施形態の映像復号装置と比較すると、量子化ステップサイズバッファの所要容量の削減量と、量子化ステップサイズの復号に伴う受信符号量の削減量との間のバランスを最適化できる。その結果、量子化ステップサイズ変動に伴う所要メモリサイズの増大を抑制できる。
【０１３２】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１３３】
図１２に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３及びビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１３４】
図１２に示された情報処理システムにおいて、プログラムメモリ１００２には、図１８、図２０、図７、図１０のそれぞれに示された各ブロック（図１、図３、図４、図６、図８、図１１に示された各ブロックを含む。また、バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１８、図２０、図７、図１０および図１、図３、図４、図６、図８、図１１のそれぞれに示された映像符号化装置又は映像復号装置の機能を実現する。
【０１３５】
図１３は、本発明による映像符号化装置における特徴的な構成要素を示すブロック図である。図１３に示すように、本発明による映像符号化装置は、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化部１１と、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング部１２とを備え、量子化ステップサイズ符号化部１１は、量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するように構成される。
【０１３６】
映像符号化装置は、さらに、所定の動作パラメータに基づいて量子化ステップサイズダウンサンプリング部１２の動作を制御する量子化ステップサイズダウンサンプリング制御部１３と、圧縮符号化された映像ビットストリームと量子化ステップサイズダウンサンプリング部１２の動作パラメータの少なくとも一部とを多重化する多重化部１４とを備えていてもよい。
【０１３７】
図１４は、本発明による映像復号装置における特徴的な構成要素を示すブロック図である。図１４に示すように、本発明による映像復号装置は、逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号部２１と、復号済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリングを行って量子化ステップサイズ代表値を生成する量子化ステップサイズダウンサンプリング部２２とを備え、量子化ステップサイズ復号部２１は、量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するように構成される。
【０１３８】
映像復号装置は、さらに、所定の動作パラメータに基づいて量子化ステップサイズダウンサンプリング部２２の動作を制御する量子化ステップサイズダウンサンプリング制御部２３と、量子化ステップサイズダウンサンプリング部１２の動作パラメータの少なくとも一部を含むビットストリームの多重化を解除する多重化解除部２４とを備えていてもよい。
【０１３９】
図１５は、本発明による映像符号化方法における特徴的なステップを示すフローチャートである。図１５に示すように、映像符号化方法は、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成するステップＳ１１と、量子化の粒度を制御する量子化ステップサイズを符号化するときに量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するステップＳ１２とを含む。
【０１４０】
図１６は、本発明による映像復号方法における特徴的なステップを示すフローチャートである。図１６に示すように、映像復号方法は、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成するステップＳ２１と、量子化の粒度を制御する量子化ステップサイズを復号するときに量子化ステップサイズ代表値を用いて量子化ステップサイズを予測するステップＳ２２とを含む。
【０１４１】
上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
【０１４２】
（付記１）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成し、前記量子化の粒度を制御する量子化ステップサイズを符号化するときに、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測することを特徴とする映像符号化方法。
【０１４３】
（付記２）付記１の映像符号化方法であって、前記量子化ステップサイズ代表値として、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる映像符号化方法。
【０１４４】
（付記３）付記１の映像符号化方法であって、前記量子化ステップサイズ代表値として、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる映像符号化方法。
【０１４５】
（付記４）付記１から付記３のいずれかの映像符号化方法であって、所定の動作パラメータに基づいて前記ダウンサンプリング処理の動作制御を行い、圧縮符号化された映像ビットストリームと前記ダウンサンプリング処理の動作パラメータの少なくとも一部とを多重化する映像符号化方法。
【０１４６】
（付記５）付記４の映像符号化方法であって、動作パラメータは、少なくともダウンサンプリングの倍率を含む映像符号化方法。
【０１４７】
（付記６）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成し、前記量子化の粒度を制御する量子化ステップサイズを復号するときに、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測することを特徴とする映像復号方法。
【０１４８】
（付記７）付記６の映像復号方法であって、前記量子化ステップサイズ代表値として、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる映像復号方法。
【０１４９】
（付記８）付記６の映像復号方法であって、前記量子化ステップサイズ代表値として、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いる映像復号方法。
【０１５０】
（付記９）付記６から付記８のいずれかの映像復号方法であって、動作パラメータの少なくとも一部を含むビットストリームの多重化を解除し、前記動作パラメータに基づいて前記ダウンサンプリング処理の動作制御を行う映像復号方法。
【０１５１】
（付記１０）付記９の映像復号方法であって、動作パラメータは、少なくともダウンサンプリングの倍率を含む映像復号方法。
【０１５２】
（付記１１）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置における映像符号化プログラムであって、コンピュータに、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成する処理と、前記量子化の粒度を制御する量子化ステップサイズを符号化するときに、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理とを実行させるための映像符号化プログラム。
【０１５３】
（付記１２）付記１１の映像符号化プログラムであって、コンピュータに、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理を実行させるための映像符号化プログラム。
【０１５４】
（付記１３）付記１１の映像符号化プログラムであって、コンピュータに、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理を実行させるための映像符号化プログラム。
【０１５５】
（付記１４）付記１１から付記１３のいずれかの映像符号化プログラムであって、コンピュータに、所定の動作パラメータに基づいて前記ダウンサンプリング処理を行わせ、圧縮符号化された映像ビットストリームと前記ダウンサンプリング処理の動作パラメータの少なくとも一部とを多重化する処理を実行させるための映像符号化プログラム。
【０１５６】
（付記１５）付記１４の映像符号化プログラムであって、コンピュータに、動作パラメータとして、少なくともダウンサンプリングの倍率を使用して前記ダウンサンプリング処理を行わせるための映像符号化プログラム。
【０１５７】
（付記１６）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置における映像復号プログラムであって、コンピュータに、符号化済みの一つまたは複数の量子化ステップサイズに対してダウンサンプリング処理を行って量子化ステップサイズ代表値を生成する処理と、前記量子化の粒度を制御する量子化ステップサイズを復号するときに、前記量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理とを実行させるための映像復号プログラム。
【０１５８】
（付記１７）付記１６の映像復号プログラムであって、コンピュータに、少なくともフレーム内の符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理を実行させるための映像復号プログラム。
【０１５９】
（付記１８）付記１６の映像復号プログラムであって、コンピュータに、少なくとも異なるフレームにおける符号化済み量子化ステップサイズより生成された量子化ステップサイズ代表値を用いて該量子化ステップサイズを予測する処理を実行させるための映像復号プログラム。
【０１６０】
（付記１９）付記１６から付記１８のいずれかの映像復号プログラムであって、コンピュータに、動作パラメータの少なくとも一部を含むビットストリームの多重化を解除する処理を実行させ、前記動作パラメータに基づいて前記ダウンサンプリング処理を行わせるための映像復号プログラム。
【０１６１】
（付記２０）付記１９の映像復号プログラムであって、コンピュータに、動作パラメータとして、少なくともダウンサンプリングの倍率を使用して前記ダウンサンプリング処理を行わせるための映像復号プログラム。
【０１６２】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１６３】
この出願は、２０１１年６月２８日に出願された日本特許出願２０１１−１４３２４９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１６４】
１１          量子化ステップサイズ符号化部
１２          量子化ステップサイズダウンサンプリング部
１３          量子化ステップサイズダウンサンプリング制御部
１４          多重化部
２１          量子化ステップサイズ復号部
２２          量子化ステップサイズダウンサンプリング部
２３          量子化ステップサイズダウンサンプリング制御部
２４          多重化解除部
１０１        周波数変換器
１０２        量子化器
１０３        可変長符号化器
１０４        量子化制御器
１０５        逆量子化器
１０６        逆周波数変換器
１０７        フレームメモリ
１０８        フレーム内予測器
１０９        フレーム間予測器
１１０        予測選択器
１１１        ビットストリームバッファ
１１２        量子化ステップサイズダウンサンプリング制御器
１１３        多重化器
２０１        可変長復号器
２０２        逆量子化器
２０３        逆周波数変換器
２０４        フレームメモリ
２０５        フレーム内予測器
２０６        フレーム間予測器
２０７        予測選択器
２０８        ビットストリームバッファ
２０９        多重化解除器
２１０        量子化ステップサイズダウンサンプリング制御器
１００１      プロセッサ
１００２      プログラムメモリ
１００３      記憶媒体
１００４      記憶媒体
１０３１１    量子化ステップサイズバッファ
１０３１２    エントロピー符号化器
１０３１３    予測量子化ステップサイズ生成器
１０３１４    量子化ステップサイズダウンサンプリング器
１０３１５    量子化ステップサイズアップサンプリング器
２０１１１    エントロピー復号器
２０１１２    量子化ステップサイズバッファ
２０１１３    予測量子化ステップサイズ生成器
２０１１４    量子化ステップサイズダウンサンプリング器
２０１１５    量子化ステップサイズアップサンプリング器
【図１】
2013001729.tif 000004
【図２】
2013001729.tif 000005
【図３】
2013001729.tif 000006
【図４】
2013001729.tif 000007
【図５】
2013001729.tif 000008
【図６】
2013001729.tif 000009
【図７】
2013001729.tif 000010
【図８】
2013001729.tif 000011
【図９】
2013001729.tif 000012
【図１０】
2013001729.tif 000013
【図１１】
2013001729.tif 000014
【図１２】
2013001729.tif 000015
【図１３】
2013001729.tif 000016
【図１４】
2013001729.tif 000017
【図１５】
2013001729.tif 000018
【図１６】
2013001729.tif 000019
【図１７】
2013001729.tif 000020
【図１８】
2013001729.tif 000021
【図１９】
2013001729.tif 000022
【図２０】
2013001729.tif 000023
【図２１】
2013001729.tif 000024
【国際調査報告】
2013001729.tif 000025
2013001729.tif 000026
2013001729.tif 000027
2013001729.tif 000028