(57)【要約】  【課題】フレーム内符号化処理、フィールド内符号化処理、フレーム内−フィールド内適応符号化処理のいずれかを行う動画像符号化方式において、コードブロック間のコーディングパス数の開きによる画質劣化を解消すること。  【解決手段】入力動画像Ｓ(x,y)はＤＷＴ３で離散ウエーブレット変換され、コードデータとして量子化器４−１に入力される。量子化器４−１とポスト量子化器４−２はレート制御部４として機能し、コードデータのビット数を割り当てビット数に合わせ込む。コードデータのビット数を割り当てビット数に合わせ込むために、コードブロックごとにコーディングパスを切り捨てる際、ビットプレーン数がコードブロック間で均等になるように制御する。この切り捨てはビットプレーン数単位でもコーディングパス数単位でも行える。  【選択図】図１
2005341236.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内符号化処理、フィールド内符号化処理、フレーム内−フィールド内適応符号化処理のいずれかを行う動画像符号化方式において、
符号化を割り当てビット数の範囲内で行うため、コードブロックごとにコーディングパスの切り捨てを行う際に、切り捨てられるビットプレーン数がコードブロック間で均等になるように制御する制御手段を備えたことを特徴とする動画像符号化方式。
【請求項２】
前記制御手段は、さらに、下位のビットプレーンより切り捨てられるコーディングパス数がコードブロック間で均等になるように制御することを特徴とする請求項１に記載の動画像符号化方式。
【請求項３】
前記制御手段は、さらに、下位のビットプレーンよりコードブロック間で均等にコーディングパスを逐次切り捨て、その際に符号化ビット数が割り当てビット数を初めて下回るコーディングパスの位置を探索し、該コーディングパスに対してはコードブロックごとに切り捨てを行って符号化ビット数が割り当てビット数内に収まるように制御することを特徴とする請求項２に記載の動画像符号化方式。
【請求項４】
前記制御手段は、コードブロックごとに切り捨てを行う際に、該当するコーディングパスのレート−歪みの勾配が小さいものから切り捨てることを特徴とする請求項３に記載の動画像符号化方式。
【請求項５】
前記制御手段は、コードブロックごとに切り捨てを行う際に、該当するコーディングパスの切り捨てに伴い発生する歪み量が小さいものから切り捨てることを特徴とする請求項３に記載の動画像符号化方式。
【請求項６】
前記制御手段は、１画面単位あるいは１画面を複数に分割したセグメント単位で制御を行うことを特徴とする請求項１ないし５のいずれかに記載の動画像符号化方式。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化方式に関し、特に、フレーム内符号化処理、フィールド内符号化処理、フレーム内−フィールド内適応符号化処理のいずれかを行う動画像符号化方式において、コードブロック間のコーディングパス数の開きによる画質劣化を解消できる動画像符号化方式に関する。
【背景技術】
【０００２】
図５は、静止画像を対象とした従来の画像符号化方式を示すブロック図である。画像Ｓ(x,y)はフレームメモリ１とコードタイプ決定部２に入力される。フレームメモリ１から読み出された画像Ｓ(x,y)は離散ウエーブレット変換部(DWT)３に入力される。コードタイプ決定部２は、処理効率を考慮してフレームとフィールドのいずれの処理単位で離散ウエーブレット変換するか、つまりフレーム内符号化処理を行うかフィールド内符号化処理を行うかフレーム内−フィールド内適応符号化処理を行うかを決定する。ＤＷＴ３は、フレームメモリ１から入力された画像Ｓ(x,y)をコードタイプ決定部２で決定された処理単位で離散ウエーブレット変換してコードデータ（変換係数）を出力する。
【０００３】
ＤＷＴ３から出力されたコードデータは量子化器４−１に入力される。量子化器４−１はポスト量子化器４−２とともにレート制御部４として機能し、入力されたコードデータのビット数を回線速度で決まる目標ビット数に合わせ込む。パケット化部５は目標ビット数に合わせ込まれたコードデータをパケット化して回線に送出する。
【０００４】
図６は、JPEG2000(静止画像符号化)の場合のポスト量子化器４−２での処理の概念を示す図である。量子化器４−１は目標ビット数より若干多目のビット数のコードデータを出力する。ポスト量子化器４−２は算術符号化器を有し、目標ビット数に合わせ込まれたビット数のコードデータを出力する。
【０００５】
図６に示すように、１つのコードブロックについて量子化器４−１から出力されるコードデータのビットプレーンＬＳＢ〜ＭＳＢをplane０，plane２，・・・，planeＭ−２，planeＭ−１とすると、ポスト量子化器４−２は、ビットプレーンplane０に対するコードデータＰ０，１，Ｐ０，２，Ｐ０，３、・・・、ビットプレーンplaneＭ−２に対するコードデータＰＭ−２，１，ＰＭ−２，２，ＰＭ−２，３、ビットプレーンplaneＭ−１に対するコードデータＰＭ−１，１，ＰＭ−１２，２，ＰＭ−１，３を算出する。ここで、Ｐｍ，ｋは、各ビットプレーンでのコーディングパスｋ(ｋ＝１：Significance pass ，ｋ＝２：Refinement pass ，ｋ＝３：Cleanup pass)のコードデータを表す。
【０００６】
さらに、ポスト量子化器４−２は、コーディングパス単位(k＝1,2,3)で３段階に、ＬＳＢ側から順にビットプレーンを切り捨てることによりコードデータのビット数を目標ビット数に合わせ込む。ポスト量子化器４−２での切り捨ての規範としてはＭＳＥ(平均自乗誤差)最小化を用いるのが一般的である。
【０００７】
図７は、４つのコードブロックについて従来のレート制御によりコードデータを目標ビット数に合わせ込む概念を示す図である。図７では上側になるほど上位のビットプレーンを表し、各コードブロックにおいて網目部分より下位側のビットプレーンがコーディングパス単位で切り捨てられることを表している。
【０００８】
切り捨てに際しては、Ｒ−Ｄ(レート−歪)勾配最大化を規範とし、Ｒ−Ｄ勾配の値が小さいコードブロックのコーディングパスから、つまり、そのコードブロックのコーディングパスを切り捨てても歪み発生が少ないコードブロックのコーディングパスから順に切り捨てる。
【０００９】
これにより目標ビット数に合わせ込まれたコードデータは、ＭＳＥを最小化するものであるが、サブバンド内でコードブロックごとに符号化されたコーディングパス数に開きがある。このとき、実効的な量子化ステップサイズq_ step_ sizeは、下記(1)式で表される。なお、Δは量子化器４−１による量子化ファクタである。また、ｎＬはポスト量子化器４−２で切り捨てられたビットプレーン数であり、コードブロックごとにまちまちな値になる。
q_ step_ size＝Δ×２ｎＬ                                            (1)
【特許文献１】特開２００３−１５３２２８号公報
【特許文献２】特開２００２−１６５０９８号公報
【特許文献３】特開２００１−１１２００４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記の従来のレート制御は、静止画像に対しては良好な結果を与えるが、コードブロック間で切り捨てられたコーディングパス数に開きがあるため、これを動画像に適用すると空間的に意図しない画質変動(フリッカ)が生じ、主観的画質が劣化されるという課題がある。
【００１１】
本発明の目的は、フレーム内またはフィールド内適応符号化処理を行う動画像符号化方式において、コードブロック間のコーディングパス数の開きによる画質劣化を解消できる動画像符号化方式を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明は、フレーム内符号化処理、フィールド内符号化処理、フレーム内−フィールド内適応符号化処理のいずれかを行う動画像符号化方式において、符号化を割り当てビット数の範囲内で行うため、コードブロックごとにコーディングパスの切り捨てを行う際に、切り捨てられるビットプレーン数がコードブロック間で均等になるように制御する制御手段を備えた点に第１の特徴がある。
【００１３】
また、本発明は、前記制御手段が、さらに、下位のビットプレーンより切り捨てられるコーディングパス数がコードブロック間で均等になるように制御する点に第２の特徴がある。
【００１４】
また、本発明は、前記制御手段が、さらに、下位のビットプレーンよりコードブロック間で均等にコーディングパスを逐次切り捨て、その際に符号化ビット数が割り当てビット数を初めて下回るコーディングパスの位置を探索し、該コーディングパスに対してはコードブロックごとに切り捨てを行って符号化ビット数が割り当てビット数内に収まるように制御する点に第３の特徴がある。
【００１５】
また、本発明は、前記制御手段が、コードブロックごとに切り捨てを行う際に、該当するコーディングパスのレート−歪みの勾配が小さいものから切り捨てる点に第４の特徴がある。
【００１６】
また、本発明は、前記制御手段が、コードブロックごとに切り捨てを行う際に、該当するコーディングパスの切り捨てに伴い発生する歪み量が小さいものから切り捨てる点に第５の特徴がある。
【００１７】
さらに、本発明は、前記制御手段が、１画面単位あるいは１画面を複数に分割したセグメント単位で制御を行う点に第６の特徴がある。
【発明の効果】
【００１８】
本発明の第１の特徴によれば、切り捨てられるビットプレーン数がコードブロック間で均等になるので、動画像符号化の際に意図しない画質変動(フリッカ)が生じなく、主観的画質の劣化が防止される。
【００１９】
また、第２の特徴によれば、コーディングパス数単位で切り捨てが行われるので、ビットプレーン数単位で切り捨てを行う場合に比べて高精度の符号量制御が可能になる。
【００２０】
また、第３の特徴によれば、各コードブロックでコーディングパスを均等に切り捨てた結果、割り当てビット数までに多少の空きがある場合、下位のビットプレーンのコードデータをコードブロックごとに選択して割り当てビット数に合わせ込むので、さらに高精度の符号量制御が可能になる。
【００２１】
また、第４および第５の特徴によれば、画質の歪み少なくしてコードブロックごとの切り捨てを行うことができる。
【００２２】
さらに、第６の特徴によれば、セグメント単位での処理とすることにより高画質化とともに低遅延の符号化が可能になる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明を説明する。図１は、本発明に係る動画像符号化方式を示すブロック図であり、バッファ６をレート制御部４とパケット化部５の間に備える点、レート制御手法において従来の方式と異なる。
【００２４】
ＤＷＴ変換符号化におけるサブバンドは周波数成分を示し、サブバンドごとにピクチャレベルで量子化精度を変えるようにすれば主観画質の劣化を防ぎつつ、レート制御できるという点にかんがみ、本発明では、まず、量子化器４−１でサブバンドごとに異なる量子化ファクタで量子化してコードデータのビット数を目標ビット数を若干上回るように制御する。
【００２５】
サブバンドごとに異なるファクタをdqt[band]とし、各サブバンドに一律に適用される重み係数をcqとすると、量子化器４−１は下記(2)式で表される量子化ファクタdelta[band]で量子化する。重み係数cqの決定手法については後述する。
delta[band]＝dqt[band]×cq                                         (2)
【００２６】
次に、ポスト量子化器４−２において、ビットプレーンの下位、つまり比較的重要でないビットプレーンから順にコーディングパスを切り捨ててコードデータのビット数を目標ビット数へ合わせ込む。ここで切り捨てるコーディングパス数は全コードブロックで同一とする。なお、コーディングパスの切り捨ては、コードブロック間のコーディングパスが均等になるようにビットプレーン数単位で行ってもよいが、これをコーディングパス数単位で行えば、より高精度に符号量を制御できる。
【００２７】
以上のように、本発明に係る動画像符号化方式は、コードブロックごとにコーディングパスの切り捨てを行う際に、切り捨てられるビットプレーン数がコードブロック間で均等になるように制御することを基本としている。これによりコードブロック間の量子化誤差が均等になり、主観画質の低下を防止できる。
【００２８】
以下に、本発明を具体化した第１の実施形態について説明する。本発明は動画像を符号化の対象としており、動画像ではピクチャ１枚ごとに符号化ビット数が異なるので、回線に送出する符号化ビット数を一定にして低遅延のＣＢＲ(constant bit rate)符号化を実現するためにはバッファモデルの導入が必須であり、そのためにバッファ６を備えている。
【００２９】
図２は、本発明におけるレート制御の手順を示すフローチャートである。まず、ＣＢＲ符号化を実現するために今回のフレームあるいはフィールドに何ビットを与えればいいかの目標符号化ビット数を算出する（Ｓ１）。次に、この目標符号化ビット数を若干上回るビット数が得られるように重み係数cqを算出（Ｓ２）する。次に、量子化器４−１でコードデータを量子化する（Ｓ３）。最後に、ポスト量子化によりコードデータのビット数をを目標符号化ビット数へ合わせ込む（Ｓ４）。以上のＳ１〜Ｓ４の処理が１ピクチャ分の処理に相当し、これを繰り返し実行する。
【００３０】
Ｓ１での目標符号化ビット数の算出は以下のようにしてできる。バッファモデル上で、当該ピクチャｔの引き抜きが開始される際のバッファ占有量の理想値に対する差をDiff(t)とおくと、Diff(t)は下記(3)式で表される。なお、先頭のピクチャをｔ＝０とする。
【００３１】
【数１】
2005341236.tif 000003
【００３２】
ここで、Ｂはビットレート(bit_rate)／ピクチャレート(picture_rate)であり、例えばテレビの動画像を50Mbpsの回線に送出するものとすると834,167bitとなる。ｖ０は先頭ピクチャの引き抜きが開始される際のバッファ占有量であり、ｖＴは理想とするバッファ占有量である。
【００３３】
Diff(t)を後続のＬｗ枚のピクチャ符号化により吸収するという目標をおき、当該ピクチャｔの符号化ビット数Ｒ(t)を下記(4)式で算出する。算出された符号化ビット数Ｒ(t)が当該ピクチャｔの目標符号化ビット数となる。ここでＬｗはレート制御のウインドウ長を意味し、例えばピクチャ枚数15に設定する。
【００３４】
【数２】
2005341236.tif 000004
【００３５】
また、Ｓ２での重み係数cqの算出は以下のようにしてできる。まず、重み係数cqの初期値として従来と同様の固定値を与える。それ以後はピクチャに対して行ったレート制御の結果を基に、サブバンドごとの重み係数を一律にしたまま発生符号ビット数に応じて重み係数cqの更新を行う。
【００３６】
当該ピクチャｔにおける切り捨てコーディングパス数npと該コーディングパス数npに対する総符号化ビット数ｒ(t,np)の実測結果より、均等にどれだけコーディングパス数を切り捨てれば発生ビットがいくつになるかの統計が得られるので、それを基に最小二乗法を用いて、切り捨てられるコーディングパス数npに相当する量子化ステップサイズｘと発生ビット数ｙの関係を表す関数ｆを下記(5)式で定義する。
【００３７】
【数３】
2005341236.tif 000005
【００３８】
次に、次のピクチャ(t+1)を符号化する際に、上記(4)式で算出した符号化ビット数Ｒ(t+1)を達成するために重み係数cq(t+1)をいくつにすべきかを算出する。そのために、まず、上記(5)式で定義した関数ｆを用いて下記(6)式により目標量子化ステップサイズｘＴを求め、続いて、重み係数cq(t)更新後の重み係数cq(t+1)を下記(7)式により求める。
【００３９】
なお、下記(7)式において目標量子化ステップサイズｘＴにかかる係数1/2は発生ビット数が目標符号化ビット数より若干上回るようにして割り当てビット数の不足を防止するためのものである。このようにすることにより重み係数cqはnp＝3を基準に更新され、ｘＴ＝2である場合に限り更新されない。
【００４０】
【数４】
2005341236.tif 000006
【００４１】
【数５】
2005341236.tif 000007
【００４２】
上記のようにして、量子化器４−１は、符号化ビット数Ｒ(t)より若干上回るビット数になるようにコードデータを量子化する（Ｓ３）。その後、ポスト量子化器４−２が目標符号化ビット数への合わせ込みを行う（Ｓ４）。目標符号化ビット数への合わせ込みは、コーディングパス数npの選択により行う。ここで、コーディングパス数npは全てのコードブロックで同一とする。
【００４３】
当該ピクチャｔに対し、コーディングパス数npに対する総符号化ビット数ｒ(t,np)は予め算出可能であるので、｜ｒ(t,np)−R(t)｜を最小とするコーディングパス数npを選択すればよい。
【００４４】
図３は、本発明におけるレート制御により４つのコードブロックについてのコードデータを目標符号化ビット数に合わせ込む概念を示している。図７の従来のレート制御と異なり、割り当てられたビット数の範囲内で各コードブロックに共通の切り捨てコーディングパス数npを決定する。
【００４５】
上記第１の実施形態は、画面(ピクチャ)単位で符号化処理し、１画面全体の符号化処理を待って伝送するものであるが、伝送までの遅延を少なくするために１画面全体の処理を待たずに伝送し得るようにした第２の実施形態について以下に説明する。
【００４６】
第２の実施形態では、走査方向に画面を複数のセグメント(タイル)に分割し、セグメント単位で符号化処理を行う。これにより１つのセグメントの処理が終わればその時点で当該セグメントについてのコードデータを伝送することができるので遅延を少なくすることができる。図４はその概念を示し、同図（ａ）は１画面単位で符号化処理を行う場合、同図（ｂ）はセグメント単位で符号化処理を行う場合を示している。
【００４７】
セグメント単位での符号化処理について具体的に説明すると、符号化ビット数Ｒ(t)の算出および重み係数cqの更新はピクチャレベルで行うので、第１の実施形態と何ら変わりなく行うことができる。ピクチャレベルで更新された重み係数cqは、タイル化歪みを抑制するために全タイルに共通に適用することとする。
【００４８】
また、ポスト量子化では、下記(8)式により符号化ビット数Ｒ(t+1)を各タイルに分配した上で、各タイルで独立に切り捨てコーディングパス数npを決定する。
【００４９】
【数６】
2005341236.tif 000008
【００５０】
ここでは、タイルを0 〜cnt-1に分割するものとし、各タイルに分配される符号化ビット数をＲ(t+1)[tile]、各タイルにおけるコーディングパス数npに対する総符号化ビット数をｒ(t,np)[tile]で表している。
【００５１】
以上、実施形態を説明したが、本発明は種々の変形が可能である。例えば、各コードブロックでコーディングパスを均等に切り捨てた結果、目標ビット数までに多少の空きがある場合、さらに下位のビットプレーンのコードデータをコードブロックごとに選択して目標ビット数に合わせ込むようにしてもよく、これにより高精度に符号量を制御できる。これは、下位のビットプレーンよりコードブロック間で均等にコーディングパスを逐次切り捨て、その際に符号化ビット数が目標ビット数を初めて下回るコーディングパスの位置を探索し、そのコーディングパスに対してはコードブロックごとに切り捨てを行って符号化ビット数が目標ビット数内に収まるように制御することにより実現できる。
【００５２】
その場合のコードブロックごとに切り捨ては、コーディングパスのレート−歪みの勾配が小さいものから切り捨て、あるいは切り捨てに伴い発生する歪み量が小さいものから切り捨てるようにすればよい。
【００５３】
本発明は、Motion JPEG2000などHDTVを含む高精細動画像の符号化を扱うシステム、例えば放送局向け映像サービスやFTTHなどのブロードバンド系映像サービスなどに適用可能であり、高画質の動画像伝送システムの実現を可能にする。
【図面の簡単な説明】
【００５４】
【図１】本発明に係る動画像符号化方式を示すブロック図である。
【図２】本発明におけるレート制御の手順を示すフローチャートである。
【図３】本発明における目標符号化ビット数への合わせ込みの概念を示す図である。
【図４】画面(ピクチャ)単位での符号化処理とセグメント単位での符号化処理の説明図である。
【図５】従来の画像符号化方式を示すブロック図である。
【図６】図５のポスト量子化器での処理の概念を示す図である。
【図７】従来のレート制御による目標ビット数への合わせ込みの概念を示す図である。
【符号の説明】
【００５５】
１・・・フレームメモリ、２・・・コードタイプ決定部、３・・・離散ウエーブレット変換部(DWT)、４・・・レート制御部、４−１・・・量子化器、４−２・・・ポスト量子化器、５・・・パケット化部、６・・・バッファ
【図１】
2005341236.tif 000009
【図２】
2005341236.tif 000010
【図３】
2005341236.tif 000011
【図４】
2005341236.tif 000012
【図５】
2005341236.tif 000013
【図６】
2005341236.tif 000014
【図７】
2005341236.tif 000015