(57)【要約】  動画像符号化装置は動画像復号装置におけるフィルタ処理のためのフィルタ係数を設定し、フィルタ処理における演算の丸めを制御する丸めオフセットを設定する設定部と、フィルタ係数及び丸めオフセットの情報を符号化データとして出力する符号化部とを含む。
2009133938.tif 000002
【特許請求の範囲】
【請求項１】
動画像復号装置におけるフィルタ処理のためのフィルタ係数を設定し、前記フィルタ処理における演算の丸めを制御する丸めオフセットを設定する設定部と、
前記フィルタ係数及び前記丸めオフセットの情報を符号化データとして出力する符号化部と、
を備える動画像符号化装置。
【請求項２】
入力画像信号と予測画像信号とを信号処理して局所復号画像を生成する信号処理部と、
前記動画像復号装置におけるフィルタ処理のために設定された前記フィルタ係数及び前記丸めオフセットを用いて前記局所復号画像にフィルタ処理を行なうフィルタ処理部と、
前記フィルタ処理によって得られる画像を参照画像として蓄積する画像蓄積部と、
蓄積された画像を用いて前記予測画像信号を生成する予測部と、
を備える請求項１の動画像符号化装置。
【請求項３】
前記フィルタ処理部は、前記局所復号画像上でフィルタ処理対象画素の周辺に位置する画素の値の重み付き和に前記丸めオフセットを加えた値に対して整数除算を行なうことによって前記フィルタ処理を行なう、請求項２に記載の動画像符号化装置。
【請求項４】
前記信号処理部は、前記入力画像信号と前記予測画像信号とを信号処理して残差情報を生成し、前記符号化部は前記フィルタ係数及び前記丸めオフセットの情報と共に前記残差情報を符号化して、前記符号化データを出力する、請求項３に記載の動画像符号化装置。
【請求項５】
前記設定部は、フィルタ処理によって得られる画像と入力画像との誤差が少なくなるように前記丸めオフセットを設定する、請求項４に記載の動画像符号化装置。
【請求項６】
前記設定部は、前記入力画像信号と前記局所復号信号を用いてフィルタ係数及び丸めオフセットを求める、請求項５に記載の動画像符号化装置。
【請求項７】
符号化データからフィルタ係数及び丸めオフセットの情報を取得する情報取得部と、
前記符号化データから復号画像信号を生成する信号処理部と、
前記符号化データから得られた前記フィルタ係数及び前記丸めオフセットを用いて前記復号画像信号の復号画像にフィルタ処理を行なうフィルタ処理部と、
を備える動画像復号装置。
【請求項８】
前記フィルタ処理によって得られる画像を参照画像として蓄積する蓄積部と、
蓄積された画像を用いて前記予測画像信号を生成する予測部と、
を備え、
前記信号処理部は前記符号化データと前記予測画像信号を用いて前記復号画像信号を生成する、請求項７の動画像復号装置。
【請求項９】
前記フィルタ処理部は、前記復号画像上でフィルタ処理対象画素の周辺に位置する画素の値の重み付き和に前記丸めオフセットを加えた値に対して整数除算を行なうことによってフィルタ処理を行なう、請求項８に記載の動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号装置で行なわれるフィルタ処理を制御するための情報を符号化データに付加する動画像符号化装置及び符号化データに付加されたフィルタ処理を制御するための情報に基づいて復号画像にフィルタ処理を行なう動画像復号装置に関する。
【背景技術】
【０００２】
復号画像にフィルタ処理した画像を出力する技術として、符号化装置で入力画像と復号画像にフィルタ処理を行うことによって得られる画像との誤差を最小化するようにフィルタを設計し、このフィルタの情報を送信し、復号装置ではそのフィルタ情報を用いて復号画像にフィルタ処理を行うことによって得られる画像を出力する技術がある（S.Wittmann and T.Wedi,“Post-filter SEI message for 4:4:4 coding”,JVT of ISO/IEC MPEG&ITU-T VCEG,JVT-S030,April 2006（以下Wittmannと称する））。これにより、復号装置では入力画像との誤差が少ない出力画像を得ることができる。【０００３】
類似する技術として、Wittmannと同様の処理に加えて復号画像にフィルタ処理を行って得られる画像を予測画像の生成の際に参照画像として用いる方法が考えられる。これにより、参照画像と入力画像との誤差が少なくなるため、次のフレームを予測した際に予測誤差を削減する効果を得ることができる。【０００４】
上記の技術においてフィルタ処理を整数除算によって行なう場合、丸め誤差が生じる。したがって、整数除算によるフィルタ処理によって得られる画像と入力画像との誤差を少なくするためには、フィルタ係数だけでなく丸めについても画像に合わせて制御する必要がある。しかし、広く用いられている四捨五入による丸めでは、画像に合わせて丸めを制御することができない。【０００５】
フィルタ処理の丸め誤差の蓄積を避ける技術として、フィルタ処理の丸めにおいて切り上げ、切り捨てを選択する技術がある（特開平１１−６９３６２公報）。この技術では、符号化装置から復号装置に切り上げ、切り捨てを指定する情報が送信される。但し、選択できるのは切り上げ、切り捨てのみであり、五捨六入のような丸めを行なうことはできない。
【発明の開示】
【０００６】
上述したように、従来技術には画像に合わせて丸めを自由に制御できないという問題がある。
【０００７】
本発明は、画像に合わせて丸めを自由に制御することにより、入力画像と参照画像の誤差及び入力画像と出力画像の誤差を減少させる動画像符号化・復号装置及び方法を提供することを目的とする。
【０００８】
本発明の一態様は、動画像復号装置におけるフィルタ処理のためのフィルタ係数を設定し、前記フィルタ処理における演算の丸めを制御する丸めオフセットを設定する設定部と、
前記フィルタ係数及び前記丸めオフセットの情報を符号化データとして出力する符号化部とを備える動画像符号化装置を提供する。
【０００９】
本発明の他の態様は、符号化データからフィルタ係数及び丸めオフセットの情報を取得する情報取得部と、前記符号化データから復号画像信号を生成する信号処理部と、前記符号化データから得られた前記フィルタ係数及び前記丸めオフセットを用いて前記復号画像信号の復号画像にフィルタ処理を行なうフィルタ処理部とを備える動画像復号装置を提供する。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係わる動画像符号化装置を示すブロック図である。
【図２】第１の実施形態に係わる動画像符号化装置の信号処理器を示すブロック図である。
【図３】第１の実施形態に係わる動画像符号化装置の作用を示すフローチャートである。
【図４】第２の実施形態に係わる動画像復号装置を示すブロック図である。
【図５】第２の実施形態に係わる動画像復号装置の信号処理器を示すブロック図である。
【図６】第２の実施形態に係わる動画像復号装置の作用を示すフローチャートである。
【図７】第３の実施形態に係わる動画像符号化装置を示すブロック図である。
【図８】第４の実施形態に係わる動画像復号装置を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について説明する。
【００１２】
（第１の実施形態）
図１を用いて第１の実施形態に係る動画像符号化装置の構成について説明する。入力画像信号１０１は信号処理器１１０に入力される。信号処理器１１０は予測器１１４から予測画像信号１０８を受け、この予測画像信号１０８と入力画像信号１０１との残差信号を計算し、この残差信号を係数に変換して残差情報１０２を生成する。また、信号処理器１１０は予測画像信号１０８と残差信号から局所復号画像信号１０３を生成する。信号処理器１１０の局所復号画像信号出力端はフレームメモリ１１１に接続され、その残差情報出力端は可変長符号化器１１５に接続される。フレームメモリ１１１は局所復号画像信号１０３を蓄積する。予測器１１４はフレームメモリ１１１に記憶された画像信号から予測画像信号を生成する。
【００１３】
信号処理器１１０は図２に示されているように具体的には減算器１２０，直交変換器１２１，量子化器１２２，逆量子化器１２３，逆直交変換器１２４及び加算器１２５によって構成される。
【００１４】
フレームメモリ１１１はフィルタ・丸めオフセット設計器１１２及びフィルタ処理器１１３に接続される。フィルタ・丸めオフセット設計器１１２は入力画像信号１０１及び局所復号画像信号１０４からフィルタ係数及び丸めオフセットを設計し、フィルタ係数１０５及び丸めオフセット１２６を生成する。フィルタ処理器１１３はフィルタ係数１０５及び丸めオフセット１２６を用いて局所復号画像信号１０４に対してフィルタ処理を行い、画像信号１０６を生成する。
【００１５】
可変長符号化器１１５は、残差情報１０２、フィルタ係数１０５及び丸めオフセット１２６を可変長符号化し、符号化データ１０９を出力する。
【００１６】
上記構成の動画像符号化装置の作用を図３のフローチャートを参照して説明する。
【００１７】
入力画像信号１０１は信号処理器１１０に入力される。信号処理器１１０では、予測画像信号１０８と入力画像信号１０１との残差信号が生成され（Ｓ１１）、残差信号を直交変換した残差情報（例えばＤＣＴ係数）１０２が生成され、出力される（Ｓ１２）。また、予測画像信号１０８と残差信号から局所復号画像信号１０３が生成され、出力される（Ｓ１３）。残差情報１０２は可変長符号化器１１５に入力され、局所復号画像信号１０３はフレームメモリ１１１に蓄積される。
【００１８】
ここで信号処理器１１０の例について図２を用いて説明する。入力画像信号１０１が信号処理器１１０に入力される。入力画像信号１０１は減算器１２０に入力される。減算器１２０では、入力画像信号１０１と予測画像信号１０８の差分をとることにより残差信号１１６が生成される。直交変換器１２１では、残差信号１１６に直交変換が施され、変換係数１１７が生成される。量子化器１２２では変換係数１１７が量子化される。量子化された変換係数は、一方で残差情報１０２として可変長符号化器に入力され、他方で逆量子化器１２３によって逆量子化された後、逆直交変換器１２４で逆直交変換される。加算器１２５では、再生された残差信号１１９と予測画像信号１０８が加算されることによって、局所復号画像信号１０３が生成される。局所復号画像信号１０３はフレームメモリ１１１に記憶される。
【００１９】
フレームメモリ１１１から読み出される局所復号画像信号１０４は、フィルタ・丸めオフセット設計器１１２及びフィルタ処理器１１３に入力される。フィルタ・丸めオフセット設計器１１２では、入力画像信号１０１及び局所復号画像信号１０４から、フィルタ及び丸めオフセットが設計される（Ｓ１４）。即ち、フィルタ・丸めオフセット設計器１１２は動画像復号装置におけるフィルタ処理のためのフィルタ係数の設定及びフィルタ処理演算の丸めを制御する丸めオフセットの設定を行う。フィルタ係数１０５及び丸めオフセット１２６はフィルタ処理器１１３及び可変長符号化器１１５に入力される。
【００２０】
フィルタ・丸めオフセット設計器１１２においてフィルタが設計されると、フィルタ処理が行われる。即ち、フィルタ処理器１１３において、フィルタ係数１０５及び丸めオフセット１２６を用いて局所復号画像信号１０４に対してフィルタ処理を行い、画像信号１０６を生成する（Ｓ１５）。
【００２１】
画像信号１０６はフレームメモリ１１１に蓄積される。フレームメモリ１１１に蓄積された画像信号が参照画像信号１０７として読み出され、予測器１１４に入力される。予測器１１４では、参照画像信号１０７を用いて予測が行なわれ、予測画像信号１０８が生成される（Ｓ１６）。予測画像信号１０８は信号処理器１１０に入力される。可変長符号化器１１５では、残差情報１０２、フィルタ係数１０５及び丸めオフセット１２６が可変長符号化され、それらの符号を含む符号化データ１０９が生成される（Ｓ１７）。
【００２２】
フィルタ処理器１１３では、次式でフィルタ処理が行なわれる。
【数１】
2009133938.tif 000003
【００２３】
ここで、Sflt(x,y)はフィルタ処理によって得られる画像の位置（x,y）の画素値、S(x,y)は局所復号画像の位置(x,y)の画素値、Ｎは予め決められた自然数である。hij(int)、δ(int)、Dは整数値であり、hi j(int)はフィルタ係数、δ(int)は丸めオフセット、Dは予め決められた値である。除算は整数除算とする。hi j(int)、δ(int)はフィルタ・丸めオフセット設計器１１２で設定された値が入力される。式（１）はフィルタ処理対象画素（ｘ，ｙ）の周辺に位置する画素の値の重み付き和に、設定された丸めオフセットδ(int)を加えた値に対して整数除算を行なうことを意味する。なお、フィルタ係数hi j(int)が重み付き和の重みに当たる。
【００２４】
一般的にフィルタ処理は装置化の簡便性、高速化の観点からビットシフト演算を用いて行なわれる。ビットシフト演算を用いる場合、D=2nとして、次式が用いられる。
【数２】
2009133938.tif 000004
【００２５】
フィルタ・丸めオフセット設計器１１２では、フィルタ処理によって得られる画像と入力画像との誤差が少なくなるようにhi j(int)、δ(int)を設定する。誤差としては、例えばフレーム単位の二乗誤差
【数３】
2009133938.tif 000005
【００２６】
を用いることができる。ここで、Sorg(x,y)は入力画像の位置（ｘ，ｙ）の画素、Ｘ、Ｙはそれぞれフレーム内のｘ座標、ｙ座標の集合である。二乗誤差を最小とするフィルタ係数を求める方法としてWiener-Hopf方程式を解くものが知られている。本実施形態では、フィルタ係数hi j(int)、丸めオフセットδ(int)が整数値であるという制約があるため、上記の方法を基本とした近似方法によってフィルタ係数hi j(int)、丸めオフセットδ(int)を求める。はじめに式（１）を次式で近似する。
【数４】
2009133938.tif 000006
【００２７】
ここで、hijはhij(int)/Dの近似値、δは(δ(int)−D/2)/Dの近似値に相当する。なお、D/2は整数除算を浮動小数点除算に近似するための値である。
【００２８】
式（４）を用いると、フィルタ処理によって得られる画像と入力画像の二乗誤差
【数５】
2009133938.tif 000007
【００２９】
を最小とするhi j、δは、式（５）をhij、δで偏微分した値を0とおいて得られる方程式を解くことによって得られる。即ち、hij、δに関する方程式
【数６】
2009133938.tif 000008
【００３０】
を解けばよい。hijはhij(int)/Dの近似値、δは(δ(int)−D/2)/D近似値に相当することから、例えば、次式に従ってフィルタ係数hij(int)、丸めオフセットδ(int)が求められる。
【数７】
2009133938.tif 000009
【００３１】
これまで説明した方法により、hij(int)、δ(int)がフレーム単位で求められ、フィルタ係数１０５及び丸めオフセット１２６として出力される。
【００３２】
本実施形態では画像に合わせて丸めを制御することが可能となるため、丸めオフセットを固定の値とする場合と比較して、動画像復号装置で得られる出力画像と入力画像との誤差を減少させることができる。また、入力画像と参照画像の誤差を減少させることができるため、予測効率が向上する。
【００３３】
（第２の実施形態）
図４を用いて本発明の第２の実施形態に係る動画像復号装置について説明する。この動画像復号装置は可変長復号器２１０，信号処理器２１１，フレームメモリ２１２，予測器２１３及びフィルタ処理器２１４によって構成される。可変長復号器２１０は符号化データ２０１を復号し、残差情報２０２、フィルタ係数２０９、丸めオフセット２０８を出力する。信号処理器２１１は残差情報２０２を基に残差を再生し、この残差と予測器２１３からの予測画像信号２０７とで復号画像信号２０３を生成する。フレームメモリ２１２は復号画像信号２０３を蓄積する。予測器２１３はフレームメモリ２１２に記憶された画像信号から予測画像信号２０７を生成する。
【００３４】
信号処理器２１１は具体的には図５に示すように逆量子化器２１７，逆直交変換器２１８及び加算器２１９によって構成される。逆量子化器２１７は残差情報２０２を逆量子化し、変換係数２１５を生成する。逆直交変換器２１８は変換係数２１５を逆直交変換し、残差信号２１６を生成する。加算器２１９は予測画像信号２０７と残差信号２１６とを加算して復号画像信号２０３を生成する。
【００３５】
上記構成の動画像符号装置の作用を図６のフローチャートを参照して説明する。
【００３６】
復号対象の符号化データ２０１として、第１の実施形態の図１の動画像符号化装置から出力される符号化データ１０９が蓄積系または伝送系を経て可変長復号器２１０に入力される。復号対象の符号化データ２０１には、残差情報、フィルタ係数、丸めオフセットの情報の符号が含まれている。これらの各符号は可変長復号器２１０によって復号されることにより、残差情報２０２、フィルタ係数２０９、丸めオフセット２０８が出力される（Ｓ２１）。残差情報２０２は信号処理器２１１に、フィルタ係数２０９及び丸めオフセット２０８はフィルタ処理器２１４に入力される。信号処理器２１１では残差情報２０２を基に残差が再生され、予測画像信号２０７と再生された残差から復号画像信号２０３が生成される（Ｓ２２）。
【００３７】
ここで信号処理器２１１の例について図４を用いて説明する。符号化データは図２を用いて説明した画像信号処理器１１０を持つ第１の実施形態の符号化装置によって生成されたものとする。残差情報２０２として量子化された変換係数が逆量子化器２１７に入力される。量子化された変換係数は逆量子化器２１７によって逆量子化された後、逆直交変換器２１８に逆直交変換されることによって、残差信号２１６が生成される。加算器２１９では、残差信号２１６に予測画像信号２０７が加算されることにより、復号画像信号２０３が得られる。
【００３８】
復号画像信号２０３はフレームメモリ２１２に蓄積され、フレームメモリ２１２から読み出される復号画像信号２０４は、フィルタ処理器２１４に入力される。フィルタ処理器２１４では、第１の実施形態のフィルタ処理器１１３と同様にフィルタ係数２０９及び丸めオフセット２０８を用いて復号画像信号２０４に対してフィルタ処理が行なわれ、画像信号２０５が生成される（Ｓ２３）。画像信号２０５は、フレームメモリ２１２に蓄積されるとともに出力画像信号として出力される。フレームメモリ２１２に蓄積された画像信号は参照画像信号２０６として読み出され、予測器２１３に入力される。予測器２１３では、参照画像信号２０６を用いて予測が行なわれ、予測画像信号２０７が生成される。予測画像信号２０７は、信号処理器２１１に入力される。
【００３９】
本実施形態では画像に合わせて丸めを制御することが可能になるため、丸めオフセットを固定の値とする場合と比較して、動画像符号化装置で符号化された入力画像と出力画像との誤差を減少させることができる。また、入力画像と参照画像の誤差を減少させることができるため、予測効率が向上する。
【００４０】
（第３の実施形態）
図７を用いて本発明の第３の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態と同様である。但し、本実施形態では、図1のフィルタ処理器１１３は設けられていなく、予測器３１０では参照画像信号３０４として局所復号画像信号３０３を用いて予測画像信号３０５が生成される。
【００４１】
即ち、図７の動画像符号化装置によると、入力画像信号３０１が信号処理器３０８に入力されると、信号処理器３０８は、予測画像信号３０５と入力画像信号３０１との残差信号を生成し、残差信号を変換した残差情報３０２を生成する。また、信号処理器３０８は、予測画像信号３０５と残差信号から局所復号画像信号３０３を生成する。残差情報３０２は可変長符号化器３１１に入力され、局所復号画像信号３０３はフレームメモリ３０９に蓄積される。
【００４２】
フレームメモリ３０９に記憶された局所復号画像信号３０３は参照画像信号３０４として予測器３１０に入力されると共にフィルタ・丸めオフセット設計器３１２に入力される。フィルタ・丸めオフセット設計器３１２では、入力画像信号３０１及び局所復号画像信号３０４から、フィルタ及び丸めオフセットが設計される。このとき、フィルタ・丸めオフセット設計器３１２は、動画像復号装置において復号画像にフィルタ処理を行なって得られる画像と入力画像の誤差が少なくなるようにフィルタ係数、丸めオフセットを設定する。フィルタ・丸めオフセット設計器３１２の動作は、第１の実施形態のフィルタ・丸めオフセット設計器１１２と同様にすればよい。フィルタ係数３０７及び丸めオフセット３１３は可変長符号化器３１１に入力され、符号化される。
【００４３】
本実施形態では画像に合わせて丸めを制御することが可能になるため、丸めオフセットを固定の値とする場合と比較して、動画像復号装置で得られる出力画像と入力画像との誤差を減少させることができる。
【００４４】
（第４の実施形態）
図８を用いて第４の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第２の実施形態と同様である。但し、フィルタ処理器４１３から出力される画像信号４０６がフレームメモリ４１１に蓄積されず、予測器４１２では、参照画像信号４０４として復号画像信号４０３を用いて予測画像信号４０５が生成される。
【００４５】
即ち、図８の動画像復号装置によると、符号化データ４０１が可変長復号器４０９に入力されると、可変長復号器４０９は符号化データ４０１を復号し、残差情報４０２、フィルタ係数４０８、丸めオフセット４０７を出力する。残差情報４０２は信号処理器４１０に、フィルタ係数４０８及び丸めオフセット４０７はフィルタ処理器４１３に入力される。信号処理器４１０は残差情報４０２を基に残差を再生し、予測器４１２の予測画像信号４０５と再生された残差から復号画像信号４０３を生成する。復号画像信号４０３はフレームメモリ４１１に蓄積される。フレームメモリ４１１の復号画像信号４０３は予測器４１２に参照画像信号４０４として入力される。予測器４１２はこの参照画像信号４０４を用いて予測画像信号４０５を生成する。
【００４６】
本実施形態では画像に合わせて丸めを制御することが可能になるため、丸めオフセットを固定の値とする場合と比較して、動画像符号化装置で符号化された入力画像と出力画像との誤差を減少させることができる。
【００４７】
本発明によれば、画像に合わせて丸めを自由に制御することにより、入力画像と参照画像の誤差及び入力画像と出力画像の誤差を減少させることが可能になる。
【００４８】
本発明の実施の形態に記載した本発明の手法は、コンピュータによって実行させることができ、また、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。
【産業上の利用可能性】
【００４９】
本発明にかかる画像符号化及び復号化方法及び装置は、通信メディア、蓄積メディアおよび放送メディアなどにおける画像圧縮処理に使用される。
【図１】
2009133938.tif 000010
【図２】
2009133938.tif 000011
【図３】
2009133938.tif 000012
【図４】
2009133938.tif 000013
【図５】
2009133938.tif 000014
【図６】
2009133938.tif 000015
【図７】
2009133938.tif 000016
【図８】
2009133938.tif 000017
【国際調査報告】
2009133938.tif 000018
2009133938.tif 000019
2009133938.tif 000020
2009133938.tif 000021
2009133938.tif 000022
2009133938.tif 000023