(57)【要約】  原画像（１０）及び予測画像（１２）の間の予測誤差を変換／量子化して得られる量子化変換係数を逆量子化／逆変換して予測誤差を復号し、復号予測誤差を得る逆量子化／逆変換部（１０５）と、予測画像（１２）及び復号予測誤差を加算して局所復号画像（１４）を生成する加算部（１０６）と、局所復号画像（１４）及び参照画像（１１）を用いて原画像（１０）を復元するための時空間フィルタ係数を含むフィルタ情報（１５）を設定する設定部（１０８）と、フィルタ情報（１５）に従って局所復号画像（１４）に対して時空間フィルタを適用して復元画像（１６）を生成するフィルタ処理部（１０９）と、復元画像（１６）を参照画像（１１）として記憶する記憶部（１１０）と、フィルタ情報（１５）及び量子化変換係数を符号化する符号化部（１０４）とを具備する。
2009133845.tif 000002
【特許請求の範囲】
【請求項１】
参照画像を用いて原画像の予測画像を生成することと、
前記原画像及び前記予測画像の間の予測誤差を変換／量子化して量子化変換係数を得ることと、
前記量子化変換係数を逆量子化／逆変換して前記予測誤差を復号し、復号予測誤差を得ることと、
前記予測画像及び前記復号予測誤差を加算して局所復号画像を生成することと、
前記局所復号画像及び前記参照画像を用いて前記原画像を復元するための時空間フィルタ係数を含むフィルタ情報を設定することと、
前記フィルタ情報に従って前記局所復号画像に対して時空間フィルタ処理を行って復元画像を生成することと、
前記復元画像を前記参照画像として記憶することと、
前記フィルタ情報及び前記量子化変換係数を符号化することと
を具備することを特徴とする動画像符号化方法。
【請求項２】
前記局所復号画像中の第１の画素に対応する前記参照画像中の第２の画素を決定することを更に具備し、
前記時空間フィルタ処理は、前記第１の画素と前記第２の画素とに前記時空間フィルタ係数を夫々割り当て、前記復元画像を構成する第３の画素を順次生成する処理であることを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記時空間フィルタ処理は、前記局所復号画像における第１の画素と、前記参照画像を動き情報を用いて動き補償した画像で前記第１の画素と同じ位置の第２の画素とに前記時空間フィルタ係数を夫々割り当て、前記復元画像を構成する第３の画素を順次生成する処理であることを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
前記時空間フィルタ処理は、前記局所復号画像における第１の画素と、前記予測画像で前記第１の画素と同じ位置の第２の画素とに前記時空間フィルタ係数を夫々割り当て、前記復元画像を構成する第３の画素を順次生成する処理であることを特徴とする請求項１記載の動画像符号化方法。
【請求項５】
前記局所復号画像及び前記参照画像のブロックマッチングによって前記第２画素を決定することを特徴とする請求項２記載の動画像符号化方法。
【請求項６】
前記フィルタ情報は、前記局所復号画像から前記原画像を復元するための空間フィルタ係数を更に含み、
前記時空間フィルタ処理及び前記空間フィルタ係数を用いる空間フィルタ処理のいずれか一方を前記局所復号画像に対してフレーム毎またはフレーム内の局所領域毎に選択的に行って前記復元画像を生成することを特徴とする請求項５記載の動画像符号化方法。
【請求項７】
前記予測画像が前記参照画像に基づくフレーム間予測によって生成されていれば前記時空間フィルタ処理を行い、前記予測画像が前記参照画像に基づかないフレーム内予測によって生成されていれば前記空間フィルタ処理を行って前記復元画像を生成することを特徴とする請求項６記載の動画像符号化方法。
【請求項８】
復号画像及び参照画像を用いて原画像を復元するための時空間フィルタ係数を含むフィルタ情報と、予測誤差に所定の変換／量子化を行って得られた量子化変換係数とが符号化された符号化ビットストリームを復号することと、
前記量子化変換係数を逆量子化／逆変換して前記予測誤差を復号し、復号予測誤差を得ることと、
前記参照画像を用いて前記原画像の予測画像を生成することと、
前記予測画像及び前記復号予測誤差を加算して前記復号画像を生成することと、
前記フィルタ情報に従って前記復号画像に対して時空間フィルタ処理を行って復元画像を生成することと、
前記復元画像を前記参照画像として記憶することと
を具備することを特徴とする動画像復号化方法。
【請求項９】
前記復号画像中の第１の画素に対応する前記参照画像中の第２の画素を決定することを更に具備し、
前記時空間フィルタ処理は、前記第１の画素と前記第２の画素とに前記時空間フィルタ係数を夫々割り当て、前記復元画像を構成する第３の画素を順次生成する処理であることを特徴とする請求項８記載の動画像復号化方法
【請求項１０】
前記時空間フィルタ処理は、前記復号画像における第１の画素と、前記参照画像を動き情報を用いて動き補償した画像における前記第１の画素と同一位置の第２の画素とに前記時空間フィルタ係数を夫々割り当て、前記復元画像を構成する第３の画素を順次生成する処理であることを特徴とする請求項８記載の動画像復号化方法
【請求項１１】
前記時空間フィルタ処理は、前記復号画像における第１の画素と、前記予測画像における前記第１の画素と同一位置の第２の画素とに前記時空間フィルタ係数を夫々割り当て、前記復元画像を構成する第３の画素を順次生成する処理であることを特徴とする請求項８記載の動画像復号化方法
【請求項１２】
前記復号画像及び前記参照画像のブロックマッチングによって前記参照位置を決定することを特徴とする請求項９記載の動画像復号化方法
【請求項１３】
前記フィルタ情報は、前記復号画像から前記原画像を復元するための空間フィルタ係数を更に含み、
前記時空間フィルタ処理及び前記空間フィルタ係数を用いる空間フィルタ処理のいずれか一方を前記復号画像に対してフレーム毎またはフレーム内の局所領域毎に選択的に行って前記復元画像を生成することを特徴とする請求項１２記載の動画像復号化方法
【請求項１４】
前記予測画像が前記参照画像に基づくフレーム間予測によって生成されていれば前記時空間フィルタ処理を行い、前記予測画像が前記参照画像に基づかないフレーム内予測によって生成されていれば前記空間フィルタ処理を行って前記復元画像を生成することを特徴とする請求項１３記載の動画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する動画像符号化装置及び方法、符号化された動画像を復号化する動画像復号化装置及び方法に関する。
【背景技術】
【０００２】
従来、例えばＨ．２６４／ＡＶＣ等の動画像符号化方式では、原画像及び予測画像の間のブロック単位の予測誤差を直交変換及び量子化して得られる係数を符号化する。このように符号化された画像を復号すると、復号画像にはブロック歪みと呼ばれるブロック状の符号化歪みが現れる。ブロック歪みは、主観画質の劣化を招く。ブロック歪みを低減させるために、一般的には局所復号画像中のブロック境界にローパスフィルタを適用するデブロッキングフィルタ処理が行われる。デブロッキングフィルタ処理によってブロック歪が低減された局所復号画像は、参照画像として参照画像バッファに記憶される。従って、デブロッキングフィルタ処理を利用すれば、ブロック歪みの小さい参照画像に基づいて動き補償予測が行われるため、ブロック歪の時間方向の伝搬が抑えられる。尚、デブロッキングフィルタは、符号化装置及び復号化装置のループ内で用いられるため、ループフィルタとも呼ばれる。【０００３】
特許第３２６６４１６号公報記載の動き補償フレーム間符号化復号装置は、局所復号画像を参照画像として参照画像バッファに保存する前に、時間方向のフィルタ処理を行っている。即ち、局所復号画像に対し、当該局所復号画像に対応する予測画像の生成に用いられた参照画像を用いて時間方向のフィルタ処理を行って得られる復元画像を当該局所復号画像に対応する参照画像として参照画像バッファに保存している。特許第３２６６４１６号公報記載の動き補償フレーム間符号化復号装置によれば、参照画像の符号化歪みが抑えられる。【０００４】
特開２００７−２７４４７９公報記載の画像符号化装置及び画像復号化装置は、予測画像の生成に用いられた参照画像に対して、当該予測画像に対応する局所復号画像を用いた時間方向のフィルタ処理を行っている。即ち、特開２００７−２７４４７９公報記載の画像符号化装置及び画像復号化装置は、参照画像に対し、局所復号画像を用いて逆向きに時間方向のフィルタ処理を行って復元画像を生成し、当該復元画像によって参照画像を更新している。即ち、特開２００７−２７４４７９公報記載の画像符号化装置及び画像復号化装置によれば、参照画像が予測画像の生成に利用される度に当該参照画像が更新され符号化歪みが抑えられる。【０００５】
「S. Wittmann and T. Wedi, "Post-filter SEI message for 4:4:4 coding", JVT of ISO/IEC MPEG & ITU-T VCEG, JVT-S030, April 2006.」（以下、参考文献と称する）記載のポストフィルタ処理は、復号画像の画質を向上させることを目的として復号化側に設けられる。具体的には、上記ポストフィルタ処理に必要なフィルタ係数やフィルタサイズなどのフィルタ情報が符号化側で設定され、符号化ビットストリームに多重化されて出力される。復号化側は、上記フィルタ情報に基づくポストフィルタ処理を復号画像に対して行う。従って、符号化側で原画像及び復号画像の間の誤差が小さくなるようにフィルタ情報を設定すれば、上記ポストフィルタ処理によって復号画像の画質を向上させられる。
【発明の開示】
【０００６】
デブロッキングフィルタ処理は、局所復号画像または復号画像を原画像に近づけることを目的としておらず、当該フィルタ処理によってブロック境界が必要以上にぼけ、復号画像の主観画質が劣化するおそれがある。また、特許第３２６６４１６号公報記載の動き補償フレーム間符号化復号装置及び特開２００７−２７４４７９公報記載の画像符号化装置及び画像復号化装置におけるフィルタ処理も、局所復号画像または復号画像を原画像に近づけることを目的としていない点において、上記デブロッキングフィルタ処理と同様である。
【０００７】
一方、参考文献記載のポストフィルタ処理は、復号化側にのみ設けられ復号画像に対して適用される。即ち、上記ポストフィルタ処理は予測画像の生成に用いられる参照画像には適用されないので、符号化効率の向上に寄与しない。また、このポストフィルタ処理は、空間方向のフィルタ処理であって時間方向のフィルタ処理を含んでいない。
【０００８】
従って、本発明は、参照画像の画質を向上させることにより符号化効率を改善可能な動画像符号化／復号化装置を提供することを目的とする。
【０００９】
本発明の一態様に係る動画像符号化方法は、参照画像を用いて原画像の予測画像を生成することと、前記原画像及び前記予測画像の間の予測誤差を変換／量子化して量子化変換係数を得ることと、前記量子化変換係数を逆量子化／逆変換して前記予測誤差を復号し、復号予測誤差を得ることと、前記予測画像及び前記復号予測誤差を加算して局所復号画像を生成することと、前記局所復号画像及び前記参照画像を用いて前記原画像を復元するための時空間フィルタ係数を含むフィルタ情報を設定することと、前記フィルタ情報に従って前記局所復号画像に対して時空間フィルタ処理を行って復元画像を生成することと、前記復元画像を前記参照画像として記憶することと、前記フィルタ情報及び前記量子化変換係数を符号化することとを具備する。
【００１０】
本発明の他の態様に係る動画像復号化方法は、復号画像及び参照画像を用いて原画像を復元するための時空間フィルタ係数を含むフィルタ情報と、予測誤差に所定の変換／量子化を行って得られた量子化変換係数とが符号化された符号化ビットストリームを復号することと、前記量子化変換係数を逆量子化／逆変換して前記予測誤差を復号し、復号予測誤差を得ることと、前記参照画像を用いて前記原画像の予測画像を生成することと、前記予測画像及び前記復号予測誤差を加算して前記復号画像を生成することと、前記フィルタ情報に従って前記復号画像に対して時空間フィルタ処理を行って復元画像を生成することと、前記復元画像を前記復号画像に対応する参照画像として記憶することとを具備する。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る動画像符号化装置のブロック図。
【図２】第１の実施形態に係る動画像復号化装置のブロック図。
【図３】図１の動画像符号化装置の動作の一部を示すフローチャート。
【図４】図２の動画像復号化装置の動作の一部を示すフローチャート。
【図５】第２の実施形態に係る動画像符号化装置のブロック図。
【図６】第２の実施形態に係る動画像復号化装置のブロック図。
【図７】第３の実施形態に係る動画像符号化装置のブロック図。
【図８】第３の実施形態に係る動画像復号化装置のブロック図。
【図９】フィルタ情報設定部１０８及びフィルタ処理部１０９の処理の説明図。
【図１０】符号化ビットストリームのシンタクス構造の一例を示す図。
【図１１】フィルタ情報の記述の一例を示す図。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明の実施形態について説明する。  
（第１の実施形態）  
（動画像符号化装置）  
図１に示すように、本発明の第１の実施形態に係る動画像符号化装置は、予測画像生成部１０１、減算部１０２、変換／量子化部１０３、エントロピー符号化部１０４、逆量子化／逆変換部１０５、加算部１０６、参照位置決定部１０７、フィルタ情報設定部１０８、フィルタ処理部１０９及び参照画像バッファ１１０を含む符号化部１００と、当該符号化部１００を制御する符号化制御部１２０とを有する。符号化制御部１２０は、発生符号量のフィードバック制御、量子化制御、予測モード制御及び動き推定精度の制御など符号化部１００全体の制御を行う。【００１３】
予測画像生成部１０１は、ブロック単位の原画像１０の予測を行って予測画像１２を生成する。具体的には、予測画像生成部１０１は、既に符号化済みの参照画像１１を後述する参照画像バッファ１１０から読み出し、当該参照画像１１に対する原画像１０の動きを示す動きベクトルを例えばブロックマッチングを用いる動き推定によって検出する。予測画像生成部１０１は、上記動きベクトルを用いて参照画像１１を動き補償した予測画像１２を減算部１０２及び加算部１０６に入力する。また、予測画像生成部１０１は、動き情報１３をエントロピー符号化部１０４及び参照位置決定部１０７に入力する。上記動き情報１３は、例えば前述した動きベクトルであるが、これに限らず動き補償予測に必要とされる情報とする。尚、予測画像生成部１０１は、動き補償予測に限らず、イントラ予測を行って予測画像１２を生成してもよい。【００１４】
減算部１０２は、予測画像生成部１０１からの予測画像１２を原画像１０より減算して予測誤差を得る。減算部１０２は、上記予測誤差を変換／量子化部１０３に入力する。変換／量子化部１０３は、減算部１０２からの予測誤差に対し、例えば離散コサイン変換（ＤＣＴ）などの直交変換処理を行って変換係数を得る。尚、変換／量子化部１０３は、ウェーブレット変換、独立成分解析またはアダマール変換などの他の変換処理を行ってもよい。変換／量子化部１０３は、符号化制御部１２０によって設定される量子化パラメータに従って、上記変換係数を量子化する。量子化された変換係数（以下、量子化変換係数と称する）は、エントロピー符号化部１０４及び逆量子化／逆変換部１０５に入力される。【００１５】
エントロピー符号化部１０４は、変換／量子化部１０３からの量子化変換係数、予測画像生成部１０１からの動き情報１３及び後述するフィルタ情報設定部１０８からのフィルタ情報１５に対して、ハフマン符号化や算術符号化などのエントロピー符号化を行う。また、エントロピー符号化部１０４は、予測画像１２の予測モードを示す予測モード情報、ブロックサイズ切り替え情報及び上記量子化パラメータに対しても同様の符号化を行う。エントロピー符号化部１０４は、符号化データを多重化した符号化ビットストリーム１７を出力する。【００１６】
逆量子化／逆変換部１０５は、変換／量子化部１０３からの量子化変換係数を上記量子化パラメータに従って逆量子化して変換係数を復号する。逆量子化／逆変換部１０５は、復号した変換係数に対して、変換／量子化部１０３によって行われた変換処理の逆変換を行って予測誤差を復号する。例えば、逆量子化／逆変換部１０５は、逆離散コサイン変換（ＩＤＣＴ）や逆ウェーブレット変換を行う。上記復号された予測誤差（以下、復号予測誤差と称する）は、前述した予測誤差を量子化／逆量子化しているため、当該量子化によって生じた符号化歪みを含んでいる。逆量子化／逆変換部１０５は、復号予測誤差を加算部１０６に入力する。【００１７】
加算部１０６は、逆変換／逆量子化部１０５からの復号予測誤差と、予測画像生成部１０１からの予測画像１２とを加算して局所復号画像１４を生成する。加算部１０６は、局所復号画像１４をフィルタ情報設定部１０８及びフィルタ処理部１０９に入力する。【００１８】
参照位置決定部１０７は、参照画像バッファ１１０から参照画像１１を読み出し、予測画像生成部１０１からの動き情報１３を用いて後述する参照位置を決定する。具体的には、動き情報１３が動きベクトルであれば、参照位置決定部１０７は当該動きベクトルが指し示す参照画像１１中の位置を参照位置として決定する。参照位置決定部１０７は、参照位置をフィルタ情報設定部１０８及びフィルタ処理部１０９に通知する。【００１９】
フィルタ情報設定部１０８は、局所復号画像１４と参照位置決定部１０７によって決定された参照位置に応じて位置シフトされた参照画像１１とを用いて原画像を復元するための時空間フィルタ係数を含むフィルタ情報１５を設定する。フィルタ情報設定部１０８は、設定したフィルタ情報１５をエントロピー符号化部１０４及びフィルタ処理部１０９に入力する。尚、フィルタ情報１５の具体的な設定手法は後述する。【００２０】
フィルタ処理部１０９は、フィルタ情報設定部１０８からのフィルタ情報１５に従い、参照位置決定部１０７によって決定された参照位置に応じて位置シフトされた参照画像１１を用いて、局所復号画像１４に対して画像復元のための時空間フィルタ処理を行って復元画像１６を生成する。フィルタ処理部１０９は、復元画像１６を参照画像バッファ１１０に上記局所復号画像１４に応じた参照画像１１として記憶させる。尚、復元画像１６の具体的な生成手法は後述する。参照画像バッファ１１０には、フィルタ処理部１０９からの復元画像１６が参照画像１１として一時的に記憶され、必要に応じて読み出される。【００２１】
以下、図３に示すフローチャートを用いて、本実施形態に係る動画像符号化装置におけるフィルタ情報１５の設定処理及び復元画像１６の生成処理を中心に説明する。  
まず、局所復号画像１４が参照画像１１に基づく予測画像１２から生成されていれば（ステップＳ４０１）、参照位置決定部１０７は当該参照画像１１及び動き情報１３を取得し（ステップＳ４０２）、参照位置を決定して（ステップＳ４０３）、処理はステップＳ４０４に進む。一方、局所復号画像１４が参照画像１１に基づかない予測画像１２から生成されていれば（ステップＳ４０１）、ステップＳ４０１乃至Ｓ４０３は省略され、処理はステップＳ４０４に進む。【００２２】
ここで、参照画像１１に基づく予測として、例えばＨ．２６４／ＡＶＣにおけるインター予測のように、ブロックマッチングによる動き推定／動き補償を利用した時間方向の予測が挙げられる。一方、参照画像１１に基づかない予測として、例えばＨ．２６４／ＡＶＣにおけるイントラ予測のように、フレーム内の符号化済みの隣接画素ブロックに基づく空間方向の予測が挙げられる。【００２３】
ステップＳ４０４において、フィルタ情報設定部１０８は局所復号画像１４及び原画像１０を取得する。また、ステップＳ４０３において参照位置を決定している場合には、フィルタ情報設定部１０８は各参照画像１１の参照位置も取得する。【００２４】
次に、フィルタ情報設定部１０８は、フィルタ情報１５の設定を行う（ステップＳ４０５）。例えば、フィルタ情報設定部１０８は、フィルタ処理部１０９が画像復元フィルタとして一般的に用いられるWiener filterとして機能して復元画像１６と原画像１０との平均二乗誤差が最小となるようなフィルタ係数を設定する。以下、図９を用いてフィルタサイズ２×３×３画素（時間方向×水平方向×垂直方向）の場合におけるフィルタ係数の設定処理及び時空間フィルタ処理を説明する。【００２５】
図９において、Ｄtが局所復号画像、Ｄt-1が当該局所復号画像Ｄtに応じた予測画像１２の生成に用いられた参照画像を夫々示す。尚、参照画像Ｄt-1は、参照位置決定部１０７によって決定された参照位置によって既に位置シフトされているものとする。局所復号画像Ｄtにおける座標(x,y)の画素値をｐ(t,x,y)、参照画像Ｄt-1における座標(x,y)の画素値をp(t-1,x,y)とする。局所復号画像Ｄtにおける座標(x,y)の画素に対してフィルタ処理部１０９が時空間フィルタ処理を行って得られる復元画像１６の座標(x,y)における画素値Ｒt(x,y)は、以下の数式（１）で表される。
【数１】
2009133845.tif 000003
【００２６】
数式（１）においてｈk,i,jは、図８における画素p(k,i,j)に対して設定されるフィルタ係数を表す。フィルタ係数ｈk,i,jは、以下の数式（２）において原画像Ｏtと復元画像Ｒtとの間の平均二乗誤差Ｅを最小とするように設定される。
【数２】
2009133845.tif 000004
【００２７】
具体的には、以下の数式（３）が示す連立方程式を解くことによりフィルタ係数ｈk,i,jは導出される。
【数３】
2009133845.tif 000005
【００２８】
以上のように導出されたフィルタ係数ｈk,i,j及びフィルタサイズ２×３×３は、フィルタ情報１５として、フィルタ処理部１０９に入力されると共に、エントロピー符号化部１０４にも入力される。【００２９】
次に、フィルタ処理部１０９は、ステップＳ４０５において設定されたフィルタ情報１５に従って、時空間フィルタ処理を行う（ステップＳ４０６）。具体的には、フィルタ処理部１０９は、局所復号画像１４における画素と、ステップＳ４０３において決定された参照位置に応じて位置シフトされた参照画像１１における同一位置の画素とに上記フィルタ情報１５に含まれるフィルタ係数を適用して復元画像１６の画素を順次生成する。ステップＳ４０６において生成された復元画像１６は参照画像バッファ１０９に保存される（ステップＳ４０７）。【００３０】
一方、局所復号画像１４が参照画像１１に基づかない予測画像１２から生成されている場合、数式（１）〜（３）において、p(t,x,y)をp(x,y)、ｈk,i,jをｈi,jに夫々置き換え、フィルタ情報設定部１０９が空間フィルタ係数ｈi,jを設定し（ステップＳ４０５）、フィルタ処理部１０９が当該空間フィルタ係数ｈi,jに従って空間フィルタ処理を行って復元画像１６を生成する（ステップＳ４０６）。【００３１】
フィルタ情報１５はエントロピー符号化部１０４によって符号化され、符号化ビットストリーム１７に多重化されて出力される（ステップＳ４０８）。ここで、図１０を用いて上記符号化ビットストリーム１７のシンタクス構造の一例を説明する。尚、以下の説明ではフィルタ情報１５はスライス単位で規定されることとしているが、これに限らずマクロブロック単位やフレーム単位など他の領域単位で規定されてもよい。【００３２】
図１０に示すように、上記シンタクスは、上層から順にハイレベルシンタクス５００、スライスレベルシンタクス５１０及びマクロブロックレベルシンタクス５２０の３段階の階層構造を有する。【００３３】
ハイレベルシンタクス５００は、シーケンスパラメータセットシンタクス５０１及びピクチャパラメータセットシンタクス５０２を含み、スライスよりも上位のレイヤ（例えばシーケンスまたはピクチャ）で必要な情報が規定されている。【００３４】
スライスレベルシンタクス５１０は、スライスヘッダシンタクス５１１、スライスデータシンタクス５１２及びループフィルタデータシンタクス５１３を含み、スライス単位で必要な情報が規定されている。【００３５】
マクロブロックレベルシンタクス５２０は、マクロブロックレイヤシンタクス５２１及びマクロブロックプレディクションシンタクス５２２を含み、マクロブロック単位で必要な情報（量子化変換係数データ、予測モード情報及び動きベクトルなど）が規定されている。【００３６】
フィルタ情報１５は、上記ループフィルタデータシンタクス５１３において図１１に示すように記述される。図１１において、filter_coeff[t][cy][cx]はフィルタ係数を表し、時間ｔ及び座標（cx,cy）によって当該フィルタ係数が適用される画素が定められる。また、filter_size_y[t]及びfilter_size_x[t]は、時刻tの画像における空間方向のフィルタサイズを表し、NumOfRefは参照画像の数を表す。尚、フィルタサイズは、符号化側−復号化側間で固定サイズを利用すればフィルタ情報１５としてシンタクスに記述しなくてもよい。【００３７】
（動画像復号化装置）  
図２に示すように、本実施形態に係る動画像復号化装置は、エントロピー復号化部１３１、逆量子化／逆変換部１３２、予測画像生成部１３３、加算部１３４、参照位置決定部１３５、フィルタ処理部１３６及び参照画像バッファ１３７を含む復号化部１３０と、当該復号化部１３０を制御する復号化制御部１４０とを有する。復号化制御部１４０は、復号化タイミングの制御など復号化部１３０全体の制御を行う。【００３８】
エントロピー復号化部１３１は、例えば図１０に示すような所定のシンタクス構造に従って、符号化ビットストリーム１７に含まれる各シンタクスの符号列を復号する。具体的には、エントロピー復号化部１３１は、量子化変換係数、動き情報１３、フィルタ情報１５、予測モード情報、ブロックサイズ切り替え情報及び量子化パラメータなどを復号する。エントロピー復号化部１３１は、量子化変換係数を逆量子化／逆変換部１３２に、フィルタ情報１５をフィルタ処理部１３６に、動き情報１３を参照位置決定部１３５及び予測画像生成部１３５に夫々入力する。【００３９】
逆量子化／逆変換部１３２は、エントロピー復号化部１３１からの量子化変換係数を量子化パラメータに従って逆量子化して変換係数を復号する。逆量子化／逆変換部１３２は、復号した変換係数に対して、符号化側で行われた変換処理の逆変換を行って予測誤差を復号する。例えば、逆量子化／逆変換部１３２はＩＤＣＴや逆ウェーブレット変換を行う。上記復号された予測誤差（以下、復号予測誤差と称する）は、加算部１３４に入力される。【００４０】
予測画像生成部１３３は、符号化側と同様の予測画像１２を生成する。具体的には、予測画像生成部１３３は、既に復号化済みの参照画像１１を後述する参照画像バッファ１３７から読み出し、エントロピー復号化部１３１からの動き情報１３を用いて動き補償予測を行う。また、予測画像生成部１３３は符号化側がイントラ予測など他の予測方式によって予測画像１２を生成していれば、これに応じた予測を行って予測画像１２を生成する。予測画像生成部１３３は、予測画像１２を加算部１３４に入力する。【００４１】
加算部１３４は、逆変換／逆量子化部１３２からの復号予測誤差と、予測画像生成部１３３からの予測画像１２とを加算して復号画像１８を生成する。加算部１３４は、復号画像１８をフィルタ処理部１３６に入力する。【００４２】
参照位置決定部１３５は、参照画像バッファ１３７から参照画像１１を読み出し、エントロピー復号化部１３１からの動き情報１３を用いて符号化側と同様の参照位置を決定する。具体的には、動き情報１３が動きベクトルであれば、参照位置決定部１３５は当該動きベクトルが指し示す参照画像１１中の位置を参照位置として決定する。参照位置決定部１３５は、決定した参照位置をフィルタ処理部１３６に通知する。【００４３】
フィルタ処理部１３６は、エントロピー復号化部１３１からのフィルタ情報１５に従い、参照位置決定部１３５によって決定された参照位置に応じて位置シフトされた参照画像１１を用いて、復号画像１８に対して時空間フィルタ処理を行って復元画像１６を生成する。フィルタ処理部１３６は、復元画像１６を参照画像バッファ１３７に上記復号画像１８に応じた参照画像１１として記憶させる。参照画像バッファ１３７には、フィルタ処理部１３６からの復元画像１６が参照画像１１として一時的に記憶され、必要に応じて読み出される。【００４４】
以下、図４に示すフローチャートを用いて、本実施形態に係る動画像復号化装置における復元画像１６の生成処理を中心に説明する。  
まず、エントロピー復号化部１３１が所定のシンタクス構造に従って符号化ビットストリーム１７からフィルタ情報１５を復号する（ステップＳ４１１）。尚、エントロピー復号化部１３１は、ステップＳ４１１において量子化変換係数及び動き情報１３も復号している。加算部１３４は、上記量子化変換係数が逆変換／逆量子化部１３２によって復号された復号予測残差と、予測画像生成部１３３によって生成された予測画像１２とを加算して復号画像１８を生成する。【００４５】
上記復号画像１８が参照画像１１に基づく予測画像１２から生成されていれば（ステップＳ４１２）、参照位置決定部１３５は、当該参照画像１１及び動き情報１３を取得し（ステップＳ４１３）、参照位置を決定して（ステップＳ４１４）、処理はステップＳ４１５に進む。一方、復号画像１８が参照画像１１に基づかない予測画像１２から生成されていれば（ステップＳ４１２）、ステップＳ４１２乃至Ｓ４１４は省略され、処理はステップＳ４１５に進む。【００４６】
ステップＳ４１５において、フィルタ処理部１３６は復号画像１８及びフィルタ情報１５を取得する。また、ステップＳ４１４において参照位置を決定している場合には、フィルタ処理部１３６は各参照画像１１の参照位置も取得する。【００４７】
次に、フィルタ処理部１３６は、ステップＳ４１５において取得したフィルタ情報１５に従い、ステップＳ４１４において決定された参照位置に応じて位置シフトされた参照画像１１を用いて、復号画像１８に対して時空間フィルタ処理を行う（ステップＳ４１６）。具体的には、フィルタ処理部１３６は、復号画像１８における画素と、位置シフトされた参照画像１１における同一位置の画素とに上記フィルタ情報１５に含まれるフィルタ係数を適用して復元画像１６の画素を順次生成する。ステップＳ４１６において生成された復元画像１６は、参照画像バッファ１３７に保存され（ステップＳ４１７）、更に出力画像としてディスプレイなどの外部装置に出力される。【００４８】
一方、復号画像１８が参照画像１１に基づかない予測画像１２から生成されている場合、フィルタ処理部１３６は当該フィルタ情報１５に従って空間フィルタ処理を行って復元画像１６を生成する（ステップＳ４１６）。【００４９】
以上説明したように、本実施形態に係る動画像符号化装置は、局所復号画像を原画像に近づける時空間フィルタ処理を行うためのフィルタ情報を設定し、上記フィルタ情報に基づく時空間フィルタ処理を行って得られる復元画像を参照画像として利用している。従って、本実施形態に係る動画像符号化装置によれば、参照画像の画質を向上させ符号化効率を改善させることができる。また、本実施形態に係る動画像復号化装置は、復号画像に対して上記フィルタ情報に従って時空間フィルタ処理を行って得られる復元画像を出力している。従って、本実施形態に係る動画像復号化装置によれば、出力画像の画質を向上させることができる。【００５０】
また、本実施形態に係る動画像符号化／復号化装置は、時空間フィルタ処理を行っているので、空間方向のフィルタ処理のみを行う前述した（参考文献記載の）ポストフィルタよりも更に出力画像の画質を向上させることができる。また、本実施形態に係る動画像復号化装置は、本実施形態に係る動画像符号化装置によって設定されたフィルタ情報を用いて時空間フィルタ処理を行うため、符号化側−復号化側間で予測画像の生成に利用する参照画像を一致させることができる。【００５１】
（第２の実施形態）  
（動画像符号化装置）  
図５に示すように、本発明の第２の実施形態に係る動画像符号化装置は、上記図１に示す動画像符号化装置において、参照位置決定部１０７を予測画像バッファ２０７、フィルタ情報設定部１０８をフィルタ情報設定部２０８、フィルタ処理部１０９をフィルタ処理部２０９に夫々置き換えている。以下の説明では、図５において図１と同一部分には同一符号を付して示し、異なる部分を中心に述べる。【００５２】
予測画像バッファ２０７は、予測画像生成部１０１から予測画像１２が入力され、当該予測画像１２を一時的に保存する。予測画像バッファ２０７に保存された予測画像１２は、フィルタ情報設定部２０８及びフィルタ処理部２０９によって必要に応じて読み出される。前述した第１の実施形態に係る動画像符号化装置は、参照位置決定部１０７によって参照位置を決定していたが、予測画像１２は既に動き補償されているので参照位置を決める必要がない。【００５３】
フィルタ情報設定部２０８は、局所復号画像１４及び予測画像１２を用いて原画像を復元するための時空間フィルタ係数を含むフィルタ情報２５を設定する。フィルタ情報設定部２０８は、設定したフィルタ情報２５をエントロピー符号化部１０４及びフィルタ処理部２０９に入力する。【００５４】
フィルタ処理部２０９は、フィルタ情報設定部２０８からのフィルタ情報２５に従い、予測画像１２を用いて、局所復号画像１４に対して時空間フィルタ処理を行って復元画像２６を生成する。フィルタ処理部２０９は、復元画像２６を参照画像バッファ２１０に上記局所復号画像１４に対応する参照画像１１として記憶させる。【００５５】
（動画像復号化装置）  
図６に示すように、本実施形態に係る動画像復号化装置は、上記図２に示す動画像復号化装置において、参照位置決定部１３５を予測画像バッファ２３５、フィルタ処理部１３６をフィルタ処理部２３６に夫々置き換えている。以下の説明では、図６において図２と同一部分には同一符号を付して示し、異なる部分を中心に述べる。【００５６】
予測画像バッファ２３５は、予測画像生成部１３３から予測画像１２が入力され、当該予測画像１２を一時的に保存する。予測画像バッファ２３５に保存された予測画像１２は、フィルタ処理部２３６によって必要に応じて読み出される。前述した第１の実施形態に係る動画像復号化装置は、参照位置決定部２３５によって参照位置を決定していたが、予測画像１２は既に動き補償されているので参照位置を決める必要がない。【００５７】
フィルタ処理部２３６は、エントロピー復号化部１３１からのフィルタ情報２５に従い、予測画像１２を用いて、復号画像１８に対して時空間フィルタ処理を行って復元画像２６を生成する。フィルタ処理部２３６は、復元画像２６を参照画像バッファ１３７に上記復号画像１８に対応する参照画像１１として記憶させる。【００５８】
以上説明したように、本実施形態に係る動画像符号化装置は、局所復号画像を原画像に近づける時空間フィルタ処理を行うためのフィルタ情報を設定し、上記フィルタ情報に基づく時空間フィルタ処理を行って得られる復元画像を参照画像として利用している。従って、本実施形態に係る動画像符号化装置によれば、参照画像の画質を向上させ符号化効率を改善させることができる。また、本実施形態に係る動画像復号化装置は、復号画像に対して上記フィルタ情報に従って時空間フィルタ処理を行って得られる復元画像を出力している。従って、本実施形態に係る動画像復号化装置によれば、出力画像の画質を向上させることができる。【００５９】
また、本実施形態に係る動画像符号化／復号化装置は、参照画像及び動き情報に代えて予測画像を利用することによって、時空間フィルタ処理に必要な参照位置の決定処理を省略可能な点において、前述した第１の実施形態に係る動画像符号化／復号化装置と異なる。【００６０】
本実施形態に係る動画像符号化／復号化装置は、時空間フィルタ処理を行っているので、空間方向のフィルタ処理のみを行う前述したポストフィルタよりも更に出力画像の画質を向上させることができる。また、本実施形態に係る動画像復号化装置は、本実施形態に係る動画像符号化装置によって設定されたフィルタ情報を用いて時空間フィルタ処理を行うため、符号化側−復号化側間で予測画像の生成に利用する参照画像を一致させることができる。【００６１】
（第３の実施形態）  
（動画像符号化装置）  
図７に示すように、本発明の第３の実施形態に係る動画像符号化装置は、上記図１に示す動画像符号化装置において、参照位置決定部１０７を参照位置決定部３０７、フィルタ情報設定部１０８をフィルタ情報設定部３０８、フィルタ処理部１０９をフィルタ処理部３０９に夫々置き換えている。以下の説明では、図７において図１と同一部分には同一符号を付して示し、異なる部分を中心に述べる。【００６２】
参照位置決定部３０７は、前述した第１の実施形態に係る動画像符号化装置における参照位置決定部１０７とは異なり、動き情報１３を利用せずに参照画像１１−局所復号画像１４間における画素の類似度を利用して参照位置を決定する。例えば、参照位置決定部３０７は、参照画像１１−局所復号画像１４間のブロックマッチングにより参照位置を決定する。【００６３】
上記例であれば、参照位置決定部３０７は、ブロック単位の局所復号画像１６との差分絶対値和ＳＡＤが最小となる当該参照画像１１における位置を探索し、参照位置として決定する。ＳＡＤの算出には、以下に示す数式（４）が用いられる。
【数４】
2009133845.tif 000006
【００６４】
数式（４）において、Ｂはブロックサイズ、Ｄ(x,y)は局所復号画像１４の座標(x,y)における画素値、Ｒ(x,y)は参照画像１１の座標(x,y)における画素値、mx及びmyは参照画像１１の水平方向の位置シフト量及び垂直方向の位置シフト量を夫々表す。数式（４）によってブロックサイズＢとして例えば４×４画素が用いられ、１６画素の差分絶対値和が算出される。数式（４）によって算出されるＳＡＤが最小となるときの水平方向の位置シフト量mx及び垂直方向の位置シフト量myが上記参照位置として決定される。【００６５】
通常、予測画像生成部１０１によって動き推定を行う際に同様の処理は行われるが、実際に選択される動き情報１３は、ＳＡＤだけでなく発生符号量も考慮した符号化コストの値によって定められる。即ち、動き情報１３によって指し示される位置よりも更に局所復号画像１４−参照画像１１間における画素の類似度の高い参照位置が存在し得る。従って、参照位置決定部３０７によれば、後述する復元画像３６の再現性を前述した復元画像１６及び２６に比べて更に高めることができる。尚、上記画素の類似度の指標には、ＳＡＤの他に差分二乗和（ＳＳＤ）や画素値の差分の周波数変換（ＤＣＴやアダマール変換など）結果が用いられてもよい。【００６６】
フィルタ情報設定部３０８は、局所復号画像１４と参照位置決定部３０７によって決定された参照位置に応じて位置シフトされた参照画像１１とを用いて原画像を復元するための時空間フィルタ係数を含むフィルタ情報３５を設定する。フィルタ情報設定部３０８は、設定したフィルタ情報３５をエントロピー符号化部１０４及びフィルタ処理部３０９に入力する。【００６７】
フィルタ処理部３０９は、フィルタ情報設定部３０８からのフィルタ情報３５に従い、参照位置決定部３０７からの参照位置に応じて位置シフトされた参照画像１１を用いて、局所復号画像１４に対して画像復元のための時空間フィルタ処理を行って復元画像３６を生成する。フィルタ処理部３０９は、復元画像３６を参照画像バッファ１１０に上記局所復号画像１４に応じた参照画像１１として記憶させる。【００６８】
（動画像復号化装置）  
図８に示すように、本実施形態に係る動画像復号化装置は、上記図２に示す動画像復号化装置において、参照位置決定部１３５を参照位置決定部３３５、フィルタ処理部１３６をフィルタ処理部３３６に夫々置き換えている。以下の説明では、図８において図２と同一部分には同一符号を付して示し、異なる部分を中心に述べる。【００６９】
参照位置決定部３３５は、前述した第１の実施形態に係る動画像復号化装置における参照位置決定部１３５とは異なり、動き情報１３を利用せずに参照画像１１−復号画像１８間における画素の類似度を利用して参照位置を決定する。参照位置決定部３３５は、決定した参照位置をフィルタ処理部３３６に通知する。【００７０】
フィルタ処理部３３６は、エントロピー復号化部１３１からのフィルタ情報３５に従い、参照位置決定部３３５によって決定された参照位置に応じて位置シフトされた参照画像１１を用いて、復号画像１８に対して時空間フィルタ処理を行って復元画像３６を生成する。フィルタ処理部３３６は、復元画像３６を参照画像バッファ１３７に上記復号画像１８に応じた参照画像１１として記憶させる。【００７１】
以上説明したように、本実施形態に係る動画像符号化装置は、局所復号画像を原画像に近づける時空間フィルタ処理を行うためのフィルタ情報を設定し、上記フィルタ情報に基づく時空間フィルタ処理を行って得られる復元画像を参照画像として利用している。従って、本実施形態に係る動画像符号化装置によれば、参照画像の画質を向上させ符号化効率を改善させることができる。また、本実施形態に係る動画像復号化装置は、復号画像に対して上記フィルタ情報に従って時空間フィルタ処理を行って得られる復元画像を出力している。従って、本実施形態に係る動画像復号化装置によれば、出力画像の画質を向上させることができる。【００７２】
また、本実施形態に係る動画像符号化／復号化装置は、動き情報を利用せず参照画像−（局所）復号画像間における画素の類似度に基づいて参照位置を決定することにより、復元画像−原画像間の誤差を更に低減可能な参照位置を利用できる点において、前述した第１の実施形態に係る動画像符号化／復号化装置と異なる。【００７３】
本実施形態に係る動画像符号化／復号化装置は、時空間フィルタ処理を行っているので、空間方向のフィルタ処理のみを行う前述したポストフィルタよりも更に出力画像の画質を向上させることができる。また、本実施形態に係る動画像復号化装置は、本実施形態に係る動画像符号化装置によって設定されたフィルタ情報を用いて時空間フィルタ処理を行うため、符号化側−復号化側間で予測画像の生成に利用する参照画像を一致させることができる。【００７４】
第１乃至第３の実施形態に係る動画像符号化／復号化装置において時空間フィルタ処理を適用する対象は、局所復号画像または復号画像であるが、当該局所復号画像または復号画像に対して従来のデブロッキングフィルタ処理を施した画像を対象としてもよい。また、第１乃至第３の実施形態に係る動画像符号化／復号化装置は、時空間フィルタ処理に加えて空間フィルタ処理を利用可能とし、フレームまたはフレーム内の局所領域（例えばスライス）に対して両者のいずれか一方を選択的に適用してもよい。【００７５】
第１乃至第３の実施形態に係る動画像符号化／復号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。即ち、予測画像生成部１０１、減算部１０２、変換／量子化部１０３、エントロピー符号化部１０４、逆量子化／逆変換部１０５、加算部１０６、参照位置決定部１０７、フィルタ情報設定部１０８、フィルタ処理部１０９、符号化制御部１２０、復号化部１３０、エントロピー復号化部１３１、逆量子化／逆変換部１３２、予測画像生成部１３３、加算部１３４、参照位置決定部１３５、フィルタ処理部１３６、復号化制御部１４０、符号化部２００、フィルタ情報設定部２０８、フィルタ処理部２０９、符号化制御部２２０、復号化部２３０、フィルタ処理部２３６、復号化制御部２４０、符号化部３００、参照位置決定部３０７、フィルタ情報設定部３０８、フィルタ処理部３０９、符号化制御部３２０、復号化部３３０、参照位置決定部３３５、フィルタ処理部３３６及び復号化制御部３４０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき第１乃至第３の実施形態に係る動画像符号化装置及び動画像復号化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照画像バッファ１１０、参照画像バッファ１３７、予測画像バッファ２０７及び予測画像バッファ２３５は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。【００７６】
尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【図１】
2009133845.tif 000007
【図２】
2009133845.tif 000008
【図３】
2009133845.tif 000009
【図４】
2009133845.tif 000010
【図５】
2009133845.tif 000011
【図６】
2009133845.tif 000012
【図７】
2009133845.tif 000013
【図８】
2009133845.tif 000014
【図９】
2009133845.tif 000015
【図１０】
2009133845.tif 000016
【図１１】
2009133845.tif 000017
【国際調査報告】
2009133845.tif 000018
2009133845.tif 000019
2009133845.tif 000020
2009133845.tif 000021