(57)【要約】輝度信号及び色差信号のそれぞれについてフィルタの適用の有無を切り替えることにより適切なフィルタリングが行われるようにする。  動画像復号化装置は、入力される符号化データを復号化して量子化変換係数及びフィルタ情報を生成する復号化部と、前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成する逆変換・逆量子化部と、前記予測誤差画像と予測画像とを用いて復号画像を生成する復号画像生成部と、前記復号画像の輝度信号に対して、前記輝度フィルタ情報に基づいて輝度フィルタを適用して復元画像の輝度信号を生成する輝度フィルタ処理部と、前記復号画像の色差信号に対して、前記色差フィルタ情報に基づいて色差フィルタを適用して前記復元画像の色差信号を生成する色差フィルタ処理部とを有する。
2010001999.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像と予測画像との差分をとって予測誤差画像を生成する予測誤差生成部と、
前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成する変換・量子化部と、
前記動画像のうちの符号化済み画像に対応する局所復号画像の輝度信号に対して輝度フィルタを適用するか否かを示す切替情報を含む輝度フィルタ情報を生成する輝度フィルタ情報生成部と、
前記動画像のうちの符号化済み画像に対応する局所復号画像の色差信号に対して色差フィルタを適用するか否かを示す切替情報を含む色差フィルタ情報を生成する色差フィルタ情報生成部と、
前記輝度フィルタ情報及び色差フィルタ情報の少なくとも一方を含むフィルタ情報と前記量子化変換係数とを符号化し、符号化データを出力する符号化部と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記局所復号画像の輝度信号に対し前記輝度フィルタ情報に基づいて前記輝度フィルタを適用して復元画像の輝度信号を生成する輝度フィルタ処理部と、
前記局所復号画像の色差信号に対し前記色差フィルタ情報に基づいて前記色差フィルタを適用して前記復元画像の色差信号を生成する色差フィルタ処理部と、
前記復元画像を参照画像として用いて前記予測画像を生成する予測画像生成部を更に備えることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記フィルタ情報は、フィルタ係数情報を更に含み、
前記フィルタ係数情報として、復号化側における復号画像の輝度信号及び色差信号に対するフィルタ係数を設定するフィルタ情報生成部を更に備えることを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
前記色差フィルタ情報は、前記輝度フィルタが適用される場合にのみ前記フィルタ情報に含まれることを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
前記色差フィルタにおけるフィルタタップ長は、前記輝度フィルタのタップ長以下であることを特徴とする請求項１記載の動画像符号化装置。
【請求項６】
前記色差フィルタにおけるフィルタタップ長は、符号化対象である動画像の色差信号の解像度及びダイナミックレンジを含む特性に応じて変更することを特徴とする請求項１記載の動画像符号化装置。
【請求項７】
前記色差フィルタ情報を複数の色差信号コンポーネントで共通して用いることを特徴とする請求項１記載の動画像符号化装置。
【請求項８】
前記輝度信号に対して所定の領域分割情報により領域分割を行って分割領域を求め、前記分割領域毎に前記輝度フィルタを適用するか否かを切り替え、又は前記分割領域毎に異なる輝度フィルタに切り替える輝度フィルタ処理部と、
前記輝度信号と同じ領域分割情報により前記色差信号に対して領域分割を行って分割領域を求め、前記輝度信号と同じ分割領域毎に前記色差フィルタを適用するか否かを切り替え、又は前記分割領域毎に異なる色差フィルタに切り替える色差フィルタ処理部と、
をさらに備えることを特徴とする請求項２記載の動画像符号化装置。
【請求項９】
入力される動画像と予測画像との差分をとって予測誤差画像を生成するステップと、
前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成するステップと、
前記動画像のうちの符号化済み画像に対応する局所復号画像の輝度信号に対して輝度フィルタを適用するか否かを示す切替情報を含む輝度フィルタ情報を生成するステップと、
前記動画像のうちの符号化済み画像に対応する局所復号画像の色差信号に対して色差フィルタを適用するか否かを示す切替情報を含む色差フィルタ情報を生成するステップと、
前記輝度フィルタ情報及び色差フィルタ情報の少なくとも一方を含むフィルタ情報と前記量子化変換係数とを符号化し、符号化データを出力するステップと、
を備えることを特徴とする動画像符号化方法。
【請求項１０】
入力される符号化データを復号化して量子化変換係数及びフィルタ情報を生成する復号化部と、
前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成する逆変換・逆量子化部と、
前記予測誤差画像と予測画像とを用いて復号画像を生成する復号画像生成部と、
前記復号画像の輝度信号に対して、前記輝度フィルタ情報に基づいて輝度フィルタを適用して復元画像の輝度信号を生成する輝度フィルタ処理部と、
前記復号画像の色差信号に対して、前記色差フィルタ情報に基づいて色差フィルタを適用して前記復元画像の色差信号を生成する色差フィルタ処理部と、
を備えることを特徴とする動画像復号化装置。
【請求項１１】
前記復元画像を出力画像として出力する出力部を更に備えることを特徴とする請求項１０記載の動画像復号化装置。
【請求項１２】
前記復元画像を参照画像として用いて前記予測画像を生成することを特徴とする請求項１０記載の動画像復号化装置。
【請求項１３】
前記フィルタ情報は、フィルタ係数情報を更に含むことを特徴とする請求項１０記載の動画像復号化装置。
【請求項１４】
前記色差フィルタ情報は、前記輝度フィルタが適用される場合にのみ前記フィルタ情報に含まれることを特徴とする請求項１０記載の動画像復号化装置。
【請求項１５】
前記色差フィルタにおけるフィルタタップ長は、前記輝度フィルタのタップ長以下であることを特徴とする請求項１０記載の動画像復号化装置。
【請求項１６】
前記色差フィルタにおけるフィルタタップ長は、符号化対象である動画像の色差信号の解像度及びダイナミックレンジを含む特性に応じて変更することを特徴とする請求項１０記載の動画像復号化装置。
【請求項１７】
前記色差フィルタ情報を複数の色差信号コンポーネントで共通して用いることを特徴とする請求項１０記載の動画像復号化装置。
【請求項１８】
前記輝度フィルタ処理部は、前記輝度信号に対して所定の領域分割情報により領域分割を行って分割領域を求め、前記分割領域毎に前記輝度フィルタを適用するか否かを切り替え、又は前記分割領域毎に異なる輝度フィルタに切り替え、
前記色差フィルタ処理部は、前記輝度信号と同じ領域分割情報により前記色差信号に対して領域分割を行って分割領域を求め、前記輝度信号と同じ分割領域毎に前記色差フィルタを適用するか否かを切り替え、又は前記輝度信号と同じ分割領域毎に異なる色差フィルタに切り替えることを特徴とする請求項１０記載の動画像復号化装置。
【請求項１９】
入力される符号化データを復号化して量子化変換係数及びフィルタ情報を生成するステップと、
前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成するステップと、
前記予測誤差画像と予測画像とを用いて復号画像を生成するステップと、
前記復号画像の輝度信号に対して、前記輝度フィルタ情報に基づいて輝度フィルタを適用して復元画像の輝度信号を生成するステップと、
前記復号画像の色差信号に対して、前記色差フィルタ情報に基づいて色差フィルタを適用して前記復元画像の色差信号を生成するステップと、
を備えることを特徴とする動画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルタを用いて局所復号画像や復号画像の画質を向上するようにした動画像符号化／復号化方法及び装置に関する。
【背景技術】
【０００２】
動画像符号化／復号化装置の符号化側では、入力される動画像と予測画像との差分である予測誤差画像に対して画素ブロック単位で直交変換を行い、それによって得られる変換係数を量子化して符号化を行う。復号化側では、符号化された動画像を受け取り、上記符号化とは逆の処理によって復号化を行って動画像を得る。【０００３】
符号化側でポストフィルタのフィルタ情報を設定して復号化側に送信し、復号化側では、受信した当該フィルタ情報を用いてポストフィルタ処理を行なう動画像符号化／復号化装置がある（例えば非特許文献１を参照。）。【０００４】
非特許文献１に開示された動画像符号化／復号化では、復号画像と入力画像との誤差が小さくなるように符号化側でフィルタ情報を設定することによって、復号化側でポストフィルタを適用して得られる出力画像の画質を向上させることが可能である。フィルタ情報は輝度信号及び色差信号のそれぞれに対して設定され、送信される。しかし、それぞれの信号に対して個別にフィルタを適用するか否かを判定するものではない。【０００５】
すなわち、輝度信号及び色差信号のいずれかにフィルタを適用することが、丸め誤差等の影響により画質低下をもたらす場合であっても、これに対処することはできず、輝度信号に対するフィルタ情報とともに色差信号に対するフィルタ情報が復号側に常に送信される。
【非特許文献１】Ｓ．Ｗｉｔｔｍａｎｎ  ａｎｄ  Ｔ．Ｗｅｄｉ，“Ｐｏｓｔ−ｆｉｌｔｅｒ  ＳＥＩ  ｍｅｓｓａｇｅ  ｆｏｒ  ４：４：４  ｃｏｄｉｎｇ”，ＪＶＴ  ｏｆ  ＩＳＯ／ＩＥＣ  ＭＰＥＧ  ＆  ＩＴＵ−Ｔ  ＶＣＥＧ，ＪＶＴ−Ｓ０３０，Ａｐｒｉｌ  ２００６．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、非特許文献１に開示された技術では、輝度信号及び色差信号のいずれかにフィルタを適用することが、丸め誤差等の影響により画質低下をもたらす場合であっても、これに対処することはできず、輝度信号に対するフィルタ情報とともに色差信号に対するフィルタ情報が復号側に常に送信される。【０００７】
さらに、画質改善効果とフィルタ情報送信に伴う符号量の増加との関係を輝度信号及び色差信号のそれぞれについて考慮することもできない。【０００８】
本発明は、輝度信号及び色差信号のそれぞれについてフィルタの適用有無を切り替えることにより適切なフィルタリングを行うことのできる動画像符号化／復号化方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の観点によると、入力される動画像と予測画像との差分をとって予測誤差画像を生成するステップと、前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成するステップと、前記動画像のうちの符号化済み画像に対応する局所復号画像の輝度信号に対して輝度フィルタを適用するか否かを示す切替情報を含む輝度フィルタ情報を生成するステップと、前記動画像のうちの符号化済み画像に対応する局所復号画像の色差信号に対して色差フィルタを適用するか否かを示す切替情報を含む色差フィルタ情報を生成するステップと、前記輝度フィルタ情報及び色差フィルタ情報の少なくとも一方を含むフィルタ情報と前記量子化変換係数とを符号化し、符号化データを出力するステップと、を備えることを特徴とする動画像符号化方法が提供される。【００１０】
本発明の第２の観点によると、入力される符号化データを復号化して量子化変換係数及びフィルタ情報を生成するステップと、前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成するステップと、前記予測誤差画像と予測画像とを用いて復号画像を生成するステップと、前記復号画像の輝度信号に対して、前記輝度フィルタ情報に基づいて輝度フィルタを適用して復元画像の輝度信号を生成するステップと、前記復号画像の色差信号に対して、前記色差フィルタ情報に基づいて色差フィルタを適用して前記復元画像の色差信号を生成するステップと、を備えることを特徴とする動画像復号化方法が提供される。
【発明の効果】
【００１１】
本発明によれば、フィルタを適用するか否かを輝度信号及び色差信号のそれぞれで切り替えることが可能となる。それにより、輝度信号及び色差信号の何れかでフィルタリングによって画質が低下してしまう場合には、その何れかの信号についてはフィルタを適用しないことで画質低下を防ぐことが可能となる。また、適用するフィルタについては符号化側でフィルタ係数を設定して送信しても良く、その場合は画質改善効果と符号量増加を考慮した最適なフィルタリングが可能となり、符号化効率が向上する。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係わる動画像符号化装置の構成を示すブロック図
【図２】図１のフィルタ情報生成部の構成を示すブロック図
【図３】図１のフィルタ情報生成部の動作を示すフローチャート
【図４】実施形態に係わるシンタクス構造を示す図
【図５】実施形態に係わるループフィルタデータシンタクスを示す図
【図６】実施形態に係わるループフィルタデータシンタクス（フィルタサイズ固定の例）を示す図
【図７】実施形態に係わるループフィルタデータシンタクス（色差フィルタサイズを求める、ＹＵＶ４：２：０の例）を示す図
【図８】実施形態に係わるループフィルタデータシンタクス（フィルタ係数固定の例）を示す図
【図９】実施形態に係わるループフィルタデータシンタクス（色差フィルタ係数共通の例）を示す図
【図１０】実施形態に係わるループフィルタデータシンタクス（輝度フィルタ適用時のみ色差フィルタ情報を含む例）を示す図
【図１１】図１の符号化装置に対応する動画像復号化装置の構成を示すブロック図
【図１２】図１１の復号化装置におけるフィルタ処理部の構成を示すブロック図
【図１３】図１１の復号化装置におけるフィルタ処理部の動作を示すフローチャート
【図１４】別の実施形態に係る動画像符号化装置の構成を示すブロック図
【図１５】図１４の符号化装置に対応する動画像復号化装置の構成を示すブロック図
【図１６】別の実施形態に係わる動画像復号化装置の構成を示すブロック図
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を参照して説明する。  
（動画像符号化装置）  
図１に示されるように、動画像符号化装置１０００は、予測信号生成部１０１、減算器（予測誤差生成部）１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、フィルタ情報生成部１０７、参照画像用バッファ１０８を有し、符号化制御部１０９によって制御される。
【００１４】
予測信号生成部１０１は、参照画像用バッファ１０８に格納されている既に符号化済みの参照画像信号１８を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理には、例えば、動き予測、動き補償による時間方向の予測、または画面内の符号化済み画素からの空間方向の予測などを用いることができる。
【００１５】
減算器１０２は、動画像の入力画像信号１０と予測画像信号１１との差分を計算し、予測誤差画像信号１２を生成する。予測誤差画像信号１２は、変換・量子化部１０３に入力される。
【００１６】
変換・量子化部１０３は、予測誤差画像信号１２に対してまず変換処理を行う。ここでは、例えば離散コサイン変換（ＤＣＴ）のような直交変換を行い、変換係数を生成する。直交変換とは別に、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を生成しても良い。次に、変換・量子化部１０３は生成した変換係数を後述する符号化制御部１０９に設定されている量子化パラメータに基づいて量子化し、量子化後の変換係数１３を出力する。量子化後の変換係数１３は、後述するエントロピー符号化部１０４へ入力されると同時に、逆変換・逆量子化部１０５へも入力される。
【００１７】
逆変換・逆量子化部１０５は、量子化後の変換係数１３を符号化制御部１０９に設定されている量子化パラメータに従って逆量子化する。次に、逆量子化により得られた変換係数に対して変換・量子化部１０３における変換に対応する逆変換、例えば逆離散コサイン変換（ＩＤＣＴ）のような逆直交変換を行い、予測誤差画像信号１５を生成する。
【００１８】
加算器１０６は、逆変換・逆量子化部１０５により生成された予測誤差画像信号１５と、予測信号生成部１０１により生成された予測画像信号１１とを加算することによって、入力画像信号１０のうちの符号化済み画像に対応する局所復号画像信号１６を生成する。
【００１９】
フィルタ情報生成部１０７は、局所復号画像信号１６及び入力画像信号１０に基づいてフィルタ情報１７を出力する。フィルタ情報生成部１０７の詳細は後述する。
【００２０】
参照画像用バッファ１０８は、局所復号画像信号１６を参照画像信号として一時保存する。参照画像用バッファ１０８に保存した参照画像信号１８は、予測信号生成部１０１によって予測画像信号１１を生成する際に参照される。
【００２１】
一方、エントロピー符号化部１０４は、量子化後の変換係数１３、フィルタ情報１７、予測モード情報、ブロックサイズ切替情報、動きベクトル及び量子化パラメータなどの種々の符号化パラメータに対してエントロピー符号化（例えばハフマン符号化または算術符号化など）を行い、符号化データ１４を出力する。
【００２２】
符号化制御部１０９は、発生符号量のフィードバック制御及び量子化制御、モード制御などを行ない、符号化全体の制御を行なう。
【００２３】
（フィルタ情報生成部）  
次に、フィルタ情報生成部１０７について図２を用いて詳しく述べる。図２に示すように、フィルタ情報生成部１０７は、輝度フィルタ情報生成部１１０、色差フィルタ情報生成部１１１を有する。輝度フィルタ情報生成部１１０は、局所復号画像信号１６及び入力画像信号１０の輝度信号を取得し、輝度フィルタ情報を生成する。色差フィルタ情報生成部１１０は、局所復号画像信号１６及び入力画像信号１０の色差信号を取得し、色差フィルタ情報を生成する。
【００２４】
なお、本実施形態における輝度フィルタ情報及び色差フィルタ情報とは、それぞれ輝度信号及び色差信号に対してフィルタを適用するか否かの切替情報であり、フィルタを適用する場合にはフィルタ係数情報を含む。これら輝度フィルタ情報及び色差フィルタ情報は多重化され、フィルタ情報１７としてエントロピー符号化部１０４へ入力される。
【００２５】
本実施形態に係る動画像符号化装置１０００の概略的な処理について説明する。以下に示す一連の符号化処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な符号化処理である。
【００２６】
まず、動画像符号化装置１０００に入力画像信号１０が入力されると、予測誤差生成部（減算器）１０２において入力画像信号１０から予測信号生成部１０１により生成された予測画像信号１１を差し引いて予測誤差画像信号１２が生成される。予測誤差画像信号１２に対し変換・量子化部１０３において変換及び量子化がなされ、量子化変換係数１３が生成される。量子化変換係数１３は、エントロピー符号化部１０４において符号化される。
【００２７】
一方、量子化変換係数１３は逆量子化・逆変換部１０５にも入力され、ここで逆変換及び逆量子化が行われることにより予測誤差画像信号１５が生成される。予測誤差画像信号１５は、予測画像生成部１０１で出力される予測画像信号１１と加算器１０６で加算され、局所復号画像信号１６が生成される。
【００２８】
次に、本実施形態に係る動画像符号化装置１０００における特徴的な処理であるフィルタ情報生成部１０７の動作について図２及び図３を用いて詳しく説明する。
【００２９】
図２において、フィルタ情報生成部１０７に局所復号画像信号１６及び入力画像信号１０が入力されると、それぞれ輝度信号と色差信号に分けて処理が行われる。輝度信号は輝度フィルタ情報生成部１１０に入力され、フィルタ係数の設定及び輝度信号にフィルタを適用するか否かの切替情報の設定が行われる。一方、色差信号は色差フィルタ情報生成部１１１に入力され、フィルタ係数の設定及び色差信号にフィルタを適用するか否かの切替情報の設定が行われる。
【００３０】
ここでは、画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ  ｆｉｌｔｅｒを用いることとし、切替情報については次式により表される符号化コストに基づいて設定する。
【００３１】
ｃｏｓｔ＝Ｄ＋λ×Ｒ
ただし、上式におけるＤは残差二乗和、Ｒは符号量を表す。符号化コストを用いることにより、画質改善効果とフィルタ情報送信にかかる符号量を比較し、最適なフィルタリングが可能となる。
【００３２】
図３はフィルタ情報生成部１０７の動作を示すフローチャートである。図３に示すように、まず局所復号画像信号１６の輝度信号にフィルタ処理を施した画像と、入力画像信号１０の輝度信号との平均二乗誤差が最小となるように、フィルタ係数を設定する（ステップＳ１０１）。
【００３３】
次に、輝度信号に対してフィルタを適用しない場合のコストであるｃｏｓｔｌｕｍａ＿Ａ及びフィルタを適用する場合のコストであるｃｏｓｔｌｕｍａ＿Ｂを算出する（ステップＳ１０２）。
【００３４】
次に、ｃｏｓｔｌｕｍａ＿Ａとｃｏｓｔｌｕｍａ＿Ｂを比較する（ステップＳ１０３）。フィルタを適用することでコストが削減される場合、すなわちｃｏｓｔｌｕｍａ＿Ａ＞ｃｏｓｔｌｕｍａ＿Ｂである場合、復号化側で輝度信号にフィルタを適用する旨決定し、切替情報に相当するフラグすなわちｌｕｍａ＿ｆｌａｇ＝１に設定する（ステップＳ１０４）。
【００３５】
一方、フィルタを適用してコストが削減されない場合、すなわちｃｏｓｔｌｕｍａ＿Ａ＞ｃｏｓｔｌｕｍａ＿Ｂでない場合、復号化側で輝度信号にフィルタを適用しない旨決定し、切替情報に相当するフラグすなわちｌｕｍａ＿ｆｌａｇ＝０に設定する（ステップＳ１０５）。
【００３６】
そしてｌｕｍａ＿ｆｌａｇ＝０の場合にはｌｕｍａ＿ｆｌａｇのみを輝度フィルタ情報とし、ｌｕｍａ＿ｆｌａｇ＝１の場合はｌｕｍａ＿ｆｌａｇ及びステップＳ１０１で設定したフィルタ係数情報を輝度フィルタ情報とする。
【００３７】
次に、ステップＳ１０６〜ステップＳ１１０では、色差信号について処理が行われる。上述したように、色差信号は色差フィルタ情報生成部１１１に入力され、フィルタ係数の設定及び色差信号にフィルタを適用するか否かの切替情報の設定が行われる。
【００３８】
まず局所復号画像信号１６の色差信号にフィルタ処理を施した画像と、入力画像信号１０の色差信号との平均二乗誤差が最小となるように、フィルタ係数を設定する（ステップＳ１０６）。
【００３９】
次に、色差信号に対してフィルタを適用しない場合のコストであるｃｏｓｔｃｈｒｏｍａ＿Ａ及びフィルタを適用する場合のコストであるｃｏｓｔｃｈｒｏｍａ＿Ｂを算出する（ステップＳ１０７）。
【００４０】
次に、ｃｏｓｔｃｈｒｏｍａ＿Ａとｃｏｓｔｃｈｒｏｍａ＿Ｂを比較する（ステップＳ１０８）。フィルタを適用することでコストが削減される場合、すなわちｃｏｓｔｃｈｒｏｍａ＿Ａ＞ｃｏｓｔｃｈｒｏｍａ＿Ｂである場合、復号化側で色差信号にフィルタを適用する旨決定し、切替情報に相当するフラグすなわちｃｈｒｏｍａ＿ｆｌａｇ＝１に設定する（ステップＳ１０９）。
【００４１】
一方、フィルタを適用してコストが削減されない場合、すなわちｃｏｓｔｃｈｒｏｍａ＿Ａ＞ｃｏｓｔｃｈｒｏｍａ＿Ｂでない場合、復号化側で色差信号にフィルタを適用しない旨決定し、切替情報に相当するフラグすなわちｃｈｒｏｍａ＿ｆｌａｇ＝０に設定する（ステップＳ１１０）。
【００４２】
そしてｃｈｒｏｍａ＿ｆｌａｇ＝０の場合にはｃｈｒｏｍａ＿ｆｌａｇのみを色差フィルタ情報とし、ｃｈｒｏｍａ＿ｆｌａｇ＝１の場合はｃｈｒｏｍａ＿ｆｌａｇ及びステップＳ１０６で設定したフィルタ係数情報を色差フィルタ情報とする。
【００４３】
尚、扱う画像信号に、Ｙ（輝度信号）、Ｃｂ（色差信号）、Ｃｒ（色差信号）のように色差信号コンポーネントが複数存在する場合、色差フィルタ情報は何れか一つ以上について生成されるものとする。また、複数の色差信号コンポーネントに対して共通の色差フィルタ情報を生成しても良い。
【００４４】
最後に、フィルタ情報生成部１０７で生成されたフィルタ情報１７はエントロピー符号化部１０４において符号化され、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置２０００に向けて送信される（ステップＳ１１１）。
【００４５】
（シンタクス構造について）  
ここで、フィルタ情報１７の符号化方法に関して、本実施の形態で用いるシンタクス構造の概略を、図４を参照して詳しく説明する。以下の例では、フィルタ情報１７をスライス単位で送信するものとする。
【００４６】
シンタクスは主にハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７という３つのパートからなる。ハイレベルシンタクス１９００は、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス１９０３では、スライス毎に必要な情報が明記されている。マクロブロックレベルシンタクス１９０７では、マクロブロック毎に必要とされる変換係数データや予測モード情報、動きベクトルなどが明記されている。
【００４７】
ハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７は、それぞれ更に詳細なシンタクスで構成される。ハイレベルシンタクス１９００は、シーケンスパラメータセットシンタクス１９０１とピクチャパラメータセットシンタクス１９０２などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス１９０３は、スライスヘッダーシンタクス１９０４、スライスデータシンタクス１９０５、ループフィルタデータシンタクス１９０６などから成る。更に、マクロブロックレベルシンタクス１９０７は、マクロブロックレイヤーシンタクス１９０８、マクロブロックプレディクションシンタクス１９０９などから構成されている。
【００４８】
図５に示すように、ループフィルタデータシンタクス１９０６には、本実施形態のループフィルタに関するパラメータであるフィルタ情報１７が記述されている。ここで、フィルタ情報１７である図５のｌｕｍａ＿ｆｌａｇは前述した様に輝度信号に対してフィルタを適用するか否かを示す切替情報である。ｆｉｌｔｅｒ＿ｃｏｅｆｆ＿ｌｕｍａ［ｙ］［ｘ］は、輝度信号に対する２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、輝度信号に対するフィルタサイズを決める値である。また、ｃｈｒｏｍａ＿ｆｌａｇは色差信号に対してフィルタを適用するか否かを示す切替情報、ｃｈｒｏｍａ＿ｎｕｍは色差信号に含まれるコンポーネント数である。ｃｈｒｏｍａ＿ｆｌａｇは色差信号に含まれる各コンポーネントに対してそれぞれ与えても良い。ｆｉｌｔｅｒ＿ｃｏｅｆｆ＿ｃｈｒｏｍａ［ｃ］［ｙ］［ｘ］は、ｃ番目の色差信号コンポーネントに対する２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ＿ｃｒ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘ＿ｃｒは、色差信号に対するフィルタサイズを決める値である。ただし、別の実施形態として、これら輝度フィルタ及び色差フィルタは１次元フィルタを用いても良い。また、ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値を用いても良い。このとき、図５のシンタクスは例えば図６のように変更される。ただし、フィルタサイズを固定値とした場合、動画像符号化装置１０００及び後述する動画像復号化装置２０００において同様の値を用いなければならないことに注意する。また、色差信号に対するフィルタのタップ長は、輝度信号に対するフィルタのタップ長と色差信号の解像度及びダイナミックレンジ等の特性から定めても良い。例えば、ＹＵＶ４：２：２やＹＵＶ４：２：０といった、色差信号における解像度が輝度信号における解像度と比較して小さい画像を扱う場合、輝度信号と比較して色差信号では小さなタップ長のフィルタを用いる等の処理が考えられる。具体例として、ＹＵＶ４：２：０に考えられるシンタクスを図７に示す。図７では、色差信号の解像度が輝度信号の解像度に対して水平・垂直共に半分であることから、色差信号に対するフィルタのタップ長を１／２としている。
【００４９】
更に、フィルタ係数についても予め定めた固定の値を用いても良い。固定のフィルタを用いる場合、複数のフィルタから選択できるようにしても良く、その際にフィルタを特定するためのインデクス情報を付加しても良い。このとき、図５のシンタクスは例えば図８のように変更される。ただし、図８のｌｕｍａ＿ｆｉｔｌｅｒ＿ｉｄｘ及びｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｄｘ［ｃ］は上記フィルタを特定するためのインデクス情報を示す。
【００５０】
なお、前述の様に、複数の色差コンポーネントに対して同じフィルタ情報を用いても良い。例として全ての色差コンポーネントで共通のフィルタ係数を用いる場合のシンタクスを図９に示す。
【００５１】
また、本実施の形態では色差フィルタ情報を必ず付加しているが、別の実施形態として、輝度信号に対してフィルタを適用する場合のみ、即ち輝度フィルタ情報に含まれる切替情報であるｌｕｍａ＿ｆｌａｇ＝１の場合のみ色差フィルタ情報を付加するようにしても良い。その際、ループフィルタデータシンタクスは図５から例えば図１０のように変更される。
【００５２】
なお、ここではスライス単位でフィルタを適用するか否かを切り替えることとし、フィルタ情報１７を送信する場合について説明したが、異なる実施形態として、シーケンスレベル、ピクチャレベル、マクロブロックレベルでフィルタを適用するか否かを切り替えることとし、そのような単位でフィルタ情報を設定して送信しても良い。
【００５３】
また、輝度信号に対して所定の領域分割情報により領域分割を行い、領域毎にフィルタの適用、非適用を切り替えてもよい。または領域毎に異なるフィルタを切り替えて適用しても良い。その際には、領域分割情報及び領域毎の切替情報を輝度フィルタ情報に付加する。このとき、色差フィルタについても同じ領域分割情報を用いて、領域毎にフィルタの適用、非適用を切り替えてもよい。または領域毎に異なるフィルタを切り替えて適用しても良い。領域分割情報としては、画面をブロック単位で区切る場合にはブロックサイズを、画像処理により領域分割を行う場合には周辺画素との絶対値差分の平均値、周辺画素との絶対値差分の最大値、高域通過フィルタ処理後の値の絶対値、フィルタ処理を行うことによる画素値変化の絶対値等に対する閾値の何れか一つ以上を用いて良い。なお、上記領域分割に基づく処理は、後述する動画像復号化装置で行われても良い。
【００５４】
（動画像復号化装置）  
次に、図１に示した動画像符号化装置１０００に対応する動画像復号化装置２０００について説明する。図１１に示すように、動画像復号化装置２０００は、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、フィルタ処理部２０５、参照画像用バッファ２０６を有し、復号化制御部２０７によって制御される。
【００５５】
エントロピー復号化部２０１は、図４に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシンタクス、マクロブロックレベルシンタクスのそれぞれに対して、順次符号化データ１４の各シンタクスの符号列が復号され、量子化された変換係数１３、フィルタ情報１７などが復元される。
【００５６】
逆変換・逆量子化部２０２は、量子化された変換係数１３を取得して逆量子化し、逆直交変換（例えば逆離散コサイン変換など）を行ない、予測誤差画像信号１５を出力する。ここでは、動画像符号化装置１０００で行われた直交変換及び量子化に対応する逆変換及び逆量子化が行われる。例えば、動画像符号化装置１０００に変換・量子化部１０３でウェーブレット変換及び量子化が行なわれている場合、逆変換・逆量子化部２０２は、対応する逆ウェーブレット変換及び逆量子化が実行される。
【００５７】
予測信号生成部２０３は、参照画像用バッファ２０６に格納されている既に復号化済みの参照画像信号１８を取得して所定の予測処理を行い、予測画像信号１１を出力する。前記予測処理は、例えば、動き補償による時間方向の予測や、画面内の既に復号化済みの画素からの空間方向の予測などを用いて良いが、動画像符号化装置１０００と同様の予測処理が実行されることに注意する。
【００５８】
加算器２０４は、取得した予測誤差画像信号１５及び予測画像信号１１を加算し、復号画像信号２１を生成する。
【００５９】
フィルタ処理部２０５は、復号画像信号２１、フィルタ情報１７を取得し、復元画像信号２２を出力する。フィルタ処理部２０５についての詳しい説明は後述する。
【００６０】
参照画像用バッファ２０６は、フィルタ処理部２０５から取得した復元画像信号２２を参照画像信号として一時保存する。参照画像用バッファ２０６に保存した参照画像信号１８は、予測信号生成部２０３によって予測画像信号１１を生成する際に参照される。
【００６１】
復号化制御部２０７は、復号化タイミングの制御などを行い、復号化全体の制御を行う。
【００６２】
次に、本実施形態に係る動画像復号化装置２０００におけるフィルタ処理部２０５について詳しく述べる。図１２に示すように、フィルタ処理部２０５は、輝度フィルタ用スイッチ２０８、輝度フィルタ処理部２０９、色差フィルタ用スイッチ２１０及び色差フィルタ処理部２１１を有する。
【００６３】
輝度フィルタ処理部２０９は、復号画像信号２１の輝度信号及びフィルタ情報１７の輝度フィルタ情報を取得し、輝度信号に対してフィルタを適用する。色差フィルタ処理部２１１は、復号画像信号２１の色差信号及びフィルタ情報１７の色差フィルタ情報を取得し、色差信号に対してフィルタを適用する。
【００６４】
輝度フィルタ用スイッチ２０８は、輝度フィルタ情報に基づき輝度信号に対するフィルタの適用・非適用を切り替え、復元画像信号２２の輝度信号を決定する。色差フィルタ用スイッチ２１０は、色差フィルタ情報に基づき色差信号に対するフィルタの適用・非適用を切り替え、復元画像信号２２の色差信号を決定する。復元画像信号２２は、出力画像信号として復号化制御部２０７が管理するタイミングで出力される。
【００６５】
本実施形態に係る動画像復号化装置２０００の概略的な処理について説明する。以下に示す一連の復号化処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な復号化処理である。
【００６６】
まず、図１１の動画像復号化装置２０００に符号化データ１４が入力されると、エントロピー復号化部２０１によって、変換係数１３、フィルタ情報１７に加え、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどが図４のシンタクス構造に従って復号される。次に、エントロピー復号化部２０１によって復号された変換係数１３は、逆変換・逆量子化部２０２へと入力され、復号化制御部２０７にて設定されている量子化パラメータに従って逆量子化され、得られた変換係数に対して逆直交変換（例えば離散コサイン変換など）を行い、予測誤差画像信号１５を復元する。予測誤差画像信号１５は、予測信号生成部２０３によって出力された予測画像信号１１と加算器２０４にて加算され、復号画像信号２１が生成される。
【００６７】
ここで、本実施形態に係る動画像復号化装置２０００における特徴的な処理であるフィルタ処理部２０５の動作について図１２及び図１３を用いて詳しく説明する。
【００６８】
まず、エントロピー復号化部２０１は、図４のシンタクス構造に従って、フィルタ情報１７をエントロピー復号化する（ステップＳ１０１）。図４のシンタクス構造におけるスライスレベルシンタクス１９０３に属するループフィルタデータシンタクス１９０６内には、図５に示すように、本実施形態のループフィルタに関するパラメータであるフィルタ情報１７が記述されている。
【００６９】
フィルタ情報１７における輝度フィルタ情報は輝度フィルタ用スイッチ２０８に入力される。このとき、輝度信号に対するフィルタの切替情報を示すｌｕｍａ＿ｆｌａｇ＝０である場合、輝度信号に対してフィルタを適用せず、復号画像２１の輝度信号を復元画像２２の輝度信号とする。一方、ｌｕｍａ＿ｆｌａｇ＝１である場合、輝度フィルタ処理部２０９は、輝度フィルタ情報に基づいて輝度信号に対してフィルタを適用し、復元画像２２の輝度信号を生成する（ステップＳ１０３〜Ｓ１０６）。
【００７０】
フィルタ情報１７における色差フィルタ情報は色差フィルタ用スイッチ２１０に入力される。このとき、色差信号に対するフィルタの切替情報を示すｃｈｒｏｍａ＿ｆｌａｇ＝０である場合、色差信号に対してフィルタを適用せず、復号画像２１の色差信号を復元画像２２の色差信号とする。一方、ｃｈｒｏｍａ＿ｆｌａｇ＝１である場合、色差フィルタ処理部２０９は、色差フィルタ情報に基づいて色差信号に対してフィルタを適用し、復元画像２２の色差信号を生成する（ステップＳ１０５〜Ｓ１０７）。
【００７１】
復元画像信号２２は、出力画像信号として出力される。
【００７２】
以上説明したように、本実施形態に係る動画像符号化装置によれば、入力画像との誤差が最小となるようにフィルタ情報を設定し、そのようなフィルタが適応的に適用されるようにしつつ出力画像の画質を向上させることが可能となる。すなわち、輝度信号及び色差信号それぞれについてフィルタを適用するか否かの切替情報を用いることにより、それぞれの信号で最適なフィルタリングが可能となる。
【００７３】
なお、本実施形態に係る動画像符号化装置１０００及び動画像復号化装置２０００では、局所復号画像信号１６に対してフィルタ処理を行っているが、局所復号画像信号１６として、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。
【００７４】
また、本実施形態に係る動画像符号化装置１０００及び動画像復号化装置２０００では、本発明に係る処理をポストフィルタとして適用した場合について説明したが、別の実施形態として、本発明に係る処理をループフィルタとして適用することもでき、フィルタ適用後の復元画像２２を参照画像としても良い。その際、図１の動画像符号化装置１０００は、図１４の動画像符号化装置３０００に変更される。また、図１１の動画像復号化装置２０００は、図１５の動画像復号化装置４０００に変更される。
【００７５】
動画像符号化装置３０００は、動画像符号化装置１０００にフィルタ処理部２０５を加え、参照画像用バッファ１０８への入力を、加算器１０６から出力される局所復号画像１６から、フィルタ処理部２０５により出力される復元画像信号２２に変更することにより実現される。
【００７６】
また、動画像復号化装置４０００は、参照画像用バッファ２０６への入力を、加算器２０４から出力される復号画像信号２１から、フィルタ処理部２０５により出力される復元画像信号２２に変更することで実現可能である。
【００７７】
上記のようにフィルタ適用後の画像を参照画像として用いることにより、それ以降の予測の高精度化が可能となり、符号化効率が向上する。
【００７８】
また、更に別の実施形態として、本発明に従いフィルタ処理した復号画像２２を参照画像としてのみ用い、出力画像には通常の復号画像２１を用いても良い。その際、動画像符号化装置は動画像符号化装置３０００を用いて良く、動画像復号化装置は図１６に示す動画像復号化装置５０００に変更される。
【００７９】
図１６の動画像復号化装置５０００は、図１５の動画像復号化装置４０００における出力画像信号を、復元画像２２から復号画像２１に変更することにより実現される。
【００８０】
なお、動画像符号化装置１０００、動画像復号化装置２０００、動画像符号化装置３０００、動画像復号化装置４０００及び動画像復号化装置５０００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、フィルタ情報生成部１０７、参照画像用バッファ１０８、符号化制御部１０９、輝度フィルタ情報生成部１１０、色差フィルタ情報生成部１１１、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、フィルタ処理部２０５、参照画像用バッファ２０６、復号化制御部２０７、輝度フィルタ用スイッチ２０８、輝度フィルタ処理部２０９、色差フィルタ用スイッチ２１０及び色差フィルタ処理部２１１は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。
【００８１】
このとき、動画像符号化装置１０００、動画像復号化装置２０００、動画像符号化装置３０００、動画像復号化装置４０００及び動画像復号化装置５０００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現しても良いし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現しても良い。また、参照画像用バッファ１０８及び参照画像用バッファ２０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００８２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、別の実施形態にわたる構成要素を適宜組み合わせても良い。
【図１】
2010001999.tif 000003
【図２】
2010001999.tif 000004
【図３】
2010001999.tif 000005
【図４】
2010001999.tif 000006
【図５】
2010001999.tif 000007
【図６】
2010001999.tif 000008
【図７】
2010001999.tif 000009
【図８】
2010001999.tif 000010
【図９】
2010001999.tif 000011
【図１０】
2010001999.tif 000012
【図１１】
2010001999.tif 000013
【図１２】
2010001999.tif 000014
【図１３】
2010001999.tif 000015
【図１４】
2010001999.tif 000016
【図１５】
2010001999.tif 000017
【図１６】
2010001999.tif 000018
【国際調査報告】
2010001999.tif 000019
2010001999.tif 000020
2010001999.tif 000021
2010001999.tif 000022