(57)【要約】  動画像符号化装置は、入力される動画像と予測画像との差分をとって予測誤差画像を生成する予測誤差生成部、予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成する変換／量子化部、動画像のうちの符号化済み画像に対応する局所復号画像中のエッジの属性を示すエッジ情報を生成するエッジ情報生成部、エッジ情報に基づいて復号化側における復号画像に対するフィルタの適用に関する制御情報を生成する制御情報生成部、制御情報に基づいて前記フィルタのフィルタ係数を設定する設定部、量子化変換係数及びフィルタ係数を示すフィルタ係数情報を符号化して符号化データを出力する符号化部を有する。
2009133844.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像と予測画像との差分をとって予測誤差画像を生成することと、
前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成することと、
前記動画像のうちの符号化済み画像に対応する局所復号画像中のエッジの属性を示すエッジ情報を生成することと、
前記エッジ情報に基づいて復号化側における復号画像に対するフィルタの適用に関する制御情報を生成することと、
前記制御情報に基づいて前記フィルタのフィルタ係数を設定することと、
前記量子化変換係数、及び前記フィルタ係数を示すフィルタ係数情報を符号化して符号化データを出力することと、
を備える動画像符号化方法。
【請求項２】
前記局所復号画像に対し前記制御情報に基づいて、前記フィルタ係数情報に従ってフィルタ係数が設定されたフィルタを適用して復元画像を生成することと、
前記復元画像を参照画像として用いて前記予測画像を生成することと、
を更に備える請求項１記載の方法。
【請求項３】
前記エッジ情報は、エッジ方向の情報を含み、
前記制御情報は、前記エッジ方向の情報に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項２記載の方法。
【請求項４】
前記エッジ情報は、さらにエッジ強度の情報を含み、
前記制御情報は、前記エッジ強度が閾値より大きい領域について前記エッジ方向の情報に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項３記載の方法。
【請求項５】
前記エッジ方向の情報に基づく前記フィルタの回転は、前記フィルタがエッジの長さ方向に対してローパス特性を持ち、かつ、前記エッジの長さ方向と直交する方向に対してハイパス特性を持つようになされる請求項３記載の方法。
【請求項６】
前記エッジ情報は、エッジ方向の情報を含み、
前記制御情報は、注目画素の近傍のエッジ画素をエッジの長さ方向の線を挟んで前記エッジ画素と対称の位置に存在する非エッジ画素で置換してから前記注目画素に対して前記フィルタを適用する場合における、前記エッジ画素と前記非エッジ画素との対応関係を示す情報を含む請求項２記載の方法。
【請求項７】
前記エッジ情報は、エッジ強度の情報を含み、
前記制御情報は、前記エッジ強度の情報に基づいて注目画素の画素値との差分が閾値より大きい画素値を持つ特異画素を前記注目画素またはその近傍画素で置換した後に前記注目画素に対して前記フィルタを適用する場合における、前記特異画素の位置情報を含む請求項２記載の方法。
【請求項８】
前記エッジ情報は、エッジ方向の情報を含み、
前記制御情報は、前記エッジ方向の情報に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項１記載の方法。
【請求項９】
入力される動画像と予測画像との差分をとって予測誤差画像を生成する予測誤差生成部と、
前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成する変換／量子化部と、
前記動画像のうちの符号化済み画像に対応する局所復号画像中のエッジの属性を示すエッジ情報を生成するエッジ情報生成部と、
前記エッジ情報に基づいて復号化側における復号画像に対するフィルタの適用に関する制御情報を生成する制御情報生成部と、
前記制御情報に基づいて前記フィルタのフィルタ係数を設定する設定部と、
前記量子化変換係数及び前記フィルタ係数を示すフィルタ係数情報を符号化して符号化データを出力する符号化部と、
を備える動画像符号化装置。
【請求項１０】
入力される符号化データを復号化して量子化変換係数、及びフィルタ係数を示すフィルタ係数情報を生成することと、
前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成することと、
前記予測誤差画像と予測画像を用いて復号画像を生成することと、
前記復号画像中のエッジの属性を示すエッジ情報を生成することと、
前記エッジ情報に基づいて前記復号画像に対するフィルタの適用に関する制御情報を生成することと、
前記復号画像に対し前記制御情報に基づいて、前記フィルタ係数情報に従ってフィルタ係数が設定された前記フィルタを適用して復元画像を生成することと、
を備える動画像復号化方法。
【請求項１１】
前記復元画像を参照画像として用いて前記予測画像を生成する予測画像生成部、
を更に備える請求項１０記載の方法。
【請求項１２】
前記エッジ情報は、エッジ方向の情報を含み、
前記制御情報は、前記エッジ方向に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項１１記載の方法。
【請求項１３】
前記エッジ情報は、さらにエッジ強度の情報を含み、
前記制御情報は、前記エッジ強度が閾値より大きい領域について前記エッジ方向に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項１２記載の方法。
【請求項１４】
前記エッジ方向に基づく前記フィルタの回転は、前記フィルタが前記エッジ方向に対してローパス特性、前記エッジ方向と直交する方向に対してハイパス特性を持つようになされる請求項１２記載の方法。
【請求項１５】
前記エッジ情報は、エッジ方向の情報を含み、
前記制御情報は、注目画素の近傍のエッジ画素を前記エッジ方向の線を挟んで前記エッジ画素と対称の位置に存在する非エッジ画素で置換してから前記注目画素に対して前記フィルタをかける場合における、前記エッジ画素と前記非エッジ画素との対応関係を示す情報を含む請求項１１記載の方法。
【請求項１６】
前記エッジ情報は、エッジ強度の情報を含み、
前記制御情報は、前記エッジ強度の情報に基づいて注目画素の画素値との差分が閾値より大きい画素値を持つ特異画素を前記注目画素またはその近傍画素で置換した後に前記注目画素に対して前記フィルタをかける場合における、前記特異画素の位置情報を含む請求項１１記載の方法。
【請求項１７】
前記復元画像を出力画像として出力することを更に備え、
前記エッジ情報はエッジ方向の情報を含み、
前記制御情報は、前記エッジ方向に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項１０記載の方法。
【請求項１８】
入力される符号化データを復号化して量子化変換係数、及びフィルタ係数を示すフィルタ係数情報を生成する復号化部と、
前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成する逆量子化／逆変換部と、
前記予測誤差画像と予測画像を用いて復号画像を生成する復号画像生成部と、
前記復号画像中のエッジの属性を示すエッジ情報を生成するエッジ情報生成部と、
前記エッジ情報に基づいて前記復号画像に対するフィルタの適用に関する制御情報を生成する制御情報生成部と、
前記復号画像に対し前記制御情報に基づいて、前記フィルタ係数情報に従って前記フィルタ係数が設定された前記フィルタを適用して復元画像を生成するフィルタ適用部と、
を備える動画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に符号化側でフィルタのフィルタ係数を設定してフィルタ係数情報を伝送し、復号化側でそれを受信して用いる動画像符号化／復号化方法及び装置に関する。
【背景技術】
【０００２】
入力される動画像と予測画像との差分である予測誤差画像に対して画素ブロック単位で直交変換を行い、それによって得られる変換係数を量子化して符号化を行う動画像符号化／復号化装置では、復号画像にブロック歪と呼ばれる画質劣化が生じる。これに対し、G. Bjontegaard, “Deblocking filter for 4x4 based coding”, ITU-T Q.15/SG16 VCEG document, Q15-J-27, May 2000.（文献１）にはブロック境界にローパスフィルタを適用することによってブロック歪を視覚的に目立たないようにし、主観的に良好な画像を得るデブロッキングフィルタが開示されている。【０００３】
デブロッキングフィルタは、符号化装置及び復号化装置のループ内で用いられることから、ループフィルタとも呼ばれる。このようなデブロッキングフィルタを用いることによって、予測に用いられる参照画像のブロック歪を低減することができる。特に、ブロック歪の発生しやすい高圧縮なビットレート帯で符号化効率を向上させる効果が期待される。【０００４】
一方、ループフィルタとは異なり、復号化側において出力画像にのみ作用するフィルタをポストフィルタと呼ぶ。S. Wittmann and T.Wedi, “Post-filter SEI message for 4:4:4 coding”, JVT of ISO/IEC MPEG & ITU-T VCEG, JVT-S030, April 2006.（文献２）には、このようなポストフィルタを用いる動画像符号化／復号化装置が開示されている。文献２では、符号化側でポストフィルタのフィルタ係数を設定し、フィルタ係数情報を符号化して送信する。一方、復号化側では受信した符号化データを復号してフィルタ係数情報を生成し、このフィルタ係数情報に従ってフィルタ係数を設定したフィルタにより、復号画像に対しポストフィルタ処理を行って出力画像を得る。【０００５】
文献２によると、符号化側で復号画像と入力の動画像との誤差が小さくなるようにフィルタ係数を設定することによって、復号化側でポストフィルタを適用した出力画像の画質を向上させることが可能である。
【発明の開示】
【０００６】
文献１に開示されたデブロッキングフィルタは、ブロック境界をぼかすことによって視覚的に目立つ劣化を低減する処理を行う。このため、デブロッキングフィルタを用いると必ずしも入力画像に対する復号画像の誤差を小さくすることはできず、場合によっては細かいテクスチャなどを失って画質を低下させる。さらに、デブロッキングフィルタはローパスフィルタであるため、フィルタ適用範囲内にエッジが存在する場合には著しく画質を低下させる。そこで、文献１ではブロック歪みの強度に合わせたフィルタ強度の調整のみを行っており、エッジを考慮したフィルタ処理を行っていない。このため、エッジを含む領域に対してフィルタを適用する際、注目画素と著しく画素値の異なる画素を用いてフィルタ処理により画質改善効果が低下する。
【０００７】
一方、文献２においても、エッジを考慮したフィルタは適用されておらず、エッジを含む領域に対してフィルタを適用する際に画質が低下する場合がある。また文献２の方法では、復号画像と入力画像との誤差が小さくなるよう符号化側でフィルタを設定し、フィルタを示す情報を送信する。このため、フィルタ適用範囲内に存在する多様なエッジ形状に対して、それぞれに適した多数のフィルタを設計することが可能である。しかしながら、多数のフィルタを示す情報を送信すると符号量が増加し、符号化効率の低下を招く。
【０００８】
本発明は、画像のエッジの影響による画質改善効果の低減を抑制することを可能とする動画像符号化／復号化方法及び装置を提供することを目的とする。
【０００９】
本発明の第１の観点によると、入力される動画像と予測画像との差分をとって予測誤差画像を生成することと、前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成することと、前記動画像のうちの符号化済み画像に対応する局所復号画像中のエッジの属性を示すエッジ情報を生成することと、前記エッジ情報に基づいて復号化側における復号画像に対するフィルタの適用に関する制御情報を生成することと、前記制御情報に基づいて前記フィルタのフィルタ係数を設定することと、前記量子化変換係数、及び前記フィルタ係数を示すフィルタ係数情報を符号化して符号化データを出力することと、を備える動画像符号化方法が提供される。
【００１０】
本発明の第２の観点によると、入力される符号化データを復号化して量子化変換係数、及びフィルタ係数を示すフィルタ係数情報を生成することと、前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成することと、前記予測誤差画像と予測画像を用いて復号画像を生成することと、前記復号画像中のエッジの属性を示すエッジ情報を生成することと、前記エッジ情報に基づいて前記復号画像に対するフィルタの適用に関する制御情報を生成することと、前記復号画像に対し前記制御情報に基づいて、前記フィルタ係数情報に従ってフィルタ係数が設定された前記フィルタを適用して復元画像を生成することと、を備える動画像復号化方法が提供される。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態の動画像符号化装置を示すブロック図
【図２】フィルタ生成部１０７を示すブロック図
【図３】フィルタ生成部１０７の動作を示すフローチャート
【図４Ａ】フィルタ適用画素の例
【図４Ｂ】図４Ａのフィルタ適用画素に設定されるフィルタ回転角度０°でのフィルタ係数を示す図
【図５Ａ】フィルタ適用画素の例
【図５Ｂ】図５Ａのフィルタ適用画素に設定されるフィルタ回転角度９０°でのフィルタ係数を示す図
【図６Ａ】フィルタ適用画素の例
【図６Ｂ】図６Ａのフィルタ適用画素について４５°フィルタを回転させた後のフィルタ適用画素を示す図
【図７Ａ】画素の置換前のフィルタ適用画素の例
【図７Ｂ】図７Ａのフィルタ適用画素について画素を置換した後のフィルタ適用画素の例を示す図
【図８Ａ】画素の置換前のフィルタ適用画素の例
【図８Ｂ】図８Ａのフィルタ適用画素について画素を置換した後のフィルタ適用画素の他の例
【図９】第１の実施形態の符号化データのシンタクス構造を示す図
【図１０】図９中のループフィルタデータシンタクスを示す図
【図１１】図９中のループフィルタデータシンタクスの他の例を示す図
【図１２】図１の符号化装置に対応する動画像復号化装置を示すブロック図
【図１３】フィルタ処理部２０５を示すブロック図
【図１４】フィルタ処理部２０５の動作を示すフローチャート
【図１５】第２の実施形態の動画像符号化装置を示すブロック図
【図１６】フィルタ生成／処理部３０１を示すブロック図
【図１７】フィルタ生成／処理部３０１の動作を示すフローチャート
【図１８】図１５の符号化装置に対応する動画像復号化装置を示すブロック図
【図１９】図１５の符号化装置に対応する動画像復号化装置を示すブロック図
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を参照して説明する。  
［第１の実施形態］  
（動画像符号化装置）  
図１に示されるように、本発明の第１の実施形態に係る動画像符号化装置１００は予測画像生成部１０１、減算器（予測誤差生成部）１０２、変換／量子化部１０３、エントロピー符号化部１０４、逆量子化／逆変換部１０５、加算器１０６、フィルタ生成部１０７及び参照画像用バッファ１０８を有し、符号化制御部１０９によって制御される。【００１３】
予測画像生成部１０１は、参照画像用バッファ１０８に格納されている参照画像信号１８を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理には、例えば、動き予測、動き補償による時間方向の予測、または画面内の符号化済み画素からの空間方向の予測などを用いることができる。【００１４】
予測誤差生成部１０２は、動画像の入力画像信号１０と予測画像信号１１との差分を計算し、予測誤差画像信号１２を生成する。予測誤差画像信号１２は、変換／量子化部１０３に入力される。【００１５】
変換／量子化部１０３は、予測誤差画像信号１２に対してまず変換処理を行う。ここでは、例えば離散コサイン変換（ＤＣＴ）のような直交変換を行い、変換係数を生成する。直交変換とは別に、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を生成しても良い。次に、変換／量子化部１０３は生成した変換係数を後述する符号化制御部１０９に設定されている量子化パラメータに基づいて量子化し、量子化変換係数１３を出力する。量子化変換係数１３は、後述するエントロピー符号化部１０４へ入力されると同時に、逆量子化／逆変換部１０５へも入力される。【００１６】
逆量子化／逆変換部１０５は、量子化後の変換係数１３を符号化制御部１０９に設定されている量子化パラメータに従って逆量子化する。次に、逆量子化により得られた変換係数に対して変換／量子化部１０３における変換と逆の変換、例えば逆離散コサイン変換（ＩＤＣＴ）のような逆直交変換を行い、予測誤差画像信号１５を生成する。【００１７】
加算器１０６は、逆量子化／逆変換部１０５により生成された予測誤差画像信号１５と、予測画像生成部１０１により生成された予測画像信号１１とを加算することによって、入力画像信号１０のうちの符号化済み画像に対応する局所復号画像信号１６を生成する。【００１８】
フィルタ生成部１０７は、局所復号画像信号１６及び入力画像信号１０に基づいてフィルタ係数情報１７を出力する。フィルタ生成部１０７の詳細は後述する。【００１９】
参照画像用バッファ１０８は、局所復号画像信号１６を参照画像信号として一時保存する。参照画像用バッファ１０８に保存した参照画像信号１８は、予測画像生成部１０１によって予測画像信号１１を生成する際に参照される。【００２０】
一方、エントロピー符号化部１０４は、量子化変換係数１３、フィルタ係数情報１７、予測モード情報、ブロックサイズ切替情報、動きベクトル及び量子化パラメータなどの種々の符号化パラメータに対してエントロピー符号化（例えば、ハフマン符号化または算術符号化など）を行い、符号化データ１４を出力する。【００２１】
符号化制御部１０９は、発生符号量のフィードバック制御及び量子化制御、モード制御などを行い、もって符号化処理全体の制御を行う。【００２２】
次に、本実施形態に係る動画像符号化装置１００の概略的な処理について説明する。以下に示す一連の符号化処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な符号化処理である。【００２３】
まず、動画像符号化装置１００に入力画像信号１０が入力されると、予測誤差生成部（減算器）１０２において入力画像信号１０から予測画像生成部１０１により生成された予測画像信号１１を差し引いて予測誤差画像信号１２が生成される。予測誤差画像信号１２に対し変換／量子化部１０３において変換及び量子化がなされ、量子化変換係数１３が生成される。量子化変換係数１３は、エントロピー符号化部１０４において符号化される。【００２４】
一方、量子化変換係数１３は逆量子化／逆変換部１０５にも入力され、ここで逆変換及び逆量子化が行われることにより予測誤差画像信号１５が生成される。予測誤差画像信号１５は、予測画像生成部１０１で出力される予測画像信号１１と加算器１０６で加算され、局所復号画像信号１６が生成される。【００２５】
（フィルタ生成部）  
次に、フィルタ生成部１０７について図２を用いて詳しく述べる。図２に示すフィルタ生成部１０７は、エッジ情報生成部１１０、フィルタ適用制御情報生成部１１１及びフィルタ設定部１１２を有する。【００２６】
エッジ情報生成部１１０は、局所復号画像信号１６からエッジ情報１９を生成する。エッジ情報１９の生成方法については、後述する。フィルタ適用制御情報生成部１１１は、エッジ情報１９に基づいてフィルタ適用制御情報２０を生成する。フィルタ適用制御情報２０は、復号化側における復号画像に対するフィルタの適用に関する制御情報であり、具体的な内容については後述する。生成されたフィルタ適用制御情報２０は、フィルタ設定部１１２へ入力される。フィルタ設定部１１２は、局所復号画像信号１６、入力画像信号１０及びフィルタ適用制御情報２０に基づいてフィルタ係数情報１７を設定する。フィルタ係数情報１７の設定方法の詳細については、後述する。設定されたフィルタ係数情報１７は、エントロピー符号化部１０４へ入力される。【００２７】
次に、フィルタ生成部１０７について図２及び図３を用いてさらに詳しく説明する。図３は、フィルタ生成部１０７の処理手順を示している。【００２８】
フィルタ生成部１０７では、まずエッジ情報生成部１１０において局所復号画像信号１６からエッジ情報１９を生成する（ステップＳ１０１）。エッジ情報１９とは、例えばエッジ強度、エッジ方向、エッジ形状、及び近傍画素との差分値、といった画像中のエッジの属性を示す情報であり、ここではエッジ強度及びエッジ方向を用いることとする。エッジ強度及びエッジ方向の生成には、SobelオペレータやPrewittオペレータといった一般的なエッジ検出方法を用いることができる。【００２９】
次に、フィルタ適用制御情報生成部１１１においてエッジ情報１９に基づきフィルタ適用制御情報２０を生成する（ステップＳ１０２）。フィルタ適用制御情報２０は、予め定められたフィルタ適用方法における制御パラメータの情報を表す。ここでいうフィルタ適用方法とは、フィルタ対象の復号画像（局部復号画像も含む）に対してフィルタを適用する方法、すなわち実際にフィルタをかける際にフィルタ自体またはフィルタ適用画素に施す処理の方法である。フィルタ適用方法としては、例えばフィルタ回転、画像中のフィルタ適用画素の置換などが挙げられ、このときのフィルタ適用制御情報２０はフィルタの回転、画素の置換を行うための情報となる。具体例を以下に示す。【００３０】
（フィルタ回転その１）  
フィルタ適用方法として、「フィルタ回転」を用いる場合の例について説明する。フィルタ回転とは、フィルタを画像のエッジに沿って回転させることである。この場合、フィルタ適用制御情報生成部１１１では、フィルタ回転角度を示す情報をフィルタ適用制御情報２０として出力する。以下、図４Ａ，図４Ｂ，図５Ａ及び図５Ｂを用いてフィルタ回転の例を説明する。【００３１】
フィルタ回転角度が０°、すなわちフィルタ回転を行わない場合、図４Ａのフィルタ適用画素に対して図４Ｂのようにフィルタ係数を設定すると、フィルタ係数Ｃ１，Ｃ２，…に対応する画素はＰ１，Ｐ２，…となる。一方、フィルタ回転角度が９０°である場合には、図５Ａのフィルタ適用画素に対して図５Ｂのようにフィルタ係数を設定すると、フィルタ係数Ｃ１，Ｃ２，…に対応する画素はＰ２１，Ｐ１６，…となる。このようにフィルタ適用制御情報１０を生成することは、フィルタ係数と対応する画素を決定すること、言い換えればフィルタ係数と画素との対応関係を定めることと等価である。従って、フィルタ適用制御情報１０はフィルタ係数と画素との対応関係をテーブル等によって示す情報でもよい。【００３２】
図３に説明を戻すと、フィルタ回転角度を決定するため、まずエッジ情報１９によって示されるエッジ強度に対して閾値処理を行う（ステップＳ１０３）。このとき、エッジ強度が閾値よりも大きな値をとる場合には、エッジ情報１９によって示されるエッジ方向の示す角度をフィルタ回転角度とする（ステップＳ１０４）。エッジ方向とは、エッジに沿う方向（エッジの長さ方向）、言い換えれば画素値変化の小さな方向である。一方、エッジ強度が閾値以下である場合には、フィルタ適用画素は画像の平坦部の画素であるとみなしてフィルタの回転は行わない（すなわち、フィルタの回転角度を０°とする（ステップＳ１０５））。フィルタ適用制御情報生成部１１１は、ステップＳ１０４またはＳ１０５で決定されるフィルタ回転角度をフィルタ適用制御情報２０として出力する。【００３３】
このようにフィルタを回転させることの技術的意義は、フィルタ適用範囲の画像特徴を類似させるということである。例えば、図４Ａの画像ではエッジ方向が水平方向であり、水平方向に並ぶ画素については画素値の変動が小さく、垂直方向に並ぶ画素については画素値の変動が大きくなる傾向を持つ。このためエッジ方向である水平方向に対してローパス特性を持ち、これと直交する垂直方向に対してハイパス特性を持つフィルタが適しており、このような特性を実現するフィルタは図４Ｂに示すフィルタ係数を持つとする。【００３４】
一方、図５Ａの画像ではエッジ方向が垂直方向であり、図４Ａと逆に水平方向に並ぶ画素については画素値の変動が大きく、垂直方向に並ぶ画素については画素値の変動が小さくなる傾向を持つため、水平方向に対してハイパス特性を持ち、エッジ方向である垂直方向に対してローパス特性を持つフィルタが適していると考えられる。そこで、図５Ａの画像については図４Ｂに対して図５Ｂのようにフィルタを９０°回転させる。このようにエッジ方向に応じてフィルタを回転させることにより、適切なフィルタの設計及び適用が可能となる。【００３５】
（フィルタ回転その２）  
フィルタを回転させる際、対象画像上でフィルタ適用画素が整数画素位置にない場合には、例えば最も距離の近い整数画素位置の画素を用いる方法や、対象画像上でフィルタの画素に対応する小数画素位置の画素を補間により生成して用いる方法を用いることができる。例えば、図６Ａのようにフィルタ回転角度が０°である場合には、Ｐ１〜Ｐ２５で示される全て整数画素位置の画素を用いてフィルタをかける。一方、図６Ｂのようにフィルタの回転角度が４５°である場合には、Ｐ１’〜Ｐ２５’で示される画素を用いてフィルタをかける必要がある。ここで、画素Ｐ１’〜Ｐ２５’のうちＰ２’で示されるような小数画素位置の画素については、画素Ｐ２’を最近隣の整数画素Ｐ６で置き換えてフィルタを適用するか、または近傍画素を用いて補間により画素Ｐ２’を生成してフィルタを適用する。【００３６】
（画素の置換その１）  
フィルタ適用方法として、「画素の置換」を用いる場合の例を説明する。ここでは、画像のエッジに対して画素の折り返しを行った後にフィルタを適用する方法を挙げる。例えば、図７Ａに示すように注目画素を含むフィルタ適用範囲内にエッジ画素Ｐ４，Ｐ５，Ｐ９，Ｐ１０，Ｐ１４，Ｐ１５，Ｐ１９，Ｐ２０で示される垂直方向のエッジが存在する場合には、図７Ｂのように水平方向に画素を折り返した後に、注目画素Ｐ１３に対するフィルタを適用する。【００３７】
すなわち、エッジ画素Ｐ４，Ｐ５，Ｐ９，Ｐ１０，Ｐ１４，Ｐ１５，Ｐ１９，Ｐ２０をエッジ方向の線（エッジ部と平坦部との境界線）についてそれぞれ対称の位置に存在する非エッジ画素Ｐ３，Ｐ２，Ｐ８，Ｐ７，Ｐ１３，Ｐ１２，Ｐ１８，Ｐ１７，Ｐ２３，Ｐ２２で置換した後に、注目画素Ｐ１３に対してフィルタをかける。【００３８】
この場合、エッジ画素とエッジ方向の線を挟んで対称の位置に存在する非エッジ画素との対応関係を示す情報をフィルタ適用制御情報２０として出力する。【００３９】
このようにある注目画素に対してフィルタをかける場合、注目画素と著しく画素値の異なるエッジ画素を用いず、非エッジ画素を用いることにより、エッジ画素を用いることによる画質改善効果の低減を抑制することができる。【００４０】
（画素の置換その２）  
フィルタ適用方法として、「画素の置換」を用いる場合のもう一つの例を説明する。ここでは、注目画素を含むフィルタ適用範囲内に存在する、注目画素と著しく画素値が異なる画素（特異画素という）を隣接画素間の差分や注目画素との差分あるいはエッジ強度によって検出し、注目画素や近隣の画素などで置き換えた後にフィルタを適用する。例えば、注目画素との差分に対する閾値を「１００」に設定した場合、図８Ａに示すように「１２０」という画素値を持つ注目画素に対して、「２４０」、「２３２」という画素値を持つ特異画素（差分はいずれも「１００」を超える）を図８Ｂのように注目画素あるいは注目画素の近傍画素で置き換えた後にフィルタをかける。【００４１】
この場合には、例えば置換対象の特異画素の位置情報（画素位置）をフィルタ適用制御情報２０として出力する。【００４２】
このようにある注目画素に対してフィルタをかける場合、（画素の置換その２）と同様の考えに基づいて、注目画素と著しく画素値の異なる特異画素を用いないようにすることにより、このような特異画素を用いることによる画質改善効果の低減を抑制することができる。【００４３】
次に、フィルタ設定部１１２においてフィルタ適用制御情報２０に従ってフィルタを適用する画素を決定した上で、フィルタ係数情報１７の設定を行う（ステップＳ１０６）。フィルタ設定部１１２には、フィルタ適用制御情報２０に加えて入力画像信号１０及び局所復号画像信号１６も入力されている。フィルタ設定部１１２は、例えば画像復元で一般的に用いられる２次元のWiener filterを用い、局所復号画像信号１６にフィルタ適用制御情報２０に従ってフィルタ処理を施した画像信号と入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設定し、設定したフィルタ係数を示すフィルタ係数情報１７を出力する。後述するようにフィルタサイズが可変の場合、フィルタ係数情報１７はフィルタサイズを表す値を含む場合もある。【００４４】
フィルタ係数情報１７はエントロピー符号化部１０４において符号化され、量子化変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置２００へ向けて送信される（ステップＳ１０７）。【００４５】
（シンタクス構造について）  
次に、フィルタ係数情報１７の符号化方法に関して本実施形態で用いるシンタクス構造の一例を説明する。以下の例では、フィルタ係数情報１７をスライス単位で送信するものとする。【００４６】
シンタクスは主にハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７という３つのパートからなる。ハイレベルシンタクス１９００は、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス１９０３では、スライス毎に必要な情報が明記されている。マクロブロックレベルシンタクス１９０７では、マクロブロック毎に必要とされる変換係数データや予測モード情報、動きベクトルなどが明記されている。【００４７】
ハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７は、それぞれ更に詳細なシンタクスで構成される。ハイレベルシンタクス１９００では、シーケンスパラメータセットシンタクス１９０１とピクチャパラメータセットシンタクス１９０２などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス１９０３では、スライスヘッダーシンタクス１９０４、スライスデータシンタクス１９０５、ループフィルタデータシンタクス１９０６などから成る。更に、マクロブロックレベルシンタクス１９０７は、マクロブロックレイヤーシンタクス１９０８、マクロブロックプレディクションシンタクス１９０９などから構成されている。【００４８】
ループフィルタデータシンタクス１９０６では、図１０に示すように本実施形態におけるフィルタに関するパラメータであるフィルタ係数情報１７が記述されている。ここで、フィルタ係数情報１７であるfilter_coeff[cy][cx]は、２次元フィルタの係数であり、filter_size_y 及び filter_size_xはフィルタサイズを決める値である。ただし、フィルタとして１次元フィルタを用いても良く、その際にはフィルタ係数情報１７は図１１に変更される。また、ここではフィルタサイズを示す値をシンタクスに記述しているが、フィルタサイズをシンタクスに記述せずに予め定めた固定の値を用いても良い。ただし、フィルタサイズを固定値とした場合、当該動画像符号化装置１００及び後述する動画像復号化装置２００において同様の値を用いなければならないことに注意する。【００４９】
（動画像復号化装置）  
次に、図１２を用いて上述した動画像符号化装置１００に対応する動画像復号化装置２００について説明する。図１２に示されるように、本発明の第１の実施形態に係る動画像復号化装置２００は、エントロピー復号化部２０１、逆量子化／逆変換部２０２、予測画像生成部２０３、加算器２０４、フィルタ処理部２０５及び参照画像用バッファ２０６を有し、復号化制御部２０７によって制御される。【００５０】
エントロピー復号化部２０１では、図９に示されるシンタクス構造に従ってハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７のそれぞれに対して、順次符号化データ１４の各シンタクスの符号列が復号され、量子化変換係数１３、フィルタ係数情報１７などが復元される。【００５１】
逆量子化／逆変換部２０２では、動画像符号化装置１００で行われた直交変換及び量子化に対応する逆変換及び逆量子化が行われる。すなわち、逆量子化／逆変換部２０２は量子化変換係数１３に対して逆量子化を行って変換係数を生成し、さらに変換係数に対して変換／量子化部１０３における変換と逆の変換、例えば逆離散コサイン変換のような逆直交変換を行い、予測誤差画像信号１５を生成する。また、動画像符号化装置１００において変換／量子化部１０３でウェーブレット変換及び量子化が行われている場合、逆量子化／逆変換部２０２では対応する逆ウェーブレット変換及び逆量子化が実行される。【００５２】
予測画像生成部２０３は、参照画像用バッファ２０６に格納されている復号化済みの参照画像信号１８を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理には、例えば、動き補償による時間方向の予測や、画面内の復号化済みの画素からの空間方向の予測などを用いるが、動画像符号化装置１００と同様の予測処理を実行することに注意する。【００５３】
加算器２０４は、予測誤差画像信号１５と予測画像信号１１を加算し、復号画像信号２１を生成する。復号画像信号２１はフィルタ処理部２０４に入力される。【００５４】
フィルタ処理部２０５は、フィルタ係数情報１７に従って復号画像信号２１に対しフィルタ処理を行い、復元画像信号２２を出力する。フィルタ処理部２０５の詳細については、後述する。【００５５】
参照画像用バッファ２０６は、フィルタ処理部２０５から取得した復元画像信号２２を参照画像信号として一時保存する。参照画像用バッファ２０６に保存された参照画像信号１８は、予測画像生成部２０３によって予測画像信号１１を生成する際に参照される。【００５６】
復号化制御部２０７は、復号化タイミングの制御などを行い、もって復号化処理全体の制御を行う。【００５７】
次に、本実施形態に係る動画像復号化装置２００の概略的な処理について説明する。以下に示す一連の復号化処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化に対応する一般的な復号化処理である。【００５８】
まず、動画像復号化装置２００に符号化データ１４が入力されると、エントロピー復号化部２０１によって符号化データ１４が復号化され、変換係数１３及びフィルタ係数情報１７に加え、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどが図９のシンタクス構造に従って再生される。【００５９】
次に、エントロピー復号化部２０１から出力される変換係数１３は、逆量子化／逆変換部２０２によって復号化制御部２０７で設定されている量子化パラメータに従って逆量子化され、得られた変換係数に対して逆直交変換、例えば離散コサイン変換などが行われ、予測誤差画像信号１５が復元される。予測誤差画像信号１５は、予測画像生成部２０３によって生成された予測画像信号１１と加算器２０４にて加算され、復号画像信号２１が生成される。【００６０】
（フィルタ処理部）  
次に、フィルタ処理部２０５について図１３を用いて詳しく述べる。図１３に示すフィルタ処理部２０５は、エッジ情報生成部１１０、フィルタ適用制御情報生成部１１１及びフィルタ適用部２０８を有する。【００６１】
エッジ情報生成部１１０は、復号画像信号２１からエッジ情報１９を生成する。【００６２】
フィルタ適用制御情報生成部１１１は、エッジ情報１９に基づいてフィルタ適用制御情報２０を生成する。フィルタ適用制御情報２０は、フィルタ適用部２０８へ入力される。【００６３】
ここで、エッジ情報生成部１１０及びフィルタ適用制御情報生成部１１１では、動画像符号化装置１００と同様の処理を行うことに注意する。これにより動画像復号化装置２００において、動画像符号化装置１００と同一のフィルタ適用制御情報２０が生成される。【００６４】
フィルタ適用部２０８は、復号画像信号２１及びエントロピー復号化部２０１で復号したフィルタ係数情報１７を取得し、フィルタ適用制御情報２０に従って復号画像信号２１に対しフィルタを適用して復元画像信号２２を生成する。生成された復元画像信号２２は、出力画像信号として復号化制御部２０７が管理するタイミングで出力される。【００６５】
次に、フィルタ処理部２０５について図１３及び図１４を用いてさらに詳しく説明する。図１４は、フィルタ処理部２０５の処理手順を示している。【００６６】
フィルタ処理部２０５では、まずエントロピー復号化部２０１において図９のシンタクス構造に従ってフィルタ係数情報１７に対しエントロピー復号化を行う（ステップＳ２０１）。図９のシンタクス構造におけるスライスレベルシンタクス１１９０３に属するループフィルタデータシンタクス１９０６内には、図１０に示すように本実施形態におけるフ１ィルタに関するパラメータであるフィルタ係数情報１７が記述されている。ここで、フィルタ係数情報１７である図１０のfilter_coeff[cy][cx]は２次元フィルタの係数であり、filter_size_y及びfilter_size_xはフィルタサイズを決める値である。ただし、フィルタとして１次元フィルタを用いても良く、その際にはフィルタ係数情報１７は図１１に変更される。また、ここではフィルタサイズを示す値をシンタクスに記述しているが、フィルタサイズをシンタクスに記述せずに予め定めた固定の値を用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置１００と動画像復号化装置２００において同様の値を用いなければならないことに注意する。【００６７】
次に、エッジ情報生成部１１０において復号画像信号２１からエッジ情報１９を生成する（ステップＳ２０２）。復号画像信号２１からのエッジ情報１９の生成方法には、動画像符号化装置１００と同様の方法を用いる必要がある。【００６８】
次に、フィルタ適用制御情報生成部１１１においてエッジ情報１９に基づいてフィルタ適用制御情報２０を生成する（ステップＳ２０３〜Ｓ２０６）。ここで、フィルタ適用制御情報の生成は、動画像符号化装置１００と同様の処理により行われる必要がある。上記のように、動画像復号化装置２００におけるエッジ情報生成部１１０とフィルタ適用制御情報生成部１１１において動画像符号化装置１００と同様の処理を行うことにより、符号化及び復号化側におけるフィルタ適用制御の方法が一致する。【００６９】
最後に、フィルタ適用部２０８においてフィルタ適用制御情報２０に従って復号画像信号２１に対しフィルタ係数情報１７に従ってフィルタ係数が設定されたフィルタを適用し、復元画像信号２２を生成する（ステップＳ２０７）。復元画像信号２２は、出力画像信号として出力される。【００７０】
このように本実施形態に係る動画像符号化装置によれば、入力画像と復号画像との間の誤差が最小となるようにフィルタ係数情報を設定してフィルタを適用することにより、出力画像の画質が向上する。また、エッジを考慮したフィルタ適用方法を用いることにより、画質改善効果の低下を抑制することが可能となる。【００７１】
なお、本実施形態に係る動画像符号化装置１００及び動画像復号化装置２００では、局所復号画像信号１６をフィルタ設定部
フィルタ処理を行っているが、局所復号画像信号１６は、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。【００７２】
［第２の実施形態］  
第１の実施形態では、動画像復号化装置２００のフィルタ処理部２０５がポストフィルタである場合について説明した。これに対し、本発明の第２の実施形態としてループフィルタとして用い、フィルタ適用後の復元画像２２を参照画像として用いる例について説明する。【００７３】
図１５は、本実施形態に係る動画像符号化装置３００を示しており、図１の動画像符号化装置１００における図２のフィルタ生成部１０７が図１６のフィルタ生成／処理部３０１に置き換えられている。一方、図１８は本実施形態に係る動画像復号化装置４００を示しており、フィルタ処理部２０５から出力される復元画像信号２２が参照画像用バッファ２０６に入力される点が図１２の動画像復号化装置２００と異なっている。【００７４】
動画像符号化装置３００では、第１の実施形態に係る動画像符号化装置１００のフィルタ生成部１０７がフィルタ生成／処理部３０１で置き換えられ、さらに参照画像用バッファ１０８の入力が加算器１０６により出力される局所復号画像信号１６からフィルタ生成／処理部３０１により出力される復元画像信号２２に変更されている。また、フィルタ生成／処理部３０１は図１６に示されるように、図２のフィルタ生成部１０７の内部にフィルタ適用部２０８を追加することにより実現される。【００７５】
次に、動画像符号化装置３００及びフィルタ生成／処理部３０１の動作について、図１５、図１６及び図１７を用いて説明する。図１７は、動画像符号化装置３００におけるフィルタ生成／処理部３０１に関する動作を示すフローチャートである。まず、動画像符号化装置１００と同様の処理により局所復号画像信号１６を生成し、フィルタ生成／処理部３０１に入力する。【００７６】
フィルタ生成／処理部３０１では、まずエッジ情報生成部１１０において局所復号画像信号１６からエッジ情報１９を生成する（ステップＳ３０１）。【００７７】
次に、フィルタ適用制御情報生成部１１１においてエッジ情報１９に基づいてフィルタ適用制御情報２０を生成する（ステップＳ３０２〜３０５）。【００７８】
次に、フィルタ設定部１１２において局所復号画像信号１６、入力画像信号１０及びフィルタ適用制御情報２０を取得し、取得したフィルタ適用制御情報２０に従ってフィルタを適用する画素を決定した上で、フィルタ係数情報１７の設定を行う（ステップＳ３０６）。【００７９】
ステップＳ３０１からＳ３０６までの処理は、第１の実施形態に係る動画像符号化装置１００におけるフィルタ生成部１０７と同様である。【００８０】
次に、フィルタ適用部２０８において、フィルタ係数情報１７に従ってフィルタ係数が設定されたフィルタをフィルタ適用制御情報２０に基づき、局所復号画像信号１６に適用し、復元画像信号２２を生成する（ステップＳ３０７）。生成された復元画像信号２２は、参照画像信号として図１５の参照画像用バッファ１０８に格納される（ステップＳ３０８）。【００８１】
最後に、フィルタ係数情報１７はエントロピー符号化部１０４において符号化され、量子化変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置４００へ向けて送信される（ステップＳ３０９）。【００８２】
図１９は、図１８の動画像復号化装置３００を変形した動画像復号化装置４００であり、復号画像信号２２を参照画像信号としてのみ用い、出力画像信号には通常の復号画像信号２１を用いている点が図１８の動画像復号化装置３００と異なる。【００８３】
上述した本発明の各実施形態に係る動画像符号化装置（１００，３００）及び動画像復号化装置（２００，４００，５００）は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、予測画像生成部１０１、予測誤差生成部１０２、変換／量子化部１０３、エントロピー符号化部１０４、逆量子化／逆変換部１０５、加算器１０６、フィルタ生成部１０７、参照画像用バッファ１０８、符号化制御部１０９、エッジ情報生成部１１０、フィルタ適用制御情報生成部１１１、フィルタ設定部１１２、エントロピー復号化部２０１、逆量子化／逆変換部２０２、予測画像生成部２０３、加算器２０４、フィルタ処理部２０５、参照画像用バッファ２０６、復号化制御部２０７、フィルタ適用部２０８及びフィルタ生成／処理部３０１は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。【００８４】
このとき、動画像符号化装置及び動画像復号化装置を上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現しても良いし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現しても良い。また、参照画像用バッファ１０８及び参照画像用バッファ２０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。【００８５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、別の実施形態にわたる構成要素を適宜組み合わせても良い。
【図１】
2009133844.tif 000003
【図２】
2009133844.tif 000004
【図３】
2009133844.tif 000005
【図４Ａ】
2009133844.tif 000006
【図４Ｂ】
2009133844.tif 000007
【図５Ａ】
2009133844.tif 000008
【図５Ｂ】
2009133844.tif 000009
【図６Ａ】
2009133844.tif 000010
【図６Ｂ】
2009133844.tif 000011
【図７Ａ】
2009133844.tif 000012
【図７Ｂ】
2009133844.tif 000013
【図８Ａ】
2009133844.tif 000014
【図８Ｂ】
2009133844.tif 000015
【図９】
2009133844.tif 000016
【図１０】
2009133844.tif 000017
【図１１】
2009133844.tif 000018
【図１２】
2009133844.tif 000019
【図１３】
2009133844.tif 000020
【図１４】
2009133844.tif 000021
【図１５】
2009133844.tif 000022
【図１６】
2009133844.tif 000023
【図１７】
2009133844.tif 000024
【図１８】
2009133844.tif 000025
【図１９】
2009133844.tif 000026
【国際調査報告】
2009133844.tif 000027
2009133844.tif 000028
2009133844.tif 000029
2009133844.tif 000030