(57)【要約】【課題】画質を改善するとともに、符号化効率を向上することができる。【解決手段】符号化装置１００は、ダウンサンプリングされた画像を符号化する符号化処理部１３０と、符号化画像を復号化する局所復号化処理部１４０と、復号化画像をアップサンプリングし、復号化画像の色差信号及び輝度信号を参照信号とし、色差信号を対象信号として、色差信号に対しフィルタ処理を行う色差フィルタ処理部１６１と、フィルタ処理を制御する色差フィルタ情報の最適値を決定する色差フィルタ情報決定部１６３と、色差フィルタ情報と符号化画像とを多重化する色差フィルタ情報多重化部１７０と、を備える。【選択図】図１３
2015144423.tif 000002
【特許請求の範囲】
【請求項１】
色差信号がダウンサンプリングされたダウンサンプリング画像を符号化する符号化処理部と、
前記符号化された符号化画像を復号化する復号化処理部と、
前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対しフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理された復号化画像に基づいて前記フィルタ処理を制御するフィルタ情報の最適値を決定するフィルタ情報決定部と、
前記決定されたフィルタ情報と前記符号化画像とを多重化した符号化データを生成する多重化部と、
を備える画像符号化装置。
【請求項２】
前記復号化された復号化画像の色差信号をアップサンプリングするアップサンプリング部を備え、
前記フィルタ処理部は、前記アップサンプリング部がアップサンプリングした前記復号化画像に対し前記フィルタ処理を行う、
請求項１に記載の画像符号化装置。
【請求項３】
前記フィルタ処理は、ジョイントバイラテラルフィルタ処理である、
請求項２に記載の画像符号化装置。
【請求項４】
前記フィルタ処理は、アダプティブバイラテラルフィルタの適応パラメータを用いたジョイントバイラテラルフィルタ処理である、
請求項３に記載の画像符号化装置。
【請求項５】
前記フィルタ処理は、ジョイントバイラテラルアップサンプリング処理である、
請求項１に記載の画像符号化装置。
【請求項６】
前記フィルタ情報は、前記フィルタ処理のフィルタのサイズまたは強度を制御する情報であるフィルタパラメータを含む、
請求項１乃至５のいずれか一項に記載の画像符号化装置。
【請求項７】
前記フィルタ情報は、前記適応パラメータを制御する情報であるフィルタパラメータを含む、
請求項４に記載の画像符号化装置。
【請求項８】
前記フィルタパラメータは、前記復号化画像に含まれる複数の画像毎に設定される、
請求項６または７に記載の画像符号化装置。
【請求項９】
前記フィルタ情報は、前記フィルタ処理を適用するか否かを示す第１のインデクスであるフィルタタイプを含む、
請求項１乃至７のいずれか一項に記載の画像符号化装置。
【請求項１０】
前記フィルタタイプは、前記フィルタ処理の複数の重み係数を適用するか否かを示す第２のインデクスを含む、
請求項９に記載の画像符号化装置。
【請求項１１】
前記第２のインデクスは、距離重み、輝度重み、第１色差重み、第２色差重みの４つをそれぞれ用いるか否かを示す、
請求項１０に記載の画像符号化装置。
【請求項１２】
前記第２のインデクスは、前記第１のインデクスで前記フィルタ処理が適用ありの場合にのみ、設定される、
請求項１０または１１に記載の画像符号化装置。
【請求項１３】
前記フィルタタイプは、前記復号化画像を分割するブロックごとに設定される、
請求項９乃至１２のいずれか一項に記載の画像符号化装置。
【請求項１４】
前記ブロックは、固定サイズに分割されたブロック、または、四分木分割されたブロックである、
請求項１３に記載の画像符号化装置。
【請求項１５】
前記フィルタ情報決定部は、前記ダウンサンプリング画像がダウンサンプリングされる前の原画像と、前記フィルタ処理された復号化画像との誤差が最も小さくなるように前記フィルタ情報を決定する、
請求項１乃至１４のいずれか一項に記載の画像符号化装置。
【請求項１６】
前記フィルタ情報決定部は、前記ダウンサンプリング画像がダウンサンプリングされる前の原画像と、前記フィルタ処理された復号化画像との誤差が最も小さくなるように、前記復号化画像ごとに前記フィルタパラメータを決定する、
請求項８に記載の画像符号化装置。
【請求項１７】
前記フィルタ情報決定部は、前記ダウンサンプリング画像がダウンサンプリングされる前の原画像と、前記フィルタ処理された復号化画像との誤差が最も小さくなるように、前記ブロックごとに前記フィルタタイプを決定する、
請求項１３または１４に記載の画像符号化装置。
【請求項１８】
前記誤差は、二乗誤差または絶対値誤差である、
請求項１５乃至１７のいずれか一項に記載の画像符号化装置。
【請求項１９】
前記フィルタ情報決定部は、前記誤差が小さく、かつ、前記符号化データのデータ量が少なくなるように前記フィルタ情報を決定する、
請求項１５乃至１８のいずれか一項に記載の画像符号化装置。
【請求項２０】
色差信号がダウンサンプリングされたダウンサンプリング画像を符号化した符号化画像とフィルタ情報とが多重化された符号化データから、前記符号化画像と前記フィルタ情報とを分離するフィルタ情報分離部と、
前記分離された符号化画像を復号化する復号化処理部と、
前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対し前記フィルタ情報により制御されたフィルタ処理を行うフィルタ処理部と、
を備える画像復号化装置。
【請求項２１】
色差信号がダウンサンプリングされたダウンサンプリング画像を符号化し、
前記符号化された符号化画像を復号化し、
前記復号化された復号化画像の色差信号をアップサンプリングし、
前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対しフィルタ処理を行い、
前記フィルタ処理された復号化画像に基づいて前記フィルタ処理を制御するフィルタ情報の最適値を決定し、
前記決定されたフィルタ情報と前記符号化画像とを多重化した符号化データを生成する、
画像符号化方法。
【請求項２２】
色差信号がダウンサンプリングされたダウンサンプリング画像を符号化した符号化画像とフィルタ情報とが多重化された符号化データから、前記符号化画像と前記フィルタ情報とを分離し、
前記分離された符号化画像を復号化し、
前記復号化された復号化画像の色差信号をアップサンプリングし、
前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対し前記フィルタ情報により制御されたフィルタ処理を行う、
画像復号化方法。
【請求項２３】
色差信号がダウンサンプリングされたダウンサンプリング画像を符号化し、
前記符号化された符号化画像を復号化し、
前記復号化された復号化画像の色差信号をアップサンプリングし、
前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対しフィルタ処理を行い、
前記フィルタ処理された復号化画像に基づいて前記フィルタ処理を制御するフィルタ情報の最適値を決定し、
前記決定されたフィルタ情報と前記符号化画像とを多重化した符号化データを生成する、
画像符号化処理をコンピュータに実行させるための画像符号化プログラム。
【請求項２４】
色差信号がダウンサンプリングされたダウンサンプリング画像を符号化した符号化画像とフィルタ情報とが多重化された符号化データから、前記符号化画像と前記フィルタ情報とを分離し、
前記分離された符号化画像を復号化し、
前記復号化された復号化画像の色差信号をアップサンプリングし、
前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対し前記フィルタ情報により制御されたフィルタ処理を行う、
画像復号化処理をコンピュータに実行させるための画像復号化プログラム。
【請求項２５】
画像符号化装置と画像復号化装置を備えた画像処理システムであって、
前記画像符号化装置は、
色差信号がダウンサンプリングされたダウンサンプリング画像を符号化する符号化処理部と、
前記符号化された符号化画像を復号化する第１の復号化処理部と、
前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対しフィルタ処理を行う第１のフィルタ処理部と、
前記フィルタ処理された復号化画像に基づいて前記フィルタ処理を制御するフィルタ情報の最適値を決定するフィルタ情報決定部と、
前記決定されたフィルタ情報と前記符号化画像とを多重化した符号化データを生成する多重化部と、を備え、
前記画像復号化装置は、
前記符号化データから、前記符号化画像と前記フィルタ情報とを分離するフィルタ情報分離部と、
前記分離された符号化画像を復号化する第２の復号化処理部と、
前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対し前記フィルタ情報により制御されたフィルタ処理を行う第２のフィルタ処理部と、を備える、
画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システムに関し、特に、フィルタ処理を用いた画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システムに関する。
【背景技術】
【０００２】
画像（映像）を圧縮符号化する技術として、ＪＰＥＧ、ＭＰＥＧ２、Ｈ．２６４、ＨＥＶＣなどが知られており、より符号化効率を高めつつ、画質の劣化を抑える技術が望まれている。例えば、符号化により劣化した画像（映像）に対して、画像を復号化した復号化画像にポストフィルタを適用することによりノイズを低減する技術が知られている。
【０００３】
非特許文献１に記載のバイラテラルフィルタは、エッジを保持したまま画像を平滑化することによってノイズを低減する非線形フィルタの一つである。また、特許文献１や２にも、バイラテラルフィルタに関して記載されている。
【０００４】
非特許文献２は、符号化側では劣化前の原画像を持つことを利用し、復号化画像と原画像との二乗誤差が最小となるようにウィナーフィルタの係数を符号化側で設計・送信し、復号化側でポストフィルタリングを行う。
【０００５】
特許文献３は、動画像符号化におけるループフィルタとして適用するウィナーフィルタの係数を、非特許文献２と同様に設計し、更に局所領域（ブロック）毎にフィルタの適用／非適用を適応的に切り替える情報も原画像との二乗誤差が最小となるように設定・送信することによって符号化効率を向上させる。また、特許文献４〜６でも、特許文献３と同様に、符号化側で生成した情報を伝送することで、復号化側のフィルタ制御を行っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１５３０１３号公報
【特許文献２】特開２０１２−２１６８８８号公報
【特許文献３】国際公開第２００９−１１０１６０号
【特許文献４】特表２００７−５０６３６１号公報
【特許文献５】特開２００３−１７９９３３号公報
【特許文献６】米国特許出願公開第２０１１／０２４３２４９号明細書
【非特許文献】
【０００７】
【非特許文献１】C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images”, IEEE International Conference on Computer Vision (ICCV1998), pp.839-846, Jan. 1998.
【非特許文献２】S. Wittmann and T. Wedi, “Post-filter SEI message for 4:4:4 coding”, JVT (Joint Video Team) of ISO/IEC MPEG & ITU-T VCEG, JVT-S030, April, 2006.
【非特許文献３】G. Petschnigg, M. Agrawala, H. Hoppe, R. Szeliski, M. Cohen and K. Toyama, “Digital photography with flash and no-flash image pairs”, ACM Transactions on Graphics (SIGGRAPH2004), vol. 23, no. 3, pp. 664-672, Aug. 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
既存のＪＰＥＧやＭＰＥＧなどの符号化技術では、輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）から成るＹＣｂＣｒ表色系を用いるのが一般的である。また、Ｙ，Ｃｂ，Ｃｒが同じ解像度である４：４：４形式よりも、Ｃｂ，Ｃｒをサブサンプリングした４：２：２形式や４：２：０形式が用いられる。そのため、４：４：４形式のオリジナル信号と比較して、４：２：２形式や４：２：０形式では、色差信号には符号化歪だけでなくサブサンプリングによる画質劣化が生じる。
【０００９】
上記説明した従来技術では、ある程度符号化効率を向上できたとしても、いずれも符号化後の４：２：０形式の色差画像を符号化前の４：４：４形式の無劣化色差画像に近づけるような色画質改善方法ではなく、単純に色差画像に上記従来技術を適用したとしても画質改善を行うためには不十分であるという問題がある。
【００１０】
一方、非特許文献３には、特性の異なる２つの画像を用いたジョイントバイラテラルフィルタと呼ばれる参照型フィルタを用いた画質改善手法が開示されている。非特許文献３では、フラッシュ画像とノンフラッシュ画像という輝度値の相関が高い２つの画像を用い、ノイズが少ないフラッシュ画像を参照画像として用いながら、ノンフラッシュ画像にジョイントバイラテラルフィルタを適用することにより、ノンフラッシュ画像の自然さを損なうことなくノイズを低減する。
【００１１】
しかしながら、従来のジョイントバイラテラルフィルタでは、輝度信号のみを参照信号及び対象信号としており、色差信号の改善について考慮されていないため、画質が十分に改善されない恐れがあるという問題がある。
【００１２】
このように、従来技術では、画質を改善するとともに、符号化効率を向上することが困難であるという問題があった。
【課題を解決するための手段】
【００１３】
本発明に係る画像符号化装置は、色差信号がダウンサンプリングされたダウンサンプリング画像を符号化する符号化処理部と、前記符号化された符号化画像を復号化する復号化処理部と、前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対しフィルタ処理を行うフィルタ処理部と、前記フィルタ処理された復号化画像に基づいて前記フィルタ処理を制御するフィルタ情報の最適値を決定するフィルタ情報決定部と、前記決定されたフィルタ情報と前記符号化画像とを多重化した符号化データを生成する多重化部と、を備えるものである。
【００１４】
本発明に係る画像復号化装置は、色差信号がダウンサンプリングされたダウンサンプリング画像を符号化した符号化画像とフィルタ情報とが多重化された符号化データから、前記符号化画像と前記フィルタ情報とを分離するフィルタ情報分離部と、前記分離された符号化画像を復号化する復号化処理部と、前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対し前記フィルタ情報により制御されたフィルタ処理を行うフィルタ処理部と、を備えるものである。
【００１５】
本発明に係る画像符号化方法は、色差信号がダウンサンプリングされたダウンサンプリング画像を符号化し、前記符号化された符号化画像を復号化し、前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対しフィルタ処理を行い、前記フィルタ処理された復号化画像に基づいて前記フィルタ処理を制御するフィルタ情報の最適値を決定し、前記決定されたフィルタ情報と前記符号化画像とを多重化した符号化データを生成するものである。
【００１６】
本発明に係る画像復号化方法は、差信号がダウンサンプリングされたダウンサンプリング画像を符号化した符号化画像とフィルタ情報とが多重化された符号化データから、前記符号化画像と前記フィルタ情報とを分離し、前記分離された符号化画像を復号化し、前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対し前記フィルタ情報により制御されたフィルタ処理を行うものである。
【００１７】
本発明に係る画像符号化プログラムは、色差信号がダウンサンプリングされたダウンサンプリング画像を符号化し、前記符号化された符号化画像を復号化し、前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対しフィルタ処理を行い、前記フィルタ処理された復号化画像に基づいて前記フィルタ処理を制御するフィルタ情報の最適値を決定し、前記決定されたフィルタ情報と前記符号化画像とを多重化した符号化データを生成する、画像符号化処理をコンピュータに実行させるための画像符号化プログラムである。
【００１８】
本発明に係る画像復号化プログラムは、色差信号がダウンサンプリングされたダウンサンプリング画像を符号化した符号化画像とフィルタ情報とが多重化された符号化データから、前記符号化画像と前記フィルタ情報とを分離し、前記分離された符号化画像を復号化し、前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対し前記フィルタ情報により制御されたフィルタ処理を行う、画像復号化処理をコンピュータに実行させるための画像復号化プログラムである。
【００１９】
本発明に係る画像処理システムは、画像符号化装置と画像復号化装置を備えた画像処理システムであって、前記画像符号化装置は、色差信号がダウンサンプリングされたダウンサンプリング画像を符号化する符号化処理部と、前記符号化された符号化画像を復号化する第１の復号化処理部と、前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対しフィルタ処理を行う第１のフィルタ処理部と、前記フィルタ処理された復号化画像に基づいて前記フィルタ処理を制御するフィルタ情報の最適値を決定するフィルタ情報決定部と、前記決定されたフィルタ情報と前記符号化画像とを多重化した符号化データを生成する多重化部と、を備え、前記画像復号化装置は、前記符号化データから、前記符号化画像と前記フィルタ情報とを分離するフィルタ情報分離部と、前記分離された符号化画像を復号化する第２の復号化処理部と、前記復号化された復号化画像の色差信号をアップサンプリングし、前記アップサンプリングされた復号化画像の前記色差信号及び輝度信号を参照信号とし、前記色差信号を対象信号として、前記色差信号及び前記輝度信号に基づいて前記色差信号に対し前記フィルタ情報により制御されたフィルタ処理を行う第２のフィルタ処理部と、を備えるものである。
【発明の効果】
【００２０】
本発明によれば、画質を改善するとともに、符号化効率を向上することができる。
【図面の簡単な説明】
【００２１】
【図１】実施の形態１に係る符号化装置の構成を示すブロック図である。
【図２】実施の形態１に係る符号化装置で用いる画像の形式を説明するための概念図である。
【図３】実施の形態１に係る色差フィルタ情報生成部の構成を示すブロック図である。
【図４】実施の形態１に係る色差フィルタ処理部の処理を説明するための説明図である。
【図５】実施の形態１に係る符号化装置で用いるフィルタパラメータの一例を示す図である。
【図６】実施の形態１に係る符号化装置で用いるフィルタタイプの一例を示す図である。
【図７】実施の形態１に係る符号化装置で用いるフィルタタイプの一例を示す図である。
【図８】実施の形態１に係る符号化装置におけるブロックごとのフィルタの適用例を示す図である。
【図９】実施の形態１に係る符号化装置で用いるフィルタパラメータシンタクスの一例を示す図である。
【図１０】実施の形態１に係る符号化装置で用いるフィルタタイプシンタクスの一例を示す図である。
【図１１】実施の形態１に係る復号化装置の構成を示すブロック図である。
【図１２】実施の形態１に係る符号化装置におけるブロック分割の他の例を示す図である。
【図１３】実施の形態２に係る符号化装置の構成を示すブロック図である。
【図１４】実施の形態２に係る復号化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
（実施の形態１）
以下、図面を参照して実施の形態１について説明する。
【００２３】
本実施の形態は、参照型フィルタであるジョイントバイラテラルフィルタの枠組みを利用し、輝度画像と色差画像を参照画像として色差画像にフィルタリングを行い、色差画像のノイズ低減と鮮鋭感向上を同時に実現する。また、フィルタのサイズや強度を示すフィルタパラメータと領域毎に参照画像を切り替えるフィルタタイプを符号化側で設計し、復号化側で用いてフィルタリングを行うことにより、色差画像の画質を改善し、符号化効率を向上させる。
【００２４】
図１は、本実施の形態に係る符号化装置１００の構成を示すブロック図である。符号化装置１００は、入力画像を符号化した符号化データを送信する装置であり、後述の復号化装置とともに、画像処理システムを構成する。例えば、符号化装置１００と復号化装置は任意の通信回線により通信可能に接続されており、この通信回線を介して符号化データが伝送される。
【００２５】
図１に示すように、本実施の形態に係る符号化装置１００は、輝度色差画像生成部１１０、色差画像ダウンサンプリング部１２０、符号化処理部１３０、局所復号化処理部１４０、色差画像アップサンプリング部１５０、色差フィルタ情報生成部１６０、色差フィルタ情報多重化部１７０を備えている。
【００２６】
なお、図１の符号化装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。符号化装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述する本実施の形態に係る符号化方法を行うための符号化プログラムを格納し、符号化装置の各機能を、記憶装置に格納された符号化プログラムをＣＰＵで実行することにより実現してもよい。また、後述の復号化装置についても同様である。
【００２７】
輝度色差画像生成部１１０は、入力される入力画像を変換し、原画像となる輝度色差画像を生成する。ここでは入力画像を４：４：４形式のＲＧＢ画像とし、輝度色差画像生成部１１０は、この４：４：４形式のＲＧＢ画像を４：４：４形式のＹＣｂＣｒ画像（輝度色差画像）に変換し、これを原画像とする。なお、入力画像はＲＧＢ画像に限らずＨＳＶ画像などでもよく、また、輝度色差画像はＹＣｂＣｒ画像に限らずＹＵＶ画像などでもよい。
【００２８】
色差画像ダウンサンプリング部１２０は、輝度色差画像生成部１１０が生成した４：４：４形式のＹＣｂＣｒ画像（原画像）の色差信号（Ｃｂ，Ｃｒ）をそれぞれダウンサンプリングする。
【００２９】
図２には４：４：４形式、４：２：２形式、４：２：０形式の色差サブサンプリングの概念図を示した。図２（ａ）の４：４：４形式は、輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）のサンプリング周波数が同じ画像である。このため、４：４：４形式の画像では、輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）の情報量（解像度）が同じである。
【００３０】
図２（ｂ）の４：２：２形式は、色差信号（Ｃｂ，Ｃｒ）のサンプリング周波数が、輝度信号（Ｙ）の１／２の画像である。このため、４：２：２形式の画像では、色差信号（Ｃｂ，Ｃｒ）は、横（水平）方向で輝度信号（Ｙ）の１／２の情報量（解像度）となる。
【００３１】
図２（ｃ）の４：２：０形式は、色差信号（Ｃｂ，Ｃｒ）のサンプリング周波数が、輝度信号（Ｙ）の１／２の画像であり、さらに、水平方向の走査線１本おきに色差信号（Ｃｂ，Ｃｒ）をサンプリングする。このため、４：２：０形式の画像では、色差信号（Ｃｂ，Ｃｒ）は、縦（垂直）方向及び横（水平）方向のそれぞれで輝度信号（Ｙ）の１／２の情報量（解像度）となる。
【００３２】
人間の視覚特性から輝度信号よりも色差信号の重要度が低いため、４：２：２形式や４：２：０形式では、色差信号の解像度を下げることで符号化効率を高めている。しかし、４：２：２形式や４：２：０形式では、色差信号の解像度が低いため、文字やテロップなどのエッジがぼけて色にじみが発生し、画質が劣化するという問題がある。
【００３３】
本実施の形態では、色差画像ダウンサンプリング部１２０が、図２（ａ）のような４：４：４形式のＹＣｂＣｒ画像の（Ｃｂ，Ｃｒ）を縦横１／２にサブサンプリングし、図２（ｃ）のような４：２：０形式のＹＣｂＣｒ画像（ダウンサンプリング画像）を生成し、このような画像の画質改善を図る。
【００３４】
符号化処理部１３０は、色差画像ダウンサンプリング部１２０が生成した４：２：０形式のＹＣｂＣｒ画像（ダウンサンプリング画像）に符号化処理を行い、画像情報（符号化画像）を生成する。本実施の形態では静止画像符号化方式を例に説明するが任意の符号化方式でもよい。例えば、符号化処理部１３０における符号化処理は、Ｈ．２６４やＨＥＶＣなどの動画像符号化であっても良い。
【００３５】
局所復号化処理部（第１の復号化処理部）１４０は、符号化処理部１３０で符号化した符号化画像（画像情報）を一旦復号化し、局所復号化画像を生成する。この局所復号化画像は、４：２：０形式のＹＣｂＣｒ画像である。局所復号化処理部１４０は、符号化された符号化画像が動画像の場合にはフレーム単位でこの復号化処理を行う。
【００３６】
色差画像アップサンプリング部（第１のアップサンプリング部）１５０は、局所復号化処理部１４０が生成した４：２：０形式の局所復号化画像における色差信号（Ｃｂ，Ｃｒ）をアップサンプリングし、４：４：４形式の局所復号化画像を生成する。この際、アップサンプリングの方法は既存のバイリニアやバイキュービックなどの補間フィルタを用いて良い。
【００３７】
色差フィルタ情報生成部１６０は、色差画像アップサンプリング部１５０によるアップサンプリング後の局所復号化画像と、輝度色差画像生成部１１０が生成した４：４：４形式の原画像とを用いて、二乗誤差が最小となるように色差フィルタ情報を生成する。色差フィルタ情報は、復号化装置に伝送されて、復号化装置におけるフィルタ処理を制御するための制御情報である。色差フィルタ情報の生成処理の詳細については後述する。
【００３８】
色差フィルタ情報多重化部１７０は、符号化処理部１３０で作成した画像情報（符号化画像）と、色差フィルタ情報生成部１６０が生成した色差フィルタ情報とを多重化して符号化データを作成し、この符号化データを復号化装置へ送信する。符号化データにより、符号化画像と、この符号化画像に適用するフィルタの色差フィルタ情報とを関連づけることができれば、任意の多重化方法でよい。
【００３９】
図１の色差フィルタ情報生成部１６０について図３を用いて詳しく述べる。図３は、本実施の形態に係る色差フィルタ情報生成部１６０の構成を示すブロック図である。図３に示すように、本実施の形態に係る色差フィルタ情報生成部１６０は、色差フィルタ処理部１６１、色差フィルタ情報設定部１６２、色差フィルタ情報決定部１６３を備えている。
【００４０】
色差フィルタ処理部（第１のフィルタ処理部）１６１は、色差画像アップサンプリング部１５０でアップサンプリングされた局所復号化画像を取得し、色差フィルタ情報設定部１６２で設定した色差フィルタ情報に従って参照型フィルタを適用する。
【００４１】
色差フィルタ処理部１６１は、参照型フィルタを利用して、輝度信号（Ｙ）を参照信号とし、色差信号（Ｃｒ，Ｃｂ）を対象信号として、色差信号のノイズ除去を行いつつ、高解像度化を同時に行う。
【００４２】
また、本実施の形態では、参照型フィルタの一例として、ジョイントバイラテラルフィルタと同様のフィルタを利用し、輝度信号（Ｙ）だけでなく色差信号（Ｃｂ，Ｃｒ）も参照信号として用い、フィルタの重み項に色差信号（Ｃｒ，Ｃｂ）に応じた重み項を追加することにより、輝度画像の画素間に画素値の差が無く色画像の画素間に画素値の差がある領域（例えば赤の背景に青の線が入っている色エッジ領域など）で色にじみが生じる問題を解決する。
【００４３】
図４は、色差フィルタ処理部１６１における参照型フィルタのフィルタ処理の一例を示している。図４のように、色差フィルタ処理部１６１では、まず、局所復号化画像に含まれる輝度信号（Ｙ）、色差信号（Ｃｂ，Ｃｒ）を分離する（Ｓ１０１）。なお、分離されている輝度信号（Ｙ）、色差信号（Ｃｂ，Ｃｒ）を入力し、そのままフィルタ処理を行ってもよい。
【００４４】
続いて、色差フィルタ処理部１６１は、Ｓ１０１で分離した輝度信号（Ｙ）、色差信号（Ｃｂ，Ｃｒ）をガイダンス信号（参照信号）とし、色差信号（Ｃｂ）をターゲット信号（対象信号）として、色差信号（Ｃｂ）に対し色差フィルタ情報に基づいた参照型フィルタ処理を行う（Ｓ１０２）。輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を参照信号とし、色差信号（Ｃｂ）にジョイントバイラテラルフィルタと同様の参照型フィルタ処理を行うことで、輝度画像及び色差画像の細部情報を利用し、色差信号（Ｃｂ）の該当細部の解像度を改善しつつノイズを除去する。
【００４５】
続いて（例えばＳ１０２と平行して）、色差フィルタ処理部１６１は、Ｓ１０１で分離した輝度信号（Ｙ）と、色差信号（Ｃｂ，Ｃｒ）をガイダンス信号とし、色差信号（Ｃｒ）をターゲット信号として、色差信号（Ｃｒ）に対し色差フィルタ情報に基づいた参照型フィルタ処理を行う（Ｓ１０３）。輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を参照信号とし、色差信号（Ｃｒ）をジョイントバイラテラルフィルタと同様の参照型フィルタ処理を行うことで、輝度画像及び色差画像の細部情報を利用し、色差信号（Ｃｒ）の該当細部の解像度を改善しつつノイズを除去する。
【００４６】
続いて、色差フィルタ処理部１６１は、Ｓ１０１で分離された輝度信号（Ｙ）、Ｓ１０２でフィルタ処理された色差信号（Ｃｂ）、Ｓ１０３でフィルタ処理された色差信号（Ｃｒ）を合成して、フィルタリング後の局所復号化画像を生成し出力する（Ｓ１０４）。
【００４７】
色差フィルタ処理部１６１がＳ１０２，Ｓ１０３で処理する本実施の形態の参照型フィルタは以下の式（１）で表される。
【数１】
2015144423.tif 000003
【００４８】
ここで、フィルタ対象の色差画像をＣ（実際はＣｂ又はＣｒ）、色差画像Ｃにフィルタを適用した画像をＦ［Ｃ］とする。Ｐはフィルタ対象画素の画素位置であり、ｑはフィルタ対象画素の近傍領域Ω内の画素位置、Ｙ，Ｃｂ，Ｃｒはそれぞれ輝度画像、第１色差画像（Ｃｂ）、第２色差画像（Ｃｒ）の画素値を表す。Ｇ（ｘ）は２次元のガウシアンカーネルであり以下の式（２）で表される。
【数２】
2015144423.tif 000004
【００４９】
また、（１）式のσｓ，σｒ０，σｒ１，σｒ２はそれぞれ距離、輝度、第１色差（Ｃｂ）、第２色差（Ｃｒ）に関する重みのガウス分布の標準偏差を示している。Ｗｐは正規化係数であり、重みの和が１となるように以下の式（３）で表される。
【数３】
2015144423.tif 000005
【００５０】
ここでは、Ｇσｓを距離重み、Ｇσｒ０を輝度重み、Ｇσｒ１を第１色差重み、Ｇσｒ２を第２色差重みと呼ぶ。これらはフィルタの重み係数である。
【００５１】
また、本実施の形態では、（１）式におけるΩのサイズを決めるフィルタカーネルの半径r、σs，σｒ０，σｒ１，σｒ２の情報をフィルタパラメータと呼ぶ。フィルタパラメータは、フィルタ処理の基本パラメータとして、フィルタのサイズや強度を制御するフィルタ基本情報である。また、フィルタの有効無効、距離重み、輝度重み、第１色差重み、第２色差重みをそれぞれ用いるか否かの情報をフィルタタイプと呼ぶ。フィルタタイプは、フィルタパラメータによるフィルタ処理をさらに詳細に制御するフィルタ詳細情報である。これらのフィルタパラメータ及びフィルタタイプを合わせて色差フィルタ情報と呼ぶ。
【００５２】
更に、本実施の形態では、画像を所定のサイズの矩形ブロックで分割し、分割したブロック毎にフィルタタイプを制御する。この画像を分割するブロックのサイズを決める値もフィルタパラメータとする。
【００５３】
図５は、本実施の形態に係るフィルタパラメータの例を示している。図５に示すように、フィルタパラメータは、上記の参照型フィルタのカーネルの半径、距離標準偏差、輝度標準偏差、第１色差標準偏差、第２色差標準偏差、フィルタタイプを送る単位であるブロックの大きさを示す横方向と縦方向のブロックサイズから成る。
【００５４】
図６及び図７は、ブロック毎の制御を行うために定義されたフィルタタイプの例を示している。ここでは、フィルタタイプが、フィルタタイプ１及びフィルタタイプ２を含む例について説明する。図６のフィルタタイプ１（第１のインデクス）は、フィルタの有効無効を示す情報であり、０又は１のインデクスで表す。図７のフィルタタイプ２（第２のインデクス）は、距離重み、輝度重み、第１色差重み、第２色差重みのいずれを有効とするかを組み合わせた０〜１５のインデクスで表す。
【００５５】
図３の色差フィルタ情報設定部１６２では、色差フィルタ情報として、これらのフィルタパラメータ及びフィルタタイプの組み合わせを色差信号（Ｃｂ，Ｃｒ）ごとに設定し、それに従って色差フィルタ処理部１６１でフィルタリングを行う。色差フィルタ情報設定部１６２は、図５のフィルタパラメータを画像単位に設定した情報と、図６及び図７のフィルタタイプの全ての組み合わせをブロック単位に設定した情報とを含む複数の色差フィルタ情報を生成し、生成した複数の色差フィルタ情報を順次、色差フィルタ処理部１６１に設定するとともに、色差フィルタ情報決定部１６３に通知する。
【００５６】
図８にはブロック毎にフィルタタイプを切り替えた場合の概念図を示した。図８のように、色差フィルタ情報設定部１６２は、画像単位で図５のフィルタパラメータを選択し、画像を分割したブロック単位で図６及び図７のフィルタタイプを選択する。このように、ブロック単位にフィルタタイプを設定することで、局所的にフィルタタイプを切り替えることができ、符号化効率を向上させることができる。
【００５７】
なお、ブロック分割の方法は、図８のような固定サイズのブロックに限らず、図１２のような四分木分割を用いても良い。四分木分割では、階層的に上位の親ブロックを下位の４つの子ブロック（サブブロック）に分割する。親ブロックごとに子ブロックへの分割の有無が選択可能であり、分割した子ブロックごとにフィルタタイプを設定する。
【００５８】
さらに、フィルタタイプとして、図６及び図７のように４ビットのフィルタタイプ２の有無を１ビットのフィルタタイプ１により指定することで、フィルタありのフィルタタイプの情報量は５ビットとし、フィルタなしのフィルタタイプの情報量は１ビットとすることができ、さらに符号化効率を向上することができる。
【００５９】
図３の色差フィルタ情報決定部１６３は、色差フィルタ処理部１６１によるフィルタリング後の４：４：４形式の局所復号化画像と輝度色差画像生成部１１０による４：４：４形式の原画像を取得し、二乗誤差を計算することで色差フィルタ情報の最適値を決定する。色差フィルタ情報決定部１６３は、色差フィルタ情報設定部１６２で設定した複数の色差フィルタ情報によりフィルタリングされた画像についてそれぞれ二乗誤差を計算し、最も二乗誤差が小さくなる色差フィルタ情報、つまりフィルタパラメータ及びフィルタタイプを最適な色差フィルタ情報として決定する。色差フィルタ情報決定部１６３は、決定した最適な色差フィルタ情報を色差フィルタ情報多重化部１７０へ出力する。
【００６０】
例えば、色差フィルタ情報決定部１６３は、ＲＤＯ（Rate-Distortion Optimization）方式を用いて色差フィルタ情報の最適値を決定してもよく、この場合、次の式（４）のコストＣを用いてもよい。
【数４】
2015144423.tif 000006
【００６１】
式（４）において、Ｄ（Distortion）は画質改善度合いであり、例えば、原画像と局所復号化画像との二乗誤差や絶対値誤差である。また、式（４）において、Ｒ（Rate）は色差フィルタ情報（フィルタパラメータ、フィルタタイプ）を含む符号化データの符号量（データ量）であり、λは所定の係数である。色差フィルタ情報決定部１６３は、色差フィルタ情報を変えながら探索を行い、誤差が小さく、かつ、符号量が少なくなる値、特にコストＣが一番小さくなるフィルタパラメータ及びフィルタタイプを最適値とする。
【００６２】
図９及び図１０は、色差フィルタ情報決定部１６３が決定し、色差フィルタ情報多重化部１７０で多重化される色差フィルタ情報のシンタクスの例を示す。図９のフィルタパラメータシンタクスでは、図５のフィルタパラメータの各情報に対応して、カーネルの半径、距離標準偏差、輝度標準偏差、第１色差標準偏差、第２色差標準偏差のそれぞれを色差信号（Ｃｂ，Ｃｒ）ごとに設定し、さらに、横方向と縦方向のブロックサイズを設定する。
【００６３】
図１０のフィルタタイプシンタクスでは、図６のフィルタタイプ１及び図７のフィルタタイプ２に対応して、ブロックごとにフィルタタイプ１及びフィルタタイプ２の指定を繰り返す。各ブロックの指定では、色差信号（Ｃｂ）のフィルタタイプ１のインデクスを指定し、このインデクスが１の場合に、色差信号（Ｃｂ）のフィルタタイプ２のインデクスを指定し、色差信号（Ｃｒ）のフィルタタイプ１のインデクスを指定し、このインデクスが１の場合に、色差信号（Ｃｒ）のフィルタタイプ２のインデクスを指定する。
【００６４】
なお、図１２のように四分木分割を行う場合は、図１０のフィルタタイプシンタクスの中で四分木分割用の情報（子ブロックの分割の有無を示すフラグ）を送ってもよいし、又はＨ．２６４／ＡＶＣやＨ.２６５／ＨＥＶＣなど既存のブロックベース符号化方式で規定されている予測ブロック、変換ブロックと同じ単位でフィルタタイプのフラグを送ることとし、四分木分割用の情報を送らずに規定のシンタクス内にフィルタタイプの情報だけを追加しても良い。
【００６５】
図１１は、本実施の形態に係る復号化装置２００の構成を示すブロック図である。図１１に示すように、本実施の形態に係る復号化装置２００は、色差フィルタ情報分離部２１０、復号化処理部２２０、色差画像アップサンプリング部２３０、色差フィルタ処理部２４０を備えている。
【００６６】
色差フィルタ情報分離部２１０は、符号化装置１００が送信した符号化データを受信し、受信した符号化データを画像情報と色差フィルタ情報に分離する。この画像情報は、符号化装置１００の符号化処理部１３０で符号化された符号化画像であり、色差フィルタ情報は、符号化装置１００の色差フィルタ情報生成部１６０で生成された情報である。上記のように、色差フィルタ情報は、図９及び図１０のシンタクスにしたがって設定されている。
【００６７】
復号化処理部（第２の復号化処理部）２２０は、色差フィルタ情報分離部２１０が分離した画像情報を復号化し、復号化画像を作成する。この復号化画像は４：２：０形式のＹＣｂＣｒ画像である。復号化処理部２２０は、符号化装置１００の局所復号化処理部１４０と同様に画像情報を復号化する。
【００６８】
色差画像アップサンプリング部（第２のアップサンプリング部）２３０は、復号化処理部２２０が作成した４：２：０形式の復号化画像の色差画像をアップサンプリングし、４：４：４形式の復号化画像を生成する。ただし、この際のアップサンプリング処理は符号化装置１００の色差画像アップサンプリング部１５０と同様のアップサンプリング処理でなければならない。これにより、符号化装置１００の色差フィルタ処理部１６１でフィルタ処理を行う前の画像（局所復号化画像）と同様の画像が生成される。
【００６９】
色差フィルタ処理部（第２のフィルタ処理部）２４０は、色差画像アップサンプリング部２３０によるアップサンプリング後の復号化画像と、色差フィルタ情報分離部２１０が分離した色差フィルタ情報を取得し、符号化装置１００の色差フィルタ処理部１６１と同様に図４及び式（１）〜（３）に従って参照型フィルタを適用し、生成した出力画像を出力する。つまり、色差フィルタ処理部２４０は、復号化画像の色差信号及び輝度信号を参照信号とし、色差信号を対象信号として、色差信号及び輝度信号に基づいて色差信号に対し参照型フィルタ処理を行う。その際、色差フィルタ処理部２４０は、取得した色差フィルタ情報のシンタクスにしたがって、フィルタパラメータによりフィルタとブロックサイズを設定し、フィルタタイプによりブロック毎にフィルタの有無又は重みを制御する。これにより、符号化装置１００の色差フィルタ処理部１６１で最適とされたフィルタが適用されるため、色差フィルタ処理部２４０では、符号化装置１００の原画像に近付くように、画質が向上した出力画像が生成される。
【００７０】
以上のように本実施の形態では、符号化により劣化した色差画像に対し、輝度画像と色差画像に強い相関があることを利用し、輝度画像と色差画像を参照信号とした参照型フィルタをポストフィルタとして適用する。更に、符号化側でフィルタパラメータ及びフィルタタイプを画像又は領域単位に切り替えるための色差フィルタ情報を生成・送信し、復号化側で受信した前記色差フィルタ情報に基づいてフィルタリングを行う。これによって、色差画像のノイズ低減と鮮鋭感向上を同時に達成し、符号化効率を向上させることが可能となる。
【００７１】
本実施の形態によれば、従来のノイズ除去や超解像に比べ非常に単純かつ計算コストの低い処理で色差画像の画質改善を行うことができ、更に符号化側でフィルタを制御する付加情報を送ることにより、符号化効率を改善することが可能となる。
【００７２】
本実施の形態は、色差画像に対してジョイントバイラテラルフィルタと同様の参照型フィルタを用いることが前提であり、その中でフィルタの重み係数やカーネルサイズなどのフィルタパラメータ及びガイド画像を制御するフィルタタイプを符号化側で生成し、復号化側に送ることによって、画像（フレーム）又は領域（ブロック）単位で最適化されたフィルタを適用することができ、符号化処理で劣化した色差画像に対する大幅な画質改善効果を得られるものである。なお、このような点は、上記の特許文献１〜６や非特許文献１〜３のいずれにも記載されていない。
【００７３】
（実施の形態２）
次に、実施の形態２について説明する。本実施の形態は、実施の形態１に対し、色差フィルタの処理としてジョイントバイラテラルアップサンプリングを用いる例である。なお、一般的なジョイントバイラテラルアップサンプリングについては、「J.Kopf, M.F.Cohen, D.Lischinski, M.Uyttendaele, “Joint Bilateral Upsampling”, SIGGRAPH2007, No.96, 2007」に開示されている。
【００７４】
図１３は、本実施の形態に係る符号化装置１００の構成を示し、図１４は、本実施の形態に係る復号化装置２００の構成を示している。本実施の形態では、ジョイントバイラテラルアップサンプリングを用いるため、実施の形態１の構成と比べて、色差フィルタの前の色差画像アップサンプリング部１５０及び２３０が不要となる。その他の構成は、実施の形態１と同様である。
【００７５】
すなわち、本実施の形態では、図１４に示すように、符号化装置１００の局所復号化処理部１４０は、生成した局所復号化画像を色差フィルタ情報生成部１６０へ出力し、色差フィルタ情報生成部１６０は、アップサンプリングされていない局所復号化画像と原画像を用いてアップサンプリング及びフィルタ処理を行うことで色差フィルタ情報を生成する。同様に、復号化装置２００の復号化処理部２２０は、生成した復号化画像を色差フィルタ処理部２４０へ出力し、色差フィルタ処理部２４０は、アップサンプリングされていない復号化画像と色差フィルタ情報を用いてアップサンプリング及びフィルタ処理を行うことで出力画像を生成する。
【００７６】
本実施の形態では、色差フィルタ情報生成部１６０の色差フィルタ処理部１６１と色差フィルタ処理部２４０は、図４のＳ１０２及びＳ１０３の参照型フィルタとして、ジョイントバイラテラルフィルタ処理の代わりに、ジョイントバイラテラルアップサンプリング処理を行う。具体的には、式（１）の代わりに、次の式（５）を用いてアップサンプリング及びフィルタ処理を行う。式（５）において↓は、図２（ｃ）のようなダウンサンプリングされた画素を示している。
【数５】
2015144423.tif 000007
【００７７】
すなわち、色差フィルタ処理部１６１と色差フィルタ処理部２４０は、ダウンサンプリングされた色差信号（Ｃｂ，Ｃｒ）をアップサンプリングするとともに、輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を参照信号として、色差信号（Ｃｂ）に対しジョイントバイラテラルフィルタと同様の参照型フィルタ処理を行い、また、輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を参照信号として、色差信号（Ｃｒ）に対しジョイントバイラテラルフィルタと同様の参照型フィルタ処理を行う。
【００７８】
このように、実施の形態１において、ジョイントバイラテラルフィルタの代わりにジョイントバイラテラルアップサンプリングを用いてもよい。これにより、アップサンプリング処理とフィルタ処理を同時に行うことができるため、アップサンプリング部が不要になるとともに、処理を高速化することができる。
【００７９】
（実施の形態３）
次に、実施の形態３について説明する。本実施の形態は、実施の形態１または２に対し、色差フィルタの処理にアダプティブバイラテラルフィルタの適応パラメータを追加する例である。なお、一般的なアダプティブバイラテラルフィルタについては、「Buyue Zhang, Jan P. Allebach, “Adaptive Bilateral Filter for Sharpness Enhancement and Noise Removal”, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 17, NO. 5, MAY 2008」に開示されている。
【００８０】
本実施の形態に係る符号化装置１００及び復号化装置２００の構成については、実施の形態１（または２）と同様である。
【００８１】
本実施の形態では、色差フィルタ情報生成部１６０の色差フィルタ処理部１６１と色差フィルタ処理部２４０は、図４のＳ１０２及びＳ１０３の参照型フィルタとして、アダプティブバイラテラルフィルタの適応パラメータを用いたジョイントバイラテラルフィルタ処理を行う。具体的には、式（１）及び式（３）に適応パラメータζを追加する。ただし、式（１）及び式（２）において、適応パラメータζを追加する項はフィルタを適用する色差画像と同じコンポーネントの重み項であることに注意する。例えば、Ｃｂにフィルタを適用する場合はＣｂの重み項に適応パラメータζを追加し、Ｃｒにフィルタを適用する場合はＣｒの重み項に適応パラメータζを追加する。すなわち、式（１）、（３）は式（８）のδ１及びδ２を用いて式（６）、（７）のように表すことができる。
【数６】
2015144423.tif 000008
【数７】
2015144423.tif 000009
【数８】
2015144423.tif 000010
【００８２】
適応パラメータζを設定することで、フィルタ処理の効果を調整することができる。本実施の形態では、適応パラメータζを色差フィルタ情報に含める。すなわち、符号化装置１００では、色差フィルタ情報決定部１６３が適応パラメータζを含む色差フィルタ情報の最適値を決定し、復号化装置２００では適応パラメータζを含む色差フィルタ情報を用いてフィルタ処理を行う。適応パラメータζを色差フィルタ情報のフィルタパラメータに含めることで、画像単位にフィルタ処理の効果を調整できる。また、ブロック単位に調整が必要な場合は、色差フィルタ情報のフィルタタイプに適応パラメータζを含めてもよい。
【００８３】
適応パラメータζは、フィルタ処理を行う画像の特徴に応じて設定してもよい。例えば、エッジを含む画像（もしくはエッジ領域）の場合、適応パラメータζを大きくすることで、エッジを鮮明にすることができる。また、平坦な画像（もしくは平坦領域）の場合、適応パラメータζを小さくすることで、自然な画像とすることができる。画像の特徴の検出は、符号化装置１００において、色差フィルタ処理の前の任意のブロックで行ってもよい。
【００８４】
このように、実施の形態１または２において、ジョイントバイラテラルフィルタの処理に、アダプティブバイラテラルフィルタの適応パラメータを追加してもよい。これにより、さらに最適なフィルタ処理を行うことができ、画質を改善することができる。
【００８５】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００８６】
１００      符号化装置
１１０      輝度色差画像生成部
１２０      色差画像ダウンサンプリング部
１３０      符号化処理部
１４０      局所復号化処理部
１５０      色差画像アップサンプリング部
１６０      色差フィルタ情報生成部
１６１      色差フィルタ処理部
１６２      色差フィルタ情報設定部
１６３      色差フィルタ情報決定部
１７０      色差フィルタ情報多重化部
２００      復号化装置
２１０      色差フィルタ情報分離部
２２０      復号化処理部
２３０      色差画像アップサンプリング部
２４０      色差フィルタ処理部
【図１】
2015144423.tif 000011
【図２】
2015144423.tif 000012
【図３】
2015144423.tif 000013
【図４】
2015144423.tif 000014
【図５】
2015144423.tif 000015
【図６】
2015144423.tif 000016
【図７】
2015144423.tif 000017
【図８】
2015144423.tif 000018
【図９】
2015144423.tif 000019
【図１０】
2015144423.tif 000020
【図１１】
2015144423.tif 000021
【図１２】
2015144423.tif 000022
【図１３】
2015144423.tif 000023
【図１４】
2015144423.tif 000024