(57)【要約】      （修正有）【課題】画像の性質に応じて、より最適なフィルタ処理を施すことで、画質劣化を低減し、より符号化効率の高い符号化ストリームを生成できる符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラムを提供する。【解決手段】再構成画像の処理単位領域内の対象画素の画素値を補正する画素値補正手段１０を備え、画素値補正手段により得られた画像と入力画像とを用いて符号化を行なう符号化装置において、画素値補正手段１０が、線形フィルタ係数を記憶する線形フィルタ係数記憶部１２と、線形フィルタ係数を参照して、対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部１１とを有する。【選択図】図９
2018107608.tif 000002
【特許請求の範囲】
【請求項１】
再構成画像の処理単位領域内の対象画素の画素値を補正する画素値補正手段を備え、上記画素値補正手段により得られた画像と入力画像とを用いて符号化を行なう符号化装置において、
上記画素値補正手段が、
線形フィルタ係数を記憶する線形フィルタ係数記憶部と、
上記線形フィルタ係数を参照して、上記対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部と
を有することを特徴とする符号化装置。
【請求項２】
上記入力画像と、補正前の再構成画像とに基づいて、線形フィルタ係数を決定するフィルタ係数決定手段を備え、
上記線形補正処理部が、決定された上記線形フィルタ係数を参照して、線形補正処理を行なう
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
上記フィルタ係数決定手段により決定された線形フィルタ係数を、符号化ストリームに多重化する符号化手段を備えることを特徴とする請求項２に記載の符号化装置。
【請求項４】
上記線形補正処理部が、上記対象画素の画素値ｃに対して、複数の周辺画素の画素値ｎｉを参照して、式（Ａ）に従って、補正後の画素値ｃ’を求める線形補正処理を行なうことを特徴とする請求項１〜３のいずれかに記載の符号化装置。
ｃ’＝Ｃｌｉｐ１（ｃ＋（（Σｉａｉ（ｎｉ−ｃ）＋ｂ＋ｒ）＞＞ｓ））  …（Ａ）
ここで、ａｉ，ｂは線形フィルタ係数であり、sとｒは整数演算で固定少数演算行うためのシフト量ｓと丸めｒ＝１＜＜（ｓ−１）であり、Ｃｌｉｐ１は画素値の値を有効な画素値の範囲にクリッピングする関数である。
【請求項５】
上記線形補正処理部が、線形フィルタ係数のうち、ａｉのみを用いて線形補正処理を行なうことを特徴とする請求項４に記載の符号化装置。
【請求項６】
上記線形補正処理部が、クリッピング処理を実行せずに線形補正処理を行なうことを特徴とする請求項４又は５に記載の符号化装置。
【請求項７】
上記線形補正処理部が、複数の周辺画素のうち、画面外もしくは設定によっては参照が禁止される画面分割領域外を参照する場合、当該対象画素を線形補正処理の対象外とすることを特徴とする請求項４〜６のいずれかに記載の符号化装置。
【請求項８】
上記線形補正処理部が、複数の周辺画素のうち、画面外もしくは設定によっては参照が禁止される画面分割領域外を参照する場合、参照しない周辺画素に関する補正項を省略した線形補正処理を実行することを特徴とする請求項４〜７のいずれかに記載の符号化装置。
【請求項９】
上記線形補正処理部が、シフト量ｓの値を設定変更可能な値とすることを特徴とする請求項４〜８のいずれかに記載の符号化装置。
【請求項１０】
上記複数の周辺画素が、上記対象画素の上下左右に隣接する、少なくとも４個の画素を含むことを特徴とする請求項４〜９のいずれかに記載の符号化装置。
【請求項１１】
上記複数の周辺画素が、上記対象画素の左上、右上、左下、右下に隣接する、少なくとも４個の画素を含むことを特徴とする請求項４〜１０のいずれかに記載の符号化装置。
【請求項１２】
上記フィルタ係数決定手段が、線形フィルタ係数の決定処理に最小二乗法を用いることを特徴とする請求項２〜１１のいずれかに記載の符号化装置。
【請求項１３】
上記画素値補正手段が、線形補正処理以外の１又は複数の画素値補正処理も実行可能であり、線形補正処理及び上記１又は複数の画素値補正処理のうち、いずれかの処理を選択することを特徴とする請求項１〜１１のいずれかに記載の符号化装置。
【請求項１４】
上記画素値補正手段が、複数の画素値補正処理の処理結果の入力画素に対する画質の歪と、画素値補正処理のタイプや、線形フィルタ係数若しくは補正値の符号化に必要となる符号量のトレードオフを評価して、画素値補正処理のタイプを決定するレート歪最適化処理を行なうことを特徴とする請求項１３に記載の符号化装置。
【請求項１５】
上記画素値補正手段が、線形補正処理で用いる周辺画素の複数の参照パターンに基づく各パターンタイプ情報に従って、上記対象画素に対する複数の周辺画素を選択する周辺画素選択部を有し、
上記線形補正処理部が、選択された複数の周辺画素と上記対象画素の画素値とに基づいて、線形補正処理を行なう
ことを特徴とする請求項１〜１４のいずれかに記載の符号化装置。
【請求項１６】
少なくとも、上記フィルタ係数決定手段により決定された線形フィルタ係数、及び又は、参照パターンのパターンタイプ情報を、符号化ストリームに多重化する符号化手段を備えることを特徴とする請求項１５に記載の符号化装置。
【請求項１７】
入力された符号化ストリームを復号し、再構成画像の処理単位領域内の対象画素の画素値を補正する画素値補正手段を備える復号装置において、
上記画素値補正手段が、
上記符号化ストリームに含まれる線形フィルタ係数を参照して、上記対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部を有する
ことを特徴とする復号装置。
【請求項１８】
上記線形補正処理部が、上記対象画素の画素値ｃに対して、複数の周辺画素の画素値ｎｉを参照して、式（Ａ）に従って、補正後の画素値ｃ’を求める線形補正処理を行なうことを特徴とする請求項１７に記載の復号装置。
ｃ’＝Ｃｌｉｐ１（ｃ＋（（Σｉａｉ（ｎｉ−ｃ）＋ｂ＋ｒ）＞＞ｓ））  …（Ａ）
ここで、ａｉ，ｂは線形フィルタ係数であり、sとｒは整数演算で固定少数演算行うためのシフト量ｓと丸めｒ＝１＜＜（ｓ−１）であり、Ｃｌｉｐ１は画素値の値を有効な画素値の範囲にクリッピングする関数である。
【請求項１９】
上記線形補正処理部が、線形フィルタ係数のうち、ａｉのみを用いて線形補正処理を行なうことを特徴とする請求項１８に記載の復号装置。
【請求項２０】
上記線形補正処理部が、クリッピング処理を実行せずに線形補正処理を行なうことを特徴とする請求項１８又は１９に記載の復号装置。
【請求項２１】
上記線形補正処理部が、複数の周辺画素のうち、画面外もしくは設定によっては参照が禁止される画面分割領域外を参照する場合、当該対象画素を線形補正処理の対象外とすることを特徴とする請求項１８〜２０のいずれかに記載の復号装置。
【請求項２２】
上記線形補正処理部が、複数の周辺画素のうち、画面外もしくは設定によっては参照が禁止される画面分割領域外を参照する場合、参照しない周辺画素に関する補正項を省略した線形補正処理を実行することを特徴とする請求項１８〜２１のいずれかに記載の復号装置。
【請求項２３】
上記線形補正処理部が、シフト量ｓの値を設定変更可能な値とすることを特徴とする請求項１８〜２２のいずれかに記載の復号装置。
【請求項２４】
上記複数の周辺画素が、上記対象画素の上下左右に隣接する、少なくとも４個の画素を含むことを特徴とする請求項１８〜２３のいずれかに記載の復号装置。
【請求項２５】
上記複数の周辺画素が、上記対象画素の左上、右上、左下、右下に隣接する、少なくとも４個の画素を含むことを特徴とする請求項１８〜２４のいずれかに記載の復号装置。
【請求項２６】
上記画素値補正手段が、線形補正処理以外の１又は複数の画素値補正処理も実行可能であり、線形補正処理及び上記１又は複数の画素値補正処理のうち、いずれかの処理を選択することを特徴とする請求項１８〜２５のいずれかに記載の復号装置。
【請求項２７】
上記符号化ストリームに含まれる参照パターンのパターンタイプ情報に従って、上記対象画素に対する複数の周辺画素を選択する周辺画素選択部を有し、
上記線形補正処理部が、選択された複数の周辺画素と上記対象画素の画素値とに基づいて、線形補正処理を行なう
ことを特徴とする請求項１７〜２６のいずれかに記載の復号装置。
【請求項２８】
再構成画像の処理単位領域内の対象画素の画素値を補正する画素値補正手段を備え、上記画素値補正手段により得られた画像と入力画像とを用いて符号化を行なう符号化方法において、
上記画素値補正手段が、
線形フィルタ係数を記憶し、
上記線形フィルタ係数を参照して、上記対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう
ことを特徴とする符号化方法。
【請求項２９】
入力された符号化ストリームを復号し、再構成画像の処理単位領域内の画素値を補正する画素値補正手段を備える復号方法において、
上記画素値補正手段が、
上記符号化ストリームに含まれる線形フィルタ係数を参照して、上記対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう
ことを特徴とする復号方法。
【請求項３０】
コンピュータを、
再構成画像の処理単位領域内の対象画素の画素値を補正する画素値補正手段として機能させ、上記画素値補正手段により得られた画像と入力画像とを用いて符号化を行なう符号化プログラムにおいて、
線形フィルタ係数を記憶する線形フィルタ係数記憶部と、
上記線形フィルタ係数を参照して、上記対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部と
して機能させることを特徴とする符号化プログラム。
【請求項３１】
コンピュータを、
入力された符号化ストリームを復号し、再構成画像の処理単位領域内の画素値を補正する画素値補正として機能させる手段を備える復号プログラムにおいて、
上記符号化ストリームに含まれる線形フィルタ係数を参照して、上記対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部として機能させることを特徴とする復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラムに関し、例えば、映像情報を圧縮符号化する符号化装置、および、復号する復号装置に適用し得るものである。
【背景技術】
【０００２】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下、ＡＶＣ）やＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ（以下、ＨＥＶＣ）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。
【０００３】
図３は、従来技術の映像符号化装置の構成を示す構成図である。ＨＥＶＣのような符号化技術を用いる場合、入力された符号化対象画像（入力映像）は、差分処理部３０１に与えられる。差分処理部３０１は、入力された符号化対象画像を、符号化ユニット等の処理単位領域ごとに、動き補償を伴うインター予測部３１０もしくは画面内の符号化済み画素等から予測を行うイントラ予測部３１１による予測画像との差分をとり、その差分である予測残差信号を得る。変換部３０２は、予測残差信号を、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）により変換する。量子化部３０３は得られた変換係数を量子化し、エントロピー符号化部３０４が、量子化された変換係数を、可変長符号や算術符号のようなエントロピー符号化して符号化ストリームを出力する。量子化された変換係数は、逆量子化部３０５で逆量子化され、逆変換部３０６により逆変換される。加算部３０７は、逆変換された変換係数に予測画像を加算することによって再構成画像を得る。さらに、再構成画像はブロック歪を軽減するデブロッキングフィルタなどのループ内フィルタ部３０８によるフィルタが適用され、フィルタ後の再構成画像は、後続の画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ３０９に保持される。
【０００４】
図４は、従来技術の映像復号装置の構成を示す構成図である。符号化装置で生成された符号化ストリームが入力されると、符号化ストリームはエントロピー復号部４０４によりエントロピー復号されて、ＤＣＴ等の変換係数と、符号化モード情報や動きベクトル情報を得る。変換係数は逆量子化部４０５により逆量子化され、逆変換部４０６により逆変換される。加算部４０７は、逆変換された変換係数に、インター予測部４１０もしくはイントラ予測部４１１により生成された予測画像を加算することで、符号化装置と同じ再構成画像を生成する。再構成画像はデブロッキングフィルタなどのループ内フィルタ部４０８によるフィルタが適用されて復号画像として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ４０９に保持される。
【０００５】
ＨＥＶＣにおいてはループ内フィルタとしてデブロッキングフィルタに加えて、サンプル適応オフセット（Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ：以下、「ＳＡＯ」とも呼ぶ。）と呼ばれているループ内フィルタが用いられている。これはブロック内に発生するリンギング歪と呼ばれるような画質劣化等を軽減するために用いられている。ＳＡＯでは処理対象の領域内の画素をいくつかのクラスに分類し、それぞれの分類ごとに画素値を補正するためのオフセット値をもちいてフィルタ処理を行う。
【０００６】
図５は、従来のＨＥＶＣにおけるサンプル適応オフセット処理を示す構成図である。分類番号算出部３１は、処理対象の領域内の各画素に対して、対象画素とその周辺の画素を参照して、分類番号を算出する。オフセット加算部３３は、分類番号ごとのオフセット値を保持するオフセットテーブル記憶部３２から得られるオフセット値を、対象画素の値に加算することで処理結果の画素値を求めている。
【０００７】
ＨＥＶＣにおけるＳＡＯでは、２種類のフィルタ方法が規定されており、それぞれバンドオフセット（Ｂａｎｄ  Ｏｆｆｓｅｔ：以下、「ＢＯ」と呼ぶ。）、エッジオフセット（Ｅｄｇｅ  Ｏｆｆｓｅｔ：以下、「ＥＯ」と呼ぶ。）と呼ばれている。エッジオフセットはさらに４方向のエッジタイプが規定されている。
【０００８】
図６は、従来のＨＥＶＣのバンドオフセットの概要を示す図である。処理対象の画素を、その画素値の３２段階の範囲に分類し、そのうちの連続する４分類について、各分類に属する画素に対してオフセット値を加算する。つまり、同じ分類に属する画素に対して同じオフセット値を加算する。ＢＯの場合の分類番号は対象画素にのみ依存し、周辺画素は参照しない。
【０００９】
図７は、従来のＨＥＶＣのエッジオフセットの概要を示す図である。エッジオフセットでは、図７のように、処理対象の画素ｃと、画素ｃに隣接する２つの画素ａ、ｂを用いて分類を行う。画素ａ、ｂの参照パターンはエッジオフセットのタイプに応じて図６のような４パターンが規定されている。例えば処理対象領域に対してエッジオフセットの縦方向のパターンを適用する場合は、処理領域内の各画素ｃについてその上下に隣接する画素をそれぞれ画素ａ、ｂとして参照して、画素ａ、ｂ、ｃの画素値の大小関係に応じて５通りのクラスに分類する。式（１）は分類番号ｅｄｇｅＩｄｘを求める式である。
ｅｄｇｅＩｄｘ＝２＋Ｓｉｇｎ（ｃ−ａ）＋Ｓｉｇｎ（ｃ−ｂ）      …（１）
ただし、Ｓｉｇｎ（）は正負の符号に応じて「１」又は「-１」、もしくは０の場合は「０」を与える関数である。
【数１】
2018107608.tif 000003
【００１０】
ＨＥＶＣでは、この分類番号ｅｄｇｅＩｄｘが２以外となる４つの分類（０，１，３，４）に対してオフセット値を用いてフィルタ処理を行う。すなわち、同じ分類番号となる画素に対して同じオフセット値を加算する。
【００１１】
このようなループ内フィルタ処理をさらに高度化する方法として、例えば、非特許文献１のようなＳＡＯの処理方法を拡張する方法が提案されている。
【００１２】
非特許文献１の方法では、図８に示すように、処理対象の画素Ｃとその周囲（上下左右）の４画素（Ｃ０、Ｃ１、Ｃ２、Ｃ３）との画素値の大小関係に応じて、Ｃよりも画素値が大きい（小さい）画素が３画素の場合と４画素の場合について、それらの画素の平均値に応じたオフセット値を加算する処理を行っている。このような処理方法をＢＯやＥＯといった処理方法に追加して選択可能とする方法が提案されている。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Ｍａｒｔａ  Ｋａｒｃｚｅｗｉｃｚ，ｅｔ  ａｌ．  “Ｐｅａｋ  Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ，”  ＪＶＥＴ−Ｄ０１３３（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／４＿Ｃｈｅｎｇｄｕ／ｗｇ１１／ＪＶＥＴ−Ｄ０１３３−ｖ３．ｚｉｐ）
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、従来のサンプル適応オフセット処理では画素ごとの大小関係に依存するような非線形なフィルタ処理によって、対象画像に対して必ずしも最適ではないフィルタ処理が行われており、より画質劣化の改善効果の大きなフィルタ処理を施すことのできる方法が望まれている。
【００１５】
そのため、本発明は、符号化対象の画像の性質に応じて、より最適なフィルタ処理を施すことができ、画質劣化が低減でき、より符号化効率の高い符号化ストリームを生成できる符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラムを提供しようとするものである。
【課題を解決するための手段】
【００１６】
前記課題を解決するために、第１の本発明に係る符号化装置は、再構成画像の処理単位領域内の対象画素の画素値を補正する画素値補正手段を備え、画素値補正手段により得られた画像と入力画像とを用いて符号化を行なう符号化装置において、画素値補正手段が、（１）線形フィルタ係数を記憶する線形フィルタ係数記憶部と、（２）線形フィルタ係数を参照して、対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部とを有することを特徴とする。
【００１７】
第２の本発明に係る復号装置は、入力された符号化ストリームを復号し、再構成画像の処理単位領域内の画素値を補正する画素値補正手段を備える復号装置において、画素値補正手段が、（１）符号化ストリームに含まれる線形フィルタ係数を参照して、対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部を有することを特徴とする。
【００１８】
第３の本発明に係る符号化方法は、再構成画像の処理単位領域内の対象画素の画素値を補正する画素値補正手段を備え、画素値補正手段により得られた画像と入力画像とを用いて符号化を行なう符号化方法において、画素値補正手段が、（１）線形フィルタ係数を記憶し、（２）線形フィルタ係数を参照して、対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なうことを特徴とする。
【００１９】
第４の本発明に係る復号方法は、入力された符号化ストリームを復号し、再構成画像の処理単位領域内の画素値を補正する画素値補正手段を備える復号方法において、画素値補正手段が、符号化ストリームに含まれる線形フィルタ係数を参照して、対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なうことを特徴とする。
【００２０】
第５の本発明に係る符号化プログラムは、コンピュータを、再構成画像の処理単位領域内の対象画素の画素値を補正する画素値補正手段として機能させ、画素値補正手段により得られた画像と入力画像とを用いて符号化を行なう符号化プログラムにおいて、（１）線形フィルタ係数を記憶する線形フィルタ係数記憶部と、（２）線形フィルタ係数を参照して、対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部として機能させることを特徴とする。
【００２１】
第６の本発明に係る復号プログラムは、コンピュータを、入力された符号化ストリームを復号し、再構成画像の処理単位領域内の画素値を補正する画素値補正として機能させる手段を備える復号プログラムにおいて、符号化ストリームに含まれる線形フィルタ係数を参照して、対象画素の画素値とその周辺画素の画素値とに基づいて、線形補正処理を行なう線形補正処理部として機能させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、映像符号化技術のサンプル適応オフセット処理において、従来技術のような周辺画素との大小関係に依存するような非線形なフィルタ処理に加えて、周辺画素値を用いる線形なフィルタ処理も選択可能となり、符号化対象の画像の性質に応じたより最適なフィルタ処理を施すことが可能となることで、画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームが生成可能となる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施形態に係る映像符号化装置の構成を示す構成図である。
【図２】第１の実施形態に係る映像復号装置の構成を示す構成図である。
【図３】従来技術の映像符号化装置の構成を示す構成図である。
【図４】従来技術の映像復号装置の構成を示す構成図である。
【図５】従来のＨＥＶＣにおけるサンプル適応オフセット処理を示す構成図である。
【図６】従来のＨＥＶＣのバンドオフセットの概要を示す図である。
【図７】従来のＨＥＶＣのエッジオフセットの概要を示す図である。
【図８】従来のサンプル適応オフセットの処理方法を拡張した方法を示す説明図である。
【図９】第１の実施形態に係るサンプル適応オフセット処理部の構成を示す構成図である。
【図１０】第１の実施形態に係る線形フィルタの周辺画素の参照パターンを示す図である。
【図１１】第２の実施形態に係るサンプル適応オフセット処理部２０の構成を示す構成図である。
【発明を実施するための形態】
【００２４】
（Ａ）第１の実施形態
以下では、本発明に係る符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラムの第１の実施形態を、図面参照しながら詳細に説明する。
【００２５】
（Ａ−１）第１の実施形態の構成
（Ａ−１−１）映像符号化装置の詳細な構成
図１は、第１の実施形態に係る映像符号化装置の構成を示す構成図である。
【００２６】
図１において、第１の実施形態に係る映像符号化装置１は、差分処理部１０１、変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、加算部１０７、ループ内フィルタ部１０８、参照画像バッファ１０９、インター予測部１１０、イントラ予測部１１１、切り替え部１１２、フィルタ係数決定部１２０を有する。
【００２７】
第１の実施形態に係る映像符号化装置１は、図１に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図１で表すことができる。
【００２８】
第１の実施形態では、符号化方式がＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣで規格化されている符号化方式を基調とする場合を例示する。しかし、符号化方式は、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣに限定されるものではなく、再構成画像に対して画素値を補正する処理を伴う符号化を行うことができるものであれば、様々な符号化方式を適用できる。符号化方式は、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣに限定されず、例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣの規格化技術やＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣの規格化技術等を基調として拡張した符号化方式にも適用可能である。
【００２９】
映像符号化装置１は、入力された符号化対象画像（入力映像）を符号化ユニット等の所定単位領域ごとに符号化し、符号化ストリームを出力する。
【００３０】
映像符号化装置１に入力される符号化対象画像（入力映像）は、例えば画面分割部（図示しない）等により、コーディングユニット等の所定の処理単位領域ごとに分割されて、差分処理部１０１に与えられる。
【００３１】
差分処理部１０１は、予測残差信号を求めるために、所定の処理単位領域に分割された入力画像と、インター予測部１１０若しくはイントラ予測部１１１からの、上記処理単位領域に対応する予測画像との差分を求め、その差分を予測残差信号として変換部１０２に与えるものである。
【００３２】
変換部１０２は、入力された予測残差信号を変換係数に変換するものである。変換部１０２は、例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散コサイン変換）等を適用できる。
【００３３】
量子化部１０３は、変換部１０２により変換された変換係数を量子化するものである。量子化部１０３は、得られた量子化された変換係数をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００３４】
エントロピー符号化部１０４は、符号の出現確率の偏りを圧縮するために、量子化部１０３からの量子化された変換係数等をエントロピー符号化して、符号化映像ストリームを出力するものである。また、エントロピー符号化部１０４は、後述するフィルタ係数決定部１２０により決定された、サンプル適応オフセット処理部１０で用いられるフィルタ係数を符号化映像ストリームに多重化して出力する。
【００３５】
逆量子化部１０５は、符号化信号から残差信号（残差画像）を復元するために、量子化部１０３からの量子化された変換係数を逆量子化するものである。
【００３６】
逆変換部１０６は、逆量子化部１０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部１０７に与えるものである。
【００３７】
加算部１０７は、逆変換部１０６からの復元された残差信号に、切り替え部１１２を介してインター予測部１１０若しくはイントラ予測部１１１からの予測画像を加算して、復号側で復号される再構成画像を求めるものである。加算部１０７は、再構成画像を、ループ内フィルタ部１０８に与える。
【００３８】
ループ内フィルタ部１０８は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部１０７からの再構成画像をフィルタリングするものである。
【００３９】
また、ループ内フィルタ部１０８は、サンプル適応オフセット処理部１０を有している。このサンプル適応オフセット処理部１０の詳細な構成は後述する。なお、ループ内フィルタ部１０８は、サンプル適応オフセット処理部１０のほかに、ＨＥＶＣで用いられているデブロッキングフィルタのようなフィルタを組み合わせて用いても良い。
【００４０】
参照画像バッファ１０９は、ループ内フィルタ部１０８から出力される画像を、参照画像として保持するものである。ループ内フィルタ部１０８からの出力画像が、後続の入力画像の符号化時のインター予測の動き補償のための参照画像となる。
【００４１】
インター予測部１１０は、参照画像バッファ１０９に保持されている画像を参照画像として取得して動き補償予測を行うものである。
【００４２】
イントラ予測部１１１は、加算部１０７から出力される再構成画像を用いてイントラ予測を行うものである。
【００４３】
切り替え部１１２は、符号化モード（イントラモード又はインターモード）に応じて、インター予測部１１０又はイントラ予測部１１１の出力を切り替えるものである。
【００４４】
フィルタ係数決定部１２０は、ループ内フィルタ部１０８のサンプル適応オフセット処理部１０で用いるフィルタ係数を決定するものである。また、フィルタ係数決定部１２０は、映像復号装置側に通知するため、決定したフィルタ係数をエントロピー符号化部１０４に与える。
【００４５】
（Ａ−１−２）映像復号装置の詳細な構成
図２は、第１の実施形態に係る映像復号装置２の構成を示す構成図である。
【００４６】
図２において、第１の実施形態に係る映像復号装置２は、エントロピー復号部２０４、逆量子化部２０５、逆変換部２０６、加算部２０７、ループ内フィルタ部２０８、参照画像バッファ２０９、インター予測部２１０、イントラ予測部２１１、切り替え部２１２を有する。
【００４７】
第１の実施形態に係る映像復号装置２は、図２に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図２で表すことができる。
【００４８】
映像復号装置２は、入力された符号化ストリームを復号して、復号映像を出力する。
【００４９】
エントロピー復号部２０４は、入力された符号化ストリームをエントロピー復号して、変換係数や符号化モード情報、動きベクトル情報等を取得するものである。また、エントロピー復号部２０４は、符号化ストリームに多重化されているフィルタ係数を抽出してループ内フィルタ部２０８に与える。
【００５０】
逆量子化部２０５は、エントロピー復号部２０４からの変換係数を逆量子化するものである。
【００５１】
逆変換部２０６は、逆量子化部２０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部２０７に与えるものである。
【００５２】
インター予測部２１０は、参照画像バッファ２０９に保持されている画像を参照画像として取得して動き補償予測を行うものである。
【００５３】
イントラ予測部２１１は、加算部２０７から出力される再構成画像を用いて、画面内内の再構成画素等からイントラ予測を行うものである。
【００５４】
切り替え部２１２は、予測画像を切り替えるため、符号化モード（イントラモード又はインターモード）に応じて、インター予測部２１０又はイントラ予測部２１１の出力を切り替えるものである。
【００５５】
加算部２０７は、逆変換部２０６からの復元された残差信号に、切り替え部２１２を介してインター予測部２１０若しくはイントラ予測部２１１からの予測画像を加算して、再構成画像を生成するものである。加算部１２７は、再構成画像を、ループ内フィルタ部２０８に与える。
【００５６】
ループ内フィルタ部２０８は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部２０７からの再構成画像をフィルタリングするものである。
【００５７】
ループ内フィルタ部２０８で得られた復号画像は復号処理結果として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ２０９に保持される。
【００５８】
また、ループ内フィルタ部２０８は、サンプル適応オフセット処理部１０を有している。
【００５９】
従来技術の映像復号装置との違いは、ループ内フィルタ部２０８において、サンプル適応オフセット処理部１０が有し、またこのサンプル適応オフセット処理部１０で用いるフィルタ係数の情報が入力する符号化ストリームに含まれている。サンプル適応オフセット処理部１０は、エントロピー復号によって得られるフィルタ係数を用いてサンプル適応オフセット処理を行う。
【００６０】
なお、映像符号化装置１と同様に、ループ内フィルタ部２０８は、サンプル適応オフセット処理部１０のほかに、ＨＥＶＣで用いられているデブロッキングフィルタのようなフィルタを組み合わせて用いても良い。
【００６１】
（Ａ−１−３）サンプル適応オフセット処理部１０の詳細な構成
図９は、第１の実施形態に係るサンプル適応オフセット処理部１０の構成を示す構成図である。
【００６２】
第１の実施形態に係るサンプル適応オフセット処理部１０は、図５に示すような従来技術のサンプル適応オフセット処理と同様の非線形な処理に加えて、図９のような線形フィルタ処理タイプのサンプル適応オフセット処理（以下、「ＬＯ」とも呼ぶ。）を設ける。
【００６３】
なお、従来の非線形な処理と、第１の実施形態の線形な処理との選択は、後述するように、例えばＳＡＯの種類によるフィルタ結果を入力画像に対する誤差（すなわち歪）を評価し、画質の劣化の少ないＳＡＯ種類を選択する等の方法を適用できる。以下では、図９を用いて線形な処理を中心に説明する。
【００６４】
図９において、サンプル適応オフセット処理部１０は、線形フィルタ処理部１１、線形フィルタ係数記憶部１２を有する。上述したように、図９に示すサンプル適応オフセット処理部１０は、映像符号化装置１のループ内フィルタ部１０８及び映像復号装置２のループ内フィルタ部２０８に含まれる。
【００６５】
線形フィルタ係数記憶部１２は、線形フィルタ係数を記憶するものである。映像符号化側の場合、図１のフィルタ係数決定部１２０により決定されたフィルタ係数を線形フィルタ係数記憶部１２が記憶する。映像復号側の場合、図２のエントロピー復号部２０４により得られたフィルタ係数を線形フィルタ係数記憶部１２が記憶する。
【００６６】
線形フィルタ処理部１１は、処理対象となる領域内のそれぞれの画素ごとに、処理対象画素とその周辺の画素を入力し、フィルタ係数記憶部のフィルタ係数を参照して、後述の線形フィルタ処理を行って、対象画素に対するフィルタ結果の画素値を出力する。
【００６７】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係るサンプル適応オフセット処理の動作を、図面を参照しながら詳細に説明する。
【００６８】
図９に示すように、第１の実施形態のサンプル適応オフセット処理は、従来技術のサンプル適応処理（ＳＡＯ）のようなテーブルルックアップで求めたオフセット値の加算処理ではなく、周辺画素値を参照する線形な処理を用いてフィルタ処理を行う。従来技術のオフセットテーブルの代わりに、線形なフィルタ処理で用いるフィルタ係数を自由に設定可能としている。
【００６９】
図１０は、実施形態に係る線形フィルタの周辺画素の参照パターンを示す図である。
【００７０】
例えば、図１０（Ａ）に示すように、処理対象の画素ｃに対してその上下左右に隣接する４つの画素ｎ０，ｎ１，ｎ２，ｎ３を参照して、フィルタ処理結果の画素値ｃ’を次式のように求める。
ｃ’＝Ｃｌｉｐ１（ｃ＋（（Σｉａｉ（ｎｉ−ｃ）＋ｂ＋ｒ）＞＞ｓ））    …（３）
【００７１】
ここで、ａｉ，ｂはフィルタ係数であり、線形フィルタ係数記憶部１２から供給される。添え字ｉは周辺画素の位置ｉ＝０〜３である。sとｒは整数演算で固定少数演算行うためのシフト量ｓと丸めｒ＝１＜＜（ｓ−１）である。
【００７２】
また、Ｃｌｉｐ１は画素値の値を有効な画素値の範囲にクリッピングする関数であり、例えば、８ビット画像が処理対象の場合は、０〜２５５の範囲に、１０ビット画像の場合は０〜１０２３の範囲にクリッピングする。なお、サンプル適応オフセットの処理結果を、例えば、さらにフィルタ処理するなどの構成によってはクリッピング処理を省略しても良い。
【００７３】
式（３）では、定数項ｂを設けているが、定数項ｂを用いないで（すなわち、ｂ＝０とし）、フィルタ係数ａｉのみを用いるようにしてもよい。また、定数項ｂの有無を設定できるようにして、例えば上位シンタックス等でシグナリングできるようにして、定数項ｂなしの場合に定数項ｂの符号化を省略するようにしてもよい。さらに、また、フィルタ係数の固定少数精度を表すシフト量ｓもあらかじめ定めた固定値としても良く、このシフト量ｓの値を上位シンタックス等でシグナリングできるようにして、シフト量ｓの値を設定できるようにしてもよい。
【００７４】
なお、周辺画素ｎｉが画面外の画素を含む場合や、周辺画素ｎｉがスライスやタイルのような画面分割境界外の画素を含む場合の動作は、他のエッジオフセット（ＥＯ）のような周辺画素を参照するタイプのＳＡＯと同様に、上位シンタックスのフラグ等に応じてフィルタ処理を行わずに、対象画素をそのままフィルタ結果画素とする（すなわち、対象画素に対してサンプル適応オフセット処理の対象外）構成としても良い。さらに、この場合、参照できない（しない）画素の値をｎｉ＝ｃとみなして処理する（あるいはａｉ（ｎｉ−ｃ）の項を無視する）ように構成して境界周辺の画素もサンプル適応オフセット処理の対象とするよう構成しても良い。すなわち、複数の周辺画素のうち、画面外もしくは設定によっては参照が禁止される画面分割領域外を参照する場合、当該対象画素を線形補正処理の対象外としてもよい。また、複数の周辺画素のうち、画面外もしくは設定によっては参照が禁止される画面分割領域外を参照する場合、参照しない周辺画素に関する補正項を省略した線形補正処理を実行してもよい。このように、周辺画素を処理対象とする又はしないかをシグナリングで両方の動作モードを持つようにしてもよく、いずれかを選択できるようにしてもよい。
【００７５】
第１の実施形態のサンプル適応オフセット処理部１０を用いる映像符号化装置１（図１参照）では、フィルタ係数決定部１２０が、最適なフィルタ係数の設計を行い、最適なフィルタ係数を決定する。
【００７６】
ここで、フィルタ係数決定部１２０でのフィルタ係数の設計処理を説明する。
【００７７】
同じフィルタ係数を用いる領域内の各対象画素ｃｊと、ｃｊに対する式（３）の線形フィルタによる結果ｃｊ’と対象画素の位置の入力画像の画素値をＣｊとする。
【００７８】
フィルタ係数決定部１２０では、フィルタ処理後の画素値ｃｊ’の入力画像の画素値Ｃｊ対する誤差の和が最少となるようフィルタ係数ａｉ，ｂを設計する。すなわち、次式（４）のような誤差の二乗和Ｅが最少となるようなフィルタ係数ａｉ，ｂを、最小二乗法を用いて求める。誤差の二乗和Ｅは、同じフィルタ係数を用いることになる領域内の画素を収集して行う。
Ｅ＝Σ（ｃｊ’−Ｃｊ）２      …（４）
【００７９】
式（４）のような誤差の二乗和Ｅを最小化する係数ａｉ，ｂを求める場合、Ｅをａｉ，ｂで偏微分した式が０となるようなａｉ，ｂを、次式（５）のような連立方程式を解くことによって求める。
∂Ｅ／∂ａｉ＝０
∂Ｅ／∂ｂ＝０      …（５）
【００８０】
このようにして最適設計した線形フィルタを用いるＳＡＯと、その他のバンドオフセット（ＢＯ）やエッジオフセット（ＥＯ）といったＳＡＯタイプのいずれを用いるかの選択は、種々の方法を適用することができる。
【００８１】
例えば、それぞれのＳＡＯタイプによるフィルタ結果の入力画像に対する誤差（歪）を評価し、最も入力画像からの画質劣化が少ないＳＡＯタイプを選択するようにしてもよい。
【００８２】
また例えばレート歪最適化処理を用いて決定するようにしてもよい。すなわち、それぞれのＳＡＯタイプのフィルタを用いた場合の、入力画像に対するフィルタ処理結果の歪Ｄと、そのＳＡＯタイプを用いるために必要となる（ＳＡＯタイプ情報と、オフセットもしくはフィルタ係数の符号化に必要となる）符号量Ｒのトレードオフを、ラグランジュ乗数λをもちいてレート歪コストＪ＝Ｄ＋λＲとして評価し、レート歪コストＪが最少となるようなＳＡＯタイプのフィルタを対象領域に対して用いるよう選択するようにしてもよい。
【００８３】
以上のようにして最適設計したフィルタ係数を用いてサンプル適応オフセット処理を行って符号化処理を行う。
【００８４】
これにより得られたフィルタ係数は、ループ内フィルタ部１０８に与えられ、サンプル適応オフセット処理部１０の線形フィルタ係数記憶部１２にフィルタ係数を格納するとともに、フィルタ係数はエントロピー符号化部１０４に与えられ、符号化方法に従って、フィルタ係数は符号化ストリームに多重化する。
【００８５】
ここで、フィルタ係数の多重化方法としては、例えば、ＨＥＶＣのＳＡＯと同様に符号化ツリーユニット（ＨＥＶＣでは最大６４×６４画素の領域）のような処理単位領域ごとに、ＳＡＯの処理タイプ（例えば、バンドオフセット（ＢＯ）、エッジオフセット（ＥＯ）、この実施形態に係る線形フィルタタイプのオフセット（ＬＯ））と、処理タイプとして線形フィルタタイプのＳＡＯを選択している場合は、対象の処理単位領域で用いるフィルタ係数ａｉ，ｂをシグナリングするようにしても良いし、スライスヘッダやピクチャパラメーターセット等のパラメータセットのような上位シンタックスで符号化してもよい。また、４つの係数フィルタ係数ａｉに関してはＢＯやＥＯの４つのオフセット値を符号化するのと同じエントロピー符号化方法を流用するなどして構成しても良い。
【００８６】
第１の実施形態のサンプル適応オフセット処理部１０を用いる映像復号装置２（図２参照）では、エントロピー復号部２０４が、符号化ストリームに多重化された線形フィルタタイプのサンプル適応オフセットで用いるフィルタ係数を復号する。
【００８７】
復号により得られたフィルタ係数はループ内フィルタ部２０８に与えられ、サンプル適応オフセット処理部１０の線形フィルタ係数記憶部１２にフィルタ係数を格納する。
【００８８】
線形フィルタ処理部１１は、線形フィルタ係数記憶部１２に格納されているフィルタ係数を用いて、サンプル適応オフセット処理を行うことで復号処理を行う。
【００８９】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、以下のような効果が得られる。
【００９０】
映像符号化技術のサンプル適応オフセット処理において、従来技術のような周辺画素との大小関係に依存するような非線形なフィルタ処理に加えて、周辺画素値を用いる線形なフィルタ処理も選択可能となり、符号化対象の画像の性質に応じたより最適なフィルタ処理を施すことが可能となることで、画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームが生成可能となる。
【００９１】
（Ｂ）第２の実施形態
次に、本発明に係る符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラムの第２の実施形態を、図面参照しながら詳細に説明する。
【００９２】
（Ｂ−１）第２の実施形態の構成
第２の実施形態は、第１の実施形態で説明した処理に加えて、線形フィルタで参照する周辺画素の参照パターンを複数用意し、選ばれた参照パターンの周辺画素を用いて線形フィルタ処理によるサンプル適応オフセット処理を行う。
【００９３】
第２の実施形態に係る映像符号化装置及び映像復号装置の基本的な構成は、第１の実施形態の構成と同一又は対応するため、ここでも図１及び図２を参照する。
【００９４】
第２の実施形態では、図１のループ内フィルタ部１０８及び図２のループ内フィルタ部２０８のそれぞれに含まれるサンプル適応オフセット処理部の構成が異なる。そのため、第２の実施形態のサンプル適応オフセット処理部を、サンプル適応オフセット処理部２０と表記して、これを説明する。
【００９５】
図１１は、第２の実施形態に係るサンプル適応オフセット処理部２０の構成を示す構成図である。
【００９６】
図１１において、第２の実施形態に係るサンプル適応オフセット処理部２０は、線形フィルタ処理部１１、線形フィルタ係数記憶部１２、周辺画素選択部２３を有する。
【００９７】
なお、線形フィルタ処理部１１及び線形フィルタ係数記憶部１２は、第１の実施形態と同一又は対応する構成要素であるため、ここでの詳細な説明を省略する。
【００９８】
周辺画素選択部２３は、パターンタイプ情報を入力して、パターンタイプ情報に応じたパターンに従って、線形フィルタ処理で用いる周辺画素を選択し、線形フィルタ処理部１１に与えるものである。
【００９９】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係るサンプル適応オフセット処理の動作を、図面を参照しながら詳細に説明する。
【０１００】
第２の実施形態では、例えば図１０（Ａ）および図１０（Ｂ）に示すように、十字型のパターンやＸ型のパターンなど、周辺画素の参照パターンを複数もうける。パターンは、図１０（Ａ）と図１０（Ｂ）に例示する２パターンだけでなく、その他のパターンも用いるようにしても良い。
【０１０１】
どの参照パターンを用いるかというパターンタイプ情報は、例えば、エッジオフセット（ＥＯ）に複数の参照パターンがあり、それぞれＥＯ０、ＥＯ１、…のようにＳＡＯタイプとして指定する方法と同様に、線形フィルタタイプとしてＬＯ０、ＬＯ１、…のように複数のＬＯタイプのＳＡＯタイプが存在するようにシグナリングを行う。
【０１０２】
第２の実施形態の映像復号装置２では、エントロピー復号部２０４が、復号したＳＡＯタイプ情報に含まれる線形フィルタのパターンタイプ情報を抽出し、パターンタイプ情報を周辺画素選択部２３に供給するとともに、線形フィルタタイプＳＡＯの場合のフィルタ係数を線形フィルタ係数記憶部１２に供給する。
【０１０３】
周辺画素選択部２３は、エントロピー復号部２０４からのパターンタイプ情報の参照パターン（例えば、図１０（Ａ）、（Ｂ）参照）に従って、対象画素ｃに隣接する画素を周辺画素ｎｉ（ｎ０，ｎ１，ｎ２，ｎ３）として選択し、線形フィルタ処理部１１に供給する。
【０１０４】
線形フィルタ処理部１１は、周辺画素選択部２３からの周辺画素ｎｉを参照して、線形フィルタ係数記憶部１２のフィルタ係数を用いて、第１の実施形態と同様に、式（３）に従った処理を行う。
【０１０５】
第２の実施形態の映像符号化装置１では、フィルタ係数決定部１２０が、第１の実施形態のようなフィルタ係数の設計処理を、利用可能な複数のパターンについてそれぞれ処理を行う。
【０１０６】
フィルタ係数決定部１２０は、利用可能な複数のパターンタイプについてそれぞれフィルタ係数の設計処理を行い、それぞれ得られたフィルタ係数を用いる線形フィルタＳＡＯタイプと、その他のバンドオフセット（ＢＯ）やエッジオフセット（ＥＯ）等といったＳＡＯタイプの選択を行う。ここでのＳＡＯタイプの選択方法は、第１の実施形態で説明したように、例えば、各ＳＡＯタイプによるフィルタ結果を評価して、画像品質のみによる選択、あるいはレート歪最適化処理による選択を行う。
【０１０７】
上記ＳＡＯタイプの選択により、線形フィルタ処理を用いるＳＡＯタイプが選択された場合、フィルタ係数決定部１２０は、これに対するフィルタ係数を、線形フィルタ係数記憶部１２に供給すると共に、フィルタ係数決定部１２０は、選択された線形フィルタのパターンタイプ情報を周辺画素選択部２３に供給する。
【０１０８】
ループ内フィルタ部１０８のサンプル適応オフセット処理部２０において、周辺画素選択部２３は、フィルタ係数決定部１２０からの線形フィルタのパターンタイプ情報に従って、対象画素ｃに隣接する画素を周辺画素ｎｉ（ｎ０，ｎ１，ｎ２，ｎ３）として選択し、線形フィルタ処理部１１に供給する。
【０１０９】
線形フィルタ処理部１１は、周辺画素選択部２３からの周辺画素ｎｉを参照して、線形フィルタ係数記憶部１２のフィルタ係数を用いて、第１の実施形態と同様に、式（３）に従った処理を行う。
【０１１０】
また、エントロピー符号化部１０４は、フィルタ係数決定部１２０からのパターンタイプ情報をＳＡＯタイプとして、線形フィルタ係数と共にエントロピー符号化されて符号化ストリームに多重化して出力する。
【０１１１】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、以下のような効果が得られる。
【０１１２】
第１の実施形態と同様に最適な線形フィルタを施すことが可能となる効果に加えて、さらに複数の線形フィルタパターンからも選択可能となるので、より画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームが生成可能となる。
【０１１３】
（Ｃ）他の実施形態
本発明は上述した第１及び第２の実施形態に限定されず、その他のさまざまな符号化処理、復号処理に適用することができる。
【０１１４】
サンプル適応オフセット以外の符号化に関わる予測処理や変換量子化処理は、上述した実施形態で説明したような構成に限定されるものではなく、様々な符号化ツールやループ内フィルタ処理を組み合わせたような符号化処理にも利用可能である。
【０１１５】
サンプル適応オフセット処理についてもＨＥＶＣと同様なＢＯやＥＯとの組み合わせだけでなく、これらの一部のみのＳＡＯタイプやＢＯやＥＯとは異なる処理タイプのフィルタと組み合わせて、これらのＳＡＯタイプと線形フィルタタイプのＳＡＯ処理からの選択が可能な構成としても良い。
【０１１６】
線形フィルタ処理で用いられる式（３）もこの形式に限定されず、対象画素ｃと周辺画素ｎｉの画素値の線形結合となるような様々な演算式を用いても良い。
【０１１７】
参照パターンとして図１０（Ａ）、図１０（Ｂ）のようなパターンを例示したが、その他の参照パターンを用いてもよい。参照する画素数も４画素に限定されないようなパターンを用いても良い。
【０１１８】
また、本発明は、上記構成を有するような装置として構成する場合や、上記処理を実現するようなプログラムとしても実施可能である。
【符号の説明】
【０１１９】
１…映像符号化装置、１０１…差分処理部、１０２…変換部、１０３…量子化部、１０４…エントロピー符号化部、１０５…逆量子化部、１０６…逆変換部、１０７…加算部、１０８…ループ内フィルタ部、１０９…参照画像バッファ、１１０…インター予測部、１１１…イントラ予測部、１１２…切り替え部、１２０…フィルタ係数決定部、
２…映像復号装置、２０４…エントロピー復号部、２０５…逆量子化部、２０６…逆変換部、２０７…加算部、２０８…ループ内フィルタ部、２０９…参照画像バッファ、２１０…インター予測部、２１１…イントラ予測部、２１２…切り替え部、
１０及び２０…サンプル適応オフセット処理部、１１…線形フィルタ処理部、１２…線形フィルタ係数記憶部、２３…周辺画素選択部。
【図１】
2018107608.tif 000004
【図２】
2018107608.tif 000005
【図３】
2018107608.tif 000006
【図４】
2018107608.tif 000007
【図５】
2018107608.tif 000008
【図６】
2018107608.tif 000009
【図７】
2018107608.tif 000010
【図８】
2018107608.tif 000011
【図９】
2018107608.tif 000012
【図１０】
2018107608.tif 000013
【図１１】
2018107608.tif 000014