(57)【要約】【課題】符号化効率を改善する画像符号化装置、画像復号化装置、及びこれらのプログラムを提供する。【解決手段】本発明の画像符号化装置１は、ブロック単位の原画像の各画素信号に対し所定の隣接画素非参照予測によって予測画像を生成する隣接画素非参照予測部１１、所定の制御下で、予測画像に対して隣接する復号済み隣接信号を用いて該予測画像のブロックの境界に位置する予測信号に対し低域通過フィルタ処理を施すフィルタ処理部１２、当該予測画像を用いてブロック単位の予測残差信号を生成する予測残差信号生成部５５、当該所定の制御下で、ブロック単位の予測残差信号に対し直交変換処理を施す直交変換部１４、及び、フィルタ処理部１２及び直交変換部１４を制御し所定の変換種別識別信号を生成する直交変換選択制御部２５を備える。本発明の画像復号化装置５は、所定の隣接画素非参照予測時に変換種別識別信号を基に復号処理を実行する。
2017030199.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成するフレーム単位の原画像をブロック分割し符号化する画像符号化装置であって、
ブロック単位の原画像の各画素信号に対して復号済み隣接信号を用いることなく信号予測を行う所定の隣接画素非参照予測によって予測信号よりなるブロック単位の予測画像を生成する隣接画素非参照予測手段と、
所定の選択制御下で低域通過フィルタ処理の実行と非実行が制御され、該実行時に、前記予測画像のブロックに対して隣接する当該復号済み隣接信号を用いて、該予測画像のブロックの境界に位置する予測信号に対して当該低域通過フィルタ処理を施すことにより新たな予測画像のブロックを生成するフィルタ処理手段と、
前記原画像の符号化対象ブロックの各画素信号に対する前記フィルタ処理手段で生成された予測画像のブロックの各予測信号の誤差を算出し、ブロック単位の予測残差信号を生成する予測残差信号生成手段と、
前記所定の選択制御下で複数種の直交変換処理のうち１つを選択制御され、該選択制御された直交変換処理により、前記ブロック単位の予測残差信号に対して直交変換処理を施し変換係数の信号を生成する直交変換手段と、
前記所定の選択制御として、前記隣接画素非参照予測時における所定の評価基準を基に、前記低域通過フィルタ処理の実行に伴い前記複数種の直交変換処理のうち変換基底の端部が閉じた第１の直交変換処理の適用とする第１の組み合わせと、前記低域通過フィルタ処理の非実行に伴い前記複数種の直交変換処理のうち変換基底の端部が開放した第２の直交変換処理の適用とする第２の組み合わせのいずれか一方を選択制御し、選択した直交変換処理の種別を示す変換種別識別信号を符号化パラメータとして生成する直交変換選択制御手段と、を備えることを特徴とする、画像符号化装置。
【請求項２】
前記所定の隣接画素非参照予測は、インター予測、イントラブロックコピー予測、及びクロスコンポーネント信号予測のうちいずれかを含むことを特徴とする、請求項１に記載の画像符号化装置。
【請求項３】
前記直交変換選択制御手段は、前記所定の評価基準として、前記低域通過フィルタ処理の効果が所定レベル以上であるか、又は前記低域通過フィルタ処理の実行を経てＲＤコストとして優れている際に前記第１の組み合わせを選択する手段を有することを特徴とする、請求項１又は２に記載の画像符号化装置。
【請求項４】
前記フィルタ処理手段は、前記隣接画素非参照予測手段によって生成された予測画像のブロック内の予測信号のうち、前記復号済み隣接信号と隣接する予測信号が平滑化されるよう当該低域通過フィルタ処理を施すことを特徴とする、請求項１から３のいずれか一項に記載の画像符号化装置。
【請求項５】
動画像を構成するフレームをブロック分割し符号化された信号を復号する画像復号装置であって、
複数種の直交変換処理のうち符号化側で選択した直交変換処理の種別を示す変換種別識別信号を取得し、ブロック単位の各画素信号に対して復号済み隣接信号を用いることなく信号予測を行う所定の隣接画素非参照予測時に、当該変換種別識別信号を基に、対応する逆直交変換処理の種別を選択的に決定する逆直交変換選択制御手段と、
動画像を構成するフレームをブロック分割し符号化された信号として所定の量子化処理により量子化された変換係数に対し、対応する逆量子化処理を施すことにより変換係数の信号を復元する逆量子化手段と、
当該復元した変換係数の信号に対し、前記変換種別識別信号を基に決定された当該逆直交変換処理を施すことによりブロック単位の予測残差信号を復元する逆直交変換手段と、
前記隣接画素非参照予測によって予測信号よりなるブロック単位の予測画像を生成する隣接画素非参照予測手段と、
前記変換種別識別信号にて変換基底の端部が閉じた第１の直交変換処理が示されている際に、前記予測画像のブロックに対して隣接する当該復号済み隣接信号を用いて、該予測画像のブロックの境界に位置する予測信号に対して低域通過フィルタ処理を施すことにより新たな予測画像のブロックを生成するフィルタ処理手段と、
を備えることを特徴とする、画像復号装置。
【請求項６】
前記逆直交変換選択制御手段は、前記変換種別識別信号を、前記複数種の直交変換処理のうち変換基底の端部が閉じた第１の直交変換処理と、変換基底の端部が開放した第２の直交変換処理のいずれが符号化側で適用されているかを示す符号化パラメータとして取得する手段を有することを特徴とする、請求項５に記載の画像復号装置。
【請求項７】
コンピュータを、請求項１から４のいずれか一項に記載の画像符号化装置として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項５又は６に記載の画像復号装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ-２、ＡＶＣ/Ｈ.２６４、ＭＰＥＧ-Ｈ、ＨＥＶＣ/Ｈ.２６５等の映像符号化方式に適用可能な画像符号化装置、画像復号化装置、及びこれらのプログラムに関する。
【背景技術】
【０００２】
静止画、動画を問わず一般的に画像信号は隣接画素間の信号相関が高いことが知られている。この性質を利用して、例えば、ＭＰＥＧ-２、ＡＶＣ/Ｈ.２６４、ＭＰＥＧ-Ｈ、ＨＥＶＣ/Ｈ.２６５等の映像符号化方式では、イントラ予測及びインター予測の２つの予測モードが用意されている。イントラ予測は、符号化フレーム内の信号のみで信号予測を行う技法であり、原画像の符号化対象ブロック内の画素信号（原信号）に対して、当該符号化対象ブロックの左側や上側に隣接する符号化し復号済みのブロックの画素信号を用いてＤＣ予測、Ｐｌａｎｅｒ予測、或いは方向性予測を行い、外挿により予測された画素信号（予測信号）よりなる予測画像のブロックを生成する。このように、当該符号化対象ブロックに隣接した復号済みのブロックの画素信号を用いることによって当該符号化対象ブロック内の画素信号を効率的に予測している。【０００３】
例えば、図２９を参照して、イントラ予測の水平方向による予測（水平予測）を例に、イントラ予測による予測残差信号の性質を説明する。図２９に示す例では、水平４画素×垂直４画素のブロックサイズ（以下、単に「４×４」と示し、他のブロックサイズも同様。）の画素信号ｐからなる原画像の符号化対象ブロックＢｋｏ内の原信号に対して（図２９（ａ）参照）、水平予測のため左隣りの復号済みのブロックの画素信号を参照信号Ｓｒとして用いて予測を行い、符号化対象ブロックの画素信号に対応する予測信号からなる予測画像のブロックＢｋｐを生成する（図２９（ｂ）参照）。【０００４】
そして、原画像の符号化対象ブロックＢｋｏ内の原信号と、予測画像のブロックＢｋｐの予測信号との差分から予測残差信号のブロックＢｋｄを得ることができる（図２９（ｃ）参照）。このイントラ予測による予測残差信号は、参照信号に隣接する画素位置ほど予測効率が高くなるため残差成分が小さくなり（信号強度が小さい）、換言すれば、参照信号から遠ざかるにしたがって予測効率が低くなるため、残差成分が大きくなる（信号強度が大きくなる）性質がある（図２９（ｄ）参照）。【０００５】
ここで、図２９に示した例では水平方向の画素間相関を利用して予測を行うものであるが、符号化し復号済みのブロックの信号は符号化対象ブロックの上側にも存在する。図２９に示した例においては、水平方向のイントラ予測によって水平方向の相関を利用して効率的に予測し予測残差信号を生成しているが、垂直方向の相関を利用していない。【０００６】
そこで、現在規定されているＨ.２６５では符号化対象ブロックの上側のブロック内の画素信号との相関性が高いことを利用し、予測信号の精度向上のために当該予測画像のブロックＢｋｐ内の最上側の予測信号にのみ当該上側のブロックに対する信号変動を反映するフィルタ処理を適用する。これにより水平方向の予測による水平方向の相関を利用するのみでなく、垂直方向の相関を利用することができ、予測残差信号のブロックＢｋｄにおける平均的な残差成分が更に減少し、符号化効率が改善する。同様に垂直方向のイントラ予測の場合はその予測の際に利用していない水平方向の隣接画素を利用してフィルタ処理を適用し、水平及び垂直の隣接画素を利用しないＤＣ予測においては水平及び垂直の隣接画素を利用したフィルタ処理を適用することで、以前のＭＰＥＧ-２やＨ.２６４等の映像符号化方式に比べ大幅な符号化効率の改善を実現している。【０００７】
また、インター予測では、時間的に近接する符号化し復号済の参照フレームから動き予測を行うことにより、動きベクトルを算出し、これを用いて予測画像を生成する。予測画像と原画像の差分が予測残差信号として生成される。ただし、従来技法では、隣接ブロックとの信号の相関の高さはイントラ予測において積極的に利用されているが、インター予測ではこのような隣接ブロックとの信号の相関の高さを示す性質は利用されていない。【０００８】
そして、イントラ予測やインター予測を経て生成される予測残差信号のブロックは、直交変換処理及び量子化処理が施され、符号化される。【０００９】
インター予測における動き補償処理の特徴としてその符号化に係る予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）では、予測誤差量が統計的に大きいことが示されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】鄭 文涛、他，“統計的動き分布モデルに基づく動き補償フレーム間差分信号の特性解析”、D-II，Vol.J84-D-II, No．9，pp．2001-2010, 2001年09月01日
【発明の概要】
【発明が解決しようとする課題】
【００１１】
非特許文献１に示されているように、インター予測における動き補償処理の特徴としてその符号化に係る当該予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）では、予測誤差量が統計的に大きいことが示されている。【００１２】
一方で、従来技法では、隣接信号の相関の高さはイントラ予測において積極的に利用されているにも関わらず、インター予測ではその予測残差信号を生成する際にこのような隣接信号の相関の高さを利用していない。このため、従来技法に対して、符号化効率の観点からは更に改善する余地がある。【００１３】
本発明の目的は、上述の問題に鑑みて、符号化効率を改善する画像符号化装置、画像復号化装置、及びこれらのプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、インター予測など、復号済み隣接信号を用いることなく信号予測を行う信号予測（本願明細書中、「隣接画素非参照予測」と称する）において、所定の評価基準の基で、隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像のブロックに対して隣接する符号化し復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、適用する直交変換種別を決定するよう制御する。特に、隣接画素非参照予測によって生成された予測画像のブロックの境界に位置する予測信号に対して低域通過フィルタ処理を施すときは、変換基底の端部が閉じた直交変換処理を施すよう制御する。【００１５】
これにより、隣接画素非参照予測時でも、所定の評価基準の基で、当該予測領域の端点に属する予測画像のブロック境界に位置する画素値（予測信号）を低域通過フィルタ処理によりその隣接ブロックの画素値に近づけることで符号化効率が改善し、更に、この低域通過フィルタ処理後の予測画像のブロックを基に得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう構成することで、位相のみならず当該予測領域の端点に対応する変換基底の特徴に合致し、より顕著な符号化効率の改善につながる。【００１６】
即ち、本発明の画像符号化装置は、動画像を構成するフレーム単位の原画像をブロック分割し符号化する画像符号化装置であって、ブロック単位の原画像の各画素信号に対して復号済み隣接信号を用いることなく信号予測を行う所定の隣接画素非参照予測によって予測信号よりなるブロック単位の予測画像を生成する隣接画素非参照予測手段と、所定の選択制御下で低域通過フィルタ処理の実行と非実行が制御され、該実行時に、前記予測画像のブロックに対して隣接する当該復号済み隣接信号を用いて、該予測画像のブロックの境界に位置する予測信号に対して当該低域通過フィルタ処理を施すことにより新たな予測画像のブロックを生成するフィルタ処理手段と、前記原画像の符号化対象ブロックの各画素信号に対する前記フィルタ処理手段で生成された予測画像のブロックの各予測信号の誤差を算出し、ブロック単位の予測残差信号を生成する予測残差信号生成手段と、前記所定の選択制御下で複数種の直交変換処理のうち１つを選択制御され、該選択制御された直交変換処理により、前記ブロック単位の予測残差信号に対して直交変換処理を施し変換係数の信号を生成する直交変換手段と、前記所定の選択制御として、前記隣接画素非参照予測時における所定の評価基準を基に、前記低域通過フィルタ処理の実行に伴い前記複数種の直交変換処理のうち変換基底の端部が閉じた第１の直交変換処理の適用とする第１の組み合わせと、前記低域通過フィルタ処理の非実行に伴い前記複数種の直交変換処理のうち変換基底の端部が開放した第２の直交変換処理の適用とする第２の組み合わせのいずれか一方を選択制御し、選択した直交変換処理の種別を示す変換種別識別信号を符号化パラメータとして生成する直交変換選択制御手段と、を備えることを特徴とする。【００１７】
また、本発明の画像符号化装置において、前記所定の隣接画素非参照予測は、インター予測、イントラブロックコピー予測、及びクロスコンポーネント信号予測のうちいずれかを含むことを特徴とする。【００１８】
また、本発明の画像符号化装置において、前記直交変換選択制御手段は、前記所定の評価基準として、前記低域通過フィルタ処理の効果が所定レベル以上であるか、又は前記低域通過フィルタ処理の実行を経てＲＤコストとして優れている際に前記第１の組み合わせを選択する手段を有することを特徴とする。【００１９】
また、本発明の画像符号化装置において、前記フィルタ処理手段は、前記隣接画素非参照予測手段によって生成された予測画像のブロック内の予測信号のうち、前記復号済み隣接信号と隣接する予測信号が平滑化されるよう当該低域通過フィルタ処理を施すことを特徴とする。【００２０】
更に、本発明の画像復号装置は、動画像を構成するフレームをブロック分割し符号化された信号を復号する画像復号装置であって、複数種の直交変換処理のうち符号化側で選択した直交変換処理の種別を示す変換種別識別信号を取得し、ブロック単位の各画素信号に対して復号済み隣接信号を用いることなく信号予測を行う所定の隣接画素非参照予測時に、当該変換種別識別信号を基に、対応する逆直交変換処理の種別を選択的に決定する逆直交変換選択制御手段と、動画像を構成するフレームをブロック分割し符号化された信号として所定の量子化処理により量子化された変換係数に対し、対応する逆量子化処理を施すことにより変換係数の信号を復元する逆量子化手段と、当該復元した変換係数の信号に対し、前記変換種別識別信号を基に決定された当該逆直交変換処理を施すことによりブロック単位の予測残差信号を復元する逆直交変換手段と、前記隣接画素非参照予測によって予測信号よりなるブロック単位の予測画像を生成する隣接画素非参照予測手段と、前記変換種別識別信号にて変換基底の端部が閉じた第１の直交変換処理が示されている際に、前記予測画像のブロックに対して隣接する当該復号済み隣接信号を用いて、該予測画像のブロックの境界に位置する予測信号に対して低域通過フィルタ処理を施すことにより新たな予測画像のブロックを生成するフィルタ処理手段と、を備えることを特徴とする。【００２１】
また、本発明の画像復号装置において、前記逆直交変換選択制御手段は、前記変換種別識別信号を、前記複数種の直交変換処理のうち変換基底の端部が閉じた第１の直交変換処理と、変換基底の端部が開放した第２の直交変換処理のいずれが符号化側で適用されているかを示す符号化パラメータとして取得する手段を有することを特徴とする。【００２２】
更に、本発明のプログラムは、コンピュータを、本発明の画像符号化装置又は画像復号装置として機能させる。
【発明の効果】
【００２３】
本発明によれば、予測画像の予測信号と、隣接する復号済みブロック信号との間に生じる信号誤差が低減され符号化効率が改善するため、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができる。即ち、符号化側では、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。また、復号側では、このように低減させた情報量でも復号することができる。【００２４】
特に、隣接画素非参照予測時でも、所定の評価基準の基で、当該予測領域の端点に属する予測画像のブロック境界に位置する画素値（予測信号）を低域通過フィルタ処理によりその隣接ブロックの画素値に近づけることで符号化効率が改善するだけでなく、更に、この予測画像のブロックを基に得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるため、位相のみならず当該予測領域の端点に対応する変換基底の特徴に合致し、より顕著に符号化効率を改善することができる。
【図面の簡単な説明】
【００２５】
【図１】（ａ）は、本発明による第１実施形態の画像符号化装置における予測画像に係るフィルタ処理部周辺のブロック図であり、（ｂ）は、その予測画像のフィルタ処理例を示す説明図である。
【図２】（ａ），（ｂ），（ｃ）は、それぞれ本発明に係る隣接画素非参照予測を例示する説明図である。
【図３】本発明による第１実施形態の画像符号化装置の一実施例を示すブロック図である。
【図４】本発明による第１実施形態の画像符号化装置における予測画像のフィルタ処理に関するフローチャートである。
【図５】本発明による第１実施形態の画像符号化装置における予測画像のフィルタ処理に関する説明図である。
【図６】本発明による第１実施形態の画像復号装置における予測画像に係るフィルタ処理部周辺のブロック図である。
【図７】本発明による第１実施形態の画像復号装置の一実施例を示すブロック図である。
【図８】本発明による第２実施形態の画像符号化装置又は画像復号装置におけるフィルタ処理部のブロック図である。
【図９】本発明による第２実施形態の画像符号化装置又は画像復号装置における予測画像のフィルタ処理に関するフローチャートである。
【図１０】（ａ），（ｂ）は、それぞれ本発明による第２実施形態の画像符号化装置又は画像復号装置における予測画像のフィルタ処理に関する説明図である。
【図１１】（ａ）は、本発明による第３実施形態の画像符号化装置におけるフィルタ処理部及び直交変換選択制御部周辺のブロック図であり、（ｂ）,（ｃ）は、直交変換の基底波形の一例を示す図である。
【図１２】本発明による第３実施形態の画像符号化装置における第１実施例を示すブロック図である。
【図１３】本発明による第３実施形態の画像符号化装置における第１実施例の直交変換選択制御処理に関するフローチャートである。
【図１４】本発明による第３実施形態の画像符号化装置における第２実施例を示すブロック図である。
【図１５】本発明による第３実施形態の画像符号化装置における第２実施例の直交変換選択制御処理に関するフローチャートである。
【図１６】本発明による第３実施形態の画像復号装置におけるフィルタ処理部及び逆直交変換選択制御部周辺のブロック図である。
【図１７】本発明による第３実施形態の画像復号装置における一実施例を示すブロック図である。
【図１８】本発明による第３実施形態の画像復号装置における一実施例の逆直交変換選択制御処理に関するフローチャートである。
【図１９】（ａ）は、本発明による第４実施形態の画像符号化装置における予測画像に係るフィルタ処理部周辺のブロック図であり、（ｂ）は、その予測画像のフィルタ処理例を示す説明図である。
【図２０】（ａ），（ｂ），（ｃ）は、それぞれ本発明に係る予測画像に関するブロック分割後の直交変換適用ブロックを例示する説明図である。
【図２１】本発明による第４実施形態の画像符号化装置の一実施例を示すブロック図である。
【図２２】本発明による第４実施形態の画像符号化装置における予測画像のフィルタ処理に関するフローチャートである。
【図２３】本発明による第４実施形態の画像符号化装置における直交変換処理に関するフローチャートである。
【図２４】本発明による第４実施形態の画像復号装置における予測画像に係るフィルタ処理部周辺のブロック図である。
【図２５】本発明による第４実施形態の画像復号装置の一実施例を示すブロック図である。
【図２６】（ａ），（ｂ）は、それぞれ本発明による第５実施形態の画像符号化装置及び画像復号装置におけるフィルタ処理部周辺のブロック図である。
【図２７】本発明による第５実施形態の画像符号化装置又は画像復号装置における予測画像のフィルタ処理に関するフローチャートである。
【図２８】本発明による第５実施形態の画像符号化装置又は画像復号装置における予測画像のフィルタ処理に関する説明図である。
【図２９】（ａ），（ｂ），（ｃ），（ｄ）は、従来技法におけるイントラ予測に関する説明図である。
【発明を実施するための形態】
【００２６】
以下、本発明による各実施形態の画像符号化装置及び画像復号装置について順に説明する。
【００２７】
〔第１実施形態〕
（画像符号化装置）
まず、本発明による第１実施形態の画像符号化装置１における本発明に係る主要な構成要素である予測画像に係るフィルタ処理部１２について図１及び図２を参照して説明し、その具体的な典型例の画像符号化装置１について図３乃至図５を参照して説明する。
【００２８】
図１（ａ）は、本発明による第１実施形態の画像符号化装置１における予測画像に係るフィルタ処理部１２周辺のブロック図であり、図１（ｂ）は、フィルタ処理部１２によるその予測画像のフィルタ処理例を示す説明図である。
【００２９】
図１（ａ）に示すように、本発明による第１実施形態の画像符号化装置１では、隣接画素非参照予測部１１、フィルタ処理部１２、予測残差信号生成部１３、及び直交変換部１４を備えるように構成される。
【００３０】
隣接画素非参照予測部１１は、原画像の符号化対象領域について、隣接する復号済みの信号（復号済み隣接信号）を用いることなく予測画像を生成する信号予測処理を行う機能部である。本願明細書中、このような信号予測を「隣接画素非参照予測」と称しており、隣接画素非参照予測には、例えば、フレーム間の動き補償予測を行うインター予測、同一フレームの異なる復号済みの部分画像をコピーして予測画像を生成するイントラブロックコピー（Intra Block Copy）予測、及び或るフレームの対応するブロック位置の輝度信号と色差信号とのコンポーネント信号間の相関性を利用して予測画像を生成する信号予測（本願明細書中、「クロスコンポーネント信号予測」と称する）等が含まれる。
【００３１】
例えば、インター予測では、図２（ａ）に示すように、或るＧＯＰ構造の複数のフレームＦ１〜Ｆ６において、フレームＦ１をＩフレーム（イントラフレーム）とすると、Ｐフレーム（予測インターフレーム）のように過去のＩフレームやＰフレームを参照して予測画像を生成する場合や、Ｂフレーム（双予測インターフレーム）のように過去と将来のフレーム等複数のフレームを参照して予測画像を生成する。
【００３２】
また、イントラブロックコピー予測では、図２（ｂ）に示すように、同一フレームＦの異なる復号済みの部分画像Ｂｋｒを参照しコピーして予測画像Ｂｋｐを生成する。
【００３３】
また、クロスコンポーネント信号予測では、図２（ｃ）に示すように、コンポーネント信号間の相関性を利用し、或るフレームＦの対応するブロック位置の輝度信号（例えば、Ｙ信号）の局部復号画像Ｂｋｒを参照し色差信号（例えば、Ｕ/Ｖ信号）の予測画像に対して重み付け加算による合成処理を施して色差信号（例えば、Ｕ/Ｖ信号）の修正予測画像Ｂｋｐを生成する。このようなクロスコンポーネント信号予測に関する詳細は、特開２０１４-１５８２７０号公報を参照されたい。
【００３４】
これらの隣接画素非参照予測は、原画像の符号化対象領域のブロックに隣接する領域として復号済み領域を持ちながら、その隣接画素間の相関の高さを利用せず信号予測を行う点で共通している。
【００３５】
第１実施形態におけるフィルタ処理部１２は、隣接画素非参照予測部１１によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する機能部である。
【００３６】
例えば、図１（ｂ）に示すように、フィルタ処理部１２は、原画像の符号化対象領域のブロックＢｋｏに対応する４×４の画素信号ｐよりなる予測画像のブロックＢｋｐが隣接画素非参照予測部１１によって生成されたとすると、該予測画像に対して左側と上側に隣接する当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像における最左側及び最上側の画素信号（予測信号）をフィルタ対象領域の信号Ｓｆとして、それぞれ例えば水平方向及び垂直方向の平滑化フィルタ等の低域通過フィルタ処理を施すことにより、新たな予測信号よりなる予測画像を生成する。
【００３７】
予測残差信号生成部１３は、原画像の符号化対象領域のブロック（符号化対象ブロック）Ｂｋｏの各画素信号（原信号）に対する、フィルタ処理部１２から得られる予測画像のブロックＢｋｐの各画素信号（予測信号）の誤差を算出し、予測残差信号として直交変換部１４に出力する。
【００３８】
直交変換部１４は、予測残差信号生成部１３から入力された予測残差信号に対して所定の直交変換処理を施し、その変換係数の信号を生成する。例えば、この所定の直交変換処理として、ＤＣＴやＤＳＴ等符号化方式で用いられる直交変換処理、或いはそれを整数に近似したＨ.２６４やＨ.２６５で規定される整数直交変換処理とすることができ、利用する符号化方式に従うものであればよい。
【００３９】
第１実施形態の画像符号化装置１は、この変換係数の信号に対して量子化処理及びエントロピー符号化処理を施して外部に出力する。そして、エントロピー符号化処理では、各種符号化パラメータ等と一緒にＣＡＢＡＣで代表される算術符号化等で符号に変換して映像を伝送することができる。尚、符号化パラメータには、インター予測パラメータやイントラ予測パラメータ、ブロック分割に係るブロックサイズのパラメータ（ブロック分割パラメータ）や量子化処理に係る量子化パラメータ等の選択設定可能なパラメータを含めて伝送することができる。
【００４０】
次に、隣接画素非参照予測部１１の代表的な例としてインター予測によるインター予測部１１ａを説明し、その予測画像のブロックの予測信号に対して、フィルタ処理部１２によりフィルタ処理を施す画像符号化装置１の構成及びその動作例について、図３乃至図５を参照して説明する。
【００４１】
図３は、本発明による第１実施形態の画像符号化装置１の一実施例を示すブロック図である。図３に示す画像符号化装置１は、前処理部１０と、インター予測部１１ａと、フィルタ処理部１２と、予測残差信号生成部１３と、直交変換部１４と、量子化部１５と、逆量子化部１６と、逆直交変換部１７と、復号画像生成部１８と、ループ内フィルタ部１９と、フレームメモリ２０と、イントラ予測部２１と、動きベクトル計算部２２と、エントロピー符号化部２３と、予測画像選択部２４とを備える。
【００４２】
前処理部１０は、入力される動画像データのフレーム毎の原画像について所定のブロックサイズの符号化対象ブロックに分割し、所定の順序で予測残差信号生成部１３に出力する。
【００４３】
予測残差信号生成部１３は、符号化対象ブロックの各画素信号に対する、フィルタ処理部１２から得られる予測画像のブロックの各画素信号の誤差を算出し、ブロック単位の予測残差信号として直交変換部１４に出力する。
【００４４】
直交変換部１４は、予測残差信号生成部１３から入力された予測残差信号に対して所定の直交変換処理を施し、その変換係数の信号を生成する。
【００４５】
量子化部１５は、直交変換部１４から得られる変換係数の信号に対して所定の量子化処理を施し、エントロピー符号化部２３及び逆量子化部１６に出力する。
【００４６】
逆量子化部１６は、量子化部１５から得られる量子化後の変換係数の信号に対して逆量子化処理を施し、逆直交変換部１７に出力する。
【００４７】
逆直交変換部１７は、逆量子化部１６から得られる逆量子化後の変換係数の信号に対して逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部１８に出力する。
【００４８】
復号画像生成部１８は、イントラ予測部２１又はインター予測部１１ａで予測され、フィルタ処理部１２から得られた予測画像のブロックに、逆直交変換部１７により復元された予測残差信号を加算して局部復号画像のブロックを生成し、ループ内フィルタ部１９に出力する。
【００４９】
ループ内フィルタ部１９は、復号画像生成部１８から得られる局部復号画像のブロックに関して、例えばアダプティブ・ループ・フィルタ（ＡＬＦ：Adaptive Loop Filter）や画素適応オフセット（ＳＡＯ：Sample Adaptive Offset）、デブロッキングフィルタ等のループ内フィルタ処理を施し、フレームメモリ２０に出力する。これらのフィルタ処理に関するフィルタパラメータは符号化処理の付帯情報とする符号化パラメータの１つとしてエントロピー符号化部２３に出力される。
【００５０】
フレームメモリ２０は、ループ内フィルタ部１９を経て得られる局部復号画像のブロックを格納し、イントラ予測部２１、インター予測部１１ａ及び動きベクトル計算部２２により利用可能な参照画像として保持する。
【００５１】
イントラ予測部２１は、予測画像選択部２４による予測対象のフレーム内の信号のみで信号予測を行う信号選択時に、原画像の符号化対象ブロック内の画素信号（原信号）に対して、フレームメモリ２０に参照画像として格納されている当該符号化対象ブロックの左側や上側に隣接する符号化し復号済みのブロックの画素信号を用いてＤＣ予測、Ｐｌａｎｅｒ予測、或いは方向性予測を行い、外挿により予測された画素信号（予測信号）よりなる予測画像のブロックを生成し、フィルタ処理部１２に出力する。
【００５２】
尚、イントラ予測部２１で用いるＤＣ予測、Ｐｌａｎｅｒ予測、或いは方向性予測を識別するイントラ予測パラメータは符号化処理の付帯情報とする符号化パラメータの１つとしてエントロピー符号化部２３に出力される。
【００５３】
インター予測部１１ａは、予測画像選択部２４によるＰ/Ｂフレームに対してフレーム間の動き補償予測を行う信号選択時に、原画像の符号化対象ブロック内の画素信号（原信号）に対して、フレームメモリ２０に参照画像として格納されているデータを動きベクトル計算部２２から提供される動きベクトルで動き補償することにより予測画像のブロックを生成し、フィルタ処理部１２に出力する。
【００５４】
動きベクトル計算部２２は、フレームメモリ２０に格納されている参照画像のデータに対して、ブロックマッチング技法等を用いて原画像の符号化対象ブロックに最も類似している位置を探索し、その空間的なずれを示す値を動きベクトルとして算出し、インター予測部１１ａに出力する。
【００５５】
尚、動きベクトル計算部２２で算出される動きベクトルを含むインター予測に用いたインター予測パラメータは符号化処理の付帯情報とする符号化パラメータの１つとしてエントロピー符号化部２３に出力される。
【００５６】
エントロピー符号化部２３は、量子化部１５からの出力信号や各種の符号化パラメータに対してエントロピー符号化処理を施し、符号化された動画像データのストリーム信号を出力する。
【００５７】
フィルタ処理部１２の一動作例について、図４及び図５を参照して説明する。図４に示すように、フィルタ処理部１２は、イントラ予測部２１又はインター予測部１１ａからの予測画像を入力すると（ステップＳ１）、当該予測画像が隣接画素非参照予測であるか否か、即ち本例では予測画像選択部２４による信号選択に基づいてインター予測であるか否かを識別する（ステップＳ２）。尚、隣接画素非参照予測が前述したイントラブロックコピー予測やクロスコンポーネント信号予測である場合も同様である。
【００５８】
続いて、フィルタ処理部１２は、当該予測画像が隣接画素非参照予測ではない、即ち本例ではイントラ予測であると判定するときは（ステップＳ２：Ｎｏ）、予め定めた処理方式によりフィルタ処理を実行するか否かを判定する（ステップＳ５）。イントラ予測の予測画像に対してフィルタ処理を実行しない場合（ステップＳ５：Ｎｏ）、フィルタ処理部１２は、当該予測信号に対してフィルタ処理を実行することなく予測残差信号生成部１３に出力する（ステップＳ６）。一方、イントラ予測の予測画像に対してフィルタ処理を実行する場合（ステップＳ５：Ｙｅｓ）、フィルタ処理部１２は、ステップＳ３に移行する。尚、イントラ予測の予測画像に対するフィルタ処理は、現在規定されているＨ.２６５と同様に処理すればよく、本発明の主旨とは直接関係していないため、ステップＳ３の説明はインター予測の予測画像に対してフィルタ処理を実行する例を説明する。
【００５９】
フィルタ処理部１２は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測であると判定すると（ステップＳ２：Ｙｅｓ）、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出する（ステップＳ３）。例えば、図５に例示するように、４×４の予測画像のブロック内の画素信号（予測信号）のうち、該予測画像の最左側と最上側の画素信号（予測信号）をフィルタ処理対象領域Ｓｆとして定める。
【００６０】
続いて、フィルタ処理部１２は、当該予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する（ステップＳ４）。例えば、図５に例示するように、フィルタ処理部１２は、４×４の予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施し、予測残差信号生成部１３に出力する。
【００６１】
尚、フィルタ処理部１２によるフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタ処理を適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も図５に示す例に限定する必要はない。例えば大サイズ符号化ブロックの場合、複数行または列に対してフィルタ処理を適用してもよい。また、フィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、符号化処理の付帯情報として伝送するように構成することもできるが、送受間（符号化・復号間）で予め定めておけば伝送する必要もない。
【００６２】
このようにフィルタ処理部１２によって予測画像に対してフィルタ処理を施すことで、直交変換部１４の直交変換処理の種別に関わらず、予測画像内の最左側と最上側の画素信号（予測信号）と、これに隣接する復号済み信号との間に生じる信号誤差が低減され、映像の符号化効率を改善することができる。
【００６３】
（画像復号装置）
次に、本発明による第１実施形態の画像復号装置５における本発明に係る主要な構成要素であるフィルタ処理部５４とその周辺機能ブロックについて図６を参照して説明し、その具体的な典型例の画像復号装置５について図７を参照して説明する。
【００６４】
図６は、本発明による第１実施形態の画像復号装置５における予測画像に係るフィルタ処理部５４周辺のブロック図である。図６に示すように、本発明による第１実施形態の画像復号装置５では、逆直交変換部５２、隣接画素非参照予測部５３、フィルタ処理部５４、及び復号画像生成部５５を備えるように構成される。
【００６５】
逆直交変換部５２は、画像符号化装置１側から伝送されたストリーム信号を受信しエントロピー復号処理及び逆量子化処理を経て復元された変換係数に対して、逆直交変換処理を施し、得られる予測残差信号を復号画像生成部５５に出力する。
【００６６】
隣接画素非参照予測部５３は、画像符号化装置１側の隣接画素非参照予測部１１と対応する機能部であり、隣接する復号済みの信号（復号済み隣接信号）を用いることなく予測画像を生成する信号予測処理を行う。隣接画素非参照予測には、例えば、フレーム間の動き補償予測を行うインター予測、同一フレームの異なる復号済みの部分画像をコピーして予測画像を生成するイントラブロックコピー（Intra Block Copy）予測、及び或るフレームの対応するブロック位置の輝度信号と色差信号とのコンポーネント信号間の相関性を利用して予測画像を生成するクロスコンポーネント信号予測等が含まれる。
【００６７】
第１実施形態のフィルタ処理部５４は、画像符号化装置１側のフィルタ処理部１２と対応する機能部であり、隣接画素非参照予測部５３によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。
【００６８】
復号画像生成部５５は、後述するフィルタ処理部５４から得られる予測画像のブロックに、逆直交変換部５２により復元された予測残差信号を加算して復号信号よりなる復号画像のブロックを生成する機能部である。
【００６９】
即ち、画像符号化装置１におけるフィルタ処理部１２によって予測画像に対してフィルタ処理を経て生成された予測残差信号は、映像の符号化効率が改善された状態で伝送されており、画像復号装置５は、この伝送に係る映像を効率よく復元することができる。尚、フィルタ処理部５４においても、フィルタ処理部１２の場合と同様に、そのフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタを適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も適宜定めればよい。そして、画像符号化装置１側からフィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、送受間（符号化・復号間）で予め定めておくか、又は符号化処理の付帯情報として伝送されているときは、これに従って画像復号装置５のフィルタ処理部５４も同様にフィルタ処理を行うことで、その復号信号の精度を高めることができる。
【００７０】
次に、隣接画素非参照予測部５３の代表的な例としてインター予測によるインター予測部５３ａを説明し、そのインター予測による予測信号に対して、フィルタ処理部５４によりフィルタ処理を施す画像復号装置５の構成及びその動作例について、図７を参照して説明する。
【００７１】
図７は、本発明による第１実施形態の画像復号装置５の一実施例を示すブロック図である。図７に示す画像復号装置５は、エントロピー復号部５０と、逆量子化部５１と、逆直交変換部５２と、インター予測部５３ａと、フィルタ処理部５４と、復号画像生成部５５と、ループ内フィルタ部５６と、フレームメモリ５７と、イントラ予測部５８と、予測画像選択部５９とを備える。
【００７２】
エントロピー復号部５０は、画像符号化装置１側から伝送されたストリーム信号を受信し、画像符号化装置１のエントロピー符号化処理に対応するエントロピー復号処理を施すことにより得られる各種符号化パラメータを各機能ブロックに出力するとともに、量子化された変換係数を逆量子化部５１に出力する。各種符号化パラメータとして、例えばフィルタパラメータ、イントラ予測パラメータ及びインター予測パラメータは、それぞれループ内フィルタ部５６、イントラ予測部５８、及びインター予測部５３ａに出力される。
【００７３】
逆量子化部５１は、エントロピー復号部５０から得られる量子化された変換係数に対して画像符号化装置１の量子化処理に対応する逆量子化処理を施し、その変換係数を逆直交変換部５２に出力する。
【００７４】
逆直交変換部５２は、逆量子化部５１から得られる変換係数に対して画像符号化装置１の直交変換処理に対応する逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部５５に出力する。
【００７５】
復号画像生成部５５は、イントラ予測部５８又はインター予測部５３ａで予測され、フィルタ処理部５４によって低域通過フィルタを施すことにより生成された予測画像のブロックに、逆直交変換部５２により復元された予測残差信号を加算して復号画像のブロックを生成し、ループ内フィルタ部５６に出力する。
【００７６】
ループ内フィルタ部５６は、画像符号化装置１側のループ内フィルタ処理と対応するフィルタ処理を施し、フレームメモリ５７に出力する。
【００７７】
フレームメモリ５７は、ループ内フィルタ部５６を経て得られる復号画像のブロックを格納し、イントラ予測部５８及びインター予測部５３ａにより利用可能な参照画像として保持する。
【００７８】
イントラ予測部５８は、予測画像選択部５９による予測対象のフレーム内の信号のみで信号予測を行う信号選択時に、イントラ予測パラメータと、フレームメモリ５７に参照画像として格納されている当該復号対象ブロックの左側や上側に隣接する復号済みのブロックの画素信号を用いて、画像符号化装置１側のイントラ予測部２１と対応する予測処理を施すことにより予測画像のブロックを生成し、フィルタ処理部５４に出力する。
【００７９】
インター予測部５３ａは、予測画像選択部５９によるＰ/Ｂフレームに対してフレーム間の動き補償予測を行う信号選択時に、インター予測パラメータに含まれる動きベクトルを用いて、フレームメモリ２０に参照画像として格納されているデータを動き補償することにより予測画像のブロックを生成し、フィルタ処理部５４に出力する。
【００８０】
尚、フレームメモリ５７に格納された復号済のデータからフレームを構成し、復号画像として出力するよう構成することができる。
【００８１】
フィルタ処理部５４は、その動作として図４及び図５を参照して例示説明したものと同様に動作する。即ち、フィルタ処理部５４における本発明に係るフィルタ処理は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測である際に、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出し、当該予測画像に対して左側や上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、当該選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。例えば、図５に例示したように、フィルタ処理部５４は、当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施し、復号画像生成部５５に出力する。
【００８２】
以上のように構成された第１実施形態の画像符号化装置１及び画像復号装置５によれば、予測画像の予測信号と、隣接する復号済みブロック信号との間に生じる信号誤差が低減され符号化効率が改善するため、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができる。即ち、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。
【００８３】
〔第２実施形態〕
次に、本発明による第２実施形態の画像符号化装置１及び画像復号装置５におけるそれぞれのフィルタ処理部１２，５４について図８を参照して説明する。第１実施形態のフィルタ処理部１２，５４では、隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成する例を説明した。
【００８４】
一方、本実施形態のフィルタ処理部１２，５４では、隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）のうち、当該低域通過フィルタ処理で参照する当該復号済み隣接信号を用いて、当該低域通過フィルタ処理の対象とする予測信号に対して低域通過フィルタ処理を施すか否かを決定するための相関判定を行い、この相関判定の結果に応じて低域通過フィルタ処理を適用するか否かを決定するよう構成される。尚、同様な構成要素には同一の参照番号を付して説明する。従って、本実施形態のフィルタ処理部１２，５４は、図３及び図７にそれぞれ例示した画像符号化装置１及び画像復号装置５に適用することができるため、ここでは、本実施形態のフィルタ処理部１２，５４に係る処理内容についてのみ説明し、その更なる詳細な説明は省略する。
【００８５】
図８は、本実施形態の画像符号化装置１又は画像復号装置５におけるフィルタ処理部１２，５４のブロック図である。また、図９は、本実施形態の画像符号化装置１又は画像復号装置５における予測画像のフィルタ処理１２，５４に関するフローチャートである。
【００８６】
本実施形態のフィルタ処理部１２，５４は、水平方向相関判定部１０１と、垂直方向相関判定部１０２と、フィルタ処理決定部１０３と、フィルタ処理実行部１０４とを備える。これらの機能ブロックの動作について図９に示す処理例を参照しながら説明する。尚、本実施形態のフィルタ処理部１２，５４は、隣接画素非参照予測であるか否か、例えば、インター予測であるかイントラ予測であるかの区別なく処理するよう構成することもできるが、ここでは、本発明に係る隣接画素非参照予測の予測画像に対してフィルタ処理を施す例を説明する。
【００８７】
フィルタ処理部１２，５４は、予測画像を入力すると（ステップＳ１１）、水平方向相関判定部１０１及び垂直方向相関判定部１０２により、それぞれ個別に定められたフィルタ処理対象領域毎に、相関判定処理を実行する（ステップＳ１２）。
【００８８】
即ち、水平方向相関判定部１０１により該予測画像に対して左側に隣接する復号済み隣接信号との相関を判定し（ステップＳ１３）、水平方向の相関が高いと判定したときは（ステップＳ１３：Ｙｅｓ）、復号済み隣接信号を用いて水平フィルタ処理の実行を決定し（ステップＳ１４）、水平方向の相関が低いと判定したときは（ステップＳ１３：Ｎｏ）、水平フィルタ処理を非実行とする旨をフィルタ処理決定部１０３に出力する。
【００８９】
同様に、垂直方向相関判定部１０２により該予測画像に対して上側に隣接する復号済み隣接信号との相関を判定し（ステップＳ１５）、垂直方向の相関が高いと判定したときは（ステップＳ１５：Ｙｅｓ）、復号済み隣接信号を用いて垂直フィルタ処理の実行を決定し（ステップＳ１６）、垂直方向の相関が低いと判定したときは（ステップＳ１５：Ｎｏ）、垂直フィルタ処理を非実行とする旨をフィルタ処理決定部１０３に出力する。
【００９０】
フィルタ処理決定部１０３は、水平・垂直のフィルタ処理が共に実行するとして決定する旨を受け取ったか否かを判別し（ステップＳ１７）、水平・垂直のフィルタ処理を共に実行するとして決定する旨を受け取った場合には（ステップＳ１７：Ｙｅｓ）、水平・垂直双方のフィルタ処理と３タップの角フィルタ処理を実行するとして決定し（ステップＳ１８）、水平・垂直のフィルタ処理のいずれか一方又は双方を実行しないとする旨を受け取った場合には（ステップＳ１７：Ｎｏ）、水平の相関が高い時は水平方向のみのフィルタ処理、垂直方向の相関が高い時は垂直方向のみのフィルタ処理を実行するとして決定するとともに、それぞれ水平・垂直の一方のフィルタ処理のみの場合に角フィルタも水平、又は垂直のフィルタ処理を実行するとして決定する（ステップＳ１９）。
【００９１】
図９に示すステップＳ１３〜Ｓ１９までの処理順は単なる例であり順不同に構成することができる。したがって、フィルタ処理決定部１０３は、水平方向と垂直方向のそれぞれ個別に定められたフィルタ処理対象領域毎に相関判定を行い、フィルタ処理を「水平方向のみ実行」とするか、「垂直方向のみ実行」とするか、「水平・垂直・角の全てに実行」とするか、「水平・垂直・角のいずれも非実行」とするよう決定し、その旨をフィルタ処理実行部１０４に出力する。
【００９２】
フィルタ処理実行部１０４は、フィルタ処理決定部１０３の判定結果に応じたフィルタ処理を行ってフィルタ処理後の予測画像を出力し（ステップＳ２０）、フィルタ処理決定部１０３の判定結果が「水平・垂直・角のいずれも非実行」とする際には、フィルタ処理部１２，５４に入力された予測画像をそのまま出力する。
【００９３】
例えば、水平方向相関判定部１０１は、図１０（ａ）に示す４つの水平方向判定領域Ａ１〜Ａ４のそれぞれについて、隣接画素間の差分を求め、この差分の水平方向判定領域Ａ１〜Ａ４における合計値が所定の閾値以下であれば相関が高いと判定し、そうでなければ相関が低いと判定する。同様に、垂直方向相関判定部１０２は、図１０（ｂ）に示す４つの垂直方向判定領域Ｂ１〜Ｂ４のそれぞれについて、隣接画素間の差分を求め、この差分の垂直方向判定領域Ｂ１〜Ｂ４における合計値が所定の閾値以下であれば相関が高いと判定し、そうでなければ相関が低いと判定する。そして、相関が高い方向のフィルタ処理を図５に示すように適用することで、フィルタ処理を「水平方向のみ実行」とするか、「垂直方向のみ実行」とするか、「水平・垂直・角の全てに実行」とするか、「水平・垂直・角のいずれも非実行」とすることができる。そして、水平又は垂直のみのフィルタ処理を実行するときは、当該予測画像のブロックの角に位置する画素（予測信号）に対して水平又は垂直のフィルタを適用する。
【００９４】
尚、この相関判定領域と、フィルタ処理対象領域とを同じにする必要はないが同じくすることで処理が簡便になる。また、相関判定処理やフィルタ処理の具体的な処理方法は様々な技法が想定され、その一例を示したにすぎない点に留意する。
【００９５】
本実施形態のようにフィルタ処理部１２，５４を構成し、それぞれ画像符号化装置１及び画像復号装置５に適用することで、符号化効率を改善しつつ、これに起因する画質の劣化を抑制することができる。
【００９６】
〔第３実施形態〕
（画像符号化装置）
次に、本発明による第３実施形態の画像符号化装置１における本発明に係る主要な構成要素である予測画像に係るフィルタ処理部１２及び直交変換選択制御部２５について、図１（ｂ）及び図１１を参照して説明し、その具体的な２つの実施例の画像符号化装置１について図５、図１２乃至図１５を参照して説明する。以下の説明は、上述の実施形態との相違点に着目して行うものとする。即ち、本実施形態において、上述の実施形態と同様な構成要素には同一の参照番号を付しており、その更なる詳細な説明は省略する。
【００９７】
図１１（ａ）は、本実施形態の画像符号化装置１における予測画像に係るフィルタ処理部１２及び直交変換選択制御部２５周辺のブロック図であり、図１（ｂ）は、フィルタ処理部１２によるその予測画像のフィルタ処理例を示す説明図である。
【００９８】
図１１（ａ）に示すように、本実施形態の画像符号化装置１では、隣接画素非参照予測部１１、フィルタ処理部１２、予測残差信号生成部１３、直交変換部１４、及び直交変換選択制御部２５を備えるように構成される。
【００９９】
本実施形態におけるフィルタ処理部１２は、直交変換選択制御部２５の制御下で、隣接画素非参照予測部１１によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する機能部である。
【０１００】
直交変換部１４は、直交変換選択制御部２５の制御下で、予測残差信号生成部１３から入力された予測残差信号に対して２種類の直交変換処理のうち一方を施し、その変換係数の信号を生成する。
【０１０１】
例えば、この２種類の直交変換処理として、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ（Discrete Sine Transform：離散サイン変換））か、又は変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換））とすることができ、実数精度とするか整数精度するかについて限定するものではないが、例えば整数に近似したＨ.２６４やＨ.２６５で規定される整数直交変換処理とすることができ、利用する符号化方式に従うものであればよい。
【０１０２】
ここで、直交変換の基底波形の一例を図１１（ｂ）及び図１１（ｃ）に示す。図１１（ｂ）及び図１１（ｃ）に示す例は、４×４の予測残差信号のブロックに対し直交変換する際に利用可能な４点の変換基底（Ｎ＝４）について、ＤＣＴ変換基底（図１１（ｂ））及びＤＳＴ変換基底（図１１（ｃ））におけるそれぞれコサイン及びサインの各周波数成分のパターンとして、低域から高域までの変換基底波形（ＤＣＴではｕ＝０〜３、ＤＳＴではｕ＝１〜４）を例示している。図１１（ｂ）及び図１１（ｃ）に示すように、ＤＣＴのｕ＝０とＤＳＴのｕ＝４以外の主な違いは位相であり、対応する周波数の各変換基底（例えばｕ＝２）は、同じ周波数で画素間相関が同値（基底振幅が同じ）であるが、位相はπ/２ずれていることが分かる。そして、いずれの変換基底波形においても、ＤＣＴでは、図１１（ｂ）に示すように、その端点が大きい値を持ち開放となり、変換基底の端部が開放した直交変換処理を実現する。一方で、ＤＳＴでは、図１１（ｃ）に示すように、その端点が小さい値を持ち閉じており、変換基底の端部が閉じた直交変換処理を実現する。
【０１０３】
なお、「変換基底の端部が閉じた直交変換処理」とは、予測残差信号のブロックにおいて当該予測参照ブロックに対し近接側となる一端が閉じたものを云い、例えば、図１１（ｃ）に示すように、他端が開放している変換基底の非対称ＤＳＴタイプ７としてもよい。
【０１０４】
直交変換選択制御部２５は、隣接画素非参照予測時に、所定の評価基準の基で、フィルタ処理部１２により当該予測画像のブロック境界に位置する画素値（予測信号）に対し低域通過フィルタ処理を実行させたときは、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示し、当該所定の評価基準の基で、予測画像のブロックに当該低域通過フィルタ処理を実行させないときは、当該予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示することで、直交変換種別を選択制御する。尚、直交変換選択制御部２５は、２種類の直交変換処理のうちいずれを適用したかを示す変換種別識別信号を符号化パラメータの１つとして復号側に出力する。
【０１０５】
直交変換選択制御部２５における所定の評価基準として、２つの実施例を説明する。
【０１０６】
詳細は後述するが、第１実施例では、直交変換選択制御部２５は、フィルタ処理部１２に対し、図１（ｂ）に示すようなフィルタ処理対象領域の信号を選出させ、復号済み隣接信号を用いて低域通過フィルタ処理の仮実行を指示し、フィルタ処理部１２から、当該フィルタ処理の実行／非実行の各予測画像を予測ブロック情報（ｅｓｔ１）として取得する。続いて、直交変換選択制御部２５は、この予測ブロック情報（ｅｓｔ１）から、当該フィルタ処理の実行／非実行の各予測画像を比較し、その予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）の影響が当該ブロックサイズ（本例では４×４を例示するが、ブロックサイズは問わない）に対し相対的に大きいと判断されるときは、当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させる。そして、直交変換選択制御部２５は、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示するよう制御する。
【０１０７】
一方、直交変換選択制御部２５は、フィルタ処理部１２から得られる当該フィルタ処理の実行／非実行の各予測画像を比較し、その予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）の影響が当該ブロックサイズ（本例では４×４を例示するが、ブロックサイズは問わない）に対し相対的に小さいと判断されるときは、当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させる。そして、直交変換選択制御部２５は、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示するよう制御する。
【０１０８】
ここで、当該予測領域の端点の影響が当該ブロックサイズ（本例では４×４を例示するが、ブロックサイズは問わない）に対し相対的に大きいか否かは、様々な評価方法が想定されるが、例えば、当該予測領域の端点の密度分布の分散値と、当該ブロックサイズ全体の密度分布の分散値との割合比較で所定レベル以上であるか否かで判定すればよい。このように、第１実施例では、直交変換選択制御部２５は、当該フィルタ処理によるフィルタ処理効果が所定レベル以上であるか否かの判定基準を基に、フィルタ処理の実行の有無を決定し、更にフィルタ処理の実行の有無に応じて適用する直交変換処理の種別を決定し、フィルタ処理部１２及び直交変換部１４を制御する。
【０１０９】
また、第２実施例では、直交変換選択制御部２５は、フィルタ処理部１２に対し、図１（ｂ）に示すようなフィルタ処理対象領域の信号を選出させ、復号済み隣接信号を用いて低域通過フィルタ処理の仮実行を指示し、そのフィルタ処理の実行時に変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いて直交変換して量子化処理及びエントロピー符号化処理した場合と、そのフィルタ処理の非実行時に変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いて直交変換して量子化処理及びエントロピー符号化処理した場合における、発生符号化量（Ｒ）と符号化歪み量（Ｄ）のレート歪み情報（ｅｓｔ２）を取得して比較し、ＲＤコストとして優れている方の組み合わせ（例えばフィルタ処理の実行・ＤＳＴの組み合わせと、フィルタ処理の非実行・ＤＣＴの組み合わせ）を選択する。
【０１１０】
このようなＲＤ最適化により、直交変換選択制御部２５は、「フィルタ処理の実行・変換基底の端部が閉じた直交変換処理」の組み合わせが優れていれば、当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示するよう制御する。
【０１１１】
一方、「フィルタ処理の非実行・変換基底の端部が開放した直交変換処理」の組み合わせが優れていれば、直交変換選択制御部２５は、当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示するよう制御する。
【０１１２】
このように、第２実施例では、直交変換選択制御部２５は、ＲＤ最適化を基に、フィルタ処理の実行の有無を決定し、更にフィルタ処理の実行の有無に応じて適用する直交変換処理の種別を決定し、フィルタ処理部１２及び直交変換部１４を制御する。
【０１１３】
最終的に、本実施形態の画像符号化装置１は、直交変換部１４から得られる変換係数の信号に対して量子化処理及びエントロピー符号化処理を施して外部に出力する。そして、エントロピー符号化処理では、各種符号化パラメータなどと一緒にＣＡＢＡＣで代表される算術符号化などで符号に変換して映像を伝送することができる。尚、符号化パラメータには、本発明に係る変換種別識別信号の他、インター予測パラメータやイントラ予測パラメータ、ブロック分割に係るブロックサイズのパラメータ（ブロック分割パラメータ）や量子化処理に係る量子化パラメータなどの選択設定可能なパラメータを含めて伝送することができる。
【０１１４】
以下、より具体的に、隣接画素非参照予測部１１の代表的な例としてインター予測によるインター予測部１１ａとし、直交変換選択制御部２５における所定の評価基準として、上述の各実施例を適用した画像符号化装置１の構成例をそれぞれ説明する。
【０１１５】
（第１実施例）
図１２は、本実施形態の画像符号化装置１の第１実施例を示すブロック図である。図１２に示す画像符号化装置１は、前処理部１０と、インター予測部１１ａと、フィルタ処理部１２と、予測残差信号生成部１３と、直交変換部１４と、量子化部１５と、逆量子化部１６と、逆直交変換部１７と、復号画像生成部１８と、ループ内フィルタ部１９と、フレームメモリ２０と、イントラ予測部２１と、動きベクトル計算部２２と、エントロピー符号化部２３と、予測画像選択部２４と、直交変換選択制御部２５とを備える。
【０１１６】
直交変換部１４は、直交変換選択制御部２５の制御下で、予測残差信号生成部１３から入力された予測残差信号に対して所定の直交変換処理を施し、その変換係数の信号を生成する。
【０１１７】
第１実施例におけるフィルタ処理部１２は、直交変換選択制御部２５の制御下で、低域通過フィルタ処理の実行と非実行が制御され、該実行時に隣接画素非参照予測であるインター予測部１１ａによって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する。該非実行時にはインター予測部１１ａによって生成された予測画像を、予測残差信号生成部１３に出力する。尚、イントラ予測など隣接画素非参照予測以外の予測時には、フィルタ処理部１２は、フィルタ処理の実行の有無は予め定めた方式に従うものとする。
【０１１８】
第１実施例における直交変換選択制御部２５の動作について図１３を参照して説明する。図１３は、本実施形態の画像符号化装置１における第１実施例の直交変換選択制御部２５の処理に関するフローチャートである。まず、直交変換選択制御部２５は、例えばフィルタ処理部１２又は予測画像選択部２４から通知を受けて、フィルタ処理部１２で処理する予測画像が隣接画素非参照予測であるか否かを判別する（ステップＳ１）。
【０１１９】
隣接画素非参照予測時に（ステップＳ１：Ｙｅｓ）、直交変換選択制御部２５は、フィルタ処理部１２に対し、フィルタ処理対象領域の信号を選出させ、復号済み隣接信号を用いて低域通過フィルタ処理の仮実行を指示する（ステップＳ２）。
【０１２０】
例えば、フィルタ処理部１２は、図５に例示するように、４×４の予測画像のブロック内の画素信号（予測信号）のうち、該予測画像の最左側と最上側の画素信号（予測信号）をフィルタ処理対象領域Ｓｆとして定める。続いて、フィルタ処理部１２は、当該予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成する。例えば、図５に例示するように、フィルタ処理部１２は、４×４の予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施すことで当該フィルタ処理後の予測画像を生成する。
【０１２１】
尚、フィルタ処理部１２によるフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタ処理を適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も図５に示す例に限定する必要はない。例えば大サイズ符号化ブロックの場合、複数行または列に対してフィルタ処理を適用してもよい。また、フィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、符号化処理の付帯情報として伝送するように構成することもできるが、送受間（符号化・復号間）で予め定めておけば伝送する必要もない。
【０１２２】
続いて、図１３を参照するに、直交変換選択制御部２５は、フィルタ処理部１２から、当該フィルタ処理の実行／非実行の各予測画像を予測ブロック情報（ｅｓｔ１）として取得する（ステップＳ３）。
【０１２３】
続いて、直交変換選択制御部２５は、この予測ブロック情報（ｅｓｔ１）から、当該フィルタ処理の実行／非実行の各予測画像を比較し、その予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）の影響が当該ブロックサイズ（本例では４×４を例示するが、ブロックサイズは問わない）に対し相対的に大きいか否かにより、当該フィルタ処理の効果が所定レベル以上であるか否かを判定する（ステップＳ４）。
【０１２４】
当該予測領域の端点の影響が当該ブロックサイズに対し相対的に大きいと判断されるとき（ステップＳ４：Ｙｅｓ）、直交変換選択制御部２５は、当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示する（ステップＳ５）。
【０１２５】
一方、当該予測領域の端点の影響が当該ブロックサイズに対し相対的に小さいと判断されるとき（ステップＳ４：Ｎｏ）、直交変換選択制御部２５は、当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示する（ステップＳ６）。
【０１２６】
尚、イントラ予測など隣接画素非参照予測以外の予測時には（ステップＳ１：Ｎｏ）、直交変換選択制御部２５は、フィルタ処理の実行の有無、及び直交変換種別は予め定めた方式に従って実行するようフィルタ処理部１２及び直交変換部１４を制御する（ステップＳ７）。
【０１２７】
このように、第１実施例では、直交変換選択制御部２５は、当該フィルタ処理によるフィルタ処理効果が所定レベル以上であるか否かの判定基準を基に、フィルタ処理の実行の有無及び適用する直交変換処理の種別を決定するようフィルタ処理部１２及び直交変換部１４を制御する。そして、直交変換選択制御部２５は、当該２種類の直交変換処理のうちのいずれを適用したかを示す変換種別識別信号を符号化パラメータの１つとしてエントロピー符号化部２３を経て復号側に出力する。
【０１２８】
以上のように、当該フィルタ処理によるフィルタ処理効果が所定レベル以上であるか否かの判定基準を基に、フィルタ処理の実行の有無及び適用する直交変換処理の種別を決定しフィルタ処理部１２及び直交変換部１４を制御するため、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。
【０１２９】
特に、隣接画素非参照予測時でも、当該フィルタ処理後の予測画像のブロックを基に得られる予測残差信号のブロックに対し、隣接画素信号間の相関を利用し、また、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるため、位相のみならず当該予測領域の端点に対応する変換基底の特徴に合致し、より顕著に符号化効率を改善することができる。
【０１３０】
（第２実施例）
次に、第２実施例を説明する。図１４は、本実施形態の画像符号化装置１の第２実施例を示すブロック図である。図１４において、図１２と同様な構成要素には同一の参照番号を付しており、その更なる詳細な説明は省略する。
【０１３１】
第２実施例におけるフィルタ処理部１２は、第１実施例と同様に、直交変換選択制御部２５の制御下で、低域通過フィルタ処理の実行と非実行が制御され、該実行時に隣接画素非参照予測であるインター予測部１１ａによって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する。該非実行時にはインター予測部１１ａによって生成された予測画像を、予測残差信号生成部１３に出力する。尚、イントラ予測など隣接画素非参照予測以外の予測時には、フィルタ処理部１２は、フィルタ処理の実行の有無は予め定めた方式に従うものとする。
【０１３２】
第２実施例における直交変換選択制御部２５の動作について図１５を参照して説明する。図１５は、本実施形態の画像符号化装置１における第２実施例の直交変換選択制御部２５の処理に関するフローチャートである。まず、直交変換選択制御部２５は、例えばフィルタ処理部１２又は予測画像選択部２４から通知を受けて、フィルタ処理部１２で処理する予測画像が隣接画素非参照予測であるか否かを判別する（ステップＳ１１）。
【０１３３】
隣接画素非参照予測時に（ステップＳ１１：Ｙｅｓ）、直交変換選択制御部２５は、フィルタ処理部１２に対し、図１（ｂ）に示すようなフィルタ処理対象領域の信号を選出させ、復号済み隣接信号を用いて低域通過フィルタ処理の仮実行を指示する（ステップＳ１２）。
【０１３４】
続いて、直交変換選択制御部２５は、フィルタ処理部１２のフィルタ処理の実行時に、直交変換部１４に対して変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いて当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックを直交変換させ、量子化部１５及びエントロピー符号化部２３により量子化処理及びエントロピー符号化処理した場合と、フィルタ処理部１２のフィルタ処理の非実行時に、直交変換部１４に対して変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いて当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックを直交変換させ、量子化部１５及びエントロピー符号化部２３により量子化処理及びエントロピー符号化処理した場合における、それぞれの発生符号化量（Ｒ）と符号化歪み量（Ｄ）のレート歪み情報（ｅｓｔ２）を、それぞれ量子化部１５及びエントロピー符号化部２３から取得する（ステップＳ１３）。
【０１３５】
続いて、直交変換選択制御部２５は、このレート歪み情報（ｅｓｔ２）から、いずれの組み合わせ（例えばフィルタ処理の実行・ＤＳＴの組み合わせと、フィルタ処理の非実行・ＤＣＴの組み合わせ）がＲＤコストとして優れているかを比較して判定する（ステップＳ１４）。
【０１３６】
当該フィルタ処理の実行、且つ変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるほうがＲＤコストとして優れていると判断されるときは（ステップＳ１４：Ｙｅｓ）、当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示する（ステップＳ１５）。
【０１３７】
一方、当該フィルタ処理の非実行、且つ変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるほうがＲＤコストとして優れていると判断されるときは（ステップＳ１４：Ｎｏ）、当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示する（ステップＳ１６）。
【０１３８】
尚、イントラ予測など隣接画素非参照予測以外の予測時には（ステップＳ１１：Ｎｏ）、直交変換選択制御部２５は、フィルタ処理の実行の有無、及び直交変換種別は予め定めた方式に従って実行するようフィルタ処理部１２及び直交変換部１４を制御する（ステップＳ１７）。
【０１３９】
このように、第２実施例では、直交変換選択制御部２５は、ＲＤ最適化により選択した結果を基に、フィルタ処理の実行の有無及び適用する直交変換処理の種別を決定しフィルタ処理部１２及び直交変換部１４を制御する。そして、直交変換選択制御部２５は、当該２種類の直交変換処理のうちのいずれを適用したかを示す変換種別識別信号を符号化パラメータの１つとしてエントロピー符号化部２３を経て復号側に出力する。
【０１４０】
以上のように、直交変換選択制御部２５は、ＲＤ最適化により選択した結果を基に、フィルタ処理の実行の有無及び適用する直交変換処理の種別を決定しフィルタ処理部１２及び直交変換部１４を制御するため、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。
【０１４１】
特に、隣接画素非参照予測時でも、当該フィルタ処理の実行を許容し、当該フィルタ処理後の予測画像のブロックを基に得られる予測残差信号のブロックに対し、隣接画素信号間の相関を利用し、また、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるため、位相のみならず当該予測領域の端点に対応する変換基底の特徴に合致し、より顕著に符号化効率を改善することができる。
【０１４２】
（画像復号装置）
次に、本実施形態の画像復号装置５における本発明に係る主要な構成要素であるフィルタ処理部５４及び逆直交変換選択制御部６０の周辺機能ブロックについて図１６を参照して説明し、その具体的な典型例の画像復号装置５について図１７を参照して説明する。
【０１４３】
図１６は、本実施形態の画像復号装置５における予測画像に係るフィルタ処理部５４及び逆直交変換選択制御部６０周辺のブロック図である。図１６に示すように、本実施形態の画像復号装置５では、逆直交変換部５２、隣接画素非参照予測部５３、フィルタ処理部５４、復号画像生成部５５、及び逆直交変換選択制御部６０を備えるように構成される。
【０１４４】
逆直交変換部５２は、逆直交変換選択制御部６０の制御下で、画像符号化装置１側から伝送されたストリーム信号を受信しエントロピー復号処理及び逆量子化処理を経て復元された変換係数に対して、逆直交変換処理を施し、得られる予測残差信号を復号画像生成部５５に出力する。
【０１４５】
フィルタ処理部５４は、画像符号化装置１側のフィルタ処理部１２と対応する機能部であり、逆直交変換選択制御部６０の制御下で、低域通過フィルタ処理の実行と非実行が制御され、該実行時に隣接画素非参照予測部５３によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。該非実行時には隣接画素非参照予測部５３によって生成された予測画像を、復号画像生成部５５に出力する。尚、イントラ予測など隣接画素非参照予測以外の予測時には、フィルタ処理部５４は、符号化側と対応し、フィルタ処理の実行の有無は予め定めた方式に従うものとする。
【０１４６】
逆直交変換選択制御部６０は、隣接画素非参照予測時に、画像符号化装置１側から得られる変換種別識別信号を参照し、処理対象の変換係数に対し変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いた旨を示すとき、当該復元した変換係数に対し当該変換基底の端部が閉じた逆直交変換処理（例えば、ＩＤＳＴ）を適用するよう逆直交変換部５２に対して指示することで選択制御するとともに、対応する当該低域通過フィルタ処理を実行するようフィルタ処理部５４に指示する。
【０１４７】
一方、画像符号化装置１側から得られる変換種別識別信号を参照し変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いた旨を示すとき、逆直交変換選択制御部６０は、当該復元した変換係数に対し当該変換基底の端部が開放した逆直交変換処理（例えば、ＩＤＣＴ）を適用するよう逆直交変換部５２に対して指示することで選択制御するとともに、対応する当該低域通過フィルタ処理を非実行とするようフィルタ処理部５４に指示する。
【０１４８】
即ち、画像符号化装置１におけるフィルタ処理部１２によって予測画像に対してフィルタ処理を経て生成された予測残差信号は、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を経て、映像の符号化効率が改善された状態で伝送されており、画像復号装置５は、この伝送に係る映像を効率的に復元することができる。尚、フィルタ処理部５４においても、フィルタ処理部１２の場合と同様に、そのフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタを適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も適宜定めればよい。そして、画像符号化装置１側からフィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、送受間（符号化・復号間）で予め定めておくか、又は符号化処理の付帯情報として伝送されているときは、これに従って画像復号装置５のフィルタ処理部５４も同様にフィルタ処理を行うことで、その復号信号の精度を高めることができる。
【０１４９】
次に、隣接画素非参照予測部５３の代表的な例としてインター予測によるインター予測部５３ａを説明し、そのインター予測による予測信号に対して、逆直交変換部５２及びフィルタ処理部５４を選択制御する逆直交変換選択制御部６０を適用した画像復号装置５の構成例を説明する。
【０１５０】
図１７は、本実施形態の画像復号装置５の一実施例を示すブロック図である。図１７に示す画像復号装置５は、エントロピー復号部５０と、逆量子化部５１と、逆直交変換部５２と、インター予測部５３ａと、フィルタ処理部５４と、復号画像生成部５５と、ループ内フィルタ部５６と、フレームメモリ５７と、イントラ予測部５８と、予測画像選択部５９と、逆直交変換選択制御部６０とを備える。
【０１５１】
逆直交変換部５２は、逆直交変換選択制御部６０の制御下で、逆量子化部５１から得られる変換係数に対して画像符号化装置１の直交変換処理に対応する逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部５５に出力する。
【０１５２】
フィルタ処理部５４は、逆直交変換選択制御部６０の制御下で、その動作として図５を参照して例示説明したものと同様に動作する。即ち、フィルタ処理部５４における本実施形態に係るフィルタ処理は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測である際に、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出し、当該予測画像に対して左側や上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、当該選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。例えば、図５に例示したように、フィルタ処理部５４は、逆直交変換選択制御部６０の制御下で、当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施し、復号画像生成部５５に出力する。
【０１５３】
逆直交変換選択制御部６０の動作について図１８を参照して説明する。図１８は、本実施形態の画像復号装置５における一実施例の逆直交変換選択制御部６０の処理に関するフローチャートである。まず、逆直交変換選択制御部６０は、現在の処理状態が、隣接画素非参照予測であるか否かを予測画像選択部５９からの通知を受けて把握する（ステップＳ２１）。
【０１５４】
続いて、逆直交変換選択制御部６０は、隣接画素非参照予測時に（ステップＳ２１：Ｙｅｓ）、画像符号化装置１から得られる変換種別識別信号を参照し、変換係数に対し変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いたものか、変換係数に対し変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いたものかを判別する（ステップＳ２２）。
【０１５５】
続いて、逆直交変換選択制御部６０は、変換係数に対し変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いたものと判別したとき（ステップＳ２３：Ｙｅｓ）、当該低域通過フィルタ処理を実行するようフィルタ処理部５４に指示するとともに、逆量子化部５１を経て復元した変換係数に対し当該変換基底の端部が閉じた逆直交変換処理（例えば、ＩＤＳＴ）を適用するよう逆直交変換部５２に対して指示することで選択制御し、フィルタ処理部５４を経て得られる予測画像に加算する予測残差信号を逆直交変換部５２に生成させる（ステップＳ２４）。
【０１５６】
一方、変換係数に対し変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いたものと判別したとき（ステップＳ２３：Ｎｏ）、逆直交変換選択制御部６０は、当該低域通過フィルタ処理を非実行とするようフィルタ処理部５４に指示するとともに、逆量子化部５１を経て復元した変換係数に対し当該変換基底の端部が開放した逆直交変換処理（例えば、ＩＤＣＴ）を適用するよう逆直交変換部５２に対して指示することで選択制御し、フィルタ処理部５４を経て得られる予測画像に加算する予測残差信号を逆直交変換部５２に生成させる（ステップＳ２５）。
【０１５７】
尚、イントラ予測など隣接画素非参照予測以外の予測時には（ステップＳ２１：Ｎｏ）、逆直交変換選択制御部６０は、フィルタ処理の実行の有無、及び直交変換種別は予め定めた方式に従って実行するよう逆直交変換部５２及びフィルタ処理部５４を制御する（ステップＳ２６）。
【０１５８】
以上のように、逆直交変換選択制御部６０は、画像符号化装置１から得られる変換種別識別信号を参照することで、適用する逆直交変換処理の種別及びフィルタ処理の実行の有無を決定し逆直交変換部５２及びフィルタ処理部５４を制御するため、画像符号化装置１側で予測残差信号における残差成分をより少なくし、少ない情報量で復号することができ、符号化側及び復号側の一連の処理で符号化効率を改善することができる。
【０１５９】
特に、隣接画素非参照予測時でも、符号化装置１側と対応して、当該フィルタ処理後の予測画像のブロックを基に得られる予測残差信号のブロックに対し、変換基底の端部が閉じた逆直交変換処理（例えば、ＩＤＳＴ）を用いるため、位相のみならず当該予測領域の端点に対応する変換基底の特徴に合致し、より顕著に符号化効率を改善することができる。
【０１６０】
以上のように構成された本実施形態の画像符号化装置１及び画像復号装置５によれば、予測画像の予測信号と、隣接する復号済みブロック信号との間に生じる信号誤差が低減され符号化効率が改善するため、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができる。
【０１６１】
〔第４実施形態〕
（画像符号化装置）
次に、本発明による第４実施形態の画像符号化装置１における本発明に係る主要な構成要素である予測画像に係るフィルタ処理部１２について、図１９及び図２０を参照して説明し、その具体的な典型例の画像符号化装置１について、図４、図２１及び図２２を参照して説明する。以下の説明は、上述の実施形態との相違点に着目して行うものとする。即ち、本実施形態において、上述の実施形態と同様な構成要素には同一の参照番号を付しており、その更なる詳細な説明は省略する。
【０１６２】
包括的には、本実施形態の画像符号化装置１は、インター予測に用いる予測画像に対してもイントラ予測と同様に、符号化し復号済の隣接信号を利用して例えば低域通過フィルタ処理を適用することで、インター予測の予測画像の最左側及び最上側の領域に対する予測残差信号を小さくするとともに、予測残差信号のブロックをブロック分割して、当該低域通過フィルタ処理の方向性に応じてＤＳＴ及びＤＣＴのいずれかを適用する。尚、現在のＨ.２６５の規格上では、ＤＳＴが適用できる予測画像のブロックサイズは小さいもの（例えば４×４）のみに制限されている。そこで、本実施形態の画像符号化装置１では、より大きい予測画像のブロックにおけるインター予測では、この予測画像に当該低域通過フィルタ処理を適用後、予め定めた規定のブロックサイズ（例えば、当該規格上のＤＳＴの適用が許されるブロックサイズ）までブロック分割を行った後、ＤＳＴ及びＤＣＴのいずれを適用するかをフラグ無しに決定し、対応する直交変換処理を実行するよう構成する。
【０１６３】
図１９（ａ）は、本実施形態の画像符号化装置１における予測画像に係るフィルタ処理部１２周辺のブロック図であり、図１９（ｂ）は、フィルタ処理部１２によるその予測画像のフィルタ処理例を示す説明図である。
【０１６４】
図１９（ａ）に示すように、本実施形態の画像符号化装置１では、隣接画素非参照予測部１１、フィルタ処理部１２、予測残差信号生成部１３、及び直交変換部１４を備えるように構成される。直交変換部１４は、ブロック分割部１４１及び直交変換選択適用部１４２を備える。
【０１６５】
本実施形態におけるフィルタ処理部１２は、隣接画素非参照予測部１１によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する機能部である。
【０１６６】
例えば、図１９（ｂ）に示すように、フィルタ処理部１２は、原画像の符号化対象領域のブロックＢｋｏに対応する８×８の画素信号ｐよりなる予測画像のブロックＢｋｐが隣接画素非参照予測部１１によって生成されたとすると、該予測画像に対して隣接する当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像における最左側及び最上側の画素信号（予測信号）をフィルタ対象領域の信号Ｓｆとして、それぞれ例えば水平フィルタ、垂直フィルタ及び角フィルタなどの平滑化フィルタ（図示する両矢印）などの低域通過フィルタ処理を施すことにより、新たな予測信号よりなる予測画像を生成する。
【０１６７】
より具体的に、図１９（ｂ）に示す例では、予測画像のブロックＢｋｐの上側の平滑化フィルタ対象画素については、横方向に同一座標に位置する復号済み隣接信号（局部復号画像の画素信号）を用いて平滑化フィルタ処理を行い、左側の平滑化フィルタ対象画素については、縦方向に同一座標に位置する復号済み隣接信号（局部復号画像の画素信号）を用いて平滑化フィルタ処理を行う。上側且つ左側に位置する対象画素については、上側、左側の局部復号映像の画素を用いて平滑化フィルタ処理を行う。尚、図１９（ｂ）に示す例では、参照画素２画素を用いた３タップの平滑化フィルタ処理を適用している。例えば、１/４［１ ２ １］などの低域通過フィルタ処理を適用する。尚、低域通過フィルタ処理のタップ数や参照画素については、この例の限りではない。
【０１６８】
直交変換部１４は、ブロック分割部１４１及び直交変換選択適用部１４２を備えており、ブロック分割部１４１は、予測残差信号生成部１３から入力された予測残差信号のブロックに対して予め指定されたブロック形状に分割して直交変換選択適用部１４２に出力し、直交変換選択適用部１４２は、ブロック分割された予測残差信号の各ブロックについて、フィルタ処理部１２によるフィルタ処理を適用した位置に応じた複数種の直交変換処理（縦方向/横方向ＤＳＴと、縦方向/横方向ＤＣＴの組み合わせ）を選択適用する。
【０１６９】
例えば、図１９（ｂ）に示すように、ブロック分割部１４１は、８×８の画素信号ｐよりなる予測画像のブロックＢｋｐに対する予測残差信号のブロックを４×４の予測残差信号の４つのブロック（左上、右上、左下及び右下）に分割して直交変換選択適用部１４２に出力する。このとき、直交変換選択適用部１４２は、ブロック分割部１４１により分割された分割ブロックのうち、平滑化フィルタ処理を適用した画素位置を含む上端及び左端に位置する予測残差信号の分割ブロックに対して、復号済み隣接信号のブロックに対する相関性の高さを利用した変換係数を扱うことができるよう、平滑化フィルタ処理を適用した位置に応じた複数種の直交変換処理（縦方向/横方向ＤＳＴと、縦方向/横方向ＤＣＴの組み合わせ）を適用し、その他の分割ブロックについては縦・横方向ＤＣＴの直交変換処理を適用する。尚、縦方向とは垂直方向を意味し、横方向とは水平方向を意味する。ここでは、縦方向ＤＳＴ及び横方向ＤＣＴよりなる直交変換処理を第１直交変換処理とし、横方向ＤＳＴ及び縦方向ＤＣＴよりなる直交変換処理を第２直交変換処理とし、縦・横方向ＤＳＴよりなる直交変換処理を第３直交変換処理とし、縦・横方向ＤＣＴよりなる直交変換処理を第４直交変換処理とする。
【０１７０】
尚、図１９（ｂ）に示す例では、８×８の画素信号ｐよりなる予測画像のブロックＢｋｐに対する予測残差信号のブロックを４×４の予測残差信号の４つのブロック（左上、右上、左下及び右下）に分割する例を示したが、予め定められた規定のブロックサイズ（本例では４×４）に対し縦・横に２倍したサイズ（本例では８×８）よりも大きいブロックサイズの予測画像のブロックに対応する予測残差信号のブロックについては、復号済み隣接信号と隣接する位置の分割ブロック（本例では上端及び左端に位置する分割ブロック）は、規定（本例では４×４）のブロックサイズとし、その他のブロックは可能な限り大きいブロックサイズとなるよう分割した上で、符号化する画像の特徴に応じた再分割を適宜行っていくのが好適である。例えば符号化する画像の特徴に応じて、図２０（ａ）に示すように、３２×３２のブロックサイズの予測残差信号のブロックの上端及び左端に位置する分割ブロックを４×４とし、その上端及び左端から遠ざかるに従って拡大したブロックサイズの分割ブロックとなるよう分割することができる。このようにブロック分割を行うことで、後段の直交変換選択適用部１４２では、平滑化フィルタ処理対象画素位置が含まれる予測残差信号の分割ブロックについて、その信号特性に適した直交変換を選択し適用することが可能となる。
【０１７１】
例えば、直交変換選択適用部１４２は、図２０（ａ）に示すように、分割された予測残差信号の分割ブロックのうち、平滑化フィルタ処理を適用した画素が最上側にある場合（即ち平滑化フィルタ処理の適用方向が垂直方向である場合）、当該最上側に位置する予測残差信号の分割ブロックＢｋｔ１に対して縦方向ＤＳＴ及び横方向ＤＣＴの第１直交変換処理を適用し（図２０（ｂ）参照）、平滑化フィルタ処理を適用した画素が最左側にある場合（即ち平滑化フィルタ処理の適用方向が水平方向である場合）、当該最左側に位置する予測残差信号の分割ブロックＢｋｔ２に対して横方向ＤＳＴ及び縦方向ＤＣＴの第２直交変換処理を適用する（図２０（ｃ）参照）。そして、平滑化フィルタ処理を適用した画素が当該最上側であり、且つ当該最左側にある場合（即ち平滑化フィルタ処理の適用方向が角フィルタ処理の適用方向である場合）、当該角領域に位置する分割ブロックＢｋｔ３に対して縦・横方向ＤＳＴの第３直交変換処理を適用する。また、平滑化フィルタ処理を適用した画素が存在しない予測残差信号の分割ブロックＢｋｔ４については、縦・横方向にＤＣＴの第４直交変換処理を適用する。図１９（ｂ）のようにブロック分割した場合も同様に直交変換処理を行う。これにより、復号済み隣接信号のブロックに対する相関性の高さを最大限に利用した変換係数を扱うことができる。
【０１７２】
次に、隣接画素非参照予測部１１の代表的な例としてインター予測によるインター予測部１１ａを説明し、その予測画像のブロックの予測信号に対して、フィルタ処理部１２によりフィルタ処理を施す画像符号化装置１の構成及びその動作例について、図２１乃至図２３を参照して説明する。
【０１７３】
図２１は、本実施形態の画像符号化装置１の一実施例を示すブロック図である。図２１に示す画像符号化装置１は、前処理部１０と、インター予測部１１ａと、フィルタ処理部１２と、予測残差信号生成部１３と、直交変換部１４と、量子化部１５と、逆量子化部１６と、逆直交変換部１７と、復号画像生成部１８と、ループ内フィルタ部１９と、フレームメモリ２０と、イントラ予測部２１と、動きベクトル計算部２２と、エントロピー符号化部２３と、予測画像選択部２４とを備える。
【０１７４】
直交変換部１４は、予測残差信号生成部１３から入力された予測残差信号に対して所定の直交変換処理を施し、その変換係数の信号を生成する。特に、直交変換部１４は、ブロック分割部１４１及び直交変換選択適用部１４２を備えており、ブロック分割部１４１は、予測残差信号生成部１３から入力された予測残差信号のブロックに対して予め指定されたブロック形状に分割して直交変換選択適用部１４２に出力し、直交変換選択適用部１４２は、ブロック分割された予測残差信号の各分割ブロックについて、フィルタ処理部１２によるフィルタ処理を適用した位置に応じた複数種の直交変換処理（縦方向/横方向ＤＳＴと、縦方向/横方向ＤＣＴの組み合わせ）を適用する。これらのブロック分割処理に関するブロック分割パラメータは符号化処理の付帯情報とする符号化パラメータの１つとしてエントロピー符号化部２３（及び逆直交変換部１７）に出力される。
【０１７５】
逆直交変換部１７は、逆量子化部１６から得られる逆量子化後の変換係数の信号に対して逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部１８に出力する。特に、逆直交変換部１７は、ブロック分割されていた変換係数に対して、図２０と同様に直交変換処理の種別を判定し、各直交変換処理と対応する逆直交変換処理を施し、並列処理可能に得られる予測残差信号の各分割ブロックを結合して予測画像のブロックサイズに対応するブロックを再構成し、復号画像生成部１８に出力する。
【０１７６】
フィルタ処理部１２の一動作例について、図２２を参照して説明する。図２２に示すように、フィルタ処理部１２は、イントラ予測部２１又はインター予測部１１ａからの予測画像を入力すると（ステップＳ１）、当該予測画像が隣接画素非参照予測であるか否か、即ち本例では予測画像選択部２４による信号選択に基づいてインター予測であるか否かを識別する（ステップＳ２）。尚、隣接画素非参照予測が前述したイントラブロックコピー予測やクロスコンポーネント信号予測である場合も同様である。
【０１７７】
続いて、フィルタ処理部１２は、当該予測画像が隣接画素非参照予測ではない、即ち本例ではイントラ予測であると判定するときは（ステップＳ２：Ｎｏ）、予め定めた処理方式によりフィルタ処理を実行するか否かを判定する（ステップＳ５）。イントラ予測の予測画像に対してフィルタ処理を実行しない場合（ステップＳ５：Ｎｏ）、フィルタ処理部１２は、当該予測信号に対してフィルタ処理を実行することなく予測残差信号生成部１３に出力する（ステップＳ６）。一方、イントラ予測の予測画像に対してフィルタ処理を実行する場合（ステップＳ５：Ｙｅｓ）、フィルタ処理部１２は、ステップＳ３に移行する。尚、イントラ予測の予測画像に対するフィルタ処理は、現在規定されているＨ.２６５と同様に処理すればよく、本発明の主旨とは直接関係していないため、ステップＳ３の説明はインター予測の予測画像に対してフィルタ処理を実行する例を説明する。
【０１７８】
フィルタ処理部１２は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測であると判定すると（ステップＳ２：Ｙｅｓ）、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出する（ステップＳ３）。例えば、図１９（ｂ）に示す例では、８×８の予測画像のブロック内の画素信号（予測信号）のうち、該予測画像の最左側と最上側の画素信号（予測信号）をフィルタ処理対象領域Ｓｆとして定める。
【０１７９】
続いて、フィルタ処理部１２は、当該予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する（ステップＳ４）。
【０１８０】
尚、フィルタ処理部１２によるフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタ処理を適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も図１９（ｂ）に示す例に限定する必要はない。また、フィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、符号化処理の付帯情報として伝送するように構成することもできるが、送受間（符号化・復号間）で予め定めておけば伝送する必要もない。
【０１８１】
このようにフィルタ処理部１２によって予測画像に対してフィルタ処理を施すことで、直交変換部１４の直交変換処理の種別に関わらず、予測画像内の最左側と最上側の画素信号（予測信号）と、これに隣接する復号済み信号との間に生じる信号誤差が低減され、映像の符号化効率を改善することができる。
【０１８２】
次に、直交変換部１４の一動作例について、図２３を参照して説明する。図２３に示すように、直交変換部１４は、ブロック分割部１４１により、予測残差信号生成部１３から入力された予測残差信号のブロックに対して予め指定されたブロック形状に分割する（ステップＳ１１）。このとき、ブロック分割部１４１は、８×８より大きいブロックサイズの予測画像のブロックに対して（例えば３２×３２のブロックサイズの予測画像に対して）、その上端及び左端に位置する予測残差信号の分割ブロックを規定（本例では４×４）のブロックサイズとし、その他のブロックは可能な限り大きいブロックサイズとなるよう分割した上で、符号化する画像の特徴に応じた再分割を適宜行う。
【０１８３】
続いて、直交変換部１４は、直交変換選択適用部１４２により、分割された予測残差信号の分割ブロックに対して直交変換処理を施す際に、フィルタ処理部１２によるフィルタ処理を適用した画素位置を含むか否か（即ち、予測画像の最上側又は最左側の画素位置を含むブロックの予測残差信号であるか否か）を判定し（ステップＳ１２）、当該フィルタ処理を適用した画素位置を含む分割ブロックではないと判定したとき（ステップＳ１２：Ｎｏ）、当該予測残差信号の分割ブロックに対して縦・横方向にＤＣＴの第４直交変換処理を適用する（ステップＳ１５）。
【０１８４】
一方、フィルタ処理部１２によるフィルタ処理を適用した画素位置を含む分割ブロックであると判定したとき（ステップＳ１２：Ｙｅｓ）、フィルタ処理部１２による垂直方向のフィルタ処理のみを適用したか（即ち、予測画像の最上側の画素のみを含むブロックの予測残差信号であるか）を判定し（ステップＳ１３）、当該垂直方向のフィルタ処理のみを適用したのであれば（ステップＳ１３：Ｙｅｓ）、当該予測残差信号の分割ブロックに対して縦方向ＤＳＴ及び横方向ＤＣＴの第１直交変換処理を適用する（ステップＳ１６）。
【０１８５】
続いて、当該垂直方向のフィルタ処理のみを適用したものではないとき（ステップＳ１２：Ｎｏ）、フィルタ処理部１２による水平方向のフィルタ処理のみを適用したか（即ち、予測画像の最左側の画素のみを含むブロックの予測残差信号であるか）を判定し（ステップＳ１４）、当該水平方向のフィルタ処理のみを適用したのであれば（ステップＳ１４：Ｙｅｓ）、当該予測残差信号の分割ブロックに対して横方向ＤＳＴ及び縦方向ＤＣＴの第２直交変換処理を適用する（ステップＳ１７）。
【０１８６】
そして、フィルタ処理部１２による水平及び垂直方向のフィルタ処理を適用したと判定されるとき（即ち、予測画像の最上側、且つ最左側の画素位置を含むブロックの予測残差信号であるとき）（ステップＳ１４：Ｎｏ）、当該予測残差信号の分割ブロックに対して縦・横方向ＤＳＴの第３直交変換処理を適用する（ステップＳ１８）。
【０１８７】
尚、図２３では、その処理内容の理解を高めるために、逐次的に直交変換処理を行うように説明したが、実装上では並列処理可能である。これにより、復号済み隣接信号のブロックに対する相関性の高さを最大限に利用した変換係数を扱うことができる。
【０１８８】
（画像復号装置）
次に、本実施形態の画像復号装置５における本発明に係る主要な構成要素であるフィルタ処理部５４とその周辺機能ブロックについて図２４を参照して説明し、その具体的な典型例の画像復号装置５について図２５を参照して説明する。
【０１８９】
図２４は、本実施形態の画像復号装置５における予測画像に係るフィルタ処理部５４周辺のブロック図である。図２４に示すように、本実施形態の画像復号装置５では、逆直交変換部５２、隣接画素非参照予測部５３、フィルタ処理部５４、及び復号画像生成部５５を備えるように構成される。また、逆直交変換部５２は、逆直交変換選択適用部５２１及びブロック再構成部５２２を備える。
【０１９０】
逆直交変換部５２は、画像符号化装置１側から伝送されたストリーム信号を受信しエントロピー復号処理及び逆量子化処理を経て復元された変換係数に対して、逆直交変換処理を施し、得られる予測残差信号を復号画像生成部５５に出力する。特に、逆直交変換部５２は、逆直交変換選択適用部５２１及びブロック再構成部５２２を備えており、逆直交変換選択適用部５２１は、画像符号化装置１側によってブロック分割されていた変換係数に対して、図２３と同様に直交変換処理の種別を判定し、画像符号化装置１における直交変換処理と対応する逆直交変換処理を施し、予測残差信号の分割ブロックをブロック再構成部５２２に出力する。ブロック再構成部５２２は、並列処理可能に得られる予測残差信号の分割ブロックを結合して予測画像のブロックサイズに対応するブロックを再構成し、復号画像生成部５５に出力する。
【０１９１】
次に、隣接画素非参照予測部５３の代表的な例としてインター予測によるインター予測部５３ａを説明し、そのインター予測による予測信号に対して、フィルタ処理部５４によりフィルタ処理を施す画像復号装置５の構成及びその動作例について、図２５を参照して説明する。
【０１９２】
図２５は、本実施形態の画像復号装置５の一実施例を示すブロック図である。図２５に示す画像復号装置５は、エントロピー復号部５０と、逆量子化部５１と、逆直交変換部５２と、インター予測部５３ａと、フィルタ処理部５４と、復号画像生成部５５と、ループ内フィルタ部５６と、フレームメモリ５７と、イントラ予測部５８と、予測画像選択部５９とを備える。
【０１９３】
逆直交変換部５２は、逆量子化部５１から得られる変換係数に対して画像符号化装置１の直交変換処理に対応する逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部５５に出力する。特に、逆直交変換部５２は、逆直交変換選択適用部５２１及びブロック再構成部５２２を備えており、逆直交変換選択適用部５２１は、画像符号化装置１側によってブロック分割されていた変換係数に対して逆直交変換処理を施し、予測残差信号の分割ブロックをブロック再構成部５２２に出力する。ブロック再構成部５２２は、並列処理可能に得られる予測残差信号の分割ブロックを結合して予測画像のブロックサイズに対応するブロックを構成し、復号画像生成部５５に出力する。
【０１９４】
フィルタ処理部５４は、その動作として図２２を参照して例示説明したものと同様に動作する。即ち、フィルタ処理部５４における本発明に係るフィルタ処理は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測である際に、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出し、当該予測画像に対して左側や上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、当該選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。例えば、図１９（ｂ）に例示したように、フィルタ処理部５４は、当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施し、復号画像生成部５５に出力する。
【０１９５】
以上のように構成された本実施形態の画像符号化装置１及び画像復号装置５によれば、予測画像の予測信号と、隣接する復号済みブロック信号との間に生じる信号誤差が低減され符号化効率が改善するため、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができる。即ち、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。
【０１９６】
〔第５実施形態〕
次に、本発明による第５実施形態の画像符号化装置１及び画像復号装置５におけるそれぞれのフィルタ処理部１２，５４周辺の構成について図２６を参照して説明する。上述の第４実施形態のフィルタ処理部１２，５４では、隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する「復号済みの信号（復号済み隣接信号）のみ」を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成する例を説明した。
【０１９７】
一方、本実施形態のフィルタ処理部１２，５４では、ブロック分割部１４１のブロック分割処理に基づく分割ブロックごとの局部復号画像を取得し、この局部復号画像を取得する度に隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）を置き換えて、予測残差信号の分割ブロックのブロックサイズ単位で、当該置き換えられた予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）及び分割ブロックごとの局部復号画像を用いて、それぞれのブロックサイズに応じた低域通過フィルタ処理を施すよう構成される。
【０１９８】
従って、図２６（ａ），（ｂ）に示すように、フィルタ処理部１２，５４は、ブロック分割部１４１のブロック分割処理に基づく分割ブロックごとの局部復号画像を取得し、この局部復号画像を取得する度に隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）を置き換えて予測画像を更新し、この更新した予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）及び分割ブロックごとの局部復号画像を用いて、それぞれのブロックサイズに応じた低域通過フィルタ処理を施すよう構成される点で、それぞれ図１９（ａ）及び図２４に示す構成と相違しているが、他の構成要素の動作は同様である。
【０１９９】
その一例の動作として、図２６（ｂ）に示す逆直交変換部５２におけるブロック再構成部５２２は、図２４に示す構成と相違して、処理対象の分割ブロックの位置を定めて予測画像と対応するブロックサイズに再構成する際に、処理対象の分割ブロック以外の領域はダミーデータで補完する。これにより、分割ブロックごとの局部復号画像が得られるように構成することができる。或いは、分割ブロックごとの局部復号画像が得られるように別ループを構成してもよい。従って、本実施形態の画像符号化装置１における逆直交変換部１７も、本実施形態の逆直交変換部５２と同様に構成すればよい。尚、第４実施形態の場合でも同様であるが、フレームメモリ２０では、分割ブロックごとの局部復号画像を参照信号として利用できるよう保持することができる。
【０２００】
図２７は、本実施形態の画像符号化装置１又は画像復号装置５における予測画像のフィルタ処理１２，５４に関するフローチャートである。また、図２８は、本実施形態の画像符号化装置１又は画像復号装置５における予測画像のフィルタ処理１２，５４に関する説明図である。
【０２０１】
まず、フィルタ処理部１２，５４は、予測画像を入力すると、ブロック分割部１４１のブロック分割処理に基づく分割ブロックごとの局部復号画像を取得し、予測画像に対して置き換えて更新した予測画像を生成する（ステップＳ２１）。例えば、図２８に例示するように、８×８の予測画像のブロックＢｋｐは、例えば白抜き矢印に示す順に４分割されたブロックサイズの局部復号画像のブロックＢｋＬで逐次置き換えられて更新されることになるが、以下の処理は１つの分割ブロックごとの局部復号画像で予測画像を更新した際の動作を示している（例えば、図示“ＳＴＥＰ１”）。
【０２０２】
続いて、フィルタ処理部１２，５４は、当該予測画像が隣接画素非参照予測であるか否か、例えばインター予測であるか否かを識別する（ステップＳ２２）。尚、隣接画素非参照予測が前述したイントラブロックコピー予測やクロスコンポーネント信号予測である場合も同様である。
【０２０３】
続いて、フィルタ処理部１２，５４は、当該予測画像が隣接画素非参照予測ではない、例えばイントラ予測であると判定するときは（ステップＳ２２：Ｎｏ）、予め定めた処理方式によりフィルタ処理を実行するか否かを判定する（ステップＳ２５）。イントラ予測の予測画像に対してフィルタ処理を実行しない場合（ステップＳ２５：Ｎｏ）、フィルタ処理部１２，５４は、当該予測信号に対してフィルタ処理を実行することなく予測残差信号生成部１３や復号画像生成部５５に出力する（ステップＳ２６）。一方、イントラ予測の予測画像に対してフィルタ処理を実行する場合（ステップＳ２５：Ｙｅｓ）、フィルタ処理部１２，５４は、ステップＳ２３に移行する。尚、イントラ予測の予測画像に対するフィルタ処理は、現在規定されているＨ.２６５と同様に処理すればよく、本発明の主旨とは直接関係していないため、ステップＳ２３の説明はインター予測の予測画像に対してフィルタ処理を実行する例を説明する。
【０２０４】
フィルタ処理部１２，５４は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測であると判定すると（ステップＳ２２：Ｙｅｓ）、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出する（ステップＳ２３）。例えば、図２８に例示するように、本例では４×４の分割ブロック単位で、隣接信号に対する最左側と最上側の画素信号（予測信号）をフィルタ処理対象領域Ｓｆとして定める。
【０２０５】
続いて、フィルタ処理部１２，５４は、分割ブロックの局部復号画像で置換した予測画像に対して分割ブロックごとに左側及び／又は上側に隣接する復号済みの信号（復号済み隣接信号）及び当該局部復号画像を用いて、選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３や復号画像生成部５５に出力する（ステップＳ２４）。
【０２０６】
このように予測画像の左側及び/又は上側に隣接する復号済みの信号（復号済み隣接信号）と、分割ブロックごとに左側及び/又は上側に隣接する当該局部復号画像を用いて低域通過フィルタ処理を施すことにより、例えば、図２８に例示するように、８×８の予測画像のブロックＢｋｐは、その上側及び左側のみならず、本例では十字となる分割ブロックの境界位置で、その画素信号が平滑化される（例えば、図示“ＳＴＥＰ２”）。
【０２０７】
本実施形態のようにフィルタ処理部１２，５４を構成し、それぞれ画像符号化装置１及び画像復号装置５に適用することで、符号化効率を改善しつつ、これに起因する画質の劣化を抑制することができる。特に、大きい値の予測残差信号となりうる予測画像の最左側又は最上側に位置する分割ブロック以外の分割ブロック（ブロック分割したときの予測画像の内側に位置するブロック）の信号においても、分割ブロックごとの最左側及び最上側の予測残差信号の値を小さくすることができる。
【０２０８】
尚、本実施形態の例では、全ての分割ブロックがフィルタ処理対象の画素位置を含むこととなるため、縦方向又は横方向のＤＳＴを常時適用することになる。このため、本実施形態の例では、ブロック分割する際のブロック形状は、第４実施形態のように、対応する予測残差信号のブロックにおける上端及び左端に位置する分割ブロックは、規定（本例では４×４）のブロックサイズとし、その他のブロックは可能な限り大きいブロックサイズとなるよう分割した上で、符号化する画像の特徴に応じた再分割を適宜行っていくのが好適である。その上端及び左端から遠ざかるに従って拡大したブロックサイズとなるよう分割する必要は無く、全てＤＳＴの適用が可能な規定サイズ（本例では４×４）まで分割し、図２３に示すような処理順に従ってＤＳＴを適用することができる。
【０２０９】
また、上述の第４実施形態と本実施形態とを比較すると、第４実施形態では予測残差信号の各分割ブロックが独立して処理できるため並列処理可能であるというメリットがあり、一方、本実施形態では分割ブロック単位の局部復号画像を逐次利用できるため、符号化効率のより大きな改善が期待できる。
【０２１０】
また、符号化対象ブロックごとに、ブロック分割のブロック形状を可変に設定し、符号化パラメータの１つとしてブロック分割パラメータを伝送することができるため、第４実施形態と本実施形態とを組み合わせた実施形態とすることもできる。
【０２１１】
各実施形態の画像符号化装置１、及び画像復号装置５をそれぞれコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリに記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）等の制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、各実施形態の画像符号化装置１、及び画像復号装置５の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
【０２１２】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述した例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した各実施形態の例では、符号化対象領域、予測画像、及び直交変換処理対象のブロックサイズを同じとする例を説明したが、予測画像のブロックサイズを符号化対象領域よりも小さくすることや、直交変換処理対象のブロックサイズを予測画像よりも小さくして処理する場合にも同様に適用することができる。また、直交変換処理は、用途に応じて符号化処理に用いられているものをそのまま利用できるし、別のものとしてもよい。
【０２１３】
また、上述した各実施形態の例では、画像復号装置５は、対応する画像符号化装置１によってフィルタ処理を施された予測画像に基づいて符号化された予測残差信号に関する変換係数を対象に復号する例を説明したが、原画像に対するブロック端部の復元精度を問題にしない用途であれば、本発明に係る画像復号装置５は、フィルタ処理を介することなく符号化された信号に対しても同じ処理で復号することができる。
【産業上の利用可能性】
【０２１４】
本発明によれば、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができるので、映像伝送の符号化効率を改善したい用途に有用である。
【符号の説明】
【０２１５】
１  画像符号化装置
５  画像復号装置
１０  前処理部
１１  隣接画素非参照予測部
１１ａ  インター予測部
１２  フィルタ処理部
１３  予測残差信号生成部
１４  直交変換部
１５  量子化部
１６  逆量子化部
１７  逆直交変換部
１８  復号画像生成部
１９  ループ内フィルタ部
２０  フレームメモリ
２１  イントラ予測部
２２  動きベクトル計算部
２３  エントロピー符号化部
２４  予測画像選択部
２５  直交変換選択制御部
５０  エントロピー復号部
５１  逆量子化部
５２  逆直交変換部
５３  隣接画素非参照予測部
５３ａ  インター予測部
５４  フィルタ処理部
５５  復号画像生成部
５６  ループ内フィルタ部
５７  フレームメモリ
５８  イントラ予測部
５９  予測画像選択部
６０  逆直交変換選択制御部
１０１  水平方向相関判定部
１０２  垂直方向相関判定部
１０３  フィルタ処理決定部
１０４  フィルタ処理実行部
１４１  ブロック分割部
１４２  直交変換選択適用部
５２１  逆直交変換選択適用部
５２２  ブロック再構成部
【図１】
2017030199.tif 000003
【図２】
2017030199.tif 000004
【図３】
2017030199.tif 000005
【図４】
2017030199.tif 000006
【図５】
2017030199.tif 000007
【図６】
2017030199.tif 000008
【図７】
2017030199.tif 000009
【図８】
2017030199.tif 000010
【図９】
2017030199.tif 000011
【図１０】
2017030199.tif 000012
【図１１】
2017030199.tif 000013
【図１２】
2017030199.tif 000014
【図１３】
2017030199.tif 000015
【図１４】
2017030199.tif 000016
【図１５】
2017030199.tif 000017
【図１６】
2017030199.tif 000018
【図１７】
2017030199.tif 000019
【図１８】
2017030199.tif 000020
【図１９】
2017030199.tif 000021
【図２０】
2017030199.tif 000022
【図２１】
2017030199.tif 000023
【図２２】
2017030199.tif 000024
【図２３】
2017030199.tif 000025
【図２４】
2017030199.tif 000026
【図２５】
2017030199.tif 000027
【図２６】
2017030199.tif 000028
【図２７】
2017030199.tif 000029
【図２８】
2017030199.tif 000030
【図２９】
2017030199.tif 000031
【国際調査報告】
2017030199.tif 000032
2017030199.tif 000033
2017030199.tif 000034
2017030199.tif 000035