(57)【要約】      （修正有）【課題】使用するメモリ量を削減することができる画像符号化装置及び画像復号装置を提供する。【解決手段】画像符号化装置は、符号化ブロックに係る入力画像と予測画像との差分である差分画像と予測画像とを加算して得られる復号画像に対するフィルタリング処理を実施して、復号画像の隣接する、差分画像を変換するための変換ブロックの境界に生じるブロック歪みを除去する歪み除去手段と、フィルタの強度を定めるパラメータの基準値に対するオフセットを符号化データに符号化する符号化手段を備える。歪み除去手段は、フィルタリング処理が適用される画素を含むパーティションの中の動きパラメータの状態を含む複数の条件にしたがって、オフセットを用いてパラメータを導出する。パラメータを用いて異なる複数のフィルタリング処理から１つのフィルタリング処理を選択する。【選択図】図１
2020102855.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に符号化ブロック単位の符号化処理を実施する画像符号化装置であって、
上記符号化ブロックに係る上記入力画像と予測画像との差分である差分画像と上記予測画像とを加算して得られる復号画像に対するフィルタリング処理を実施して、上記復号画像の隣接する、上記差分画像を変換するための変換ブロックの境界に生じるブロック歪みを除去する歪み除去手段と、
フィルタの強度を定めるパラメータの基準値に対するオフセットを符号化データに符号化する符号化手段を備え、
上記歪み除去手段は、上記フィルタリング処理が適用される画素を含むパーティションの中の動きパラメータの状態を含む複数の条件にしたがって、上記オフセットを用いて上記パラメータを導出し、上記パラメータは異なる複数のフィルタリング処理から１つのフィルタリング処理を選択する処理に使用されることを特徴とする画像符号化装置。
【請求項２】
画像を符号化ブロック単位に符号化処理して得られる符号化データの復号処理を実施する画像復号装置であって、
上記符号化データから上記符号化ブロックに係る差分画像の圧縮データ、及びフィルタの強度を定めるパラメータの基準値に対するオフセットを復号する復号手段と、
上記圧縮データから復号された差分画像と上記符号化ブロックの予測画像とを加算して得られる復号画像に対するフィルタリング処理を実施して、上記復号画像の隣接する変換ブロックの境界に生じるブロック歪みを除去する歪み除去手段を備え、
上記歪み除去手段は、上記フィルタリング処理が適用される画素を含むパーティションの中の動きパラメータの状態を含む複数の条件にしたがって、上記オフセットを用いて上記パラメータを導出し、上記パラメータは異なる複数のフィルタリング処理から１つのフィルタリング処理を選択する処理に使用されることを特徴とする画像復号装置。
【請求項３】
入力画像に符号化ブロック単位の符号化処理を実施する画像符号化方法であって、
上記符号化ブロックに係る上記入力画像と予測画像との差分である差分画像と上記予測画像とを加算して得られる復号画像に対するフィルタリング処理を実施して、上記復号画像の隣接する、上記差分画像を変換するための変換ブロックの境界に生じるブロック歪みを除去する歪み除去処理ステップと、
フィルタの強度を定めるパラメータの基準値に対するオフセットを符号化データに符号化する符号化ステップを備え、
上記歪み除去処理ステップは、上記フィルタリング処理が適用される画素を含むパーティションの中の動きパラメータの状態を含む複数の条件にしたがって、上記オフセットを用いて上記パラメータを導出し、上記パラメータは異なる複数のフィルタリング処理から１つのフィルタリング処理を選択する処理に使用されることを特徴とする画像符号化方法。
【請求項４】
画像を符号化ブロック単位に符号化処理して得られる符号化データの復号処理を実施する画像復号方法であって、
上記符号化データから上記符号化ブロックに係る差分画像の圧縮データ、及びフィルタの強度を定めるパラメータの基準値に対するオフセットを復号する復号ステップと、
上記圧縮データから復号された差分画像と上記符号化ブロックの予測画像とを加算して得られる復号画像に対するフィルタリング処理を実施して、上記復号画像の隣接する変換ブロックの境界に生じるブロック歪みを除去する歪み除去処理ステップを備え、
上記歪み除去処理ステップは、上記フィルタリング処理が適用される画素を含むパーティションの中の動きパラメータの状態を含む複数の条件にしたがって、上記オフセットを用いて上記パラメータを導出し、上記パラメータは異なる複数のフィルタリング処理から１つのフィルタリング処理を選択する処理に使用されることを特徴とする画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法と、画像符号化装置により伝送された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。
【背景技術】
【０００２】
従来、ＭＰＥＧやＩＴＵ−Ｔ  Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測差分信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
ただし、圧縮率が高くなると、動き補償予測を実施する際に用いる予測参照画像の品質が低下することに起因して、圧縮効率が妨げられる問題がある。
そのため、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、ループ内ブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。
【０００３】
ここで、図１６は非特許文献１に開示されている画像符号化装置を示す構成図である。
この画像符号化装置では、ブロック分割部１０１が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測差分信号を算出する。
【０００４】
特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
そして、その動きベクトルを用いて、メモリ１０７により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測差分信号を算出する。
また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
【０００５】
圧縮部１０３は、予測部１０２から予測差分信号を受けると、その予測差分信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部１０２から出力された予測差分信号に相当する予測差分信号を算出する。
【０００６】
加算器１０５は、局所復号部１０４から予測差分信号を受けると、その予測差分信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。
【０００７】
可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。
【０００８】
ここで、非特許文献１に開示されている方式では、ループフィルタ１０６が、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて平滑化強度（フィルタ強度）を決定し、局所復号画像に対するフィルタリング処理を実施することで、ブロック境界に発生する歪み（ブロック歪み）の低減を図っている。
これによって、参照画像信号の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の画像符号化装置は以上のように構成されているので、ループフィルタ１０６がブロック歪みを除去する際、当該ブロックの輝度信号成分に対するフィルタの強度については符号化モード等に基づいて決定されるが、当該ブロックの色差信号成分に対するフィルタの強度については、輝度信号成分に対するフィルタの強度を流用するものである。このため、色差信号成分に対するフィルタの強度は必ずしも適正であるとは限らず、画質の改善効果が限定的であるなどの課題があった。
【００１１】
この発明は上記のような課題を解決するためになされたもので、ブロック歪みの除去精度を高めて、符号化画像の品質を改善することができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、ブロック歪みの除去精度を高めて、復号画像の品質を改善することができる画像復号装置及び画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１２】
この発明に係る画像符号化装置は、入力画像に符号化ブロック単位の符号化処理を実施する画像符号化装置であって、符号化ブロックに係る入力画像と予測画像との差分である差分画像と予測画像とを加算して得られる復号画像に対するフィルタリング処理を実施して、復号画像の隣接する、差分画像を変換するための変換ブロックの境界に生じるブロック歪みを除去する歪み除去手段と、フィルタの強度を定めるパラメータの基準値に対するオフセットを符号化データに符号化する符号化手段を備え、歪み除去手段は、フィルタリング処理が適用される画素を含むパーティションの中の動きパラメータの状態を含む複数の条件にしたがって、オフセットを用いてパラメータを導出し、パラメータは異なる複数のフィルタリング処理から１つのフィルタリング処理を選択する処理に使用されることを特徴とする。
【発明の効果】
【００１３】
この発明によれば、入力画像に符号化ブロック単位の符号化処理を実施する画像符号化装置であって、符号化ブロックに係る入力画像と予測画像との差分である差分画像と予測画像とを加算して得られる復号画像に対するフィルタリング処理を実施して、復号画像の隣接する、差分画像を変換するための変換ブロックの境界に生じるブロック歪みを除去する歪み除去手段と、フィルタの強度を定めるパラメータの基準値に対するオフセットを符号化データに符号化する符号化手段を備え、歪み除去手段は、フィルタリング処理が適用される画素を含むパーティションの中の動きパラメータの状態を含む複数の条件にしたがって、オフセットを用いてパラメータを導出し、パラメータは異なる複数のフィルタリング処理から１つのフィルタリング処理を選択する処理に使用されるように構成したので、ブロック歪みの除去精度を高めて、符号化画像の品質を改善することができる効果がある。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１による画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。
【図５】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図６】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。
【図７】符号化ブロック内のフィルタ適用画素の位置を示す説明図である。
【図８】ループフィルタ部１１の処理内容を示すフローチャートである。
【図９】フィルタ強度の判定方法を示すフローチャートである。
【図１０】エッジ位置と画素位置の関係を示す説明図である。
【図１１】垂直エッジに対するフィルタリング処理の単位を示す説明図である。
【図１２】水平エッジに対するフィルタリング処理の単位を示す説明図である。
【図１３】Ｑ（輝度のｑＰ値）とパラメータβ，Ｔｃの対応関係を示す説明図である。
【図１４】可変長符号化部１３により生成されるビットストリームを示す説明図である。
【図１５】符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎである例を示す説明図である。
【図１６】非特許文献１に開示されている画像符号化装置を示す構成図である。
【発明を実施するための形態】
【００１５】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する画像符号化装置と、その画像符号化装置から出力されたビットストリームを復号する画像復号装置について説明する。
【００１６】
この実施の形態１の画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００１７】
符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
【００１８】
この実施の形態１の画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の階調は８ビットでもよいし、１０ビット、１２ビットなどの階調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。また、以降の説明において、空間的に連続する符号化ブロックのグループを「スライス」と記すことがある。
【００１９】
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、符号化制御部１は動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部１は符号化モード決定手段を構成している。
【００２０】
ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
【００２１】
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、イントラ予測用メモリ１０により格納されている符号化済みブロックの局所復号画像（参照画像）を参照しながら、符号化制御部１から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して、予測画像を生成する処理を実施する。
【００２２】
動き補償予測部５は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックと動き補償予測フレームメモリ１２により格納されている符号化済みブロックの局所復号画像（参照画像）を比較することで動き探索を実施して動きベクトルを算出し、その動きベクトルと符号化制御部１から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
【００２３】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。
【００２４】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号（伸張後の差分画像を示すデータ）として出力する処理を実施する。
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
なお、逆量子化・逆変換部８及び加算部９から局所復号画像が構成されている。
【００２５】
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２６】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に対するフィルタリング処理（ループフィルタ処理）を実施することで、ブロック境界に発生する歪み（ブロック歪み）を除去する処理を実施する。
ループフィルタ部１１は局所復号画像のブロック歪みを除去する際、符号化制御部１により選択された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定する。
なお、ループフィルタ部１１は歪み除去手段を構成している。
【００２７】
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２８】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（動きベクトルを含む）とを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は符号化手段を構成している。
【００２９】
図１では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。
【００３０】
図３はこの発明の実施の形態１による画像復号装置を示す構成図である。
図３において、可変長復号部２１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（動きベクトルを含む）を可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部２５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ２２に出力し、また、その符号化モードをループフィルタ部２８に出力する処理を実施する。なお、可変長復号部２１は復号手段を構成している。
【００３１】
切替スイッチ２２は可変長復号部２１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部２１から出力されたインター予測パラメータを動き補償部２４に出力する処理を実施する。
イントラ予測部２３はイントラ予測用メモリ２７により格納されている復号済みブロックの復号画像（参照画像）を参照しながら、切替スイッチ２２から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して、予測画像を生成する処理を実施する。
【００３２】
動き補償部２４は切替スイッチ２２から出力されたインター予測パラメータに含まれている動きベクトルと動き補償予測フレームメモリ２９により格納されている復号済みブロックの復号画像（参照画像）を用いて、当該符号化ブロックに対するインター予測処理を実施して、予測画像を生成する処理を実施する。
なお、切替スイッチ２２、イントラ予測部２３及び動き補償部２４から予測画像生成手段が構成されている。
【００３３】
逆量子化・逆変換部２５は可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部２５は差分画像生成手段を構成している。
【００３４】
加算部２６は逆量子化・逆変換部２５から出力された復号予測差分信号とイントラ予測部２３又は動き補償部２４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部２６は復号画像生成手段を構成している。
イントラ予測用メモリ２７はイントラ予測部２３により次回のイントラ予測処理で用いられる画像として、加算部２６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
【００３５】
ループフィルタ部２８は加算部２６により生成された復号画像信号に対するフィルタリング処理（ループフィルタ処理）を実施することで、ブロック境界に発生する歪み（ブロック歪み）を除去する処理を実施する。
ループフィルタ部２８は復号画像のブロック歪みを除去する際、可変長復号部２１から出力された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定する。
なお、ループフィルタ部２８は歪み除去手段を構成している。
【００３６】
動き補償予測フレームメモリ２９は動き補償部２４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部２８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
【００３７】
図３では、画像復号装置の構成要素である可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。
【００３８】
次に動作について説明する。
最初に、図１の画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００３９】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００４０】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００４１】
ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する（ステップＳＴ３）。
ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図５の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
【００４２】
深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図５の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
【００４３】
ブロック分割部２は、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と記する。
【００４４】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、各色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
【００４５】
符号化ブロックＢｎは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢｎに属するパーティションＰｉｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉｎ毎に、個別の予測パラメータを選択することができる。
【００４６】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図６（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
【００４７】
切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢｎのパーティションＰｉｎに対して最適な符号化モードｍ（Ｂｎ）を選択すると、その符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ステップＳＴ４）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ステップＳＴ４）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎを動き補償予測部５に出力する。
【００４８】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉｎを受けると、イントラ予測用メモリ１０により格納されている符号化済みブロックの局所復号画像を参照しながら、符号化制御部１により選択された符号化モードｍ（Ｂｎ）に対応するイントラ予測パラメータを用いて、その符号化ブロックＢｎのパーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐｉｎを生成する（ステップＳＴ５）。
イントラ予測部４は、イントラ予測画像Ｐｉｎを生成すると、そのイントラ予測画像Ｐｉｎを減算部６及び加算部９に出力するが、図３の画像復号装置でも同じイントラ予測画像Ｐｉｎを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
なお、イントラ予測部４のイントラ予測処理は、例えば、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）に定められているアルゴリズムに従うが、このアルゴリズムに限定されるものではない。
【００４９】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉｎを受けると、その符号化ブロックＢｎのパーティションＰｉｎと動き補償予測フレームメモリ１２により格納されている符号化済みブロックの局所復号画像を比較することで動き探索を実施して動きベクトルを算出し、その動きベクトルと符号化制御部１から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施して、インター予測画像Ｐｉｎを生成する（ステップＳＴ６）。
【００５０】
動き補償予測部５は、インター予測画像Ｐｉｎを生成すると、そのインター予測画像Ｐｉｎを減算部６及び加算部９に出力するが、図３の画像復号装置でも同じインター予測画像Ｐｉｎを生成できるようにするため、そのインター予測パラメータを可変長符号化部１３に出力する。
なお、インター予測パラメータには、下記の情報が含まれている。
（１）符号化ブロックＢｎ内のパーティションＰｉｎの分割状況を記述しているモード情報
（２）パーティションＰｉｎの動きベクトル
（３）動き補償予測フレームメモリ１２により複数の局所復号画像（参照画像）が格納されている場合、いずれの参照画像を用いて、インター予測処理を実施するかを示す参照画像の指示インデックス情報
（４）複数の動きベクトルの予測値候補がある場合、いずれの動きベクトルの予測値を選択して使用するかを示すインデックス情報
（５）複数の動き補償内挿フィルタがある場合、いずれのフィルタを選択して使用するかを示すインデックス情報
（６）パーティションＰｉｎの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
【００５１】
減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を生成すると、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅｉｎを変換・量子化部７に出力する（ステップＳＴ７）。
【００５２】
変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅｉｎを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
【００５３】
逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
【００５４】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を示す予測信号を加算することで、局所復号パーティション画像、ないしは、その集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ１０）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。
【００５５】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に対するフィルタリング処理を実施することで、ブロック境界に発生する歪み（ブロック歪み）を除去する（ステップＳＴ１１）。
ループフィルタ部１１における処理内容の詳細は後述するが、局所復号画像のブロック歪みを除去する際、符号化制御部１により選択された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定する。
なお、ループフィルタ部１１によるフィルタリング処理は、加算部９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００５６】
ステップＳＴ４〜ＳＴ１０の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了するとステップＳＴ１３の処理に移行する（ステップＳＴ１２）。
【００５７】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（動きベクトルを含む）とをエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１３）。
【００５８】
以下、ループフィルタ部１１によるフィルタリング処理を具体的に説明する。
ループフィルタ部１１は、上述した予測処理単位であるパーティションと変換ブロックの境界に発生するブロックノイズを低減させる非線形平滑化フィルタである。
図７は符号化ブロック内のフィルタ適用画素の位置を示す説明図である。
図７において、垂直エッジ及び水平エッジと、パーティションまたは変換ブロックのブロック境界が重なる位置がフィルタ処理の対象になる。
図７では、垂直エッジ及び水平エッジがＫ×Ｋ画素グリッドで表されている。Ｋの値は固定値で定めてもよいし、符号化ブロックの最大サイズやパーティション・変換ブロックの最大サイズ等に応じて設定してもよい。
【００５９】
図８はループフィルタ部１１の処理内容を示すフローチャートである。
ループフィルタ部１１によるフィルタリング処理は、符号化ブロック毎に実行される。
まず、ループフィルタ部１１は、垂直エッジ及び水平エッジが、パーティションまたは変換ブロックの境界と一致するか否かを判定する（ステップＳＴ４１）。
ループフィルタ部１１は、パーティションまたは変換ブロックの境界と一致している垂直エッジ又は水平エッジが存在する場合、境界と一致している箇所のフィルタ強度判定を行う（ステップＳＴ４２，ＳＴ４３）。フィルタ強度の判定方法は後述する。
【００６０】
ループフィルタ部１１は、フィルタ強度判定を行うと、そのフィルタ強度の判定結果や実際にフィルタリング処理の対象となる画素値の変化量に応じて、最終的なフィルタの強度を変えながらフィルタリング処理を行う（ステップＳＴ４４，ＳＴ４５）。フィルタリング処理の方法は後述する。
ループフィルタ部１１は、ピクチャ内の全ての符号化ブロックに対する処理が完了するまで、ステップＳＴ４１〜４５の処理を繰り返し実施する（ステップＳＴ４６）。
なお、スライスヘッダには、スライス内の全ての符号化ブロックに本ループフィルタの処理を行うか否かの識別情報を多重化することとし、画像符号化装置は、状況に応じて同識別情報の値を決定して画像復号装置に伝送するように構成する。
【００６１】
次に、ループフィルタ部１１によるフィルタ強度の判定処理を説明する。
図９はフィルタ強度の判定方法を示すフローチャートである。
ループフィルタ部１１は、垂直エッジと水平エッジに隣接する全画素に対して、下記の条件でフィルタ強度ｂＳを求める（ステップＳＴ５１）。
以下の説明では、エッジ近傍の画素をｐｉ（ｉ＝０，１，２，３），ｑｊ（ｊ＝０，１，２，３）の記号で表しているが、エッジ位置と画素位置の関係は、図１０のように定義する。
【００６２】
符号化ブロックの中には、輝度信号成分のブロックと色差信号成分のブロックが含まれるが、ループフィルタ部１１では、以下の条件で、フィルタ強度の判定を行う。
（１）フィルタ処理対象の符号化ブロックの符号化モードが、イントラ符号化モードであるか、インター符号化モードであるか
（２）フィルタリング処理を行う信号成分が、輝度信号成分であるか、色差信号成分であるか
（３）フィルタ処理対象の画素を含む変換ブロック内に、非ゼロの変換係数が含まれているか否か
（４）フィルタ処理対象の画素を含むパーティションの中の動きパラメータの状態
【００６３】
ループフィルタ部１１は、以下の手順でフィルタ強度の判定を行う。
（手順１）
符号化ブロックの境界に位置するエッジであり、ｐ０を含む符号化ブロック、または、ｑ０を含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
処理対象信号成分が輝度信号成分  →  ｂＳ＝２
処理対象信号成分が色差信号成分  →  ｂＳ＝４
に決定する。
【００６４】
（手順２）
手順１での条件に該当しない場合において、
ｐ０を含む符号化ブロック、または、ｑ０を含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
処理対象信号成分が輝度信号成分  →  ｂＳ＝１
処理対象信号成分が色差信号成分  →  ｂＳ＝３
に決定する。
【００６５】
（手順３）
手順１，２での条件に該当しない場合において、
ｐ０またはｑ０が非ゼロ直交変換係数を持つ変換ブロックに属する場合
処理対象信号成分が輝度信号成分  →  ｂＳ＝２
処理対象信号成分が色差信号成分  →  ｂＳ＝２
に決定する。
【００６６】
（手順４）
手順１〜３での条件に該当しない場合において、以下のいずれかの条件を満たす場合
処理対象信号成分が輝度信号成分  →  ｂＳ＝１
処理対象信号成分が色差信号成分  →  ｂＳ＝１
に決定する。
［条件］
・ｐ０を含むパーティションとｑ０を含むパーティションが、
異なる参照ピクチャを持っているか、または、異なる数の動きベクトルを持ってい
る
・ｐ０を含むパーティションとｑ０を含むパーティションで、
それぞれ１本の動きベクトルが使用され、
双方の動きベクトルの水平成分又は垂直成分の差分絶対値が１／４画素精度で４以
上である
・ｐ０を含むパーティションとｑ０を含むパーティションで、
それぞれ２本の動きベクトルが使用され、
同じ参照ピクチャを指す動きベクトルペア（ｐ０における動きベクトルと、ｑ０に
おける動きベクトルのペア）の少なくとも１組において、
双方の動きベクトルの水平成分又は垂直成分の差分絶対値が１／４画素精度で４以
上である
【００６７】
（手順５）
手順１〜４での条件に該当しない場合（パーティション／変換ブロックの境界以外のエッジも本条件に該当）
処理対象信号成分が輝度信号成分  →  ｂＳ＝０
処理対象信号成分が色差信号成分  →  ｂＳ＝０
に決定する。
【００６８】
処理対象の符号化ブロックの符号化モードがイントラ符号化モードである場合、インター予測によるフレーム間予測の場合と比べて、輝度信号・色差信号ともに、予測残差電力が大きく、量子化された変換係数の分布が信号成分毎に大きく異なる確率が高くなる。
ブロック歪みの程度は、量子化によって、どれだけ主観的に有効な変換係数がなくなってしまうかに左右されるため、ブロック歪みの程度を測る尺度であるフィルタ強度の値は、特にイントラ符号化において、輝度と色差で調整できることが望ましい。
従来のループフィルタ１０６（図１６を参照）では、色差信号成分のフィルタ強度は、常に、輝度信号成分のフィルタ強度と同じ値に設定されているが、この実施の形態１では、条件に応じて信号成分（輝度信号成分、色差信号成分）別にフィルタ強度を設定しているので、従来よりも画質の改善に寄与するフィルタ強度が得られる。
【００６９】
ループフィルタ部１１は、フィルタ強度判定を行うと、フィルタ強度の判定結果に基づいて、垂直エッジ、水平エッジの順にフィルタリング処理を行う。
まず、ループフィルタ部１１は、垂直エッジに対して、Ｋライン毎にフィルタ強度ｂＳの最大値を求め、その最大値をｂＳＶｅｒとする。
ループフィルタ部１１は、最大値ｂＳＶｅｒに基づいて、当該Ｋラインのエッジ近傍画素に対するフィルタリング処理を行う。
図１１は垂直エッジに対するフィルタリング処理の単位を示す説明図である。垂直エッジを中心とするＫ×Ｋ画素が同一のｂＳＶｅｒになる。各画素に適用される最終的なフィルタ強度ｂＳは、最大値ｂＳＶｅｒと各画素位置での画素値の変化量によって決まる。
図１２には、水平エッジに対するフィルタリング処理の単位を示している。処理の方向が垂直から水平に変化する以外は垂直エッジと同じである。
【００７０】
以下、処理対象画素に対するフィルタリング処理を説明する。
ループフィルタ部１１は、輝度信号成分の垂直エッジ方向に対して、以下の手順でフィルタリング処理を行う。輝度信号成分の水平エッジ方向に対するフィルタリング処理も同じ手順であるが、最大値ｂＳＶｅｒの代わりに、水平エッジに対するＫライン毎のフィルタ強度ｂＳの最大値ｂＳＨｏｒを用いる。
【００７１】
［ａ］ｂＳＶｅｒ＝０の場合
フィルタリング処理を行わない。
［ｂ］ｂＳＶｅｒ≦２の場合
（１）図１３において、Ｑ＝（輝度のｑＰ値）とする場合のパラメータβ，Ｔｃ
を求める。
図１３はＱ（輝度のｑＰ値）とパラメータβ，Ｔｃの対応関係を示す説明図である。
2020102855.tif 000003
【００７２】
［ｃ］ｂＳＶｅｒ＞２の場合
図１３において、Ｑ＝（輝度のｑＰ値）とする場合のパラメータβと、Ｑ＝（輝度のｑＰ値＋４）とする場合のパラメータＴｃを求める。以降の処理はｂＳＶｅｒ≦２の場合と同様である。
【００７３】
ループフィルタ部１１は、色差信号成分の垂直エッジ方向に対して、以下の手順でフィルタリング処理を行う。色差信号成分の水平エッジ方向に対するフィルタリング処理も同じ手順であるが、最大値ｂＳＶｅｒの代わりに、最大値ｂＳＨｏｒを用いる。ｂＳＶｅｒとｂＳＶｅｒは、同一ポジションの輝度で算出した値である。
【００７４】
［ａ］ｂＳＶｅｒ＞２の場合
2020102855.tif 000004
［ｂ］ｂＳＶｅｒ≦２の場合
フィルタリング処理を行わない。
【００７５】
画像符号化装置のループフィルタ部１１と画像復号装置のループフィルタ部２８は、共通の処理を行うが、画像符号化装置のループフィルタ部１１が、フィルタ強度の判定に関して、制御用のパラメータを設けるように構成してもよい。
例えば、スライスレベルでフィルタ強度ｂＳの値をシグナリングするか否かを示す識別情報を多重することで、スライス毎に、フィルタ強度ｂＳの設定値を変更できるように構成してもよい。
その際の変更は、輝度信号成分だけとして、色差信号成分は固定にしてもよいし、逆に輝度信号成分は固定として、色差信号成分だけを変更できるように構成してもよい。
設定値のシグナリングは値そのものでもよいし、フィルタ強度ｂＳをデフォルト値とするオフセット値の形式でも構わない。色差信号成分のフィルタ強度を輝度信号成分のフィルタ強度のオフセット値として表現するようにしてもよい。
【００７６】
また、特に符号化モードがイントラ符号化モードである場合のフィルタ強度ｂＳの設定値を値そのもの、ないしは、オフセット値としてシグナリングするように構成することもできる。例えば、ループフィルタ部１１は、以下の手順でフィルタ強度の判定を行うように構成できる。
【００７７】
イントラ符号化モードで符号化される符号化ブロックについて、輝度成分に対するフィルタ強度値をｂＳL、色差成分に対するフィルタ強度値をｂＳCとし、ｂＳLとｂＳCとはピクチャレベルのヘッダやスライスヘッダなどのシンタックス情報としてビットストリームに多重化して符号化装置と復号化装置で共有できるようにしておく。このとき、
（手順１）
符号化ブロックの境界に位置するエッジであり、ｐｏを含む符号化ブロック、または、ｑｏを含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
処理対象信号成分が輝度信号成分  →  ｂＳ＝max（４−ｂSL、０）
処理対象信号成分が色差信号成分  →  ｂＳ＝max（４−ｂSC、０）
に決定する。ここで、max（A,B）は、AとBのうち大きいほうの値を出力する関数である。
【００７８】
（手順２）
手順１での条件に該当しない場合において、
ｐｏを含む符号化ブロック、または、ｑｏを含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
処理対象信号成分が輝度信号成分  →  ｂＳ＝max（３−ｂSL、０）
処理対象信号成分が色差信号成分  →  ｂＳ＝max（３−ｂSC、０）
に決定する。
【００７９】
符号化モードがイントラ符号化モードである場合には、圧縮処理過程で動き予測が有効に機能せずに、やむを得ずイントラ符号化を行う場合と、誤り耐性やランダムアクセスの観点で周期的・意図的にイントラ符号化を発生させる場合がある。
やむを得ずイントラ符号化を行う場合は、符号化の難しさに対応して歪みが重畳されるのに対して、周期的・意図的にイントラ符号化を発生させる場合は、符号化の難しさと直接的に関係なくイントラ符号化が用いられるため、それぞれブロック歪みの発生の仕方に差異が生じる。
従来のループフィルタでは、これらを判別して、フィルタ強度を制御する手段がない。
周期イントラ挿入はスライスやピクチャの単位で実行されるため、これらの単位でフィルタ強度を用途に応じて制御することで、ブロック歪みをより良く抑制することが可能になる。
また、逆に符号化モードがインター符号化モードである場合のフィルタ強度ｂＳの設定値をシグナリングするように構成しても構わない。
【００８０】
ここで、図１４は可変長符号化部１３により生成されるビットストリームを示す説明図である。
図１４の例では、スライス符号化データがスライスヘッダと、それに続くスライス内の個数分の最大符号化ブロック符号化データから構成される様子を示している。
各最大符号化ブロック符号化データは、符号化モードを含んでいる。図示していないが、最大符号化ブロック符号化データには、符号化ブロック毎に、パーティション単位の動きベクトルなどの予測パラメータ、変換ブロックサイズなどの予測差分符号化パラメータ、予測差分符号化データ（量子化済み変換係数）を含んでいる。
スライスヘッダには、スライス内の全ての符号化ブロックに本ループフィルタの処理を行うか否かの識別情報であるループフィルタＯＮ／ＯＦＦフラグ、フィルタ強度ｂＳの設定値をシグナリングするか否かを示すフラグであるフィルタ強度情報多重化フラグ、フィルタ強度情報多重化フラグが“１”の場合に多重するフィルタ強度情報が含まれている。
フィルタ強度情報多重化フラグ及びフィルタ強度情報は、ピクチャ、シーケンスやＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）などの単位で定義されるヘッダ情報領域に多重するように構成してもよい。
【００８１】
次に、図３の画像復号装置の処理内容を説明する。
可変長復号部２１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にピクチャサイズ（水平画素数・垂直ライン数）を規定する情報を復号する。
【００８２】
可変長復号部２１は、図１の符号化制御部１と同様の手順で、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
ビットストリームの構成が図１４の構成である場合、可変長復号部２１は、最大符号化ブロックレベルの復号に先立ち、スライスヘッダからループフィルタＯＮ／ＯＦＦフラグを復号する。
【００８３】
ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）には、最大サイズの符号化ブロックＢ０の分割状態を示す情報が含まれているので、可変長復号部２１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）を復号して、階層的に分割されている各々の符号化ブロックＢｎを特定する（ステップＳＴ２３）。
可変長復号部２１は、各々の符号化ブロックＢｎを特定すると、その符号化ブロックＢｎの符号化モードｍ（Ｂｎ）を復号し、その符号化モードｍ（Ｂｎ）に属しているパーティションＰｉｎの情報に基づいて、符号化ブロックＢｎに属しているパーティションＰｉｎを特定する。
可変長復号部２１は、符号化ブロックＢｎに属しているパーティションＰｉｎを特定すると、パーティションＰｉｎ毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（動きベクトルを含む）を復号する（ステップＳＴ２４）。
【００８４】
切替スイッチ２２は、可変長復号部２１から出力された符号化ブロックＢｎに属しているパーティションＰｉｎの符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力する。
一方、パーティションＰｉｎの符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部２１から出力されたインター予測パラメータを動き補償予測部２４に出力する。
【００８５】
イントラ予測部２３は、切替スイッチ２２からイントラ予測パラメータを受けると、イントラ予測用メモリ２７により格納されている復号済みブロックの復号画像（参照画像）を参照しながら、そのイントラ予測パラメータを用いて、その符号化ブロックＢｎのパーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐｉｎを生成する（ステップＳＴ２６）。
【００８６】
動き補償部２４は、切替スイッチ２２から出力されたインター予測パラメータを受けると、そのインター予測パラメータに含まれている動きベクトルと動き補償予測フレームメモリ２９により格納されている復号済みブロックの復号画像（参照画像）を用いて、当該符号化ブロックに対するインター予測処理を実施して、イントラ予測画像Ｐｉｎを生成する（ステップＳＴ２７）。
【００８７】
逆量子化・逆変換部２５は、可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部２６に出力する（ステップＳＴ２８）。
【００８８】
加算部２６は、逆量子化・逆変換部２５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部２３又は動き補償部２４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ２７に格納するとともに、その復号画像信号をループフィルタ部２８に出力する（ステップＳＴ２９）。
【００８９】
ステップＳＴ２３〜ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
ループフィルタ部２８は、加算部２６から復号画像信号を受けると、その復号画像信号に対するフィルタリング処理を実施することで、ブロック境界に発生する歪み（ブロック歪み）を除去し、歪み除去後の復号画像信号が示す復号画像を動き補償予測フレームメモリ２９に格納する。
ループフィルタ部２８におけるフィルタリング処理は、図１のループフィルタ部１１におけるフィルタリング処理と同様であり、その復号画像のブロック歪みを除去する際、可変長復号部２１から出力された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定する。
なお、可変長復号部２１によりスライスヘッダからフィルタ強度情報多重化フラグ及びフィルタ強度情報が復号されている場合には、そのフィルタ強度情報が示すフィルタ強度ｂＳでフィルタリング処理を実行する。
【００９０】
以上で明らかなように、この実施の形態１によれば、画像復号装置のループフィルタ部２８が、復号画像のブロック歪みを除去する際、可変長復号部２１から出力された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定するように構成したので、ブロック歪みの除去精度を高めて、復号画像の品質を改善することができる効果を奏する。
【００９１】
以上の説明では、フレーム間動き補償予測処理（インター予測処理）を実施する画像符号化装置及び画像復号装置の例を示したが、すべてのフレームに対して、フレーム内予測処理（イントラ予測処理）を実施する画像符号化装置及び画像復号装置であっても、ループフィルタ部１１，２８がブロック歪みを除去するように構成してもよい。
フレーム内予測処理（イントラ予測処理）とフレーム間動き補償予測処理（インター予測処理）を組み合わせて実施する画像符号化装置及び画像復号装置において、すべてのフレームをイントラ予測処理で符号化するように設定したときに、ループフィルタ部１１，２８の動作を利用しないように制御することも可能である。
【００９２】
この実施の形態１では、図５に示すように、符号化ブロックＢｎのサイズがＬｎ＝Ｍｎであるものを示したが、符号化ブロックＢｎのサイズがＬｎ≠Ｍｎであってもよい。
例えば、図１５に示すように、符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎとなる場合が考えられる。
次の分割では、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ，Ｍｎ）となり、以降の分割は、図５と同様の分割を行ってもよいし、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）のように分割を行ってもよい。
【００９３】
このような構成により、例えば、Ｍ０＝１６とすることにより、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ  １３８１８−２）やＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０）のような１６×１６画素からなるマクロブロックを横に連結する構成の最大符号化ブロックを定義することができ、既存方式との互換性を維持した画像符号化装置を構成し易いという効果がある。
なお、Ｌｎ＝ｋＭｎではなく、ｋＬｎ＝Ｍｎのように、縦に連結したものであっても同様の考えで、分割が可能であることは言うまでもない。
【００９４】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【００９５】
この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、符号化モードに応じてフィルタの強度を信号成分別に設定することを備え、ブロック歪みの除去精度を高めて、符号化画像の品質を改善することができるので、ＭＰＥＧやＩＴＵ−Ｔ  Ｈ．２６ｘ等の国際標準映像符号化方式に適用することができる。
【符号の説明】
【００９６】
１  符号化制御部（符号化モード決定手段）、２  ブロック分割部（ブロック分割手段）、３  切替スイッチ（予測画像生成手段）、４  イントラ予測部（予測画像生成手段）、５  動き補償予測部（予測画像生成手段）、６  減算部（差分画像生成手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部（局所復号画像）、９  加算部（局所復号画像）、１０  イントラ予測用メモリ、１１  ループフィルタ部（歪み除去手段）、１２  動き補償予測フレームメモリ、１３  可変長符号化部（符号化手段）、２１  可変長復号部（復号手段）、２２  切替スイッチ（予測画像生成手段）、２３  イントラ予測部（予測画像生成手段）、２４  動き補償部（予測画像生成手段）、２５  逆量子化・逆変換部（差分画像生成手段）、２６  加算部（復号画像生成手段）、２７  イントラ予測用メモリ、２８  ループフィルタ部（歪み除去手段）、２９  動き補償予測フレームメモリ、１０１  ブロック分割部、１０２  予測部、１０３  圧縮部、１０４  局所復号部、１０５  加算器、１０６  ループフィルタ、１０７  メモリ、１０８  可変長符号化部。
【図１】
2020102855.tif 000005
【図２】
2020102855.tif 000006
【図３】
2020102855.tif 000007
【図４】
2020102855.tif 000008
【図５】
2020102855.tif 000009
【図６】
2020102855.tif 000010
【図７】
2020102855.tif 000011
【図８】
2020102855.tif 000012
【図９】
2020102855.tif 000013
【図１０】
2020102855.tif 000014
【図１１】
2020102855.tif 000015
【図１２】
2020102855.tif 000016
【図１３】
2020102855.tif 000017
【図１４】
2020102855.tif 000018
【図１５】
2020102855.tif 000019
【図１６】
2020102855.tif 000020