(57)【要約】  フィルタリングの品質を向上し、伝送帯域の増加を抑えた画像符号化方法は、第１および第２の成分フィルタのフィルタデータをフィルタメモリ（１３３０）から選択し、選択されたフィルタデータに関連付けてフィルタメモリ（１３３０）に格納されているインデックスを取得するステップ（Ｓ１０、Ｓ１１）と、２つのフィルタデータを用いてマクロブロックを符号化するステップ（Ｓ１２）と、２つのインデックスを符号化動画像信号に付加するステップ（Ｓ１３）と、スライスに基づいて、第１および第２の成分フィルタのフィルタデータを算出し、インデックスを割り当てるステップ（Ｓ２０、Ｓ２１）と、成分フィルタごとに、算出されたフィルタデータとインデックスとを関連付けてフィルタメモリ（１３３０）に格納するステップ（Ｓ２２）と、算出された２つのフィルタデータを符号化動画像信号に付加するステップ（Ｓ２３）とを含む。
2010143427.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を符号化することによってビットストリームである符号化動画像信号を生成する画像符号化方法であって、
前記動画像信号によって示されるフィルタ適用画像領域に適用すべき、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれのフィルタデータを、メモリに格納されている少なくとも１つのフィルタデータの中から、適用フィルタデータとして選択するフィルタデータ選択ステップと、
前記１次元成分フィルタごとに、選択された前記適用フィルタデータに関連付けて前記メモリに格納されているインデックスを適用インデックスとして取得するインデックス取得ステップと、
前記フィルタデータ選択ステップで選択された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を符号化する符号化ステップと、
前記インデックス取得ステップで取得された２つの前記適用インデックスを、前記符号化動画像信号内の符号化された前記フィルタ適用画像領域に付加するインデックス付加ステップと、
前記動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域に基づいて、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして特定するフィルタデータ特定ステップと、
前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当ステップと、
前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理ステップと、
前記フィルタデータ特定ステップで特定された２つの前記設計フィルタデータを、前記符号化動画像信号内の符号化された前記フィルタ設計用画像領域に付加するフィルタデータ付加ステップと
を含む画像符号化方法。
【請求項２】
前記フィルタデータ選択ステップでは、
前記格納処理ステップで２つの前記設計フィルタデータが前記メモリに格納された後に、２つの前記設計フィルタデータを含む複数のフィルタデータの中から、２つの前記適用フィルタデータを選択する、
請求項１に記載の画像符号化方法。
【請求項３】
前記フィルタデータ選択ステップでは、
前記格納処理ステップで２つの前記設計フィルタデータが前記メモリに格納される前に、２つの前記設計フィルタデータを除く前記少なくとも１つのフィルタデータの中から、２つの前記適用フィルタデータを選択する、
請求項１に記載の画像符号化方法。
【請求項４】
前記画像符号化方法は、さらに、
前記動画像信号によって示される、符号化順で前記フィルタ設計用画像領域の前にある他のフィルタ設計用画像領域に基づいて、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを特定する他領域フィルタデータ特定ステップを含み、
前記フィルタデータ選択ステップでは、
前記他領域フィルタデータ特定ステップで特定された２つの前記フィルタデータを含む複数のフィルタデータの中から、２つの前記適用フィルタデータを選択する、
請求項１に記載の画像符号化方法。
【請求項５】
前記画像符号化方法は、さらに、
前記２種類の１次元成分フィルタのうちの一方の適用インデックスを予測する予測ステップを含み、
前記インデックス付加ステップでは、
前記予測ステップでの予測によって得られた予測インデックスと、前記一方の適用インデックスとが同一の場合には、前記一方の適用インデックスの代わりに、前記一方の適用インデックスが予測結果と同一であることを示す予測情報を、前記符号化動画像信号に付加する、
請求項１〜４の何れか１項に記載の画像符号化方法。
【請求項６】
前記予測ステップでは、
前記フィルタ設計用画像領域に含まれる、前記フィルタ適用画像領域の周辺にある複数の周辺フィルタ適用画像領域のそれぞれに対して取得された、前記２種類の１次元成分フィルタに対する２つのインデックスの中から、何れかのインデックスを前記予測インデックスとして選択することによって、前記一方の適用インデックスを予測する、
請求項５に記載の画像符号化方法。
【請求項７】
前記画像符号化方法は、さらに、
前記フィルタ適用画像領域および前記複数の周辺フィルタ適用画像領域のそれぞれにおいて動きベクトルを検出する検出ステップを含み、
前記予測ステップでは、
前記複数の周辺フィルタ適用画像領域の中から、前記フィルタ適用画像領域に対して検出された動きベクトルに最も類似する動きベクトルが検出された周辺フィルタ適用画像領域を特定し、
特定された前記周辺フィルタ適用画像領域に対して取得された、前記２種類の１次元成分フィルタの２つのインデックスのうちの一方を前記予測インデックスとして選択する、
請求項６に記載の画像符号化方法。
【請求項８】
前記予測ステップでは、
前記２種類の１次元成分フィルタの前記２つのインデックスのうち、前記一方の適用インデックスの１次元成分フィルタと同一種類の１次元成分フィルタのインデックスを前記予測インデックスとして選択する、
請求項７に記載の画像符号化方法。
【請求項９】
前記予測ステップでは、
前記フィルタ適用画像領域に対して取得された、前記２種類の１次元成分フィルタのうちの他方の適用インデックスを用いて、前記一方の適用インデックスを予測する
請求項５に記載の画像符号化方法。
【請求項１０】
前記画像符号化方法は、
前記動画像信号によって複数の前記フィルタ設計用画像領域が示されている場合には、
前記フィルタ設計用画像領域ごとに、前記フィルタデータ特定ステップと、前記インデックス割当ステップと、前記格納処理ステップとを繰り返し、
前記インデックス割当ステップでは、
複数の前記フィルタ設計用画像領域のそれぞれに対する２つの前記設計インデックスが前記格納処理ステップで前記メモリに格納される順番にしたがって、または、複数の前記フィルタ設計用画像領域が表示される順番にしたがって、複数の前記フィルタ設計用画像領域のそれぞれに対する２つの前記設計インデックスの示す値が単調に増加または減少するように、前記フィルタ設計用画像領域ごとに２つの前記設計インデックスを割り当てる、
請求項１〜９の何れか１項に記載の画像符号化方法。
【請求項１１】
前記フィルタ設計用画像領域はスライスであり、前記フィルタ適用画像領域はブロックであり、
前記フィルタデータ付加ステップでは、
符号化された前記スライスのヘッダに２つの前記設計フィルタデータを付加する
請求項１〜１０の何れか１項に記載の画像符号化方法。
【請求項１２】
前記２種類の１次元成分フィルタは、水平成分フィルタと垂直成分フィルタであり、
前記フィルタデータ特定ステップでは、
前記水平成分フィルタの設計フィルタデータの情報量が、前記垂直成分フィルタの設計フィルタデータの情報量よりも多くなるように、２つの前記設計フィルタデータを特定する
請求項１〜１１の何れか１項に記載の画像符号化方法。
【請求項１３】
ビットストリームである符号化動画像信号を復号する画像復号方法であって、
前記符号化動画像信号によって示されるフィルタ適用画像領域から、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれに対するインデックスを、適用インデックスとして抽出するインデックス抽出ステップと、
メモリに格納された少なくとも１つのフィルタデータの中から、前記インデックス抽出ステップで抽出された２つの前記適用インデックスに関連付けて格納されている、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを、適用フィルタデータとして取得するフィルタデータ取得ステップと、
前記フィルタデータ取得ステップで取得された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を復号する復号ステップと、
前記符号化動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域から、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして抽出するフィルタデータ抽出ステップと、
前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当ステップと、
前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理ステップと
を含む画像復号方法。
【請求項１４】
前記インデックス抽出ステップで、前記２種類の１次元成分フィルタのうちの一方の適用インデックスの代わりに予測情報を抽出した場合には、
前記画像復号方法は、さらに、
前記一方の適用インデックスを予測する予測ステップを含み、
前記フィルタデータ取得ステップでは、
前記予測ステップでの予測によって得られた予測インデックスを前記一方の適用インデックスとして用いる
請求項１３に記載の画像復号方法。
【請求項１５】
前記予測ステップでは、
前記フィルタ設計用画像領域に含まれる、前記フィルタ適用画像領域の周辺にある複数の周辺フィルタ適用画像領域のそれぞれから抽出された、前記２種類の１次元成分フィルタに対する２つのインデックスの中から、何れかのインデックスを前記予測インデックスとして選択することによって、前記一方の適用インデックスを予測する
請求項１４に記載の画像復号方法。
【請求項１６】
前記画像復号方法は、さらに、
前記フィルタ適用画像領域および前記複数の周辺フィルタ適用画像領域のそれぞれの動きベクトルを、前記符号化動画像信号から抽出するベクトル抽出ステップを含み、
前記予測ステップでは、
前記複数の周辺フィルタ適用画像領域の中から、前記フィルタ適用画像領域に対して抽出された動きベクトルに最も類似する動きベクトルが抽出された周辺フィルタ適用画像領域を特定し、
特定された前記周辺フィルタ適用画像領域から抽出された、前記２種類の１次元成分フィルタに対する２つのインデックスのうちの一方を前記予測インデックスとして選択する
請求項１５に記載の画像復号方法。
【請求項１７】
動画像信号を符号化することによってビットストリームである符号化動画像信号を生成する画像符号化方法であって、
前記動画像信号によって示されるフィルタ適用画像領域に適用すべき、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれのフィルタデータを、メモリに格納されている少なくとも１つのフィルタデータの中から、適用フィルタデータとして選択するフィルタデータ選択ステップと、
前記１次元成分フィルタごとに、選択された前記適用フィルタデータに関連付けて前記メモリに格納されているインデックスを適用インデックスとして取得するインデックス取得ステップと、
前記フィルタデータ選択ステップで選択された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を符号化する符号化ステップと、
前記インデックス取得ステップで取得された２つの前記適用インデックスを、前記符号化動画像信号内の符号化された前記フィルタ適用画像領域に付加するインデックス付加ステップと
を含む画像符号化方法。
【請求項１８】
ビットストリームである符号化動画像信号を復号する画像復号方法であって、
前記符号化動画像信号によって示されるフィルタ適用画像領域から、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれに対するインデックスを、適用インデックスとして抽出するインデックス抽出ステップと、
メモリに格納された少なくとも１つのフィルタデータの中から、前記インデックス抽出ステップで抽出された２つの前記適用インデックスに関連付けて格納されている、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを、適用フィルタデータとして取得するフィルタデータ取得ステップと、
前記フィルタデータ取得ステップで取得された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を復号する復号ステップと
を含む画像復号方法。
【請求項１９】
動画像信号を符号化することによってビットストリームである符号化動画像信号を生成する画像符号化装置であって、
前記動画像信号によって示されるフィルタ適用画像領域に適用すべき、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれのフィルタデータを、メモリに格納されている少なくとも１つのフィルタデータの中から、適用フィルタデータとして選択するフィルタデータ選択部と、
前記１次元成分フィルタごとに、選択された前記適用フィルタデータに関連付けて前記メモリに格納されているインデックスを適用インデックスとして取得するインデックス取得部と、
前記フィルタデータ選択部によって選択された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を符号化する符号化部と、
前記インデックス取得部によって取得された２つの前記適用インデックスを、前記符号化動画像信号内の符号化された前記フィルタ適用画像領域に付加するインデックス付加部と、
前記動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域に基づいて、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして特定するフィルタデータ特定部と、
前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当部と、
前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理部と、
前記フィルタデータ特定部で特定された２つの前記設計フィルタデータを、前記符号化動画像信号内の符号化された前記フィルタ設計用画像領域に付加するフィルタデータ付加部と
を備える画像符号化装置。
【請求項２０】
ビットストリームである符号化動画像信号を復号する画像復号装置であって、
前記符号化動画像信号によって示されるフィルタ適用画像領域から、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれに対するインデックスを、適用インデックスとして抽出するインデックス抽出部と、
メモリに格納された少なくとも１つのフィルタデータの中から、前記インデックス抽出部によって抽出された２つの前記適用インデックスに関連付けて格納されている、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを、適用フィルタデータとして取得するフィルタデータ取得部と、
前記フィルタデータ取得部によって取得された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を復号する復号部と、
前記符号化動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域から、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして抽出するフィルタデータ抽出部と、
前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当部と、
前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理部と
を備える画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化および復号化に関し、特に、フィルタリングを伴う画像符号化方法および画像復号方法などに関する。
【背景技術】
【０００２】
現在、標準化された動画像符号化アルゴリズムの大多数は、ハイブリッド動画像符号化に基づくものである。ハイブリッド動画像符号化方法は、典型的には、所望の圧縮結果を得るために、いくつかの異なるロスが生じない圧縮方法とロスが生じる圧縮方法とを組み合わせたものである。ハイブリッド動画像符号化は、ＩＳＯ／ＩＥＣ規格（ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４などのＭＰＥＧ−Ｘ規格）のみならず、ＩＴＵ−Ｔ規格（Ｈ．２６１やＨ．２６３などのＨ．２６ｘ規格）の基礎でもある。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＡＶＣ）と称される規格であり、これは、ＩＴＵ−ＴおよびＩＳＯ／ＩＥＣ  ＭＰＥＧグループのジョイントチームであるジョイントビデオチーム（ＪＶＴ）による標準化活動の成果である。【０００３】
エンコーダへ入力される動画像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは、２次元マトリクス状に配列された画素からなる。ハイブリッド動画像符号化に基づく上述の規格の全てにおいて、個々の動画像フレームは、複数の画素からなる、小ブロックへ細分化される。典型的には、マクロブロック（通常は１６×１６画素ブロックを意味する）は、基本的な画像エレメントであり、これに対して符号化がおこなわれる。しかしながら、より小さい画像エレメントに対してさまざまな特定の符号化ステップがおこなわれる場合があり、例として８×８、４×４、または１６×８画素などのサイズのサブマクロブロックや単にブロックが挙げられる。【０００４】
典型的には、ハイブリッド動画像符号化での符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、既に符号化された動画像フレームから、空間的に周辺にあるブロックまたは時間的に周辺にあるブロックを用いて予測される。次に、符号化対象ブロックと、予測ブロックと呼ばれる予測結果との差分ブロックが残差ブロックとして求められる。次の符号化ステップでは、残差ブロックが、空間（画素）ドメインから周波数ドメインへ変換される。この変換の目的は、入力ブロックの冗長性を削減することである。次の符号化ステップにおいて、変換係数が量子化される。このステップで、実際にロスが生じる（非可逆的な）圧縮がおこなわれる。通常、圧縮変換係数は、エントロピー符号化によって、（ロスを生じさせずに）さらに圧縮される。また、符号化動画像信号を再構築するために必要な補助情報が符号化され、符号化動画像信号とともに出力される。この情報は、例えば、空間的および／または時間的予測や量子化量に関するものである。【０００５】
図１は、Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣ規格に準拠した典型的な画像符号化装置（エンコーダ）１００の一例を示すブロック図である。Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣ規格は、上述の符号化ステップの全てを組み合わせたものである。減算器１０５は、まず、入力動画像（入力信号）の符号化対象ブロックと、符号化対象ブロックに対応する予測ブロック（予測信号）との差分を求める。Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣにおいては、時間的または空間的予測によって予測信号が得られる。予測タイプは、フレームごとまたはマクロブロックごとに異ならせることができる。時間的予測（画面間予測）を用いて予測されたマクロブロックは、インター符号化マクロブロックと呼ばれ、空間的予測（画面内予測）を用いて予測されたマクロブロックは、イントラ符号化マクロブロックと呼ばれる。動画像フレームの予測タイプは、高い圧縮結果を得る目的で、ユーザによって設定可能であり、画像符号化装置１００によっても選択可能である。選択された予測タイプにしたがって、イントラ／インタースイッチ１７５は、対応する予測信号を減算器１０５に出力する。【０００６】
時間的予測を用いて得られた予測信号は、メモリ１４０に格納されている先に符号化された画像から導出される。画面内予測部１７０によって、空間的予測を用いて得られた予測信号は、既に符号化されて復号されたメモリ１４０に記憶されている隣接ブロック内の境界に位置する画素の画素値から導出される。よって、メモリ１４０は、符号化対象の信号値と、符号化済み信号の値から生成された予測信号の値との比較を可能にする遅延手段として動作する。メモリ１４０は、複数の符号化動画像フレームを記憶可能である。入力信号と予測信号との差分（予測誤差信号）は、予測誤差または予測残差と称され、変換／量子化部１１０は、その予測誤差信号を周波数成分の係数に変換して量子化する。その後、エントロピー符号化部１９０は、ロスが生じない方法でデータ量をさらに削減するために、量子化係数に対してエントロピー符号化を行う。データ量の削減は、発生確率に基づいて選ばれた長さの複数の符号語からなる符号を用いる可変長符号化を適用することにより達成される。【０００７】
イントラ符号化画像（Ｉピクチャ、Ｉタイプ画像またはＩフレームとも呼ばれる）は、イントラ符号化されたマクロブロックのみからなる。つまり、イントラ符号化画像は、他の復号画像を参照することなく復号可能である。イントラ符号化画像は、符号化動画像シーケンスにエラー耐性を与える。なぜなら、時間的予測によって動画像シーケンス内でフレームからフレームへ伝播する可能性があるエラーをリフレッシュする（取り除く）からである。さらに、Ｉフレームは、符号化動画像シーケンス内でランダムアクセスを可能にする。画面内予測では、基本的には、既に符号化された隣接ブロックの境界に位置する画素を用いて対象ブロックを予測する、予め定義された一組のイントラ予測モードが用いられる。空間的イントラ予測モードが異なるということは、適用された２次元予測の方向が異なるということである。これにより、エッジの方向がさまざまである場合も、効率的な空間的イントラ予測が可能になる。そのようなイントラ予測によって得られた予測信号は、次に、上述したように、減算器１０５によって入力信号から減算される。また、空間的イントラ予測モード情報は、エントロピー符号化され、符号化動画像信号と共に提供される。【０００８】
画像符号化装置１００内には、復号動画像信号を取得する復号手段が組み込まれる。符号化ステップに準拠して、復号ステップの処理を実行する逆量子化／逆変換部１２０が含まれる。逆量子化／逆変換部１２０は、量子化係数に対して逆量子化および逆変換を行うことにより量子化予測誤差信号を生成する。量子化予測誤差信号は、量子化ノイズとも呼ばれる量子化誤差が原因で原画の予測誤差信号とは異なる。加算器１２５は、量子化予測誤差信号を予測信号に加算することにより、再構築信号を生成する。エンコーダ（画像符号化装置１００）側とデコーダ（画像復号装置）側の互換性を保つために、符号化された後に復号された動画像信号である再構築信号に基づいて、エンコーダ側とデコーダ側の双方に知られる予測信号を求める。量子化によって、量子化ノイズがその再構築信号に重畳されている。ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、再構築信号によって示される復号画像のブロック境界が目立つ結果になる。ブロッキングアーチファクト（ブロック歪み）は、人間の視覚的認識上マイナスの効果がある。【０００９】
アーチファクトを削減するために、デブロッキングフィルタ部１３０は、再構築信号によって示される復号画像のブロックごとにデブロッキングフィルタを適用する。デブロッキングフィルタは、予測信号と量子化予測誤差信号との加算結果である再構築信号に適用される。デブロッキングフィルタ処理後の再構築信号である復号信号は、通常は（ポストフィルタリングが適用されなければ）デコーダ側で表示される復号信号である。Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣにおけるデブロッキングフィルタは、局所的に適用可能なものである。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが適用され、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが適用される。ローパスフィルタの強度は、予測信号および量子化予測誤差信号によって決まる。デブロッキングフィルタは、通常、ブロックのエッジを平滑化して復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償に用いられるため、フィルタリングによって予測誤差が削減され、符号化効率を改善することができる。【００１０】
イントラ符号化マクロブロックは、表示される前にフィルタリングされるが、イントラ予測はフィルタリング前の復号信号の示すマクロブロックを用いて行われる。【００１１】
インター符号化画像を復号するには、符号化された後に復号された画像も必要である。時間的予測は、単一方向、つまり符号化対象フレームより前の時間順の動画像フレームのみを用いて行ってもよく、双方向、つまり符号化対象フレームより前および後の動画像フレームも用いて行ってもよい。単一方向の時間的予測をおこなえば、Ｐフレーム（Ｐピクチャ）と呼ばれるインター符号化画像が得られ、双方向の時間的予測をおこなえば、Ｂフレーム（Ｂピクチャ）と呼ばれるインター符号化画像が得られる。一般的に、インター符号化画像は、Ｐタイプマクロブロック、Ｂタイプマクロブロック、およびＩタイプマクロブロックのうち任意のものから構成される。【００１２】
動き補償予測部１６０は、インター符号化マクロブロック（ＰまたはＢマクロブロック）を予測する。まず、動き検出部１６５は、符号化された後に復号された動画像フレーム内で、符号化対象ブロックに最適なブロックを検出する。この最適ブロックは予測信号となり、符号化対象ブロックと最適ブロック間の相対的なずれ（動き）が、符号化動画像信号に付与される補助情報内に含められる３次元の動きベクトル（動きデータ）として送信される。３次元は、空間的２次元と時間的１次元からなる。予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの空間的小数画素解像度で動きベクトルを特定してもよい。空間的に小数画素精度の解像度を有する動きベクトルは、復号済みフレーム内の、実存し利用可能な画素値がない小数画素位置のような空間位置を指してもよい。よって、動き補償予測をおこなうには、そのような画素値の空間的補間が必要である。補間は、補間フィルタ部１５０によっておこなわれる。Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣ規格にしたがって、垂直方向と水平方向のそれぞれにおいて小数画素位置の画素値を得るために、固定フィルタ係数を用いた６タップ・ウィナー補間フィルタと双線形フィルタが適用される。【００１３】
イントラ符号化モードおよびインター符号化モードにおいて、変換／量子化部１１０によって、入力信号と予測信号間の差分が変換されて量子化され、量子化係数が得られる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数版のような直交変換が採用される。なぜなら、これにより自然な動画像の冗長性を効率的に削減できるからである。通常、低周波数成分は高周波成分よりも画質にとって重要であるため、高周波数よりも低周波数に多くのビットが費やされるように変換される。エントロピー符号化部１９０は、２次元マトリクス状に配列（２次元配列）された量子化係数を、１次元配列の量子化係数に変換する。典型的には、いわゆるジグザグ走査による変換がおこなわれる。ジグザグ走査では、当該２次元配列は、左上隅のＤＣ係数から右下隅のＡＣ係数まで所定の順序で走査される。典型的には、エネルギーは低周波に相当する画像の左上部分に集中するため、ジグザグ走査をおこなうと、最後のほうでゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはそれ以前の段階で、ラン‐レングス符号を用いた効率的な符号化をおこなうことが可能になる。【００１４】
Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣは、スカラー量子化を採用しており、これは量子化パラメータ（ＱＰ）およびカスタマイズ可能な量子化マトリクス（ＱＭ）によって制御可能である。５２の量子化器のうちの１つが、量子化パラメータによって各マクロブロック用として選択される。また、量子化マトリクスは、画質劣化を避ける目的で、ソースにおける周波数を保つために特に設計されたものである。Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣにおける量子化マトリクスは、動画像シーケンスに適用され、符号化動画像信号と共に送信される。【００１５】
Ｈ．２６４／ＡＶＣ規格には、ビデオ符号化層（ＶＣＬ）とネットワーク抽象レイヤ（ＮＡＬ）という２つの機能層が備えられている。ＶＣＬは、既に簡単に触れた符号化機能を提供する。ＮＡＬは、チャネル上の伝送や記憶手段への記憶などのさらなるアプリケーションにしたがって、動画像の復号時に必要な補助情報と共に、符号化された予測誤差信号を、ＮＡＬユニットと呼ばれる標準単位にカプセル化する。圧縮動画像データおよびその関連情報を含むＶＣＬ  ＮＡＬユニットと呼ばれるものがある。一方、付加データをカプセル化する非ＶＣＬユニットと呼ばれるものもある。付加データは、例えば、動画像シーケンス全体に関するパラメータセットや、復号性能を改善するために用いることができる付加情報を提供する、最近追加された補助的拡張情報（ＳＥＩ）などである。【００１６】
画質を改善するために、ポストフィルタ部２８０（図２参照）と呼ばれるものを、デコーダ（画像復号装置２００）で適用してもよい。Ｈ．２６４／ＡＶＣ規格においては、補助的拡張情報（ＳＥＩ）メッセージを通して、ポストフィルタのためのポストフィルタ情報を送信することが可能である。ポストフィルタ情報（いわゆるポストフィルタ・ヒント）は、ローカル復号信号と原画を示す入力信号とを比較するポストフィルタ設計部１８０によってエンコーダ側で特定される。一般的に、ポストフィルタ情報は、デコーダが適切なフィルタを設定できるようにする情報である。ポストフィルタ情報は、例えば、フィルタ係数そのものである。ポストフィルタ情報は、フィルタ設定を可能にする他の情報であってもよい。例えば、非圧縮信号に関する相互相関情報や、原画を示す入力信号と復号画像との相互相関情報や、復号画像と量子化ノイズとの相互相関情報などであってもよい。相互相関情報を、フィルタ係数を求めるために用いてもよい。ポストフィルタ設計部１８０によって出力されたポストフィルタ情報は、符号化されて符号化動画像信号に挿入されるためにエントロピー符号化部１９０に出力される。デコーダにおいて、表示前に復号信号に適用されるポストフィルタ部２８０によって、ポストフィルタ情報が用いられてもよい。【００１７】
図２は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ動画像符号化規格に準拠した例示的な画像復号装置（デコーダ）２００の一例を示すブロック図である。符号化動画像信号（デコーダへの入力信号）は、まずエントロピー復号部２９０へ送信される。エントロピー復号部２９０は、量子化係数と、動きデータおよび予測モードなどの復号に必要な情報エレメントと、ポストフィルタ情報とを復号する。量子化係数は、逆走査されて２次元配列となり、逆量子化／逆変換部２２０へ送信される。逆量子化および逆変換後、量子化予測誤差信号が得られる。これは、量子化ノイズがないものとして、エンコーダへ入力された信号から予測信号を減算して得られた差分に相当する。【００１８】
予測信号は、動き補償予測部２６０または画面内予測部２７０からそれぞれ得られる。イントラ／インタースイッチ２７５は、エンコーダで適用された予測タイプを示す情報エレメントにしたがって、加算器２２５に出力される予測信号を切り替える。情報エレメントは、さらに、イントラ予測の場合には、イントラ予測モードなどの予測に必要な情報を含み、動き補償予測の場合には、動きデータなどの予測に必要な情報を含む。動きベクトルの値によっては、動き補償予測をおこなうためには画素値を補間する必要がある。補間は、補間フィルタ部２５０によっておこなわれる。【００１９】
空間領域の量子化予測誤差信号は、次に、加算器２２５によって、動き補償予測部２６０か画面内予測部２７０から得られる予測信号へ加算される。加算によって得られた再構築信号は、デブロッキングフィルタ部２３０へ送信される。デブロッキングフィルタ部２３０によって得られた復号信号は、メモリ２４０に記憶され、後続ブロックの時間的予測または空間的予測に用いられる。【００２０】
ポストフィルタ情報は、ポストフィルタ部２８０へ送信され、それに応じたポストフィルタが設定される。さらに画質を改善するために、ポストフィルタ部２８０は、ポストフィルタ情報によって設定されたポストフィルタを復号信号に適用する。よって、ポストフィルタ部２８０は、エンコーダへ入力される動画像信号の特性に適応する能力を備える。【００２１】
要約すると、最新のＨ．２６４／ＭＰＥＧ‐４  ＡＶＣ規格で用いられるフィルタは以下の３種類、すなわち、補間フィルタとデブロッキングフィルタとポストフィルタである。一般に、あるフィルタが適切かどうかは、フィルタリング対象の画像次第で決まる。それゆえ、画像の特性に適応可能なフィルタ設計は有利である。フィルタ係数を、ウィナーフィルタ係数として設計してもよい。【００２２】
図３は、ノイズを削減するためのウィナーフィルタ３００を用いた信号の流れを説明するための図である。ノイズｎが入力信号ｓに加算されると、フィルタリング対象のノイズを含む信号ｓ’になる。ノイズｎを削減するという目的は、信号ｓ’にウィナーフィルタを適用してフィルタリング済み信号ｓを得ることである。ウィナーフィルタ３００は、所望の信号である入力信号ｓとフィルタリング済み信号ｓ”との間の平均２乗誤差を最小限にするよう設計される。したがって、ウィナーフィルタ係数ｗは、ウィナーＨｏｐｆ方程式と呼ばれるシステムとして表現される最適化問題「ａｒｇｗ  ｍｉｎ  Ｅ［（ｓ−ｓ”）２］」の解に相当し、演算子Ｅ［ｘ］は、期待値ｘを示す。解は「ｗ＝Ｒ−１・ｐ」で求められる。【００２３】
ここで、ｗは、正の整数であるＭ桁の最適ウィナーフィルタ係数を含むＭ×１のベクトルである。Ｒ−１は、フィルタリング対象のノイズを含む信号ｓ’のＭ×Ｍの自己相関マトリクスＲの逆数を表す。ｐは、フィルタリング対象のノイズを含む信号ｓ’と原信号ｓとの間のＭ×１の相互相関ベクトルを表す。適応的フィルタ設計に関する詳細については、非特許文献１を参照のこと。【００２４】
よって、ウィナーフィルタ３００のメリットの１つは、破損した（ノイズを含む）信号の自己相関と、破損信号と所望の信号間の相互相関に基づいて、フィルタ係数を求めることができるという点である。動画像符号化において、量子化ノイズは、量子化ステップにおける原画（入力）動画像信号に重畳される。動画像符号化におけるウィナーフィルタリングは、フィルタリングされた復号信号と元の動画像信号との平均２乗誤差を最小限にするために、重畳された量子化ノイズを削減することを目的とする。【００２５】
一般的に、２次元フィルタは、分離可能であってもよく、非分離可能であってもよい。あるフィルタを、２つの１次元成分フィルタ、つまり、垂直成分フィルタと水平成分フィルタとに分離可能であれば、そのフィルタは分離可能と言われる。対応する２次元フィルタで２次元畳み込みをおこなう代わりに、水平方向における１次元フィルタと垂直方向における１次元フィルタの畳み込みとして当該フィルタを適用可能であれば、フィルタリングのための演算複雑性を大いに削減することができる。【００２６】
エンコーダからデコーダへ送信されるフィルタデータ（フィルタ情報）は、求められたフィルタ係数そのものであってもよく、ウィナーフィルタを求めるために必要であり、かつ、デコーダでは特定不可能な相互相関ｐであってもよい。そのような補助情報を送信すれば、フィルタリングの質を改善できる場合があるが、その一方で、さらなる帯域が必要となる。同様に、フィルタを改善すれば（例えば、その次数を増やすこと、別々に求めることおよび／または動画像信号の一部への適用など）、ビデオ品質をさらに改善することができる。
【先行技術文献】
【非特許文献】
【００２７】
【非特許文献１】Ｓ．Ｈａｙｋｉｎ「Ａｄａｐｔｉｖｅ  Ｆｉｌｔｅｒ  Ｔｈｅｏｒｙ（適応的フィルタの理論）」（第４版、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｓｙｓｔｅｍ  Ｓｃｉｅｎｃｅｓシリーズ、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、２００２年）
【発明の概要】
【発明が解決しようとする課題】
【００２８】
しかしながら、従来の画像符号化方法および画像復号方法では、符号化動画像信号に全てのフィルタ情報を含めるため、その符号化動画像信号のデータ量が多くなり、その符号化動画像信号を送信するために広い伝送帯域が必要になるという問題がある。【００２９】
つまり、本発明の根底にある課題は、動画像のフィルタリング品質をさらに改善すると、典型的には、フィルタ情報を符号化動画像信号に付与するための帯域要求が厳しくなるという観測に基づいている。【００３０】
そこで、本発明は、動画像のフィルタリングの品質を向上するとともに、伝送帯域の増加を抑えた画像符号化方法および画像復号方法などを提供することを目的とする。
【課題を解決するための手段】
【００３１】
上記目的を達成するために、本発明の一態様に係る画像符号化方法は、動画像信号を符号化することによってビットストリームである符号化動画像信号を生成する画像符号化方法であって、前記動画像信号によって示されるフィルタ適用画像領域に適用すべき、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれのフィルタデータを、メモリに格納されている少なくとも１つのフィルタデータの中から、適用フィルタデータとして選択するフィルタデータ選択ステップと、前記１次元成分フィルタごとに、選択された前記適用フィルタデータに関連付けて前記メモリに格納されているインデックスを適用インデックスとして取得するインデックス取得ステップと、前記フィルタデータ選択ステップで選択された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を符号化する符号化ステップと、前記インデックス取得ステップで取得された２つの前記適用インデックスを、前記符号化動画像信号内の符号化された前記フィルタ適用画像領域に付加するインデックス付加ステップと、前記動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域に基づいて、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして特定するフィルタデータ特定ステップと、前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当ステップと、前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理ステップと、前記フィルタデータ特定ステップで特定された２つの前記設計フィルタデータを、前記符号化動画像信号内の符号化された前記フィルタ設計用画像領域に付加するフィルタデータ付加ステップとを含む。例えば、前記フィルタ設計用画像領域はスライスであり、前記フィルタ適用画像領域はブロックであり、前記フィルタデータ付加ステップでは、符号化された前記スライスのヘッダに２つの前記設計フィルタデータを付加する。【００３２】
これにより、フィルタ適用画像領域（例えば、マクロブロックやブロックなど）に適用すべき適用フィルタデータが選択され、その適用フィルタデータを用いてフィルタ適用画像領域がフィルタリングされて符号化されるため、動画像信号に複数のフィルタ適用画像領域があれば、それらのフィルタ適用画像領域のそれぞれに適切なフィルタリングを行うことができる。その結果、動画像のフィルタリングの品質を向上することができ、適用フィルタデータのデータ量が多いほど、品質を向上することができる。また、本発明の一態様に係る画像符号化方法では、メモリに格納されているフィルタデータのデータ量が多い場合であっても、そのフィルタデータに関連付けてメモリに格納されているインデックスのデータ量を小さくすることができる。したがって、本発明の一態様に係る画像符号化方法では、選択された適用フィルタデータを識別するための適用インデックスが、適用フィルタデータの代わりに符号化動画像信号に付加されるため、その符号化動画像信号を送信するための伝送帯域の増加を抑えることができる。【００３３】
さらに、本発明の一態様に係る画像符号化方法では、上述のフィルタ適用画像領域を含むフィルタ設計用画像領域（例えば、スライスやフレームなど）に基づいて設計フィルタデータが特定され、その設計フィルタデータと、その設計フィルタデータを識別するためのインデックスとが関連付けられてメモリに格納される。したがって、フィルタ適用画像領域に対して適用フィルタデータを選択するときには、そのフィルタ適用画像領域を含むフィルタ設計用画像領域に対して特定された設計フィルタデータを適用フィルタデータとして選択することができる。また、そのフィルタ設計用画像領域と異なる、過去に処理されたフィルタ設計用画像領域に対して特定された設計フィルタデータを適用フィルタデータとして選択することができる。その結果、フィルタ設計用画像領域が処理されるごとに、選択される適用フィルタデータの候補を増やすことができ、フィルタ適用画像領域に対して適切な適用フィルタデータを選択することができ、フィルタリングの品質をさらに向上することができる。【００３４】
さらに、本発明の一態様に係る画像符号化方法では、特定された設計フィルタデータに対して設計インデックスが割り当てられ、その設計フィルタデータと設計インデックスとが関連付けられてメモリに格納されるとともに、その設計フィルタデータが符号化動画像信号（例えば、スライスヘッダなど）に付加される。したがって、画像復号装置では、その符号化動画像信号から設計フィルタデータを取得することができる。また、画像復号装置は、画像符号化装置における設計インデックスの割り当て規則と同じ規則にしたがって、その取得した設計フィルタデータに設計インデックスを割り当て、その設計フィルタデータと設計インデックスとをメモリに格納しておけば、画像復号装置のメモリの内容を、画像符号化装置のメモリの内容に一致させて管理することができる。その結果、画像復号装置は、符号化動画像信号に付加された適用インデックスに対応する適切な適用フィルタデータをそのメモリの中から選択することができ、その適用フィルタデータを用いてフィルタ適用画像領域に対して適切なフィルタリングを行うことができる。その結果、フィルタリングの品質を向上して符号化動画像信号を適切に復号することができる。【００３５】
さらに、本発明の一態様に係る画像符号化方法では、適用フィルタデータの選択、適用インデックスの取得、設計フィルタデータの特定、設計インデックスの割り当て、およびフィルタデータとインデックスとの関連付けが、２次元分離可能フィルタを構成する２種類の１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）のそれぞれに対して行われる。したがって、フィルタ適用画像領域に対して１次元成分フィルタごとに適切な適用フィルタデータを選択することができ、フィルタリングの品質をさらに向上することができる。ここで、例えば、フィルタ設計用画像領域ごとに、２次元フィルタのフィルタデータを特定する場合、つまり、２種類の１次元成分フィルタの２つの設計フィルタデータを纏めて特定するような場合には、その２つの設計フィルタデータの組み合わせごとに、その組み合わせとインデックスとがメモリに格納され、その組み合わせの数だけメモリに格納されるデータの量が多くなる。しかし、本発明の一態様に係る画像符号化方法では、１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）ごとに、設計フィルタデータと設計インデックスとが関連付けられてメモリに格納されるため、その組み合わせに関わらず、メモリに格納されるデータの量を抑えることができる。【００３６】
また、前記フィルタデータ選択ステップでは、前記格納処理ステップで２つの前記設計フィルタデータが前記メモリに格納された後に、２つの前記設計フィルタデータを含む複数のフィルタデータの中から、２つの前記適用フィルタデータを選択してもよい。【００３７】
これにより、選択される適用フィルタデータの候補を増やすことができ、適切な適用フィルタデータを選択することができる。【００３８】
また、前記フィルタデータ選択ステップでは、前記格納処理ステップで２つの前記設計フィルタデータが前記メモリに格納される前に、２つの前記設計フィルタデータを除く前記少なくとも１つのフィルタデータの中から、２つの前記適用フィルタデータを選択してもよい。【００３９】
これにより、フィルタ適用画像領域に対する適用フィルタデータの選択を、設計フィルタデータの特定よりも先に行うことができ、処理手順が画像符号化の処理負担に影響を与えるような場合には、その負担を軽減することができる。また、メモリに格納される設計フィルタデータを、フィルタ設計用画像領域の次に処理されるフィルタ設計用画像領域内の他のフィルタ適用画像領域に対して選択される適用フィルタデータの候補にすることができる。【００４０】
また、前記画像符号化方法は、さらに、前記動画像信号によって示される、符号化順で前記フィルタ設計用画像領域の前にある他のフィルタ設計用画像領域に基づいて、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを特定する他領域フィルタデータ特定ステップを含み、前記フィルタデータ選択ステップでは、前記他領域フィルタデータ特定ステップで特定された２つの前記フィルタデータを含む複数のフィルタデータの中から、２つの前記適用フィルタデータを選択してもよい。【００４１】
これにより、フィルタ設計用画像領域が順次処理されるような場合には、過去に処理されたフィルタ設計用画像領域（他のフィルタ設計用画像領域）に対して特定されたフィルタデータが、選択される適用フィルタデータの候補に含まれるため、その候補を増やすことができ、適切な適用フィルタデータを選択することができる。【００４２】
また、前記画像符号化方法は、さらに、前記２種類の１次元成分フィルタのうちの一方の適用インデックスを予測する予測ステップを含み、前記インデックス付加ステップでは、前記予測ステップでの予測によって得られた予測インデックスと、前記一方の適用インデックスとが同一の場合には、前記一方の適用インデックスの代わりに、前記一方の適用インデックスが予測結果と同一であることを示す予測情報を、前記符号化動画像信号に付加してもよい。【００４３】
これにより、予測インデックスと一方の適用インデックスとが同一場合には、一方の適用インデックスの代わりに、予測情報（予測フラグ＝１）が符号化動画像信号に付加されるため、付加されるデータの量を抑えることができ、伝送帯域の増加をさらに抑えることができる。【００４４】
また、前記予測ステップでは、前記フィルタ設計用画像領域に含まれる、前記フィルタ適用画像領域の周辺にある複数の周辺フィルタ適用画像領域のそれぞれに対して取得された、前記２種類の１次元成分フィルタに対する２つのインデックスの中から、何れかのインデックスを前記予測インデックスとして選択することによって、前記一方の適用インデックスを予測してもよい。【００４５】
複数の周辺フィルタ適用画像領域はフィルタ適用画像領域の周辺にあるため、複数の周辺フィルタ適用画像領域と適用フィルタ画像領域との間では、画像の特性が似ている。したがって、複数の周辺フィルタ適用画像領域のインデックスの中から、何れかのインデックスを選択することによって、フィルタ適用画像領域の一方の適用インデックスを適切に予測することができる。【００４６】
また、前記画像符号化方法は、さらに、前記フィルタ適用画像領域および前記複数の周辺フィルタ適用画像領域のそれぞれにおいて動きベクトルを検出する検出ステップを含み、前記予測ステップでは、前記複数の周辺フィルタ適用画像領域の中から、前記フィルタ適用画像領域に対して検出された動きベクトルに最も類似する動きベクトルが検出された周辺フィルタ適用画像領域を特定し、特定された前記周辺フィルタ適用画像領域に対して取得された、前記２種類の１次元成分フィルタの２つのインデックスのうちの一方を前記予測インデックスとして選択してもよい。【００４７】
これにより、画像の特性として動きベクトルが用いられる。つまり、複数の周辺フィルタ適用画像領域の中から、動きベクトルについてフィルタ適用画像領域と最も類似する周辺フィルタ適用画像領域が特定され、その周辺フィルタ適用画像領域のインデックスが予測インデックスとして選択されるため、フィルタ適用画像領域の一方の適用インデックスをより適切に予測することができる。また、そのフィルタ適用画像領域および複数の周辺フィルタ適用画像領域が動きベクトルを用いて符号化される場合には、その動きベクトルを流用して簡単に適切な予測を行うことができる。【００４８】
また、前記予測ステップでは、前記２種類の１次元成分フィルタの前記２つのインデックスのうち、前記一方の適用インデックスの１次元成分フィルタと同一種類の１次元成分フィルタのインデックスを前記予測インデックスとして選択してもよい。【００４９】
例えば、一方の適用インデックスの１次元成分フィルタが水平成分フィルタであれば、特定された周辺フィルタ適用画像領域の水平成分フィルタに対するインデックスが予測インデックスとして選択される。したがって、１次元成分フィルタの種別ごとに予測が行われるため、より適切な予測を行うことができる。【００５０】
また、前記予測ステップでは、前記フィルタ適用画像領域に対して取得された、前記２種類の１次元成分フィルタのうちの他方の適用インデックスを用いて、前記一方の適用インデックスを予測してもよい。【００５１】
これにより、例えばフィルタ適用画像領域の周辺にある画像領域を利用することができないような場合にも、適切な予測を行うことができる。【００５２】
また、前記画像符号化方法は、前記動画像信号によって複数の前記フィルタ設計用画像領域が示されている場合には、前記フィルタ設計用画像領域ごとに、前記フィルタデータ特定ステップと、前記インデックス割当ステップと、前記格納処理ステップとを繰り返し、前記インデックス割当ステップでは、複数の前記フィルタ設計用画像領域のそれぞれに対する２つの前記設計インデックスが前記格納処理ステップで前記メモリに格納される順番にしたがって、または、複数の前記フィルタ設計用画像領域が表示される順番にしたがって、複数の前記フィルタ設計用画像領域のそれぞれに対する２つの前記設計インデックスの示す値が単調に増加または減少するように、前記フィルタ設計用画像領域ごとに２つの前記設計インデックスを割り当ててもよい。【００５３】
これにより、メモリに格納されるインデックス（設計インデックス）の示す値によって、そのインデックスに関連付けられているフィルタデータが、古いものか、新しいものか、または必要なものかを容易に判別することができ、メモリ内のデータを適切に管理することができる。【００５４】
また、前記２種類の１次元成分フィルタは、水平成分フィルタと垂直成分フィルタであり、前記フィルタデータ特定ステップでは、前記水平成分フィルタの設計フィルタデータの情報量が、前記垂直成分フィルタの設計フィルタデータの情報量よりも多くなるように、２つの前記設計フィルタデータを特定してもよい。【００５５】
例えば、撮影を行って動画像信号を生成するビデオカメラは、その撮影中、垂直方向よりも水平方向に動くことが多い。したがって、動画像信号によって示される動画像には、垂直方向よりも水平方向の動き量が多い。そこで、本発明の一態様に係る画像符号化方法では、水平成分フィルタの設計フィルタデータの情報量が、垂直成分フィルタの設計フィルタデータの情報量よりも多いため、水平方向の動きに対してより適切なフィルタリングを行うことができ、フィルタリングの品質を向上することができる。【００５６】
上記目的を達成するために、本発明の一態様に係る画像復号方法は、ビットストリームである符号化動画像信号を復号する画像復号方法であって、前記符号化動画像信号によって示されるフィルタ適用画像領域から、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれに対するインデックスを、適用インデックスとして抽出するインデックス抽出ステップと、メモリに格納された少なくとも１つのフィルタデータの中から、前記インデックス抽出ステップで抽出された２つの前記適用インデックスに関連付けて格納されている、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを、適用フィルタデータとして取得するフィルタデータ取得ステップと、前記フィルタデータ取得ステップで取得された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を復号する復号ステップと、前記符号化動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域から、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして抽出するフィルタデータ抽出ステップと、前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当ステップと、前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理ステップとを含む。【００５７】
これにより、フィルタ適用画像領域から適用インデックスが抽出され、その適用インデックスに関連付けてメモリに格納されている適用フィルタデータが取得され、その適用フィルタデータを用いてフィルタ適用画像領域がフィルタリングされて復号化されるため、符号化動画像信号に複数のフィルタ適用画像領域があれば、それらのフィルタ適用画像領域のそれぞれに適切なフィルタリングを行うことができる。その結果、動画像のフィルタリングの品質を向上することができ、適用フィルタデータのデータ量が多いほど、品質を向上することができる。【００５８】
さらに、本発明の一態様に係る画像復号方法では、フィルタ設計用画像領域から設計フィルタデータが抽出され、その設計フィルタデータと、その設計フィルタデータを識別するための設計インデックスとが関連付けられてメモリに格納される。したがって、フィルタ適用画像領域に対する適用フィルタデータを取得するときには、そのフィルタ適用画像領域を含むフィルタ設計用画像領域から抽出された設計フィルタデータを適用フィルタデータとして取得することができる。また、そのフィルタ設計用画像領域と異なる、過去に処理されたフィルタ設計用画像領域から抽出された設計フィルタデータを適用フィルタデータとして取得することができる。その結果、フィルタ設計用画像領域が処理されるごとに、取得される適用フィルタデータの候補を増やすことができ、フィルタ適用画像領域に対して適切な適用フィルタデータを取得することができ、フィルタリングの品質をさらに向上することができる。【００５９】
さらに、本発明の一態様に係る画像復号方法では、抽出された設計フィルタデータに対して設計インデックスが割り当てられ、その設計フィルタデータと設計インデックスとが関連付けられてメモリに格納される。したがって、画像復号装置では、画像符号化装置における設計インデックスの割り当て規則と同じ規則にしたがって、その抽出した設計フィルタデータに設計インデックスを割り当て、その設計フィルタデータと設計インデックスとをメモリに格納しておけば、画像復号装置のメモリの内容を、画像符号化装置のメモリの内容に一致させて管理することができる。その結果、符号化動画像信号に付加された適用インデックスに対応する適切な適用フィルタデータをそのメモリの中から選択することができ、その適用フィルタデータを用いてフィルタ適用画像領域に対して適切なフィルタリングを行うことができる。その結果、フィルタリングの品質を向上して符号化動画像信号を適切に復号することができる。【００６０】
さらに、本発明の一態様に係る画像復号方法では、適用インデックスの抽出、適用フィルタデータの取得、設計フィルタデータの抽出、設計インデックスの割り当て、およびフィルタデータとインデックスとの関連付けが、２次元分離可能フィルタを構成する２種類の１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）のそれぞれに対して行われる。したがって、フィルタ適用画像領域に対して１次元成分フィルタごとに適切な適用フィルタデータを取得することができ、フィルタリングの品質をさらに向上することができる。ここで、例えば、フィルタ設計用画像領域ごとに、２次元フィルタのフィルタデータを抽出する場合、つまり、２種類の１次元成分フィルタの２つの設計フィルタデータを纏めて抽出するような場合には、その２つの設計フィルタデータの組み合わせごとに、その組み合わせとインデックスとがメモリに格納され、その組み合わせの数だけメモリに格納されるデータの量が多くなる。しかし、本発明の一態様に係る画像復号方法では、１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）ごとに、設計フィルタデータと設計インデックスとが関連付けられてメモリに格納されるため、その組み合わせに関わらず、メモリに格納されるデータの量を抑えることができる。【００６１】
なお、本発明に特有の手法は、２次元分離可能フィルタの１次元成分に関するフィルタデータにインデックス値を付与して記憶するためのフィルタメモリを、エンコーダおよびデコーダで保持することであり、また、第１および第２の成分フィルタに対するフィルタデータを、エンコーダのフィルタメモリから選択し、これら２つのインデックスをフィルタデータの代わりにデコーダへ提供することである。【００６２】
そのような手法によると、別個のインデックスを信号送信するという手段を用いて局所適応を可能にする動画像信号を効率よく符号化でき、フィルタデータ全体に対するよりも小さい帯域で済む。一方、選択可能なフィルタデータは更新される。よって、成分インデックスは、限られてはいるものの正確なフィルタデータから選択される。【００６３】
本発明の１態様によれば、動画像信号を符号化し、デコーダで動画像信号のフィルタリングのために用いられるフィルタ情報と共に、当該符号化動画像信号をビットストリームの形で提供する。この方法では、動画像信号におけるフィルタ設計用画像領域に基づく２次元分離可能フィルタの第１および第２の成分に対し、フィルタ情報を特定する。特定されたフィルタ情報は、符号化動画像信号のビットストリームと共にデコーダへ提供される。特定されたフィルタ情報（第１および第２の成分フィルタ）は、インデックス値と関連付けられ、当該インデックス値と共にフィルタメモリに記憶される。動画像信号内のフィルタ適用画像領域をフィルタリングするために、２次元分離可能フィルタの第１の成分のフィルタ情報および第２の成分のフィルタ情報がフィルタメモリから選択され、選択された第１および第２の成分のフィルタ情報に対応する第１インデックス値および第２インデックス値が取得される。取得されたインデックス値はその後、符号化動画像信号のビットストリームに付与される。【００６４】
本発明の他の態様によれば、動画像信号をフィルタリングするためのフィルタデータと共にビットストリームの形で符号化された動画像信号を復号するための方法が提供される。当該フィルタデータは、符号化動画像信号のビットストリームから抽出され、インデックス値を付与される。インデックス値を付与されたフィルタデータは、インデックス値と共にフィルタメモリに記憶される。第１および第２のインデックスは、符号化ストリームから抽出される。これに基づき、フィルタデータがフィルタメモリから検索される。２次元分離可能フィルタは、取得された第１の成分のフィルタデータと第２の成分のフィルタデータとに基づいて設定される。これらを用いて、動画像信号におけるフィルタ適用画像領域はフィルタリングされる。【００６５】
本発明の他の態様によれば、動画像信号を符号化し、当該動画像信号をフィルタリングするためのフィルタデータと共にビットストリームの形で符号化された動画像信号を与えるためのエンコーダが提供される。当該エンコーダは、動画像信号におけるフィルタ設計用画像領域に基づいて２次元分離可能フィルタの第１および第２の成分のフィルタデータを特定するためのフィルタ算出部を備える。特定されたフィルタデータは、符号化動画像信号のビットストリームを用いてデコーダへ提供される。エンコーダは、特定されたフィルタデータにインデックス値を付与するためのインデックス生成部と、関連付けられたフィルタデータと共にインデックス値を記憶するフィルタメモリとを備える。フィルタ選択部は、フィルタメモリから、動画像信号におけるフィルタ適用画像領域をフィルタリングするための２次元分離可能フィルタの第１の成分のフィルタデータと第２の成分のフィルタデータとを選択し、関連付けられた第１インデックス値と第２インデックス値とを取得する。取得されたインデックス値は、符号化動画像信号のビットストリームに付与される。【００６６】
本発明の他の態様によれば、動画像信号をフィルタリングするためのフィルタデータと共にビットストリームの形で符号化された動画像信号を復号するためのデコーダが提供される。当該デコーダは、符号化動画像信号のビットストリームから、フィルタデータを取得するための第１の抽出部を備える。当該デコーダは、抽出されたフィルタデータにインデックス値を付与するためのインデックス生成部と、関連付けられたフィルタデータと共にインデックス値を記憶するフィルタメモリとを備える。デコーダは、ビットストリームから第１インデックスと第２インデックスとを取得するための第２の抽出部と、第１インデックスと関連付けられた第１の成分のフィルタデータと、第２インデックスと関連付けられた第２の成分のフィルタデータとをフィルタメモリから検索するためのフィルタ選択部とをさらに備える。フィルタ設定部は、取得された第１の成分のフィルタデータと第２の成分のフィルタデータとに基づいて２次元分離可能フィルタを設定し、設定されたフィルタを用いて動画像信号におけるフィルタ適用画像領域をフィルタリングする。【００６７】
選択されることが好ましい成分フィルタデータは 、過去に使用された成分フィルタデータである。つまり、この成分フィルタデータは、対象フィルタ設計用画像領域よりも符号化順で前にある他のフィルタ設計用画像領域に対して既に設計（特定）された過去の成分フィルタデータであって、対象フィルタ設計用画像領域内に位置するフィルタ適用画像領域に対して適用される、フィルタメモリから得られた成分フィルタデータである。これにより、フィルタ設計用画像領域を１回符号化すればよいという利点が得られ、複雑性が軽減される。しかしながら、同一のフィルタ設計領域のフィルタデータをフィルタメモリに記憶してもよく、フィルタ設計用画像領域内に含まれるフィルタ適用画像領域をフィルタリングするためのフィルタデータを選択して利用できるようにしてもよい。これにより、フィルタリング品質が改善され、符号化効率が向上する。【００６８】
好ましくは、フィルタデータは、フィルタ係数からなり、対象ブロックに対しビットストリーム内に与えられた第１および第２インデックス値は、対象ブロックに隣接するブロックの第１および第２インデックス値を用いた予測に基づいて符号化される。予測符号化は、隣接ブロックのフィルタデータ間の相関を活用し、かつ、インデックスを記憶して送信するために必要な帯域を削減するための効率的な手段を提供する。対象ブロックのビットストリーム内に与えられた第２インデックスを、対象ブロックの第１インデックス値を用いた予測に基づいて符号化してもよい。２次元分離可能フィルタの成分間の相関を活用すれば、ビットレートの削減につながる。【００６９】
本発明の他の態様によると、フィルタ適用画像領域は画像ブロックであり、フィルタデータはスライスごとにスライスヘッダ内に付与される。【００７０】
好ましくは、インデックスの生成では、特定されたフィルタデータに対し、フィルタメモリに特定されたフィルタデータを記憶する時間に比例したインデックス値を付与する。このようにして、フィルタメモリに記憶されるフィルタテーブルにおける最小または最大インデックスは常に最新のフィルタデータとなり、このインデックスは、これより古いフィルタデータに対して増加または減少する。特に、インデックス値は、成分フィルタデータを特定するフィルタ設計用画像領域の表示順または符号化順で付与されてもよい。符号化順および表示順は、特にＢフレームについては異なってもよい。一般的に、このことは、テーブルにおけるインデックス値が、符号化中の領域のフィルタデータと記憶されたフィルタデータとの相関値に比例しているかどうかによっては有利である。時間的および空間的に近い画像領域（ゆえにフィルタリングに適したフィルタデータ）は、離れた画像領域よりも相関が大きいと想定される。しかしながら、本発明においては、他の順序を用いてもよく、明示的にインデックスの割り当てを信号送信することさえ可能である。エンコーダおよびデコーダは、フィルタデータへの同じインデックスの割り当てを保持することが重要である。いくつかの順序を切り替えることも可能である。切り替えは、送信情報に基づいておこなうこともできる。【００７１】
好ましくは、動画像信号を、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ規格に基づいて符号化および／または復号し、フィルタデータを、補助的拡張情報メッセージ内に含める。しかしながら、本発明は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ規格およびその機能強化規格や追随規格に限られず、他のいかなる動画像符号化メカニズム、規格、または特許に用いてもよい。【００７２】
本発明の他の態様によれば、本発明の方法を実行するよう適応的に構成されたプログラムコードが組み込まれた、コンピュータが読み取り可能な媒体からなるコンピュータプログラム製品が提供される。【００７３】
本発明の他の態様によれば、エンコーダからデコーダへビデオ信号を転送するシステムであって、上述のエンコーダと、符号化動画像信号を記憶または送信するためのチャネルと、上述のデコーダとを備えるシステムが提供される。本発明の他の態様によれば、チャネルは記録媒体に対応し、例えば、揮発性または不揮発性メモリや、ＣＤ、ＤＶＤ、ＢＤなどの光学または磁気記録媒体、ハードディスク、フラッシュメモリ、または他の記録媒体に対応する。本発明の他の態様によれば、チャネルは伝送手段であり、インターネット、ＷＬＡＮ、ＵＭＴＳ、ＩＳＤＮ、ｘＤＳＬなどの規格または特許伝送技術またはシステムに準拠した、無線または有線システム、または両者の組み合わせであるリソースによって形成することができる。【００７４】
好ましくは、２次元分離可能フィルタの２つの成分のうち１つに対してより多くのフィルタデータが、エンコーダからデコーダへ提供される。特に、２つの成分フィルタは、垂直成分よりも水平成分に対してより多くのフィルタデータがデコーダへ提供されるような水平および垂直成分である。このようにして、送信されるデータ量を削減し、復号画像データの画質を改善することができる。【００７５】
なお、本発明は、このような画像符号化方法および画像復号方法として実現することができるだけでなく、フィルタデータを送信する方法、それらの方法によって画像を符号化または復号化する装置、コンピュータにそれらの方法による処理動作を実行させるためのプログラム、そのプログラムを格納する記録媒体としても実現することができる。
【発明の効果】
【００７６】
本発明の画像符号化方法および画像復号方法は、動画像のフィルタリングの品質を向上するとともに、伝送帯域の増加を抑えることができるという作用効果を奏する。
【図面の簡単な説明】
【００７７】
【図１】図１は、Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣ規格に準拠した典型的な画像符号化装置（エンコーダ）の一例を示すブロック図である。
【図２】図２は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣビデオ符号化規格に準拠した例示的な画像復号装置（デコーダ）の一例を示すブロック図である。
【図３】図３は、ノイズを削減するためのウィナーフィルタを用いた信号の流れを説明するための図である。
【図４】図４は、本発明の実施の形態１におけるエンコーダたる画像符号化装置のブロック図である。
【図５】図５は、同上の画像符号化装置のフィルタ設計部の構成を示すブロック図である。
【図６】図６は、同上の符号化動画像信号を示す図である。
【図７】図７は、同上のデコーダたる画像復号装置のブロック図である。
【図８】図８は、同上の画像復号装置のフィルタ設計部の構成を示すブロック図である。
【図９】図９は、同上のフィルタメモリに格納されるデータを示す図である。
【図１０】図１０は、同上のエンコーダでスライスをブロック単位で符号化する処理動作を示すフローチャートである。
【図１１】図１１は、同上の図１０の処理動作にしたがって符号化されたスライスをデコーダが復号する処理動作の一例を示すフローチャートである。
【図１２】図１２は、同上のインデックスを与えるためのビットストリームの例示的なシンタックスを示す図である。
【図１３】図１３は、同上の対象ブロックの２つのインデックスＩ＿ｃｕｒ１とＩ＿ｃｕｒ２を組み合わせて符号化するためのシンタックスの例を示す図である。
【図１４】図１４は、同上の画像符号化装置のフィルタ選択部の予測についての動作を示すフローチャートである。
【図１５】図１５は、同上のインデックスの予測についての一例を示す図である。
【図１６】図１６は、同上の画像復号装置のフィルタ選択部の予測を用いてフィルタデータを選択する動作を示すフローチャートである。
【図１７】図１７は、同上のエンコーダでスライスを符号化する他の処理動作を示すフローチャートである。
【図１８】図１８は、同上の図１７の処理動作にしたがって符号化されたスライスをデコーダが復号する処理動作の一例を示すフローチャートである。
【図１９Ａ】図１９Ａは、同上のエンコーダで動画像信号を符号化する他の処理動作を示すフローチャートである。
【図１９Ｂ】図１９Ｂは、同上の図１９Ａにおけるスライスの符号化の処理動作を示すフローチャートである。
【図２０Ａ】図２０Ａは、同上の図１９Ａの処理動作にしたがって符号化された動画像信号を復号する処理動作の一例を示すフローチャートである。
【図２０Ｂ】図２０Ｂは、同上の図２０Ａにおけるスライスの復号の処理動作を示すフローチャートである。
【図２１】図２１は、同上の補間フィルタ部によって行われる補間フィルタリングの原理を示す図である。
【図２２】図２２は、同上のシステムを示す図である。
【図２３Ａ】図２３Ａは、本発明に係る画像符号化方法の処理動作を示すフローチャートである。
【図２３Ｂ】図２３Ｂは、本発明に係る画像符号化装置のブロック図である。
【図２４Ａ】図２４Ａは、本発明に係る画像復号方法の処理動作を示すフローチャートである。
【図２４Ｂ】図２４Ｂは、本発明に係る画像復号装置のブロック図である。
【図２５】図２５は、本発明に係る適応的ポストフィルタに関する画像符号化装置を示す図である。
【図２６】図２６は、本発明に係る適応的ポストフィルタに関する画像復号装置を示すブロック図である。
【図２７】図２７は、本発明に係る適応的インループフィルタに関する画像符号化装置を示す図である。
【図２８】図２８は、本発明に係る適応的インループフィルタに関する画像復号装置を示すブロック図である。
【図２９】図２９は、本発明に係る他の適応的インループフィルタに関する画像符号化装置を示す図である。
【図３０】図３０は、本発明に係る他の適応的インループフィルタに関する画像復号装置を示すブロック図である。
【図３１】図３１は、ポストフィルタおよびインループフィルタのフィルタリングの原理を示す図である。
【図３２】図３２は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。
【図３３】図３３は、携帯電話の外観を示す図である。
【図３４】図３４は、携帯電話の構成例を示すブロック図である。
【図３５】図３５は、デジタル放送用システムの全体構成の一例を示す模式図である。
【図３６】図３６は、テレビの構成例を示すブロック図である。
【図３７】図３７は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。
【図３８】図３８は、光ディスクである記録メディアの構造例を示す図である。
【図３９】図３９は、各実施の形態に係る画像符号化方法および画像復号方法を実現する集積回路の構成例を示すブロック図である。
【発明を実施するための形態】
【００７８】
本発明に係る画像符号化方法には、デコーダがフィルタを設定するため、および復号中あるいは復号後に動画像信号をフィルタリングするために用いられるフィルタデータ（フィルタ情報）を求めることが含まれる。これらのフィルタデータは、ビットストリームである符号化動画像信号に含められ、エンコーダからデコーダへ提供される。エンコーダは、符号化対象の元の動画像信号を利用可能である。エンコーダは、デコーダを備えてもよい。デコーダは、元の動画像信号を利用することができない。フィルタデータは、例えば、フィルタ係数である。フィルタリングされた画像を得るために、２次元フィルタが用いられる。２次元分離可能フィルタは、第１の成分フィルタと第２の成分フィルタ（例えば、水平および垂直成分フィルタ）とに分離されてもよい。成分フィルタ（第１または第２の成分フィルタ）は、１次元成分フィルタである。２次元フィルタを用いて２次元畳み込みを行う代わりに、第１の成分フィルタを用いたフィルタリングを行ってもよく、そのようにフィルタリングされた信号をその後に第２の成分フィルタでフィルタリングしてもよい。これにより、要求されるメモリサイズ同様に演算コストも削減することによって、複雑性は削減される。
【００７９】
デコーダの性能は、フィルタリング対象信号にフィルタ係数が適用された場合には向上する。動画像シーケンスの特性は、空間的および時間的ドメインにおいて変化するため（典型的には、この変化は平滑である）、フィルタ係数を適用することが好ましい。係数の採用は、変化する信号特性を反映させるために、動画像信号内の異なる画像エリア、好ましくは最新の画像エリアに基づく（再）演算を意味する。フィルタ係数を求めて適用される領域の選択は、品質（より小さい画像領域に適用するほど向上する）と、フィルタ係数を与えるために必要となる複雑性およびデータレートとのトレードオフである。フィルタ係数は、ビットストリームへ埋め込まれる。よって、フィルタデータの埋め込みには、シーケンスヘッダ、フレームヘッダ、スライスヘッダ、マクロブロックヘッダ、特殊メッセージなどの現存するビットストリーム構造を用いることが好ましい。
【００８０】
本発明では、２つのフェーズでの適応をおこなう。第１フェーズは、第１の画像領域（フィルタ設計用画像領域）に基づいて、第１および／または第２の１次元成分フィルタ用（第１および第２の成分フィルタ用）に、フィルタ係数を求めることである。フィルタ係数は、上述のように、デコーダへ提供される。また、求められたフィルタ係数は、エンコーダに記憶され、デコーダに受信された後にはデコーダでも記憶される。エンコーダおよびデコーダは共に、フィルタメモリを備える。フィルタデータは、唯一のインデックスに関連付けられてフィルタメモリに記憶される。このインデックスは、フィルタデータと共にエンコーダからデコーダに提供されるか、エンコーダおよびデコーダで統一されるように、エンコーダおよびデコーダのそれぞれの内部で予め定められた方法で生成される。
【００８１】
第２フェーズでは、第１および第２の成分フィルタのフィルタ係数は、フィルタメモリに記憶されたフィルタ係数のみの中から選択される。第１の成分フィルタに対して選択されたフィルタ係数をデコーダに提供する代わりに、フィルタメモリ内で選択されたフィルタ係数と関連付けられたインデックスのみが提供される。同様に、第２の成分フィルタに対して選択されたフィルタ係数を表すインデックスも提供される。エンコーダおよびデコーダは共に、フィルタメモリ内に同一のコンテンツを保持しているため、デコーダは、復号対象ビットストリームから構文解析されたインデックスと関連付けられたフィルタ係数を一意に検索することができる。
【００８２】
そのような２次元分離可能フィルタ（適応フィルタ）を用いる方法には、２つの成分フィルタのインデックスを別々に特定可能という利点があり、これにより成分フィルタに関する柔軟性が増し、選択肢が増える。第１および第２の成分フィルタ（垂直および水平成分フィルタ）のそれぞれのフィルタ係数の組み合わせを表す単一のインデックスを用いると、メモリ要件が厳しくなり、符号化インデックスの符号化効率が低下する（取りうる値が増加してより長い符号語が用いられることになるため）。フィルタ係数（フィルタデータ）とインデックスとの組み合わせを、成分フィルタごとに共通または別々のテーブルに記憶してもよい。第１および第２の成分フィルタ（垂直および水平成分フィルタ）のフィルタ係数が類似している場合、共通で記憶したほうが有益である。共通して記憶すれば記憶容量を抑えられる。第１および第２の成分フィルタ（垂直および水平成分フィルタ）のフィルタ係数が大きく異なる場合は、別々のテーブルに記憶したほうが有利である。そのような場合には、各テーブルには異なるフィルタ係数が含まれる。また、エントリが少なくなる、つまり、短い符号語を使用可能になり、結果的に符号化効率を高められる。
【００８３】
第２フェーズでは、フィルタ設計用画像領域と同じサイズおよび／またはタイプの画像領域に対してフィルタ係数を選択してもよい。そのような画像領域は、例えば、スライスまたはフレームである。第１のスライス用に、フィルタ係数が特定され、符号化され、送信される。第１のスライスに続く次のｎ個のスライスのそれぞれのために、第１のスライスの送信済みフィルタ係数を参照するインデックスが送信される。フレームやマクロブロックはもとより、オブジェクト分割に基づいて選択された画像領域などのような異なる構造に対しても、同様の処理が適用される。
【００８４】
または、フィルタ設計用画像領域よりも小さい第２の画像領域（フィルタ適用画像領域）に対してフィルタ係数（フィルタデータ）を選択してもよい。例えば、フレームごとにフィルタ係数を求め、動画像信号の各マクロブロックまたはブロックに対してフィルタ係数を選択する第２フェーズをおこなう。これにより、フィルタ係数を符号化するために必要なレートと局所適応とのトレードオフのバランスが良好となる。しかしながら、フィルタ適用画像領域はフィルタ設計領域より広くてもよい。
【００８５】
上記メカニズムを、任意の補間に適用してもよく、デコーダや場合によってはエンコーダ（例えば、ローカルデコーダにおいて）で採用されるループフィルタやポストフィルタに適用してもよい。予測信号、予測誤差信号、再構築信号などの、符号化における異なるステージでの信号に対してフィルタリングを適用してもよい。
【００８６】
（実施の形態１）
以下、本発明の実施の形態１に係る画像符号化方法および画像復号方法を、図面を用いてそれぞれ説明する。本実施の形態において、フィルタデータは、スライスごとに求められ、個々のスライスヘッダ内に含められる。スライス内のブロックのインデックスは、符号化済みスライスに対して求められたフィルタデータを記憶するフィルタメモリから選択される。よって、対象スライスが符号化および復号された後、フィルタメモリは更新される。これにより、単一のパスにおいて、スライスの符号化、特に動き検出が可能となる。
【００８７】
図４は、本実施の形態におけるエンコーダたる画像符号化装置１１００のブロック図である。
【００８８】
本実施の形態における画像符号化装置１１００は、減算器１０５、変換／量子化部１１０、逆量子化／逆変換部１２０、加算器１２５、デブロッキングフィルタ部１３０、メモリ１４０、補間フィルタ部１１５０、動き補償予測部１６０、動き検出部１６５、画面内予測部１７０、イントラ／インタースイッチ１７５、ポストフィルタ設計部１８０、フィルタ設計部１１１０、およびエントロピー符号化部１１９０を備える。本実施の形態における画像符号化装置１１００では、フィルタ設計部１１１０、補間フィルタ部１１５０およびエントロピー符号化部１１９０の処理動作に特徴がある。
【００８９】
減算器１０５は、入力信号である動画像信号から予測信号を減算することにより予測誤差信号を生成する。
【００９０】
変換／量子化部１１０は、減算器１０５によって生成された予測誤差信号に対して、ＤＣＴなどの直交変換および量子化を行うことによって、量子化係数を生成する。
【００９１】
逆量子化／逆変換部１２０は、変換／量子化部１１０によって生成された量子化係数に対して、逆量子化を行うとともに逆ＤＣＴなどの逆直交変換を行うことによって、量子化予測誤差信号を生成する。
【００９２】
加算器１２５は、予測信号に対応する量子化予測誤差信号に、その予測信号を加算することによって、再構築信号を生成する。
【００９３】
デブロッキングフィルタ部１３０は、再構築信号の示す画像に含まれるブロック歪みを取り除き、ブロック歪みが除去された再構築信号である復号信号をメモリ１４０に格納する。
【００９４】
補間フィルタ部１１５０は、フィルタ設計部１１１０からフィルタ係数を取得し、メモリ１４０に格納されている復号信号によって示される参照画像を読み出す。そして、補間フィルタ部１１５０は、そのフィルタ係数を用いて、参照画像に対して小数画素を補間する。
【００９５】
画面内予測部１７０は、画面内予測により符号化対象ブロック（例えば、マクロブロック）の予測画像を生成し、その予測画像を示す予測信号を出力する。
【００９６】
動き検出部１６５は、メモリ１４０に格納されている復号信号によって示される参照画像を参照し、動画像信号に含まれるブロックに対して動きベクトルを検出する。そして、動き検出部１６５は、その動きベクトルを動きデータとして動き補償予測部１６０およびエントロピー符号化部１１９０に出力する。なお、本実施の形態における動き検出部１６５は、フィルタ設計部１１１０からフィルタ係数を取得し、そのフィルタ係数を用いて上記参照画像に小数画素を補間し、その結果、小数画素精度の動きベクトルを検出する。
【００９７】
動き補償予測部１６０は、補間フィルタ部１１５０によって小数画素が補間された参照画像と、動き検出部１６５から出力された動きデータとを用いて動き補償を行う。これにより、動き補償予測部１６０は、画面間予測により符号化対象ブロックの予測画像を生成し、その予測画像を示す予測信号を出力する。
【００９８】
イントラ／インタースイッチ１７５は、符号化対象ブロックの符号化タイプ（予測タイプ）に応じて、画面内予測部１７０によって生成された予測信号と、動き補償予測部１６０によって生成された予測信号とを切り換えて、減算器１０５および加算器１２５に出力する。例えば、符号化対象ブロックが画面内予測符号化される場合には、イントラ／インタースイッチ１７５は、画面内予測部１７０によって生成された予測信号を減算器１０５および加算器１２５に出力する。一方、符号化対象ブロックが画面間予測符号化される場合には、イントラ／インタースイッチ１７５は、動き補償予測部１６０によって生成された予測信号を減算器１０５および加算器１２５に出力する。
【００９９】
ポストフィルタ設計部５４０は、ポストフィルタを設計する。つまり、ポストフィルタ設計部５４０は、入力信号である動画像信号と復号信号に基づいて、その復号信号を動画像信号に近づけるためのポストフィルタ情報（フィルタ係数）を算出する。例えば、ポストフィルタ設計部５４０は、入力信号と復号信号との間の平均二乗誤差が最小になるようにポストフィルタ情報を算出する。このとき、ウィナーＨｏｐｆ方程式を解くことによりポストフィルタ情報を決定してもよい。
【０１００】
フィルタ設計部１１１０は、入力信号である動画像信号と復号信号とに基づいて補間フィルタを設計する。つまり、フィルタ設計部１１１０は、入力信号（動画像信号）により示される原画像と、復号信号により示される復号画像とに基づいて、上述の２次元分離可能フィルタのフィルタ係数を成分フィルタごとに算出する。２次元分離可能フィルタは、例えば分離可能適応補間フィルタ（ＳＡＩＦ）である。また、フィルタ設計部１１１０は、算出したフィルタ係数を特定するためのフィルタデータをエントロピー符号化部１１９０に出力する。さらに、フィルタ設計部１１１０は、後述する予測フラグを生成して、その予測フラグをエントロピー符号化部１１９０に出力する。
【０１０１】
エントロピー符号化部１１９０は、量子化係数、動きデータ、ポストフィルタ情報、フィルタデータ、インデックス、および予測フラグをエントロピー符号化（例えば、算術符号化）することによって、符号化動画像信号を生成して出力する。つまり、符号化動画像信号には、符号化されたフィルタデータ、インデックスおよび予測フラグが付加される。
【０１０２】
図５は、フィルタ設計部１１１０の構成を示すブロック図である。
【０１０３】
フィルタ設計部１１１０は、フィルタ算出部１３１０、インデックス生成部１３２０、フィルタメモリ１３３０およびフィルタ選択部１３５０を備える。
【０１０４】
フィルタ算出部１３１０は、入力信号（動画像信号）により示される原画像と、復号信号により示される復号画像との間の平均二乗誤差が最小になるように、上述の２次元分離可能フィルタのフィルタ係数を成分フィルタごとに算出する。このとき、フィルタ設計部１１１０は、動画像信号に示されるフィルタ設計用画像領域（例えば、スライス）ごとに、第１および第２の成分フィルタのフィルタ係数を算出する。また、フィルタ設計部１１１０は、算出したフィルタ係数を特定するためのフィルタデータをインデックス生成部１３２０とエントロピー符号化部１１９０に出力する。なお、フィルタ算出部１３１０は、ウィナーフィルタ方程式（ウィナーＨｏｐｆ方程式）を解くことによって、上述のフィルタ係数を算出するが、他の方法を用いてフィルタ係数を算出してもよい。
【０１０５】
さらに、フィルタ算出部１３１０は、フィルタ選択部１３５０からフィルタデータを取得したときには、そのフィルタデータによって示されるフィルタ係数を補間フィルタ部１１５０に出力する。上述のフィルタ選択部１３５０から取得されるフィルタデータは、フィルタ適用画像領域に対してフィルタ選択部１３５０によって選択された、第１および第２の成分フィルタのフィルタデータである。
【０１０６】
インデックス生成部１３２０は、第１および第２の成分フィルタのフィルタデータをフィルタ算出部１３１０から取得すると、予め定められたインデックス生成規則にしたがって、それらのフィルタデータを識別するための唯一のインデックスを生成する。例えば、インデックス生成部１３２０は、フィルタデータを取得するごとに、単調に増加または減少するようなインデックスを生成する。そして、インデックス生成部１３２０は、そのフィルタデータのそれぞれに、生成されたインデックスを割り当てて関連付け、関連付けられたフィルタデータとインデックスとの組み合わせをフィルタメモリ１３３０に格納する。つまり、フィルタ設計用画像領域に対して、第１の成分フィルタに対応するフィルタデータとインデックスとの組み合わせと、第２の成分フィルタに対応するフィルタデータとインデックスとの組み合わせとが、フィルタメモリ１３３０に格納される。
【０１０７】
フィルタ選択部１３５０は、上述のフィルタ設計用画像領域（例えば、スライス）に含まれるフィルタ適用画像領域（例えば、マクロブロック）ごとに、フィルタメモリ１３３０に格納されている少なくとも１つのフィルタデータの中から、そのフィルタ適用画像領域に最適なフィルタデータを選択する。例えば、フィルタ選択部１３５０は、ＲＤ（Rate Distortion）最適化を用いてフィルタデータを選択する。つまり、フィルタ選択部１３５０は、入力信号（動画像信号）によって示されるフィルタ適用画像領域と、そのフィルタ適用画像領域に対応する、復号信号によって示される画像領域との間の差分が小さく、符号量と歪みとのトレードオフのバランスが最適となるように、フィルタデータを選択する。フィルタ選択部１３５０は、このようにフィルタ適用画像領域ごとに、第１および第２の成分フィルタのフィルタデータを選択すると、その第１および第２の成分フィルタのフィルタデータをフィルタ算出部１３１０に出力する。これによって、フィルタ算出部１３１０は、それらのフィルタデータに対応するフィルタ係数を補間フィルタ部１１５０に出力する。
【０１０８】
さらに、フィルタ選択部１３５０は、フィルタ適用画像領域ごとに、第１および第２の成分フィルタに対するインデックスを予測する。つまり、フィルタ選択部１３５０は、そのフィルタ適用画像領域に対して選択されるべきフィルタデータに関連付けてフィルタメモリ１３３０に格納されているインデックスを、予め定められた予測規則にしたがって予測する。
【０１０９】
例えば、フィルタ選択部１３５０は、選択対象のフィルタ適用画像領域の周辺にあって、既にフィルタデータが選択された複数のフィルタ適用画像領域（以下、周辺フィルタ適用画像領域という）を特定する。なお、周辺フィルタ適用画像領域は、マクロブロックであっても、ブロックや他の構成単位であってもよい。
【０１１０】
そして、フィルタ選択部１３５０は、複数の周辺フィルタ適用画像領域の動きベクトルのうち、選択対象のフィルタ適用画像領域の動きベクトルに最も近い動きベクトルを有する周辺フィルタ適用画像領域を特定する。次に、フィルタ選択部１３５０は、その特定した周辺フィルタ適用画像領域に対して既に選択されたフィルタデータに関連付けて格納されているインデックスを予測インデックスとしてフィルタメモリ１３３０から取得する。このように、予測インデックスを取得することによって上述の予測が行われる。なお、この場合、動き検出部１６５は、フィルタ適用画像領域ごとに、そのフィルタ適用画像領域に対して検出された動きベクトル（動きデータ）をフィルタ設計部１１１０に出力している。これにより、フィルタ選択部１３５０は、選択対象のフィルタ適用画像領域および複数の周辺フィルタ適用画像領域の動きベクトルを動き検出部１６５から取得し、上述のような予測を行うことができる。
【０１１１】
フィルタ選択部１３５０は、フィルタ適用画像領域ごとに、そのフィルタ適用画像領域に対してフィルタデータを選択すると、その選択されたフィルタデータに関連付けてフィルタメモリ１３３０に格納されているインデックスと、予測インデックスとを比較する。フィルタ選択部１３５０は、その関連付けられているフィルタメモリ１３３０内のインデックスと予測インデックスとが一致している場合には、その関連付けられているインデックスの代わりに、一致していることを示す予測フラグ（予測フラグ＝１）をエントロピー符号化部１１９０に出力する。一方、一致していない場合には、フィルタ選択部１３５０は、一致していないことを示す予測フラグ（予測フラグ＝０）と、その関連付けられているインデックスをエントロピー符号化部１１９０に出力する。
【０１１２】
なお、このようなインデックスの予測と予測フラグの出力は、第１および第２の成分フィルタごとに行われる。
【０１１３】
図６は、符号化動画像信号を示す図である。
【０１１４】
符号化動画像信号は、図６に示すように、フィルタデータ（Ｆｘ、Ｆｙ）と、インデックス（Ｉｘ１，Ｉｘ２など）とを含む。例えば、上述のフィルタ設計用画像領域がスライスである場合には、そのスライスに対して算出されたフィルタ係数を特定するための第１および第２のフィルタデータ（Ｆｘ，Ｆｙ）がスライスヘッダに含まれる。なお、第１のフィルタデータＦｘは、２次元分離可能フィルタの第１の成分フィルタ（水平成分フィルタ）のフィルタ係数を示すデータであり、第２のフィルタデータＦｙは、２次元分離可能フィルタの第２の成分フィルタ（垂直成分フィルタ）のフィルタ係数を示すデータである。
【０１１５】
また、例えば、上述のフィルタ適用画像領域がマクロブロックである場合には、そのマクロブロックに対して選択されたフィルタデータに関連付けられたインデックスと、上述の予測フラグとがそのマクロブロックに付加されている。例えば、図６に示すように、マクロブロックＭＢ１には、第１の成分フィルタの予測フラグ＝０およびインデックスＩｘ１と、第２の成分フィルタの予測フラグ＝０およびインデックスＩｙ２とが付加され、マクロブロックＭＢ２には、第１の成分フィルタの予測フラグ＝０およびインデックスＩｘ４と、第２の成分フィルタの予測フラグ＝０およびインデックスＩｙ１とが付加されている。また、マクロブロックＭＢ３には、第１の成分フィルタの予測フラグ＝０およびインデックスＩｘ１と、第２の成分フィルタの予測フラグ＝１とが付加されている。この予測フラグ＝１は、マクロブロックＭＢ３に対する予測インデックスと、そのマクロブロックＭＢ３に対して選択されたフィルタデータに関連付けられているインデックスとが一致していることを示す。
【０１１６】
図７は、本実施の形態におけるデコーダたる画像復号装置１２００のブロック図である。
【０１１７】
本実施の形態における画像復号装置１２００は、画像符号化装置１１００から出力された出力信号である符号化動画像信号を入力信号として取得し、その入力信号を復号する。この画像復号装置１２００は、エントロピー復号部１２９０、逆量子化／逆変換部２２０、加算器２２５、デブロッキングフィルタ部２３０、メモリ２４０、補間フィルタ部１２５０、画面内予測部２７０、イントラ／インタースイッチ２７５、動き補償予測部２６０、ポストフィルタ部２８０およびフィルタ設計部１２１０を備える。本実施の形態における画像復号装置１２００では、エントロピー復号部１２９０、フィルタ設計部１２１０および補間フィルタ部１２５０に特徴がある。
【０１１８】
エントロピー復号部１２９０は、入力信号である符号化動画像信号に対してエントロピー復号（例えば、算術復号）を行うことにより、動きデータ、量子化係数、ポストフィルタ情報をそれぞれ、動き補償予測部２６０、逆量子化／逆変換部２２０およびポストフィルタ部２８０に出力する。さらに、エントロピー復号部１２９０は、そのエントロピー復号を行うことにより、上述の予測フラグとインデックスとフィルデータとを符号化動画像信号から抽出し、フィルタ設計部１２１０に出力する。
【０１１９】
逆量子化／逆変換部２２０は、エントロピー復号部１２９０から出力された量子化係数に対して、逆量子化を行うとともに逆ＤＣＴなどの逆直交変換を行うことによって、量子化予測誤差信号を生成する。
【０１２０】
加算器２２５は、逆量子化／逆変換部２２０によって生成された量子化予測誤差信号に、その量子化予測誤差信号に対応する予測信号を加算することにより、再構築信号を生成する。
【０１２１】
デブロッキングフィルタ部２３０は、再構築信号の示す画像に含まれるブロック歪みを取り除き、ブロック歪みが除去された再構築信号である復号信号をメモリ２４０に格納する。
【０１２２】
補間フィルタ部１２５０は、フィルタ設計部１２１０からフィルタ係数を取得し、メモリ２４０に格納されている復号信号によって示される参照画像を読み出す。そして、補間フィルタ部１２５０は、そのフィルタ係数を用いて、参照画像に対して小数画素を補間する。
【０１２３】
画面内予測部２７０は、画面内予測により復号対象ブロックの予測画像を生成し、その予測画像を示す予測信号を出力する。
【０１２４】
動き補償予測部２６０は、補間フィルタ部１２５０によって小数画素が補間された参照画像と、エントロピー復号部１２９０から出力された動きデータとを用いて動き補償を行う。これにより、動き補償予測部２６０は、画面間予測により復号対象ブロックの予測画像を生成し、その予測画像を示す予測信号を出力する。
【０１２５】
イントラ／インタースイッチ２７５は、復号対象ブロックの符号化タイプ（予測タイプ）に応じて、画面内予測部２７０によって生成された予測信号と、動き補償予測部２６０によって生成された予測信号とを切り換えて、加算器２２５に出力する。例えば、復号対象ブロックが画面内予測符号化されている場合には、イントラ／インタースイッチ２７５は、画面内予測部２７０によって生成された予測信号を加算器２２５に出力する。一方、復号対象ブロックが画面間予測符号化されている場合には、イントラ／インタースイッチ２７５は、動き補償予測部２６０によって生成された予測信号を加算器２２５に出力する。
【０１２６】
ポストフィルタ部２８０は、エントロピー復号部１２９０からポストフィルタ情報を取得し、そのポストフィルタ情報に基づいて、復号信号に対してポストフィルタを適用する。その結果、ポストフィルタ部２８０は、ポストフィルタが適用された復号信号を出力信号として出力する。
【０１２７】
フィルタ設計部１２１０は、エントロピー復号部１２９０から各成分フィルタのフィルタデータを取得すると、フィルタデータのそれぞれに対してインデックスを生成して関連付ける。また、フィルタ設計部１２１０は、エントロピー復号部１２９０からインデックスを取得すると、そのインデックスに関連付けられたフィルタデータを選択し、そのフィルタデータに対応するフィルタ係数を補間フィルタ部１２５０に出力する。
【０１２８】
さらに、フィルタ設計部１２１０は、エントロピー復号部１２９０から、「１」を示す予測フラグを取得すると、フィルタ適用画像領域に対してインデックスを予測し、その予測によって得られたインデックス（予測インデックス）に関連付けられたフィルタデータに対応するフィルタ係数を補間フィルタ部１２５０に出力する。
【０１２９】
図８は、フィルタ設計部１２１０の構成を示すブロック図である。
【０１３０】
フィルタ設計部１２１０は、インデックス生成部１４２０、フィルタメモリ１４３０、フィルタ選択部１４５０およびフィルタ設定部１４６０を備える。
【０１３１】
インデックス生成部１４２０は、符号化動画像信号に示されるフィルタ設計用画像領域（例えば、スライス）ごとに、エントロピー復号部１２９０から各成分フィルタのフィルタデータを取得すると、予め定められたインデックス生成規則にしたがって、それらのフィルタデータを識別するためのインデックスを生成する。このインデックス生成規則は、画像符号化装置１１００のインデックス生成部１３２０のインデックス生成規則と同一である。例えば、インデックス生成部１４２０は、フィルタデータを取得するごとに、単調に増加または減少するようなインデックスを生成する。そして、インデックス生成部１４２０は、そのフィルタデータのそれぞれに、生成されたインデックスを割り当てて関連付け、関連付けられたフィルタデータとインデックスとの組み合わせをフィルタメモリ１４３０に格納する。
【０１３２】
フィルタ選択部１４５０は、符号化動画像信号に示されるフィルタ適用画像領域（例えば、マクロブロック）ごとに、エントロピー復号部１２９０からインデックスを取得すると、フィルタメモリ１４３０に格納されているフィルタデータの中から、そのインデックスに関連付けて格納されているフィルタデータをフィルタメモリ１４３０から選択する。このようなインデックスの取得およびフィルタデータの選択は、２次元分離可能フィルタの成分フィルタごとに行われる。そして、フィルタ選択部１４５０は、その選択された、各成分フィルタのフィルタデータをフィルタ設定部１４６０に出力する。
【０１３３】
また、フィルタ選択部１４５０は、フィルタ適用画像領域（例えば、マクロブロック）の第１または第２の成分フィルタに対して、上述のインデックスの代わりに、「１」を示す予測フラグを取得すると、予め定められた予測規則にしたがってそのインデックスを予測する。この「１」を示す予測フラグは、選択されるべきフィルタデータのインデックスが予測インデックスと一致することを示す。また、上述の予測規則は、画像符号化装置１１００のインデックス生成部１３２０の予測規則と同一である。
【０１３４】
例えば、フィルタ選択部１４５０は、選択対象のフィルタ適用画像領域の周辺にあって、既にフィルタデータが選択された複数のフィルタ適用画像領域（以下、周辺フィルタ適用画像領域という）を特定する。なお、周辺フィルタ適用画像領域は、マクロブロックであっても、ブロックや他の構成単位であってもよい。
【０１３５】
そして、フィルタ選択部１４５０は、複数の周辺フィルタ適用画像領域の動きベクトルのうち、選択対象のフィルタ適用画像領域の動きベクトルに最も近い動きベクトルを有する周辺フィルタ適用画像領域を特定する。次に、フィルタ選択部１４５０は、その特定した周辺フィルタ適用画像領域に対して既に選択されたフィルタデータに関連付けて格納されているインデックスを予測インデックスとしてフィルタメモリ１４３０から取得する。このように、予測インデックスを取得することによって上述の予測が行われる。なお、この場合、エントロピー復号部１２９０は、フィルタ適用画像領域ごとに、そのフィルタ適用画像領域に対する動きベクトル（動きデータ）を符号化動画像信号から抽出し、その抽出された動きベクトルをフィルタ設計部１２１０に出力している。これにより、フィルタ選択部１４５０は、選択対象のフィルタ適用画像領域および複数の周辺フィルタ適用画像領域の動きベクトルをエントロピー復号部１２９０から取得し、上述のような予測を行うことができる。
【０１３６】
フィルタ選択部１４５０は、上述のようにインデックスを予測すると、フィルタメモリ１４３０に格納されているフィルタデータの中から、その予測インデックスに関連付けて格納されているフィルタデータをフィルタメモリ１４３０から選択する。そして、フィルタ選択部１４５０は、その選択されたフィルタデータをフィルタ設定部１４６０に出力する。
【０１３７】
フィルタ設定部１４６０は、フィルタ選択部１４５０から成分フィルタごとにフィルタデータを取得し、それらのフィルタデータに対応するフィルタ係数を特定し、それらのフィルタ係数を補間フィルタ部１２５０に出力する。フィルタデータが１つまたは複数のフィルタ係数からなる場合には、フィルタ設定部１４６０は、フィルタ選択部１４５０から取得したフィルタデータを、１つまたは複数のフィルタ係数として補間フィルタ部１２５０に出力する。または、フィルタデータが、例えば、上述したように復号信号と入力信号（動画像信号）との間の相互相関や、復号信号の自己相関を含む場合には、フィルタ設定部１４６０は、フィルタデータに基づいてフィルタ係数を求めてもよい。
【０１３８】
図９は、フィルタメモリ１３３０，１４３０に格納されるデータを示す図である。
【０１３９】
フィルタメモリ１３３０，１４３０にはテーブル１０００が格納される。このテーブル１０００は、フィルタデータとインデックスとの組み合わせを示す。つまり、インデックス生成部１３２０，１４２０は、フィルタデータとインデックスとを関連付けてフィルタメモリ１３３０，１４３０に格納するときには、それらの組み合わせがテーブル１０００に追加されるように、そのテーブル１０００を更新する。
【０１４０】
例えば、インデックス生成部１３２０は、第１の成分フィルタに対するフィルタデータ（ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，ｃ６）＝（０．０２，−０．１５，０．６３，０．６３，−０．１５，０．０２）に対して、インデックス「０」を生成すると、それらの組み合わせをテーブル１０００に追加する。
【０１４１】
このようなテーブル１０００は、第１および第２の成分フィルタに共通のテーブルであるが、フィルタメモリ１３３０，１４３０は、第１および第２の成分フィルタのそれぞれに対して独立した２つのテーブルを保持してもよい。
【０１４２】
以下、本実施の形態における画像符号化装置（エンコーダ）１１００および画像復号装置（デコーダ）１２００について、それらの装置の処理動作について詳細に説明する。
【０１４３】
図１０は、エンコーダでスライスをブロック単位で符号化する処理動作を示すフローチャートである。なお、図１および図２においてそれぞれ示した、Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣに準拠したエンコーダやデコーダを参照して上述したように、符号化対象ブロックは、さまざまなサイズのマクロブロックやブロックであってもよい。選択される適応フィルタが補間フィルタである場合、動き検出に用いられるブロックにスライスを細分化することが好ましい。また、以下では、フィルタ設計用画像領域をスライス、フィルタ適用画像領域をブロック（マクロブロック）とする。また、図１０に示すフローチャートでは、説明を簡単にするために、インデックスの予測についてはその説明を省略する。
【０１４４】
フィルタ選択部１３５０は、スライスに含まれるブロック（マクロブロック）を取得する（ステップＳ４１１）。フィルタ選択部１３５０は、このブロックに対し、第１の成分フィルタのインデックスを決定する（ステップＳ４１２）。つまり、フィルタ選択部１３５０は、そのブロックに対して、第１の成分フィルタのフィルタデータをフィルタメモリ１３３０から選択し、そのフィルタデータに関連付けてフィルタメモリ１３３０に格納されているインデックスを取得する。これにより、インデックスが決定される。その後、第１の成分フィルタのフィルタデータ全体を提供する代わりに、選択されたフィルタデータと関連付けられたインデックスが、符号化動画像信号内に含められる。
【０１４５】
同様に、フィルタ選択部１３５０は、上記ブロックに対し、第２の成分フィルタのフィルタデータのインデックスを決定する（ステップＳ４１３）。つまり、フィルタ選択部１３５０は、そのブロックに対して、第２の成分フィルタのフィルタデータをフィルタメモリ１３３０から選択し、そのフィルタデータに関連付けてフィルタメモリ１３３０に格納されているインデックスを取得する。その後、第２の成分フィルタの決定されたインデックスが符号化動画像信号内に含められる。
【０１４６】
両次元でのフィルタリング後の歪みを最小限にするためには、第１および第２の成分フィルタのそれぞれのフィルタデータの選択（Ｓ４１２およびＳ４１３）がなされることが好ましい。例えば、第１および第２の成分フィルタのフィルタデータの各組み合わせがフィルタを設定するために検討され、このフィルタが、対象ブロック（ステップＳ４１１においてスライスからフェッチされたもの）に適用される。最終的に、非符号化（元の）入力信号に対し歪みを最小限に抑える組み合わせが選択される。ビットレートのラグランジュ・コストおよび再構築誤差を最小限に抑える組み合わせを選択することも可能である。      
【０１４７】
これらの選択方法では、全ての組み合わせをテストする必要がある。 例えばフィルタリング対象ブロックの特性（エッジ、平滑さ、テクスチャ、量子化フィルタ係数など）に基づくフィルタ候補を予め選択しておくことにより、テスト数を削減することができる。
【０１４８】
画像符号化装置１１００は、各成分フィルタのインデックスを求めた後、対象ブロックを符号化する（ステップＳ４１５）。ここでの符号化は、ビットストリームを得ることを意味する。特に、ＣＡＶＬＣまたはＣＡＢＡＣを用いて、Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣの符号化モードの１つにおいてブロックを符号化してもよい。
【０１４９】
ここで、画像符号化装置１１００は、符号化したブロックがスライスの終端にあるか否か、つまり対象スライスが他のブロックを含んでいるか否かを判別する（ステップＳ４２０）。含んでいると判別されると（ステップＳ４２０のｎｏ）、ステップＳ４１１において次のブロックが取得される。このブロックに対し、第１および第２の成分フィルタのインデックスを求めてブロックを符号化するステップＳ４１２、Ｓ４１３およびＳ４１５が、上述同様におこなわれる。繰り返しになるが、これらのステップは、当該スライス内の各ブロックに対しておこなわれる。
【０１５０】
これらのブロックに対し求められたインデックスは、符号化動画像信号のビットストリームの一部として、デコーダへ信号送信される。これらは、特定のブロックに関連するデータ内に位置してもよく、スライスヘッダ内またはＨ．２６４／ＭＰＥＧ‐４  ＡＶＣにおけるＳＥＩメッセージなど別個のメッセージを用いた部分に収められて共に信号送信されてもよい。
【０１５１】
ステップＳ４２０でスライス内の全てのブロックが符号化されたと判別されると（Ｓ４２０のｙｅｓ）、フィルタ算出部１３１０は、符号化スライス（復号信号のスライス）と原画スライス（動画像信号のスライス）に基づき、フィルタデータを算出する（ステップＳ４３０）。ここでのフィルタデータは、空間または周波数ドメインにおいて動画像信号をフィルタリングするための２次元の分離可能フィルタを設定するために用いられるデータである。よって、２次元の分離可能フィルタを設定するためのフィルタデータは、２つの１次元の成分フィルタのそれぞれを指定するための２つのフィルタデータを含む。
【０１５２】
例えば、図３を参照して上述したウィナーフィルタを用いてフィルタデータを決定してもよい。しかしながら、他のフィルタ設計方法を用いて動画像信号に基づくフィルタを設計することにより、本発明の目的を達成するためのフィルタデータを求めてもよい。フィルタデータにフィルタ係数を含めてもよい。または、フィルタデータに、デコーダでフィルタ係数を求めるために必要な情報を含めてもよい。デコーダでは、原画を示す入力信号（動画像信号）は未知であり、唯一の入力は符号化動画像信号である。それゆえ、フィルタデータは、エンコーダに入力される入力信号に関する情報を含むことが好ましい。特に、入力信号に関する情報は、例えば、入力信号と復号信号との相互相関であってもよい。動画像符号化から得られた復号信号の歪みのほとんどは、量子化によるものであり、入力信号と復号信号間の差は、量子化ノイズと呼ばれる。量子化ノイズの自己相関を、フィルタデータとして提供してもよい。相互相関または量子化ノイズを、ウィナーフィルタ方程式を解くために、デコーダが用いてもよい。復号信号の自己相関マトリクスをデコーダが求めてもよい。
【０１５３】
インデックス生成部１３２０は、各成分フィルタに対して算出されたフィルタデータに、それぞれ唯一のインデックスを生成して割り当てる。さらに、インデックス生成部１３２０は、成分フィルタのフィルタデータを、対応するインデックスと共に、フィルタメモリ１３３０に格納する（ステップＳ４４０）。インデックスと関連付けられた成分フィルタのフィルタデータは、エンコーダとデコーダで同様に記憶されることが好ましい。これにより、インデックスをフィルタデータと共に符号化してビットストリーム内に含める必要のない、自動的かつ暗黙のインデックスの設定という利点が得られる。しかしながら、値のペア（インデックスとフィルタデータ）を、明示的に信号送信してもよい。
【０１５４】
上述の図９に示すように、フィルタデータはｃ１，ｃ２，ｃ３，ｃ４，ｃ５およびｃ６の６つのフィルタ係数を含むものとする。あるスライスに求められた６つのフィルタ係数は、０とＮの間の値の自動的に付与されたインデックスと共に、テーブル１０００の１行に記憶される。よって、この例のテーブル１０００は、Ｎ＋１のフィルタ係数列を列挙する。
【０１５５】
テーブル１０００は、第１および第２の成分フィルタのフィルタデータを区別することなく記憶する共通のテーブルである。例えば、２次元分離可能フィルタの垂直および水平成分のフィルタデータがスライスに対し求められてその両方が記憶される場合、水平成分フィルタ（第１の成分フィルタ）のフィルタデータは、あるインデックスを付与されてテーブル１０００の１行に記憶される。また、垂直成分フィルタ（第２の成分フィルタ）のフィルタデータは、水平成分フィルタのフィルタデータと異なる場合、別のインデックスを付与されてテーブル１０００の別の１行に記憶される。第１および第２の成分フィルタのフィルタデータを共通して記憶すれば、各成分フィルタのフィルタデータを１回だけ記憶すればよいため、メモリ要件を削減するという利点がある。
【０１５６】
しかしながら、テーブル１０００に類似したテーブルを、第１の成分フィルタのフィルタデータを記憶するために別個に用意してもよく、そのようなテーブルを、第２の成分フィルタのフィルタデータを記憶するために別途用意してもよい。そのような場合には、インデックスは、各テーブル用に別々に生成される。これらの２つのテーブルには、例えば、同じフィルタ係数など、同じフィルタデータが含まれる。
【０１５７】
ステップＳ４４０におけるインデックスの生成および付与は、さまざまな方法でおこなってもよい。例えば、インデックス生成部１３２０は、スライスごとに、そのスライスの各成分フィルタのフィルタデータに対してインデックスを決定（生成）するときに、その決定の順番に対して昇順または降順となるようなインデックスを生成して付与してもよい。例えば、インデックス「０」のフィルタデータは、符号化対象の動画像信号に基づいて得られるとは限らない、予め定義されたデフォルトのフィルタ係数を含む。インデックス「１」のフィルタデータは、最終の符号化スライスの垂直成分フィルタに対して得られたフィルタ係数を含み、インデックス「２」のフィルタデータは、最終の符号化スライスの水平成分フィルタに対して得られたフィルタ係数を含む。同様に、インデックス「３」および「４」のフィルタデータはそれぞれ、最終符号化スライスなどの直前に符号化されたスライスに対して求められた垂直および水平成分のフィルタ係数を含む。この構成においては、テーブル１０００中の同じフィルタデータに付与されたインデックスは、新たなフィルタデータが記憶されるつど変更される。このテーブル１０００は、最近生成されたＮ個のフィルタデータのみ記憶されるよう、Ｎ＋１行の限られたサイズであることが好ましい。または、新たなフィルタデータを記憶する順番で、かつ、リングバッファのように、つまり一旦テーブル１０００が一杯になれば、古いフィルタデータが上書きされるように、インデックスの付与をおこなってもよい。
【０１５８】
また、インデックス生成部１３２０は、複数のフィルタ設計用画像領域（スライス）のそれぞれに対する第１および第２の成分フィルタのインデックスがフィルタメモリ１３３０に格納される順番にしたがって、または、複数のフィルタ設計用画像領域が表示される順番にしたがって、複数のフィルタ設計用画像領域のそれぞれに対する第１および第２の成分フィルタのインデックスの示す値が単調に増加または減少するように、フィルタ設計用画像領域ごとに２つのインデックスを生成して割り当ててもよい。
【０１５９】
インデックスの符号化のための符号語表は、発生確率に応じて、エンコーダとデコーダで同様に（再）生成されて並べられてもよい。これにより、インデックスを符号化するための可変長符号語を簡単に導出可能である。特に、エリアス、ゴロム、指数ゴロムのような整数（ユニバーサル）符号を用いてもよい。
【０１６０】
または、各フィルタデータの送信時に、フィルタデータが記憶されること、かつ、テーブル１０００中のどの位置にフィルタデータが記憶されるかに関する情報を送信してもよい。この位置以降の位置の記憶済みフィルタデータは全て、その後、この位置のテーブル１０００中の行を空欄にするために、シフトされる。このテーブル１０００で最終エントリとなるシフトされたフィルタ情報は、限られたサイズのテーブル１０００にはもはや入りきれないため、廃棄してもよい。
【０１６１】
テーブル１０００が一杯になり次第、最も使用されていないフィルタデータを、新たなフィルタデータと入れ替えてもよい。または、テーブル１０００が一杯になり次第、テーブル１０００に記憶されている他のフィルタデータと最も類似しているフィルタデータを廃棄し、空いた位置に新たなフィルタデータを記憶してもよい。
【０１６２】
さらに、まず、記憶対象のフィルタ係数のベクトル（フィルタデータ）を、テーブル１０００に記憶済みのフィルタ係数のベクトルと比較し、記憶対象ベクトルが記憶済みフィルタ係数ベクトルの全てと異なる場合に、唯一のインデックスを付与して記憶してもよい。
【０１６３】
テーブル１０００は、２から８の間の数だけの少ないフィルタデータだけを記憶することが好ましい。これにより、フィルタデータの選択対象のブロックに対し、最高のパフォーマンスが得られる２つの成分フィルタのフィルタデータの組み合わせを、テーブル１０００から選択する複雑性を低減することができるというメリットが得られる。さらに、各ブロックのフィルタ係数を与えることにより生じる信号送信のためのオーバーヘッドを適正にすることができるというメリットが得られる。しかしながら、画像の局所特性に対してよりよく適応するフィルタリングを選択するために、より多くのフィルタが利用可能になる。よって、符号化プロセスをゆっくりおこなってもよいような適用例では特に、テーブル１０００のサイズを大きくしたほうが有益な場合がある。
【０１６４】
動画像シーケンスの符号化のはじめに、このテーブル１０００にデフォルトのフィルタデータを含めてもよい。デフォルトフィルタデータを、テーブル１０００に複数含めることも可能である。しかしながら、そのために、スライスは、そのスライスに対して最適なフィルタデータが算出された後に符号化されてもよい。その他のスライスが上述のようにその後復号され、符号化済みスライスのためにフィルタデータの１つが選択される。
【０１６５】
ステップＳ４４０でフィルタデータとインデックスとが関連付けられてフィルタメモリ１３３０に格納されると、フィルタ算出部１３１０は、そのフィルタデータ（ステップＳ４３０で算出されたフィルタデータ）をエントロピー符号化部１１９０に出力する。エントロピー符号化部１１９０は、フィルタデータ（２つの成分フィルタのうち少なくとも１つのフィルタデータ）をスライスヘッダに付加する（ステップＳ４５０）。これにより、符号化動画像信号のビットストリームにフィルタデータが埋め込まれる。フィルタデータを、例えば、予測符号化を用いて、および／または、ハフマン符号化、算術符号化、または他の整数（ユニバーサル）符号化などのような可変長符号化を用いて、符号化してもよい。
【０１６６】
対象フレームまたはスライスにおいて求められたフィルタ係数（または、一般的にはフィルタデータ）を、送信済みのフィルタデータをプレディクタとして用いて、差分符号化してもよい。つまり、フィルタ係数と、送信済みのフィルデータとの差分を送信してもよい。そのような場合には、２つの対象成分フィルタのフィルタ係数を符号化するために用いたプレディクタ（送信済みのフィルタデータ）を指定するために、インデックスが送信される。
【０１６７】
なお、動画像信号に複数のスライスが含まれる場合には、画像符号化装置１１００は、スライスごとに、上記ステップＳ４１１〜Ｓ４５０の処理を繰り返し実行する。また、ステップＳ４１１〜Ｓ４５０が繰り返し実行される場合には、先にステップＳ４３０で算出されたフィルタデータが過去のフィルタデータとして扱われてフィルタメモリ１３３０に格納される。そして、その後のステップＳ４１２およびＳ４１３では、フィルタメモリ１３３０に格納されているその過去のフィルタデータを含む複数のフィルタデータの中から、処理対象のブロックに対するフィルタデータが選択される。
【０１６８】
図１１は、図１０の処理動作にしたがって符号化されたスライスをデコーダが復号する処理動作の一例を示すフローチャートである。
【０１６９】
エントロピー復号部１２９０は、符号化動画像信号のビットストリームから、スライスヘッダを構文解析する（ステップＳ５１０）。インデックス生成部１４２０は、スライスヘッダから抽出された成分フィルタのフィルタデータをバッファ（図示せず）に格納する（ステップＳ５２０）。次に、エントロピー復号部１２９０は、スライスに含まれるブロック（マクロブロック）を取得する（ステップＳ５３１）。さらに、エントロピー復号部１２９０は、第１の成分フィルタのインデックスを復号し（ステップＳ５３２）、第２の成分フィルタのインデックスを復号する（ステップＳ５３３）。
【０１７０】
フィルタ選択部１４５０は、第１および第２の成分フィルタの復号されたインデックスを取得し、それらのインデックスに関連付けて格納されているフィルタデータをフィルタメモリ１４３０から検索する。そして、フィルタ設定部１４６０は、検索によって見つけた２つのフィルタデータ（フィルタ係数）をそれぞれ第１および第２の成分フィルタに設定する（ステップＳ５３４）。補間フィルタ部１２５０は、設定された第１および第２の成分フィルタを用いて、上述のブロックに対してフィルタリングを行う（ステップＳ５３５）。
【０１７１】
ここで、画像復号装置１２００は、フィルタリングされたブロックがスライスの終端にあるか否かを判別する（ステップＳ５４０）。画像復号装置１２００は、スライスの終端にないと判別すると（ステップＳ５４０のｎｏ）、ステップＳ５３１からの処理を繰り返し実行する。一方、スライスの終端にあると判別されると（ステップＳ５４０のｙｅｓ）、インデックス生成部１４２０は、ステップＳ５２０でバッファに格納されたフィルデータにインデックスを生成して関連付け、フィルタデータとインデックスとの組み合わせをフィルタメモリ１４３０に格納する（ステップＳ５５０）。なお、符号化動画像信号に複数のスライスが含まれる場合には、画像復号装置１２００は、スライスごとに、上記ステップＳ５１０〜Ｓ５５０の処理を繰り返し実行する。
【０１７２】
つまり、スライスは、次に述べるように、ブロック単位で復号される。第１のブロックのデータは、ビットストリームから取得され復号される。ステップＳ５３２およびＳ５３３において、第１および第２の成分フィルタのインデックスが、ビットストリームから取得される。それらのインデックスに関連づけられた、第１および第２の成分フィルタのフィルタデータは、フィルタメモリ１４３０から読み込まれる。それら２つの成分フィルタのフィルタデータに基づき、第１のブロックのフィルタリングのための２次元分離可能フィルタの２つの成分フィルタは設定され（ステップＳ５３４）、フィルタが、第１のブロックに適用される（ステップＳ５３５）。当該スライスに他のブロックがあれば、上述のブロック復号プロセスが、スライス内の各ブロックに対し繰り返される。スライスの終端に到達した後（ステップＳ５４０のｙｅｓ）、ステップＳ５２０でバッファに記憶されたフィルタデータは、対応するインデックスと共に、フィルタメモリ１４３０に記憶される。
【０１７３】
なお、デコーダへ信号送信され、かつ、テーブル１０００において、第１および第２の成分フィルタそれぞれのフィルタデータを特定する２つのインデックスは、符号化されることが好ましい。各インデックスを、固定長符号または可変長符号を用いて、他の全てのインデックスから独立して符号化してもよい。この符号化方法は、エラーに強く、簡単に実施できる。しかしながら、時間的または空間的に周辺にあるブロック（周辺ブロック）のインデックスは、相関していることが多い。それゆえ、この相関を活用可能なように、例えば、予測符号化を用いて、インデックスを符号化することが好ましい。
【０１７４】
図１２は、インデックスを与えるためのビットストリームの例示的なシンタックスを示す図である。ここでは、２つの成分フィルタのフィルタデータは特定されるだけでなく、独立して符号化される。また、図１２に示すシンタックスは、分離可能適応的補間フィルタ（ＳＡＩＦ）のためのものである。しかし、そのシンタックスにおけるスライスヘッダの中の一行「ｉｆ（ａｐｐｌｙ＿ＳＡＩＦ）」を、必要に応じて例えば「ｉｆ（ａｐｐｌｙ＿ｉｎｌｏｏｐ＿ｆｉｌｔｅｒ）」または「ｉｆ（ａｐｐｌｙ＿ｐｏｓｔ＿ｆｉｌｔｅｒ）」に修正することによって、そのシンタックスをインループフィルタまたはポストフィルタにも用いることができる。
【０１７５】
シンタックス要素「Coefficient＿table＿size＿minus1」は、スライスヘッダ内に与えられ、エンコーダとデコーダ双方のフィルタメモリにおいてテーブル１０００に格納され、規則的に更新される最大インデックスの数を表す。このシンタックス要素がゼロの場合、フィルタデータはフィルタメモリに記憶されない。そのような場合には、フィルタデータとは別に、デフォルトのフィルタ係数を用いてもよい。
【０１７６】
フィルタ選択部１３５０は、各成分フィルタのインデックスＩ＿ｃｕｒ１，Ｉ＿ｃｕｒ２を予測する。つまり、インデックスＩ＿ｃｕｒ１とインデックスＩ＿ｃｕｒ２のそれぞれに対して、これらのインデックスが予測される。インデックスＩ＿ｃｕｒ１の予測インデックスがそのインデックスＩ＿ｃｕｒ１と等しければ、シンタックス要素「most＿probable＿filter＿component1」が１に設定され、等しくなければ０に設定される。なお、「most＿probable＿filter＿component1」が、第１の成分フィルタに対する上述の予測フラグである。同様に、インデックスＩ＿ｃｕｒ２の予測インデックスがそのインデックスＩ＿ｃｕｒ２と等しければ、シンタックス要素「most＿probable＿filter＿component2」が１に設定され、等しくなければ０に設定される。なお、「most＿probable＿filter＿component2」が、第２の成分フィルタに対する上述の予測フラグである。
【０１７７】
インデックスＩ＿ｃｕｒ１，Ｉ＿ｃｕｒ２は、符号化済み（少なくともエンコーダで）または復号済み（少なくともデコーダで）の周辺ブロックに対して既に求められたインデックスに基づいて予測されることが好ましい。インデックスＩ＿ｔｏｐ１，Ｉ＿ｔｏｐ２は、対象ブロックの上で隣接するブロックに対して既に選択された第１および第２の成分フィルタのインデックスを表す。インデックスＩ＿ｌｅｆｔ１，Ｉ＿ｌｅｆｔ２は、対象ブロックの左隣のブロックに対して既に選択された第１および第２成分フィルタのインデックスを表す。予測インデックスを求めるには、いくつかの選択肢がある。
【０１７８】
対象ブロックの第１（および第２）の成分フィルタのインデックスに対する予測インデックスＩ＿ｃｕｒ１＿ｐｒｅは、対象ブロックの上または左で隣接するブロックに対して既に選択されたインデックスを用いて、任意の関数Ｆから導出される。例えば、以下のように導出される。
【０１７９】
Ｉ＿ｃｕｒ１＿ｐｒｅ
＝Ｆ（Ｉ＿ｔｏｐ１，Ｉ＿ｌｅｆｔ１，Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２）
例えば、関数Ｆは、インデックスＩ＿ｔｏｐ１、 Ｉ＿ｌｅｆｔ１、Ｉ＿ｔｏｐ２、およびＩ＿ｌｅｆｔ２の中から、最小のインデックスを選択する関数である。つまり、関数Ｆは以下のように定義される。
【０１８０】
Ｆ＝ｍｉｎ（Ｉ＿ｔｏｐ１，Ｉ＿ｌｅｆｔ１，Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２）
このような予測が特に効率的なのは、あるフィルタデータを用いる可能性が、テーブル１０００中のインデックスが増加するにつれ低くなるケースである。このケースに相当するのは、最後に決定（生成）されたインデックスが常に第１のインデックスであり、その前に決定されたインデックスが第２のインデックスであるように、テーブル１０００におけるフィルタデータを、それらの決定の順番にしたがって並べる場合などである。最小関数を、周辺ブロックの同一成分フィルタに対してのみ適用してもよい。この場合、関数Ｆは、例えば、Ｆ＝ｍｉｎ(Ｉ＿ｔｏｐ１， Ｉ＿ｌｅｆｔ１)として定義される。または、インデックスＩ＿ｔｏｐ１、Ｉ＿ｌｅｆｔ１、Ｉ＿ｔｏｐ２、およびＩ＿ｌｅｆｔ２の中から任意に選択された複数のインデックス（サブセット）から、最小のインデックスを示すように、関数Ｆを定義してもよい。例えば、関数Ｆは、Ｆ＝ｍｉｎ（Ｉ＿ｔｏｐ１，Ｉ＿ｔｏｐ２）のように定義される。
【０１８１】
同様に、あるフィルタを用いる可能性が、テーブル１０００中のインデックスが増加するにつれ高くなるケースでは、最大関数を用いると有利である。例えば、関数Ｆは、以下のように定義される。
【０１８２】
Ｆ＝ｍｉｎ（Ｉ＿ｔｏｐ１，Ｉ＿ｌｅｆｔ１，Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２）
このケースに相当するのは、例えば、新たに算出されたフィルタデータが次のさらに高いインデックスに付与される場合などである。繰り返すが、関数Ｆは、どのようなインデックスのサブセットに対して適用してもよい。例えば、関数Ｆは、Ｆ＝ｍａｘ（Ｉ＿ｔｏｐ１，Ｉ＿ｌｅｆｔ１）、Ｆ＝Ｉ＿ｔｏｐ１、またはＦ＝Ｉ＿ｌｅｆｔ１などであってもよい。
【０１８３】
また、予測するための関数Ｆは、Ｆ＝０、Ｆ＝１、…、Ｆ＝「Coefficient＿table＿size＿minus1」などのような一定値を取得するような関数であってよい。しかしながら、関数Ｆは、最小か最大かによって異なってもよい。中央値、平均、重み平均、または他の関数も本発明に適用可能であり、符号化対象動画像信号の特性に応じて決定してもよい。
【０１８４】
または、関数Ｆ（Ｉ＿ｔｏｐ１，Ｉ＿ｌｅｆｔ１，Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２）を、インデックスＩ＿ｔｏｐ１、Ｉ＿ｌｅｆｔ１、Ｉ＿ｔｏｐ２、およびＩ＿ｌｅｆｔ２のそれぞれの組み合わせに対して、その組み合わせの中で最も確率が高いインデックスを示す、完備したテーブルとして定義してもよい。繰り返すが、例えば、テーブルを、インデックスＩ＿ｔｏｐ１とＩ＿ｌｅｆｔ１のサブセット用に定義してもよい。そのような予測テーブルを固定にしてもよい。例えば、テストセットを評価し、インデックスＩ＿ｔｏｐ１、Ｉ＿ｌｅｆｔ１、Ｉ＿ｔｏｐ２、Ｉ＿ｌｅｆｔ２間の相関や相違を計測することにより、固定の予測テーブルを取得してもよい。しかしながら、ＧＯＰ（グループ・オブ・ピクチャ）、フレーム、スライスなどの動画像シーケンスの一部として計測され、ヘッダ情報として送信される予測テーブルも適用可能である（前方適応）。または、動画像シーケンスの一部の符号化または復号中に、予測テーブルを計測し、統計に適用してもよい（後方適応）。
【０１８５】
上記の例では、対象ブロックに対して上または左に隣接するブロックを用いているが、本発明は、それに限定されない。他の符号化または復号済みの（空間的かつ時間的に）周辺にあるブロックを用いてもよい。時間的に周辺にあるブロックは、動き検出を用いて特定される、単一の動き軌道（Ｐフレーム）または複数の動き軌道（Ｂフレーム）にしたがうものであってもよい。
【０１８６】
対象ブロックのインデックスＩ＿ｃｕｒ１がその予測インデックスＩ＿ｃｕｒ１＿ｐｒｅと等しくない場合は、シンタックス要素「most＿probable＿filter＿component1」が、０に設定され、シンタックス要素「filter＿index＿1」が与えられる。シンタックス要素「filter＿index＿1」は、ブロック（マクロブロック）に対して選択された、第１の成分フィルタのフィルタデータを示すインデックスである。このようなケースでは、当該予測インデックスＩ＿ｃｕｒ１＿ｐｒｅを除き、テーブル１０００に示されるインデックス全てに対し、符号語が付与される。例えば、これは固定長符号またはハフマン符号などの可変長符号の固定符号語表に基づいてなされてもよく、当該符号語表は、「coefficient＿table＿size＿minus1」エントリを含む。
【０１８７】
例えば、インデックスの発生確率に対して符号語を適応させることにより、符号語表を規則的に更新してもよい。この更新は、インデックスの確率の変化をトリガとして、フレーム、スライス、またはＧＯＰごとに、または不規則的に、おこなってもよい。インデックスの符号化のための符号語を更新すれば、（Ｈ．２６４における参照フレームインデックスの場合における符号の更新と同様に）符号化効率をさらに向上させることができる。符号語の更新に関する情報は、エンコーダからデコーダへ与えられる。つまり、ビットストリーム内に埋め込まれる。符号語表のバイナリシンボルを、算術的に符号化してもよい。この目的で、ＣＡＢＡＣを用いてもよい。
【０１８８】
対象ブロックにおける第１の成分フィルタのインデックスＩ＿ｃｕｒ１の予測および符号化と、対象ブロックにおける第２の成分フィルタのインデックスＩ＿ｃｕｒ２の予測および符号化とを、上述のように同様におこなってもよい。関数Ｆは、第１の成分フィルタのインデックスと、第２の成分フィルタのインデックスとで異なってもよい。例えば、対象ブロックにおける第１の成分フィルタのインデックスは、周辺ブロックにおける第１の成分フィルタのインデックスのみに基づいて予測されてもよく、対象ブロックにおける第２の成分フィルタのインデックスは、周辺ブロックにおける第２の成分フィルタのインデックスのみに基づいて予測されてもよい。予測インデックスＩ＿ｃｕｒ２＿ｐｒｅがインデックスＩ＿ｃｕｒ２と等しければ、シンタックス要素「most＿probable＿filter＿component2」が１に設定され、等しくなければ０に設定される。なお、「most＿probable＿filter＿component2」が、第２の成分フィルタに対する上述の予測フラグである。
【０１８９】
対象ブロックにおける第２の成分フィルタのインデックスに対する予測インデックスＩ＿ｃｕｒ２＿ｐｒｅを、第１の成分フィルタのインデックスも用いて求めてもよい。第１および第２の成分フィルタ（垂直および水平成分フィルタ）が相関している場合に効率がよい最もシンプルなケースは、予測インデックスＩ＿ｃｕｒ２＿ｐｒｅがインデックスＩ＿ｃｕｒ１の場合である。しかしながら、周辺ブロック同士のインデックスの相関と、２つの成分フィルタのインデックス間の相関の両方を活用すれば、他の組み合わせが有利になる場合がある。例えば、予測インデックスＩ＿ｃｕｒ２＿ｐｒｅは、関数Ｆを用いて以下のように導出される。
【０１９０】
Ｉ＿ｃｕｒ２＿ｐｒｅ
＝Ｆ(Ｉ＿ｔｏｐ１，Ｉ＿ｌｅｆｔ１，Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２，Ｉ＿ｃｕｒ１）
繰り返すが、関数Ｆは任意の関数である。フィルタメモリ内にフィルタデータを記憶するためのインデックスを生成する方法次第で、関数Ｆは最小関数または最大関数として定義される。つまり、関数Ｆは、Ｆ＝ｍｉｎ（Ｉ＿ｔｏｐ１，Ｉ＿ｌｅｆｔ１，Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２，Ｉ＿ｃｕｒ１）またはＦ＝ｍａｘ（Ｉ＿ｔｏｐ１，Ｉ＿ｌｅｆｔ１，Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２，Ｉ＿ｃｕｒ１）として定義される。あるいは、関数Ｆは、インデックスＩ＿ｔｏｐ１、Ｉ＿ｌｅｆｔ１、Ｉ＿ｔｏｐ２、Ｉ＿ｌｅｆｔ２、およびＩ＿ｃｕｒ１のサブセットのみに基づいて、定義されてもよい。例えば、関数Ｆは、Ｆ＝ｍｉｎ（Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２，Ｉ＿ｃｕｒ１）、Ｆ＝ｍｉｎ（Ｉ＿ｔｏｐ２，Ｉ＿ｃｕｒ１）、Ｆ＝ｍａｘ（Ｉ＿ｔｏｐ２，Ｉ＿ｌｅｆｔ２，Ｉ＿ｃｕｒ１）、Ｆ＝Ｉ＿ｔｏｐ２、またはＦ＝Ｉ＿ｌｅｆｔ２として定義される。あるいは、関数Ｆは、定数値関数Ｆ＝０、Ｆ＝１、…、Ｆ＝「Coefficient＿table＿size＿minus2」などのように定義される。
【０１９１】
または、関数Ｆを次のように定義してもよい。
【０１９２】
Ｆ＝ｍｉｎ（Coefficient＿table＿size＿minus1，ｍａｘ(０，Ｉ＿ｃｕｒ１＋１））
このような関数Ｆは、単純であり、かつ、第２の成分フィルタのフィルタデータが常に第１の成分フィルタのフィルタデータの後に記憶される場合には効率がよい場合がある。第２の成分フィルタのフィルタデータが、第１の成分フィルタのフィルタデータの前に記憶される場合、次にあげる関数Ｆが、簡単かつ効率的に予測する方法として用いられる。
【０１９３】
Ｆ＝（Coefficient＿table＿size＿minus1，ｍａｘ（０，Ｉ＿ｃｕｒ１−１））
繰り返すが、関数Ｆを、インデックスＩ＿ｔｏｐ１、Ｉ＿ｌｅｆｔ１、Ｉ＿ｔｏｐ２、Ｉ＿ｌｅｆｔ２およびＩ＿ｃｕｒ１、またはそれらのサブセットの各組み合わせのうち、最も確率が高いインデックスを示す予測テーブルとして定義してもよい。
【０１９４】
対象ブロックのインデックスＩ＿ｃｕｒ２がその予測インデックスＩ＿ｃｕｒ２＿ｐｒｅと等しくない場合は、シンタックス要素「most＿probable＿filter＿component2」が、０に設定され、シンタックス要素「filter＿index＿2」が与えられる。シンタックス要素「filter＿index＿2」は、ブロック（マクロブロック）に対して選択された、第２の成分フィルタのフィルタデータを示すインデックスである。シンタックス要素「filter＿index＿2」を、「filter＿index＿1」と同様に符号化してもよい。
【０１９５】
ここで、２つの成分フィルタのインデックスを、組み合わせて符号化してもよい。その場合、個々の符号語を、２つのインデックスの各ペアに付与する。以下、２つの成分フィルタのインデックスをインデックスペアといい、そのインデックスペアを示すベクトルをペアベクトルという。さらに、符号化済みインデックスペアから得たインデックスペアの時間的予測は、送信されるデータ量を削減するために有利である。この場合、可能性がある全てのペアベクトル（Ｉ＿ｃｕｒ１，Ｉ＿ｃｕｒ２）が、新しいシンボルで表され、符号化される。この方法は、むしろ小さいテーブル１０００の場合、つまり、「Coefficient＿table＿size＿minus1」が非常に小さい場合に有利である。よって、１つのブロックに対して選択される、複数のフィルタ係数からなるベクトル（フィルタデータ）の数および符号長は削減される。
【０１９６】
図１３は、対象ブロックの２つのインデックスＩ＿ｃｕｒ１とＩ＿ｃｕｒ２を組み合わせて符号化するためのシンタックスの例を示す図である。なお、図１２に示すシンタックスと同様に、図１３に示すシンタックスは、分離可能適応的補間フィルタ（ＳＡＩＦ）のためのものである。しかし、そのシンタックスにおけるスライスヘッダの中の一行「ｉｆ（ａｐｐｌｙ＿ＳＡＩＦ）」を、必要に応じて例えば「ｉｆ（ａｐｐｌｙ＿ｉｎｌｏｏｐ＿ｆｉｌｔｅｒ）」または「ｉｆ（ａｐｐｌｙ＿ｐｏｓｔ＿ｆｉｌｔｅｒ）」に修正することによって、そのシンタックスをインループフィルタまたはポストフィルタにも用いることができる。
【０１９７】
ペアベクトル（Ｉ＿ｃｕｒ１，Ｉ＿ｃｕｒ２）の成分Ｉ＿ｃｕｒ１およびＩ＿ｃｕｒ２は、上記方法によって独立に予測可能である。これにより、予測ペアベクトル（Ｉ＿ｃｕｒ１＿ｐｒｅ，Ｉ＿ｃｕｒ２＿ｐｒｅ）が得られる。対象ブロックのペアベクトル（Ｉ＿ｃｕｒ１，Ｉ＿ｃｕｒ２）が、予測ペアベクトル（Ｉ＿ｃｕｒ１＿ｐｒｅ，Ｉ＿ｃｕｒ２＿ｐｒｅ）と等しくない場合、シンタックス要素「most＿probable＿filter＿combination」は０であり、等しい場合は１である。
【０１９８】
予測ペアベクトル（Ｉ＿ｃｕｒ１＿ｐｒｅ，Ｉ＿ｃｕｒ２＿ｐｒｅ）は、周辺ブロックのペアベクトル（Ｉ＿ｎｅｉ１，Ｉ＿ｎｅｉ２）に設定することも可能である。そのような予測に用いられる周辺ブロックは、複数の周辺ブロックの中から、対象ブロックの動きベクトルに最も類似した動きベクトルを有する周辺ブロックとして選択されることが好ましい。または、予測に用いられる周辺ブロックは、複数の周辺ブロックの中から、対象ブロックのブロックモード（符号化モードまたは予測モード）に最も類似したブロックモードの周辺ブロックとして選択されてもよい。本発明を実現するために、他の選択肢を選んでもよい。予測ペアベクトル（Ｉ＿ｃｕｒ１＿ｐｒｅ，Ｉ＿ｃｕｒ２＿ｐｒｅ）は、例えば、左または上に隣接するブロックのインデックスなどで固定してもよい。
【０１９９】
対象ブロックのペアベクトル（Ｉ＿ｃｕｒ１，Ｉ＿ｃｕｒ２）が、予測ペアベクトル(Ｉ＿ｃｕｒ１＿ｐｒｅ，Ｉ＿ｃｕｒ２＿ｐｒｅ）と等しくない場合、シンタックス要素「most＿probable＿filter＿combination」は０であり、等しい場合は１である。この場合、予測ペアベクトル（Ｉ＿ｃｕｒ１＿ｐｒｅ，Ｉ＿ｃｕｒ２＿ｐｒｅ）として用いられた１つを除いて、全てのペアベクトル（Ｉ＿ｃｕｒ１，Ｉ＿ｃｕｒ２）に対して符号語が付与される。例えば、固定長符号または可変長符号の固定符号語表に基づいて符号語を付与することができる。この符号語表は、以下の数のエントリを有する。
（Coefficient＿table＿size＿minus1＋１）×（Coefficient＿table＿size＿minus1＋１）−１
予測符号は、インデックスそのものというよりもむしろ成分フィルタに基づいて予測信号を生成することによって導出された予測符号である可能性がある。
【０２００】
対象成分フィルタのインデックスの予測を得るための他の選択肢として、フィルタデータの使用がある。特に、対象ブロックの動画像信号を、フィルタメモリ内で列挙されている各フィルタデータを用いて再構築してもよい。再構築のために、候補となるフィルタデータの全てを用いて異なる予測信号を生成し、生成された予測信号に量子化予測誤差信号を加算する。その後、再構築信号（異なるフィルタを用いて再構築された対象ブロックに対応）の境界画素と、隣接する再構築信号（隣接ブロック）間の歪み量が計測される。歪み量は、例えば、絶対値和または２乗差、または他の歪み量であってもよい。最後に、最小の歪みにつながるフィルタデータに対応するインデックスは、対象ブロックの予測インデックスとして選択される。そのような予測メカニズムは、他のインデックスから直接予測することよりも複雑である。しかしながら、より正確な予測が得られる場合がある。
【０２０１】
図１４は、画像符号化装置１１００のフィルタ選択部１３５０の予測についての動作を示すフローチャートである。
【０２０２】
フィルタ選択部１３５０は、フィルタ適用画像領域である処理対象マクロブロックに対して第１および第２の成分フィルタのインデックスを予測するときには、まず、第１の成分フィルタのインデックスを決定する（ステップＳ１００）。つまり、フィルタ選択部１３５０は、入力信号と復号信号に基づいて処理対象マクロブロックに対する、第１の成分フィルタのフィルタデータを、フィルタメモリ１３３０に格納されている複数のフィルタデータの中から選択する。そして、フィルタ選択部１３５０は、その選択したフィルタデータに関連付けてフィルタメモリ１３３０に格納されているインデックスを取得することによって、その処理対象マクロブロックに対する、第１の成分フィルタのインデックスを決定する。
【０２０３】
次に、フィルタ選択部１３５０は、上述の複数の周辺フィルタ適用画像領域を用いて、処理対象マクロブロックに対する、第１の成分フィルタのインデックスを予測する（ステップＳ１０１）。周辺フィルタ適用画像領域は、例えば、処理対象マクロブロックの周辺にあるマクロブロック（周辺マクロブロック）である。つまり、フィルタ選択部１３５０は、その複数の周辺マクロブロックに対して既に決定されたインデックスのうち、予め定められた予測規則にしたがって１つのインデックスを予測インデックスとして選択する。
【０２０４】
ここで、フィルタ選択部１３５０は、第１の成分フィルタについて、ステップＳ１００で決定したインデックスと、ステップＳ１０１で予測されたインデックス（予測インデックス）とが同じか否かを判別する（ステップＳ１０２）。
【０２０５】
フィルタ選択部１３５０は、同じと判別すると（ステップＳ１０２のｙｅｓ）、予測フラグを「１」に設定し（ステップＳ１０３）、その予測フラグをエントロピー符号化部１１９０に出力することによって、その予測フラグを符号化動画像信号に付加する（ステップＳ１０４）。
【０２０６】
一方、フィルタ選択部１３５０は、異なると判別すると（ステップＳ１０２のｎｏ）、予測フラグを「０」に設定し（ステップＳ１０５）、その予測フラグと、ステップＳ１００で決定されたインデックスとをエントロピー符号化部１１９０に出力することによって、予測フラグ（＝０）とインデックスを符号化動画像信号に付加する（ステップＳ１０６）。
【０２０７】
その後、フィルタ選択部１３５０は、第１および第２の成分フィルタに対して処理が終了したか否かを判別し（ステップＳ１０７）、終了していないと判別したときには（ステップＳ１０７のｎｏ）、第２の成分フィルタについてステップＳ１００からの処理を繰り返し実行する。
【０２０８】
図１５は、インデックスの予測についての一例を示す図である。
【０２０９】
フィルタ選択部１３５０は、図１４のステップＳ１０１でインデックスを予測するときには、例えば図１５に示すように、処理対象マクロブロックＢｋ１に対して、左上、上、右上、および左に隣接する周辺マクロブロックＢｋ２〜Ｂｋ５の動きベクトルを利用する。つまり、フィルタ選択部１３５０は、周辺マクロブロックＢｋ２〜Ｂｋ５の中から、処理対象マクロブロックＢｋ１の動きベクトルに最も類似する動きベクトルが検出された周辺マクロブロックを特定する。例えば、その最も類似する動きベクトルが周辺マクロブロックＢｋ２の動きベクトルであれば、フィルタ選択部１３５０は、その周辺マクロブロックＢｋ２に対して既に決定されたインデックスを、処理対象マクロブロックＢｋ１の予測インデックスとして選択する。ここで、周辺マクロブロックＢｋ２に対して既に決定されたインデックスには、第１および第２の成分フィルタの２つのインデックスがある。したがって、フィルタ選択部１３５０は、周辺マクロブロックＢｋ２の２つのインデックスの中から、処理対象マクロブロックＢｋ１の予測対象とされるインデックスの成分フィルタと同一種類の成分フィルタのインデックスを、予測インデックスとして選択してもよい。例えば、予測対象とされるインデックスの成分フィルタが第１の成分フィルタであれば、フィルタ選択部１３５０は、周辺マクロブロックＢｋ２の第１および第２の成分フィルタの２つのインデックスの中から、第１の成分フィルタのインデックスを予測インデックスとして選択する。
【０２１０】
また、フィルタ選択部１３５０は、図１４のステップＳ１０１でインデックスを予測するときには、周辺マクロブロックＢｋ２〜Ｂｋ５の参照インデックスを利用してもよい。参照インデックスは、その参照インデックスに対応するマクロブロックの符号化において参照されたピクチャ（メモリ１４０に格納されている復号信号によって示される参照ピクチャ）を示す。この場合、フィルタ選択部１３５０は、周辺マクロブロックＢｋ２〜Ｂｋ５の４つの参照インデックスの中から、処理対象マクロブロックＢｋ１の参照インデックスと同一または最も近い参照インデックスを特定する。例えば、処理対象マクロブロックＢｋ１と周辺マクロブロックＢｋ２の参照インデックスが同一であれば、フィルタ選択部１３５０は、その周辺マクロブロックＢｋ２に対して既に決定されたインデックスを、処理対象マクロブロックＢｋ１の予測インデックスとして選択する。
【０２１１】
また、フィルタ選択部１３５０は、図１４のステップＳ１０１でインデックスを予測するときには、周辺マクロブロックＢｋ２〜Ｂｋ５のブロックモードを利用してもよい。ブロックモードは、そのブロックモードに対応するマクロブロックの符号化のモードであって、例えば、前方または後方参照予測を用いた符号化、前方および後方の双方向の参照予測を利用した符号化、ダイレクトモード、イントラ予測、または、インター予測などである。
【０２１２】
この場合、フィルタ選択部１３５０は、周辺マクロブロックＢｋ２〜Ｂｋ５の４つのブロックモードの中から、処理対象マクロブロックＢｋ１のブロックモードと同一または最も近いブロックモードを特定する。例えば、処理対象マクロブロックＢｋ１と周辺マクロブロックＢｋ２のブロックモードが同一であれば、フィルタ選択部１３５０は、その周辺マクロブロックＢｋ２に対して既に決定されたインデックスを、処理対象マクロブロックＢｋ１の予測インデックスとして選択する。
【０２１３】
図１６は、画像復号装置１２００のフィルタ選択部１４５０の予測を用いてフィルタデータを選択する動作を示すフローチャートである。
【０２１４】
フィルタ選択部１４５０は、フィルタ適用画像領域である処理対象マクロブロックに対して第１および第２の成分フィルタのフィルタデータを選択するときには、まず、第１の成分フィルタに対する予測フラグをエントロピー復号部１２９０から取得する（ステップＳ２００）。
【０２１５】
フィルタ選択部１４５０は、その予測フラグが「１」を示すか否かを判別する（ステップＳ２０１）。ここで、フィルタ選択部１４５０は、「１」を示すと判別すると（ステップＳ２０１のｙｅｓ）、処理対象マクロブロックの第１の成分フィルタに対するインデックスを予測する（ステップＳ２０２）。このとき、フィルタ選択部１４５０は、上述の画像符号化装置１１００のフィルタ選択部１３５０と同様の方法でインデックスを予測する。一方、フィルタ選択部１４５０は、「１」を示していないと判別すると（ステップＳ２０１のｎｏ）、第１の成分フィルタに対するインデックスをエントロピー復号部１２９０から取得する（ステップＳ２０３）。
【０２１６】
次に、フィルタ選択部１４５０は、ステップＳ２０２による予測によって得られた予測インデックス、または、ステップＳ２０３で取得されたインデックスを用いて、フィルタメモリ１４３０から、処理対象マクロブロックの第１の成分フィルタのフィルタデータを選択する（ステップＳ２０４）。
【０２１７】
そして、フィルタ選択部１４５０は、第１および第２の成分フィルタに対して処理が終了したか否かを判別し（ステップＳ２０５）、終了していないと判別したときには（ステップＳ２０５のｎｏ）、第２の成分フィルタについてステップＳ２００からの処理を繰り返し実行する。
【０２１８】
図１７は、エンコーダでスライスを符号化する他の処理動作を示すフローチャートである。本実施の形態において、フィルタデータはスライスごとに求められ、個々のスライスヘッダ内に含められる。図１７のフローチャートによって示される処理動作は、図１０のフローチャートによって示される処理動作と異なり、フィルタメモリ１３３０に格納されている、符号化済みスライスに対して求められたフィルタデータだけでなく、対象スライスに対して算出されたフィルタデータも含む、複数のフィルタデータの中から、対象スライス内のブロックのインデックスが選択される点に特徴がある。よって、対象スライスが符号化および復号された後、フィルタメモリは更新される。これにより、同一のスライス内に含められて送信されたフィルタデータを、そのスライス内のブロックに用いることが可能になる。
【０２１９】
図１７は、例えば、図１を参照して上述されたＨ．２６４／ＭＰＥＧ‐４  ＡＶＣにおける、現在のビデオコーデックのいずれにおいても用いられるような、スライスの標準的な符号化（ステップＳ６１０）から始まるスライスの符号化方法を示す。つまり、画像符号化装置１１００は、まず、符号化対象となるスライス（対象スライス）を符号化する（ステップＳ６１０）。特に、符号化後に再構築スライスを得るために、ロスが生じる圧縮がおこなわれる。フィルタ算出部１３１０は、符号化され再構築されたスライスおよび入力信号に基づいて、例えばウィナーフィルタ予測などによって、上述の実施の形態同様に、フィルタデータを算出する（ステップＳ６２０）。インデックス生成部１３２０は、唯一のインデックスを生成し、フィルタデータとそのインデックスとを関連づけてフィルタメモリ１３３０に格納する。フィルタデータが格納された後、対象スライスは、ブロックごとに符号化される。まず、フィルタ選択部１３５０は、そのブロックを取得する（ステップＳ６４１）。
【０２２０】
フィルタ選択部１３５０は、当該ブロックのフィルタリングのために、フィルタメモリ１３３０から第１の成分フィルタのフィルタデータを選択し、そのフィルタデータに関連付けられたインデックスを取得する。これにより、フィルタ選択部１３５０は、そのブロックに対して第１の成分フィルタのインデックスを決定する（ステップＳ６４２）。さらに、フィルタ選択部１３５０は、当該ブロックのフィルタリングのために、フィルタメモリ１３３０から第２の成分フィルタのフィルタデータを選択し、そのフィルタデータに関連付けられたインデックスを取得する。これにより、フィルタ選択部１３５０は、そのブロックに対して第２の成分フィルタのインデックスを決定する（ステップＳ６４３）。
【０２２１】
画像符号化装置１１００は、第１および第２の成分フィルタのインデックスが決定されたブロックを符号化する（ステップＳ６４５）。インデックスは、ビットストリームに符号化され、ブロック、マクロブロック、またはパケット単位で、符号化動画像信号のビットストリームと共に提供される。画像符号化装置１１００は、ステップＳ６４５で符号化されたブロックが対象スライスの終端にあるか否かを判別する（ステップＳ６５０）。ここで、対象スライスの終端にあると判別されると（ステップＳ６５０のｙｅｓ）、フィルタ算出部１３１０は、ステップＳ６２０で算出したフィルタデータをエントロピー符号化部１１９０に出力する。エントロピー符号化部１１９０は、そのフィルタデータを、符号化動画像信号における対象スライスのスライスヘッダに付加する（ステップＳ６６０）。一方、画像符号化装置１１００は、符号化されたブロックが対象スライスの終端にないと判別すると（ステップＳ６５０のｎｏ）、対象スライスに含まれる次のブロックに対してステップＳ６４１からの処理を繰り返し実行する。なお、動画像信号に複数のスライスが含まれる場合には、画像符号化装置１１００は、スライスごとに、上記ステップＳ６１０〜Ｓ６６０の処理を繰り返し実行する。
【０２２２】
この例では、各ブロックの符号化が２度おこなわれる。１回目では、スライス全体に対するフィルタデータが算出されるときに行われ、２回目では、ブロックごとにフィルタデータが選択されるときに行われる。ブロックをフィルタリングするための適応的フィルタがループフィルタである場合、当該ブロックは、エンコーダでフィルタリングされることが好ましい。適応的フィルタがポストフィルタである場合、当該ブロックは、選択されたフィルタによってフィルタリングされることなく符号化される。
【０２２３】
図１８は、図１７の処理動作にしたがって符号化されたスライスをデコーダが復号する処理動作の一例を示すフローチャートである。
【０２２４】
まず、エントロピー復号部１２９０は、復号対象となるスライス（対象スライス）のスライスヘッダを構文解析する（ステップＳ７１０）。インデックス生成部１４２０は、そのスライスヘッダから抽出されて復号されたフィルタデータを取得し、そのフィルタデータに対してインデックスを生成する。そして、インデックス生成部１４２０は、そのフィルタデータにインデックスを関連付けて、フィルタデータとインデックスとの組み合わせをフィルタメモリ１４３０に格納する（ステップＳ７２０）。このとき生成されるインデックスは、エンコーダで生成されたインデックスと同一である。
【０２２５】
次に、エントロピー復号部１２９０は、対象スライスに含まれるブロック（マクロブロック）を取得する（ステップＳ７３１）。さらに、エントロピー復号部１２９０は、第１の成分フィルタのインデックスを復号し（ステップＳ７３２）、第２の成分フィルタのインデックスを復号する（ステップＳ７３３）。
【０２２６】
フィルタ選択部１４５０は、１および第２の成分フィルタの復号されたインデックスを取得し、それらのインデックスに関連付けて格納されているフィルタデータをフィルタメモリ１４３０から検索する。そして、フィルタ設定部１４６０は、検索によって見つけた２つのフィルタデータ（フィルタ係数）をそれぞれ第１および第２の成分フィルタに設定する（ステップＳ７３４）。なお、設定にはフィルタ係数の付与が含まれる。フィルタ係数がフィルタデータ内に含まれている場合には、そのフィルタ係数が第１または第２の成分フィルタに設定され、フィルタ係数がフィルタデータ内に含まれていない場合には、フィルタデータに基づいてフィルタ係数が算出されて第１または第２の成分フィルタに設定される。補間フィルタ部１２５０は、設定された第１および第２の成分フィルタを用いて、上述のブロックに対してフィルタリングを行う（ステップＳ７３５）。
【０２２７】
ここで、画像復号装置１２００は、フィルタリングされたブロックが対象スライスの終端にあるか否かを判別する（ステップＳ７４０）。画像復号装置１２００は、スライスの終端にないと判別すると（ステップＳ７４０のｎｏ）、対象スライスに含まれる次のブロックに対してステップＳ７３１からの処理を繰り返し実行する。一方、スライスの終端にあると判別すると（ステップＳ７４０のｙｅｓ）、画像復号装置１２００はその対象スライスに対する処理を終了する。なお、符号化動画像信号に複数のスライスが含まれる場合には、画像復号装置１２００は、スライスごとに、上記ステップＳ７１０〜Ｓ７４０の処理を繰り返し実行する。
【０２２８】
図１０に示す単一の符号化処理は、図１７に示す二重の符号化処理よりも複雑ではない。よって、単一の符号化処理は、特にエンコーダにおける低遅延かつ／または低電力消費の適用例において、有利である。一方、二重の符号化処理は、局所動画像特性の変化に応じて、例えば符号化効率の観点から、より高い成果を生む場合がある。二重の符号化処理は、変化が速い局所動画像特性に対して特に必要となる、新たな動画像コンテンツへの即刻対応が可能である。しかしながら、単一および二重の符号化処理の双方の成果は、スライスの選択によって影響されやすい。特性が類似したブロックを含むようにスライスが選択された場合は、再構築後の品質のみならず符号化効率も向上する。単一の符号化処理と二重の符号化処理との間で切り替えをおこなうことも可能である。例えば、この切り替えを指示する信号は、スライスまたはピクチャヘッダ内に含めて送信される。
【０２２９】
図１９Ａおよび図１９Ｂは、エンコーダで動画像信号を符号化する他の処理動作を示すフローチャートである。図１９Ａおよび図１９Ｂに示す処理動作は、図１０および図１７に示す処理動作と異なり、常に１つのフィルタ設計用画像領域（スライスまたはフレーム）ごとにフィルタデータを算出することなく、第１の条件が満たされたときに、１つまたは複数のフィルタ設計用画像領域に対して１つのフィルタデータを算出する点に特徴がある。さらに、図１９Ａおよび図１９Ｂに示す処理動作は、図１０および図１７に示す処理動作と異なり、常に１つのフィルタデータが算出されるごとに、そのフィルタデータを符号化してデコーダに送信することなく、第２の条件が満たされたときに、そのときまでに算出された１つまたは複数のフィルタデータを纏めてデコーダに送信する点に特徴がある。
【０２３０】
つまり、図１９Ａおよび図１９Ｂに示す処理動作では、フィルタデータの生成は、第１の条件によってトリガされ、第２の条件によって累積的に送信される。例えば、同一のメッセージまたはスライスヘッダ内に含められて、より多くのフィルタデータが一度に送信される。
【０２３１】
まず、画像符号化装置１１００は、図１９Ａに示すように、対象スライスを取得し（ステップＳ８１０）、その対象スライスを符号化する（ステップＳ８２０）。ステップＳ８２０の詳細については、図１９Ｂに示される。つまり、図１０に示すステップＳ４１１〜Ｓ４２０、または図１７に示すステップＳ６４１〜Ｓ６５０と同様の処理がステップＳ８２０で行われる。
【０２３２】
具体的には、フィルタ選択部１３５０は、対象スライスからブロックを取得する（ステップＳ８２１）。フィルタ選択部１３５０は、フィルタメモリ１３３０から、そのブロックに対する第１の成分フィルタのフィルタデータを選択し、そのフィルタデータに関連付けられたインデックスを取得する。これにより、フィルタ選択部１３５０は、そのブロックに対して第１の成分フィルタのインデックスを決定する（ステップＳ８２２）。さらに、フィルタ選択部１３５０は、フィルタメモリ１３３０から、そのブロックに対する第２の成分フィルタのフィルタデータを選択し、そのフィルタデータに関連付けられたインデックスを取得する。これにより、フィルタ選択部１３５０は、そのブロックに対して第２の成分フィルタのインデックスを決定する（ステップＳ８２３）。第１および第２の成分フィルタのインデックスはそれぞれ、符号化されて、符号化動画像信号に含められてデコーダに送信される。
【０２３３】
画像符号化装置１１００は、第１および第２の成分フィルタのインデックスが決定されたブロックを符号化する（ステップＳ８２５）。この符号化には、選択されたフィルタデータを用いたフィルタリングを含めてもよいし、含めなくてもよい。画像符号化装置１１００は、ステップＳ８２５で符号化されたブロックが対象スライスの終端にあるか否かを判別する（ステップＳ８２６）。ここで、画像符号化装置１１００は、符号化対象スライスの終端にあると判別すると（ステップＳ８２６のｙｅｓ）、対象スライスの符号化の処理を終了し、対象スライスの終端にないと判別すると（ステップＳ８２６のｎｏ）、対象スライスに含まれる次のブロックに対してステップＳ８２１からの処理を繰り返し実行する。
【０２３４】
対象スライスの符号化が終了すると、フィルタ算出部１３１０は、上述の第１の条件が満たされているか否か、つまり、新たなフィルタデータを算出すべきか否かを判別する（ステップＳ８３０）。第１条件が満たされている場合（ステップＳ８３０のｙｅｓ）、フィルタ算出部１３１０は、例えば、最終に符号化されたスライスまたはいくつかの符号化済みのスライスに基づいて、フィルタデータを算出してバッファ（図示せず）に格納する（ステップＳ８４０）。
【０２３５】
次に、フィルタ算出部１３１０は、上述の第２の条件が満たされているか否か、つまり、バッファに格納された１つまたは複数のフィルタデータを符号化すべきか否かを判別する（ステップＳ８５０）。第２の条件が満たされていると判別されると（ステップＳ８５０のｙｅｓ）、インデックス生成部１３２０は、バッファに格納された全てのフィルタデータのそれぞれに対して、唯一のインデックスを生成して関連付け、フィルタデータとインデックスとの組み合わせを、バッファに格納されていたフィルタデータの数だけフィルタメモリ１３３０に格納する（ステップＳ８６０）。これにより、フィルタメモリ１３３０は更新される。さらに、フィルタ算出部１３１０は、バッファに格納された全てのフィルタデータをエントロピー符号化部１１９０に出力する。これにより、１つまたは複数のフィルタデータがまとめて符号化され、符号化動画像信号内に含められる（ステップＳ８７０）。
【０２３６】
画像符号化装置１１００は、ステップＳ８３０で第１の条件が満たされていないと判別されたとき（ステップＳ８３０のｎｏ）、ステップＳ８５０で第２の条件が満たされていないと判別されたとき（ステップＳ８５０のｎｏ）、または、ステップＳ８７０でフィルタデータが符号化されたときには、ステップＳ８２０で符号化されたスライスが動画像信号の終端にあるか否かを判別する（ステップＳ８８０）。ここで、画像符号化装置１１００は、終端にないと判別すると（ステップＳ８８０のｎｏ）、動画像信号に含まれる次のスライスに対してステップＳ８１０からの処理を繰り返し実行し、終端にあると判別すると（ステップＳ８８０のｙｅｓ）、動画像信号の符号化処理を終了する。
【０２３７】
ここで、上述の第１および第２の条件について説明する。
【０２３８】
第１の条件は、例えば、ステップＳ８２０でｋ個のスライスが符号化されるという条件である。つまり、この条件によって、ｋ個のスライスごとに、フィルタデータが算出されることになる。また、第１の条件は、動画像信号の特性が変化することであってもよい。例えば、動画像信号に基づいて、フィルタメモリ１３３０に格納されている全てのフィルタデータのそれぞれに対するコストを算出し、それらのコストと予め定められた閾値と比較する。このコストは、画像の歪みを示し、例えばＲＤ（Rate Distortion）コストである。何れかのコスト（歪み）がその閾値よりも大きい場合、動画像信号の特性は変化しており、第１の条件が満たされることになる。また、第１の条件は、他の条件であってもよく、例えば、フィルタメモリ１３３０に格納されたフィルタデータが、フィルタリング済み画像の品質条件を満たさないことであってもよい。
【０２３９】
第２の条件は、第１の条件と同一であってもよい。この場合には、フィルタデータが算出され次第すぐに、そのフィルタデータが符号化されて送信される。また、第２の条件は第１の条件と異なっていてもよい。例えば、フィルタデータが符号化されて送信される頻度が、フィルタデータが算出される頻度よりも少なくなるように、第２の条件を設定してもよい。
【０２４０】
なお、フィルタデータは、スライスよりも小さいフィルタ設計用画像領域ごとに求めることも可能であり、より多くのフィルタデータセットを求めてビットストリーム内に含めてもよい。フィルタデータを不規則に与える場合、それを特定するためのフラグが必要となる場合がある。
【０２４１】
図２０Ａおよび図２０Ｂは、図１９Ａおよび図１９Ｂの処理動作にしたがって符号化された動画像信号を復号する処理動作の一例を示すフローチャートである。
【０２４２】
まず、エントロピー復号部１２９０は、ある単位のヘッダ（例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣにおけるＮＡＬユニット）を構文解析する（ステップＳ９１０）。インデックス生成部１４２０は、当該単位に新たなフィルタデータが含まれているか否かを判別する（ステップＳ９３０）。なお、上述の単位は、ＳＰＳ（シーケンスパラメータセット）またはＰＰＳ（ピクチャパラメータセット）のユニット、ヘッダにフィルタデータを含むスライス、ＳＥＩメッセージなどであってもよい。ここで、インデックス生成部１４２０は、新たなフィルタデータが含まれていると判別すると（ステップＳ９３０のｙｅｓ）、新たなフィルタデータごとに、そのフィルタデータに対してインデックスを生成して関連付け、フィルタデータとインデックスとの組み合わせをフィルタメモリ１４３０に格納する（ステップＳ９４０）。
【０２４３】
画像復号装置１２００は、上述の単位が、スライスデータを含むＶＣＬユニットであるか否かを判別する（ステップＳ９５０）。ここで、画像復号装置１２００は、スライスデータを含むＶＣＬユニットでないと判別すると（ステップＳ９５０のｎｏ）、符号化動画像信号に含まれる次の単位に対してステップＳ９１０からの処理を繰り返し実行する。一方、画像復号装置１２００は、スライスデータを含むＶＣＬユニットであると判別すると（ステップＳ９５０のｙｅｓ）、スライスの復号を開始する（ステップＳ９６０）。ステップＳ９６０の詳細については、図２０Ｂに示される。つまり、図１１に示すステップＳ５３１〜Ｓ５４０、または図１８に示すステップＳ７３１〜Ｓ７４０と同様の処理がステップＳ９６０で行われる。
【０２４４】
具体的には、エントロピー復号部１２９０は、対象スライスに含まれるブロック（マクロブロック）を取得する（ステップＳ９６１）。さらに、エントロピー復号部１２９０は、第１の成分フィルタのインデックスを復号し（ステップＳ９６２）、第２の成分フィルタのインデックスを復号する（ステップＳ９６３）。
【０２４５】
フィルタ選択部１４５０は、第１および第２の成分フィルタの復号されたインデックスを取得し、それらのインデックスに関連付けて格納されているフィルタデータをフィルタメモリ１４３０から検索する。そして、フィルタ設定部１４６０は、検索によって見つけた２つのフィルタデータ（フィルタ係数）をそれぞれ第１および第２の成分フィルタに設定する（ステップＳ９６４）。補間フィルタ部１２５０は、設定された第１および第２の成分フィルタを用いて、上述のブロックに対してフィルタリングを行う（ステップＳ９６５）。
【０２４６】
ここで、画像復号装置１２００は、フィルタリングされたブロックが対象スライスの終端にあるか否かを判別する（ステップＳ９６６）。画像復号装置１２００は、対象スライスの終端にないと判別すると（ステップＳ９６６のｎｏ）、対象スライスに含まれる次のブロックに対してステップＳ９６１からの処理を繰り返し実行する。一方、対象スライスの終端にあると判別されると（ステップＳ９６６のｙｅｓ）、画像復号装置１２００はその対象スライスに対する復号処理を終了する。
【０２４７】
次に、画像復号装置１２２０は、ステップＳ９６０で復号されたスライスが符号化動画像信号の終端にあるか否かを判別する（ステップＳ９８０）。ここで、画像復号装置１２２０は、終端にないと判別すると（ステップＳ９８０のｎｏ）、符号化動画像信号に含まれる次のスライスに対してステップＳ９１０からの処理を繰り返し実行する。一方、画像復号装置１２２０は、終端にあると判別すると（ステップＳ９８０のｙｅｓ）、符号化動画像信号の復号を終了する。
【０２４８】
なお、フレーム、スライス、またはシーケンスヘッダにおいて、いくつかの成分フィルタのフィルタデータを与えてもよい。単一、２つ、または他の数の成分フィルタのフィルタデータを与えてもよい。これを容易にするために、送信されるフィルタデータの数を示すためのシンタックス要素が必要となる。
【０２４９】
各フィルタデータを用いて、テーブル１０００内で記憶される位置を示してもよい。全てのフィルタデータをエンコーダで前もって予測し、シーケンスの冒頭に含めて送信する場合に、このことは有益である。つまり、多くのフィルタデータの候補が、最初のフレームに対して利用可能となる。インデックスＩ＿ｃｕｒ１およびＩ＿ｃｕｒ２の選択には、エンコーダ制御方法の１つとして、エンコーダでおこなわれるＲＤ最適化が含まれてもよい。
【０２５０】
フィルタデータの付与に関連する信号送信のオーバーヘッドを削減するために、既に送信済みの成分フィルタ（水平または垂直成分フィルタ）のフィルタデータの１つを用いて、対応するインデックスを付与してもよい。残りの成分フィルタに対し、フィルタデータが符号化され、対象スライスと共に送信される。よって、各成分フィルタのフィルタデータは、２つのスライスにつき一度送信される。各スライスにおいて、垂直または水平成分のフィルタデータが与えられる。一方で、他の成分のフィルタデータは、インデックスを手段として用いて信号送信される。
【０２５１】
通常、自然の動画像シーケンスにおいては、水平方向の動きは垂直方向の動きよりも変化が大きい。したがって、本発明では、第１の成分フィルタのフィルタデータを選択するために、第１の成分フィルタのフィルタデータに対して独立したインデックスが与えられ、第２の成分フィルタのフィルタデータを選択するために、第２の成分フィルタのフィルタデータに対して独立したインデックスが与えられる。これにより、垂直方向と水平方向とで異なるフィルタリング精度にスケーリングすることが、さらに可能になる。例えば、垂直成分フィルタのフィルタデータよりも多い情報を水平成分フィルタのフィルタデータに与えてもよい。特に、この選択のために、垂直成分フィルタよりも多いフィルタデータを水平成分フィルタに与えてもよい。その場合、垂直および水平成分フィルタに対して、別々の異なるサイズのテーブルを生成することになる。さらに、垂直および水平成分フィルタは、異なる次数であってもよい。通常、テーブル１０００は、異なる次数のフィルタデータを記憶してもよい。第１の成分フィルタと第２の成分フィルタとを区別することにより、フィルタ係数を記憶するためのエンコーダおよびデコーダ内のメモリに要求される条件が削減される場合があり、符号化効率が増加する（垂直成分に対し、より少ないインデックスが選択される）。
【０２５２】
上述の送信されるビット数を削減するための手法は、個別に、または、特に、２つまたは全ての手法を組み合わせて適用可能である。 さらに、これらのビット数削減に関する手法は、本発明の上述の各実施の形態において採用可能である。
【０２５３】
また、上記実施の形態では、フィルタ設計部１１１０は、入力信号と復号信号に基づいてフィルタデータ（フィルタ係数）を算出したが、予測信号、予測誤差信号、または再構築信号などの他の信号を用いても良く、より多くの信号を用いてもよい。そのような手法によれば、フィルタリング性能は改善する。
【０２５４】
また、上記実施の形態では、補間フィルタのフィルタデータおよびインデックスについて説明したが、本発明はこれに限られず、ポストフィルタや、デブロッキングフィルタや、他のループフィルタ、他の補間フィルタなどの画像フィルタに対しても、同様に採用されてもよい。
【０２５５】
図２１は、補間フィルタ部１１５０，１２５０によって行われる補間フィルタリングの原理を示す図である。補間フィルタ部１１５０，１２５０は、整数画素位置に基づき、当該整数画素位置に補間フィルタを適用することにより、１／２画素位置の画素値を求める。例えば、１／２画素位置１５０１の画素値は、整数画素位置Ａ１〜Ａ６に対して水平成分フィルタを適用することにより得られる。同様に、１／２画素位置１５０１と同じ列の１／２画素位置も補間される。補間フィルタ部１１５０，１２５０は、垂直成分フィルタの適用によって、小数画素位置１５０１の画素値から、小数画素位置１５０１と同様の他の小数画素位置１５１０の画素値を求めてもよい。このように、全ての欠けた小数画素位置が補間される。
【０２５６】
補間フィルタリングの品質を改善するために、小数画素位置（１５０１などの）ごとのフィルタ係数を、個々の成分フィルタとして追加的に補間してもよい。これらの成分フィルタのそれぞれに対し、対応するインデックスを付与してもよい。よって、ブロックごとに信号送信される各成分フィルタのインデックスは、各小数画素位置につき１つとして、複数の成分フィルタのインデックスを含む。インデックスの符号化／復号を、上述の方法と同様の方法でおこなってもよい。異なる小数画素をフィルタリングするためのフィルタは、大きく異なっていてもよく、異なる小数画素位置に対しては別々のフィルタテーブルおよび符号語表を与えるほうが有利な場合がある。
【０２５７】
図２２は、本実施の形態におけるシステムを示す図である。
【０２５８】
画像符号化装置１１００は、画像復号装置１２００に符号化動画像信号を送信する。つまり、入力信号は、画像符号化装置１１００によって符号化され、チャネル１６０２へ出力される。チャネル１６０２は、記録媒体または任意の伝送チャネルである。記録媒体は、例えば、任意の揮発性または不揮発性のメモリ、任意の磁気または光学媒体、大容量記録媒体などであってもよい。伝送チャネルは、ｘＤＳＬ、ＩＳＤＮ、ＷＬＡＮ、ＧＰＲＳ、ＵＭＴＳ、インターネットまたは他の標準化または特許取得済みシステムなどの、伝送システム、無線または有線、固定または移動可能な任意の物理的リソースによって形成されてもよい。画像符号化装置１１００は、フォーマット変換などの入力信号に対する前処理、および／または、チャネル１６０２を経由して符号化動画像信号を送信するためのトランスミッタや、符号化動画像信号を記録媒体へ転送するためのアプリケーションなどを含んでもよい。符号化動画像信号は、その後、画像復号装置１２００によってチャネル１６０２から取得される。画像復号装置１２００は、符号化動画像信号を復号する。画像復号装置１２００は、チャネル１６０２から符号化動画像信号を受信するレシーバや、記録媒体から符号化動画像信号を抽出するためのアプリケーション、および／または、フォーマット変換のような、出力信号（復号動画像信号）の事後処理のための事後処理手段を備えてもよい。
【０２５９】
本発明に係る画像符号化方法、画像復号化方法およびそれらの装置について、上記実施の形態を用いて説明したが、本発明は、図４、図５、図７および図８に示す構成、ならびに、図１０、図１１および図１７〜図２０Ｂに示す処理動作に限定されるものではない。例えば、図２３Ａ〜図２４Ｂに示す処理動作および構成も本発明に含まれる。
【０２６０】
図２３Ａは、本発明に係る画像符号化方法の処理動作を示すフローチャートである。
【０２６１】
動画像信号を符号化することによってビットストリームである符号化動画像信号を生成する画像符号化方法は、前記動画像信号によって示されるフィルタ適用画像領域に適用すべき、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれのフィルタデータを、メモリに格納されている少なくとも１つのフィルタデータの中から、適用フィルタデータとして選択するフィルタデータ選択ステップＳ１０と、前記１次元成分フィルタごとに、選択された前記適用フィルタデータに関連付けて前記メモリに格納されているインデックスを適用インデックスとして取得するインデックス取得ステップＳ１１と、前記フィルタデータ選択ステップＳ１０で選択された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を符号化する符号化ステップＳ１２と、前記インデックス取得ステップＳ１１で取得された２つの前記適用インデックスを、前記符号化動画像信号内の符号化された前記フィルタ適用画像領域に付加するインデックス付加ステップＳ１３と、前記動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域に基づいて、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして特定するフィルタデータ特定ステップＳ２０と、前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当ステップＳ２１と、前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理ステップＳ２２と、前記フィルタデータ特定ステップＳ２０で特定された２つの前記設計フィルタデータを、前記符号化動画像信号内の符号化された前記フィルタ設計用画像領域に付加するフィルタデータ付加ステップＳ２３とを含む。
【０２６２】
なお、上述の画像符号化方法は、第１のフェーズと第２のフェーズとからなり、第１のフェーズはステップＳ１０〜Ｓ１３からなり、第２のフェーズはステップＳ２０〜Ｓ２３からなる。第１のフェーズが実行された後に、第２のフェーズが実行されてもよく、逆に、第２のフェーズが実行された後に、第１のフェーズが実行されてもよい。また、第２のフェーズは必ずしも実行されなくてもよい。
【０２６３】
第１のフェーズにおいて、上述のフィルタデータ選択ステップＳ１０、インデックス取得ステップＳ１１およびインデックス付加ステップＳ１３は、図１０のステップＳ４１２およびＳ４１３に相当し、図１７のステップＳ６４２およびＳ６４３に相当し、図１９ＢのステップＳ８２２およびＳ８２３に相当する。この図１０、図１７および図１９Ｂの上記各ステップで選択されるフィルタデータは適用フィルタデータであり、上記各ステップで決定されるインデックスは適用インデックスである。また、上述の符号化ステップＳ１２は、図１０のステップＳ４１５、図１７のステップＳ６４５、および図１９ＢのステップＳ８２５に相当する。
【０２６４】
第２のフェーズにおいて、上述のフィルタデータ特定ステップＳ２０は、図１０のステップＳ４３０、図１７のステップＳ６２０、および図１９ＡのステップＳ８４０に相当する。この図１０、図１７および図１９Ａの上記各ステップで算出されるフィルタデータは設計フィルタデータである。上述のインデックス割当ステップＳ２１および格納処理ステップＳ２２は、図１０のステップＳ４４０、図１７のステップＳ６３０、および図１９ＡのステップＳ８６０に相当する。この図１０、図１７および図１９Ａの上記各ステップで割り当てられる（関連付けられる）インデックスは設計インデックスである。さらに、上述のフィルタデータ付加ステップＳ２３は、図１０のステップＳ４５０、図１７のステップＳ６６０、および図１９ＡのステップＳ８７０に相当する。
【０２６５】
また、フィルタ設計用画像領域は代表的にはスライスであり、フィルタ適用画像領域は代表的にはマクロブロックまたはブロックである。なお、図１９Ａ〜図２０Ｂに示す処理動作の場合には、フィルタ設計用画像領域は、複数のスライスからなり、例えば、図１９ＡのステップＳ８６０でフィルタメモリ１３３０が更新されてから次に更新されるまでに処理された複数のスライスからなる。
【０２６６】
図２３Ｂは、本発明に係る画像符号化装置のブロック図である。
【０２６７】
動画像信号を符号化することによってビットストリームである符号化動画像信号を生成する画像符号化装置１０は、前記動画像信号によって示されるフィルタ適用画像領域に適用すべき、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれのフィルタデータを、メモリに格納されている少なくとも１つのフィルタデータの中から、適用フィルタデータとして選択するフィルタデータ選択部１１と、前記１次元成分フィルタごとに、選択された前記適用フィルタデータに関連付けて前記メモリに格納されているインデックスを適用インデックスとして取得するインデックス取得部１２と、前記フィルタデータ選択部１１によって選択された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を符号化する符号化部１３と、前記インデックス取得部１２によって取得された２つの前記適用インデックスを、前記符号化動画像信号内の符号化された前記フィルタ適用画像領域に付加するインデックス付加部１４と、前記動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域に基づいて、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして特定するフィルタデータ特定部１５と、前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当部１６と、前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理部１７と、前記フィルタデータ特定部１５で特定された２つの前記設計フィルタデータを、前記符号化動画像信号内の符号化された前記フィルタ設計用画像領域に付加するフィルタデータ付加部１８とを備える。
【０２６８】
上述のフィルタデータ選択部１１、インデックス取得部１２、符号化部１３およびインデックス付加部１４は、図２３Ａに示す第１のフェーズを実行する。また、フィルタデータ特定部１５、インデックス割当部１６、格納処理部１７およびフィルタデータ付加部１８は、図２３Ａに示す第２のフェーズを実行し、本発明を実施する上で必須の構成要素ではない。
【０２６９】
また、上述のフィルタデータ選択部１１およびインデックス取得部１２は、図５に示すフィルタ選択部１３５０に相当する。上述の符号化部１３は、図４に示す補間フィルタ部１１５０、減算器１０５、および変換／量子化部１１０などに相当する。上述のインデックス付加部１４は、図５に示すフィルタ選択部１３５０および図４に示すエントロピー符号化部１１９０に相当する。
【０２７０】
また、上述のフィルタデータ特定部１５は、図５に示すフィルタ算出部１３１０に相当する。上述のインデックス割当部１６および格納処理部１７は、図５に示すインデックス生成部１３２０に相当する。上述のフィルタデータ付加部１８は、図５に示すフィルタ算出部１３１０および図４に示すエントロピー符号化部１１９０に相当する。
【０２７１】
このように、本発明に係る画像符号化方法およびその装置では、上述の第１のフェーズが実行される。したがって、フィルタ適用画像領域（例えば、マクロブロックやブロックなど）に適用すべき適用フィルタデータが選択され、その適用フィルタデータを用いてフィルタ適用画像領域がフィルタリングされて符号化されるため、動画像信号に複数のフィルタ適用画像領域があれば、それらのフィルタ適用画像領域のそれぞれに適切なフィルタリングを行うことができる。その結果、動画像のフィルタリングの品質を向上することができ、適用フィルタデータのデータ量が多いほど、品質を向上することができる。また、この画像符号化方法では、メモリに格納されているフィルタデータのデータ量が多い場合であっても、そのフィルタデータに関連付けてメモリに格納されているインデックスのデータ量を小さくすることができる。したがって、この画像符号化方法では、選択された適用フィルタデータを識別するための適用インデックスが、適用フィルタデータの代わりに符号化動画像信号に付加されるため、その符号化動画像信号を送信するための伝送帯域の増加を抑えることができる。
【０２７２】
さらに、この画像符号化方法では、適用フィルタデータの選択、適用インデックスの取得、およびフィルタデータとインデックスとの関連付けが、２次元分離可能フィルタを構成する２種類の１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）のそれぞれに対して行われる。したがって、フィルタ適用画像領域に対して１次元成分フィルタごとに適切な適用フィルタデータを選択することができ、フィルタリングの品質をさらに向上することができる。
【０２７３】
また、本発明に係る画像符号化方法およびその装置では、上述の第２のフェーズを実行してもよい。この場合、上述のフィルタ適用画像領域を含むフィルタ設計用画像領域（例えば、スライスやフレームなど）に基づいて設計フィルタデータが特定され、その設計フィルタデータと、その設計フィルタデータを識別するためのインデックスとが関連付けられてメモリに格納される。したがって、フィルタ適用画像領域に対して適用フィルタデータを選択するときには、そのフィルタ適用画像領域を含むフィルタ設計用画像領域に対して特定された設計フィルタデータを適用フィルタデータとして選択することができる。また、そのフィルタ設計用画像領域と異なる、過去に処理されたフィルタ設計用画像領域に対して特定された設計フィルタデータを適用フィルタデータとして選択することができる。その結果、フィルタ設計用画像領域が処理されるごとに、選択される適用フィルタデータの候補を増やすことができ、フィルタ適用画像領域に対して適切な適用フィルタデータを選択することができ、フィルタリングの品質をさらに向上することができる。
【０２７４】
さらに、この画像符号化方法では、特定された設計フィルタデータに対して設計インデックスが割り当てられ、その設計フィルタデータと設計インデックスとが関連付けられてメモリに格納されるとともに、その設計フィルタデータが符号化動画像信号（例えば、スライスヘッダなど）に付加される。したがって、画像復号装置では、その符号化動画像信号から設計フィルタデータを取得することができる。また、画像復号装置は、画像符号化装置における設計インデックスの割り当て規則と同じ規則にしたがって、その取得した設計フィルタデータに設計インデックスを割り当て、その設計フィルタデータと設計インデックスとをメモリに格納しておけば、画像復号装置のメモリの内容を、画像符号化装置のメモリの内容に一致させて管理することができる。その結果、画像復号装置は、符号化動画像信号に付加された適用インデックスに対応する適切な適用フィルタデータをそのメモリの中から選択することができ、その適用フィルタデータを用いてフィルタ適用画像領域に対して適切なフィルタリングを行うことができる。その結果、フィルタリングの品質を向上して符号化動画像信号を適切に復号することができる。
【０２７５】
さらに、この画像符号化方法では、設計フィルタデータの特定、設計インデックスの割り当て、およびフィルタデータとインデックスとの関連付けが、２次元分離可能フィルタを構成する２種類の１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）のそれぞれに対して行われる。ここで、例えば、フィルタ設計用画像領域ごとに、２次元フィルタのフィルタデータを特定する場合、つまり、２種類の１次元成分フィルタの２つの設計フィルタデータを纏めて特定するような場合には、その２つの設計フィルタデータの組み合わせごとに、その組み合わせとインデックスとがメモリに格納され、その組み合わせの数だけメモリに格納されるデータの量が多くなる。しかし、この画像符号化方法では、１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）ごとに、設計フィルタデータと設計インデックスとが関連付けられてメモリに格納されるため、その組み合わせに関わらず、メモリに格納されるデータの量を抑えることができる。
【０２７６】
図２４Ａは、本発明に係る画像復号方法の処理動作を示すフローチャートである。
【０２７７】
ビットストリームである符号化動画像信号を復号する画像復号方法は、前記符号化動画像信号によって示されるフィルタ適用画像領域から、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれに対するインデックスを、適用インデックスとして抽出するインデックス抽出ステップＳ３０と、メモリに格納された少なくとも１つのフィルタデータの中から、前記インデックス抽出ステップＳ３０で抽出された２つの前記適用インデックスに関連付けて格納されている、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを、適用フィルタデータとして取得するフィルタデータ取得ステップＳ３１と、前記フィルタデータ取得ステップＳ３１で取得された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を復号する復号ステップＳ３２と、前記符号化動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域から、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして抽出するフィルタデータ抽出ステップＳ４０と、前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当ステップＳ４１と、前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理ステップＳ４２とを含む。
【０２７８】
なお、上述の画像復号方法は、図２３Ａに示す画像符号化方法と同様、第１のフェーズと第２のフェーズとからなり、第１のフェーズはステップＳ３０〜Ｓ３２からなり、第２のフェーズはステップＳ４０〜Ｓ４２からなる。第１のフェーズが実行された後に、第２のフェーズが実行されてもよく、逆に、第２のフェーズが実行された後に、第１のフェーズが実行されてもよい。また、第２のフェーズは必ずしも実行されなくてもよい。
【０２７９】
第１のフェーズにおいて、上述のインデックス抽出ステップＳ３０は、図１１に示すステップＳ５３２およびＳ５３３に相当し、図１８に示すステップＳ７３２およびＳ７３３に相当し、図２０Ｂに示すステップＳ９６２およびＳ９６３に相当する。この図１１、図１８および図２０Ｂの上記各ステップで復号される（抽出される）インデックスは適用インデックスである。上述のフィルタデータ取得ステップＳ３１は、図１１に示すステップＳ５３４、図１８に示すステップＳ７３４、および図２０Ｂに示すステップＳ９６４に相当する。この図１１、図１８および図２０Ｂの上記各ステップで検索される（取得される）フィルタデータは適用フィルタデータである。さらに、上述の復号ステップＳ３２は、図１１に示すステップＳ５３５、図１８に示すステップＳ７３５、および図２０Ｂに示すステップＳ９６５に相当する。
【０２８０】
第２のフェーズにおいて、上述のフィルタデータ抽出ステップＳ４０は、図１１に示すステップＳ５２０、図１８に示すステップＳ７２０、および図２０Ａに示すステップＳ９４０に相当する。さらに、上述のインデックス割当ステップＳ４１および格納処理ステップＳ４２は、図１１に示すステップＳ５５０、図１８に示すステップＳ７２０、および図２０Ａに示すステップＳ９４０に相当する。この図１１、図１８および図２０Ｂの上記各ステップで格納されるフィルタデータおよびインデックスは、それぞれ設計フィルタデータおよび設計インデックスである。
【０２８１】
図２４Ｂは、本発明に係る画像復号装置のブロック図である。
【０２８２】
ビットストリームである符号化動画像信号を復号する画像復号装置２０は、前記符号化動画像信号によって示されるフィルタ適用画像領域から、２次元分離可能フィルタを構成する２種類の１次元成分フィルタのそれぞれに対するインデックスを、適用インデックスとして抽出するインデックス抽出部２１と、メモリに格納された少なくとも１つのフィルタデータの中から、前記インデックス抽出部２１によって抽出された２つの前記適用インデックスに関連付けて格納されている、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを、適用フィルタデータとして取得するフィルタデータ取得部２２と、前記フィルタデータ取得部２２によって取得された２つの前記適用フィルタデータを用いた前記２種類の１次元成分フィルタを前記フィルタ適用画像領域に適用して当該フィルタ適用画像領域を復号する復号部２３と、前記符号化動画像信号によって示される、前記フィルタ適用画像領域を含むフィルタ設計用画像領域から、前記２種類の１次元成分フィルタのそれぞれのフィルタデータを設計フィルタデータとして抽出するフィルタデータ抽出部２４と、前記１次元成分フィルタごとに、前記設計フィルタデータに対して、当該設計フィルタデータを識別するためのインデックスを設計インデックスとして割り当てるインデックス割当部２５と、前記１次元成分フィルタごとに、前記設計フィルタデータと、当該設計フィルタデータに割り当てられた前記設計インデックスとを関連付けて前記メモリに格納する格納処理部２６とを備える。
【０２８３】
上述のインデックス抽出部２１、フィルタデータ取得部２２および復号部２３は、図２４Ａに示す第１のフェーズを実行する。また、フィルタデータ抽出部２４、インデックス割当部２５および格納処理部２６は、図２４Ａに示す第２のフェーズを実行し、本発明を実施する上で必須の構成要素ではない。
【０２８４】
また、上述のインデックス抽出部２１およびフィルタデータ取得部２２は、図７に示すエントロピー復号部１２９０および図８に示すフィルタ選択部１４５０に相当する。上述の復号部２３は、図７に示す補間フィルタ部１２５０、加算器２２５、および逆量子化／逆変換部２２０などに相当する。
【０２８５】
また、上述のフィルタデータ抽出部２４およびインデックス割当部２５は、図７に示すエントロピー復号部１２９０および図８に示すインデックス生成部１４２に相当する。上述の格納処理部２６は、図８に示すインデックス生成部１４２０に相当する。
【０２８６】
このように、本発明に係る画像復号方法およびその装置では、上述の第１のフェーズが実行される。したがって、フィルタ適用画像領域から適用インデックスが抽出され、その適用インデックスに関連付けてメモリに格納されている適用フィルタデータが取得され、その適用フィルタデータを用いてフィルタ適用画像領域がフィルタリングされて復号化されるため、符号化動画像信号に複数のフィルタ適用画像領域があれば、それらのフィルタ適用画像領域のそれぞれに適切なフィルタリングを行うことができる。その結果、動画像のフィルタリングの品質を向上することができ、適用フィルタデータのデータ量が多いほど、品質を向上することができる。
【０２８７】
さらに、この画像復号方法では、適用インデックスの抽出、適用フィルタデータの取得、およびフィルタデータとインデックスとの関連付けが、２次元分離可能フィルタを構成する２種類の１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）のそれぞれに対して行われる。したがって、フィルタ適用画像領域に対して１次元成分フィルタごとに適切な適用フィルタデータを取得することができ、フィルタリングの品質をさらに向上することができる。
【０２８８】
また、本発明に係る画像復号方法およびその装置では、上述の第２のフェーズを実行してもよい。この場合、フィルタ設計用画像領域から設計フィルタデータが抽出され、その設計フィルタデータと、その設計フィルタデータを識別するための設計インデックスとが関連付けられてメモリに格納される。したがって、フィルタ適用画像領域に対する適用フィルタデータを取得するときには、そのフィルタ適用画像領域を含むフィルタ設計用画像領域から抽出された設計フィルタデータを適用フィルタデータとして取得することができる。また、そのフィルタ設計用画像領域と異なる、過去に処理されたフィルタ設計用画像領域から抽出された設計フィルタデータを適用フィルタデータとして取得することができる。その結果、フィルタ設計用画像領域が処理されるごとに、取得される適用フィルタデータの候補を増やすことができ、フィルタ適用画像領域に対して適切な適用フィルタデータを取得することができ、フィルタリングの品質をさらに向上することができる。
【０２８９】
さらに、この画像復号方法では、抽出された設計フィルタデータに対して設計インデックスが割り当てられ、その設計フィルタデータと設計インデックスとが関連付けられてメモリに格納される。したがって、画像復号装置では、画像符号化装置における設計インデックスの割り当て規則と同じ規則にしたがって、その抽出した設計フィルタデータに設計インデックスを割り当て、その設計フィルタデータと設計インデックスとをメモリに格納しておけば、画像復号装置のメモリの内容を、画像符号化装置のメモリの内容に一致させて管理することができる。その結果、符号化動画像信号に付加された適用インデックスに対応する適切な適用フィルタデータをそのメモリの中から選択することができ、その適用フィルタデータを用いてフィルタ適用画像領域に対して適切なフィルタリングを行うことができる。その結果、フィルタリングの品質を向上して符号化動画像信号を適切に復号することができる。
【０２９０】
さらに、この画像復号方法では、設計フィルタデータの抽出、設計インデックスの割り当て、およびフィルタデータとインデックスとの関連付けが、２次元分離可能フィルタを構成する２種類の１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）のそれぞれに対して行われる。ここで、例えば、フィルタ設計用画像領域ごとに、２次元フィルタのフィルタデータを抽出する場合、つまり、２種類の１次元成分フィルタの２つの設計フィルタデータを纏めて抽出するような場合には、その２つの設計フィルタデータの組み合わせごとに、その組み合わせとインデックスとがメモリに格納され、その組み合わせの数だけメモリに格納されるデータの量が多くなる。しかし、この画像復号方法では、１次元成分フィルタ（例えば水平成分フィルタおよび垂直成分フィルタ）ごとに、設計フィルタデータと設計インデックスとが関連付けられてメモリに格納されるため、その組み合わせに関わらず、メモリに格納されるデータの量を抑えることができる。
【０２９１】
また、上記実施の形態では、本発明を補間フィルタに適用したが、他のフィルタに適用してもよい。
【０２９２】
図２５は、本発明に係る適応的ポストフィルタに関する画像符号化装置を示すブロック図である。この画像符号化装置１１００Ａは、減算器１０５、変換／量子化部１１０、逆量子化／逆変換部１２０、加算器１２５、デブロッキングフィルタ部１３０、メモリ１４０、補間フィルタ部１５０、動き補償予測部１６０、動き検出部１６５、画面内予測部１７０、イントラ／インタースイッチ１７５、ポストフィルタ設計部１１１０Ａ、およびエントロピー符号化部１１９０Ａを備える。なお、この図２５に示す構成要素のうち、図１および図４に示す構成要素と同一のものについては、図１および図４に示す参照符号と同一の参照符号を付し、詳細な説明を省略する。この画像符号化装置１１００Ａでは、本発明に係る図５に示すフィルタ設計部１１１０の機能および構成がポストフィルタ設計部１１１０Ａに適用されている。
【０２９３】
ポストフィルタ設計部１１１０Ａは、入力信号および復号信号を取得して、これらの信号に基づいてポストフィルタ情報をフィルタデータ（分離可能適応的ポストフィルタのフィルタ係数）として決定（生成または取得）し、そのフィルタデータ、インデックスおよび予測フラグをエントロピー符号化部１１９０Ａに出力する。エントロピー符号化部１１９０Ａは、量子化係数と、動きデータと、ポストフィルタ設計部１１１０Ａから出力されたフィルタデータ、インデックスおよび予測フラグとを取得して、それらをエントロピー符号化することによって、符号化動画像信号を生成して出力する。
【０２９４】
ポストフィルタ設計部１１１０Ａは、入力信号および復号信号以外の他のより多くの信号をフィルタデータの決定に使ってもよい。例えば、予測信号、予測誤差信号および再構成信号を使っても良い。また、これらの信号をそれぞれ個別にフィルタリングするためのフィルタデータを生成してもよい。これにより、フィルタリングの性能をより向上することができる。
【０２９５】
図２６は、本発明に係る適応的ポストフィルタに関する画像復号装置を示すブロック図である。この画像復号装置１２００Ａは、図２５に示す画像符号化装置１１００Ａに対応し、画像符号化装置１１００Ａから出力された出力信号である符号化動画像信号を入力信号として取得し、その入力信号を復号する。この画像復号装置１２００Ａは、エントロピー復号部１２９０Ａ、逆量子化／逆変換部２２０、加算器２２５、デブロッキングフィルタ部２３０、メモリ２４０、補間フィルタ部２５０、画面内予測部２７０、イントラ／インタースイッチ２７５、動き補償予測部２６０、ポストフィルタ部２８０Ａおよびポストフィルタ設計部１２１０Ａを備える。なお、この図２６に示す構成要素のうち、図２および図７に示す構成要素と同一のものについては、図２および図７に示す参照符号と同一の参照符号を付し、詳細な説明を省略する。この画像復号装置１２００Ａでは、本発明に係る図８に示すフィルタ設計部１２１０の機能および構成がポストフィルタ設計部１２１０Ａに適用されている。
【０２９６】
エントロピー復号部１２９０Ａは、入力信号である符号化動画像信号に対してエントロピー復号（例えば、算術復号）を行うことにより、動きデータおよび量子化係数をそれぞれ、動き補償予測部２６０および逆量子化／逆変換部２２０に出力する。さらに、エントロピー復号部１２９０Ａは、そのエントロピー復号を行うことにより、上述の予測フラグとインデックスとフィルデータとを符号化動画像信号から抽出し、ポストフィルタ設計部１２１０Ａに出力する。
【０２９７】
ポストフィルタ設計部１２１０Ａは、エントロピー復号部１２９０Ａからフィルタデータ、インデックスおよび予測フラグを取得し、そのインデックスまたは予測フラグに対応するフィルタ係数をポストフィルタ部２８０Ａに出力する。ポストフィルタ部２８０Ａは、ポストフィルタ設計部１２１０Ａからフィルタ係数を取得し、そのフィルタ係数に基づいて、復号信号に対してポストフィルタ（適応的ポストフィルタ）を適用する。その結果、ポストフィルタ部２８０Ａは、ポストフィルタが適用された復号信号を出力信号として出力する。
【０２９８】
このような図２５および図２６に示す画像符号化装置１１００Ａおよび画像復号装置１２００Ａによって、ポストフィルタの効率を向上することができる。
【０２９９】
図２７は、本発明に係る適応的インループフィルタに関する画像符号化装置を示すブロック図である。この画像符号化装置１１００Ｂは、減算器１０５、変換／量子化部１１０、逆量子化／逆変換部１２０、加算器１２５、デブロッキングフィルタ部１３０、メモリ１４０、補間フィルタ部１５０、動き補償予測部１６０、動き検出部１６５、画面内予測部１７０、イントラ／インタースイッチ１７５、インループフィルタ部１１２０Ｂ、インループフィルタ設計部１１１０Ｂ、およびエントロピー符号化部１１９０Ｂを備える。なお、この図２７に示す構成要素のうち、図１および図４に示す構成要素と同一のものについては、図１および図４に示す参照符号と同一の参照符号を付し、詳細な説明を省略する。この画像符号化装置１１００Ｂでは、本発明に係る図５に示すフィルタ設計部１１１０の機能および構成がインループフィルタ設計部１１１０Ｂに適用されている。
【０３００】
インループフィルタ設計部１１１０Ｂは、入力信号および復号信号を取得して、これらの信号に基づいてフィルタデータ（分離可能適応的インループフィルタのフィルタ係数）を決定（生成または取得）し、そのフィルタデータ、インデックスおよび予測フラグをエントロピー符号化部１１９０Ｂに出力する。エントロピー符号化部１１９０Ｂは、量子化係数と、動きデータと、インループフィルタ設計部１１１０Ｂから出力されたフィルタデータ、インデックスおよび予測フラグとを取得して、それらをエントロピー符号化することによって、符号化動画像信号を生成して出力する。さらに、インループフィルタ設計部１１１０Ｂは、上述のインデックスまたは予測フラグに対応するフィルタ係数をインループフィルタ部１１２０Ｂに出力する。インループフィルタ部１１２０Ｂは、インループフィルタ設計部１１１０Ｂからフィルタ係数を取得し、そのフィルタ係数に基づいて、復号信号に対してインループフィルタを適用する。
【０３０１】
インループフィルタ設計部１１１０Ｂは、入力信号および復号信号以外の他のより多くの信号をフィルタデータの決定に使っても良い。例えば、予測信号、予測誤差信号および再構成信号を使っても良い。また、これらの信号をそれぞれ個別にフィルタリングするためのフィルタデータを生成してもよい。これにより、フィルタリングの性能をより向上することができる。
【０３０２】
図２８は、本発明に係る適応的インループフィルタに関する画像復号装置を示すブロック図である。この画像復号装置１２００Ｂは、図２７に示す画像符号化装置１１００Ｂに対応し、画像符号化装置１１００Ｂから出力された出力信号である符号化動画像信号を入力信号として取得し、その入力信号を復号する。この画像復号装置１２００Ｂは、エントロピー復号部１２９０Ｂ、逆量子化／逆変換部２２０、加算器２２５、デブロッキングフィルタ部２３０、メモリ２４０、補間フィルタ部２５０、画面内予測部２７０、イントラ／インタースイッチ２７５、動き補償予測部２６０、インループフィルタ部２８０Ｂおよびインループフィルタ設計部１２１０Ｂを備える。なお、この図２８に示す構成要素のうち、図２および図７に示す構成要素と同一のものについては、図２および図７に示す参照符号と同一の参照符号を付し、詳細な説明を省略する。この画像復号装置１２００Ｂでは、本発明に係る図８に示すフィルタ設計部１２１０の機能および構成がインループフィルタ設計部１２１０Ｂに適用されている。
【０３０３】
エントロピー復号部１２９０Ｂは、入力信号である符号化動画像信号に対してエントロピー復号（例えば、算術復号）を行うことにより、動きデータおよび量子化係数をそれぞれ、動き補償予測部２６０および逆量子化／逆変換部２２０に出力する。さらに、エントロピー復号部１２９０Ｂは、そのエントロピー復号を行うことにより、上述の予測フラグとインデックスとフィルデータとを符号化動画像信号から抽出し、インループフィルタ設計部１２１０Ｂに出力する。
【０３０４】
インループフィルタ設計部１２１０Ｂは、エントロピー復号部１２９０Ｂからフィルタデータ、インデックスおよび予測フラグを取得し、そのインデックスまたは予測フラグに対応するフィルタ係数をインループフィルタ部２８０Ｂに出力する。インループフィルタ部２８０Ｂは、インループフィルタ設計部１２１０Ｂからフィルタ係数を取得し、そのフィルタ係数に基づいて、復号信号に対してインループフィルタ（適応的インループフィルタ）を適用する。その結果、インループフィルタ部２８０Ｂは、インループフィルタが適用された復号信号を出力信号として出力する。
【０３０５】
このような図２７および図２８に示す画像符号化装置１１００Ｂおよび画像復号装置１２００Ｂによって、インループフィルタの効率を向上することができる。
【０３０６】
図２９は、本発明に係る他の適応的インループフィルタに関する画像符号化装置を示すブロック図である。この画像符号化装置１１００Ｃは、減算器１０５、変換／量子化部１１０、逆量子化／逆変換部１２０、加算器１２５、デブロッキングフィルタ部１３０、メモリ１４０、補間フィルタ部１５０、動き補償予測部１６０、動き検出部１６５、画面内予測部１７０、イントラ／インタースイッチ１７５、インループフィルタ部１１２０Ｃ、インループフィルタ設計部１１１０Ｃ、およびエントロピー符号化部１１９０Ｃを備える。なお、この図２９に示す構成要素のうち、図１および図４に示す構成要素と同一のものについては、図１および図４に示す参照符号と同一の参照符号を付し、詳細な説明を省略する。この画像符号化装置１１００Ｃでは、本発明に係る図５に示すフィルタ設計部１１１０の機能および構成がインループフィルタ設計部１１１０Ｃに適用されている。
【０３０７】
インループフィルタ設計部１１１０Ｃは、入力信号と、量子化予測誤差信号、予測信号および復号信号とを取得して、これらの信号に基づいてフィルタデータ（分離可能適応的インループフィルタのフィルタ係数）を決定（生成または取得）し、そのフィルタデータ、インデックスおよび予測フラグをエントロピー符号化部１１９０Ｃに出力する。エントロピー符号化部１１９０Ｃは、量子化係数と、動きデータと、インループフィルタ設計部１１１０Ｃから出力されたフィルタデータ、インデックスおよび予測フラグとを取得して、それらをエントロピー符号化することによって、符号化動画像信号を生成して出力する。さらに、インループフィルタ設計部１１１０Ｃは、上述のインデックスまたは予測フラグに対応するフィルタ係数をインループフィルタ部１１２０Ｃに出力する。インループフィルタ部１１２０Ｃは、量子化予測誤差信号、予測信号および復号信号を取得するとともに、インループフィルタ設計部１１１０Ｂから出力されたフィルタ係数を取得する。そして、インループフィルタ部１１２０Ｃは、そのフィルタ係数に基づいて、量子化予測誤差信号、予測信号および復号信号に対してインループフィルタを適用する。
【０３０８】
インループフィルタ設計部１１１０Ｃは、入力信号および復号信号以外の他のより多くの信号をフィルタデータの決定に使っても良い。また、量子化予測誤差信号、予測信号および復号信号をそれぞれ個別にフィルタリングするためのフィルタデータを生成してもよい。これにより、フィルタリングの性能をより向上することができる。
【０３０９】
図３０は、本発明に係る他の適応的インループフィルタに関する画像復号装置を示すブロック図である。この画像復号装置１２００Ｃは、図２９に示す画像符号化装置１１００Ｃに対応し、画像符号化装置１１００Ｃから出力された出力信号である符号化動画像信号を入力信号として取得し、その入力信号を復号する。この画像復号装置１２００Ｃは、エントロピー復号部１２９０Ｃ、逆量子化／逆変換部２２０、加算器２２５、デブロッキングフィルタ部２３０、メモリ２４０、補間フィルタ部２５０、画面内予測部２７０、イントラ／インタースイッチ２７５、動き補償予測部２６０、インループフィルタ部２８０Ｃおよびインループフィルタ設計部１２１０Ｃを備える。なお、この図３０に示す構成要素のうち、図２および図７に示す構成要素と同一のものについては、図２および図７に示す参照符号と同一の参照符号を付し、詳細な説明を省略する。この画像復号装置１２００Ｃでは、本発明に係る図８に示すフィルタ設計部１２１０の機能および構成がインループフィルタ設計部１２１０Ｃに適用されている。
【０３１０】
エントロピー復号部１２９０Ｃは、入力信号である符号化動画像信号に対してエントロピー復号（例えば、算術復号）を行うことにより、動きデータおよび量子化係数をそれぞれ、動き補償予測部２６０および逆量子化／逆変換部２２０に出力する。さらに、エントロピー復号部１２９０Ｃは、そのエントロピー復号を行うことにより、上述の予測フラグとインデックスとフィルデータとを符号化動画像信号から抽出し、インループフィルタ設計部１２１０Ｃに出力する。
【０３１１】
インループフィルタ設計部１２１０Ｃは、エントロピー復号部１２９０Ｃからフィルタデータ、インデックスおよび予測フラグを取得し、そのインデックスまたは予測フラグに対応するフィルタ係数をインループフィルタ部２８０Ｃに出力する。インループフィルタ部２８０Ｃは、インループフィルタ設計部１２１０Ｃからフィルタ係数を取得し、そのフィルタ係数に基づいて、量子化予測誤差信号、予測信号および復号信号に対してインループフィルタ（適応的インループフィルタ）を適用する。その結果、インループフィルタ部２８０Ｃは、インループフィルタが適用された復号信号を出力信号として出力する。
【０３１２】
このような図２９および図３０に示す画像符号化装置１１００Ｃおよび画像復号装置１２００Ｃによって、インループフィルタの効率を向上することができる。
【０３１３】
図３１は、ポストフィルタおよびインループフィルタのフィルタリングの原理を示す図である。このポストフィルタは、ポストフィルタ部２８０Ａによって適用されるフィルタである。また、このインループフィルタは、インループフィルタ部２８０Ｂ、２８０Ｃ、１１２０Ｂおよび１１２０Ｃによって適用されるフィルタである。整数画素位置１５０１Ａの画素値は、インデックスｈの水平成分フィルタを適用し、続いて、インデックスｖの垂直成分フィルタを適用することによって得られる。
【０３１４】
（実施の形態２）
上記実施の形態で示した画像符号化装置、画像復号装置またはそれらの方法を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【０３１５】
さらにここで、上記実施の形態で示した画像符号化装置、画像復号装置またはそれらの方法の応用例とそれらを用いたシステムを説明する。
【０３１６】
図３２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。
【０３１７】
このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。
【０３１８】
しかし、コンテンツ供給システムｅｘ１００は図３２のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【０３１９】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）の携帯電話機、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０３２０】
コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。
【０３２１】
なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【０３２２】
また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用および画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理および復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０３２３】
また、ストリーミングサーバｅｘ１０３は複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【０３２４】
以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利または設備を有さないユーザでも個人放送を実現できる。
【０３２５】
このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。
【０３２６】
その一例として携帯電話ｅｘ１１４について説明する。
【０３２７】
図３３は、上記実施の形態で説明した画像符号化装置、画像復号装置またはそれらの方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えおよび消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。
【０３２８】
さらに、携帯電話ｅｘ１１４について図３４を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２および操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６および音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。
【０３２９】
電源回路部ｅｘ７１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。
【０３３０】
携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。
【０３３１】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。
【０３３２】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３およびＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。
【０３３３】
画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた画像符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。
【０３３４】
多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。
【０３３５】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。
【０３３６】
また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。
【０３３７】
次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した画像符号化方法に対応した画像復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
【０３３８】
なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図３５に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データまたはそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２または基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。
【０３３９】
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データまたはそれらのデータが多重化された符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に、音声データ、映像データまたはそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置およびシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。
【０３４０】
また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。
【０３４１】
図３６は、上記実施の形態で説明した画像符号化装置、画像復号装置またはそれらの方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または、出力するチューナｅｘ３０１と、受信した符号化データを復調する、または、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、または、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、または、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。
【０３４２】
まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した画像復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した画像符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフローおよびアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【０３４３】
また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、および、外部出力ができる構成として説明したが、これらのすべての処理を行うことはできず、上記受信、復号処理、および、外部出力のうちいずれかのみが可能な構成であってもよい。
【０３４４】
また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００およびリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。
【０３４５】
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図３７に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３およびサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【０３４６】
以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【０３４７】
図３８に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。
【０３４８】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【０３４９】
また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図３４に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。
【０３５０】
このように、上記実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器およびシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０３５１】
また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０３５２】
（実施の形態３）
上記各実施の形態で示した画像符号化方法および装置、画像復号方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３９に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【０３５３】
例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３およびストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ  Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。
【０３５４】
また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号および／または映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５およびテレビｅｘ３００等の各出力部から出力される。
【０３５５】
なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
【０３５６】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０３５７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０３５８】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０３５９】
以上、本発明に係る画像符号化方法、画像符号化装置、画像復号方法および画像復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、および、異なる実施の形態における構成要素およびステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。
【０３６０】
Ｈ．２６４／ＡＶＣに基づく画像符号化システムに関連して上述の例の大半を概要説明した。用語は、主として、Ｈ．２６４／ＡＶＣの用語に関連したものである。しかしながら、Ｈ．２６４／ＡＶＣに基づく符号化に対するさまざまな実施の形態の用語および記述は、本発明の原理および考えを、当該システムに限定することを意図しない。Ｈ．２６４／ＡＶＣ標準規格に準拠した符号化および復号に関する詳細な説明は、ここで説明した例示的な実施の形態についての理解を深めることを意図しており、画像符号化におけるプロセスおよび機能を、説明した特定の実施態様に本発明が限定されるように理解されるべきではない。一方、ここで提案した改良策は、画像符号化において容易に応用可能であろう。さらに、本発明のコンセプトは、ＪＶＴによって現在討議されているＨ．２６４／ＡＶＣの拡張符号化においても容易に利用可能であろう。
【産業上の利用可能性】
【０３６１】
本発明にかかる画像符号化方法および画像復号方法は、動画像のフィルタリングの品質を向上するとともに、伝送帯域の増加を抑えることができるという効果を奏し、例えば、ビデオカメラ、携帯電話またはパーソナルコンピュータなどに適用することができる。
【符号の説明】
【０３６２】
１０  画像符号化装置
１１  フィルタデータ選択部
１２  インデックス取得部
１３  符号化部
１４  インデックス付加部
１５  フィルタデータ特定部
１６  インデックス割当部
１７  格納処理部
１８  フィルタデータ付加部
２０  画像復号装置
２１  インデックス抽出部
２２  フィルタデータ取得部
２３  復号部
２４  フィルタデータ抽出部
２５  インデックス割当部
２６  格納処理部
１０５  減算器
１１０  変換／量子化部
１２０  逆量子化／逆変換部
１２５  加算器
１３０  デブロッキングフィルタ部
１４０  メモリ
１６０  動き補償予測部
１６５  動き検出部
１７０  画面内予測部
１７５  イントラ／インタースイッチ
１８０  ポストフィルタ設計部
２２０  逆量子化／逆変換部
２２５  加算器
２３０  デブロッキングフィルタ部
２４０  メモリ
２６０  動き補償予測部
２７０  画面内予測部
２７５  イントラ／インタースイッチ
２８０  ポストフィルタ部
１１００  画像符号化装置
１１１０  フィルタ設計部
１１５０  補間フィルタ部
１１９０  エントロピー符号化部
１２００  画像復号装置
１２１０  フィルタ設計部
１２５０  補間フィルタ部
１２９０  エントロピー復号部
１３１０  フィルタ算出部
１３２０  インデックス生成部
１３３０  フィルタメモリ
１３５０  フィルタ選択部
１４２０  インデックス生成部
１４３０  フィルタメモリ
１４５０  フィルタ選択部
１４６０  フィルタ設定部
【図１】
2010143427.tif 000003
【図２】
2010143427.tif 000004
【図３】
2010143427.tif 000005
【図４】
2010143427.tif 000006
【図５】
2010143427.tif 000007
【図６】
2010143427.tif 000008
【図７】
2010143427.tif 000009
【図８】
2010143427.tif 000010
【図９】
2010143427.tif 000011
【図１０】
2010143427.tif 000012
【図１１】
2010143427.tif 000013
【図１２】
2010143427.tif 000014
【図１３】
2010143427.tif 000015
【図１４】
2010143427.tif 000016
【図１５】
2010143427.tif 000017
【図１６】
2010143427.tif 000018
【図１７】
2010143427.tif 000019
【図１８】
2010143427.tif 000020
【図１９Ａ】
2010143427.tif 000021
【図１９Ｂ】
2010143427.tif 000022
【図２０Ａ】
2010143427.tif 000023
【図２０Ｂ】
2010143427.tif 000024
【図２１】
2010143427.tif 000025
【図２２】
2010143427.tif 000026
【図２３Ａ】
2010143427.tif 000027
【図２３Ｂ】
2010143427.tif 000028
【図２４Ａ】
2010143427.tif 000029
【図２４Ｂ】
2010143427.tif 000030
【図２５】
2010143427.tif 000031
【図２６】
2010143427.tif 000032
【図２７】
2010143427.tif 000033
【図２８】
2010143427.tif 000034
【図２９】
2010143427.tif 000035
【図３０】
2010143427.tif 000036
【図３１】
2010143427.tif 000037
【図３２】
2010143427.tif 000038
【図３３】
2010143427.tif 000039
【図３４】
2010143427.tif 000040
【図３５】
2010143427.tif 000041
【図３６】
2010143427.tif 000042
【図３７】
2010143427.tif 000043
【図３８】
2010143427.tif 000044
【図３９】
2010143427.tif 000045
【国際調査報告】
2010143427.tif 000046
2010143427.tif 000047
2010143427.tif 000048
2010143427.tif 000049