"インループフィルタを使用してインループの再構成されたビデオを処理する方法であって、符号化されたビデオデータからインループの再構成されたビデオデータを導出する段階と、前記インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割する段階と、それぞれのフィルタリングされるべき領域について複数の候補となるフィルタからなるフィルタセットから、インループフィルタを決定する段階と、前記インループフィルタを決定する段階は、レート-歪みの最適化手順に基づいており、前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する段階と、を含む方法。前記インループの再構成されたビデオデータは、再構成されたビデオデータについて、デブロッキングフィルタ処理が施された信号、SAOSampleAdaptiveRestoration処理が施された信号又はALFAdaptiveLoopFilter処理が施された信号に対応する、請求項1記載の方法。前記インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割する段階は、分類方法、画像分割方法、又は前記分類方法と前記画像分割方法との組み合わせに基づく、請求項1記載の方法。前記分類方法は、エッジに基づく分類方法である、請求項3記載の方法。前記エッジに基づく分類方法は、現在の画素と、左上、右上、左下及び右下の位置にある4つの隣接画素とに基づいて、前記現在の画素と、上、下、左及び右の位置にある4つの隣接画素とに基づいて、又は前記現在の画素と、0°,45°,90°又は135°の方向を有する2つの隣接画素とに基づいて、エッジ情報を導出する、請求項4記載の方法。前記分類方法は、帯域に基づく分類方法であり、前記インループの再構成されたビデオデータの画素は、画素の強度に従って、複数のフィルタリングされるべき領域に分類される、請求項3記載の方法。前記レート-歪みの最適化手順に関連する歪み関数又はコスト関数の計算は、オリジナルのビデオデータと前記インループの再構成されたビデオデータとに関連する相関値に関連する、請求項1記載の方法。前記相関値は、前記それぞれのフィルタリングされるべき領域について、前記レート-歪みの最適化手順の間に複数の候補となるフィルタにより共有される、請求項7記載の方法。前記相関値は、前記インループの再構成されたビデオデータの領域について、前記レート-歪みの最適化手順の間、前記インループの再構成されたビデオデータの前記領域の複数の候補となるフィルタリングされるべき領域により共有される、請求項7記載の方法。前記レート-歪みの最適化手順に関連する歪み関数又はコスト関数の計算は、オリジナルのビデオデータ、予測信号及び回復された予測誤差に関連する相関値に関連する、請求項1記載の方法。前記相関値は、前記それぞれのフィルタリングされるべき領域について、前記レート-歪みの最適化手順の間に複数の候補となるフィルタにより共有される、請求項10記載の方法。前記相関値は、前記インループの再構成されたビデオデータの領域について、前記レート-歪みの最適化手順の間、前記インループの再構成されたビデオデータの前記領域の複数の候補となるフィルタリングされるべき領域により共有される、請求項10記載の方法。前記インループフィルタは、フィルタ係数を有する線形空間フィルタである、請求項1記載の方法。前記インループフィルタは、エッジオフセットフィルタ又はバンドオフセットフィルタである、請求項1記載の方法。ビデオビットストリームに前記インループフィルタの情報を組み込む段階を更に含む、請求項1記載の方法。前記レート-歪みの最適化手順は、フィルタリングされた領域に対応するオリジナルのビデオデータと回復されたデータとの間の歪みに関連する、請求項1記載の方法。前記レート-歪みの最適化手順に関連するコスト関数は、前記歪み関数に関連する、請求項16記載の方法。前記レート-歪みの最適化手順は、固定された項を除くことで、前記歪みから導出された変更された歪みに関連する、請求項16記載の方法。前記レート-歪みの最適化手順に関連するコスト関数は、変更された歪み関数に関連する、請求項18記載の方法。ビデオデコーダにおいてインループフィルタを使用してインループの再構成されたビデオを処理する方法であって、当該方法は、符号化されたビデオデータに基づいてインループの再構成されたビデオデータを導出する段階と、前記インループの再構成されたビデオデータの画素を、複数のフィルタリングされるべき領域に分割する段階と、それぞれのフィルタリングされるべき領域について、ビデオビットストリームからインループフィルタを決定する段階と、前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する段階と、を含む方法。インループフィルタを使用してインループの再構成されたビデオを処理する方法であって、当該方法は、符号化されたビデオデータからインループの再構成されたビデオデータを導出する段階と、前記インループの再構成されたビデオデータの画素を、複数のフィルタリングされるべき領域に分割する段階と、それぞれのフィルタリングされるべき領域について、複数の候補となるフィルタからなるフィルタセットから、インループフィルタを決定する段階と、前記複数の候補となるフィルタは、異なる形状又は異なるサイズを有しており、前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する段階と、を含む方法。選択されたインループフィルタの形状を示すフラグをビットストリームに組み込む段階を更に含む、前記フィルタセットからインループフィルタを決定する段階は、前記インループフィルタに関連する前に符号化された情報に基づく、請求項21記載の方法。前記フィルタセットからインループフィルタを決定する段階は、最小のレート-歪みのコストに基づく、請求項21記載の方法。前記異なる形状は、正方形、ひし形、円及び六角形からなるグループから選択された2以上の形状を含む、請求項21記載の方法。選択されたインループフィルタの形状を示すフラグをビットストリームで受信する段階を更に含み、前記フィルタセットから前記インループフィルタを決定する段階は、前記フラグに基づく、請求項21記載の方法。インループフィルタを使用してインループの再構成されたビデオを処理する装置であって、符号化されたビデオデータに基づいてインループの再構成されたビデオデータを導出する手段と、前記インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割する手段と、それぞれのフィルタリングされるべき領域について複数の候補となるフィルタからなるフィルタセットから、インループフィルタを決定する手段と、前記インループフィルタの決定は、レート-歪みの最適化手順に基づいており、前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する手段と、を備える装置。前記インループの再構成されたビデオデータは、再構成されたビデオデータについて、デブロッキングフィルタ処理が施された信号に対応する、請求項27記載の装置。前記インループの再構成されたビデオデータの画素の前記複数のフィルタリングされるべき領域への分割は、分類手段、画像分割手段、又は前記分類手段と前記画像分割手段との組み合わせに基づく、請求項27記載の装置。前記分類方法は、エッジに基づく分類手段である、請求項29記載の装置。前記レート-歪みの最適化手順に関連する歪み関数又はコスト関数の計算は、オリジナルのビデオデータと前記インループの再構成されたビデオデータとに関連する相関値に関連する、請求項27記載の装置。前記レート-歪みの最適化手順に関連する歪み関数又はコスト関数の計算は、オリジナルのビデオデータ、予測信号及び回復された予測誤差に関連する相関値に関連する、請求項27記載の装置。前記インループフィルタは、フィルタ係数を有する線形空間フィルタである、請求項27記載の装置。前記インループフィルタは、エッジオフセットフィルタ又はバンドオフセットフィルタである、請求項27記載の装置。ビデオビットストリームに前記インループフィルタの情報を組み込む手段を更に備える、請求項27記載の装置。ビデオデコーダにおいてインループフィルタを使用してインループの再構成されたビデオを処理する装置であって、当該装置は、符号化されたビデオデータに基づいてインループの再構成されたビデオデータを導出する手段と、前記インループの再構成されたビデオデータの画素を、複数のフィルタリングされるべき領域に分割する手段と、ビデオビットストリームからインループフィルタを決定する手段と、前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する手段と、を備える装置。インループフィルタを使用してインループの再構成されたビデオを処理する装置であって、当該装置は、符号化されたビデオデータからインループの再構成されたビデオデータを導出する手段と、前記インループの再構成されたビデオデータの画素を、複数のフィルタリングされるべき領域に分割する手段と、それぞれのフィルタリングされるべき領域について、複数の候補となるフィルタからなるフィルタセットから、インループフィルタを決定する手段と、前記複数の候補となるフィルタは、異なる形状又は異なるサイズを有しており、前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する手段と、を備える装置。選択されたインループフィルタの形状を示すフラグをビットストリームに組み込む手段を更に備える、選択されたインループフィルタの形状を示すフラグを含むビットストリームを受信する手段を更に備え、前記フィルタセットからの前記インループフィルタの決定は、前記フラグに基づく、請求項37記載の装置。HEVCシステムでは、従来のALFは、フレーム又はスライスにおけるそれぞれのブロックについて選択的にON又はOFFされる。ブロックのサイズ及びブロックの形状、並びに、ブロックサイズ及びブロック形状の情報は、明示的にデコーダに送出するか、又はデコーダで暗黙的に導出することができる。選択されたパフォーマンスの基準に従って、ブロックがALFを受けるか否かに関して、それぞれのブロックについて判定が行われる。2011年4月25日に提出されたMethodandApparatusofAdaptiveFilteringと題された米国特許出願第13093068号では、再構成されたビデオデータに適応的に適用することができる複数のフィルタセットの選択を可能にする高度なALFが開示されている。さらに、高度なALFは、より柔軟及び/又はローカライズされた処理を提供することができるように、適応するためのフィルタリングプロセスの新たなユニットを適用している。米国特許出願第13093068号は、フレキシブルな適応ループフィルタを開示しているが、FUフィルタユニットを一般的な処理構造この開示ではフィルタリングされるべき領域tobefilteredと呼ばれるに拡張し、ALFを他のインループフィルタを含むことに拡張する高度なインループフィルタを組み込んだシステムを開発することが望ましい。さらに、様々な処理構造及び様々な候補となるフィルタの間でシステムパフォーマンスを最適化するレート-歪みの最適化の手順を組み込むことが望まれる。適応ループフィルタを使用した符号化ビデオを処理する方法及び装置が開示される。本発明に係る1実施の形態では、適応ループフィルタを使用した符号化ビデオの処理の方法及び装置は、関連されるデータに基づいてインループの再構成されたビデオデータを導出すること、インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割すること、それぞれフィルタリングされるべき領域について、複数の候補となるフィルタから構成されるフィルタセットからインループフィルタを決定すること、インループフィルタを決定することは、レート-歪みの最適化手順に基づいており、及び前記それぞれフィルタリングされるべき領域にインループフィルタを適用して、フィルタリングされた領域を生成すること、を含む。インループフィルタは、再構成されたビデオ、SAOSampleAdaptiveRestoration回復されたビデオ、デブロッキングフィルタ処理が施されたビデオ、又はALF回復されたビデオに適用することができる。本発明の1態様は、インループの再構成されたビデオデータの画素をフィルタリングされるべき領域に分割する方法に関する。本方法は、分類方法、画像分割方法、又は分類方法と画像分割方法の組み合わせに基づく。本発明の別の態様は、レート-歪みの最適化手順に関連するコスト関数の計算に関する。本発明に係る1実施の形態では、コスト関数の計算は、オリジナルビデオデータ及びインループ再構成されたビデオに関連する相関値を利用する。本発明に係る別の実施の形態では、コスト関数の計算は、オリジナルビデオデータ、予測信号及び回復された予測誤差に関連する相関値を利用する。本発明に係る1実施の形態では、相関値は、前記それぞれのフィルタリングされるべき領域についてレート-歪みの最適化手順の間に複数の候補となるフィルタにより共有することができる。本発明に係る別の実施の形態では、相関値は、インループの再構成されたビデオデータの領域について、レート-歪みの最適化手順の間に、インループの再構成されたビデオデータの領域の複数の候補となるフィルタリングされるべき領域により共有される。インループフィルタは、フィルタ係数、エッジオフセットフィルタ、又はバンドオフセットフィルタを有する線形空間フィルタとすることができる。線形空間フィルタが使用されるとき、レート-歪み最適化手順に関連するコスト関数の計算は、フィルタ係数、及びオリジナルビデオデータとインループの再構成されたビデオデータとに関連される相関値に関連する。代替的に、レート-歪みの最適化手順に関連するコスト関数の計算は、オリジナルビデオデータ、予測信号及び回復された予測誤差に関連するフィルタ係数及び相関値に関連する。インループフィルタの情報は、デコーダはエンコーダと同じインループフィルタを選択するように、ビデオビットストリームに組み込まれる。ビデオデコーダにおける適応ループフィルタを使用して符号化ビデオを処理する方法及び装置が開示される。本発明に係る1実施の形態では、適応ループフィルタを使用したビデオデコーダにおける符号化ビデオの処理の方法及び装置は、関連するデータに基づいて、インループの再構成されたビデオデータを導出すること、インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割すること、それぞれフィルタリングされるべき領域について、ビデオビットストリームからインループフィルタを決定すること、前記それぞれフィルタリングされるべき領域にインループフィルタを適用して、フィルタリングされた領域を生成すること、を含む。デジタル映像圧縮について、動き補償されたフレーム間符号化は、効果的な圧縮技術であり、MPEG124及びH261H263H264AVCのような様々な符号化規格で広く適用されている。動き補償システムでは、動き予測/補償及び後続の圧縮は、ブロック毎に行われることがあある。圧縮プロセスの間、係る量子化のような適用される損失演算のため、符号化ノイズが生じる場合がある。符号化アーチファクトは、特にブロック近くの境界で、再構成されたビデオデータにおいて知覚されるようになる場合がある。符号化アーチファクトの可視性を軽減するため、デブロッキングと呼ばれる技術は、H264AVC、及び開発されている高能率符号化HEVCシステムのような新たな符号化システムで使用されている。デブロッキングプロセスは、画像の先鋭度を保持しつつ、符号化ノイズによる大きな遷移及びブロック近くの境界を平滑化するため、ブロックの境界にわたるフィルタリングを適応的に適用する。さらに、フレーム間符号化の性質のため、デブロッキングプロセスは、ループ内の処理のために構成される。デブロッキングの他に、線形空間フィルタ、エッジオフセットフィルタ及びバンドオフセットフィルタに基づく適応ループフィルタのような様々なインループフィルタがHEVCにおいて導入されている。McCann等によるSamsung’sResponsetotheCallforProposalsonVideoCompressionTechnologyinDocumentJCTVCA124JointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG111stMeetingDresdenDE1523April2010により開示されたインループのエッジオフセットプロセス及びインループのバンドオフセットプロセスは、この開示においてそれぞれエッジオフセットフィルタ及びバンドオフセットフィルタとして考えられる。さらに、高度のインループフィルタを組み込んだビデオシステムは、2011年4月25日に提出された米国特許出願第13093068で開示され、複数のフィルタから構成されるフィルタのセットは、再構成されたビデオ、SAO回復ビデオ、又はフィルタユニットに分割することができるデブロッキングフィルタリングされたビデオデータを処理するために使用される。再構成されたビデオデータは、分類を使用して複数のカテゴリに分類され、適応ループフィルタは、カテゴリのそれぞれについて候補となるフィルタのセットから選択される。米国特許出願第13093068号は、FUをインループフィルタについて一般的な処理構造この開示において、いわゆるフィルタリングされるべき領域に拡張し、ALFを他のインループフィルタを含むことに拡張する高度なインループフィルタを組み込むシステムを開発することが望まれる。さらに、様々な処理構造及びフィルタセットのうちの様々な候補となるフィルタのうち、システムパフォーマンスを最適化するレート-歪みの最適化手順を組み込むことが望まれる。図1は、デブロッキングによる動き補償映像圧縮のシステムブロックを例示する。圧縮システム100は、圧縮されたビデオビットストリームを生成するため、イントラ/インター予測、変換/量子化及びエントロピー符号化を組み込んだ典型的なビデオエンコーダを例示する。入力ビデオデータは、入力インタフェース112を通してエンコーダに入力し、原信号は、イントラ/インター予測110を受け、ここで、イントラ/インター予測110は、入力信号112、再構成信号152、フレームバッファ140に記憶される、前に処理及び再構成された信号142に基づいて、予測信号119を形成する。インター予測は、前方予測モードであり、この前方予測モードでは、予測は、現在のピクチャの前のピクチャに基づく。また、インター予測は、後方予測モードであり、この後方予測モードでは、予測は、表示順序において現在のピクチャの後のピクチャに基づく。インター予測モードでは、イントラ/インター予測110は、予測信号に、減算器115に供給し、減算器115は、原信号から予測信号を減算する。減算器115からの出力117は、変換/量子化ブロック120により更に処理された予測誤差と呼ばれる。変換/量子化120は、予測誤差117を、圧縮されたビットストリーム132を生成するためにエントロピー符号化130により更なる処理のために符号化シンボルに変換し、この圧縮されたビットストリームは、記憶されるか又は送信される。ビデオ信号を再構成するため、回復された予測誤差162は、予測信号119と結合され、再構成された信号152が形成される。逆変換/逆量子化160は、再構成された予測誤差162を提供するため、変換/量子化120により処理された予測誤差117に適用される。また、図1は、映像品質を改善するために再構成された信号に適用されるデブロッキングフィルタ170及び適応ループフィルタALF180を例示している。更に処理されるか又は処理されない再構成後の信号は、この開示では、インループの再構成されたビデオデータ又はインループの再構成されたフレームと呼ばれる。例えば、インループの再構成されたビデオデータは、再構成信号152又はデブロッキングフィルタリングされた信号172を示す場合がある。図1において再構成されたビデオを処理する例としてデブロッキングフィルタ170が示されているが、SAOSampleAdaptiveRestoration又はデブロッキングフィルタとSAOとの組み合わせのような他の処理が使用される場合がある。SAOは、サンプルアダプティブなエッジオフセット又はバンドオフセットを含む。これらのケースでは、インループの再構成されたビデオデータは、上述された処理の前後で、何れかの信号を示す。従って、図1における再構成信号152又はデブロッキングフィルタリングされた172は、インループの再構成された信号の例である。ALF180はデブロッキングフィルタリングされた信号172を処理するためのインループフィルタの例として示されているが、インループフィルタとして、エッジオフセット又はバンドオフセットのような他のインループフィルタが使用される場合もある。インループフィルタは、上述された、再構成されたビデオデータ152、デブロッキングフィルタリングされた信号172、又はインループの再構成されたビデオデータに適用することができる。さらに、図1におけるALFを置き換えるためにSAOがインループフィルタとして使用されるとき、ALFは、インループの再構成されたビデオを生成するため、再構成されたビデオの処理として使用される場合がある。近年のHEVCの開発では、適応ループフィルタリングALFは、インループの再構成フレームを処理するために適用される。HEVCでは、従来のALFは、フレーム又はスライスにおけるそれぞれのブロックについて選択的にON又はOFFされる。ブロックのサイズ及びブロックの形状、並びに、ブロックサイズ及びブロック形状の情報は、明示的にデコーダに送出するか、又はデコーダで暗黙的に導出することができる。1つのアプローチでは、ブロックは、LCUの四分木の分割から得られる。パフォーマンスの基準によれば、ビデオエンコーダは、ブロックがALFを受けるか否かを判定し、ALFフラグを使用して、デコーダがALFを適用することができるように、それぞれのブロックに付いてONOFF判定を信号伝達する。インループの再構成されたビデオの視覚的な品質を改善するためにALFが示されているが、初期のALFの開発で使用されるALF処理が制限され、この場合、1つの適応ループフィルタのみを、ON又はOFFにすることができる。ALFは、空間フィルタリングのために、2次元2D線形フィルタを一般的に使用する。実際の使用されるフィルタの寸法の例は、5×5,7×7又は9×9である。しかし、ALFについて、他のサイズを有するフィルタを使用することができる。通常、フィルタ係数は、ピクチャの基本となる画像領域の特性に整合するように最適に設計される。例えば、フィルタ係数は、Wienerフィルタを使用することで、平均平方誤差MSEを最小にするように設計される。実現コストを低減するため、2Dフィルタが2つの個別の1次元フィルタを使用して実現され、一方が水平方向に適用され、他方が垂直方向に適用されるように、2Dフィルタが分離可能となるように設計される場合がある。フィルタ係数は送信される必要があるので、必要とされる副情報を節約するため、対称フィルタが使用される場合がある。送信される係数の数を低減するために、他のタイプのフィルタが使用される場合もある。例えば、ダイアモンド形状ひし形フィルタが使用される場合があり、この場合、非ゼロ係数のコンステレーションは、ダイアモンドの形状を有する。2011年4月25日に提出されたMethodandApparatusofAdaptiveLoopFilteringと題された米国特許出願第13093068号では、インループの再構成されたビデオデータに複数のフィルタセットの選択を適応的に適用する高度なLAFが開示される。さらに、インループの再構成されたビデオデータは、分類を使用して複数のカテゴリに分類され、適応ループフィルタは、カテゴリのそれぞれについて候補となるフィルタセットから選択される。分類は、画素の強度、エッジアクティビティ、エッジ方向、エッジ強度、モード情報、量子化パラメータ、残差エネルギー、領域の特徴、動き情報、及びこれらの組み合わせのようなインループの再構成されたビデオデータから導出される特性に基づくことができる。ALFスキームQCALFは、Qualcommにより提案されたVideocodingtechnologyproposalbyQualcommIncKarczewiczetalJointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG111stMeetingDresdenDE1523April2010DocumentJCTVCA121。QCALFによれば、ALFは、画素毎にインループの再構成されたビデオデータに適用される。それぞれのブロックについて、SLMSummodifiedLaplacianMeasure。ブロックのそれぞれの画素について計算されたSLM値は、画素をM個のグループのうちの1つに分類するために使用される。SLMに基づくALFは、画素毎に適用され、画素は、異なるフィルタを使用する場合がある。従って、QCALFは、ピクセルアダプティブ又はピクセルアダプテーションPAALFとも呼ばれる。PALAFは、画素毎にフィルタを適応的に選択することができる一方、PALAFは、必要とされる副情報が符号化される場合にかなりの量であるため、デコーダ側のそれぞれの画素のSLMに基づいてグループ情報を導出することを必要とする。従って、領域に基づいたALFスキームは、2011年4月25日に提出された米国特許出願第13093068号で開示されている。領域は、あるピクチャ又はあるピクチャの領域を固定されたブロック又は固定されたブロックのセットに分割することにより形成される。代替的に、領域は、あるピクチャ又はあるピクチャの領域を繰返し分割することにより形成される。例えば、繰返し領域分割のために四分木が使用される。領域に基づくALFが適用されるか又は領域に基づかないALF方法が適用されるかを示すために、ALF情報セットのシンタックスにおけるフラグが使用される。例えば、領域に基づくALFとブロックに基づくALFとの間で選択するためにフラグが使用される。ブロックについて選択されたフィルタは、画素に基づくALFで使用される類似の方法から導出することができる。例えば、Chong等は、ブロックに基づくALFを記載しており、4×4ブロックのLaplacianに基づくアクティビティメトリクスは、それぞれ4×4ブロックが1つのLaplacianアクティビティ値を使用することができるように平均されるChongetalCE8Subset2BlockbasedadaptiveloopfilterJointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG115thMeetingGenevaCH1623March2011DocumentJCTVCE323。本方法は、4×4ブロックのそれぞれの画素についてLaplacianアクティビティ値を計算することを必要とし、従来の画素に基づくALFを通した計算を節約しない。しかし、ブロックに基づくALFは、画素に基づくALFと比較してフィルタスイッチのアクティビティの頻度を低減する。分類子としてLaplacianアクティビティを使用する代わりに、Karczewicz等により使用されるSLM計算を置き換えるために、SAOSampleAdaptiveOffsetのために使用されるバンドオフセットBO又はエッジオフセットEO分類子のような他の手段が使用される場合がある。BO及びEOの両者は、SLM手段と比較して非常に少ない計算を必要とする。フィルタセクションは、再構成されたビデオデータの分類に基づく場合がある。関与する基礎となる再構成されたビデオデータは前に符号化されたデータとのみ関連される場合、暗黙モードを使用したALFの選択について、分類に基づくフィルタセクションが有効である。これは、デコーダは、副情報なしに同じ分類を導出するからである。分類に基づくフィルタ選択が使用されるとき、基本となる符号化されたビデオデータは、基礎となる再構成されたビデオデータから測定された特徴に基づいて複数のカテゴリに分類される。測定された特徴は、画素の強度のレベル、エッジの方向、エッジの強度、モード情報、量子化パラメータ、残差エネルギー、領域の位置、動き情報、又はこれらの組み合わせと関連される。例えば、エッジの方向は、フィルタの選択のための分類として使用され、0°,45°,90°及び135°に沿ったエッジ又はライン方向を検出するために、3×3画素のウィンドウが使用される。画素をALFを適応的に適用するためのカテゴリに分割するため、異なる特徴に基づく多数の分類子が結合される一方、あるフラグに従って複数の特徴も選択的に使用される場合がある。例えば、領域の特徴に基づく分類子は、エッジの強度に基づく分類子と選択的に使用することができる。フラグは、領域の特徴又はエッジの強度の特徴がピクチャの分類子として使用されるかを示すために使用される。さらに、ピクチャは、幾つかの領域に分割され、個々の領域について分類の選択が実行される。同じカテゴリにおける領域は、同じフィルタを共有する。領域は、フィルタユニット又は符号化ユニットである。さらに、領域は、画素の位置に基づいて形成される場合がある。米国特許出願第13093068号に従う方法がシステムのパフォーマンスを改善する一方、システムパフォーマンスを更に改善することができる高度なインループフィルタのスキームを開発することが望まれる。従って、画像データの画素をフィルタリングされるべき領域に分割し、レート-歪み最適化を適用して、それぞれのフィルタリングされるべき領域についてフィルタセットからインループフィルタを選択する、高度なインループフィルタスキームが開発される。画像は、フレーム、フィールド、又は1以上のスライスのようなピクチャの一部である。フィルタリングされるべき領域は、画像をブロックに分割することで形成され、それぞれのブロックは、インループフィルタにより処理され、この場合、レート-歪みの最適化プロセスに従ってフィルタが選択される。画像データを分割することで形成されるブロックは、フィルタユニットFUと呼ばれる。FUは、四分木を使用して形成されるか、又は画像データを等しいサイズのブロックに分割することでシンプルに形成される。等しいサイズのブロックは、レート-歪みの最適化プロセスに従って適応的にマージされる場合がある。代替的に、FUは、レート-歪みの最適化プロセスに従って適応的に分割することができる。さらに、FUの分割は、CUに揃えられCUaligned、この場合、フィルタユニットの境界は、符号化ユニットの境界であり、フィルタユニットのそれぞれは、少なくとも1つの符号化ユニットを含む。フィルタリングされるべき領域は、分類に従って画像データを分割することで形成される。画像データを複数のフィルタリングされるべき領域に分類する多数の異なる方法が存在する。例えば、エッジに基づく分類方法は、Samsung’sResponsetotheCallforProposalsonVideoCompressionTechnologyinDocumentJCTVCA124JointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG111stMeetingDresdenDE1523April2010と題されたMcCann等により開示されている。McCann等は、中央の画素Cにの周囲の4つの隣接する画素N0,N1,N2及びN3を使用して、図2Aに示されるように、現在の画素を複数のクラスに分類する。McCann等は、強度レベルのオフセット補償のため、エッジに基づく分類を使用する。従って、エッジに基づく分類は、エッジオフセット分類又は手短にエッジオフセットとよばれる。代替的な隣接する画素のコンフィギュレーションは、図2Bに示されるように、ApparatusandMethodofAdaptiveOffsetforVideoCodingと題される米国特許出願第12987151号で開示される。図3に示されるように、0°,45°,90°及び135°に沿ったエッジ又はラインの向きを検出するため、3×3画素のウィンドウにおいて3つの画素を使用する方法のような、他のエッジに基づく分類が使用される場合もある。フィルタリングされるべき領域は上述された分類又は分割を使用して形成することができる一方、フィルタリングされるべき領域は、本発明の実施の形態に従って、分類及び分割の組み合わせを使用して形成することができる。例えば、分類は、画像をブロックに分割することで形成されるフィルタリングされるべき領域すなわち、このケースではFUに適用される。言い換えれば、画像データは、FUに分割され、それぞれのFUは、最終的なフィルタリングされるべき領域に分類される。上述されたエッジに基づく分類の他に、基礎となるビデオデータの他の特性に基づく分類が使用される場合もある。例えば、分類は、基礎となるビデオの強度レベルに基づく場合がある。例えばMcCann等は、オフセット補償のために、強度レベルに基づいて、画像データを16のバンドに分類する方法を開示している。この方法は、バンドオフセット分類又は手短にバンドオフセットと呼ばれる。16のバンドが使用される一方、多くのバンド又は少ないバンドが使用される場合がある。例えば、2011年1月9日に提出されたApparatusandMethodofAdaptiveOffsetforVideoCodingと題された米国特許出願第12987151号において、強度レベルを2つのグループとして編成される32のバンドに分割する方法が開示される。エッジオフセット及びバンドオフセットに基づく分類が、フィルタリングされるべき領域に画素を分類する例として例示されるが、本発明は、これら特定の例に限定されず、他の分類が使用される場合がある。本発明に係る実施の形態を組み込んだインループフィルタは、高能率映像符号化HEVCで開示されるように適応ループフィルタALF、エッジオフセットEOフィルタ又はバンドオフセットBOフィルタから選択されるインループフィルタのタイプとすることができる。さらに、本発明に係る実施の形態は、複数のフィルタを組み込み、レート-歪みプロセスを使用して、それぞれのフィルタリングされるべき領域についてフィルタを決定する。画像領域が分類されるフィルタリングされるべき領域は、上述されたフィルタユニットとすることができる。以下の説明では、ALFに基づくWienerフィルタリングにより生じる歪みの予測が導出される。図1に示される様々なステージで関与する信号の表記は、以下の通りである。s:原信号,x:インループの再構成された信号,y:回復された信号,及びwi:Wienerフィルタの係数。位置kでの適応ループフィルタALFによる回復された信号yは、以下の式に従って、インループの再構成された信号xに関連する。ここでwiはALFの係数であり、Nは係数wiの全体数である。1次元の信号表現は、この開示における表記を簡単にするため、2次元ビデオデータについて使用される。しかし、基本となるビデオデータは2次元信号であり、表記は2次元の表現に拡張することができることを理解されたい。フィルタリングされるべき領域における画素の全体数はKである。上述されたように、フィルタリングされるべき領域は、上述されたフィルタユニットFUとすることができ、或いは、画素が隣接していないか又は矩形の形状で編成される画素のグループとすることができる。FUの平均平方誤差MSEεは、以下の式に基づいて計算される。フィルタリングされるべき領域のMSE計算の簡単な実現において、回復された信号yは、式1に従って選択されたフィルタを使用して計算される必要がある。回復された信号と原信号との間の平均平方誤差は、式2に従って計算される。レート-歪みの最適化方法がそれぞれのフィルタリングされるべき領域についてフィルタの選択を誘導するように使用されるとき、歪みMSEは、全ての可能性のあるフィルタについて計算される必要がある。言い換えれば、可能性のあるフィルタのそれぞれは、回復された信号を得るためにインループの再構成された信号に適用され、それぞれのMSEは、回復された信号及びオリジナル信号に基づいて計算される。結果的に、レート-歪みの最適化プロセスは、集中的な計算及び過剰なデータアクセスを含む。これは、計算能力及び帯域幅のような多くのシステムリソースを消費する。従って、計算上の複雑度及び帯域幅の要件を低減するスキームを開発することが望まれる。フィルタリングされるべき領域の平均平方誤差MSEεは、以下のように推定される。従って、以下が得られる。従って、K個のサンプルを有するフィルタリングされるべき領域の歪みDは、以下により推定される。ここで[外1]は、コストの比較の間の固定された項であり、コスト関数からドロップされる。式5において、項[外2]は、インループの再構成された信号xの自己相関及びインループの再構成された信号xと原信号xとの間の相互相関をそれぞれ表す。項[外3]をもたない変更された歪みD’は、式6において示される。更なる計算上の複雑度の低減は、[外4]の点を考慮することで達成される。式5における歪み又は式6における変更された歪みは特定の形態にある一方、歪み又は変更された歪みは、本発明の精神から逸脱することなしに変更又は再配置される場合がある。例えば、スケーリングファクタは、所望の範囲内に値を保持するために含まれる場合がある。項[外5]の総和は、はじめにインデックスiについて、次いでインデックスjについて行われる。式2に示される回復された信号と原信号との間の平均平方誤差εは、回復された信号を生成するため、候補となるフィルタを使用した実際のフィルタリングを必要とする。他方では。式5に従って推定された平均平方誤差又は歪みD,D=Kε又は式6に従って推定された変更された歪みは、フィルタリングを実際に行う必要はない。代わりに、式5又は式6に基づく歪み又は変更された歪みは、インループの再構成された信号と原信号との間の相互相関行列を計算する。式5における歪み又は式6における変更された歪みは、レート-歪みの最適化プロセスの間にフィルタを選択するためのコスト関数を導出するために使用される。フィルタを選択するコスト関数の歪みの項は、式5における歪み又は式6における変更された歪みに低減することができる。式6において推定された変更された歪みに基づくコスト関数Jは、以下のように低減される。項bitrateは、係数wi及び他のフィルタに関連する副情報を符号化するために必要とされるビットレートを表す。さらに、式7に基づくコスト関数Jは、フィルタリングを実際の実行するために必要としない。これらの相関項は、選択されたフィルタに独立である。従って、これらの相関項は、レート-歪みの最適化の間にコスト関数の計算において、先の相関項が全ての候補となるフィルタにより共有されるように、それぞれフィルタリングされるべき領域について一度だけ計算される必要がある。結果的に、本発明に係る実施の形態は、必要とされる計算を低減するだけでなく、データアクセスに関連する管理帯域幅を低減する。式6は特定の形式であるが、本発明の精神から逸脱することなしに、コスト関数も変更又は再配置される場合がある。さらに、式6に基づく式7におけるコスト関数を導出する精神は、式5を使用することで他のコスト関数を導出するために適用することができる。式7に係るコスト関数の計算は、相関項が全ての候補となるフィルタの間で共有されるので、レート-歪みの最適化プロセスを高速にする。さらに、式7に係るコスト関数の計算は、帯域幅の要件を大幅に低減する。従来のコスト関数の計算によれば、回復された信号と原信号とに関連する歪みは、それぞれの候補となるフィルタについて回復された信号と原信号とから計算される必要がある。結果として、それぞれフィルタリングされるべき領域の回復された信号と原信号の両者は、フィルタのセットにおけるそれぞれの候補となるフィルタについてアクセスされる必要がある。フィルタのセットにおける複数の候補となるフィルタについて、回復された信号及び原信号の両者は、複数回にわたりアクセスされる。他方で、本発明に係る実施の形態は、レート-歪みの最適化プロセスの間に、フィルタのセットについて、それぞれのフィルタリングされるべき領域についてインループの再構成された信号と原信号とに一度アクセスする必要がある。結果として、本発明に係る実施の形態は、帯域幅の要件を大幅に低減する。レート-歪みの最適化プロセスに従って選択されたフィルタは、デコーダでそれぞれのフィルタリングされるべき領域により使用される必要がある。フラグは、デコーダが正しく動作することができるように、選択されたフィルタを示すようにビットストリームに組み込まれる。式7に従うコスト関数の計算は、インループの再構成された信号と原信号との相互相関値、インループの再構成された信号の自己相関値に関連するが、計算は、他の相関値に基づく場合がある。図1に示されるように、デブロックフィルタリングされた信号172は、再構成された信号152に関連するが、デブロックフィルタリングされた信号172及び再構成された信号152の両者は、インループの再構成された信号と考えられる。さらに、再構成された信号152は、予測信号119及び回復された予測誤差162に関連される。従って、コスト関数の計算のために使用される相関値は、原信号112、予測信号119及び回復された予測誤差162に基づく場合がある。式7に従うコスト関数の計算は、画像データのフィルタリングされるべき領域への分割を最適化するために使用される。例えば、画像データを分割するために四分木が使用されるとき、基礎となるフィルタリングされるべき領域すなわち、この場合にはFUを4つのフィルタリングされるべき領域に分割するかに関する判定は、レート-歪みの最適化手順に従って行われる。基本となる領域及び分割領域に関連するコストは、式7に従って全ての候補となるフィルタについて効果的に計算される。これに応じて、領域分割の判定が行われる。四分木に加えて、他の領域分割方法が使用される場合もある。他方で、式7に係るコスト関数の計算は、フィルタリングされるべき領域の結合を最適化するために使用される。2以上の隣接するフィルタリングされるべき領域は、システムのパフォーマンスを改善するために結合され、領域結合の判定は、レート-歪みの最適化に基づく。個々の領域及び結合領域に関連するコストは、全ての候補となるフィルタについて式7に従って効果的に計算され、これに応じて結合の判定が行われる。同様に、コスト関数の計算のために使用される相関値は、原信号112、予測信号119及び回復された予測誤差162に基づく。本発明の1態様は、様々なフィルタサイズ及び形状を有するフィルタのセットからの候補となるフィルタの選択に関連する。レート-歪みの最適化の手順は、最良のシステムパフォーマンスを達成するために、フィルタのセットのうちからフィルタを選択するために使用される。1つの例では、フィルタリングされるべき領域の候補となるフィルタのセットは、以下のフィルタの形状及びサイズを有する。正方形:3×3,5×5,7×7,9×9ひし形:5×5,7×7,9×9。図4A~図4Cには、ひし形の形状及び5×5,7×7及び9×9のサイズをもつフィルタが示されている。ひし形の形状のフィルタの係数の数は、それぞれの正方形フィルタの約半分である。ひし形の形状のフィルタは、頂点のうちの上及び下での係数を除くことで更に簡略化される。例えば、図4Aにおける9×9ひし形のフィルタは、図5に示される9×7の六角形フィルタに簡略化される。9×7のフィルタは、9×9フィルタと比較して少ないラインバッファを必要とする。フィルタ形状及び/又はフィルタサイズの選択は、レート-歪みコストに基づく。コスト関数の計算は、式7に記載される効果的なアルゴリズムに基づき、最良のフィルタの形状は、参照のレート-歪みのコストが選択されることにつながる。選択されたフィルタ形状を示すフラグは、ビデオデコーダが選択されたフィルタを適用するのを可能にするため、ビットストリームに組み込まれる。本発明に係る実施の形態を組み込んだ例示的な方法は、図6~図8で例示される。図6は、符号化プロセスに対応する例示的なフローチャートである。プロセスは、ブロック610で、符号化されたビデオデータからインループの再構成されたビデオデータを導出することで始まる。次のステップでは、インループの再構成されたビデオデータの画素は、ブロック620で示されるように、複数のフィルタリングされるべき領域に分割される。複数のフィルタリングされるべき領域が形成された後、ブロック630で示されるように、それぞれのフィルタリングされるべき領域について複数の候補となるフィルタから構成されたフィルタセットから、レート-歪みの最適化手順に基づいて、インループフィルタが決定される。インループフィルタが決定された後、ブロック640に示されるように、インループフィルタがそれぞれフィルタリングされるべき領域に適用され、フィルタリングされた領域が生成される。図7は、復号化プロセスに対応する例示的なフローチャートを示す。図7におけるステップは、図6におけるステップと実質的に同じである。しかし、ステップ630は、ステップ710により置き換えられ、ステップ710では、それぞれのフィルタリングされるべき領域についてビデオビットストリームからインループフィルタが決定される。図8は、符号化プロセスに対応する別の例示的なフローチャートである。図8におけるステップは、図6におけるステップと実質的に同じである。しかし、ステップ630は、ステップ810により置き換えられ、このステップ810では、それぞれフィルタリングされるべき領域について複数の候補となるフィルタから構成されるフィルタのセットから、インループフィルタが決定され、前記複数の候補となるフィルタは、異なる形状又は異なるサイズを有する。図6~図8に示される例示的なフローチャートは、本発明を実施する例を示すことが意図される。処理ステップの特定のアレンジメントは、本発明を限定するものとして解釈されるべきではない。当業者であれば、本発明の精神から逸脱することなしに、処理ステップをアレンジし直すか、及び/又は本発明を実施する幾つかのステップを分割/結合する場合がある。上述された本発明に係る高度のALFの実施の形態は、様々なハードウェア、ソフトウェアコード又はこれらの組み合わせで実現される。例えば、本発明の実施の形態は、本明細書で記載される処理を実行するため、ビデオ圧縮チップに集積された回路、又はビデオ圧縮ソフトウェアに集積されたプログラムコードとすることができる。本発明の実施の形態は、本明細書で記載された処理を実行するため、デジタルシグナルプロセッサDSPで実行されるプログラムコードである。本明細書は、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、又はフィールドプログラマブルゲートアレイFPGAにより実行される多数の機能を含む。これらのプロセッサは、本発明により実施される特定の方法を定義するコンピュータ読み取り可能なソフトウェアコード又はファームウェアコードを実行することで、本発明に係る特定のタスクを実行するように構成される。ソフトウェアコード又はファームウェアコードは、異なるプログラミング言語及び異なるフォーマット又はスタイルで開発される。また、ソフトウェアコードは、異なるターゲットプラットフォームについてコンパイルされる。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル及び言語、並びに、本発明にかかるタスクを実行するためにコードを設定する他の手段は、本発明の精神及び範囲から逸脱しない。本発明は、その精神又は必須の特性から逸脱することなしに、他の特定の形式で実施される場合がある。記載される例は、全ての観点で例示するものであって限定するものではないことが考慮されるべきである。本発明の範囲は、従って上述の記載によるのではなく特許請求の範囲により示される。請求項の等価な意味及び範囲に含まれる全ての変形は、それらの範囲に包含される。"