(57)【特許請求の範囲】
【請求項１】
装置であって、
マルチビュー・ビデオ内の現在ビューにおける少なくとも１つのピクチャを符号化する符号化器を備え、前記符号化器は、前記マルチビュー・ビデオ内の別のビューにおける少なくとも１つの参照ピクチャの適応的フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、前記フィルタリングされた少なくとも１つの参照ピクチャを使用して前記少なくとも１つのピクチャを予測符号化し、前記少なくとも１つのピクチャの画素は、前記少なくとも１つのピクチャと前記少なくとも１つの参照ピクチャとの間の視差情報に応じて別々の群に分類され、前記別々の群それぞれは、複数のフィルタのうちの１つに関連付けられ、前記分類は視差の範囲に応じ、前記フィルタリングされた少なくとも１つの参照ピクチャの分解能は前記少なくとも１つのピクチャの元の画像分解能に等しく、前記フィルタリングされた少なくとも１つの参照ピクチャは、適応型フィルタリングにより、前記少なくとも１つの参照ピクチャに対して変更された少なくとも１つの整数画素を有し、前記少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、前記少なくとも１つのサンプルがインループ・フィルタに施された後に、又は、前記少なくとも１つのサンプルがインループ・フィルタに施されることがない状態でインター予測に使用されるピクチャである装置。
【請求項２】
方法であって、
マルチビュー・ビデオ内の現在ビューにおける少なくとも１つのピクチャを符号化する工程を含み、前記符号化する工程は、前記マルチビュー・ビデオ内の別のビューにおける少なくとも１つの参照ピクチャの適応的フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、前記フィルタリングされた少なくとも１つの参照ピクチャを使用して前記少なくとも１つのピクチャを予測符号化し、前記少なくとも１つのピクチャの画素は、前記少なくとも１つのピクチャと前記少なくとも１つの参照ピクチャとの間の視差情報に応じて別々の群に分類され、前記別々の群それぞれは、複数のフィルタのうちの１つに関連付けられ、前記分類は視差の範囲に応じ、前記フィルタリングされた少なくとも１つの参照ピクチャの分解能は前記少なくとも１つのピクチャの元の画像分解能に等しく、前記フィルタリングされた少なくとも１つの参照ピクチャは、適応型フィルタリングにより、前記少なくとも１つの参照ピクチャに対して変更された少なくとも１つの整数画素を有し、前記少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、前記少なくとも１つのサンプルがインループ・フィルタに施された後に、又は、前記少なくとも１つのサンプルがインループ・フィルタに施されることがない状態でインター予測に使用されるピクチャである方法。
【請求項３】
請求項１記載の装置であって、前記少なくとも１つの参照ピクチャに施される対象のフィルタの数、及びフィルタ係数の少なくとも一方が、前記少なくとも１つの参照ピクチャ及び前記少なくとも１つのピクチャに対応する情報に基づいて適応的に求められ、前記情報は、クラスタリング手法及びセグメンテーション手法の少なくとも一方を使用して得られる装置。
【請求項４】
請求項２記載の方法であって、前記少なくとも１つの参照ピクチャに施される対象のフィルタの数、及びフィルタ係数の少なくとも一方が、前記少なくとも１つの参照ピクチャ及び前記少なくとも１つのピクチャに対応する情報に基づいて適応的に求められ、前記情報は、クラスタリング手法及びセグメンテーション手法の少なくとも一方を使用して得られる方法。
【請求項５】
請求項３記載の装置であって、前記クラスタリング手法及び前記セグメンテーション手法の少なくとも一方は、期待値最大化手法及びガウス混合モデルの少なくとも一方に基づく装置。
【請求項６】
請求項４記載の方法であって、前記クラスタリング手法及び前記セグメンテーション手法の少なくとも一方は、期待値最大化手法及びガウス混合モデルの少なくとも一方に基づく方法。
【請求項７】
装置であって、
マルチビュー・ビデオ内の現在ビューにおける少なくとも１つのピクチャを復号化する復号化器を備え、前記復号化器は、前記マルチビュー・ビデオ内の別のビューにおける少なくとも１つの参照ピクチャの適応的フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、前記フィルタリングされた少なくとも１つの参照ピクチャを使用して前記少なくとも１つのピクチャを予測復号化し、前記少なくとも１つのピクチャの画素は、前記少なくとも１つのピクチャと前記少なくとも１つの参照ピクチャとの間の視差情報に応じて別々の群に分類され、前記別々の群それぞれは、複数のフィルタのうちの１つに関連付けられ、前記分類は視差の範囲に応じ、前記フィルタリングされた少なくとも１つの参照ピクチャの分解能は前記少なくとも１つのピクチャの元の画像分解能に等しく、前記フィルタリングされた少なくとも１つの参照ピクチャは、適応型フィルタリングにより、前記少なくとも１つの参照ピクチャに対して変更された少なくとも１つの整数画素を有し、前記少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、前記少なくとも１つのサンプルがインループ・フィルタに施された後に、又は、前記少なくとも１つのサンプルがインループ・フィルタに施されることがない状態でインター予測に使用されるピクチャである装置。
【請求項８】
方法であって、
マルチビュー・ビデオ内の現在ビューにおける少なくとも１つのピクチャを復号化する工程を含み、前記復号化する工程は、前記マルチビュー・ビデオ内の別のビューにおける少なくとも１つの参照ピクチャの適応的フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、前記フィルタリングされた少なくとも１つの参照ピクチャを使用して前記少なくとも１つのピクチャを予測復号化し、前記少なくとも１つのピクチャの画素は、前記少なくとも１つのピクチャと前記少なくとも１つの参照ピクチャとの間の視差情報に応じて別々の群に分類され、前記別々の群それぞれは、複数のフィルタのうちの１つに関連付けられ、前記分類は視差の範囲に応じ、前記フィルタリングされた少なくとも１つの参照ピクチャの分解能は前記少なくとも１つのピクチャの元の画像分解能に等しく、前記フィルタリングされた少なくとも１つの参照ピクチャは、適応型フィルタリングにより、前記少なくとも１つの参照ピクチャに対して変更された少なくとも１つの整数画素を有し、前記少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、前記少なくとも１つのサンプルがインループ・フィルタに施された後に、又は、前記少なくとも１つのサンプルがインループ・フィルタに施されることがない状態でインター予測に使用されるピクチャである方法。
【請求項９】
請求項７に記載の装置であって、前記少なくとも１つの参照ピクチャに施される対象のフィルタの数、及びフィルタ係数の少なくとも一方は、前記少なくとも１つの参照ピクチャ及び前記少なくとも１つのピクチャに対応する情報に基づいて求められる装置。
【請求項１０】
請求項８に記載の方法であって、前記少なくとも１つの参照ピクチャに施される対象のフィルタの数、及びフィルタ係数の少なくとも一方は、前記少なくとも１つの参照ピクチャ及び前記少なくとも１つのピクチャに対応する情報に基づいて求められる方法。
【請求項１１】
請求項９記載の装置であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する動き情報、視差情報、深度情報、強度情報、及び色情報の少なくとも１つを含む装置。
【請求項１２】
請求項１０記載の方法であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する動き情報、視差情報、深度情報、強度情報、及び色情報の少なくとも１つを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その全体を本明細書及び特許請求の範囲に援用する、西暦２００６年７月１８日付出願の米国特許仮出願第６０／８０７６４５号の利益を主張する。
【０００２】
本願の原理は一般に、ビデオの符号化及び復号化に関し、特に、適応的参照フィルタリングの方法及び装置に関する。
【背景技術】
【０００３】
現行の符号化器及び／又は復号化器の設計では、動き補償は、現行ブロックから予測ブロックを減算することにより、時間的冗長度を活用するために使用される。しかし、動き補償予測が効率的でない種々の状況が存在している。例えば、一状況には、符号化される対象の現行フレームと、参照フレームとの間の鮮鋭度／ぼやけの度合いに不一致が存在しているという場合がある。これは例えば、フォーカスの切り換え、ハンドヘルド装置によるカメラ・パン、及び／又は、シーン切り換えのためにもたらされる特殊効果によって生じ得る。前述の現象は多くの場合、カメラがまず一文字上にフォーカスされ、次いで、そのフォーカスを別の文字に移すと、２つの文字が、異なるシーン／フォーカス深度で現れるドラマにおいてみることが可能である。第１の人が参照フレーム内でより鮮鋭にみえる一方、第２の人は参照フレーム内でぼやけてみえる。本明細書及び特許請求の範囲では、通常の単一ビュー・ビデオ符号化におけるこのフォーカス切り換えの例を「ケース１」として表す。
【０００４】
予測信号の品質を劣化させる不一致の別のソースは、マルチビュー・ビデオ系列において現れる。マルチビュー・ビデオ符号化システムでは、シーンは、別々の視点から複数のカメラにより、同時にキャプチャされる。視差補償をビュー単位で施して別々のビュー・ピクチャ間の冗長度を活用する。より高い符号化効率は、各ビューを独立に符号化することと比較して、動き補償及び視差補償を行うことによって達成することが可能である。
マルチビュー・ビデオ・システムは、混成カメラ、又は完全に校正されていないカメラによって構築することができる。これは、例えば、別々のビュー間のフォーカスの不一致、及び／又は、色の不一致、照度の不一致などの視差につながる。ビュー間の視差補償の効率は、前述の不一致によって低下し得る。更に、深度が異なる物体は、２つのビュー間の各種の不一致を有し得る。例えば、ビュー２が物体Ｂと焦点が合っていることがあり得る一方で、ビュー１の物体Ａは焦点が合っていることがあり得る。ビュー１からビュー２への視差補償を行うために、物体Ａが参照フレーム内でより鮮鋭である一方、物体Ｂはぼやけている。本明細書及び特許請求の範囲では、マルチビュー・システムにおける前述のカメラ・フォーカス不一致を「ケース２」として表す。
【０００５】
適応的参照フレーム・フィルタリングに関する従来の文献の大半は、動き補償のためのサブ画素参照を生成することに注力している。
【０００６】
例えば、従来の一適応的補間フィルタリング手法では、適応的補間フィルタがフレーム単位で提案されている。国際標準化機構／国際電気会議（ＩＳＯ／ＩＥＣ）動画像専門家グループ４（ＭＰＥＧ−４）パート１０高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以降、「ＭＰＥＧ−４  ＡＶＣ標準」と呼ぶ）に対応する固定６タップ・フィルタにより、補間参照フレームを使用して動きベクトルを得た後、適応的補間フィルタの係数は、差分二乗和（ＳＳＤ）又は差分絶対値和（ＳＡＤ）などの照合誤差尺度を最小にすることによって算出される。適応型フィルタは、補間参照ピクチャを生成するために使用される。これは次いで、動き補償のために使用される。上記処理は、新たに補間されたサブ画素参照で、更なる動き補償を行うものでない。フィルタ設計は、垂直方向及び水平方向に分離可能であるよう制約され、双線形フィルタで縦続される。
【０００７】
前述の適応的補間フィルタリング手法に対する改良では、別の手法では、まず、標準的な補間フィルタにより、動きベクトルを得る。動きベクトルのサブ画素部分に応じて、種々の補間フィルタが、種々のサブ画素位置について設計される。使用されるフィルタは、分離可能でない２次元のものであり、解く係数の数を削減するために対称の特定の制約がある。第２の動き推定／補償を前述の新たなフィルタによって行って、サブ画素参照を生成する。
【０００８】
適応的補間フィルタリングに関する前述の従来技術の手法では、補間が、元のデータ・ポイントを変わらない状態に留めるにつれ、参照フレーム内の整数画素は変わらない状態に留まる。しかし、前述の手法は、固有の視差を有する予測ビデオ符号化の場合、効率的でないことがあり得る。
【０００９】
ぼやけ補償を使用したビデオ圧縮の従来技術の手法では、ぼかしフィルタを使用して、ぼかされた参照フレームを生成することが提案される。しかし、前述の手法は、現行フレームが、参照フレームのぼやけたバージョンであるが、逆でない場合にのみ、関係する。符号化器によって選択することができるフィルタの組は予め定義されている。これは、適応型フィルタ設計手法と比較して、非常に制限的であり、最適以下である。更に、符号化する対象のフレーム毎に、所定の組からの一フィルタのみが、フレームレベルのレート削減に基づいて選択される。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来技術の前述並びに他の欠点は、適応的参照フィルタリングの方法及び装置に関する本願の原理によって解決される。
【課題を解決するための手段】
【００１１】
本願の原理の一局面によれば、装置が提供される。装置は、少なくとも１つのピクチャを符号化する符号化器を含む。符号化器は、少なくとも１つの参照ピクチャの適応型フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、フィルタリングされた参照ピクチャを使用した、少なくとも１つのピクチャを予測符号化する。少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、ループ内フィルタに施される少なくとも一サンプルに後続したインター予測、又は、ループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャである。
【００１２】
本願の原理の別の局面によれば、方法が提供される。方法は、少なくとも一ピクチャを符号化する工程を含む。符号化する工程は、少なくとも１つの参照ピクチャの適応型フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、フィルタリングされた参照ピクチャを使用して、少なくとも１つのピクチャを予測符号化する。少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、ループ内フィルタに施される少なくとも一サンプルに後続したインター予測、又は、ループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャである。
【００１３】
本願の原理の更に別の局面によれば、装置が提供される。装置は、少なくとも１つのピクチャを復号化する復号化器を含む。復号化器は、少なくとも一参照ピクチャの適応型フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、フィルタリングされた少なくとも１つの参照ピクチャを使用して少なくとも一ピクチャを予測復号化する。少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、ループ内フィルタに施される少なくとも一サンプルに後続したインター予測、又は、ループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャである。
【００１４】
本願の原理の更に別の局面によれば、方法が提供される。方法は、少なくとも一ピクチャを復号化する工程を含む。復号化する工程は、少なくとも１つの参照ピクチャの適応型フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、フィルタリングされた参照ピクチャを使用して、少なくとも１つのピクチャを予測復号化する工程を含む。少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、ループ内フィルタに施される少なくとも一サンプルに後続したインター予測、又は、ループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャである。
【図面の簡単な説明】
【００１５】
【図１】本願の原理の実施例による、適応的参照フィルタリングを備えた例示的なマルチビュー・ビデオ符号化（ＭＶＣ）符号化器のブロック図である。
【図２】本願の原理の実施例による、適応的参照フィルタリングを備えた例示的なマルチビュー・ビデオ符号化（ＭＶＣ）復号化器のブロック図である。
【図３】本願の原理の実施例による、符号化器における適応型フィルタを推定する例示的な方法のフロー図である。
【図４】本願の原理の実施例による、復号化器における適応型フィルタを推定する例示的な方法のフロー図である。
【発明を実施するための形態】
【００１６】
本願の原理の前述並びに他の局面、特徴及び利点は、添付図面に関して読まれる、例示的な実施例の以下の更に詳細な説明から明らかになるであろう。
【００１７】
本願の原理は、例示的な図によって、より詳細に理解することができる。
【実施例】
【００１８】
本願の原理は、適応的参照フィルタリングの方法及び装置に関する。
【００１９】
本明細書は、本願の原理を例証する。よって、本明細書及び特許請求の範囲に明記又は明示されていないが、本願の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を当業者が考え出すことができるであろう。
【００２０】
本明細書及び特許請求の範囲記載の例及び条件付き文言は全て、当該技術分野を進歩させるために本発明者が寄与する本願の原理及び概念を読み手が理解することを支援するための教育的な目的を意図しており、前述の特に記載された例及び条件に限定することなく、解釈されるものとする。
【００２１】
更に、本願の原理、局面及び実施例、並びにその具体例を記載した、本明細書及び特許請求の範囲内の提示は全て、その構造的な均等物及び機能的な均等物を包含することが意図されている。更に、現在知られている均等物、及び、将来において開発される均等物（すなわち、構造に係わらず、同じ機能を行う、開発される何れかの構成要素）を前述の均等物が含むことが意図されている。
【００２２】
よって、例えば、本明細書記載のブロック図が、本願の原理を実施する例証的な回路の概念図を表すことが当業者によって認識されるであろう。同様に、コンピュータ又はプロセッサを明示しているか否かに係わらず、コンピュータ読み取り可能な媒体において実質的に表し、よって、コンピュータ又はプロセッサによって実行することができる種々の処理を、何れかのフローチャート、フロー図、状態遷移図、疑似コード等が表すことが認識されるであろう。
【００２３】
図に示す種々の構成要素の機能は、専用ハードウェア、並びに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することによって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は一部は共有され得る複数の個々のプロセッサによって備えることができる。更に、「プロセッサ」又は「コントローラ」の語を明示的に用いていることは、ソフトウェアを実行することができるハードウェアを排他的に表していると解されないものとし、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するリード・オンリー・メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、及び不揮発性記憶装置を限定なしで暗黙的に含み得る。
【００２４】
他のハードウェア（通常のハードウェア及び／又はカスタム）も含むことができる。同様に、図に示すスイッチは何れも、概念的なものに過ぎない。その機能は、プログラム・ロジックの処理によって、専用ロジックによって、プログラム制御と専用ロジックとの相互作用によって行うことができ、又は手作業によっても行うことができる。具体的な手法は、意味合いから、より具体的に理解されるように実施者によって選択可能である。
【００２５】
本願の特許請求の範囲では、特定された機能を行う手段として記載された構成要素は何れも、前述の機能を行う何れかの手段（例えば、ａ）その機能を行う回路要素の組み合わせ、ｂ）何れかの形態のソフトウェア（よって、上記ソフトウェアを実行して上記機能を行うために適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む）を含む）を包含することが意図されている。前述の特許請求の範囲記載の本願の原理は、特許請求の範囲が要求するやり方で、記載された種々の手段によって提供される機能が組み合わせられ、集約されることにある。よって、前述の機能を提供することが可能な如何なる手段も、本明細書及び特許請求の範囲記載のものと均等であるものとする。
【００２６】
本明細書において本願の原理の「ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ」又は「ａｎ  ｅｍｂｏｄｉｍｅｎｔ」に言及していることは、実施例に関して説明する特定の特徴、構造又は特性等が本願の原理の少なくとも１つの実施例に含まれていることを意味している。よって、本明細書を通して種々の箇所に存在している句「ｉｎ  ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎ  ａ  ｅｍｂｏｄｉｍｅｎｔ」は必ずしもその全てが同じ実施例を表している訳でない。
【００２７】
更に、本願の原理の１つ又は複数の実施例を本明細書及び特許請求の範囲において、ＭＰＥＧ―４ＡＶＣ標準に関して記載しているが、本願の原理は、この標準のみに限定されず、よって、本願の原理を維持しながら、ＭＰＥＧ−４  ＡＶＣ標準の拡張を含む、動き及び／視差補償が施されるその他のビデオ符号化標準、勧告、及び拡張に関して利用することができる。
【００２８】
本明細書及び特許請求の範囲では、「参照ピクチャ」の語は、サンプルがループ内フィルタ（例えば、デブロッキング・フィルタなど）に施された後の、又は前述のループ内フィルタが何ら施されない場合の使用のためにサンプルが得られるピクチャを表す。
【００２９】
図１に移れば、適応的参照フィルタリングを備えた例示的なマルチビュー・ビデオ符号化（ＭＶＣ）符号化器は全体を参照符号１００で示す。符号化器１００は、変換器１１０の入力と信号通信で接続された出力を有する合成器１０５を含む。変換器１１０の出力は、量子化器１１５の入力と信号通信で接続される。量子化器１１５の出力は、エントロピ符号化器１２０の第１の入力及び逆量子化器１２５の入力と信号通信で接続される。逆量子化器１２５の出力は、逆変換器１３０の入力と信号通信で接続される。逆変換器１３０の出力は、合成器１３５の第１の非反転入力と信号通信で接続される。合成器１３５の出力は、デブロッキング・フィルタ１５０の入力と信号通信で接続される。デブロッキング・フィルタ１５０の出力は、復号化参照ピクチャ記憶装置１５５の入力と信号通信で接続される。復号化参照ピクチャ記憶装置１５５の出力は、適応型フィルタ推定器１７０の第１の入力及び参照ピクチャ・フィルタ１６５の第１の入力と信号通信で接続される。適応型フィルタ推定器１７０は、参照ピクチャ・フィルタ１６５の第２の入力及びエントロピ符号化器１２０の第３の入力と信号通信で接続される。参照ピクチャ・フィルタ１６５の出力は、フィルタリングされた参照ピクチャ記憶装置１６０の入力と信号通信で接続される。フィルタリングされた参照ピクチャ記憶装置１６０の出力は、動き／視差補償器１７５の第１の入力及び動き／視差推定器１８０の第１の入力と信号通信で接続される。動き／視差推定器１８０の出力は、動き／視差補償器の入力及びエントロピ符号化器１２０の第２の入力と信号通信で接続される。動き／視差補償器１７５の出力は、合成器１０５の反転入力、及び合成器１３５の非反転入力と信号通信で接続される。合成器１０５の非反転入力、動き／視差推定器１８０の第２の入力、及び適応型フィルタ推定器１７０の第２の入力は符号化器１００への入力として利用可能である。エントロピ符号化器１２０の出力は、符号化器１００への出力として利用可能である。
【００３０】
図２に移れば、適応的参照フィルタリングを備えた例示的なマルチビュー・ビデオ符号化（ＭＶＣ）復号化器の全体を参照符号２００で示す。復号化器２００は、逆量子化器２１０の入力と信号通信で接続された第１の出力を有するエントロピ復号化器２０５を含む。逆量子化器２１０の出力は、逆変換器２１５の入力と信号通信で接続される。逆変換器２１５の出力は、合成器２２０の第１の非反転入力と信号通信で接続される。合成器２２０の出力はデブロッキング・フィルタ２２５の入力と信号通信で接続される。デブロッキング・フィルタ２２５の出力は、復号化参照ピクチャ記憶装置２３０の入力と信号通信で接続される。復号化参照ピクチャ記憶装置２３０の出力は、参照ピクチャ・フィルタ２３５の第１の入力と信号通信で接続される。参照ピクチャ・フィルタ２３５の出力は、フィルタリングされた参照ピクチャ記憶装置２４０の入力と信号通信で接続される。フィルタリングされた参照ピクチャ記憶装置２４０の出力は、動き／視差補償器２４５の第１の入力と信号通信で接続される。動き／視差補償器２４５の出力は、合成器２２０の第２の非反転入力と接続される。エントロピ復号化器２０５の第２の出力は、参照ピクチャ・フィルタ２３５の第２の入力と信号通信で接続される。エントロピ復号化器２０５の第３の出力は動き／視差補償器２４５の第２の入力と信号通信で接続される。エントロピ復号化器２０５の入力は復号化器２００の入力として利用可能である。デブロッキング・フィルタ２２５の出力は復号化器２００の出力として利用可能である。
【００３１】
本願の原理により、適応的参照フィルタリングのための方法及び装置が提供される。効果的には、本明細書及び特許請求の範囲記載の方法及び装置は、適応的参照フィルタリングに対する従来技術の手法よりも、予測ビデオ符号化の場合、少なくとも本明細書で後述する理由で、より好適な予測信号を供給する。
【００３２】
一実施例では、複数のフィルタは、画像の別々の部分における種々の不一致を解消するよう適応的に企図される。
【００３３】
一実施例では、参照ピクチャ、及び符号化する対象の現行ピクチャに基づいて、フィルタの組は、前述の２つのピクチャ間の不一致を補償するよう適応的に算出される。計算されたフィルタは次いで、予測に使用される前に参照ピクチャに施される。例えば、フィルタ動作を、元のサンプリング・グリッド上の復号化参照ピクチャに施して、参照ピクチャのフィルタリングされたバージョンを生成する。前述のフィルタは、フィルタリングされた画素を有する新たな参照を生成して、予測ビデオ符号化のより好適な予測をもたらす。
【００３４】
例えば、参照フレーム自体に対するフィルタリングは、鮮鋭度／ぼやけ度合いの不一致などの不一致をより好適に補償することができる。更に、適応的参照フィルタリングが、元の画像分解能に施されるので、適応的補間フィルタリングよりも計算上の利点を有する。
【００３５】
サブ画素参照の場合、例示的な２つの手法を提供する。一方の手法は、標準ＡＶＣ補間フィルタにより、しかし、前述のように得られた新たな参照ピクチャからの画素に基づいてサブ画素を生成するというものである。他方の手法は、適応型フィルタを使用してサブ画素参照を生成するというものである。
【００３６】
本願の原理は効果的には、通常の単一ビュー・ビデオ符号化における動き補償予測、及びマルチビュー・ビデオ符号化（ＭＶＣ）における視差補償予測に施すことができる。本願の原理の実施例による一例として、上記手法を、マルチビュー・ビデオ符号化におけるビュー間予測に施す。ここでは、視差情報は、フィルタ数を求め、フィルタ係数を算出するうえでのヒントとして使用される。この手法は、通常のビデオ符号化における、変動するぼやけ度合い及び／又は変動する被写界深度を補償するためにも使用することができる。
【００３７】
本願の原理によって使用することができるフィルタのタイプに関し、本願の原理の１つ又は複数の実施例を有限インパルス応答（ＦＩＲ）線形フィルタに関して説明しているが、これらに限られないが、無限インパルス応答（ＨＲ）フィルタ及び非線形フィルタを含む他のタイプのフィルタも、本願の原理の趣旨を維持しながら使用することもできる。更に、複数の復号化参照ピクチャを伴う３次元フィルタなどのフィルタの設計において、時間的手法をみなすことが可能である。
【００３８】
適応型フィルタが推定された後、実際のフィルタリング動作を局所ベースで実行中に動き／視差補償処理の間に施すことが可能であるか、又は参照ピクチャ全体をまず、フィルタリングし、補償に使用する前に記憶することが可能である。
【００３９】
一実施例では、符号化処理中に、１つ又は複数のフィルタは、画像の種々の部分における種々の不一致を補償するためのクラスタリング／セグメンテーション・アルゴリズムによって適応的に設計される。動き／視差補償は、フィルタリングされた参照フレームで行うことが可能である。フレーム毎のフィルタ係数、及び、特定フレーム内のブロック毎のフィルタの選択は、正しく再構成するために復号化器に送信される。本願の適応型フィルタのフィルタ係数は、効率の向上のために差分符号化することが可能である。本明細書及び特許請求の範囲記載の参照ピクチャ管理手法を使用してブロック・レベル・フィルタ選択を通知することができる。ＭＰＥＧ−４  ＡＶＣ標準に関する特定の実施例では、それに対応する参照索引化機構は、特定のブロックの符号化のためにどのフィルタを使用するかを通知する目的で使用することが可能である。復号化器については、受け取られた係数を備えた適応型フィルタが生成される。対応する新たな参照を次いで生成して、ビデオ系列を適切に復号化する。
【００４０】
一実施例によれば、適応型フィルタ推定は、２つの工程（すなわち、フィルタ関連付け工程及びフィルタ決定工程）を含む。
【００４１】
フィルタ関連付け工程に関しては、複数のフィルタを参照ピクチャ毎にイネーブルして、画像の別々の部分における種々の不一致をモデリングする。その目的で、現行ピクチャがいくつかの群にセグメント化される。各群は、後に推定される対象の一適応型フィルタと関連付けられる。セグメンテーションは、いくつかの入力に基づいて達成することが可能である。例示的な入力は、これらに限られないが、動き情報、視差情報、局所信号特性、及び予測信号特性を含む。フィルタ関連付けのためのブロック・セグメンテーションの特定の一実施例は、フォアグランドをバックグランドと分離し、次いで、フォアグランド及びバックグランドを２つのフィルタと関連付けるというものである。群の部分化の任意の後処理工程を施してフィルタ関連付け結果を向上させることが可能である。例えば、フィルタ関連付け処理は、画像をセグメント化し過ぎ、その結果、多すぎるフィルタが生じ得る。これらは更に、任意の後処理工程で、より少ない数のフィルタに更にクラスタ化することが可能である。
【００４２】
フィルタ決定に関しては、先行する（フィルタ関連付け）工程から得られたサブピクチャ群毎に、フィルタ係数が、予測エラーのコスト関数を最小にすることにより、算出される。現行フィルタに関連付けられた画素のみが、推定処理において関係する。コスト関数は、例えば、差分二乗和（ＳＳＤ）及び／又は差分絶対値和（ＳＡＤ）などの絶対画素差分の非増加関数であり得る。
【００４３】
図３に移れば、符号化器において適応型フィルタを推定する例示的な方法は全体を参照符号３００で示す。
【００４４】
方法３００は、制御を機能ブロック３１０に渡す開始ブロック３０５を含む。機能ブロック３１０は、参照リスト構成を行い、制御を判定ブロック３１５に渡す。判定ブロック３１５は、ＶＲＰがイネーブルされているか否かを決定する。肯定の場合、制御は機能ブロック３２０に渡される。さもなければ、制御は機能ブロック３３５に渡される。
【００４５】
機能ブロック３２０はフィルタ関連付けを行い、制御を機能ブロック３２５に渡す。機能ブロック３２５がフィルタ決定を行い、制御を機能ブロック３３０に渡す。機能ブロック３３０は参照ピクチャ・フィルタリングを行い、制御を機能ブロック３３５に渡す。
【００４６】
機能ブロック３３５はＶＲＰがイネーブルされているか否かを通知し、肯定の場合、ＶＲＰ生成のための信号も通知し、次いで、制御を機能ブロック３４０に渡す。機能ブロック３４０は現行ピクチャを符号化し、制御を終了ブロック３３９に渡す。
【００４７】
機能ブロック３２０によって行われるフィルタ関連付けには、（例えば、動き情報、視差情報、局所信号特性、及び予測信号測定に基づいて）いくつかの群に現行ピクチャをセグメント化し、各群を一フィルタと関連付け、任意的には、後処理クラスタリング工程を行うことにより、参照ピクチャ毎に複数のフィルタをイネーブルすることが関係し得る。
【００４８】
機能ブロック３２５で行われるフィルタ決定には、例えば、サブピクチャ群毎に、予測エラーのためのコスト関数（例えば、ＳＳＤ及び／又はＳＡＤ）を最小にすることにより、フィルタ係数を算出する工程が関係し得る。
【００４９】
図４に移れば、復号化器において適応型フィルタを推定する例示的な方法は全体を参照符号４００で示す。
【００５０】
方法４００は、機能ブロック４１０に制御を渡す開始ブロック４０５を含む。機能ブロック４１０は、ＶＲＰがイネーブルされているかを判定し、肯定の場合、ＶＲＰ生成のためのパラメータを求め、次いで、制御を機能ブロック４１５に渡す。機能ブロック４１５は参照リスト構成を行い、制御を判定ブロック４２０に渡す。判定ブロック４２０は、ＶＲＰがイネーブルされているか否かを判定する。肯定の場合、制御は機能ブロック４２５に渡される。さもなければ、制御は機能ブロック４３０に渡される。
【００５１】
機能ブロック４２５は、参照ピクチャ・フィルタリングを行い、制御を機能ブロック４３０に渡す。
【００５２】
機能ブロック４３０は現行ピクチャを復号化し、制御を終了ブロック４９９に渡す。  
ＭＶＣにおけるビュー間予測のための適応的参照フィルタリング
本明細書及び特許請求の範囲記載の方法及び装置は、動き補償及び／又は視差補償を備えたビデオ符号化システムに使用することができる。マルチビュー・ビデオ符号化（ＭＶＣ）では、視差補償は、他のビューからの復号化ピクチャを利用して現在ビューのピクチャを予測する。マルチビュー・ビデオ符号化システムにおける、均一の、かつ／又は完全に校正されている訳でないカメラは潜在的には、ビュー間でより大きな量の不一致をもたらし得る。更に、不一致の度合い及び特性は、シーンの別々の部分について異なり得る。上記ケース２記載のフォーカス不一致問題の場合、種々の鮮鋭度／ぼやけ度合いの不整合が、深度が異なる物体に現れる。マルチビュー・ビデオ符号化に関する一実施例では、視差の場を使用して複数のフィルタを適応的に設計することが可能である。
【００５３】
前述の通り、複数のフィルタを参照フィルタリングにおいて使用することにより、シーン深度が異なる物体の種々の不一致を補償することが可能である。マルチビュー・ビデオ符号化システムにおける２つのビューからの画像対の場合、カメラにより近い物体（より短い深度）は、より大きな視差を有する一方、より遠くの物体（より長い深度）は、より小さな視差を有する。この特性を一実施例において、深度が異なる物体を関連付けるために考えられる１つのやり方として使用される。これには、それらの深度をみて、その相対視差に応じて関連付けを行うことが関係する。
【００５４】
一実施例では、異なる深度レベル内の物体を識別し、次いで、種々の深度レベルについてフィルタ係数を算出する。視差情報により、種々の手法を使用して、深度レベルが異なる物体を識別し、種々の深度レベルのフィルタ係数を算出することが可能である。高度な手法を使用して画素レベルで高精度の／平滑な視差マップを求める、コンピュータ視覚における先行技術の成果の大半と違って、本願では、物体を別々の深度群に分類するための特定の視差範囲を求めようとしている。単純化及び例証の目的で、一実施例では、初期視差補償から得られたブロック単位視差ベクトルのｘ成分に基づいたクラスタリング手法を示す。この手法は、同じ水平線上に配置されたカメラを備えたマルチビュー・システムに適している。カメラ・アレイなどの２次元のカメラ配置の場合、クラスタリングは、視差ベクトルのｘ方向及びｙ方向に延ばすことができる。
【００５５】
視差ベクトルを使用したブロック・セグメンテーションを達成するために、一実施例では、ガウス混合モデル（ＧＭＭ）を使用したクラスタリング手法を提案する。ＧＭＭクラスタリングを達成するよう期待値最大化アルゴリズム（ＥＭアルゴリズム）を施すことができる。この手法は、複数のガウス分布により、視差ベクトルのｘ成分のヒストグラムをモデリングする。これは、各ガウス成分の平均、分散、及び事前確率をもたらす。
【００５６】
ガウス混合モデルを使用する利点はいくつか存在している。前述の利点のいくつかを次に説明する。
【００５７】
ガウス混合モデルの使用の一利点に関し、ビデオ符号化における視差推定／補償は一般に、最低レート・歪みコストの照合を選択することによって達成される。得られた視差ベクトルが、物体の実際の変位を反映していないことがあり得る確率が存在している。ＧＭＭは、前述のランダムな高雑音ベクトルを、通常、分散が非常に大きく、事前確率が非常に小さなガウス曲線にモデリングことができる。前述のガウス成分を混合モデルから除去することにより、雑音に対するクラスタリングの耐性がより大きくなる。
【００５８】
ガウス成分毎に平均及び分散が規定されたガウス混合モデルを使用する別の利点に関しては、視差ベクトルを、より高い確信度（例えば、平均±一標準偏差）で別々の群にマッピングするための間隔を求めることが可能である。
【００５９】
ガウス混合モデルを使用する更に別の利点に関しては、より大きな分散を有するガウスは、形状がより鮮鋭な他のガウスと重なるという点で大きすぎる一定範囲の視差を包含し得る。これは、別々のガウス成分の平均の場所をみて、平均を分散及び事前確率と組み合わせることにより、容易に検査することが可能である。各群に関連付けられた視差範囲は次いで、相応に調節することが可能である。
【００６０】
視差ベクトルが深度群にクラスタリングされた後、複数のフィルタが次いで、種々の群と関連付けられた画像ブロックに基づいて算出される。一実施例では、この手順は、深度群ＤＧｉ毎に、以下のように二乗予測誤差を最小にすることにより、係数を備えたフィルタを算出する。
【００６１】
【数１】
0005535625.tif 000002
式（１）では、Ｃは符号化する対象の現行フレームであり、
【数２】
0005535625.tif 000003
は、再構成された参照フレームである。サブスクリプト・インデクスは画素位置を表す。（ｄｘ，ｄｙ）は初期視差ベクトルの整数部分である。式（１）は、各ｈｉｊの導関数を得ることにより、解くことが可能である。
【００６２】
一実施例によれば、２次元の分離可能でないフィルタを使用する。しかし、本明細書及び特許請求の範囲記載の本願の原理の教示があれば、前述及び関連する技術分野における当業者は、本願の原理の趣旨を維持しながら、本願の原理によって使用することができる前述及び各種フィルタを考え出す。２次元の分離可能でないフィルタのサイズ及び形状は、ｍ及びｎの値を変更することにより、容易に特定することが可能である。例えば、ｍ＝ｎ＝２の場合、フィルタは、二乗５×５フィルタ（中心が、フィルタリングする対象の画素に位置する）である。（±２，±２）ウィンドウ内の加重画素和を得て参照フレームをフィルタリングする。実際の整数画素をフィルタリングして、視差補償のために参照の別のバージョンを生成するという意味でフィルタは、参照フレームを処理する。
【００６３】
適応型フィルタを施すことにより得られた新たな参照によれば、第２の視差補償が行われる。視差推定は次いで、別々のフィルタによって生成された複数の参照のうちで最善の一致を求めてサーチする。フィルタ係数は、符号化効率の向上のために差分符号化することができる。マルチビュー・ビデオ符号化システムからの２つのビューがあれば、前述の２つのカメラにおける固有の不一致は、経時的にすばやく変動する訳でないはずである。現在の時間スタンプにおける係数、及び先行時間スタンプにおける係数を差分符号化することが可能である。ブロックベース・フィルタ選択の通知の場合、参照索引化機構は、ＭＰＥＧ−４  ＡＶＣ標準に基づいた実施例に使用することが可能である。
【００６４】
単一ビューのビデオ符号化における適応的フィルタリング
フォーカスの切り換えを伴うビデオの場合（上述した「ケース１」の場合）、一実施例では、局所ベースの設計手法を施すことが可能である。当初、複数のフィルタを、画像の別々の部分について局所に算出することができる。別々の物体を識別するために十分な情報を動きが提供することがない場合があるので、パーティションが十分小さい場合、局所効果をキャプチャする。前述のクラスタを更に併せてクラスタ化して群を形成することが可能である。その後、各群は、対応する信号ブロックを使用してそれ自身のフィルタを計算する。
【００６５】
次に、一部は前述した本発明の多くの付随的な利点／特徴の一部を説明する。例えば、一利点／特徴は、少なくとも１つのピクチャを符号化する符号化器を含む装置であり、符号化器は、少なくとも１つの参照ピクチャの適応的フィルタリングを行って、少なくとも１つのフィルタリングされた参照ピクチャを取得し、少なくとも１つのフィルタリングされた参照ピクチャを使用して少なくとも１つのピクチャを予測符号化する。少なくとも１つの参照ピクチャは、その少なくとも１つのサンプルが、ループ内フィルタに施される少なくとも一サンプルに後続したインター予測、又は、ループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャである。
【００６６】
別の利点／特徴は、上記符号化器を有する装置であり、符号化器は、少なくとも１つのピクチャ及び少なくとも１つの参照ピクチャに対応する情報に基づいて少なくとも１つの参照ピクチャに施す対象のフィルタ係数及びフィルタ数の少なくとも一方を適応的に求める。
【００６７】
更に別の利点／特徴は、上記のように施す対象のフィルタ係数及びフィルタ数を適応的に求める符号化器を有する装置である。情報は、少なくとも１つのピクチャ及び少なくとも１つの参照ピクチャに対応する動き情報及び視差情報の少なくとも一方を含む。
【００６８】
更に、別の利点／特徴は、上記のように施す対象のフィルタ係数及びフィルタ数を適応的に求める符号化器を有する装置である。情報は、少なくとも１つのピクチャ及び少なくとも１つの参照ピクチャに対応する強度情報及び色情報の少なくとも一方を含む。
【００６９】
更に、別の利点／特徴は、上記のように施す対象のフィルタ係数及びフィルタ数を適応的に求める符号化器を有する装置であり、情報はクラスタリング手法及びセグメンテーション手法の少なくとも一方を使用して得られる。
【００７０】
更に、別の利点／特徴は、符号化器を有する装置であり、情報は、上記のような、クラスタリング手法及びセグメンテーション手法の少なくとも一方を使用して得られ、クラスタリング手法及びセグメンテーション手法の少なくとも一方は、期待値最大化手法に基づく。
【００７１】
更に、別の利点／特徴は、符号化器を有する装置であり、情報は、上記のような、クラスタリング手法及びセグメンテーション手法の少なくとも一方を使用して得られ、クラスタリング手法及びセグメンテーション手法の少なくとも一方は、ガウス混合モデルに基づく。
【００７２】
更に、別の利点／特徴は、上記符号化器を有する装置であり、符号化器は、少なくとも一ピクチャの別々の部分を複数のフィルタと関連付けて、少なくとも１つのピクチャの別々の部分における種々の不一致を捕捉する。
【００７３】
更に、別の利点／特徴は、上記符号化器を有する装置であり、符号化器は、少なくとも１つの適応型フィルタを使用して、少なくとも１つのフィルタリングされた参照ピクチャの整数画素及びサブ画素の少なくとも一方を生成する。
【００７４】
更に、別の利点／特徴は、上記符号化器を有する装置であり、前記符号化器は、符号化器の空間構造及び時間構造の少なくとも一方に基づいて少なくとも１つの参照ピクチャの適応的フィルタリングのフィルタ係数を差分符号化する。
【００７５】
更に、別の利点／特徴は、上記符号化器を有する装置であり、符号化器は、少なくとも１つのフィルタリングされた参照ピクチャのうちの複数のものをイネーブルし、少なくとも１つのフィルタリングされた参照ピクチャのうちの複数のものの１つ又は複数を画像ブロック・ベースで適応的に利用する。
【００７６】
更に、別の利点／特徴は、上記符号化器を有する装置であり、適応的フィルタリングにおいて使用される１つ又は複数のフィルタは、一次元、二次元及び三次元のうちの１つである。
【００７７】
本願の原理の前述並びに他の特徴及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて当業者によって容易に確認することができる。本願の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向プロセッサ、又はこれらの組み合わせの種々の形態で実現することができる。
【００７８】
最も好ましくは、本願の原理の教示はハードウェア及びソフトウェアの組み合わせとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを備えるマシンにアップロードすることができ、前述のマシンによって実行することができる。好ましくは、マシンは、ハードウェア（１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や入出力（「Ｉ／Ｏ」）インタフェースなど）を有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部若しくはアプリケーション・プログラムの一部、又はそれらの何れかの組み合わせであり得る。更に、種々の他の周辺装置（更なるデータ記憶装置や印刷装置など）をコンピュータ・プラットフォームに接続することができる。
【００７９】
更に、添付図面に表した構成システム部分及び構成方法の一部は好ましくはソフトウェアで実現されるので、システム構成部分間又は処理機能ブロック間の実際の接続は、本願の原理がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲に記載の教示があれば、当業者は、本願の原理の前述の、及び同様な実現形態又は構成を考え出すことができるであろう。
【００８０】
添付図面を参照して例証的な実施例を本明細書及び特許請求の範囲において説明してきたが、本願の原理は前述のまさにその実施例に限定されるものでなく、本願の原理の範囲又は趣旨から逸脱しない限り、当業者によって種々の変更及び修正を行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本願の原理の範囲内に含まれることが意図されている。
いくつかの態様を記載しておく。
〔態様１〕
装置であって、
少なくとも１つのピクチャを符号化する符号化器を備え、前記符号化器は、少なくとも１つの参照ピクチャの適応的フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、前記フィルタリングされた少なくとも１つの参照ピクチャを使用して前記少なくとも１つのピクチャを予測符号化し、前記少なくとも１つの参照ピクチャは、その少なくとも一サンプルが、ループ内フィルタに施される少なくとも一サンプルに後続するインター予測、又はループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用される装置。
〔態様２〕
態様１記載の装置であって、前記符号化器は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに基づいて前記少なくとも１つの参照ピクチャに施す対象のフィルタ係数及びフィルタ数の少なくとも一方を適応的に求める装置。
〔態様３〕
態様２記載の装置であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する動き情報及び視差情報の少なくとも一方を備える装置。
〔態様４〕
態様２記載の装置であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する強度情報及び色情報の少なくとも一方を備える装置。
〔態様５〕
態様２記載の装置であって、前記情報は、クラスタリング手法及びセグメンテーション手法の少なくとも一方を使用して得られる装置。
〔態様６〕
態様５記載の装置であって、前記クラスタリング手法及び前記セグメンテーション手法の少なくとも一方は、期待値最大化手法に基づく装置。
〔態様７〕
態様５記載の装置であって、前記クラスタリング手法及び前記セグメンテーション手法の少なくとも一方は、ガウス混合モデルに基づく装置。
〔態様８〕
態様１記載の装置であって、前記符号化器は、前記少なくとも１つのピクチャの別々の部分を複数のフィルタと関連付けて、前記少なくとも１つのピクチャの前記別々の部分における種々の不一致を捕捉する装置。
〔態様９〕
態様１記載の装置であって、前記符号化器は少なくとも１つの適応型フィルタを使用して、前記フィルタリングされた少なくとも１つの参照ピクチャの整数画素及びサブ画素の少なくとも一方を生成する装置。
〔態様１０〕
態様１記載の装置であって、前記符号化器は、前記符号化器の空間構造及び時間構造の少なくとも一方に基づいて前記少なくとも１つの参照ピクチャの前記適応的フィルタリングのフィルタ係数を差分符号化する装置。
〔態様１１〕
態様１記載の装置であって、前記符号化器は前記フィルタリングされた少なくとも１つの参照ピクチャのうちの複数の参照ピクチャをイネーブルし、画像ブロック・ベースで、前記フィルタリングされた少なくとも１つの参照ピクチャのうちの複数の参照ピクチャの１つ又は複数を利用する装置。
〔態様１２〕
態様１記載の装置であって、前記適応的フィルタリングに使用される１つ又は複数のフィルタは、１次元、２次元及び３次元のうちの１つである装置。
〔態様１３〕
方法であって、
少なくとも１つのピクチャを符号化する工程を含み、前記符号化する工程は、
少なくとも１つの参照ピクチャの適応的フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、前記フィルタリングされた少なくとも１つの参照ピクチャを使用して前記少なくとも１つのピクチャを予測符号化し、前記少なくとも１つの参照ピクチャは、その少なくとも一サンプルが、ループ内フィルタに施される少なくとも一サンプルに後続するインター予測、又はループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用される方法。
〔態様１４〕
態様１３記載の方法であって、前記符号化する工程は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する情報に基づいて前記少なくとも１つの参照ピクチャに施す対象のフィルタ係数及びフィルタ数の少なくとも一方を適応的に求める工程を含む方法。
〔態様１５〕
態様１４記載の方法であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する動き情報及び視差情報の少なくとも一方を含む方法。
〔態様１６〕
態様１４記載の方法であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する強度情報及び色情報の少なくとも一方を備える方法。
〔態様１７〕
態様１４記載の方法であって、前記情報は、クラスタリング手法及びセグメンテーション手法のうちの少なくとも一方を使用して得られる方法。
〔態様１８〕
態様１７記載の方法であって、前記クラスタリング手法及び前記セグメンテーション手法の少なくとも一方は、期待値最大化手法に基づく方法。
〔態様１９〕
態様１７記載の方法であって、前記クラスタリング手法及び前記セグメンテーション手法の少なくとも一方は、ガウス混合モデルに基づく方法。
〔態様２０〕
態様１３記載の方法であって、前記符号化する工程は、前記少なくとも１つのピクチャの別々の部分を複数のフィルタと関連付けて、前記少なくとも１つのピクチャの前記別々の部分における種々の不一致を捕捉する工程を含む方法。
〔態様２１〕
態様１３記載の方法であって、前記符号化する工程は少なくとも１つの適応型フィルタを使用して、前記フィルタリングされた少なくとも１つの参照ピクチャの整数画素及びサブ画素の少なくとも一方を生成する方法。
〔態様２２〕
態様１３記載の方法であって、前記方法は符号化器によって行われ、前記符号化する工程は、前記符号化器の空間構造及び時間構造の少なくとも一方に基づいて前記少なくとも１つの参照ピクチャの前記適応的フィルタリングのフィルタ係数を差分符号化する方法。
〔態様２３〕
態様１３記載の方法であって、前記符号化する工程は前記フィルタリングされた少なくとも１つの参照ピクチャのうちの複数の参照ピクチャをイネーブルし、画像ブロック・ベースで、前記フィルタリングされた少なくとも１つの参照ピクチャのうちの複数の参照ピクチャの１つ又は複数を利用する方法。
〔態様２４〕
態様１３記載の方法であって、前記適応的フィルタリングに使用される１つ又は複数のフィルタは、１次元、２次元及び３次元のうちの１つである方法。
〔態様２５〕
装置であって、
少なくとも１つのピクチャを復号化する復号化器を備え、前記復号化器は、少なくとも１つの参照ピクチャの適応的フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、前記フィルタリングされた少なくとも１つの参照ピクチャを使用して前記少なくとも１つのピクチャを予測復号化し、前記少なくとも１つの参照ピクチャは、その少なくとも一サンプルが、ループ内フィルタに施される少なくとも一サンプルに後続するインター予測、又はループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャである装置。
〔態様２６〕
態様２５記載の装置であって、前記復号化器は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する情報に基づいて前記少なくとも１つの参照ピクチャに施す対象のフィルタ係数及びフィルタ数の少なくとも一方を求める装置。
〔態様２７〕
態様２６記載の装置であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する動き情報及び視差情報の少なくとも一方を含む装置。
〔態様２８〕
態様２６記載の装置であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する強度情報及び色情報の少なくとも一方を含む装置。
〔態様２９〕
態様２５記載の装置であって、前記復号化器は、前記少なくとも１つのピクチャの別々の部分を複数のフィルタと関連付けて、前記少なくとも１つのピクチャの前記別々の部分における種々の不一致を捕捉する装置。
〔態様３０〕
態様２５記載の装置であって、前記復号化器は少なくとも１つの適応型フィルタを使用して、前記フィルタリングされた少なくとも１つの参照ピクチャの整数画素及びサブ画素の少なくとも一方を生成する装置。
〔態様３１〕
態様２５記載の装置であって、前記復号化器は、前記復号化器の空間構造及び時間構造の少なくとも一方に基づいて前記少なくとも１つの参照ピクチャの前記適応的フィルタリングのフィルタ係数を差分復号化する装置。
〔態様３２〕
態様２５記載の装置であって、前記復号化器は前記フィルタリングされた少なくとも１つの参照ピクチャのうちの複数の参照ピクチャをイネーブルし、画像ブロック・ベースで、前記フィルタリングされた少なくとも１つの参照ピクチャのうちの複数の参照ピクチャの１つ又は複数を利用する装置。
〔態様３３〕
態様２５記載の装置であって、前記適応的フィルタリングに使用される１つ又は複数のフィルタは、１次元、２次元及び３次元のうちの１つである装置。
〔態様３４〕
方法であって、
少なくとも１つのピクチャを復号化する工程を含み、前記復号化する工程は、
少なくとも１つの参照ピクチャの適応的フィルタリングを行って、フィルタリングされた少なくとも１つの参照ピクチャを取得し、前記フィルタリングされた少なくとも１つの参照ピクチャを使用して前記少なくとも１つのピクチャを予測復号化し、前記少なくとも１つの参照ピクチャは、その少なくとも一サンプルが、ループ内フィルタに施される少なくとも一サンプルに後続するインター予測、又はループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャである方法。
〔態様３５〕
態様３４記載の方法であって、前記復号化する工程は、
前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する情報に基づいて前記少なくとも１つの参照ピクチャに施す対象のフィルタ係数及びフィルタ数の少なくとも一方を求める工程を含む方法。
〔態様３６〕
態様３５記載の方法であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する動き情報及び視差情報の少なくとも一方を含む方法。
〔態様３７〕
態様３５記載の方法であって、前記情報は、前記少なくとも１つのピクチャ及び前記少なくとも１つの参照ピクチャに対応する強度情報及び色情報の少なくとも一方を備える方法。
〔態様３８〕
態様３４記載の方法であって、前記復号化する工程は、前記少なくとも１つのピクチャの別々の部分を複数のフィルタと関連付けて、前記少なくとも１つのピクチャの前記別々の部分における種々の不一致を捕捉する工程を含む方法。
〔態様３９〕
態様３４記載の方法であって、前記復号化する工程は少なくとも１つの適応型フィルタを使用して、前記フィルタリングされた少なくとも１つの参照ピクチャの整数画素及びサブ画素の少なくとも一方を生成する方法。
〔態様４０〕
態様３４記載の方法であって、前記方法は復号化器によって行われ、前記復号化する工程は、前記復号化器の空間構造及び時間構造の少なくとも一方に基づいて前記少なくとも１つの参照ピクチャの前記適応的フィルタリングのフィルタ係数を差分復号化する方法。
〔態様４１〕
態様３４記載の方法であって、前記復号化する工程は前記フィルタリングされた少なくとも１つの参照ピクチャのうちの複数の参照ピクチャをイネーブルし、画像ブロック・ベースで、前記フィルタリングされた少なくとも１つの参照ピクチャのうちの複数の参照ピクチャの１つ又は複数を利用する方法。
〔態様４２〕
態様３４記載の方法であって、前記適応的フィルタリングに使用される１つ又は複数のフィルタは、１次元、２次元及び３次元のうちの１つである方法。
〔態様４３〕
ビデオ符号化のためのビデオ信号構造であって、
フィルタリングされた少なくとも１つの参照ピクチャを取得するための少なくとも１つの参照ピクチャの適応的フィルタリング、及び、前記フィルタリングされた少なくとも１つの参照ピクチャを使用した、少なくとも１つのピクチャの予測符号化によって符号化された少なくとも１つのピクチャを含み、前記少なくとも１つの参照ピクチャは、その少なくとも一サンプルが、ループ内フィルタに施される少なくとも一サンプルに後続するインター予測、又はループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャであるビデオ信号構造。
〔態様４４〕
ビデオ信号データを符号化させた記憶媒体であって、
フィルタリングされた少なくとも１つの参照ピクチャを取得するための少なくとも１つの参照ピクチャの適応的フィルタリング、及び、前記フィルタリングされた少なくとも１つの参照ピクチャを使用した、少なくとも１つのピクチャの予測符号化によって符号化された少なくとも１つのピクチャを含み、前記少なくとも１つの参照ピクチャは、その少なくとも一サンプルが、ループ内フィルタに施される少なくとも一サンプルに後続するインター予測、又はループ内フィルタに施される少なくとも一サンプルがない状態のインター予測に使用されるピクチャである記憶媒体。
【図１】
0005535625.tif 000004
【図２】
0005535625.tif 000005
【図３】
0005535625.tif 000006
【図４】
0005535625.tif 000007