(57)【要約】  ターゲット領域の変位ベクトルを計算し、前記計算された変位ベクトルを用いてアンカー領域を決定し、設計されたフィルタを用いて、前記アンカー領域を線形的にフィルタリングしてターゲット領域を予測し、そして、前記予測されたターゲット領域を用いて予測エラーを生成する方法が本発明において開示される。【選択図】図６
2017507538.tif 000002
【特許請求の範囲】
【請求項１】
映像信号をエンコードする方法であって、
ターゲット領域の変位ベクトルを計算するステップと、
前記計算された変位ベクトルを用いてアンカー領域を決定するステップと、
設計されたフィルタを用いて、前記アンカー領域を線形的にフィルタリングしてターゲット領域を予測するステップと、
前記予測されたターゲット領域を用いて予測エラーを生成するステップと、
を含む、エンコード方法。
【請求項２】
前記設計されたフィルタは、フィルタカーネル成分及び変調スカラー成分に基づいて決定される、請求項１に記載のエンコード方法。
【請求項３】
前記変調スカラー成分は、歪み成分及びレート成分の合計を最小化するように決定される、請求項２に記載のエンコード方法。
【請求項４】
全てのインタ−ブロックに対する前記変調スカラー成分はデコーダに送信される、請求項２に記載のエンコード方法。
【請求項５】
前記フィルタカーネル成分は、選択的にデコーダに送信される、請求項２に記載のエンコード方法。
【請求項６】
前記アンカー領域が複数のサブ領域から成る場合、前記設計されたフィルタは、前記サブ領域の各々に対して生成される、請求項１に記載のエンコード方法。
【請求項７】
映像信号をデコードする方法であって、
フィルタパラメータ及びモーションパラメータを含む前記映像信号を受信するステップであって、前記フィルタパラメータは、変調スカラー成分を含む、ステップと、
前記モーションパラメータに基づいてアンカー領域を決定するステップと、
前記アンカー領域及び前記変調スカラー成分に基づいてターゲット領域を予測するステップと、
前記予測されたターゲット領域を用いて前記映像信号を復元するステップと、
を含む、デコード方法。
【請求項８】
前記変調スカラー成分は、歪み成分及びレート成分の合計を最小化するように決定されている、請求項７に記載のデコード方法。
【請求項９】
全てのインタ−ブロックに対する前記変調スカラー成分に基づいて前記ターゲット領域が予測される、請求項７に記載のデコード方法。
【請求項１０】
前記ターゲット領域は、前記変調スカラー成分及び予め決定されたフィルタカーネル成分に基づいて予測される、請求項７に記載のデコード方法。
【請求項１１】
映像信号をエンコードする装置であって、
ターゲット領域の変位ベクトルを計算し、前記計算された変位ベクトルを用いてアンカー領域を決定するように構成される予測部と、
設計されたフィルタを用いて、前記アンカー領域を線形的にフィルタリングしてターゲット領域を予測し、前記予測されたターゲット領域を用いて予測エラーを生成するように構成される予測フィルタリング部と、
を備える、エンコード装置。
【請求項１２】
前記設計されたフィルタは、フィルタカーネル成分及び変調スカラー成分に基づいて決定される、請求項１１に記載のエンコード装置。
【請求項１３】
前記変調スカラー成分は、歪み成分及びレート成分の合計を最小化するように決定される、請求項１２に記載のエンコード装置。
【請求項１４】
全てのインタ−ブロックに対する前記変調スカラー成分はデコーダに送信される、請求項１２に記載のエンコード装置。
【請求項１５】
前記フィルタカーネル成分は、選択的にデコーダに送信される、請求項１２に記載のエンコード装置。
【請求項１６】
前記アンカー領域が複数のサブ領域から成る場合、前記設計されたフィルタは、前記サブ領域の各々に対して生成される、請求項１１に記載のエンコード装置。
【請求項１７】
映像信号をデコードする装置であって、
フィルタパラメータ及びモーションパラメータを含む前記映像信号を受信するように構成されるエントロピーデコード部であって、前記フィルタパラメータは、変調スカラー成分を含む、エントロピーデコード部と、
前記モーションパラメータに基づいてアンカー領域を決定するように構成される予測部と、
前記アンカー領域及び前記変調スカラー成分に基づいてターゲット領域を予測するように構成される予測フィルタリング部と、
前記予測されたターゲット領域を用いて前記映像信号を復元するように構成される復元部と、
を備える、デコード装置。
【請求項１８】
前記変調スカラー成分は、歪み成分及びレート成分の合計を最小化するように決定されている、請求項１７に記載のデコード装置。
【請求項１９】
全てのインタ−ブロックに対する前記変調スカラー成分に基づいて前記ターゲット領域が予測される、請求項１７に記載のデコード装置。
【請求項２０】
前記ターゲット領域は、前記変調スカラー成分及び予め決定されたフィルタカーネル成分に基づいて予測される、請求項１７に記載のデコード装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号を処理するための方法及び装置に関し、より詳細には、ターゲット領域を効率的に予測するための技術に関する。
【背景技術】
【０００２】
圧縮コーディングは、通信ラインを介してデジタル化された情報を送信するか、または格納媒体に適した形でデジタル化された情報を格納するための一連の信号処理技術を意味する。映像、イメージ、及び音声のような媒体は圧縮コーディングの対象となることができる。特に、映像に関する圧縮コーディングを行うための技術は、映像圧縮と呼ばれる。
【０００３】
次世代映像コンテンツは、高い空間解像度、高いフレームレート、及び高次元のビデオ場面表現を特徴とすることが期待される。このようなコンテンツの処理は、メモリストレージ、メモリアクセスレート、及び処理電力の相当な増加を要求するであろう。
【０００４】
したがって、このような予想される難題に対処し、そして、一部解法を提供するコーディング方法を設計することが好ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
既存のインタ−予測方法において、ターゲットイメージは、四角形領域、正方形領域などのような、固定された領域が含まれ、そして、それぞれのターゲット領域に変位ベクトルが計算される。前記変位ベクトルは、アンカーイメージまたは参照イメージ内の対応する領域を識別する。このような変位ベクトルは、映像シーケンスに対するモーション予測／補償技法等のような当該技術分野においてよく知られた技法により計算されることができる。
【０００６】
したがって、前記予測過程でのより効率的な予測方法を提供し、そして、コーディング効率を向上させるための予測フィルタを設計することが必要である。
【０００７】
本発明の一実施形態は、高い効率の圧縮のためのコーディング方法の設計を可能とする方法を提供する。
【０００８】
また、本発明の一実施形態は、前記予測過程でのより効率的な方法を提供する。
【０００９】
また、本発明の一実施形態は、前記コーディング効率を向上させるために、予測フィルタを設計する方法を提供する。
【００１０】
また、本発明の一実施形態は、映像信号をエンコードするか、またはデコードする過程でインタ−ピクチャ関連フィルタを要求するステップに適用されるであろう。
【００１１】
また、本発明の一実施形態は、ターゲット領域をさらに良好に予測する方法を提供する。
【課題を解決するための手段】
【００１２】
本発明の一態様によれば、ターゲット領域の変位ベクトルを計算するステップと、前記計算された変位ベクトルを用いてアンカー領域を決定するステップと、設計されたフィルタを用いて、前記アンカー領域を線形的にフィルタリングしてターゲット領域を予測するステップと、前記予測されたターゲット領域を用いて予測エラーを生成するステップとを含む、映像信号をエンコードする方法が本発明において提供される。
【００１３】
前記設計されたフィルタは、フィルタカーネル成分及び変調スカラー成分に基づいて決定される。
【００１４】
前記変調スカラー成分は、歪み成分及びレート成分の合計を最小化するように決定される。
【００１５】
全てのインタ−ブロックに対する前記変調スカラー成分は、デコーダに送信される。
【００１６】
前記フィルタカーネル成分は、選択的にデコーダに送信される。
【００１７】
前記アンカー領域が複数のサブ領域から成る場合、前記設計されたフィルタは、前記サブ領域の各々に対して生成される。
【００１８】
本発明の一態様によれば、フィルタパラメータ及びモーションパラメータを含む映像信号を受信するステップ（前記フィルタパラメータは、変調スカラー成分を含む）と、前記モーションパラメータに基づいてアンカー領域を決定するステップと、前記アンカー領域及び前記変調スカラー成分に基づいてターゲット領域を予測するステップと、前記予測されたターゲット領域を用いて前記映像信号を復元するステップとを含む、映像信号をデコードする方法が本発明において提供される。
【００１９】
前記変調スカラー成分は、歪み成分及びレート成分の合計を最小化するように決定されている。
【００２０】
全てのインタ−ブロックに対する前記変調スカラー成分に基づいて前記ターゲット領域が予測される。
【００２１】
前記ターゲット領域は、前記変調スカラー成分及び予め決定されたフィルタカーネル成分に基づいて予測される。
【００２２】
本発明の一態様によれば、ターゲット領域の変位ベクトルを計算し、そして、前記計算された変位ベクトルを用いてアンカー領域を決定するように構成される予測部と、設計されたフィルタを用いて、前記アンカー領域を線形的にフィルタリングしてターゲット領域を予測し、そして、前記予測されたターゲット領域を用いて予測エラーを生成するように構成される予測フィルタリング部とを備える、映像信号をエンコードする装置が本発明において提供される。
【００２３】
本発明の一態様によれば、フィルタパラメータ及びモーションパラメータを含む映像信号を受信するように構成されるエントロピーデコード部（前記フィルタパラメータは、変調スカラー成分を含む）と、前記モーションパラメータに基づいてアンカー領域を決定するように構成される予測部と、前記アンカー領域及び前記変調スカラー成分に基づいてターゲット領域を予測するように構成される予測フィルタリング部と、前記予測されたターゲット領域を用いて前記映像信号を復元するように構成される復元部とを備える、映像信号をデコードする装置が本発明において提供される。
【発明の効果】
【００２４】
本発明は、高い効率の圧縮のためのコーディング方法の設計を可能とすることができる。前記ターゲット領域を予測するのに、雑音を除去してより高いコーディング利得を有する圧縮方法が設計され得る。
【００２５】
また、本発明は、予測フィルタを設計してより効率的な予測方法を提供できる。
【００２６】
そして、将来のフレームのモーション補償された予測において、前記設計されたフィルタを活用してターゲットイメージの雑音が減少され得るし、したがって、前記コーディング効率が向上し得る。
【図面の簡単な説明】
【００２７】
【図１】本発明が適用される実施形態に係る映像信号を処理するエンコーダの図式的なブロック図を示す。
【図２】本発明が適用される実施形態に係る映像信号を処理するデコーダの図式的なブロック図を示す。
【図３】本発明が適用される実施形態に係るアンカーイメージに基づいてターゲットイメージを予測する方法を図示する図を示す。
【図４】本発明が適用される実施形態に係る前記設計されたフィルタを用いて映像信号を処理するエンコーダの図式的なブロック図を示す。
【図５】本発明が適用される実施形態に係る前記設計されたフィルタを用いて映像信号を処理するデコーダの図式的なブロック図を示す。
【図６】本発明が適用される実施形態に係る予測フィルタに基づいて予測ブロックを形成する方法を図示するフローチャートである。
【図７】本発明が適用される実施形態によって前記予測フィルタが適用され得る四分木（Ｑｕａｄ−ｔｒｅｅ）分割を示す図である。
【図８】本発明が適用される実施形態に係る最適モーションベクトル及び変調スカラーを取得する方法を図示するフローチャートである。
【図９】本発明が適用される実施形態によってメトリックを取得する方法を図示するフローチャートである。
【図１０】本発明が適用される実施形態によって前記予測フィルタを用いる映像信号をエンコードする方法を図示するフローチャートである。
【図１１】本発明が適用される一実施形態に係る前記予測フィルタを用いて映像信号をデコードする方法を図示するフローチャートである。
【発明を実施するための形態】
【００２８】
以下において、添付された図面について本発明の実施形態に係る例示的な要素及び動作が記述される。しかし、前記図面について記述された前記本発明の要素及び動作は、単に実施形態として提供され、そして、本発明の技術的な精神及び核となる構成及び動作がこれに限定されるものではない。
【００２９】
さらに、本明細書において使用される用語は、現在広く使用される一般的な用語であるが、特殊な場合において、本出願人により任意に選択された用語が使用される。このような場合において、該当する用語の意味は、対応する部分の詳細な説明において明らかに記述される。したがって、本発明は、本明細書の対応する説明において使用される用語の名称だけに基づいて理解されるものではなく、そして、本発明は、対応する用語の意味も確認して理解されなければならない。
【００３０】
さらに、本明細書において使用される用語は、本発明を記述するために選択される一般的な用語であるが、類似した意味を有するこのような用語が存在する場合に、より適切な分析のために他の用語に代替されることができる。例えば、信号、データ、サンプル、ピクチャ、フレーム、及びブロックが各コーディング過程で適切に代替され得るし、そして、解釈され得る。
【００３１】
図１及び２は、本発明が適用される実施形態に係る映像信号を処理するエンコーダ及びデコーダの図式的なブロック図を示す。
【００３２】
図１のエンコーダ１００は、変換部１１０、量子化部１２０、逆量子化部１３０、逆変換部１４０、バッファ１５０、予測部１６０、及びエントロピーエンコード部１７０を備える。
【００３３】
前記エンコーダ１００は、映像信号を受信し、そして、前記映像信号から前記予測部１６０により出力される予測信号を差し引いて予測エラーを生成する。
【００３４】
前記生成された予測エラーは、前記変換部１１０に送信される。前記変換部１１０は、変換方式を前記予測エラーに適用して変換係数を生成する。
【００３５】
前記量子化部１２０は、前記生成された変換係数を量子化し、そして、前記量子化された係数を前記エントロピーエンコード部１７０に送信する。
【００３６】
前記エントロピーエンコード部１７０は、前記量子化された信号に関するエントロピーコーディングを行い、そして、エントロピーコーディングされた信号を出力する。
【００３７】
それに対し、前記量子化部１２０により出力された前記量子化された信号は、予測信号を生成するために用いられることができる。例えば、前記エンコーダ１００のループ内の前記逆量子化部１３０は、量子化された信号が予測エラーに復元されるように、前記量子化された信号に関して逆量子化及び逆変換を行うことができる。復元信号は、前記復元された予測エラーを前記予測部１６０により出力された予測信号に付加して生成されることができる。
【００３８】
前記バッファ１５０は、前記予測部１６０の今後の参照のために、前記復元信号を格納する。
【００３９】
前記予測部１６０は、前記バッファ１５０内に格納された以前に復元された信号を用いて予測信号を生成する。このような場合において、本発明は、アンカーイメージ内の領域を用いてターゲットイメージ内の領域の効率的な予測に関与する。前記予測エラーでの歪みを定量化する平均二乗誤差のような関連したメトリックに対してまたは圧縮レート−歪み観点での効率性が存在し得る。
【００４０】
前記ターゲット領域をより良好に予測するために、本発明の実施形態は、前記コーディング効率を向上させるための予測フィルタを設計する方法、及び前記予測フィルタに基づいて映像信号を処理する方法を説明するであろう。
【００４１】
図２のデコーダ２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、バッファ２４０、及び予測部２５０を備える。
【００４２】
図２のデコーダ２００は、図１の前記エンコーダ１００により出力された信号を受信する。
【００４３】
前記エントロピーデコード部２１０は、前記受信された信号に関してエントロピーデコードを行う。前記逆量子化部２２０は、量子化ステップサイズに関する情報に基づいて、前記エントロピーデコードされた信号から変換係数を取得する。前記逆変換部２３０は、前記変換係数に関して逆変換を行い、予測エラーを取得する。前記取得された予測エラーを前記予測部２５０により出力された予測信号に付加して復元信号が生成される。
【００４４】
前記バッファ２４０は、前記予測部２５０の今後の参照のために、前記復元信号を格納する。
【００４５】
前記予測部２５０は、前記バッファ２４０に格納された以前に復元された信号を用いて予測信号を生成する。
【００４６】
本発明が適用される前記予測方法は、前記エンコーダ１００及び前記デコーダ２００に共に利用されるであろう。
【００４７】
図３は、本発明が適用される実施形態に係るアンカーイメージに基づいてターゲットイメージを予測する方法を図示する。
【００４８】
前記ターゲットイメージは、四角形領域、正方形領域などのような固定された領域に分解されることができ、そして、それぞれのターゲット領域に対して変位ベクトルが計算され得る。前記変位ベクトルは、前記アンカーイメージ内の対応する領域を識別する。このような変位ベクトルは、映像シーケンスに対してモーション予測／補償のような当該技術分野によく知られた技法により計算されることができる。
【００４９】
前記ターゲット領域及び整合されたアンカー領域に集中して、本発明の技法は、圧縮、雑音除去、時空間、超解像などのような応用を促進させるために、前記整合されたアンカーが前記ターゲット領域をさらによく予測させることを可能とすることができる。
【００５０】
前記アンカー領域ｘが下記の数式１を介して、前記ターゲット領域ｙを予測するために用いられ得る。
【００５１】
【数１】
2017507538.tif 000003
【００５２】
数式１において、Ｆは、積分定数（Ｆ＝１、２、４、１７、１７９など）であり、αｉは、変調スカラーを表し、ｆｉは、２次元フィルタカーネルを表し、そして、ｆｉ＊ｘは、前記アンカー領域を有する前記フィルタカーネルの線形コンボリューションを表す。
【００５３】
【数２】
2017507538.tif 000004
【００５４】
図４及び５は、本発明が適用される実施形態に係る前記設計されたフィルタを用いて映像信号を処理するエンコーダ及びデコーダの図式的なブロック図を示す。
【００５５】
図４の前記エンコーダ４００は、変換部４１０、量子化部４２０、逆量子化部４３０、逆変換部４４０、バッファ４５０、予測部４６０、予測フィルタリング部４７０、及びエントロピーエンコード部４８０を備える。
【００５６】
図１のエンコーダ１００と前記エンコーダ４００とを比較すれば、前記予測フィルタリング部４７０が前記エンコーダ１００のブロック図に新しく付加された。したがって、図１の記述が図４に同様に適用され得るし、そして、前記予測フィルタリング部４７０と関連した前記コンテンツが主に下記において説明されるであろう。
【００５７】
さらに、図４の前記予測部４６０以後に、別個の機能部として前記予測フィルタリング部４７０が配置されたにもかかわらず、これは、本発明の一態様であり、そして、本発明は、これに限定されるものではない。例えば、前記予測フィルタリング部４７０の機能は、前記予測部４６０においても行われることができる。
【００５８】
前記予測部４６０は、現在ブロックに対して変位ベクトルを用いてモーション補償を行うことができ、そして、参照ブロック、すなわち、モーション補償されたブロックを探索できる。このような場合において、前記エンコーダ４００は、デコーダ５００にモーションパラメータを送信できる。前記モーションパラメータは、前記モーション補償と関連した情報を表す。
【００５９】
本発明の一態様において、前記予測フィルタリング部４７０は、予測ブロックを生成するために用いられる予測フィルタを構成できる。
【００６０】
そして、前記予測フィルタリング部４７０は、前記予測フィルタ及び参照ブロックの線形コンボリューションを用いて前記予測ブロックを生成できる。このような場合において、前記参照ブロックは、前記アンカー領域のように、モーション補償されたブロックを表すことができる。
【００６１】
一実施形態において、前記予測フィルタは、フィルタカーネル及び変調スカラーを用いて構成されることができる。前記エンコーダ４００及びデコーダ５００は、フィルタパラメータを共有でき、そして、前記フィルタパラメータは、前記予測フィルタと関連したパラメータ情報を表す。例えば、前記フィルタパラメータは、フィルタカーネル及び変調スカラーのうち、少なくとも１つを含む。
【００６２】
一実施形態において、前記エンコーダ４００及びデコーダ５００は共に、前記予測フィルタを生成するためにフィルタカーネル及び変調スカラーを用いることができる。このような場合において、前記変調スカラーが全てのインタ−ブロックに対して計算され得るし、そして、前記フィルタカーネルが全体映像に対して同一に維持され得るか、または以後の実施形態において説明されるように、頻繁でなく変更されるか、送信される。
【００６３】
他の実施形態において、前記エンコーダ４００は、前記フィルタカーネル及び前記変調スカラーを前記デコーダ５００に送信することができる。例えば、前記フィルタカーネルは、前記デコーダに選択的に送信されることができる。
【００６４】
それに対し、図５の前記デコーダ５００は、エントロピーデコード部５１０、逆量子化部５２０、逆変換部５３０、バッファ５４０、予測部５５０、及び予測フィルタリング部５６０を備える。
【００６５】
図４に示されたように、本発明の一態様において、前記予測フィルタリング部５６０は、予測ブロックを生成するために使用される予測フィルタを構成できる。
【００６６】
そして、前記予測フィルタリング部５６０は、前記予測フィルタ及び参照ブロックの線形コンボリューションを用いて前記予測ブロックを生成できる。
【００６７】
このような場合において、前記フィルタカーネル及び前記変調スカラーのうち、少なくとも１つが前記エンコーダ４００から送信され得る。例えば、前記エンコーダ４００から全てのインタ−ブロックに対して前記変調スカラーが送信され得るし、そして、前記フィルタカーネルが前記エンコーダ４００から選択的に送信され得る。
【００６８】
前記デコーダ５００を図２のデコーダ２００と比較すれば、前記デコーダ２００のブロック図に前記予測フィルタリング部５６０が新しく追加された。したがって、図１、図２、及び図４の記述が図５に同様に適用され得る。
【００６９】
さらに、図５の前記予測部５５０以後に前記予測フィルタリング部５６０が別個の機能部として配置されるにもかかわらず、これは、本発明の態様であり、そして、本発明は、これに限定されるものではない。例えば、前記予測フィルタリング部５６０の機能も前記予測部５６０で行われることができる。
【００７０】
図６は、本発明が適用される実施形態に係る予測フィルタに基づいて予測ブロックを形成する方法を図示するフローチャートである。
【００７１】
本発明が適用される前記エンコーダは、下記の数式２のように、現在ブロックに対して予測フィルタを構成できる（Ｓ６１０）。前記予測フィルタは、フィルタパラメータを用いて構成されることができる。例えば、前記フィルタパラメータは、フィルタカーネルｆｋ及び変調スカラーαｉ（ｋ＝１、...、Ｋ）を含むことができる。
【００７２】
【数３】
2017507538.tif 000005
【００７３】
前記数式２において、ｍ＝１、...、Ｔ及びｎ＝１、...、Ｔであり、そして、Ｋは、積分定数であり、αｉは、変調スカラーを表し、ｆｋは、２次元フィルタカーネルを表し、そして、それぞれのスカラーは、浮動小数点数である。
【００７４】
その後に、前記エンコーダは、下記の数式３のように、前記予測フィルタに基づく線形コンボリューションを用いて予測ブロックを形成できる。
【００７５】
【数４】
2017507538.tif 000006
【００７６】
前記数式３において、ｍ＝１...Ｂ及びｎ＝１...Ｂであり、そして、ｇ＊ｘは、前記アンカー領域を有する前記予測フィルタの線形コンボリューションを表す。前記アンカー領域は、モーション補償以後に取得される参照ブロックを表すことができる。
【００７７】
前記ターゲット領域ｙの前記予測
【数５】
2017507538.tif 000007
は、数式２の前記予測フィルタを用いて前記アンカー領域ｘを線形的にフィルタリングして形成されることができる。
【００７８】
下記において、本発明は、このようなフィルタを効率的に設計する様々な方法を提供するであろう。
【００７９】
映像コーディングの過程で、このようなフィルタは、多くのパラメータを有するので、一般的なフィルタを設計することは難しく、これは、制限されたデータから学習されなければならない。減少されたパラメータを有する単純なフィルタは、学習し易いが、満足でない性能を招く。したがって、少ないパラメータを有する効率的なフィルタを特定できる技法が非常に要求される。
【００８０】
一実施形態において、前記フィルタカーネルは固定されることができ、そして、前記変調スカラーは、下記の数式４のように制約された最小化を解決するように計算されることができる。
【００８１】
【数６】
2017507538.tif 000008
【００８２】
【数７】
2017507538.tif 000009
【００８３】
【数８】
2017507538.tif 000010
【００８４】
前記最小化は、
【数９】
2017507538.tif 000011
の観点で結合されて問題を解決できる。
【００８５】
一実施形態において、前記結合最小化は、下記の数式５を解決して正確度において若干の損失でスカラー最小化に対して簡略化されることができる。
【００８６】
【数１０】
2017507538.tif 000012
【００８７】
前記数式５は、結果的に実質的にさらに容易な解法となる。
【００８８】
一実施形態において、基底フィルタカーネルは、下記の数式６を満たすように選択されることができる。
【００８９】
【数１１】
2017507538.tif 000013
【００９０】
一実施形態において、前記基底フィルタカーネルは、下記の数式７のように定義されることができる。
【００９１】
【数１２】
2017507538.tif 000014
【００９２】
【数１３】
2017507538.tif 000015
【００９３】
このようなフィルタは、空間領域において結局非−コンパクト支援（ｎｏｎ−ｃｏｍｐａｃｔ  ｓｕｐｐｏｒｔ）となり得る。
【００９４】
【数１４】
2017507538.tif 000016
【００９５】
【数１５】
2017507538.tif 000017
【００９６】
【数１６】
2017507538.tif 000018
【００９７】
【数１７】
2017507538.tif 000019
【００９８】
【数１８】
2017507538.tif 000020
【００９９】
【数１９】
2017507538.tif 000021
【０１００】
【数２０】
2017507538.tif 000022
【０１０１】
前記数量（ｑｕａｎｔｉｔｙ）をベクトルに辞書編集上に（ｌｅｘｉｃｏｇｒａｐｈｉｃａｌｌｙ）整列して、数式１１が取得され得る。
【０１０２】
【数２１】
2017507538.tif 000023
【０１０３】
そして、全てのピクセル（ｍ、ｎ）に対して前記予測を考慮すれば、数式１２が下記のように取得され得る。
【０１０４】
【数２２】
2017507538.tif 000024
【０１０５】
辞書編集上に整列されたターゲットイメージを考慮すれば、前記ターゲットセットに対する最適フィルタが下記の数式１３のように取得される。
【０１０６】
【数２３】
2017507538.tif 000025
【０１０７】
他の実施形態において、本発明は、下記の数式１４のようなトレーニングセットに対してフィルタカーネルを設計できる。
【０１０８】
【数２４】
2017507538.tif 000026
【０１０９】
このような場合において、ブロックのトレーニングペアは、（ｙ1、ｘ1）、（ｙ2、ｘ2）、...、（ｙs、ｘs）に定義されることができる（Ｓは例えば、１０００、１１９１９１などのような大きい整数である）。
【０１１０】
そして、数式１４の内部最小化
【数２５】
2017507538.tif 000027
は、図８の他の実施形態、例えば、数式１５ないし１８に代替され得る。
【０１１１】
一実施形態において、前記エンコーダ−デコーダペアは、映像シーケンスの以前に送信されたフレーム（または、フレームの部分）に対する同じ最適化を行うことができ、そして、結果的な将来のフレーム（または、送信のための残余フレームの部分）のモーション補償された予測フィルタを活用できる。
【０１１２】
一実施形態において、前記四分木または他の領域分解最適化がｆに対して前記前述された最適化と結合されて行われることができる。他の実施形態において、モーション補償、光学フロー、雑音除去、及び最適化等と関連した他の処理がｆに対して前記前述された最適化と結合されて行われることができる。
【０１１３】
一実施形態において、モーション補償で用いられる補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）フィルタが全体のフィルタリングの複雑度を低めるために、前記設計されたフィルタと結合されることができる。
【０１１４】
図７は、本発明が適用される実施形態によって前記予測フィルタが適用され得る四分木分割を示す図である。
【０１１５】
図７に示すように、本発明の一態様において、前記アンカー領域は、さらにサブ領域に分解されることができる。
【０１１６】
そして、それぞれのサブ領域に対して前記予測フィルタが計算され得る。例えば、このような分解は、四分木分解を用いて達成されることができる。
【０１１７】
圧縮／通信設定において、本発明は、それぞれの分割に対して高い性能予測を可能とする予測フィルタを設計でき、そして、デコーダで同じ分割が達成され得るようにデコーダに前記設計された予測フィルタをシグナリングできる。
【０１１８】
任意の一般的なフィルタ、ｆを許すことはあまりに多くのビットを要求し、結果的に前記エンコーダは（送信するフィルタの個数を制限するための）概略的な（ｃｏａｒｓｅ）四分木分解のみを行うことができる。これは、信号統計に対する非常に制限された適応（ａｄａｐｔａｔｉｏｎ）を招く。それに対し、非常に単純なフィルタを設計することはフィルタリング可能性を制限し、そして、非効率的な予測を招く。
【０１１９】
したがって、少ないビットを有する効率的な予測フィルタを特定できる技法が非常に要求され、本発明は、効率的な予測フィルタを特定する様々な技法を提供するであろう。
【０１２０】
図８は、本発明が適用される実施形態に係る最適モーションベクトル及び変調スカラーを取得する方法を図示するフローチャートである。
【０１２１】
本発明の一態様において、エンコーダは、最適モーションベクトル及びモーションスカラーを探索でき、そして、前記最適モーションベクトル及びモーションスカラーは、前記デコーダに送信されることができる。
【０１２２】
まず、前記エンコーダは、参照フレームからモーション補償された参照ブロックを取得できる（Ｓ８１０）。このような場合において、前記モーション補償された参照ブロックは、モーションベクトルを用いて取得されることができる。
【０１２３】
前記エンコーダは、前記モーション補償された参照ブロック及びフィルタパラメータに基づいて予測ブロックを形成でき、前記フィルタパラメータは、フィルタカーネル及び変調スカラーを含む（Ｓ８２０）。このような場合において、前記変調スカラーは、全てのインタ−ブロックビデオに対して同一に維持され得るか、または以後の実施形態で説明されるように頻繁でなく変化されるか送信されることができる。さらに、図６において前述された様々な実施形態が図８に適用され得る。
【０１２４】
下記において、本発明は、前記変調スカラーを計算する様々な実施形態を提供する。
【０１２５】
本発明の一態様において、前記変調スカラーは、変調スカラー探索範囲で探索されることができる。
【０１２６】
他の実施形態において、前記変調スカラーは、下記の数式１５のように計算されることができる。
【０１２７】
【数２６】
2017507538.tif 000028
【０１２８】
数式１５による前記変調スカラーは、スカラー探索範囲に変換され、そして量子化されることができる。そして、数式１５の最適化は、他の最適化と結合して行われることができる。
【０１２９】
他の実施形態において、前記変調スカラーは、下記の数式１６のように計算されることができる。
【０１３０】
【数２７】
2017507538.tif 000029
【０１３１】
数式１６による前記変調スカラーは変換され、そして量子化されることができる。そして、数式１６の最適化は、他の最適化と独立的に行われることができ、そして、それぞれのｋに対して繰り返されることができる。
【０１３２】
他の実施形態において、前記変調スカラーは、下記の数式１７のように計算されることができる。
【０１３３】
【数２８】
2017507538.tif 000030
【０１３４】
数式１７による前記変調スカラーが量子化され得る。そして、数式１７は、結合最適化というよりは、むしろ独立的な最適化で行われることができる。
【０１３５】
他の実施形態において、前記変調スカラーは、下記の数式１８のように計算されることができる。
【０１３６】
【数２９】
2017507538.tif 000031
【０１３７】
数式１８による前記変調スカラーが量子化され得る。そして、数式１８は、結合最適化というよりは、むしろ独立的な最適化で行われることができる。
【０１３８】
そして、前記エンコーダは、前記形成された予測ブロック、前記変調スカラー、及びラグランジュ乗数に基づいてメトリックを取得できる（Ｓ８３０）。例えば、前記メトリックは、レート成分及び歪み成分から成る量子化関数（または、値）を含むことができる。
【０１３９】
それから、前記エンコーダは、前記取得されたメトリックに基づいて最適のモーションベクトル及び変調スカラーを取得できる（Ｓ８４０）。例えば、前記取得されたメトリックが最小メトリックまたは以前に取得されたメトリックより小さい場合、取得されたメトリックに最小メトリックが設定され得る。したがって、前記最適のモーションベクトル及び前記最適の変調スカラーが決定され得るし、そして、前記デコーダに送信されることができる。
【０１４０】
それとも、前記前述された過程は、前記最適のモーションベクトル及び前記最適の変調スカラーが取得され得るまで繰り返されることができる。
【０１４１】
図９は、本発明が適用される実施形態にしたがってメトリックを取得する方法を図示するフローチャートである。
【０１４２】
本発明の一態様において、エンコーダは、最適のモーションベクトル及び変調スカラーに対するメトリック探索を取得でき、そして、前記最適のモーションベクトル及び変調スカラーは、前記デコーダに送信されることができる。
【０１４３】
まず、前記エンコーダは、現在ブロック及び予測ブロックに基づいて残差ブロックを取得できる（Ｓ９１０）。このような場合において、前記予測ブロックは、以前に取得されたメトリックに基づいて予測されたブロックでありうる。
【０１４４】
前記エンコーダは、前記残差ブロックを変換でき、そして量子化することができる（Ｓ９２０）。前記量子化された残差ブロックは、エントロピーエンコードされることができ（Ｓ９６０）、そして、前記エントロピーエンコードされた残差ブロックＲ１がメトリックを取得するのに用いられることができる。
【０１４５】
さらに、前記変調スカラーは、エントロピーエンコードされることができ（Ｓ９７０）、そして、前記エントロピーエンコードされた変調スカラーＲ２がメトリックを取得するのに用いられることができる。
【０１４６】
他の実施形態において、前記変調スカラーが下記の数式１９によって計算されることができ、そして、メトリックを取得するのに用いられることができる。
【０１４７】
【数３０】
2017507538.tif 000032
【０１４８】
数式１９において、Ｃは、定数を正規化する浮動小数点であり、そして、ｑ＝０、０．１１、２、１、１．２、２、５、１００．２１、...である。
【０１４９】
他の実施形態において、前記エンコーダは、下記の数式２０のように、前記変調スカラーに対して確率分布を予測する。
【０１５０】
【数３１】
2017507538.tif 000033
【０１５１】
同様に、前記モーションベクトルがさらにエントロピーエンコードされることができ（Ｓ９７０）、そして、前記エントロピーエンコードされたモーションベクトルＲ３がメトリックを取得するのに用いられることができる。
【０１５２】
それに対し、前記量子化された残差ブロックが逆量子化されることができ、そして逆変換されることができる（Ｓ９３０）。
【０１５３】
そして、前記逆変換された残差ブロックが歪みを計算するために用いられることができる。このような場合において、前記エンコーダは、下記の数式２１のように歪みを計算できる。
【０１５４】
【数３２】
2017507538.tif 000034
【０１５５】
数式２１において、
【数３３】
2017507538.tif 000035
は、逆変換された残差ブロックであり、そしてＤは、歪みを表す。
【０１５６】
したがって、前記エンコーダは、下記の数式２２のようにメトリックを取得できる。
【０１５７】
【数３４】
2017507538.tif 000036
【０１５８】
数式２２において、Ｄは、歪み成分を表し、そして、（Ｒ１＋Ｒ２＋Ｒ３）は、レート成分を表す。
【０１５９】
図１０は、本発明が適用される実施形態によって前記予測フィルタを用いる映像信号をエンコードする方法を図示するフローチャートである。
【０１６０】
本発明は、前記予測フィルタを用いて映像信号をエンコードする方法を提供する。
【０１６１】
前記エンコーダは、ターゲット領域の変位ベクトルを計算できる（Ｓ１０１０）。このような場合において、前記ターゲット領域は、現在フレーム内でエンコードされる領域を表す。
【０１６２】
前記エンコーダは、前記変位ベクトルを用いてアンカー領域を決定できる（Ｓ１０２０）。このような場合において、前記アンカー領域は、参照フレーム内で参照される領域を表す。
【０１６３】
そして、前記エンコーダは、設計されたフィルタを用いて前記アンカー領域を線形にフィルタリングしてターゲット領域を予測できる（Ｓ１０３０）。このような場合において、前記予測フィルタは、フィルタパラメータを用いて構成されることができ、そして、前記フィルタパラメータは、前記予測フィルタと関連したパラメータ情報を表す。例えば、前記フィルタパラメータは、フィルタカーネル及び変調スカラーのうち、少なくとも１つを含むことができ、前記変調スカラーは、全てのインタ−ブロックに対して計算されることができ、そして、前記フィルタカーネルは、全体映像に対して同一に維持され得るか、または頻繁でなく変更されるか／送信されることができる。そして、前記フィルタカーネルは、選択的にデコーダに送信されることができる。
【０１６４】
それから、前記エンコーダは、前記予測されたターゲット領域を用いて予測エラーを生成できる（Ｓ１０４０）。
【０１６５】
一実施形態において、前記設計されたフィルタは、フィルタカーネル成分及び変調スカラー成分に基づいて決定されることができる。
【０１６６】
一実施形態において、前記変調スカラー成分は、歪み成分及びレート成分の合計を最小化するように決定されることができる。
【０１６７】
一実施形態において、前記アンカー領域は、複数のサブ領域から成り、前記設計されたフィルタは、前記サブ領域の各々に対して生成されることができる。
【０１６８】
図１１は、本発明が適用される一実施形態に係る前記予測フィルタを用いて映像信号をデコードする方法を図示するフローチャートである。
【０１６９】
本発明は、前記予測フィルタを用いて映像信号をデコードする方法を提供する。
【０１７０】
前記デコーダは、フィルタパラメータ及びモーションパラメータを含む映像信号を受信することができる（Ｓ１１１０）。
【０１７１】
前記デコーダは、モーションパラメータを用いてモーション補償された予測を行うことができる（Ｓ１１２０）。
【０１７２】
そして、前記デコーダは、フィルタパラメータを用いて予測フィルタリングを行うことができる（Ｓ１１３０）。
【０１７３】
それから、前記デコーダは、予測フィルタリングされた信号を用いて前記映像信号を復元できる（Ｓ１１４０）。
【０１７４】
一実施形態において、それぞれのフレーム内の全てのインタ−ブロックに対する変調スカラーは、前記デコーダに送信されることができる。
【０１７５】
一実施形態において、フィルタカーネルが頻繁でなく送信され、そして、これらが細かく（ｆｉｎｅｌｙ）量子化され、そして、既存の技法を利用して送信されることができるので、フィルタカーネルは、一応前記デコーダに送信されることができ、そして、映像をコーディングするのに普遍的に使用されることができる。
【０１７６】
一実施形態において、非−リアルタイム映像圧縮をターゲティングして、コーディングされる次のＭフレーム（例えば、Ｍ＝３０、１００、２０１７、...）のためにフィルタカーネルが計算され得るし、そして送信されることができる。トレーニングセット生成器にフレームをフィード（ｆｅｅｄ）し、そして、前記カーネルを設計するための結果的なペアを用いてフィルタカーネルが計算され、送信されることが行われ得る。そして、結果的なフィルタリングカーネルを前記デコーダに送信してフィルタカーネルが計算され、送信されることが行われ得る。それから、前記Ｍフレームは、前記単に送信されたカーネルを用いて圧縮から恩恵を受けることができる。
【０１７７】
一実施形態において、前記エンコーダ及びデコーダは、トレーニングペアを生成するために、前記以前のＭエンコードされたフレームを用いてフィルタカーネルを計算するための同じ計算を行うことができる。
【０１７８】
一実施形態において、フィルタカーネルは、前記デコーダに送信される間に、以前に送信されたフィルタカーネルに対して差分的に（ｄｉｆｆｅｒｅｎｔｉａｌｌｙ）コーディングされることができる。
【０１７９】
一実施形態において、変調スカラーに対する前記探索範囲及び離散化は、フィルタリングされる前記ブロックのサイズに基づいて調整される。他の実施形態において、前記探索範囲のより細かい離散化がさらに大きいブロックに対して許され得る。
【０１８０】
一実施形態において、モーション−補償された高度な予測フィルタリングが行われた後に、２つのピクチャ間の類似性の点数がこれらの間の歪みとして計算される。
【０１８１】
上述されたように、本発明が適用され得る前記デコーダ及び前記エンコーダは、マルチメディア放送送信／受信装置、移動通信端末機、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視カメラ、ビデオチャット装置、ビデオ通信のようなリアルタイム通信装置、移動ストリーミング装置、格納媒体、カムコーダ、ＶｏＤサービス提供装置、インタネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、テレコンファレンスビデオ装置、及び医療ビデオ装置内に含まれることができ、ビデオ信号及びデータ信号をコーディングするのに使用されることができる。
【０１８２】
さらに、本発明が適用され得る前記デコード／エンコード方法は、コンピュータにより実行され得るプログラムの形で製作され、コンピュータ読み取り可能な記録媒体内に格納されることができる。本発明に係るデータ構造を有するマルチメディアデータは、コンピュータ読み取り可能な記録媒体内にさらに格納されることができる。前記コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み取り可能なデータが格納されるあらゆる類型の格納機器を含む。前記コンピュータ読み取り可能な記録媒体は、例えば、ＢＤ、ＵＳＢ、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、及び光学データ格納機器を含むことができる。さらに、前記コンピュータ読み取り可能な記録媒体は、搬送波（例えば、インターネットを介しての送信）の形で実現される媒体を含む。さらに、前記エンコード方法により生成されるビットストリームがコンピュータ読み取り可能な記録媒体内に格納されることができるか、または有線／無線通信ネットワークを介して送信されることができる。
【産業上の利用可能性】
【０１８３】
本発明の例示的な実施形態は、例示の目的のために開示され、当該技術分野における通常の知識を有した者は、添付された請求項に開示された本発明の技術的精神及び範囲内で様々な他の実施形態を改良し、変更し、置換し、または付加することができる。
【図１】
2017507538.tif 000037
【図２】
2017507538.tif 000038
【図３】
2017507538.tif 000039
【図４】
2017507538.tif 000040
【図５】
2017507538.tif 000041
【図６】
2017507538.tif 000042
【図７】
2017507538.tif 000043
【図８】
2017507538.tif 000044
【図９】
2017507538.tif 000045
【図１０】
2017507538.tif 000046
【図１１】
2017507538.tif 000047
【国際調査報告】
2017507538.tif 000048
2017507538.tif 000049