(57)【特許請求の範囲】
【請求項１】
各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をエンコーディングするためのエンコーダ（１）において、
前記エンコーダ（１）は、
（ａ）局所的な動き補償を行なう超解像アルゴリズム（ＳＲＡ）の実施によって、先行してエンコーディングされた複数の画像ブロックに基づき、少なくとも一つの高解像参照画像ブロックを計算する処理ユニット（４）と、
（ｂ）計算された前記高解像参照画像ブロックに基づき、前記ビデオ信号の目下の画像ブロックから減算される一時的な予測子（ＴＰ）を計算する動き補償ユニット（５）と、
を備えている、エンコーダにおいて、
前記超解像アルゴリズム（ＳＲＡ）は、
（ａ１）各次元においてサイズが多重化されている画像を生成するオーバーサンプリングフィルタの使用と、
（ａ２）少なくとも、マッチングアルゴリズムが前記画像におけるオブジェクトの対応するピクセルを検出した場合の、前記オーバーサンプリングされた画像に対するピクセルマッチングの実施と、を含み、
ただし、前記オーバーサンプリングされた画像に対するピクセルマッチングの実施を、一時的な予測子（ＴＰ）を計算する前記動き補償アルゴリズムに動きベクトルを供給する、動き推定において求められた動きベクトルに基づき実施する、
ことを特徴とする、エンコーダ。
【請求項２】
前記処理ユニット（４）は、前記少なくとも一つの高解像参照画像ブロックを空間領域において計算する、請求項１に記載のエンコーダ。
【請求項３】
前記処理ユニット（４）は、前記超解像アルゴリズム（ＳＲＡ）の実施時に、ブロックベース及び／又はメッシュベースの動き補償スキームを使用する、請求項２に記載のエンコーダ。
【請求項４】
前記超解像アルゴリズム（ＳＲＡ）は、更に、
（ａ３）オーバーサンプリング及びピクセルマッチングされた画像に対する動き補償アルゴリズムの実施を含む、請求項１〜３いずれか１項記載のエンコーダ。
【請求項５】
各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をエンコーディングするためのエンコーディング方法において、
（ａ）局所的な動き補償を行なう超解像アルゴリズム（ＳＲＡ）によって、先行してエンコーディングされた複数の画像ブロックに基づき計算された少なくとも一つの高解像参照画像ブロックを生成するステップ（Ｓ１）と、
（ｂ）計算された前記高解像参照画像ブロックに基づき、目下の画像ブロックから減算される一時的な予測子（ＴＰ）を計算するステップ（Ｓ２）とを備えている、
エンコーディング方法において、
前記超解像アルゴリズム（ＳＲＡ）は、少なくとも、
（ａ１）各次元においてサイズが多重化されている画像を生成するオーバーサンプリングフィルタの使用と、
（ａ２）マッチングアルゴリズムが前記画像におけるオブジェクトの対応するピクセルを検出した場合の、オーバーサンプリングされた画像に対するピクセルマッチングの実施を含み、
ただし、前記オーバーサンプリングされた画像に対するピクセルマッチングの実施を、一時的な予測子（ＴＰ）を計算する前記動き補償アルゴリズムに動きベクトルを供給する、動き推定において求められた動きベクトルに基づき実施する、
ことを特徴とする、エンコーディング方法。
【請求項６】
前記超解像アルゴリズム（ＳＲＡ）は、更に、
（ａ３）オーバーサンプリング及びピクセルマッチングされた画像に対する動き補償アルゴリズムの実施を含む、請求項５記載の方法。
【請求項７】
前記超解像アルゴリズム（ＳＲＡ）のパラメータ情報データ（Ｐ）は、
先行してエンコーディングされた参照画像又は画像ブロックの数、及び／又は、
それぞれの前記超解像アルゴリズム（ＳＲＡ）によって使用される、先行してエンコーディングされた複数の参照画像又は画像ブロックのインデクス、及び／又は、
使用される超解像アルゴリズム（ＳＲＡ）のタイプ、及び／又は、
それぞれの超解像アルゴリズム（ＳＲＡ）によって使用されるフィルタのフィルタパラメータ、及び／又は、
それぞれの超解像アルゴリズム（ＳＲＡ）が目下の画像ブロックの一部に対して使用されるか、又は、目下の画像ブロックの全体に対して使用されるかを表すブロックモードインディケータを含み、
前記超解像アルゴリズム（ＳＲＡ）の前記パラメータ情報データ（Ｐ）、及び／又は、前記超解像アルゴリズム（ＳＲＡ）の動き推定によって提供された動きベクトル（ＭＶ）を、副次的な情報として、又は、エンコーディングされる前記ビデオ信号の一部としてエンコーディングする、請求項５または６項に記載のエンコーディング方法。
【請求項８】
各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をデコーディングするためのデコーダ（１６）において、
前記デコーダ（１６）は、
（ａ）局所的な動き補償を行なう超解像アルゴリズム（ＳＲＡ）の実施によって、先行してデコーディングされた複数の画像ブロックに基づき、少なくとも一つの高解像参照画像ブロックを計算する処理ユニット（２４）と、
ただし、前記超解像アルゴリズム（ＳＲＡ）は、少なくとも、
（ａ１）各次元においてサイズが多重化されている画像を生成するオーバーサンプリングフィルタの使用と、
（ａ２）マッチングアルゴリズムが前記画像におけるオブジェクトの対応するピクセルを検出した場合の、前記オーバーサンプリングされた画像に対するピクセルマッチングの実施を含み、
前記オーバーサンプリングされた画像に対するピクセルマッチングを、一時的な予測子（ＴＰ）を計算する動き補償において使用される動きベクトルに基づき実施する、
（ｂ）前記高解像参照画像ブロックに基づき、前記ビデオ信号の予測誤差ブロックに付加される一時的な予測子（ＴＰ）を計算する動き補償ユニット（２３）と、
を備えていることを特徴とする、デコーダ。
【請求項９】
前記処理ユニット（２４）は、前記少なくとも一つの高解像参照画像ブロックを空間領域において計算する、請求項８に記載のデコーダ。
【請求項１０】
前記処理ユニット（２４）は、前記超解像アルゴリズム（ＳＲＡ）の実施時に、ブロックベース及び／又はメッシュベースの動き補償スキームを使用する、請求項９に記載のデコーダ。
【請求項１１】
前記超解像アルゴリズム（ＳＲＡ）は、更に、
（ａ３）オーバーサンプリング及びピクセルマッチングされた画像に対する動き補償アルゴリズムの実施を含む、請求項８〜１０いずれか１項記載のデコーダ。
【請求項１２】
各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をデコーディングするためのデコーディング方法において、
（ａ）動き補償を実施する超解像アルゴリズム（ＳＲＡ）によって、先行してデコーディングされた複数の画像ブロックに基づき計算された少なくとも一つの高解像参照画像ブロックを生成するステップ（Ｓ３）と、
（ｂ）生成された前記高解像参照画像ブロックに基づき計算された一時的な予測子（ＴＰ）に、前記ビデオ信号の予測誤差ブロックを付加するステップ（Ｓ４）とを備えている、
デコーディング方法において、
前記超解像アルゴリズム（ＳＲＡ）は、少なくとも、
（ａ１）各次元においてサイズが多重化されている画像を生成するオーバーサンプリングフィルタの使用と、
（ａ２）マッチングアルゴリズムが前記画像におけるオブジェクトの対応するピクセルを検出した場合の、前記オーバーサンプリングされた画像に対するピクセルマッチングの実施を含み、
前記オーバーサンプリングされた画像に対するピクセルマッチングを、一時的な予測子（ＴＰ）を計算する動き補償において使用される動きベクトルに基づき実施する、
ことを特徴とする、デコーディング方法。
【請求項１３】
前記超解像アルゴリズム（ＳＲＡ）は、更に、
（ａ３）オーバーサンプリング及びピクセルマッチングされた画像に対する動き補償アルゴリズムの実施を含む、
請求項１２に記載のデコーディング方法。
【請求項１４】
前記超解像アルゴリズム（ＳＲＡ）のパラメータ情報データ（Ｐ）は、
先行してデコーディングされた参照画像又は画像ブロックの数、及び／又は、
それぞれの前記超解像アルゴリズム（ＳＲＡ）によって使用される、先行してデコーディングされた参照画像又は画像ブロックのインデクス、及び／又は、
使用される超解像アルゴリズム（ＳＲＡ）のタイプ、及び／又は、
それぞれの超解像アルゴリズム（ＳＲＡ）によって使用されるフィルタのフィルタパラメータ、及び／又は、
それぞれの超解像アルゴリズム（ＳＲＡ）が目下の画像ブロックの一部に対して使用されるか、又は、目下の画像ブロックの全体に対して使用されるかを表すブロックモードインディケータを含み、
前記超解像アルゴリズム（ＳＲＡ）の前記パラメータ情報データ（Ｐ）、及び／又は、前記超解像アルゴリズム（ＳＲＡ）の動き推定によって使用される動きベクトル（ＭＶ）を、副次的な情報として、又は、エンコーディングされた前記ビデオ信号の一部としてデコーディングし、デコーディングプロセスにおいて使用する、請求項１２または１３項に記載のデコーディング方法。
【請求項１５】
請求項１乃至４のいずれか一項に記載のエンコーダ（１）及び請求項８乃至１１のいずれか一項に記載のデコーダ（１６）を備えていることを特徴とするビデオコーデック装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をエンコーディング及びデコーディングするための装置と方法に関する。
【０００２】
ビデオコーディングにおいては、サイズを低減するため、従って圧縮されたビットストリームのデータレートを低減するために、一つのビデオシーケンスにおける複数の画像間の相似性が利用される。ビデオエンコーディングのために、一時的な予測子が先行してエンコーディングされたフレームから生成される。この一時的な予測子は、予測誤差を提供するために目下のフレームから減算され、この予測誤差は例えば離散コサイン変換（ＤＣＴ）を用いて更にエンコーディングされる。生成された変換係数は量子化ユニットによって量子化され、またエントロピーエンコーダは量子化された係数のエントロピーコーディングを実施する。
【０００３】
図１には、一時的な予測を用いる、慣例のビデオエンコーディング装置ＶＥＮＣのブロック図が示されている。エンコーダの入力端において受信されたフレームは動き推定ユニットＭＥに供給され、この動き推定ユニットＭＥは動きベクトルＭＶを動き補償ユニットＭＣに供給し、この動き補償ユニットＭＣは減算器に供給される一時的な予測子を計算する。動き推定ユニットＭＥ及び動き補償ユニットＭＣの入力端はフレームバッファＦＢに接続されている。このフレームバッファＦＢは参照フレームを記憶するためのメモリを有することができる。動き推定ユニットＭＥによって計算された動きベクトルＭＶをマルチプレクサＭＵＸにも供給し、通信チャネルを介してデコーダに伝送することができる。更には、図１に示されているような慣例のエンコーダは逆量子化ユニットＱ-1を含んでおり、この逆量子化ユニットＱ-1は量子化のインデクシングステップを逆転させ、信号を逆変換ユニットＴ-1に供給し、この逆変換ユニットＴ-1は逆変換を実施する。
【０００４】
Ｈ．２６４／ＡＶＣのような現行のビデオコーディング標準においては、動き推定ユニットＭＥによって計算された動きベクトルＭＶは、画像の矩形領域、いわゆる画像ブロックに関して形成される。それらの画像ブロックは異なる大きさ、例えば４×４ピクセル、８×８ピクセル、１６×１６ピクセル及び８×１６ピクセルの大きさを有することができる。正確な一時的な予測子ＴＰを計算するために、フルピクセル、即ちエンコーディングすべき複数のピクセルの精度での置換は十分ではない。何故ならば、実際の動きを正確に捕捉することはできないからである。従って、サブピクセル動き補償、例えば半ピクセル要素の精度又は半ピクセルの精度を用いる動き補償は、並進運動のモデリングを改善し、ひいてはより正確な一時的な予測子ＴＰの生成を改善する。従って、サブピクセル動き補償は変換ユニットＴによって変換された予測誤差を低減し、その結果、エンコーディングされたビットストリームのサイズ及びデータレートも低減される。サブピクセル位置におけるピクセル値は本来のビデオデータストリームには存在しないので、それらのピクセル値は慣例のエンコーディング装置において補間によって生成される。サブピクセル位置におけるピクセル値を計算するために、補間はフィルタリング演算を使用して実施される。Ｈ．２６４／ＡＶＣ標準において定義されている２タップ双線形フィルタ又は６タップフィルタのような異なるフィルタ長を使用することができる。それらのフィルタは、ｓｉｎｃ（ｘ）＝ｓｉｎ（ｘ）／ｘによって定義されるｓｉｎｃ関数の最適な補間プロセスに近い。提供された仮想の高解像度画像を、ビデオエンコーダによって実施される動き推定及び動き補償プロセスにおける一時的な予測として使用することができる。
【０００５】
しかしながら、補間を用いる慣例のエンコーディングプロセス及びデコーディングプロセスは、ナイキスト周波数に近い周波数を有する本来の画像には存在しない高い空間周波数はそのようなやり方では再生できないという欠点を有している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って本発明の課題は、予測の精度を改善する、ひいてはエンコーディングプロセス及びデコーディングプロセスが実施される信号の性能及び品質を改善する、エンコーディング方法及びデコーディング方法を提供することである。
【課題を解決するための手段】
【０００７】
この課題は、請求項１の特徴部分に記載されている構成を備えたエンコーダによって解決される。
【０００８】
本発明は、各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をエンコーディングするためのエンコーダを提供し、このエンコーダは、
局所的な動き補償を行なう超解像アルゴリズムの実施によって、先行してエンコーディングされた複数の画像ブロックに基づき、少なくとも一つの高解像参照画像ブロックを計算する処理ユニットと、
計算された高解像参照画像ブロックに基づき、前述のビデオ信号の目下の画像ブロックから減算された一時的な予測子を計算する動き補償ユニットとを備えている。
【０００９】
一つの実施の形態によれば、処理ユニットは、少なくとも一つの高解像参照画像ブロックを空間領域において計算することができる。
【００１０】
別の実施の形態によれば、処理ユニットは、超解像アルゴリズムの実施時に、ブロックベース及び／又はメッシュベースの動き補償スキームを使用することができる。
【００１１】
本発明によるエンコーダの別の実施の形態においては、エンコーダは動き推定ユニットを含んでおり、この動き推定ユニットは前述のビデオ信号の目下の画像ブロックと計算された前述の高解像参照画像ブロックとに依存して動き推定を実施し、前述のビデオ信号の目下の画像ブロックに関する動きベクトルを提供する。この動きベクトルは前述のエンコーダの前述の動き補償ユニットに供給される。
【００１２】
本発明によるエンコーダの一つの考えられる実施の形態においては、動き補償ユニット及び動き推定ユニットはサブピクセル動き補償のためのフィルタを含むことができる。
【００１３】
本発明によるエンコーダの一つの考えられる実施の形態においては、処理ユニットに供給される、先行してエンコーディングされた所定数の画像ブロックを記憶するための複数のバッファを含むデータメモリが提供される。
【００１４】
本発明によるエンコーダの更に別の考えられる実施の形態においては、エンコーダは変換ユニットを含んでおり、この変換ユニットは、前述のビデオ信号の動き補償された目下の画像ブロックを周波数領域信号に変換する。この周波数領域信号は前述のエンコーダの量子化ユニットによって量子化され、それにより前述のエンコーダのエントロピーエンコーダに供給される量子化信号が提供される。
【００１５】
別の考えられる実施の形態においては、エンコーダはマルチプレクサユニットを含んでおり、このマルチプレクサユニットは、前述のエンコーダの前述のエントロピーエンコーダによって提供された、エントロピーエンコーディング及び量子化された信号を、前述のエンコーダの処理ユニットによって使用される超解像アルゴリズムのパラメータ情報データ及び／又は前述のエンコーダの前述の動き推定ユニットによって提供される動きベクトルを用いて多重化する。
【００１６】
マルチプレクサユニットの出力信号はエントロピーエンコーディング及び量子化された信号を含んでおり、またこの出力信号を無線又は有線の伝送媒体を介してデコーダに伝送することができる。
【００１７】
択一的に、エントロピーエンコーディング及び量子化された信号を含んでいる多重化された信号をデータ記憶媒体に記憶することができる。
【００１８】
本発明によるエンコーダの一つの考えられる実施の形態においては、エンコーダの処理ユニットによって使用される超解像アルゴリズムの多重化されたパラメータ情報データが、先行してエンコーディングされた参照画像又は画像ブロックの数、及び／又は、それぞれの超解像アルゴリズムによって使用される、先行してエンコーディングされた参照画像ブロックのインデクスを含んでいる。
【００１９】
別の考えられる実施の形態においては、超解像アルゴリズムの多重化されたパラメータ情報データは、使用される超解像アルゴリズムのタイプを含むことができる。
【００２０】
別の考えられる実施の形態においては、超解像アルゴリズムの多重化されたパラメータ情報データは、それぞれの超解像アルゴリズムによって使用されるフィルタのフィルタパラメータを含んでいる。
【００２１】
別の考えられる実施の形態においては、多重化されたパラメータ情報は、それぞれの超解像アルゴリズムが目下の画像ブロックの一部に対して使用されるか、又は、目下の画像ブロックの全体に対して使用されるかを表すブロックモードインディケータも含んでいる。
【００２２】
本発明によるエンコーダの別の考えられる実施の形態においては、エンコーダの処理ユニット及び動き補償ユニットは、カメラによって生成された２次元ビデオ信号を処理するよう適合されている。
【００２３】
本発明によるエンコーダの別の考えられる実施の形態においては、エンコーダの処理ユニット及び動き補償ユニットは、カメラによって生成された３次元ビデオ信号を処理するよう適合されている。
【００２４】
エンコーダの一つの考えられる実施の形態においては、エンコーダの処理ユニット及び動き補償ユニットは、２次元又は３次元ビデオ信号をリアルタイムで処理するよう適合されている。
【００２５】
択一的に、処理をオフラインで実施することもできる。
【００２６】
更に本発明は、各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をエンコーディングするためのエンコーディング方法を提供し、このエンコーディング方法は、
局所的な動き補償を行なう超解像アルゴリズムによって、先行してエンコーディングされた複数の画像ブロックに基づき計算された少なくとも一つの高解像参照画像ブロックを生成するステップと、
計算された高解像参照画像ブロックに基づき、目下の画像ブロックから減算された一時的な予測子を計算するステップとを備えている。
【００２７】
一つの実施の形態によれば、超解像アルゴリズムは、
（ａ１）各次元においてサイズが多重化されている画像を生成するオーバーサンプリングフィルタの使用と、
（ａ２）マッチングアルゴリズムが画像におけるオブジェクトの対応するピクセルを検出した場合の、オーバーサンプリングされた画像に対するピクセルマッチングの実施と、
（ａ３）オーバーサンプリング及びピクセルマッチングされた画像に対する動き補償アルゴリズムの実施とを含むことができる。
【００２８】
選択的に、超解像アルゴリズムは更に、
（ａ４）高ビット深度画像を生成するための、動き補償された画像のスーパーインポーズと、
（ａ５）バンドパスフィルタを使用する、高ビット深度画像における高周波数の再構成とを含むことができる。
【００２９】
本発明によるエンコーディング方法の一つの考えられる実施の形態においては、前述のビデオ信号の動き補償された目下の画像ブロックは周波数領域信号に変換され、この周波数領域信号は量子化され、それにより量子化された信号が提供され、この信号は引き続きエントロピーエンコーディングされる。
【００３０】
一つの考えられる実施の形態においては、エントロピーエンコーディング及び量子化された信号を付加的なデータを用いて、特に動き推定ベクトル及び／又は使用される超解像アルゴリズムのパラメータを用いて多重化することができる。
【００３１】
本発明によるエンコーディング方法の一つの考えられる実施の形態においては、使用される超解像アルゴリズムのパラメータ及び／又は動き推定によって提供される動きベクトルは副次的な情報として、又は、エンコーディングされる信号の一部としてエンコーディングされる。
【００３２】
更に本発明は、各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をデコーディングするためのデコーダを提供し、このデコーダは、
局所的な動き補償を行なう超解像アルゴリズムの実施によって、先行してデコーディングされた複数の画像ブロックに基づき、少なくとも一つの高解像参照画像ブロックを計算する処理ユニットと、
高解像参照画像ブロックに基づき、受信したビデオ信号の予測誤差ブロックに付加される一時的な予測子を計算する動き補償ユニットとを備えている。
【００３３】
一つの実施の形態によれば、本発明によるデコーダの処理ユニットは、少なくとも一つの高解像参照画像ブロックを空間領域において計算することができる。
【００３４】
別の実施の形態によれば、本発明によるデコーダの処理ユニットは、超解像アルゴリズムの実施時に、ブロックベース及び／又はメッシュベースの動き補償スキームを使用することができる。
【００３５】
本発明によるデコーダの一つの考えられる実施の形態においては、デコーダは更にデマルチプレクサユニットを含んでおり、このデマルチプレクサユニットは、前述のデコーダによって受信されたビデオ信号の、エントロピーエンコーディング及び量子化された信号、前述の超解像アルゴリズムのパラメータ情報データ及び動きベクトルを多重解除するために設けられている。
【００３６】
本発明によるデコーダの一つの考えられる実施の形態においては、前述の超解像アルゴリズムの多重解除されたパラメータ情報データが、エンコーディングされた画像又は画像ブロックの数、及び／又は、それぞれの超解像アルゴリズムによって使用される、コーディングされた参照画像又は画像ブロックのインデクスを含んでいる。
【００３７】
一つの考えられる実施の形態においては、多重化されたパラメータ情報データは更に、使用される超解像アルゴリズムのタイプを含んでいる。
【００３８】
一つの考えられる実施の形態においては、多重解除されたパラメータ情報データは更に、それぞれの超解像アルゴリズムによって使用されるフィルタのフィルタパラメータを含んでいる。
【００３９】
別の考えられる実施の形態においては、多重解除されたパラメータ情報データは、それぞれの超解像アルゴリズムが目下の画像ブロックの一部に対して使用されるか、又は、目下の画像ブロックの全体に対して使用されるかを表すブロックモードインディケータを含むことができる。
【００４０】
本発明によるデコーダの一つの考えられる実施の形態においては、デマルチプレクサユニットによって提供される多重解除されたパラメータ情報データがこのデマルチプレクサユニットによって前述のデコーダの処理ユニットに供給される。
【００４１】
以下では、ビデオ信号をエンコーディング及びデコーディングするための方法と装置の考えられる複数の実施の形態を添付の図面を参照しながら詳細に説明する。
【図面の簡単な説明】
【００４２】
【図１】慣例のビデオエンコーダのブロック図を示す。
【図２】本発明の第１の態様による、ビデオ信号をエンコーディングするためのエンコーダの一つの考えられる実施の形態のブロック図を示す。
【図３】本発明の別の態様による、ビデオ信号をデコーディングするためのデコーダの一つの考えられる実施の形態のブロック図を示す。
【図４】本発明の別の態様による、エンコーディング方法の一つの考えられる実施の形態を説明するためのフローチャートを示す。
【図５】本発明の別の態様による、ビデオ信号をデコーディングするためのデコーディング方法の一つの考えられる実施の形態を説明するためのフローチャートを示す。
【発明を実施するための形態】
【００４３】
図２において見て取れるように、本発明によるビデオエンコーダ１は、図２に示されている実施の形態においては、各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオシーケンスを受信するための信号入力端２を備えている。入力されたビデオ信号は動き推定ユニット３に供給され、この動き推定ユニット３は、ビデオ信号の目下の画像ブロック及び計算された高解像参照画像ブロックに依存して動き推定を実施し、ビデオ信号の目下の画像ブロックに関する動きベクトルＭＶを供給する。動き推定ユニット３に供給される高解像参照画像ブロックは処理ユニット４によって計算される。処理ユニット４は、超解像アルゴリズムＳＲＡを実施することにより、先行してエンコーディングされた画像ブロックに基づき高解像参照画像ブロックを計算する。計算された高解像参照画像ブロックは処理ユニット４から動き推定ユニット３及び動き補償ユニット５に供給される。動き補償ユニット５は、高解像参照画像ブロックと、動き推定ユニット３から受信した動きベクトルＭＶとに基づき、一時的な予測子ＴＰを計算する。エンコーダ１は減算器６を含んでおり、この減算器６はビデオ信号の目下の画像ブロックから、動き補償ユニット５から供給された一時的な予測子ＴＰを減算し、予測誤差ＰＥを計算する。
【００４４】
ビデオエンコーダ１は更に変換ユニット７を含んでおり、この変換ユニット７は減算器６から受信した予測誤差ＰＥを周波数領域信号に変換し、この周波数領域信号はエンコーダ１の後続の量子化ユニット８によって量子化される。量子化された信号は続いてエントロピーエンコーダ９に供給される。量子化ユニット８によって供給される量子化された信号は逆量子化ユニット１０にも供給され、この逆量子化ユニット１０は量子化を逆転し、また後続の逆変換ユニット１１は変換ユニット７によって実施された変換を逆転する。変換ユニット７として例えば、ＤＣＴ変換ユニットが考えられる。
【００４５】
逆変換ユニット１１の出力端は加算器１２に接続されており、この加算器１２は動き補償ユニット５によって生成された一時的な予測子ＴＰを逆変換ユニット１１の出力信号に加算する。
【００４６】
加算器１２の信号が記憶用の複数のバッファを備えているデータメモリ１３に供給されると、先行してエンコーディングされた所定数の画像ブロックを、超解像アルゴリズムＳＲＡを実施する処理ユニット４に供給することができる。データメモリ１３内のバッファの数は可変で良い。図２に示されている実施の形態においては、データメモリ１３は先行してエンコーディングされた四つの画像ブロックを記憶するための四つのバッファを含むことができる。
【００４７】
図２に示されている実施の形態においては、エンコーダ１は更にマルチプレクサユニット１４を含んでおり、このマルチプレクサユニット１４は、エントロピーエンコーダ９から供給された、エントロピーエンコーディング及び量子化された信号を、処理ユニット４によって使用される前述の超解像アルゴリズムＳＲＡの考えられる実施パラメータ情報データＰに含まれている付加的なデータ、及び／又は、動き推定ユニット３から供給される動きベクトルＶを用いて多重化するために設けられている。マルチプレクサユニット１４から供給される多重化された信号はエンコーダ１の出力端子１５に出力される。
【００４８】
超解像アルゴリズムＳＲＡの多重化されたパラメータ情報データＰは、先行してエンコーディングされた参照画像又は画像ブロックの数、及び／又は、それぞれの超解像アルゴリズムＳＲＡによって使用される、先行してエンコーディングされた参照画像又は画像ブロックのインデクスを含むことができる。多重化されたパラメータ情報データＰが、使用される超解像アルゴリズムのタイプ、及び／又は、それぞれの超解像アルゴリズムＳＲＡによって使用されるフィルタのフィルタパラメータを含んでいても良いことが考えられる。
【００４９】
別の考えられる実施の形態においては、多重化されたパラメータ情報データＰは、それぞれの超解像アルゴリズムＳＲＡが目下の画像ブロックの一部に対して使用されるか、又は、目下の画像ブロックの全体に対して使用されるかを表すブロックモードインディケータを含むことができる。
【００５０】
図２に示されている実施の形態のエンコーダ１は、２次元ビデオ信号を処理することができる。別の考えられる実施の形態においては、エンコーダ１、特に前述のエンコーダの処理ユニット及び動き補償ユニットは３次元ビデオ信号を処理することができる。
【００５１】
一つの考えられる実施の形態においては、エンコーダ１の入力端子２に入力されるビデオ信号をディジタルカメラによって生成することができる。入力されるビデオ信号の処理を図２に示されているエンコーダ１によってリアルタイムで実施することができる。入力されるビデオ信号の処理をオフラインで実施することも可能である。
【００５２】
ビデオエンコーダ１の出力端子１５における多重化された信号出力を、有線又は無線の伝送媒体を介してデコーダに伝送することができる。図２に示されているビデオエンコーダ１のエンコーディングされた出力信号を、更なる処理のためにデータ記憶媒体に記憶することも可能である。
【００５３】
一つの考えられる実施の形態においては、動き補償ユニット５はサブピクセル動き補償のための付加的な補間フィルタを含むことができる。
【００５４】
図２に示されているビデオエンコーダ１内では、ハイブリッドビデオコーディングにおける、一時的な予測と一時的な予測子ＴＰの計算とのために超解像アルゴリズムＳＲＡが使用される。超解像画像を生成するために、空間領域での動き補償が実施され、また特に局所的な動き補償（ＭＣ）スキーム、例えばブロックベースの動き補償スキーム又はメッシュベースの動き補償スキームを使用して動き補償が実施される。動き補償のよりフレキシブルな設計、また正規の動き補償プロセスとピクセルマッチングに使用される動き補償との相互作用を実現するグローバル動き補償は必要とされない。グローバル動き補償とは異なり、ブロックベースの動き補償又はメッシュベースの動き補償のようなローカル動き補償を使用する場合には、拡がっている動きを有する種々の領域を考慮することができる。
【００５５】
図２に示されている実施の形態におけるビデオエンコーダ１を用いて、参照画像ブロックに関するより高い解像度を実現するために、先行してエンコーディングされた画像ブロックが使用される。この高解像参照画像ブロック又は領域を動き推定及び動き補償に使用することができ、その際に、サブピクセル位置において補間される画像値を形成する必要はない。超解像アルゴリズムＳＲＡによって供給される解像度よりも高い解像度での画像値が必要とされる場合には、慣例のフィルタリング処理、即ちサブピクセル補間を付加的に実施することができる。択一的に、より高い解像度が超解像アルゴリズムＳＲＡによって直接的に提供されるように、使用される超解像アルゴリズムＳＲＡを適合させることができる。
【００５６】
動き補償ユニット５からの動き情報が解像プロセスの要求に十分に適合しない場合には、新たな動き情報を送信することができる。動きベクトルＭＶを別個に導出することができるが、特定の動き推定ＭＥアルゴリズムによってエンコーダ側とデコーダ側とで同じように導出することができる。一つの考えられる実施の形態においては、閾値のような動き推定制御情報をエンコーダ１からデコーダに送信することができる。一つの考えられる実施の形態においては、この動き推定制御情報もマルチプレクサユニット１４によって多重化されてデータストリームに供給される。
【００５７】
図２に示されている実施の形態においては、超解像アルゴリズムＳＲＡのパラメータが多重化された情報としてエンコーダ１から図３に示されているデコーダ１６へと伝送される。この情報をエンコーディングされたビットストリームの一体的な部分として、又は別個のコンフィギュレーションデータストリームとして伝送することができる。択一的に、パラメータを暗黙的にデコーダ側において導出することも可能である。
【００５８】
図３には、ビデオデコーダ１６の一つの考えられる実施の形態のブロック図が示されており、このビデオデコーダ１６はデータ伝送媒体を介してビデオエンコーダ１からビットストリームを受信する。デコーダ１６はビットストリームを受信するための入力端子１７を備えている。図示されている実施の形態において、デマルチプレクサユニット１８は、受信したビデオ信号データストリームの、エントロピーエンコーディング及び量子化された信号、パラメータ情報データＰ並びに動きベクトルＭＶの多重解除のために設けられている。多重解除されたエントロピーエンコーディング及び量子化された信号は、エントロピーデコーダ１９に供給され、このエントロピーデコーダ１９は、受信したエントロピーエンコーディング及び量子化された信号のエントロピーデコーディングを実施する。続いて、デコーディングされた信号は逆量子化ユニット２０及び逆変換ユニット２１に供給される。生成された残りの画像ブロック又は予測誤差ブロックは加算器２２に供給され、この加算器２２によってデコーダ１６の動き補償ユニット２３によって生成された一時的な予測子が加算される。動き補償ユニット２３は、高解像参照画像ブロックに基づき、一時的な予測子ＴＰを計算する。この一時的な予測子ＴＰはビデオ信号の予測誤差ブロックに加算される。図３に示されているように、この実施の形態においては、動き補償ユニット２３は処理ユニット２４から高解像参照画像ブロックを受信する。処理ユニット２４は、超解像アルゴリズムＳＲＡを実施することにより、先行してデコーディングされた画像ブロックに基づいて少なくとも一つの高解像参照画像ブロックを計算する。処理ユニット２４の入力端はデータメモリ２５に接続されており、このデータメモリ２５は先行してデコーディングされた所定数の画像ブロックを記憶するための複数のバッファを含むことができる。図示されている実施の形態においては、データメモリ２５は先行してデコーディングされた四つの画像ブロックを記憶するための四つのバッファを含んでいる。
【００５９】
図３から見て取れるように、エンコーディング側において使用された超解像アルゴリズムＳＲＡの多重解除されたパラメータ情報データをビデオデコーダ１６の処理ユニット２４に供給することができる。それらの多重解除されたパラメータ情報データＰは、エンコーディングされた参照画像又は画像ブロックの数、若しくは、エンコーディング側においてそれぞれの超解像アルゴリズムＳＲＡによって使用された、エンコーディングされた参照画像又は画像ブロックのインデクスを含むことができる。更に、処理ユニット２４に供給される多重解除されたパラメータ情報データＰは、エンコーダ１において使用される超解像アルゴリズムＳＲＡのタイプ及びエンコーダ１のそれぞれの超解像アルゴリズムＳＲＡによって使用されるフィルタのフィルタパラメータを含むこともできる。
【００６０】
更に、デコーダ１６の処理ユニット２４に供給される多重解除されたパラメータ情報データＰは、それぞれの超解像アルゴリズムＳＲＡが目下の画像ブロックの一部に対して使用されるか、又は、目下の画像ブロックの全体に対して使用されるかを表すブロックモードインディケータを含むこともできる。デコーディングされたビデオ信号を更なる処理のために、ビデオデコーダ１６の出力端子２６において出力することもできる。
【００６１】
図２に示したエンコーダと同様に、図３のデコーダは同数の参照ブロックを記憶し、同一の高解像参照画像ブロックを形成することができる。異なる数のブロックを高解像参照画像ブロックの生成に使用することができ、そこから最高の予測子をエンコーダ１によって選択することができる。それら複数の画像ブロックは隣接する画像ブロックである必要はない。超解像アルゴリズムＳＲＡによって使用される画像ブロック及び画像ブロックインデクスの数を画像の各領域、例えばブロック又はマクロブロックに関して適応的に選択することができる。このことをビットストリームにおいて明示的にシグナリングすることができるか、又は、画像プロパティ、例えばその画像領域に関する動きの量から導出することができる。
【００６２】
画像ブロックの選択をビットストリームにおけるランダムアクセスパターンを用いて調整することができ、例えばＩＤＲフレームに先行するブロックは使用されるべきではない。
【００６３】
一つの考えられる実施の形態においては、正規の参照画像ブロック、即ち非高解像参照画像ブロックを参照画像リストに組み込むことはできない。その選択を例えばブロックレベル／マクロブロックレベルで実施することができる。一つの考えられる実施の形態においては、その選択をビットストリームにエンコーディングすることができるか、又は、エンコーダにおける選択アルゴリズムと同様にして、デコーダ側において暗黙的に導出することができる。
【００６４】
一つの考えられる実施の形態においては、超解像アルゴリズムＳＲＡは複数のステップを含むことができる。
【００６５】
第１のステップにおいては、画像オーバーサンプリングを実施することができ、その際に、バンドパスの有界である各次元においてサイズが多重化されている（数倍にされている）画像を生成するためにオーバーサンプリングフィルタが使用される。
【００６６】
使用されるＳＲＡアルゴリズムの更なるステップにおいては、マッチングアルゴリズムによってオブジェクトの対応するピクセルが検出されると、ピクセルマッチングが実施される。ピクセルマッチングアルゴリズムの要求は、目下の動きを発見する必要のないデータ圧縮のための動き推定とは異なる。有用なマッチングアルゴリズムは、例えば可変のブロックサイズを用いる階層的ブロックマッチングである。
【００６７】
超解像アルゴリズムＳＲＡの更なるステップにおいては、ブロック毎の動き補償のような適切なアルゴリズムが、検出された動きベクトルＭＶに応じたブロック階層の最小ブロックを用いて実施される。
【００６８】
更なるステップにおいては、動き補償された画像のスーパーインポーズが実施される。オーバーサンプリング及び動き補償された画像をピクセル毎に付加することによって、より高い値域の画像を提供することができる。比較的高い値域又は比較的高いビット深さは、画像に本来含まれている全ての情報を維持するための後続の事前処理のために必要である。
【００６９】
また、超解像アルゴリズムＳＲＡの更なるステップにおいて、画像のシャープネスの再構成のような事前処理を実施することも可能である。スーパーインポーズされた画像は単一の本来の画像に比べてより詳細な情報を含んでおり、且つ、ノイズが低減されているので、本来の信号画像においては現われない高周波数を再構成することができる。このためにバンドパスフィルタを使用することができる。
【００７０】
本発明による方法の一つの考えられる実施の形態においては、歪んだ画像が付加される代わりに、単一の画像のピクセルを種々に重み付けすることができ、例えばピクセル分散のような評価された精度又は信頼性に従い重み付けすることができる。例えば、フルピクセル位置を表すピクセルは、サブピクセル位置を表すピクセル、即ち補間されたピクセルに比べて高く重み付けされる。全体の再構成誤差を、逆分散によって重み付けされた信号をオーバーレイすることによって最小化することができる。重み付け係数を導出するための付加的な潜在パラメータはＱＰ、目下のフレームからの一時的な距離、若しくはブロックタイプ又はＭＢタイプ又はＳＡＤ値を含むことができる。重み付け係数は０であっても良い。
【００７１】
一つの考えられる実施の形態においては、ピクセル分散を例えばノイズ特性から導出することができるか、又は補間プロセスから導出することができる。一つの考えられる実施の形態においては、信号ノイズ及び量子化ノイズを分散の計算に使用することができる。
【００７２】
更には、欠落した中間ピクセルを計算するために補間フィルタを使用することも可能である。補間されたピクセルの精度又は分散を定義するために二つの可能性、例えば隣接ピクセルからの分散又は補間フィルタからの分散が存在する。
【００７３】
画像統計量がズーミングに依存しない場合には、補間されたピクセルの分散を既知のピクセルの周囲の分散に等しくすることができる。
【００７４】
択一的に、補間されたピクセルの周囲における既存の値を予測し、予測誤差を計算するために補間フィルタが使用される。この分散を欠落したピクセル、即ち補間されたピクセルの分散の評価に使用することができる。
【００７５】
一つの考えられる実施の形態においては、重み付け係数の総和は一つのブロック又はフレームの各ピクセルに対して一定である。
【００７６】
一つの考えられる実施の形態においては、画像の詳細を再構成するために、有用なバンドパスフィルタが、例えばオーバーサンプリングレート、入力信号のノイズ及びエンコーダのレート歪み関数に依存して、スーパーインポーズされた画像に適用される。
【００７７】
一つの考えられる実施の形態においては、バンドパスフィルタリングをレート歪み関数において最適化することができる。
【００７８】
データレートの向上は二つの構成要素に起因する。
【００７９】
一つの考えられる実施の形態においては、例えばカメラノイズ及び量子化ノイズから生じる可能性があるノイズにフィルタが適用される。
【００８０】
画像の詳細がフレーム毎に変化する場合には、動き推定はミスマッチを生じさせる可能性がある。従って、とりわけ低い量子化値に関するマッチングの信頼性を高めるために、参照フレームに付加的なローパスフィルタを適用することができる。つまり、それらの要求を満たすためにバンドパスフィルタを構成することができる。
【００８１】
別のアプローチにおいては再構成フィルタが予測誤差に関する最小化処理によって、即ち再構成後の予測ブロック信号を本来の信号ブロックと比較することによって、適応的に導出される。
【００８２】
一つの考えられる実施の形態においては、フィルタパラメータがビットストリームにおいてシグナリングされる。更には、ＲＤＯ、即ちレート歪み最適化を基礎とする判定を実施し、フィルタパラメータと対応する予測誤差コスト及びシグナリングコストとの最善の組み合わせを選択することができる。フィルタの適合をシーケンス毎、サブシーケンス毎、フレーム毎、スライス毎、ＭＢ毎又は信号ブロック毎に実施することができる。
【００８３】
一つの考えられる実施の形態においては、連続的な超解像画像ブロックの計算にスライディングウィンドウアプローチ（sliding window approach）を使用することができる。とりわけ、複数のステップにおける演算、画像オーバーサンプリング、画像マッチング及び画像変形を、先行の超解像参照画像ブロックの生成に使用された画像に対して反復的に実施することができるが、先行の超解像参照ブロック計算及び／又は正規動き推定プロセスから再利用することができる。このことは、超解像に関する動き補償が変換領域において実施される場合には不可能であり、フレーム解像の一時的な予測子に関する動き補償は空間領域において実施される。
【００８４】
図４には、本発明によるエンコーディング方法の一つの考えられる実施の形態を説明するための単純なフローチャートが示されている。このエンコーディング方法は、各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をエンコーディングするために提供される。
【００８５】
第１のステップＳ１においては、少なくとも一つの高解像参照画像ブロックが生成され、この高解像参照画像ブロックは、超解像アルゴリズムＳＲＡを用いて、先行してエンコーディングされた画像ブロックに基づいて計算される。
【００８６】
更なるステップＳ２においては、計算された高解像参照画像ブロックに基づき一時的な予測子ＴＰが計算され、目下の画像ブロックから減算される。
【００８７】
図５には、本発明の別の態様による、デコーディング方法の一つの考えられる実施の形態を説明するための別のフローチャートが示されている。このデコーディング方法は、各ビデオフレームが複数の画像ブロックから構成されている、複数のビデオフレームを含むビデオ信号をデコーディングするために提供される。
【００８８】
ステップＳ３においては、少なくとも一つの高解像参照画像ブロックが、超解像アルゴリズムＳＲＡを用いて、先行してデコーディングされた画像ブロックに基づき計算される。
【００８９】
更なるステップＳ４においては、受信したビデオ信号の予測誤差ブロックが、生成された高解像参照画像ブロックに基づき計算された一時的な予測子に加算される。
【００９０】
図２は本発明によるビデオエンコーダ１の一つの考えられる実施の形態を示しており、また図３は本発明の別の態様によるビデオデコーダ１６の一つの考えられる実施の形態を示している。
【００９１】
本発明の別の態様によれば、図２に示されているようなビデオエンコーダ１と図３に示されているようなビデオデコーダ１６とを備えているビデオコーデック装置が提供される。
【００９２】
本発明は、エンコーダ及びデコーダにおいてより正確な参照画像ブロックを形成するための超解像技術を使用する。画像をスーパーインポーズすることによって、結果として得られた画像のノイズが低減され、その一方で画像の詳細は維持される。本発明の更なる利点は、ノイズが低減されていることに基づき動き推定が改善されることである。超解像アルゴリズムＳＲＡは各ピクセルのビット深さを高める。２n個のフレームのオーバーレイはｎだけビットを高める。この事実はエンコーダ及び再構成フィルタにおけるフィルタリングの品質を改善する。従って、本発明によるエンコーディング方法及びデコーディング方法を用いることにより、レート歪みの意味におけるエンコーディング品質を向上させることができる。更には、超解像のための動き補償プロセスと、フレーム解像の一時的な予測子との相互作用に基づき、複雑性を低くすることができる。
【図１】
0005623640.tif 000002
【図２】
0005623640.tif 000003
【図３】
0005623640.tif 000004
【図４】
0005623640.tif 000005
【図５】
0005623640.tif 000006