(57)【要約】  コンピュータプロセッサハードウェアは、第１の画像の設定情報を受信する。第１の画像は、一組の複数の表示要素を含む。コンピュータプロセッサハードウェアは、第１の画像に少なくとも部分的に基づいて生成される第２の画像内の所与の表示要素に関する動き補償情報を受信する。動き補償情報は、所与の表示要素が関係する第１の画像の特定の表示要素の中の座標位置を示す。コンピュータプロセッサハードウェアは、第１の画像内の複数の表示要素の集団が選択される基底として座標位置を利用する。次に、コンピュータプロセッサハードウェアは、集団内の複数の表示要素の設定に基づいて第２の画像内の所与の表示要素の設定を生成する。
2015522988.tif 000002
【特許請求の範囲】
【請求項１】
所与の解像度で複数の要素からなるグリッドを定義する参照画像情報を受信する段階と、
補償画像内の画像要素に関する補償情報、前記参照画像情報から少なくとも部分的に導かれる前記補償画像内の複数の表示要素の複数の設定を受信する段階と、
前記グリッド内の前記画像要素の対応オフグリッド位置を示す一組の複数の座標を生成するべく、前記受信した補償情報を処理する段階と、
前記グリッド内の複数の要素からなる集団に基づいて前記画像要素の前記対応オフグリッド位置の値を算出する段階と、
前記補償画像内の前記画像要素に対して前記値を割り当てる段階と、
を備える方法。
【請求項２】
前記対応オフグリッド位置を示す前記複数の座標は、前記グリッドの前記所与の解像度よりも実質的にさらに高い解像度で表される、請求項１に記載の方法。
【請求項３】
前記値を算出する段階は、前記グリッド内の前記複数の要素のどれが前記集団に含まれるかを特定するアルゴリズムを適用する段階を有し、複数の要素からなる前記集団は、前記対応オフグリッド位置の近傍に配置され、前記アルゴリズムは、前記値を導くべく、前記複数の要素からなる前記集団の設定に対して数学的操作を適用する、請求項１または２に記載の方法。
【請求項４】
前記対応オフグリッド位置を示す前記一組の前記複数の座標は、実領域において複数の量を表す複数の数を介して表される、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記対応オフグリッド位置を示す前記一組の前記複数の座標は、前記グリッド内の表示要素の１／３２倍未満で、前記グリッド内の複数のオングリッド位置に対してオフセットを特定するのに十分に高い解像度を有する、請求項４に記載の方法。
【請求項６】
前記参照画像情報の前記解像度は、前記補償画像の解像度と実質的に同じである、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記値を算出する段階は、実領域に複数の浮動小数点操作を適用することを含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記値を算出する段階は、実領域内の複数の量を表す複数の固定小数点による数学的操作を適用することを含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記補償情報は、実領域内の複数の量を表す複数の数によって表される複数のパラメータを含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記値を算出する段階は、グラフィック処理ユニット内でシェーダを実行する段階を含む、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記値を算出する段階は、少なくとも１つのリサンプリング操作を実行する段階を含む、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記受信した補償情報を処理する段階は、
前記画像要素の前記参照画像内の前記一組の前記複数の座標を生成するべく、前記受信した補償情報に特定された複数のパラメータに応じて複数の線形結合を前記画像要素の前記複数の座標に適用する段階と、
前記補償画像内の複数の表示要素それぞれに対する前記参照画像内の各々の組の複数の座標を生成するべく、同一の複数のパラメータに応じて複数の線形結合を複数の座標に適用する段階と、
を備える、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
前記受信した補償情報を処理する段階は、
前記補償画像内の前記画像要素に関連付けられた前記一組の前記複数の座標に対応する複数の同次座標内のベクトルを算出する段階と、
マトリクスによって前記ベクトルを乗算する段階とを備え、
前記マトリクス内の複数の係数は、前記補償情報に基づいて少なくとも部分的に特定される、請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
複数の座標（ｘＴ，ｙＴ）として前記一組の前記複数の座標を算出する段階をさらに備え、
前記複数の座標（ｘＴ，ｙＴ）は、前記画像要素の前記オフグリッド位置を特定し、前記画像要素は、前記補償画像内の位置（ｘ，ｙ）に存在し、前記複数の座標（ｘＴ，ｙＴ）は、以下の式
【数４】
2015522988.tif 000006
に従って、６つの係数ａ、ｂ、ｃ、ｄ、ｅ、およびｆでｘおよびｙの複数の足し算および複数の乗算を実行することによって、算出される、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
同一の一組の複数のパラメータに基づいて算出した前記参照画像内の複数のリスペクト座標を有する前記補償画像内の複数の表示要素の少なくとも１つの要素は、前記複数の表示要素の他の表示要素と隣接していない、請求項１２に記載の方法。
【請求項１６】
前記補償情報は、スケーリング、回転、およびオフセットを含む群から選択される少なくとも１つのパラメータを有する、請求項１から１５のいずれか一項に記載の方法。
【請求項１７】
前記補償情報は、スケーリング、回転、オフセット、せん断、視点の変化を含む群から選択される少なくとも１つのパラメータを有する、請求項１６に記載の方法。
【請求項１８】
複数の座標（ｘＴ，ｙＴ）として前記一組の前記複数の座標を算出する段階をさらに備え、
前記複数の座標（ｘＴ，ｙＴ）は、前記画像要素の前記オフグリッド位置を特定し、前記画像要素は、前記補償画像内の位置（ｘ，ｙ）に存在し、前記複数の座標（ｘＴ，ｙＴ）は、以下の式
【数５】
2015522988.tif 000007
に従って、８つの係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、およびｈでｘおよびｙの複数の足し算および複数の乗算を実行することによって、算出される、請求項１から１７のいずれか一項に記載の方法。
【請求項１９】
前記グリッドの外側にあり、かつ所与の閾値を超える前記グリッドの最も近いサンプルからの距離を有する位置を、特定する各々の組の前記複数の座標にデフォルト値を割り当てる段階を、さらに備える、請求項１から１８のいずれか一項に記載の方法。
【請求項２０】
前記補償画像は、前記複数の要素のグリッドよりもさらに高い解像度を有する、請求項１から１９のいずれか一項に記載の方法。
【請求項２１】
前記補償画像は、前記複数の要素のグリッドよりも低い解像度を有する、請求項１から２０ののいずれか一項に記載の方法。
【請求項２２】
前記補償画像は、２次元画像である、請求項１から２１のいずれか一項に記載の方法。
【請求項２３】
前記補償画像は、容積画像である、請求項１から２２ののいずれか一項に記載の方法。
【請求項２４】
前記補償画像は、１次元画像である、請求項１から２３ののいずれか一項に記載の方法。
【請求項２５】
コンピュータプロセッサハードウェアを介して、
一組の複数の表示要素を含む第１の画像に関する設定情報を受信する段階と、
第２の画像内の所与の表示要素に関する動き補償情報であり、前記所与の表示要素が関係する前記第１の画像内の特定の表示要素の中の座標位置を示す前記動き補償情報を受信する段階と、
前記第１の画像内の複数の表示要素の集団が選択される基底として前記座標位置を利用する段階と、
前記集団内の前記複数の表示要素の複数の設定に基づいて前記第２の画像内の前記所与の表示要素の設定を生成する段階と、
を備える方法。
【請求項２６】
前記所与の表示要素の設定を生成する段階は、前記特定の表示要素内の前記座標位置に対して前記集団内の前記複数の表示要素の複数の距離に少なくとも部分的に基づいて前記所与の表示要素の設定を算出する段階を有する、請求項２５に記載の方法。
【請求項２７】
前記所与の表示要素の前記設定を生成する段階は、前記集団内の前記複数の表示要素の複数の設定に少なくとも部分的に基づいて前記所与の表示要素の設定を算出する段階を有する、請求項２５または２６に記載の方法。
【請求項２８】
前記座標位置は、前記所与の表示要素の設定が生成される中心軌跡を表し、
前記所与の表示要素の前記設定を生成する段階は、
前記所与の表示要素の前記中心軌跡と、前記集団内の要素の各々の中心軌跡との間の各々の距離に応じて変化する複数の重み値を生成する段階と、
前記所与の表示要素の前記設定を生成するべく、前記複数の重み値を前記集団内の前記複数の表示要素の前記複数の設定に適用する段階と、
をさらに備える請求項２５から２７ののいずれか一項に記載の方法。
【請求項２９】
前記座標位置は、前記第１の画像内の前記特定の表示要素の中心部以外の位置を特定する、請求項２５から２８のいずれか一項に記載の方法。
【請求項３０】
前記第１の画像の解像度は、前記第２の画像の解像度と実質的に等しい、請求項２５から２９のいずれか一項に記載の方法。
【請求項３１】
前記第１の画像の解像度は、前記第２の画像の解像度と実質的に異なる、請求項２５から３０のいずれか一項に記載の方法。
【請求項３２】
前記第１の画像内の複数の表示要素の前記集団が選択される基底として前記座標位置を利用する段階は、
前記特定の表示要素と前記特定の表示要素の近傍に位置した前記第１の画像内の表示要素とを含むべく、前記複数の表示要素の前記集団を生成する段階と、
（ｉ）前記特定の表示要素の中心軌跡と前記特定の表示要素の前記近傍にある前記表示要素の中心軌跡とに対して前記座標位置の近傍、（ｉｉ）前記特定の表示要素の設定、および（ｉｉｉ）前記特定の表示要素の前記近傍に位置する前記表示要素の設定に基づいて、前記所与の表示要素の前記設定を補間する段階と
を有する、請求項２５から３１のいずれか一項に記載の方法。
【請求項３３】
前記第１の画像は参照画像であり、前記一組の前記複数の表示要素は、前記第１の画像に存在するオブジェクトの少なくとも一部分を表す、請求項２５から３２のいずれか一項に記載の方法。
【請求項３４】
前記座標位置は、ゼロよりも大きく１よりも小さい表示要素の分数によって、前記特定の表示要素の中心軌跡に対してオフセットされる、請求項２５から３３のいずれか一項に記載の方法。
【請求項３５】
所与の解像度で複数の要素からなるグリッドを定義する参照画像情報を受信すること、
補償画像内の画像要素に関する補償情報、少なくとも部分的に前記参照画像情報から導かれる前記補償画像内の複数の表示要素の複数の設定を受信すること、
前記グリッド内の前記画像要素の対応オフグリッド位置を示す一組の複数の座標を生成するべく、受信した前記補償情報を処理すること、前記グリッド内の複数の要素からなる集団に基づいて前記画像要素の前記対応オフグリッド位置の値を算出すること、
前記補償画像内の前記画像要素に対して前記値を割り当てること、
をコンピュータに実行させるためのプログラム。
【請求項３６】
一組の複数の表示要素を含む第１の画像に関する設定情報を受信すること、
第２の画像内の所与の表示要素に関する動き補償情報であり、前記所与の表示要素が関係する前記第１の画像内の特定の表示要素の中の座標位置を示す前記動き補償情報を受信すること、
前記第１の画像内の複数の表示要素の集団が選択される基底として前記座標位置を利用すること、
前記集団内の前記複数の表示要素の複数の設定に基づいて前記第２の画像内の前記所与の表示要素の設定を生成すること、
をコンピュータに実行させるためのプログラム。
【請求項３７】
コンピュータプロセッサハードウェアと、
前記コンピュータプロセッサハードウェアに連結したハードウェアストレージリソースと
を備え、
前記ハードウェアストレージリソースに格納された複数の命令は、前記コンピュータプロセッサハードウェアで実行される場合、
前記コンピュータプロセッサハードウェアに、所与の解像度で複数の要素からなるグリッドを定義する参照画像情報を受信すること、
補償画像内の画像要素に関する補償情報、少なくとも部分的に前記参照画像情報から導かれる前記補償画像内の複数の表示要素の複数の設定を受信すること、
前記グリッド内の前記画像要素の対応オフグリッド位置を示す一組の複数の座標を生成するべく、受信した前記補償情報を処理すること、
前記グリッド内の複数の要素からなる集団に基づいて前記画像要素の前記対応オフグリッド位置の値を算出すること、
前記補償画像内の前記画像要素に対して前記値を割り当てること、
の複数の操作を前記コンピュータプロセッサハードウェアに実行させる、コンピュータシステム。
【請求項３８】
前記対応オフグリッド位置を示す前記一組の前記複数の座標は、実領域において複数の量を表す複数の数を介して表される、請求項３７に記載のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
多次元信号または経時的に生ずる信号の圧縮および解凍に対処すべく、当該技術分野において数多くの技術が知られている。これは、音声信号、ビデオ信号、ならびに科学および医学領域で使用される容積信号のような他の多次元信号の場合である。
【０００２】
高圧縮比を達成するために、これらの技術は、信号内の空間的および時間的な相関を活用する。従来の方法は、参照を特定し、現在位置と所与の参照との間で信号の違いを決定しようと試みる。このことは、参照が既に受信かつ復号化された空間平面の一部分である空間領域と、信号の時の単一のインスタンス（例えば、フレームシーケンス内のビデオフレーム）が特定の持続時間の参照とみなされる時間領域との両方で、行われる。このことは、例えば、ＭＰＥＧファミリー圧縮アルゴリズムの場合である。ここでは、既に復号化されたマクロブロックは、空間領域における参照として見なされ、ＩフレームおよびＰフレームは、時間領域においてそれに続くＰフレームの参照として使用される。
【０００３】
既知の技術は、違いを特定し、単純化し、符号化し、送信することためにいくつかの異なる技術を採用して、多くのやり方で空間相関および時間相関を活用する。従来の方法によれば、空間相関で活用するために、領域変換が実行され（例えば、周波数領域へ）、次に情報の、損失の大きい削除および量子化が実行される。その代わりに、時間領域では、従来の方法は、現在サンプルと動き補償参照サンプルとの間の量子化された違いを送信する。
【０００４】
サンプル間の類似性を最大にするために、エンコーダは、参照信号に対して経時的に生じた変更を推定を試みる。このことは、従来の符号化方法（例えば、ＭＰＥＧファミリー技術およびＶＰ８）では、動き予測および補償と称される。
【０００５】
動き情報は、最先端の方法の参照サンプルにデコーダで既に利用可能な情報を活用して現在サンプルの再構成を可能にするために、デコーダに送信される。このことは、マクロブロックを基底にして、動きベクトルを用いて行われる。言い換えれば、動きベクトルは、複数の表示要素を含むブロックレベルでの動きを示し得る。
【０００６】
これまで、動き情報は、オフセット動きベクトル、すなわち、参照ピクチャにおいてピクチャの類似の部分の位置を示すベクトル（例えば、２次元画像の場合の、平面要素または「ペル」、しばしばピクチャ要素または「ピクセル」と称される）のブロックによって、表されていた。例えば、上記のように、ブロック動き補償（ＢＭＣ）を用いて、ビデオシーケンスの画像を複数のピクセルからなる複数のブロックに分割することができる。現在画像の各々のブロックＢは、参照フレーム内のサイズが等しいブロックＢ０に基づいて、予測され得る。  現在画像内のＢの位置に対する参照画像内のブロックＢ０の位置は、オフセット動きベクトルとして、符号化し得る。そのような場合、動きベクトルは、ピクセルからなるブロックの推定ｘおよびｙ移動の反対側を示す（とりわけ、それがＢからＢ０を指し示す一方で移動がＢ０からＢであることから、その移動の反対側を示す）。
【０００７】
動きベクトルは、エンコーダがピクセル全体よりも少ない微細な移動もキャプチャ可能であることが望まれることから、典型的にはサブピクセル精度で符号化される（すなわち、ピクセルのわずかな移動も特定し得る）。ＭＰＥＧファミリーコーデックによれば、ブロックは、予測ブロックの位置にシフトされる以外に変換されず、追加の情報は、ブロックＢ０とブロックＢとの間の差を示す残留データを介して符号化されなければならない。
【０００８】
動き予測は、典型的には、１つのピクチャから別のものへ、通常はビデオシーケンス内の隣接フレームからの変換を適切に説明する動きベクトルを決定するプロセスと称される。動き予測は、典型的には、画像値（適当な色空間で表現される明るさ、色、その他）が、時間が経っても一定でありが、画像内での位置は変化し得るという前提に基づいている。動きベクトルを介した動き予測の根本的な前提は、動きベクトル（例えば、マクロブロック）によって特定される像の部分の可能な移動が並進移動に限定されていることである。
【０００９】
最新技術において、１つのペルまたは複数のペルからなる１つの集団のいずれかに関連付けられた動きベクトルの座標は、現在画像と同じ解像度のステップ幅（「ペル解像度」、すなわち、現在画像および参照画像は同一解像度を持つ）を有するか、またはサブペル解像度を（例えば、非限定的な例として、１／４倍のペル、１／８倍のペル）を有するかのいずれかである、個別の座標系（すなわち、シンボルの有限集合）に基づいて表される。この最後の場合では、参照画像は、動きベクトルがサブピクセル解像度（現在画像の解像度に対して）を有する所与の位置を指し示すことを可能にするために、現在画像よりもさらに高い解像度を有している。本質的に、参照画像は、所与のスケール因子によってスーパーサンプル化されており、動きベクトルの座標はスーパーサンプル化参照画像の座標系にある整数によって表されている。言い換えれば、ディスプレイはそのような高解像度を表示する能力を有さないけれども、動き補償操作をただサポートするべく、画像のスーパーサンプル化（高解像度）描出が所与の参照画像用にもたらされる。動きベクトルは、像の描出のどの部分が表示信号を再構成するために使われるのかを特定するべく、用いられ得る。
【００１０】
サブペル解像度を有する動きベクトルを活用することは、動き予測および動き補償においてより良い精度を可能にするが、デコーダ側でより高いメモリ量を必要とするという著しい不利益も暗に含まれている。なぜなら、参照画像の「著しく高い解像度」を格納するバッファは、各々のディスプレイ画面上で表示するのに必要である数よりもかなり大きい数のペルを格納する。
【００１１】
ブロック動き補償と整数座標（すなわち、一定の精度を有する座標、例えば１／８倍のピクセル）を用いるオフセット動きベクトルとに基づく既知の符号化技術は、本明細書中で説明される新規の方法によって適切に対処されるいくつかの重要な欠点を有する。最も注目すべきことは、所与のサブピクセル精度を有するオフセット座標の使用は、典型的には、所与のサブピクセル解像度で参照画像のアップサンプリングされた描出をバッファ処理しなければならない。その結果、かなり微細な移動をキャプチャすること（例えば１／１２８倍のピクセル、例えば高フレーム率ビデオ信号の場合または２度回転による１％ズーム等の複雑な動きの場合に重要）は、メモリ制限と、スーパーサンプル化参照画像を算出するのに必要と思われる高い演算量とに起因して、可能ではない。超高解像度参照画像の生成および処理は、いくつかの理由から望ましくない。
【００１２】
本明細書中の実施形態は、従来のシステムおよび方法に対して異なるもので、参照画像の動き補償に基づいて現在画像（または「ターゲット画像」の適切な予測を生成すように、動き情報を推定、符号化、および活用する新規の方法を提供するもので、それによって、動き予測、動き補償、信号符号化、信号品質の向上（例えば、ノイズの除去、超解像度、信号補間（例えば、フレームレートの増大）、特殊効果、コンピュータグラフィック、医療用画像処理、コンピュータビジョン、拡張現実アプリケーション等の方法をサポートする。
【００１３】
本明細書中の一実施形態は、参照画像の任意の位置の値に基づいてターゲット画像の要素の値を算出または予測する方法を含む。それよって、任意の位置は、像の描出を再構成するための基底として使用される参照画像の実際のサンプルグリッド（すなわち、解像度）とは無関係に、分数座標（例えば、浮動小数点、高精度固定小数点、実数、整数ではない数）によって表される。さらに高い解像度でスーパーサンプル化参照画像の事前算出および生成を行い、その後にスーパーサンプル化グリッドに基づいて整数座標系によって動き補償を実行することは対照的に、本明細書中に示すt特定の実施形態は、参照画像のいかなるスーパーサンプル化レンダリングの事前算出も必要とせず、その代わり、参照画像内の任意の位置で（例えば、限定されることなくオンザフライリサンプリング技術を介して）、参照要素をオンザフライで算出する。
【００１４】
本明細書中の実施形態によれば、動き補償は、ほぼ連続座標系を用いて効果的に実現可能であり、相対的に限定されたバッファメモリコストおよび算出コストで、かなり微細な移動の動き補償を効果的にサポートする（例えば、必要に応じて、１／１０倍のペルよりもさらに小さい）。本質的に、本明細書中の実施形態による動き補償は、非常に高い精度（例えば、１／１００倍のペルよりも少ない移動をキャプチャ）を可能にさせるとともに、オンザフライで実行されるリサンプリング操作を、さらに高い解像度で大きな参照画像を格納する必要なしに活用してもよい。
【００１５】
本明細書中の実施形態は、関連出願で説明したように、これまでの動き補償アプローチと併用するのがよいと考えられ、また、動き領域および動きマトリクスと併用するのがさらによいと考えられる（オフセット動きベクトルによるブロック動き補償と対照的に）。
【００１６】
簡単にするために、本明細書中に示す非限定的実施形態は、時間次元に沿って所与のサンプルレートで生ずる多次元サンプルのシーケンスとして、信号を言及する（すなわち、１または複数の次元を持つアレイとして編成された１または複数の要素のセット、例えば非限定的な例として、２次元画像として編成されるピクチャ要素のセット）。説明では、用語「像」または「平面」（「超平面」、すなわち、任意の数の次元と所与のサンプリンググリッドとを有する要素の配列の最も広い意味によって意図される）は、しばしば、サンプルのシーケンスに沿って信号のサンプルのデジタル描出を特定するために用いられる。ここで、各々の平面は、その次元（例えば、ＸおよびＹ）それぞれの所与の解像度を有し、１または複数の「値」または「設定」（例えば、非限定的な例、適当な色空間内の色設定、密度レベルを示す設定、温度レベルを示す設定、音声ピッチを示す設定、振幅を示す設定などとして）によって特徴づけられる一組の平面要素（あるいは「要素」、または「ペル」、２次元画像についてしばしば称される「ピクセル」、容積画像についてしばしば称される「ボクセル」）を含む。各々の平面要素は、適当な一組の座標によって特定され、像のサンプリンググリッド内の要素の整数位置を示す。
【００１７】
非限定的な例として、信号は、画像、音声信号、マルチチャンネル音声信号、ビデオ信号、多視点ビデオ信号（例えば、３次元ビデオ）、容積信号（例えば、医療用画像処理、科学用画像処理、ホログラフィ画像処理など）、容積ビデオ信号、あるいは４次元をさらに超える信号であり得る。
【００１８】
本明細書中に示す実施形態は、特に、時間とともに生ずる信号に焦点を当て、１つのサンプルから次ぎのものへのある程度の動きを特徴付ける。すなわち、サンプルは時間相関がある。  また、かなり高いサンプルレート（例えば、１秒間に１，０００を超える画像もまた、その動きは典型的には、従来の動き予測および補償方法により不十分に説明される）は、説明する実施形態によって、容易に対処される。
【００１９】
簡単にするために、本明細書中に示す非限定的実施形態は、しばしば、２Ｄ平面シーケンスの設定（例えば、適当な色空間内の２次元画像）として表示される信号、例えばビデオ信号に言及する。しかし、当業者は、同一の概念および方法もまた、時間ベースの信号の任意の他のタイプ（例えば、多視点ビデオ信号、３次元ビデオ信号、３次元容積信号のシーケンスなど）や、非経時的多次元信号（例えば、同一音声信号の音声チャンネルのシーケンス、２次元ピクチャ、容積／ホログラフィ画像、プレノプティック画像など）に適用可能であることを、容易に理解し得る。本明細書中に説明した新規の補償方法の恩恵を受け得る非経時的信号の非限定的な例として、ＣＡＴスキャンまたはＭＲＩの一連の２次元スライス（すなわち、非経時的３次元信号）は、１つの次元（すなわち、スライスが沿って得られた軸）に沿う一連の２次元サンプルとして適宜表され、あたかも、スライスが沿って得られた軸が時間次元であるかのように（一定のサンプルレートまたは可変のサンプルレートのどちらかを想定することによって）、本明細書中に示す方法に従って処理され得る。
【００２０】
本明細書中に説明される非限定的実施形態では、信号プロセッサは、参照画像の実解像度（すなわち、サンプリンググリッド）に関わらず、参照画像のなんらかの任意の位置（ｘ１、ｙ１）にアクセスするためにオンザフライリサンプリング操作を活用する像の要素（「宛先画像」、または「補償画像」）に関する補償設定を算出（「予測」）するように、構成される。このようなやり方で、任意の精度で各々の座標が表わされる座標系上で活用することが可能である（例えば、限定されることなく、参照画像の座標系の整数とは対照的に、浮動小数点または高精度固定小数点によっても）。したがって、参照画像の解像度は、本質的に無限／連続的なもの（「連続座標」または「分数座標」）として処理される。  既に述べたように、このアプローチは、最先端の符号化および復号化技術が今までのところ、個別の一グリッド／組の要素に構成される要素を示している各々の座標により、再構成信号および基準信号が有限解像度を有するという前提に基づいていることから、極めて革新的である。
【００２１】
非限定的実施形態では、オンザフライリサンプリング操作は、参照画像サンプリンググリッドに属し、かつ動きベクトルによって表される分数座標の任意の位置に近接した参照画像の一組の要素を選択することによって、実行される。選択リサンプリング法（例えば、非限定的な例として、バイキュービックリサンプリング）によれば、信号プロセッサは、適当な要素数（例えば、限定されることなく、任意の位置に対して最も近い中心部を有する１６の要素、または任意の位置が参照画像の境界に対して近接している場合はより少ない要素）を選択し、各々の要素に適用すべき重みを算出する。  最後に、信号プロセッサは、任意の位置に割り当てるべく、サンプリング値を算出して選択された要素の重み付き平均を実行する。
【００２２】
本明細書中に説明されるいくつかの非限定的実施形態は、要素の集団の移動を説明するために、連続座標（例えば、非限定的な例として、浮動小数点により座標を表すことによって）と変換マトリクス（単純なオフセット動きベクトルとは対照的に）とを用いて、実際の移動を説明する上での精度を著しく上昇させる。動き予測および補償は、しばしば、高圧縮比を達成するためには重要な操作である。正確な動き補償を実行することで、より良い予測を提供し、それによって残余エントロピーがより低くなる。従来技術の方法では、ビデオ符号化およびビデオ処理での動き予測および補償は、限定かつ低品質のアプローチになる傾向がある変換移動（オフセット動きベクトルによって典型的には表される）により、ペル領域に限定される。実際、オブジェクトは、一連のより複雑になった可能な移動による影響を受ける。この複雑さをキャプチャするために、本明細書中に説明される非限定的かつ革新的な実施形態は、動きベクトルよりもむしろ変換マトリクスを用いて、動きをモデル化する。回転、スキュー、またはズームのような移動は、アフィン変換および同次座標を用いて、説明され得る。より高次のマトリクス（例えば、射影行列）を用いて、視点の変化も説明され得る。信号符号化（例えば、ビデオ圧縮）領域において変換マトリクスの使用は、かなり革新的であり、従来の方法と本明細書中に説明される新規の実施形態との著しく異ならしめるいくつかの結果を伴う。
【００２３】
非限定的実施形態は、限定されるものではないが、ズーム、回転、およびオフセットを含む複雑な動きを表すために、変換マトリクスと同次座標とを活用する。そのような実施形態では、動き補償を実行する信号プロセッサは、宛先画像の整数座標（ｘ，ｙ）を有する所与の要素ごとに、アフィン変換マトリクスにより同次座標、すなわち、（ｘ，ｙ，１）、で表される所与の要素の座標を乗算することで動き補償に活用するべく、参照画像内の連続座標（ｘ１，ｙ１）を有する対応の位置を算出する。このようなやり方で、信号プロセッサは、本質的に、宛先画像の各要素について分数座標を有するオフセット動きベクトルを算出する。次に、信号プロセッサは、参照画像の選択要素の重み付き平均を実行することによって、所与の要素（ｘ，ｙ）に割り当てる動き補償値を算出し、それによって、要素と重み付き平均の重みとが少なくとも部分的に位置（ｘ１，ｙ１）に依存することになる。
【００２４】
別の非限定的実施形態は、より複雑な動きを表すように、射影変換マトリクスを活用する。非限定的実施形態は、動き補償に必要な算出を実行する際、かなり限られた算出コストで連続座標動き補償を利用するように、ゲームおよび３次元レンダリングに使用される最新のハードウェアを活用する。最新のハードウェアは、算出された要素のフロート座標を用いて、オンザフライで（例えば、オンザフライリサンプリングを介して）補間を実行し得る。分数座標およびオンザフライリサンプリングの使用に関連付した利点の１つは、かなり微細な移動を表し、その一方で、同時に、エンコーダおよびデコーダ側の両方でメモリ使用量を少なくするという可能性にある。動き予測および動き補償は、さらに高い解像度で大きな参照画像の生成および格納を行う必要性がなんら無く、オンザフライで実行されるリサンプリング操作に依存する。
【００２５】
連続座標を使用ことは、動き補償が動きマトリクス（すなわち、単純な変換よりも、より洗練された動き）に基づいている場合、かなり重要である。なぜなら、洗練された動きは、しばしば、極めて微細なサブピクセル解像度を必要とし、参照画像をスーパーサンプリングする標準的な技術により達成可能ではない（例えば、拡大表示／発散により、１％ほどの小さい均一なレベルの拡大表示、すなわち座標に０．０１を掛けることが、関連している）。
【００２６】
非限定的実施形態では、信号の特定の部分の動きは、回転、スケーリング、変換、およびせん断写像に対応するパラメータによって、表される。あるいは、同じように、アフィン変換マトリクス、例えば、同次座標のベクトル（ｘ，ｙ，１）、すなわち、ｗが１に正規化された（ｘ，ｙ，ｗ）に適用されて以下のように表される。
【数１】
2015522988.tif 000003
【００２７】
他の非限定的実施形態では、動き情報は、射影変換、すなわち８つの関連した係数と１に正規化された９番目の係数とを有する３×３マトリクスを用いることによって、表されるので、単一の変換スケーリング、回転、オフセット、せん断、および視点の変化により説明される。そのような変換のいくつかは各々の変換のための除算操作を必要とすることから、非限定的実施形態は適当な除算操作を用いる（例えば、非限定的な例として、１６ビットにみを使用、またはシェーダに、一般に使用されるアルゴリズムのいくつかを使用）。
【００２８】
動きマトリクスは、単純なオフセット動きベクトルに必要とされるパラメータの数に比べてより多くの動きを表すパラメータを、デコーダへ送信しなければならない。その結果、相対的に大きくかつ任意の形状を有する要素の集団（「動き領域」）、例えば一貫したやり方で移動オブジェクトを表すものに適用される場合、動きマトリクスはより大きな恩恵をもたらす。
【００２９】
本明細書中に示す非限定的実施形態では、エンコーダとして構成される信号プロセッサは、現在のターゲット画像および参照画像を受信し、動き予測を実行し、さらに、現在画像内で１または複数の動き領域（信号の任意の連続または非連続部分）と各々の動き領域の動きに関する対応の記述的情報とを特定する。上記動きは、連続座標系によって表される。非限定的実施形態では、エンコーダは、一組のパラメータ（例えば、非限定的な例として、利用可能な算出能力、ターゲット符号化待ち時間、ターゲット圧縮効率など）に基づいて動き領域の最大数を決定する。
【００３０】
本明細書中に示す別の非限定的実施形態では、デコーダとして構成される信号プロセッサは、動き領域情報（例えば、動き領域マップ）を受信し、次に各動き領域の動き特徴を有する動きに関する記述的情報を受信する（例えば、非限定的実施形態として、動き領域の動きマトリクスに対応する一組のパラメータを受信することによる）。動き領域マップと各動き領域の動きに関する記述的情報とに少なくとも部分的に基づいて、ターゲット画像の各要素に関して、デコーダは動きベクトルを算出し、この動きベクトルの座標が連続座標系で表される（例えば、限定されるものではないが、浮動小数点によって）。動きベクトルに基づいて、任意の位置の参照値は、オンザフライリサンプリングを介して参照画像からフェッチされ、要素の一定のグリッドと整数ベースの座標とに基づくこれまでのアプローチよりも高い精度での動き補償を可能にする。
【００３１】
非限定的実施形態では、信号プロセッサは、参照画像とは要素の数が異なる動き補償画像を生成する。別の非限定的実施形態では、動き補償画像の１または複数の要素は、デフォルト値が割り当てられる（例えば、限定されるものではないが「Ｎ／Ａ値」であり、ここで、例えば、参照画像内の対応する位置は、画像の境界の外側、または「Ｎ／Ａ値」によって特徴づけられるそれ自体であり、あるいは動きに関する記述的情報は、特定要素が参照画像の動き補償によっては予測できないことを示す）。
【００３２】
さらなる非限定的実施形態によれば、入力信号は、段階的階層型符号化方法（ｔｉｅｒ−ｂａｓｅｄ  ｈｉｅｒａｒｃｈｉｃａｌ  ｅｎｃｏｄｉｎｇ  ｍｅｔｈｏｄ）によって符号化および復号化され、連続座標を有する動き補償は、段階的階層型符号化ループ（ｔｉｅｒ−ｂａｓｅｄ  ｈｉｅｒａｒｃｈｉｃａｌ  ｅｎｃｏｄｉｎｇ  ｌｏｏｐ）の中で活用される。
【００３３】
一実施形態によれば、コンピュータプロセッサハードウェアは、参照画像情報、すなわち所与の解像度で複数の要素からなるグリッドを定義する参照画像情報を受信し、補償画像内の画像要素に関する補償情報、少なくとも部分的に参照画像情報から導かれる補償画像内の表示要素の設定を受信し、参照画像の対応オフグリッド位置（例えば、参照画像のサンプリンググリッドの２つのサンプリング位置の間に含まれる参照画像内の位置など）を示す一組の座標を生成するべく、受信した補償情報を処理し、グリッド内の複数の要素からなる集団に基づいて画像要素の対応オフグリッド位置の値を算出し、補償画像内の画像要素に対して値を割り当てる。
【００３４】
一実施形態では、対応オフグリッド位置を示す座標は、グリッドの所与の解像度よりも実質的にさらに高い解像度で表される。
【００３５】
値の算出することは、グリッド内の複数の要素のどれが集団に含まれるかを特定するアルゴリズムを適用することを有し、複数の要素からなる集団は、対応オフグリッド位置の近傍に配置される。一実施形態では、アルゴリズムは、再構成された表示要素の値を導くべく、複数の要素からなる群の設定に対して１または複数の数学的操作を適用する。
【００３６】
さらなる実施形態によれば、一組の座標は、実領域において量を表す複数の数を介して表される対応オフグリッド位置を、示す。対応オフグリッド位置を示す一組の座標は、グリッド内の表示要素の１／３２倍未満で、グリッド内のオングリッド位置に関してオフセットを特定するのに十分に高い解像度を有する。
【００３７】
参照画像情報の解像度は、補償画像の解像度と実質的に同じである。
【００３８】
オフグリッド位置の座標を算出することは、実領域の量を表している浮動小数点形式の数に対して、浮動小数点操作を適用することを含み得る。
【００３９】
値を算出することは、実領域の量を表している浮動小数点形式の数に対して、浮動小数点操作を適用することを含み得る。
【００４０】
オフグリッド位置の座標を算出することは、実領域の量を表している固定小数点形式にある数による数学的操作を適用することを含み得る。
【００４１】
値の算出は、実領域の量を表している固定小数点形式にある数による数学的操作を適用することを含み得る。
【００４２】
受信した補償情報は、実領域内の量を表す数によって表される１または複数のパラメータを含み得る。
【００４３】
一実施形態では、表示要素の値を算出するコンピュータプロセッサハードウェアは、グラフィック処理ユニット内でシェーダを実行する。
【００４４】
本明細書中に説明するように、各々の表示要素の値を算出することは、参照画像内の各々の算出された位置に基づいて少なくとも１つのリサンプリング操作を実行することを含み得る。
【００４５】
受信した補償情報を処理することは、動きマトリクスの係数に対応する線形結合を各々の画像要素の座標に対応するパラメータに適用して参照画像のグリッド内の対応する一組の座標を生成すること、および、同一の動きマトリクスの係数に対応する線形結合を適用して補償画像内の複数の表示要素それぞれについて各々の組の座標を生成することを含み得る。
【００４６】
さらなる実施形態によれば、受信した補償情報を処理することは、補償画像内の画像要素に関連付された一組の座標に対応する同次座標内のベクトルを算出すること、および、マトリクスによってベクトルを乗算することを含み、マトリクス内の係数は、補償情報に基づいて少なくとも部分的に特定される。
【００４７】
さらなる実施形態によれば、コンピュータプロセッサハードウェアは、座標（ｘＴ，ｙＴ）として一組の座標を算出する。この座標（ｘＴ，ｙＴ）は、画像要素のオフグリッド位置を特定し、画像要素は、補償画像内の位置（ｘ，ｙ）に存在し、座標（ｘＴ，ｙＴ）は、以下の式に従って、６つの係数ａ、ｂ、ｃ、ｄ、ｅ、およびｆでｘおよびｙの足し算および乗算を実行することによって、算出される。
【数２】
2015522988.tif 000004
【００４８】
さらなる実施形態によれば、コンピュータプロセッサハードウェアは、座標（ｘＴ，ｙＴ）として一組の座標を算出する。この座標（ｘＴ，ｙＴ）は、画像要素のオフグリッド位置を特定し、画像要素は、補償画像内の位置（ｘ，ｙ）に存在し、座標（ｘＴ，ｙＴ）は、以下の式に従って、８つの係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、およびｈでｘおよびｙの足し算および乗算を実行することによって、算出される。
【数３】
2015522988.tif 000005
【００４９】
さらなる実施形態によれば、補償画像内の少なくとも１つの要素は、各々の座標（ｘＴ，ｙＴ）が同一パラメータ（例えば、同一動きマトリクス）に応じて算出される補償画像内の一組の他の要素と隣接していない。
【００５０】
補償情報は、スケーリング、回転、およびオフセットを含む群から選択される動きタイプに対応する１または複数のパラメータを含み得る。補償情報の１または複数のパラメータは、補償画像内の表示要素の１または複数の動きベクトルを生成するために、使用され得る。さらに他の実施形態では、補償情報は、スケーリング、回転、オフセット、せん断、および視点の変化を含む群から選択される動きタイプに対応する１または複数のパラメータを含み得る。
【００５１】
本明細書中のさらなる実施形態は、グリッドの外側の位置にあり、かつ所与の閾値を超えるグリッドの最も近いサンプルからの距離を有する位置を、特定する各々の組の座標に対して、デフォルト値（例えば、「利用不可」デフォルト値）を対応づけることを、含む。
【００５２】
再構成されている信号または補償画像は、２次元画像、容積画像、１次元画像、多次元画像等、任意の適当なタイプのものである。
【００５３】
本発明のさらに別の実施形態によれば、コンピュータプロセッサハードウェアは、第１の画像、すなわち一組の複数の表示要素を含む第１の画像に関する設定情報を受信し、第２の画像内の所与の表示要素に関する動き補償情報であり、第２の画像の所与の表示要素が関係する第１の画像内の特定の表示要素の中の座標位置を示す動き補償情報を受信し、第１の画像内の複数の表示要素の集団が選択される基底として座標位置を利用し、さらに、この集団内の複数の表示要素の複数の設定に基づいて第２の画像内の所与の表示要素の設定を生成する。
【００５４】
この後者の実施形態では、所与の表示要素の設定を生成することは、特定の表示要素内の座標位置に関して集団内の複数の表示要素の距離に少なくとも部分的に基づいて所与の表示要素の設定を算出することを、含み得る。
【００５５】
所与の表示要素の設定を生成することは、集団内の複数の表示要素の設定に少なくとも部分的に基づいて所与の表示要素の設定を算出することを含む得る。
【００５６】
動き情報によって特定される座標位置は、所与の表示要素の設定が生成される中心軌跡を表し得る。  所与の表示要素の設定を生成することは、重み値、すなわち所与の表示要素の中心軌跡と集団内の要素の各々の中心軌跡との間の各々の距離に応じて変化する重み値（例えば、リサンプリングカーネルの係数）を生成すること、所与の表示要素の設定を生成するべく、重み値を集団内の表示要素の設定に適用することを含み得る。
【００５７】
一実施形態では、動き情報によって特定される座標位置は、第１の画像内の特定の表示要素の中心部以外の位置を特定し得る。実質的に、座標位置は、任意の精度を有する連続座標系と同様に、第１の画像内の任意の位置を特定し得る。
【００５８】
述べたように、一実施形態では、第１の画像の解像度は、第２の画像の解像度に実質的に等しい。さらなる実施形態によれば、第１の画像の解像度は、第２の画像の解像度と実質的に等しいが、より広い視野を有する（すなわち、第１の画像は第２の画像よりも実質的により多くの情報を含む）。さらなる実施形態によれば、第１の画像（または参照画像）の解像度は、第２の画像（参照画像に基づいて再生された画像）の解像度とは実質的に異なり得る。例えば、第１の画像は、第２の画像よりも解像度が低く、段階的時相階層（ｔｉｅｒｅｄ  ｔｅｍｐｏｒａｌ  ｈｉｅｒａｒｃｈｙ）における品質のレベルが低い予測因子画像であり得る。
【００５９】
さらなる実施形態によれば、第１の画像内の複数の表示要素の集団が選択される基底として座標位置を利用することは、特定の表示要素と特定の表示要素の近傍に位置した第１の画像内の表示要素とを含むべく、複数の表示要素の集団を生成すること、ならびに、（ｉ）特定の表示要素の中心軌跡とこの特定の表示要素の近傍にある表示要素の中心軌跡とに対して座標位置の近傍、（ｉｉ）特定の表示要素の設定、および（ｉｉｉ）特定の表示要素の近傍に位置する表示要素の設定に基づいて、所与の表示要素の設定を補間することを有する。
【００６０】
さらなる実施形態によれば、第１の画像は参照画像であり、一組の複数の表示要素は、第１の画像に存在するオブジェクトの少なくとも一部分を表す。
【００６１】
本明細書中にさらに説明されるように、動きベクトルによって特定される座標位置は、特定の表示要素の中心軌跡を基準にしてゼロよりも大きいが１よりも小さい表示要素の分数によってなされる所与の表示要素のオフセットを、表し得る。
【００６２】
留意することは、本明細書中の実施形態がソフトウェアまたはハードウェアに実現されてもよく、あるいはソフトウェアとハードウェアとの組み合わせを用いて実現されてよく、さらに、１または複数のコンピュータ化されたデバイス、ルータ、ネットワーク、ワークステーション、ハンドヘルドまたはラップトップコンピュータ、タブレット、携帯電話、ゲームコンソール、セットトップボックス等の構成を含んで、本明細書中に開示した任意またはすべての方法操作を実行および／またはサポートしてもよい。言い換えれば、１または複数のコンピュータ化されたデバイスまたはプロセッサは、異なる実施形態を実行するべく本明細書中に説明されるように操作するように、プログラム化および／または構成され得る。
【００６３】
上記のような技術に加えて、本明細書中のさらに他の実施形態は、上記にまとめられ、かつ以下に詳細に開示されるステップおよび操作を実行するソフトウェアプログラムを含む。そのような一実施形態は、プロセッサおよび対応のメモリを有するコンピュータ化されたデバイスで実行される場合、本明細書中に開示された操作のいずれかをプロセッサに実行および／またはプロセッサにプログラムさせる符号化されたコンピュータプログラム論理、命令等を有するコンピュータ可読ハードウェアストレージリソース（すなわち、非一時的コンピュータ可読媒体）を備える。そのような構成は、光学媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、またはＢＬＵ−ＲＡＹ）、フラッシュメモリカード、フロッピー（登録商標）またはハードディスク、あるいはコンピュータ可読命令を格納することができる任意の他の媒体、１または複数のＲＯＭまたはＲＡＭまたはＰＲＯＭチップ内のファームウェアまたはマイクロコード等のコンピュータ可読媒体上に配置または符号化されたソフトウェア、コード、および／または他のデータ（例えば、データ構造体）として、あるいは特定用途向け集積回路（ＡＳＩＣ）として、提供され得る。ソフトウェアまたはファームウェアあるいは他のそのような構成は、本明細書中に説明した技術をコンピュータ化されたデバイスに実行させるべく、このコンピュータ化されたデバイスにインストールされ得る。
【００６４】
したがって、本開示の特定の一実施形態は、信号処理操作をサポートするために格納された命令を有するコンピュータ可読ハードウェアストレージを含むコンピュータプログラムプロダクトに関する。
【００６５】
本明細書中の１または複数の実施形態は、格納された命令を有するコンピュータ可読記憶媒体および／またはシステムを備える。命令は、１または複数のコンピュータデバイスのコンピュータプロセッサハードウェアによって実行される場合、コンピュータプロセッサハードウェアに以下の操作を実行する。参照画像情報、すなわち所与の解像度で複数の要素からなるグリッドを定義する参照画像情報を受信することと、補償画像内の画像要素に関する補償情報、少なくとも部分的に参照画像情報から導かれる補償画像内の複数の表示要素の設定を受信することと、グリッド内の画像要素の対応オフグリッド位置を示す一組の座標を生成するべく、受信した補償情報を処理することと、グリッド内の複数の要素からなる集団に基づいて画像要素の対応オフグリッド位置の値を算出することと、補償画像内の画像要素に対して値を割り当てること、である。
【００６６】
本明細書中の１または複数の実施形態は、格納された命令を有するコンピュータ可読記憶媒体および／またはシステムを備える。  命令は、１または複数のコンピュータデバイスのコンピュータプロセッサハードウェアによって実行される場合、コンピュータプロセッサハードウェアに以下の操作を実行させる。第１の画像、すなわち一組の複数の表示要素を含む第１の画像に関する設定情報を受信することと、第２の画像内の所与の表示要素に関する動き補償情報であり、所与の表示要素が関係する第１の画像内の特定の表示要素の中の座標位置を示す動き補償情報を受信することと、第１の画像内の複数の表示要素の集団が選択される基底として座標位置を利用することと、集団内の複数の表示要素の設定に基づいて第２の画像内の所与の表示要素の設定を生成することと、である。
【００６７】
理解しやすいように、ステップの順序を加えた。これらのステップは、任意の適当な順序で実行され得る。
【００６８】
本開示の他の実施形態は、上記にまとめられ、かつ以下に詳細に開示される方法実施形態ステップおよび操作のいずれかを実行するべく、ソフトウェアプログラム、ファームウェア、および／または各々のハードウェアを備える。
【００６９】
また、本明細書中に説明されるシステム、方法、装置、コンピュータ可読記憶媒体上の命令等は、ソフトウェアプログラムとして、ソフトウェア、ファームウェア、および／またはハードウェアのハイブリッドとして、あるいはプロセッサ内、または例えばオペレーティングシステムの中もしくはソフトウェアアプリケーションの中のハードウェア単体などとして、厳密に具現化される。
【００７０】
上記のように、本明細書中の技術は、信号を処理し、符号化されたデータのビットストリームを生成し、または符号化されたデータのビットストリームを処理し、信号の描出を生成するソフトウェア、ファームウェア、および／またはハードウェアアプリケーションでの使用に十分適している。しかし、留意すべきことは、本明細書中の実施形態が、そのようなアプリケーションでの使用に限定されるものではなく、しかも、本明細書中で論ぜられる技術が他のアプリケーションにも同様に十分適しているということである。
【００７１】
さらに、留意することは、本明細書中のそれぞれの異なる特徴、技術、構成等がこの開示の異なる場所で述べられると思われるが、それぞれの概念が互いに無関係に、または互いに組み合わさって実行され得ることを意図している。したがって、本明細書中で説明される１または複数の本発明、実施形態等は、多くの異なるやり方で具現化および表示され得る。
【００７２】
また、留意することは、本明細書中の実施形態に関してこのような事前の検討は、個々の実施形態を、および／または、本開示もしくはクレームされた発明の付加的な新規の態様を、特定するものではない。その代わり、この簡単な説明は、一般的な実施形態と、従来技術に対する新規性の対応点とのみを指し示す。本発明のさらなる詳細および／または可能な局面（変更）に関して、読み手は、以下にさらに述べられる本開示の詳細な説明の欄および対応する図面に導かれる。
【図面の簡単な説明】
【００７３】
本発明の前述および他の目的、特徴、ならびに利点は、異なる図全体にわたる同一部分が同様の参照符号によって言及される添付の図面に示されるように、本明細書中の好ましい実施形態のより具体的な以下の説明から明らかであろう。図は、寸法どおりである必要はないが、その代わりに実施形態、原理、概念等を示すことに重点が置かれている。
【図１】本明細書中に示す非限定的実施形態を活用する動き補償システムを説明する例示的な図である。
【図２】本明細書中に示す非限定的実施形態に係る動き補償操作を説明する例示的な図である。
【図３】本明細書中に示す非限定的実施形態による符号化時に生成する対応の情報と一緒に動き予測および補償のオブジェクトである、２つのサンプル画像を示す。
【図４Ａ】本明細書中に示す非限定的実施形態に係る参照画像内の基準位置の算出を説明する例示的な図である。
【図４Ｂ】図４Ａに説明する算出の非限定的な例を示す。
【図５】本明細書中に示す非限定的実施形態に係るオンザフライリサンプリング操作を説明する例示的な図である。
【図６】本明細書中に示す非限定的実施形態に係る動き補償を実現するブロック図を示す。
【図７】本明細書中に説明される発明に係るデータ処理を提供するコンピュータシステムのブロック図を示す。
【図８】本明細書中の実施形態に係る信号の復号化を示す例示的な図である。
【図９】本明細書中の実施形態に係る例となる方法を示す図である。
【図１０】本明細書中の実施形態に係る例となる方法を示す図である。
【発明を実施するための形態】
【００７４】
本明細書中に示す方法は、任意のタイプの多次元信号に適しており、その例として、限定されるものではないが、音声信号、マルチチャンネル音声信号、ピクチャ、２次元画像、ビデオ信号、多視点ビデオ信号、３次元ビデオ信号、容積信号、容積ビデオ信号、医療用画像信号、４次元を上回る信号等が挙げられる。
【００７５】
簡単にするために、説明に沿って、示された実施形態は、通常、ビデオシークエンスの符号化および復号化のための動き補償操作に関連して使用される動き領域の使用例を採用する。すなわち、ビデオシーケンスは、一連の２次元画像（一般に、「フレーム」、またはインターレースビデオ信号の場合は「フィールド」と称される）からなる時間ベースの信号であり、各々の要素（そのような非限定的な例の場合では、典型的には、「ピクセル」と称される）が適当な色空間（例えば、ＹＵＶ、ＲＧＢ、ＨＳＶなど）内の一組の色設定によって特徴づけられる。異なる色平面（例えば、輝度Ｙ平面および２つのクロミナンスＵおよびＶ平面）は、別々に、かつしばしば異なる解像度で、しばしば符号化される（クロミナンス情報に対するヒトの眼のより低い感度に起因する）。しかし、ＵおよびＶ平面は、典型的には、Ｙ平面に対して算出される動き補償情報を活用する。
【００７６】
本明細書中に示す方法および実施形態は、互いに、および／または他の方法と、併せて使用され得る。本明細書中に示す好ましい実施形態の多くは、圧縮、すなわち最小量のビットを有する信号の適当な描出の符号化を達成する目的を持つ技術およびアルゴリズムを説明する。このことは、非限定的な例である。すなわち、他の非限定的実施形態は、強固かつ効率的なフィルタリング、画像ノイズの除去、信号スーパーサンプリング、機械のバージョン等の異なる目的を達成する。
【００７７】
図１は、デコーダとして構成される信号プロセッサ内の動き補償システムを説明する例示的な図である。このシステムは、参照画像１００−１の動き補償と残留データとに基づいてターゲット画像１００−２を再構成するように、構成されている。動き補償ブロック１２０は、参照画像１００−１と動き補償に関する情報１１０とを受信する。この情報１１０は、ターゲット画像１００−２に関する適当な予測を生成するために、参照画像１００−１をどのように活用するかを特定する。参照画像１００−１と情報１１０とに少なくとも部分的に基づいて、動き補償ブロック１２０は、宛先画像１３０、すなわちターゲット画像１００−２に関する予測としての役割を果たす動き補償画像を、生成する。
【００７８】
結合器１５０は、宛先画像１３０を残留データ１４０に結合させ、ターゲット画像１００−２の描出を再構成する。
【００７９】
本明細書中に説明される新規の方法は、動き補償ブロック１２０の機能を実行する革新的なアプローチを示す。
【００８０】
図２は、非限定的実施形態における動き補償操作を説明する例示的な図である。宛先画像１３０の各要素について、図に示すステップに従って、動き補償器２０５は、動き補償設定（すなわち、参照画像の適当な位置の動き補償に基づく値）を生成する。まず、新しい座標算出器２２０は、宛先画像内の所与の要素の座標（ｘ，ｙ）２００と動きに関する記述的情報２１０とを受信して、座標（ｘ１，ｙ１）２３０を算出する。座標（ｘ１，ｙ１）は、宛先画像の位置（ｘ，ｙ）に対応する参照画像内の位置を表す。本発明によれば、ｘ１およびｙ１は、連続座標システム（例えば、浮動小数点、または高精度固定小数点数を用いて）によって表されるので、参照画像の実解像度（すなわち、サンプリンググリッド）に関わらず、参照画像の任意の位置を示すことが本質的に可能になる。
【００８１】
（ｘ１，ｙ１）は必ずしも参照画像の要素（整数座標によって特徴づけられる）を特定していないので、動き補償器２０５は位置（ｘ１，ｙ１）にある参照画像の値を直接フェッチすることができない。説明された非限定的実施形態において、オンザフライリサンプリング方法は、参照画像１００−１、参照画像に関するメタデータ２４５、さらに、もしあれば、活用するリサンプリング方法に関する情報２５０を受信するリサンプラ２６０により使用されて、位置（ｘ１，ｙ１）内の参照画像の値、すなわち宛先画像の座標（ｘ，ｙ）に用いられる特定の設定２７０を生成する。
【００８２】
リサンプラ２６０は、連続座標（ｘ１，ｙ１）を有する特定の任意の位置を囲む参照画像１００−１の要素のオンザフライフィルタリングを（すなわち、座標２３０を受信した後に）実行する。フィルタリングは、リサンプリング方法２５０に関する情報に基づいて、ランチョスフィルタ、キュービックフィルタ、またはリニアフィルタを選択することで、適当なカーネルを従って実行される（情報２５０の非存在下、リサンプラ２６０はデフォルトカーネルを選択する）。このようなやり方で、動き補償器２０５を用いて動き補償を実現するデコーダでは、参照画像１００−１のスーパーサンプル化レンダリングを算出および格納すること、ならびに、そのようなスーパーサンプル化レンダリングの有限のグリッドからサンプルを選択することが必要とされない。デコーダは、通常のサンプルグリッドを有する参照画像（すなわち、宛先画像と同一解像度）を単に格納して、いずれかの任意の位置を選択してもよく、それによってフライ上で、任意の位置の参照画像内の対応するサンプル値が生成／補間される。いくつかの状況では、そのような方法は、デコーダでメモリ要求の著しい減少を可能にするとともに、同時に、よりいっそう正確な動き補償も可能にする（対応する圧縮の恩恵により）。他の状況では、上記方法はまた、処理パワーの観点から節約を可能にする。デコーダは、単に、複数のスーパーサンプル化した参照サンプルを生成し、それがそれらを必要としている特定位置において必要とする。しかし、画像の全体または画像の部分のいずれかについて、スーパーサンプル化参照グリッドを生成する必要はない（すなわち、アクセス、活用、または表示されることがない多くのサンプルも算出）。
【００８３】
図３は、本明細書中に示す非限定的実施形態による符号化時に生成する対応の情報と一緒に動き予測および補償のオブジェクトである、２つのサンプル画像を示す。
【００８４】
とりわけ、上記図は、一連の画像において２つの後続の画像１００−１および１００−２を示す。画像は、互いの間で有意な相関を示し、そのような相関が動き補償によってさらにもっと増進され得るもので、背景がわずかに左回りに回転する。また、画像１００−１内のオブジェクト３０１−１が移動して画像１００−２内のオブジェクト３０１−２になる（ここで、上記移動は、右下に向けて変換され、ズーミングが解除される。すなわち、オブジェクトは小さくなる）。オブジェクト３０２−２は、画像１００−１では不可視ではあるが、画像１００−２では可視化される。
【００８５】
非限定的実施形態は、画像１００−１（参照画像）および１００−２（ターゲット画像）から開始することによって、任意の形状を有する動き領域（例えば、隣接または非隣接）を用いてターゲット画像を符号化／復号化することが可能である。ここで、上記形状は、画像１００−１および１００−２に基づいて選択される。各々の動き領域の形状は任意であり、矩形状のブロックに限定されない。いくつかの状況では、このことは、動き補償の効率および有効性を高めて、より近接してオブジェクトの境界をたどること（例えば、移動オブジェクトの境界に近接する要素を「ドラッグ」しないようにする）、および、より効率的に画像の各々の所与の要素に関する正確な動き情報を送信することを可能にする。
【００８６】
より詳しくは、画像１００−１および１００−２を処理することで、エンコーダは、動き領域３１１−２（参照画像１００−１の動き補償要素によって効率的に予測され得る画像１００−２の背景の部分を表している）、動き領域３１２−２（画像１００−２のオブジェクト３０１−２を表しており、画像１００−１内にあるオブジェクト３０１−１を動き補償することによって効率的に予測され得る）、ならびに３１３−２、３１４−２、および３１５−２から作られる不連続残留動き領域（画像１００−１内では不可視であった、画像１００−１の動き補償要素では予測し得ない画像１００−２の要素を表す）を特定する。
【００８７】
エンコーダ１００は、動き領域に関連付された記述的情報３２０−２を生成する。非限定的実施形態では、そのような情報は、各動き領域のＺＲＯ（ズーム、回転、およびオフセット）動きマトリクスと、残留動き領域（「Ｎ／Ａ動き」）のデフォルトパラメータとを含み、残留動き領域の要素が動き補償を介して適切に予測されないことを意味している）を含む。
【００８８】
この出願では説明されていないが、適当な動き領域検出方法に従って、動き領域の検出と動き領域に関連付された記述的情報の生成とが実行される。
【００８９】
最近、エンコーダは、残留データ３３０−２を生成して、参照画像１００−１の動き領域をベースとした動き補償によって得られたターゲット画像１００−２の予測を調整する。動き補償によって得られた予測と組み合わせることで、残留データは、ターゲット画像１００−２の描出を完全に再構成することが可能になる。
【００９０】
上述の符号化方法を用いて符号化される画像を復号化する方法は、以下の段階を含む。
ａ．少なくとも１つの動き領域と動きに関する一組の記述的情報とを受信すること、
ｂ．第１の（参照）画像を受信すること、
ｃ．段階ａの過程で受信した動き領域および動きに関する記述的情報を用いることによって、段階ｂの過程で受信した第１の画像、第２の（ターゲット）画像の動き補償予測を算出すること、
ｄ．残留データ（もしあれば）を受信して復号化すること、
ｅ．第２の画像の予測を残留データ（もしあれば）と組み合わせて、第２の画像の描出を生成すること。１または複数の段階は、厳密には順次ではなく、同時に生じ得る。
【００９１】
図４Ａは、参照画像内の基準位置の算出を説明する例示的な図であり、新たな座標算出器２２０の非限定的実施形態を示す。
【００９２】
同次座標変換器４００は、宛先画像内の要素の座標（ｘ，ｙ）を受信し、それを同次座標（ｘ，ｙ，１）４０５に変換する。マトリクス算出器４１０は、動き２１０に関する記述的情報を受信し、それを動きマトリクスＭ４１５に変換する。乗算器４２０は、同次座標４０５および動きマトリクス４１５を受信し、変換座標４２５を算出する。動きマトリクスＭ４１５がアフィン変換であったら、変換座標４２５の第３の座標は既に１に等しく、さもなければ（例えば、マトリクスＭが射影マトリクスである場合）、座標４２５を正規化する必要がある。同次座標変換器４３０は、そのような正規化を（必要に応じて）実行し、同次変換座標（ｘ１，ｙ１，１）４３５を生成する。最後に、セレクタ４４０は、参照画像内の座標（ｘ１，ｙ１）を生成する。
【００９３】
宛先画像内の要素の座標（ｘ，ｙ）は、宛先画像のサンプルグリッドの要素を説明する（すなわち、それらはサンプルグリッドの整数位置を説明する）。一方、座標（ｘ１，ｙ１）は、分数によって表され、参照画像の任意の位置（限定されるものではないが、参照画像のサンプルグリッドの境界の外側の位置を含む）を説明することが可能である。マトリクスＭ４１５の係数は、分数であってもよく、新たな座標算出器２２０の中で実行される算出は、分数による算出を含む（例えば、限定されるものではないが、浮動小数点操作、または、高精度固定小数点による操作を含む）。
【００９４】
図４Ｂは、図４Ａで説明される算出の非限定的な例示的実施形態を示す。非限定的な例は、動きマトリクスＭ４１５がアフィン変換に対応する場合を示す。したがって、マトリクスＭに（ｘ，ｙ，１）倍かけて、既に正規化された一組の座標（ｘ１，ｙ１，１）を生成する。
【００９５】
非限定的実施形態では、要素４６５の座標２００とマトリクス４１５は、位置４５５の座標２３０が閾値を超えて参照画像の外側にあるようなものである場合（例えば、限定されるものではないが、隣接する２つの要素間の距離よりも多くの量の参照画像のサンプリンググリッドの外側）、要素４６５は、デフォルト値（例えば、「Ｎ／Ａ」値）が割り当てられる。
【００９６】
図５は、非限定的実施形態によるオンザフライリサンプリング操作を説明する例示的な図である。
【００９７】
座標（ｘ１，ｙ１）を有する位置４５５は、参照画像１００−１のサンプルグリッドの任意の要素によって説明されない。その結果、宛先画像１３０の対応する動き補償要素に対して、容易に利用可能な値がない。しかし、そのような値を、座標（ｘ１，ｙ１）に近接する適当な一組の要素（「予測因子」）を選択することによって、および、適当な重み（例えば、適当なフィルタリングカーネル）によるそれらの値の重み付き平均を実行することによって、オンザフライで算出することが可能である。図５は、非限定的な例を示し、この例では、バイキュービックフィルタカーネルが用いられ、その結果として、１６の予測因子要素の重み付き平均を実行することによって、位置（ｘ１，ｙ１）にある参照画像１００−１の値が算出される。
【００９８】
リサンプリングを実行するために、リサンプラ２６０は、重み付き平均を活用するべく１６の予測因子（すなわち、「フィルタの位置決め」がされるところ）を特定して、使用される特定の重みを算出しなけらばならない。（ｘ１，ｙ１）座標の整数成分はフィルタが位置決めされるところを示し、座標の分数成分はフィルタに使用する係数が何かを示している。
【００９９】
フロア算出器５００は、座標（ｘ１，ｙ１）２３０を受信し、座標（ｘ１，ｙ１）の整数成分５０５を算出する。参照画像の左上にある原点に基づく座標の非限定的な例では、整数座標５０５は座標（ｘ１，ｙ１）の左上にあるサンプルグリッドの最も近い要素を特定する。予測因子のセレクタ５１０は、参照画像２４０と、参照画像上のメタデータ２４５（もしあれば）と、リサンプリング方法に関する情報２５０（もしあれば）とを受信するもので、ブロックの左上から対角線方向にある第２の要素として座標５０５を有する要素を持つ参照画像の要素からなる４×４ブロックを選択することによって、１６の予測因子を選択することが可能である。１６の予測因子のいくつかが「Ｎ／Ａ」（利用不可値、例えば、それらは参照画像の境界の外側にある）を割り当てられる場合、それらは、一組の予測因子から取り出され、値を有する予測因子のみが保たれる。
【０１００】
重み算出器５２０は、座標（ｘ１，ｙ１）と予測因子の座標５１８とを受信する。選択リサンプリング法（例えば、この非限定的な例では、バイキュービックフィルタリング）と座標（ｘ１，ｙ１）の分数成分（すなわち、位置（ｘ１，ｙ１）と整数座標５０５を有する要素との間の距離）とに基づいて、重み算出器５２０は、各々の予測因子に適用すべき重みを算出する。１６未満の予測因子が選択されている場合、重み算出器５２０は、理想的な４×４カーネルに適したバイキュービック重みを生成し、選択された予測因子に対応する係数のみを選択し、該係数を正規化してその和が１に等しくなるようにする。
【０１０１】
最後に、乗算器５３０は、予測因子５１５と各々の予測因子に適用される重み５２５との両方を受信し、その結果として、位置（ｘ１，ｙ１）にある参照画像のリサンプル化値、すなわち、宛先画像における座標（ｘ，ｙ）の設定２７０を算出する。
【０１０２】
非限定的実施形態では、リアルタイムで、特定の（ｘ１，ｙ１）座標に基づいたフィルタの正確な係数を生成する必要性を回避するために、重み算出器５２０を実現する信号プロセッサは、所与の数の事前に算出された複数の組の係数（例えば、非限定的な例では、１２８組の係数）を有する適当なルックアップテーブルにアクセスし、特定の（ｘ１，ｙ１）座標の分数成分に最も近い２組の係数の係数を補間するように構成されている。
【０１０３】
非限定的実施形態では、参照画像に関するメタデータ２４５は、動き補償の前に参照画像１００−１に適用すべき変更に関する情報を含む（例えば、限定されることなく、照明の変化を考慮するように、画像の値に適用するスケールパラメータ）。
【０１０４】
図６は、動き領域を活用する非限定的実施形態による動き補償を実現するブロック図を示す。とりわけ、動き補償器６００は、連続座標を有する動き補償によって、ターゲット画像の予測を生成する。
【０１０５】
ブロック６００は、動き領域と動きに関する記述的情報とについての入力である６１０−０、・・・６１０−ｎと６２０−０、・・・６２０−ｎとからなる第１の組と、宛先画像内の要素座標（ｘ，ｙ）についての第２の入力２００（すなわち、宛先画像のサンプルグリッドに従って、予測する特定要素を特定する）と、参照画像についての第３の入力２４０と、動き補償要素に割り当てられる値についての出力２７０（すなわち、宛先画像内の座標（ｘ，ｙ）の設定）とを含む情報を受信する。要素座標２００に基づいて、動き補償器６００は、要素が属する動き領域を特定し、また、動きと要素座標２００とに関する対応の記述的情報に少なくとも部分的に基づいて、宛先画像内の要素座標２００に対応する参照画像２４０内の位置（ｘ１，ｙ１）（参照画像内のサンプルグリッドとは無関係に、連続座標系により特定され、参照画像内の何らかの任意の位置に関する値をフェッチすることが可能であると想定する）を生成する。最後に、参照画像２４０および生成された位置（ｘ１，ｙ１）に基づいて、動き補償器６００は、宛先画像のサンプルグリッドの位置（ｘ，ｙ）内の特定要素に関する動き補償設定２７０（すなわち、予測）を算出する。
【０１０６】
図７は、本明細書中の実施形態によるコンピュータ処理を提供するコンピュータシステム８００のブロック図である。
【０１０７】
コンピュータシステム８００は、コンピュータ化されたデバイス、例えば、パーソナルコンピュータ、処理回路、テレビ、プレイバックデバイス、符号化デバイス、ワークステーション、ポータブルコンピューティングデバイス、携帯電話、タブレット、コンソール、セットトップボックス、ネットワーク端末、処理装置、ネットワークデバイスであり、スイッチルータ、サーバ、クライアント等として動作するものであり得る、またはそれを少なくとも含み得る。
【０１０８】
留意することは、以下の説明が、既に検討したように、信号プロセッサに対して関連付けられた機能をどのように実行するかを示す基本的実施形態を提供することである。しかし、留意すべきことは、本明細書中に説明される操作を実行するための実際の構成が各々のアプリケーションに応じて変化することである。
【０１０９】
示すように、本例のコンピュータシステム８００は、例えばデジタル情報が格納および検索され得る非一時的コンピュータ可読記憶媒体等の、コンピュータ可読記憶媒体８１２との通信を提供する、通信バス８１１を備える。コンピュータシステム８００は、さらに、プロセッサ８１３、Ｉ／Ｏインターフェース８１４、および通信用インターフェース８１７を備える。
【０１１０】
一実施形態では、Ｉ／Ｏインターフェース８１４は、レポジトリ１８０に対して、さらに、もし存在するならば、スクリーンディスプレイ、オーディオスピーカ、周辺機器８１６（例えば、キーボードおよびコンピュータマウス）等に対しても、連結性を提供する。
【０１１１】
既に簡単に述べたように、コンピュータ可読記憶媒体８１２は、メモリ、光記憶装置、ソリッドステート記憶装置、ハードドライブ、フロッピー（登録商標）ディスク等の、任意の適当なデバイスおよび／またはハードウェアであり得る。一実施形態では、記憶媒体８１２は、信号プロセッサアプリケーション８４０−１に関連付けられた命令を格納するように構成された非一時的記憶媒体（すなわち、非搬送波媒体）である。命令は、本明細書中に説明される任意の操作を実行するためにプロセッサ８１３等の各々のリソースによって、実行される。
【０１１２】
通信用インターフェース８１７は、リモートソースから情報を検索し、他のコンピュータ、スイッチ、クライアント、サーバ等と通信するために、コンピュータシステム８００がネットワーク１９０上で通信を行うことを可能にする。Ｉ／Ｏインターフェース８１４もまた、レポジトリ１８０からの格納された情報を検索、または検索の試みをプロセッサ８１３が行うことを可能にする。示すように、コンピュータ可読記憶媒体８１２は、信号プロセッサプロセス８４０−２としてプロセッサ８１３によって実行される信号プロセッサアプリケーション８４０−１により、符号化され得る。留意することは、データおよび／または論理命令を格納するためのコンピュータ可読記憶媒体８１２を含むように、コンピュータシステム８００が具現化され得ることである。
【０１１３】
信号プロセッサアプリケーション８４０−１に関連付けられたコードは、本明細書中に示す信号プロセッサの機能、および／または、本明細書中に論ぜられる発明を実現するために必要である他のリソースを、実現することができる。
【０１１４】
一実施形態の操作中、プロセッサ８１３はコンピュータ可読記憶媒体８１２に格納された信号プロセッサアプリケーション８４０−１の命令を開始、走行、実行、解釈、または、さもなければ実施するために、通信バス８１１を介してコンピュータ可読記憶媒体８１２にアクセスする。信号プロセッサアプリケーション８４０−１の実行は、プロセッサ８１３に処理機能を生成する。言い換えれば、プロセッサ８１３に関連付された信号プロセッサ処理８４０−２は、コンピュータシステム８００のプロセッサ８１３内またはその上で信号プロセッサアプリケーション８４０−１を実行する１または複数の態様を表す。
【０１１５】
図８は、本明細書中の実施形態に係る補償画像内の画像要素の設定を導き出すべく参照画像を使用することを示す例示的な図である。
【０１１６】
より詳しくは、示すように、デコーダ等のコンピュータプロセッサハードウェアは、像８４０（例えば、参照画像）の描出において表示要素８１０（すなわち、表示要素８１０−１、８１０−２、８１０−３、・・・）の設定を特定する設定情報を受信する。設定は、色、クロミナンス、輝度等の任意の適切なパラメータを示し得る。画像の描出８４０における１または複数の表示要素は、参照画像に存在するオブジェクトの少なくとも一部分を表し得る。画像の描出８５０は、参照画像にキャプチャされたオブジェクトの一部分を含むシーケンス内の別の画像を表し得る。本明細書中に説明するように、参照画像（画像の描出８４０）は、画像の描出８５０等、別の画像を再構成する基底として、用いられ得る。この非限定的な例示的実施形態では、動き補償画像等の画像の描出８５０は、複数の表示要素８２０（例えば、表示要素８２０−１、表示要素８２０−２、および表示要素８２０−３）を含む。既に検討したように、画像の描出８５０は、参照画像内のオブジェクトの描出に基づいて、生成され得る。動きベクトル８６０は、表示要素８２０−９が関係する画像の描出８４０において正確な位置を特定する。本明細書中の実施形態によれば、１または複数の要素に対する準要素または分数要素動き補償を適応させるべく、従来の方法にあるように画像の描出８４０をスーパーサンプル化（すなわち、著しく高い解像度）画像にアップサンプリングする代替例として、本明細書中の実施形態は、相対的に低いレベルの品質または低い解像度描出画の像８４０に基づいて、表示要素８２０−９の設定を導き出すことを含む。
【０１１７】
具体例として、コンピュータプロセッサハードウェアは、画像の描出８５０における表示要素８２０−９のための、動き補償情報および／あるいは他のメタデータまたは再構成データを受信する。画像の描出８５０は、画像８４０（参照画像）の描出における表示要素の設定に、少なくとも部分的に基づいて生成されている画像を表す。受信した動き補償情報は、表示要素８２０−９が関係する画像の描出８４０における表示要素８１０−１１内の座標位置を示す。表示要素８２０−９の設定を再構成するための受信再構成データは、各参照画像内の１または複数の位置だけではなく１または複数の参照画像のどれが表示要素の各々の設定を再構成するための基底として使用するのかを、特定することができる。単純な例示的実施形態では、動き補償情報は、表示要素８２０−９の設定を決定する基底として使用するべく、単一の参照画像内の位置を示す。
【０１１８】
一実施形態では、コンピュータプロセッサハードウェアは、受信した補償情報を、要素８２０−９が関係する画像８４０（グリッド）の描出におけるオフグリッド位置を特定する動きベクトル８６０（表示要素８２０−９に割り当てられる）に変換する。表示要素８２０−９の位置は、画像の描出８４０におけるオフグリッドである。なぜなら、それは画像の描出８４０における単一の表示要素のみに、直接、フォールオーバするものではないからである。この例示的実施形態では、動きベクトル８６０によって特定された画像要素８２０−９の位置は、少なくとも部分的に、画像の描出８４０において複数の表示要素８１０−６、８１０−７、８１０−１０および８１０−１１を重ね合わせる。
【０１１９】
コンピュータプロセッサハードウェアは、画像の描出８４０における複数の表示要素の集団が選択される基底として、動きベクトル８６０によって特定される座標位置を利用する。例えば、この例示的実施形態では、近接または他の適当なパラメータに起因して、コンピュータプロセッサハードウェアが、表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５を、表示要素８２０−９の１または複数の設定が生成する適当な近傍要素として選択すると想定する。選択した表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２、および８１０−１５のそのような設定に基づいて、コンピュータプロセッサハードウェアは表示要素８２０−９の設定を生成する。
【０１２０】
一実施形態では、コンピュータプロセッサハードウェアは、表示要素８２０−９があたかも動きベクトル８６０によって特定される、分数形式のオフセット位置に位置されるように、画像の描出８４０に基づいた表示要素８２０−９の設定情報を算出する。例えば、動きベクトル８６０によって特定される表示要素８２０−９の中心軌跡は、表示要素８１０−１１の中心軌跡に対して正確に位置合わせされない。本明細書中の実施形態は、選択した集団内の複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２、および８１０−１５の設定に基づいて第２の画像内の表示要素８２０−９の設定を生成することを、含む。
【０１２１】
留意することは、複数のアルゴリズムの間の任意の適切なアルゴリズムが用いられ得、選択した表示要素集団に基づいて、表示要素８２０−９の設定を導き得ることである。例えば、この実施例では、表示要素８２０−９に関連付された受信再構成情報が、特定のアルゴリズムを使用するようにコンピュータプロセッサハードウェアに指示して、上記したような表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５を含むべく集団を生成すると想定する。
【０１２２】
特定のアルゴリズムによれば、コンピュータプロセッサハードウェアは、特定の表示要素８１０−１１内の座標位置（動きベクトル８６０によって特定される表示要素８２０−９の中心軌跡のもの）に対する集団内の複数の表示要素の距離に少なくとも部分的に基づいて、表示要素８２０−９の設定を算出する。
【０１２３】
例えば、線Ｌ１の長さは、表示要素８１０−６の中心軌跡（すなわち、中心部）（表示要素８１０−６の中心部にある各々のシンボルｘによって図示される）と、表示要素８２０−９の中心軌跡（動きベクトル８６０によって特定され、かつ表示要素８２０−９にあるドットによって図示される）との間の距離を表す。線Ｌ２の長さは、表示要素８１０−７の中心軌跡（表示要素８１０−７の中心部にある各々のシンボルｘによって図示される）と、表示要素８２０−９の中心軌跡（動きベクトル８６０によって特定され、かつ表示要素８２０−９にあるドットによって図示される）との間の距離を表す。線Ｌ３の長さは、表示要素８１０−１２の中心軌跡（表示要素８１０−１２の中心部にある各々のシンボルｘによって図示される）と、表示要素８２０−９の中心軌跡との間の距離を表す。線Ｌ４の長さは、表示要素８１０−１１の中心軌跡（表示要素８１０−１１の中心部にある各々のシンボルｘによって図示される）と、表示要素８２０−９の中心軌跡との間の距離を表す。線Ｌ５の長さは、表示要素８１０−１５の中心軌跡（表示要素８１０−１５の中心部にある各々のシンボルｘによって図示される）と、表示要素８２０−９の中心軌跡との間の距離を表す。線Ｌ６の長さは、表示要素８１０−１０の中心軌跡（表示要素８１０−１０の中心部にある各々のシンボルｘによって図示される）と、表示要素８２０−９の中心軌跡との間の距離を表す。
【０１２４】
述べたように、コンピュータプロセッサハードウェアは、任意の適当なやり方で、表示設定等の値を生成するように、構成され得る。例えば、アルゴリズムは、近傍表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２、および８１０−１５に関連付けられた設定の平均を算出することに基づいて、表示要素８２０−９の設定を生成するように、構成され得る。例えば、以下のように仮定する。すなわち、表示要素８１０−６は、値を２４にセットする。表示要素８１０−７は、値を６０にセットする。表示要素８１０−１０は、値を２２８にセットする。表示要素８１０−１１は、値を−１２３にセットする。表示要素８１０−１２は、値を−４１にセットする。表示要素８１０−１５は、値を２にセットする。これらの値の平均は２５である。したがって、この例では、アルゴリズムは、表示要素８２０−９に２５の値を割り当てる。
【０１２５】
さらなる実施形態によれば、アルゴリズムは、選択した集団内のそれぞれの表示要素の重みを生成するように、構成され得る。例えば、非限定的実施形態では、表示要素８２０−９の設定を生成するために選択されたアルゴリズムは、線Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、およびＬ６のそれぞれの長さを算出し、線の長さに応じた各々の表示要素の対応する重みを生成するように、構成され得る。線が短ければ短いほど、表示要素８２０−９に関して算出された設定が遠方要素よりも近傍要素の設定に基づいて重みがより大きくなるように、各々の重みはより大きくなる。具体例として、線Ｌ１の長さを７単位とし、線Ｌ２の長さを５単位とし、線Ｌ３の長さを６単位とし、線Ｌ４の長さを１単位とし、線Ｌ５の長さを６単位として、線Ｌ７の長さを４単位とすることができる。長さに基づいて、アルゴリズムは線Ｌ１のＷ１を０．０５３にセットし、アルゴリズムは線Ｌ２のＷ２を０．１５７にセットし、アルゴリズムは線Ｌ３のＷ３を０．１０５にセットし、アルゴリズムは線Ｌ４のＷ４を０．３６８にセットし、アルゴリズムは線Ｌ５のＷ５を０．１０５にセットし、アルゴリズムは線Ｌ６のＷ６を０．２１にセットする。重みの和は、１と等しくなり得る。重みに基づいて表示要素８２０−９の設定を算出するべく、アルゴリズムは以下のようにして表示要素８２０−９の値を生成する。
【０１２６】
値＝（Ｗ１×Ｓ１）＋（Ｗ２×Ｓ２）＋（Ｗ３×Ｓ３）＋（Ｗ４×Ｓ４）＋（Ｗ５×Ｓ５）＋（Ｗ６×Ｓ６）；式中、Ｓ１＝表示要素８１０−６の設定＝２４、Ｓ２＝表示要素８１０−７の設定＝６０、Ｓ３＝表示要素８１０−１０の設定＝２２８、Ｓ４＝表示要素８１０−１１の設定＝−１２３、Ｓ５＝表示要素８１０−１２の設定＝−４１、Ｓ６＝表示要素８１０−１５の設定＝２。
【０１２７】
値＝（０．０５３×２４）＋（０．１５７×６０）＋（０．１０５×２２８）＋（０．３６８×（−１２３））＋．１０５×（−４１））＋（０．２１×２）＝−１４．２
【０１２８】
この例では、アルゴリズムは、−１４．２の値に表示要素８２０−９の設定を割り当てる。さらなる非限定的実施形態によれば、アルゴリズムは、適当なリサンプリングカーネル（例えば、双線形カーネル、バイキュービックカーネル、ランチョスカーネル）に従って選択集団内のそれぞれの表示要素に対して重みを生成するように、構成され得る。そのような実施形態の１つでは、信号プロセッサは、座標位置に最も近い参照画像内の要素８１０−１１を特定し、続いて要素を含む１６の要素の集団を選択する。ルックアップテーブルは、要素８１０−１１の中心軌跡からの座標位置の距離に応じて、カーネル重量のいくつかの可能な値を用いて利用可能である。実施形態では、信号プロセッサは、要素８１０−１１の中心軌跡からの実際の座標位置であるｘ距離およびｙ距離に近接する位置に対応するルックアップテーブル内の重みのセットを補間することによって、重みを算出する。したがって、本明細書中の実施形態は、動きベクトル８６０によって特定される所与の表示要素の中心軌跡と参照画像の集団内の要素の各々の中心軌跡との間の各々の距離に応じて変化する重み値を生成すること、ならびに、表示要素８２０−９の設定を生成するべく集団内の表示要素の設定に対して重み値を適用すること、を含み得る。したがって、非限定的または実質的に高精度の動きベクトルを想定することで、本明細書中の実施形態は、１つの画像平面から次にものへのオブジェクトの分数移動に基づいて画像を再構成することが可能である。言い換えれば、複数のビデオフレームからなるシーケンス内の参照画像は、オブジェクトの表現を含んでもよい。参照画像（通常の解像度）は、次のフレーム内の移動オブジェクトの分数変位（ｆｒａｃｔｉｏｎａｌｌｙ  ｄｉｓｐｌａｃｅｄ）表現を生成するべく、基礎として用いられ得る。言い換えれば、後続のフレームは、ピクセル全体よりも少ないか少なくともサブピクセルレベルで、１つのフレームから次のものへ移動されるように、参照フレーム内の移動物体の描出を含み得る。関連出願で説明した他の非限定的実施形態では、参照画像は、一連の画像内の先行または後続の画像でなくてもよい。しかし、その代わりに、複数の時間相関画像の再構成を特異的にサポートするべく生成されたサポート画像であってもよい。そのような実施形態のいくつかでは、参照画像は、動き補償画像の解像度よりも低い空間解像度により、段階的時相階層におけるダウンブレンドした予測因子であってもよい。
【０１２９】
上記のように、動きベクトル８６０は、画像の描出８４０における表示要素８１０−１１の中心部以外の座標位置を特定することができる。動きベクトル８６０は、対応する表示要素８２０−９が画像の描出８４０内の任意の位置を参照することを可能にする任意の適当な解像度のものであり得る。したがって、動きベクトル８６０は、参照画像等の画像の描出８４０における各々の要素またはセルの中の任意の位置を指しているオフセット値またはベクトルであり得る。
【０１３０】
一実施形態では、動きベクトル８６０によって特定される画像の描出８４０における特定の座標位置（例えば、表示要素８２０−９の中心軌跡の位置）は、表示要素またはピクセルの分数値、例えばゼロよりも大きいが１未満である分数値によって、表示要素８１０−１１の中心軌跡に対して、オフセットされ得る。  述べたように、画像の描出８５０は、参照画像におけるオブジェクトの表現を含むが、参照画像に対してピクセル全体よりも少なく変位し得る。
【０１３１】
示すように、参照画像等の画像の描出８４０の解像度は、画像の描出８５０（例えば、参照画像に少なくとも部分的に基づいてレンダリングされる画像）の解像度に実質的に等しくなり得る。
【０１３２】
留意すべきことは、さらなる実施形態によれば、画像の描出８４０の解像度は、画像の描出８５０の解像度と異なり得る。例えば、一実施形態では、第１の画像の描出８４０の解像度は、第２の画像の描出８５０の解像度と実質的に異なり得る。
【０１３３】
したがって、動きベクトル８６０によって特定される座標位置は、画像の描出８４０等、第１の画像内の複数の表示要素の集団が選択される基礎として、用いられ得る。述べたように、コンピュータプロセッサハードウェアは、画像の描出８４０に表示要素８１０−１１と１または複数の他の表示要素とを含ませるべく、複数の表示要素の集団を生成するように、構成され得るもので、１または複数の他の表示要素は特定の表示要素８１０−１１の近傍に位置している。
【０１３４】
非限定的な例示的一実施形態では、コンピュータプロセッサハードウェアは、（ｉ）特定の表示要素８１０−１１の中心軌跡に対して座標位置の近傍（動きベクトル８６０によって特定される）、（ｉｉ）特定の表示要素８１０−１１の設定、および（ｉｉｉ）特定の表示要素８１０−１１の近傍に位置した表示要素の設定に少なくとも部分的に基づいて、表示要素８２０−９の設定を、補間する。
【０１３５】
留意することは、動き補償のプロセスは、画像の描出８４０に基づいて画像の描出８５０を導くべく、補償画像内の複数の要素それぞれに適用され得る。例えば、本明細書中の実施形態は、画像の描出８５０における複数の表示要素それぞれに対する各々の動きベクトルを生成することを含む。既に検討したやり方で、画像の描出８５０を再生するコンピュータプロセッサハードウェアは、対応する表示要素が関係する画像の描出８４０における特定位置を特定するべく、画像の描出８５０における対応する表示要素に関連付けられた各々の動きベクトルを利用する。次に、コンピュータプロセッサハードウェアは、参照画像内の表示要素を特定し、対応する表示要素の設定を生成する基底として、動きベクトル８６０によって特定される特定位置を使用する。
【０１３６】
ここで、異なるリソースによってサポートされる機能を、図９から１０のフローチャートを介して論ずる。留意することは、以下のフローチャートのステップは、任意の適当な順序で実行され得ることである。
【０１３７】
図９は、実施形態例に係る例となる方法を示すフローチャート９００である。留意することは、上記のように、概念に対していくつかの重ね合わせが存在することである。処理ブロック９１０では、コンピュータプロセッサハードウェア（例えば、デコーダ処理ハードウェア）は、参照画像情報または参照画像を受信する。画像の描出８４０等、参照画像情報は、所与の解像度で複数の要素からなるグリッドを定義する。
【０１３８】
処理ブロック９２０では、コンピュータプロセッサハードウェアは、画像の描出８５０等、補償画像内の表示要素８２０−９等の画像要素に関する補償情報を受信する。補償画像内の表示要素の設定は、少なくとも部分的に、参照画像情報から導かれる。
【０１３９】
処理ブロック９３０では、コンピュータプロセッサハードウェアは、受信した補償情報を処理して、グリッド内の画像要素の対応オフグリッド位置を示す動きベクトル８６０によって特定される位置等、一組の座標を生成する。すでに述べたように，表示要素８２０−９の位置は、グリッド線内に収まらない。しかし、少なくとも部分的に、複数の表示要素上にオーバーレイされる。
【０１４０】
処理ブロック９４０では、コンピュータプロセッサハードウェアは、グリッド内の複数の要素からなる集団に基づいて、画像要素の対応オフグリッド位置の値を算出する。
【０１４１】
処理ブロック９５０では、コンピュータプロセッサハードウェアは、算出値を補償画像内の画像要素に割り当てる。
【０１４２】
図１０は、実施形態に係る例となる方法を示すフローチャート１０００である。留意することは、上記のように、概念に対していくつかの重ね合わせが存在することである。処理ブロック１０１０では、コンピュータプロセッサハードウェアは、参照画像として第１の画像の設定情報を受信する。第１の画像は、一組の複数の表示要素を含む。
【０１４３】
処理ブロック１０２０では、コンピュータプロセッサハードウェアは、第２の画像内の所与の表示要素の動き補償情報を受信する。動き補償情報は、所与の表示要素が関係する第１の画像内の特定の表示要素の中の座標位置を示す。
【０１４４】
処理ブロック１０３０では、コンピュータプロセッサハードウェアは、第１の画像内の複数の表示要素の集団が選択される基底として座標位置を利用する。処理ブロック１０４０では、コンピュータプロセッサハードウェアは、集団における複数の表示要素の設定に基づいて第２の画像内の所与の表示要素の設定を生成する。
【０１４５】
再び留意することは、本明細書中の技術は、階層型システムでの符号化および復号化に十分適しているということである。しかし、留意すべきことは、本明細書中の実施形態は、そのようなアプリケーションで使用することに限定されず、本明細書中に述べた技術が他のアプリケーションに同様に十分適することである。
【０１４６】
本明細書中に記述されている説明に基づいて、数多くの具体的詳細がクレームされた主題の十分な理解を提供するべく説明されている。しかし、クレームされた主題がこれらの具体的詳細なしに実施可能であることを当業者に理解されよう。他の例では、当業者に公知であろう方法、装置、システム等は、クレームされた主題を曖昧にしないように、詳細には説明されていない。詳細な説明のいくつかの部分は、コンピュータメモリ等のコンピューティングシステムのメモリの中に格納されたデータビットまたはバイナリデジタル信号に対する操作のアルゴリズムまたは象徴の観点から、提示された。これらのアルゴリズム的な説明または表現は、データ処理技術の当業者が他の当業者に仕事の内容を伝えるべく使用される技術の例である。本明細書中に説明されるように、また一般的に、アルゴリズムは、所望の結果をもたらす複数の操作からなる首尾一貫したシーケンスまたは類似の処理であると考えられる。この文脈において、操作または処理は物理量の物理的操作を伴う。典型的には、必ずしも必要ではないが、そのような量は、格納、送信、結合、比較、またはさもなければ操作され得る電気的または磁気的信号の形をとるものであってもよい。しばしば、主に一般的な使用上の理由で、そのような信号をビット、データ、値、要素、記号、文字、用語、数、数字等を参照することが便利であった。しかし、これらおよび類似の用語のすべてが適当な物理量に関連付けられており、単に便利な呼び名にすぎないと理解されるべきである。特段の異なりがない限り、以下の検討から明らかなように、この明細書全体にわたる検討を通じて、「処理」、「コンピューティング」、「算出」、「決定」等の用語を用いる検討は、コンピューティングプラットホームのメモリ、レジスタ、または他の情報ストレージデバイス、送信デバイス、または表示デバイス内で、物理電子的または磁気的量として表されるデータを操作または変換するコンピューティングプラットホーム、例えばコンピュータまたは類似のエレクトロニックコンピューティングデバイスの動作またはプロセスに言及していると、理解される。
【０１４７】
異なる実施形態によれば、留意することは、コンピュータシステムが、限定されるものではないが、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、ストレージデバイス、家庭用電子機器（例えば、カメラ、カムコーダ、セットトップボックス、モバイルデバイス、スマートフォン、タブレット、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイス）、周辺機器（例えば、スイッチ、モデム、ルータ）、あるいは、一般に、任意のタイプのコンピューティングデバイスまたは電子デバイスを含む、任意の様々なタイプのデバイスであってもよいことである。
【０１４８】
本明細書中の実施形態がその好ましい実施形態を参照して具体的に示され、かつ説明されているとはいえ、添付の特許請求の範囲によって定義される本出願の精神および範囲から逸脱することなく、形態および詳細において様々な変更が可能であることは、当業者によってよく理解されよう。そのようなバリエーションは、本出願の範囲によってカバーされることを意図している。このように、本出願の実施形態に関する前述の説明は、限定されることを意図していない。むしろ、本発明に対するいっさいの限定は、以下の特許請求の範囲に提示されている。
【図１】
2015522988.tif 000008
【図２】
2015522988.tif 000009
【図３】
2015522988.tif 000010
【図４Ａ】
2015522988.tif 000011
【図４Ｂ】
2015522988.tif 000012
【図５】
2015522988.tif 000013
【図６】
2015522988.tif 000014
【図７】
2015522988.tif 000015
【図８】
2015522988.tif 000016
【図９】
2015522988.tif 000017
【図１０】
2015522988.tif 000018
【国際調査報告】
2015522988.tif 000019
2015522988.tif 000020
2015522988.tif 000021
2015522988.tif 000022
2015522988.tif 000023
2015522988.tif 000024
2015522988.tif 000025
2015522988.tif 000026