(57)【要約】  コンピュータプロセッサハードウェアは、１つの領域に属する信号の表現の複数の要素を特定する領域情報を受信する。コンピュータプロセッサハードウェアはまた、当該領域に関連する動き情報を受信する。動き情報は、当該領域中の複数の要素のそれぞれが、参照信号中の対応する要素のどれに関連するかを示すように、符号化されることができる。領域情報によって特定された当該領域中のそれぞれの要素に対し、コンピュータプロセッサハードウェアは、動き情報を利用して、参照信号中の対応する位置値を導出する。対応する位置値は、それぞれの要素が関連する参照信号中の位置を示す。
2015522987.tif 000002
【特許請求の範囲】
【請求項１】
与えられる複数の要素の組におけるそれぞれの要素に対する記述情報を復号化する方法であって、前記複数の要素の組は１または複数の次元を有する信号のサンプルに対応し、前記方法は、
一の領域に属する前記信号の表現の複数の要素を特定する領域情報を受信する段階と、
前記一の領域に関連する記述情報を受信する段階であって、前記記述情報は前記一の領域中の前記複数の要素に関連する情報を示すように符号化される、前記受信する段階と、
前記一の領域中のそれぞれの要素に対し、前記記述情報を利用して対応する値を導出する段階であって、前記対応する値は前記それぞれの要素に関連する情報を示す、前記導出する段階と、
を備える方法。
【請求項２】
記述情報は複数の領域の動きに関する情報に対応し、動き補償された画像を生成するために記述情報は処理され、前記方法は、
ａ）少なくとも１つの動き領域および動きに関する少なくとも一組の記述情報を受信する段階であって、前記動き領域は動き補償された画像のうちの複数の要素のサブセットを示し、複数の要素の前記サブセットは前記動き領域に属する、前記受信する段階と、
ｂ）参照画像として少なくとも第１の画像を受信する段階と、
ｃ）段階ｂ）の間に受信した前記第１の画像、段階ａ）の間に受信した複数の前記動き領域、および段階ａ）の間に受信した動きに関する前記記述情報を用いて、特に動き補償された画像である第２の画像を算出する段階と、
を備える、請求項１に記載の方法。
【請求項３】
第１の動き領域は、第２の動き領域に対応する複数の要素の数とは異なる複数の要素の数によって特徴付けられる複数の要素のサブセットに対応し、前記複数の動き領域の少なくとも１つは、前記信号の複数の非矩形な部分および複数の不連続な部分の少なくとも一方に対応する複数の要素を含む、請求項２に記載の方法。
【請求項４】
動き領域の前記動きは並進を含み、
前記動き領域の前記動きに関する前記記述情報はオフセットに対応する複数のパラメータを含み、
前記オフセットは、段階ｃ）の間に、それぞれの座標に適用すべきであり、且つ前記動き領域に対応する複数の要素に適用すべきである複数の調整を示す、請求項２または請求項３に記載の方法。
【請求項５】
動き領域の前記動きは回転を含み、
前記動き領域の前記動きに関する前記記述情報は、回転に対応し、且つ前記回転の方向および大きさを定義する、段階ｃ）の間に前記動き領域に適用するべき１または複数のパラメータを含む、請求項２から請求項４のいずれか１項に記載の方法。
【請求項６】
動き領域の前記動きはスケーリング（すなわちズームまたはズームの除去）を含み、
前記動き領域の前記動きに関する前記記述情報は、スケーリングに対応し、且つ前記スケーリングの大きさを定義する、段階ｃ）の間に前記動き領域に適用するべき１または複数のパラメータを含む、請求項２から請求項５のいずれか１項に記載の方法。
【請求項７】
一の動き領域に対応する前記記述情報は、段階ｃ）の間において、前記動き補償された画像のうち前記一の動き領域に対応する複数の要素の前記算出を決定することに寄与する複数の追加パラメータを含む、請求項２から請求項６のいずれか１項に記載の方法。
【請求項８】
前記動き補償された画像は、前記参照画像とは異なる解像度を有する、請求項２から請求項７のいずれか１項に記載の方法。
【請求項９】
前記動き補償された画像のうちの１または複数の要素には、前記参照画像のうちのデフォルト値が割り当てられている部分にそれらが対応する場合、または、前記参照画像の外部の区域にそれらが対応する場合、デフォルト値が割り当てられる、請求項２から請求項８のいずれか１項に記載の方法。
【請求項１０】
前記段階ｃ）の間、前記動き補償された画像の前記算出は、任意の精度で複数の動きを記述し、前記参照画像の実際の解像度によらずに前記参照画像の実質的にあらゆる位置にアクセスするために、分数による計算（例えば、浮動小数点演算または高精度固定小数点による計算）を含む、請求項２から請求項９のいずれか１項に記載の方法。
【請求項１１】
前記動き補償された画像のうちの少なくとも与えられる要素の前記値は、前記参照画像のうちの複数の要素のサブセットの重み付き平均を実行することにより計算され、
前記重み付き平均の複数の重みは、前記動き補償された画像中の前記与えられる要素の座標と、前記与えられる要素が属する前記１または複数の動き領域の前記動きに関する記述情報とに依存する、請求項１０に記載の方法。
【請求項１２】
前記動き補償された画像のうち、少なくとも１つの領域に対応する複数の要素には、前記参照画像のうちの複数の要素の複数の値には基づかない複数の値が割り当てられる、請求項２から請求項１１のいずれか１項に記載の方法。
【請求項１３】
複数の動き領域は、算出するべき前記与えられる動き補償された画像に対応する単一の補助画像として符号化され、
前記単一の補助画像の複数の要素に割り当てられる複数の値は、前記与えられる動き補償された画像のうち対応する複数の要素に関連した前記動き領域に対応する、請求項２から請求項１２のいずれか１項に記載の方法。
【請求項１４】
前記単一の補助画像は階層ベースの階層法によって復号化され、
前記方法は、
第１の品質レベルにある前記単一の補助画像の表現を復号化する段階と、
第１の品質レベルにある前記単一の補助画像に少なくとも部分的に基づいて、第２の品質レベルにある前記単一の補助画像の予備表現を生成する段階であって、前記第２の品質レベルは前記第１の品質レベルよりも高い、前記生成する段階と、
複数の調整値の組を復号化する段階と、
前記第２の品質レベルにある前記単一の補助画像の前記予備表現を、前記複数の調整値と結合し、前記第２の品質レベルにある前記単一の補助画像の表現を生成する段階と、
を有する、請求項１３に記載の方法。
【請求項１５】
前記第２の品質レベルにある前記単一の補助画像の前記予備表現における前記複数の要素のサブセットのみに対して複数の調整値が特定され、
前記方法は、
第１の品質レベルにある単一の補助画像を復号化する段階であって、第１の品質レベルにある前記単一の補助画像の複数の要素には、複数の符号の第１の組に属する一の符号（"終了符号"）または複数の符号の第２の組に属する一の符号（"非終了符号"）のどちらがが割り当てられる、前記復号化する段階と、
（より高い）第２の品質レベルにある前記単一の補助画像の予備表現を生成する段階であって、前記第２の品質レベルにある前記予備表現の複数の要素であって且つ前記第１の品質レベルにある前記単一の補助画像の同じ要素に対応する前記複数の要素には、前記第１の品質レベルにある前記単一の補助画像の前記要素と同一の符号が割り当てられる、前記生成する段階と、
前記第２の品質レベルにある前記単一の補助画像の前記予備表現の複数の要素であって且つ複数の符号の前記第２の組に属する一の符号が割り当てられた前記複数の要素に対してのみ、前記割り当てられた符号を、受信した調整データに基づいて変更する段階と
を備える、請求項１４に記載の方法。
【請求項１６】
一の幾何形状に対応する１または複数のパラメータによって、少なくとも１つの動き領域が定義される、請求項２から請求項１５のいずれか１項に記載の方法。
【請求項１７】
再構成された前記動き補償された画像が、受信された残留データと組み合わされ、ターゲット画像を生成する、請求項２から請求項１６のいずれか１項に記載の方法。
【請求項１８】
複数の動き補償された画像のそれぞれが異なる参照画像に基づいており、前記複数の動き補償された画像が組み合わされて、単一の予測される画像を生成する、請求項２から請求項１７のいずれか１項に記載の方法。
【請求項１９】
前記動き補償された画像のうちの少なくとも１つの要素は、１よりも多くの動き領域に割り当てられる、請求項２から請求項１８のいずれか１項に記載の方法。
【請求項２０】
デジタルプロセッサの内部メモリに直接ロードされることが可能なコンピュータプログラムであって、前記プログラムがプロセッサで実行された場合に請求項１から請求項１９のいずれか１項に記載の方法の複数の前記段階を実行するための複数のソフトウェアコード部分を備える、コンピュータプログラム。
【請求項２１】
請求項１から請求項１９のいずれか１項に記載の方法を実施し、請求項２０に記載のコンピュータプログラムを実行するデコーダ処理ハードウェア。
【請求項２２】
信号の表現を再生するための方法であって、
前記方法は、コンピュータプロセッサハードウェアによって、
一の領域に属する前記信号の前記表現の複数の要素を特定する領域情報を受信する段階と、
前記一の領域に関連する動き情報を受信する段階であって、前記動き情報は、前記一の領域中の前記複数の要素のそれぞれが、参照信号中の対応する要素のどれに関連するかを示すように符号化される、前記受信する段階と、
前記一の領域のそれぞれの要素に対し、前記動き情報を利用して前記参照信号中の対応する位置値を導出する段階であって、前記対応する位置値は、前記それぞれの要素が関連する前記参照信号中の位置を示す、前記導出する段階と、
を備える方法。
【請求項２３】
前記一の領域中のそれぞれの要素に対して、
前記それぞれの要素に対する前記位置値を利用して、前記参照信号中の複数の要素から成る対応するグループを選択する段階と、
前記それぞれの要素に対する設定を算出する段階であって、前記それぞれの要素に対する前記設定は、前記対応するグループ中の複数の要素の複数の設定に基づいて導出される、前記算出する段階と、
をさらに備える、請求項２２に記載の方法。
【請求項２４】
前記動き情報は複数の係数値の組を含み、
前記動き情報を利用して対応する位置値を導出する段階は、
前記それぞれの要素に対する座標を取得する段階であって、前記座標は前記信号の表現中の前記それぞれの要素の位置を特定する、前記取得する段階と、
前記それぞれの要素の前記座標に対して、前記複数の係数値との線形結合を実行し、対応する位置情報を生成する段階と、
を有する、請求項２３に記載の方法。
【請求項２５】
前記対応する位置情報は、前記それぞれの要素が関連する前記参照信号中の座標を特定する、請求項２４に記載の方法。
【請求項２６】
前記一の領域中の第１の要素を選択する段階と、
前記動き情報を利用して、前記参照信号中の第１の座標位置を算出する段階と、
前記第１の座標位置を基準として利用して、前記参照信号中の複数の要素の第１の組を識別する段階と、
前記第１の組中の複数の要素の複数の設定を取得する段階と、
前記第１の組中の前記複数の要素の前記複数の設定に基づいて、前記一の領域中の前記第１の要素に対する一の設定を算出する段階と、
前記一の領域中の第２の要素を選択する段階と、
前記動き情報を利用して、前記参照信号中の第２の座標位置を算出する段階と、
前記第２の座標位置を基準として利用して、前記参照信号中の複数の要素の第２の組を識別する段階と、
前記第２の組中の複数の要素の複数の設定を取得する段階と、
前記第２の組中の前記複数の要素の前記複数の設定に基づいて前記一の領域中の前記第２の要素に対する一の設定を算出する段階と、
をさらに備える、請求項２２から請求項２５のいずれか１項に記載の方法。
【請求項２７】
前記参照信号は、複数の表示要素を含む参照画像であり、
前記信号の前記表現は２次画像であり、前記２次画像は複数の表示要素を含み、前記動き情報は、前記参照画像中の複数の表示要素のグループであって、前記一の領域中の複数の表示要素に対する複数の設定を再生するために使用されるべき前記グループを特定する、請求項２２から請求項２６のいずれか１項に記載の方法。
【請求項２８】
前記２次画像における前記一の領域中の前記複数の表示要素は、前記２次画像によって捉えられた物体の表現を表し、
前記参照画像中の複数の表示要素の前記グループは、前記参照画像中の前記物体の表現を表し、
前記動き情報は、前記参照画像中の位置から前記２次画像中の位置への前記物体の動きを捉える、請求項２７に記載の方法。
【請求項２９】
前記動き情報は、前記物体の動きに関連した複数の動きパラメータに対応し、
前記複数の動きパラメータは、
ｉ）前記参照画像中の前記物体の前記表現に対する前記２次画像中の前記物体の前記表現の並進、
ｉｉ）前記参照画像中の前記物体の前記表現に対する前記２次画像中の前記物体の前記表現の回転、および、
ｉｉｉ）前記参照画像中の前記物体の前記表現に対する前記２次画像中の前記物体の前記表現のスケーリング、
を含むグループから選択される、請求項２８に記載の方法。
【請求項３０】
前記動き情報は、前記物体の動きに関連した複数の動きパラメータに対応し、
前記複数の動きパラメータは、
ｉｖ）前記参照画像中の前記物体の前記表現に対する前記２次画像中の前記物体の前記表現のシェアリング、
ｖ）前記参照画像中の前記物体の前記表現に対する前記２次画像中の前記物体の前記表現の透視変換、
をさらに含むグループから選択される、請求項２９に記載の方法。
【請求項３１】
前記信号の前記表現は動き補償された画像であり、
前記動き補償された画像中の前記一の領域は、複数の表示要素の第１の範囲および複数の表示要素の第２の範囲を含む複数の表示要素の複数の連続的な範囲を含み、複数の表示要素の前記第１の範囲は、複数の表示要素の前記第２の範囲とは不連続である、請求項２２から請求項３０のいずれか１項に記載の方法。
【請求項３２】
前記信号の前記表現は動き補償された画像であり、
複数の要素から成る前記一の領域によって表される前記動き補償された画像の範囲は非矩形形状である、請求項２２から請求項３０のいずれか１項に記載の方法。
【請求項３３】
前記信号の前記表現の解像度は、前記参照信号の解像度とは実質的に異なる、請求項２２から請求項３２のいずれか１項に記載の方法。
【請求項３４】
前記信号の前記表現の解像度は、前記参照信号の解像度と実質的に同一である、請求項２２から請求項３２のいずれか１項に記載の方法。
【請求項３５】
前記動き情報はオフセット調整情報を含み、
前記動き情報を利用して、前記それぞれの要素に対し、対応する位置値を導出する段階は、ｉ）前記それぞれの要素に対する座標を取得する段階と、ｉｉ）前記座標に対して前記オフセット調整情報を適用して、前記それぞれの要素に対し、対応する位置情報を生成する段階と、を含み、
前記座標は、前記信号の表現中の前記それぞれの要素の位置を特定し、
前記対応する位置情報は、前記オフセット調整情報によって特定された量だけ前記座標に対してオフセットされた位置を示す、請求項２２から請求項３４のいずれか１項に記載の方法。
【請求項３６】
前記動き情報は回転調整情報を含み、
前記動き情報を利用して、前記それぞれの要素に対し、対応する位置値を導出する段階は、ｉ）前記それぞれの要素に対する座標を取得する段階と、ｉｉ）前記座標に対して前記回転調整情報を適用して、前記それぞれの要素に対して、対応する位置情報を生成する段階と、を含み、
前記座標は、前記信号の表現中の前記それぞれの要素の位置を特定し、
前記対応する位置情報は、前記回転調整情報によって特定された量分の前記座標の回転を捉える、請求項２２から請求項３４のいずれか１項に記載の方法。
【請求項３７】
前記動き情報は、前記信号の前記表現の前記一の領域中の前記複数の要素が、前記参照信号中の複数の表示要素の対応するグループからどのようにスケーリングされるかを示す、請求項２２から請求項３４のいずれか１項に記載の方法。
【請求項３８】
前記参照信号の外部に位置された対応する要素を動き情報が示す場合、または、動き情報にデフォルト値が割り当てられている場合、前記位置値にはデフォルト値が割り当てられる、請求項２２から請求項３７のいずれか１項に記載の方法。
【請求項３９】
前記対応する位置値は、前記参照信号中の部分要素精度を特定するのに十分な高解像度を有する、請求項２２から請求項３８のいずれか１項に記載の方法。
【請求項４０】
前記一の領域中の第１の要素を選択する段階と、
前記動き情報を利用して、前記第１の要素に対する前記参照信号中の位置を算出する段階と、
前記位置を基準として利用して、前記参照信号中の複数の要素の第１の組を識別する段階と、
前記参照信号を処理して前記第１の組中の前記複数の要素の複数の設定を取得する段階と、
前記第１の組中の複数の要素の前記複数の設定に対して重み付けされた複数の値を適用する段階であって、前記重み付けされた複数の値の大きさは、前記第１の組中の前記複数の要素から前記第１の要素に対する前記参照信号中の前記位置への近接さの度合いに依存する、前記適用する段階と、
前記第１の組中の前記複数の要素の前記重み付けされた複数の設定に基づいて、前記一の領域中の前記第１の要素に対する一の設定を算出する段階と、
をさらに備える、請求項２２から請求項３９のいずれか１項に記載の方法。
【請求項４１】
前記領域情報は、前記一の領域の形状を定義する複数の幾何学的パラメータを含む、請求項２２から請求項４０のいずれか１項に記載の方法。
【請求項４２】
前記領域情報および前記動き情報により特定されるように、前記参照信号に少なくとも部分的に基づいて、前記信号の前記表現を再生する段階と、
前記信号の前記再生された表現に対して適用されるべき複数の調整を特定する再構成データを受信する段階と、
前記複数の調整を、前記再構成データによって特定される前記信号の前記再生された表現中の複数の表示要素に適用して、前記信号の前記再生された表現を洗練する段階と、
をさらに備える請求項２２から請求項４１のいずれか１項に記載の方法。
【請求項４３】
前記信号の前記表現は第１の画像であり、前記参照信号は前記第１の画像が少なくとも部分的に導出される第１の参照画像であり、前記領域情報は第１の領域情報であり、前記動き情報は第１の動き情報であり、
前記方法は、
第２の参照画像に基づいてどのように第２の画像を再生するかを特定する第２の領域情報および第２の動き情報を受信する段階と、
前記第２の領域情報および前記第２の動き情報に従い、前記第２の参照画像に少なくとも部分的に基づいて、前記第２の画像の表現を再生する段階と、
前記第１の画像および前記第２の画像を複数の参照画像として用いて、第３の画像の表現を生成する段階と、
をさらに備える、請求項２２から請求項４２のいずれか１項に記載の方法。
【請求項４４】
前記領域情報は第１の領域情報であり、前記一の領域は第１の領域であり、前記第１の領域情報は、与えられる要素が前記第１の領域に存在することを示し、
前記方法は、前記信号の前記表現に関連する第２の領域情報を受信する段階をさらに備え、
前記第２の領域情報は、前記与えられる要素が第２の領域に存在することを示す、請求項２２から請求項４３のいずれか１項に記載の方法。
【請求項４５】
前記動き情報は、前記信号の前記表現中の特定の要素が一の動き領域に属することを示し、前記特定の要素には、前記参照信号中の複数の要素から成るグループの複数の設定には基づかない値が割り当てられる、請求項２２から請求項４４のいずれか１項に記載の方法。
【請求項４６】
前記領域情報を受信する段階は、複数の要素の平面を受信する段階を含み、前記平面中の前記複数の要素は、前記信号の前記表現における対応する複数の要素に関連した複数の属性を特定し、前記平面中の前記複数の要素のそれぞれの設定は、前記信号の前記表現中の対応する表示要素が前記一の領域に含まれるかどうかを特定する領域データを含む、請求項２２から請求項４５のいずれか１項に記載の方法。
【請求項４７】
階層ベースの階層復号化法に従って複数の要素の前記平面を生成する段階をさらに備え、
前記階層ベースの階層復号化法は、
第１の品質レベルにある複数の要素の前記平面の表現を復号化する段階と、
前記第１の品質レベルにある複数の要素の前記平面の前記表現に少なくとも部分的に基づいて、第２の品質レベルにある複数の要素の前記平面の予備表現を導出する段階であって、前記第２の品質レベルは前記第１の品質レベルより高解像度を有する、前記導出する段階と、
前記第２の品質レベルにある複数の要素の前記平面の前記予備表現に関連する複数の調整値の組を取得する段階と、
前記第２の品質レベルにある複数の要素の前記平面の前記予備表現に対して前記複数の調整値を適用して、前記第２の品質レベルにある複数の要素の前記平面の調整された表現を生成する段階と、
前記第２の品質レベルにある複数の要素の前記平面の前記調整された表現を利用して、前記一の領域に属する前記信号の前記表現における前記複数の要素を識別する段階と、
を有する、請求項４６に記載の方法。
【請求項４８】
第１の品質レベルにある複数の要素の前記平面を生成する段階と、
前記平面の第１の部分に存在するそれぞれの要素に最終符号を割り当てる段階と、
前記平面の第２の部分に存在するそれぞれの要素に非最終符号を割り当てる段階と、
をさらに備え、
前記最終符号の割り当ては、前記第１の部分にあるそれぞれの親要素から導出されたあらゆる子要素が、前記それぞれの親要素と同一の複数の領域設定を継承することを示す、請求項４７に記載の方法。
【請求項４９】
信号の表現のそれぞれの要素に対する情報を再生する方法であって、前記方法は、コンピュータプロセッサハードウェアによって、
一の領域に属する前記信号の前記表現における複数の要素を特定する領域情報を受信する段階と、
前記一の領域に関連する記述情報を受信する段階であって、前記記述情報は、前記一の領域中の前記複数の要素に関連する情報を示すように符号化される、前記受信する段階と、
前記一の領域中のそれぞれの要素に対し、前記記述情報を利用して、対応する値を導出する段階であって、前記対応する値は前記それぞれの要素に関連する情報を示す、前記導出する段階と、
を備える方法。
【発明の詳細な説明】
【背景技術】
【０００１】
公知の技術における動き予測とは、１つのピクチャから別のピクチャへの変化、通常は、動画像列において隣接するピクチャからの変化を記述する動きベクトルを決定する処理のことである。動き予測は、通常、画像値（例えば、適切な色空間において表される輝度、色等）は時間が経っても一定のままであるのに対して、画像中のそれらの位置は変化してよいという仮定に基づいている。
【０００２】
ＭＰＥＧ（Moving Picture Expert Group）法のような公知の方法においては、動きベクトルは、画像全体に関連して良いし（グローバル動き予測）、あるいは矩形ブロックのような特定の部分、または画像の各要素ごとにさえ関連しても良い。従って、全動きベクトルのマップ（"動きマップ"）は、それが参照する画像／フレームとは異なる解像度を有することができる。動き予測が画像の各要素ごとに（例えば、ビデオの１つのフレームの各ピクセルごとに）動きベクトルを算出する場合、動きマップ（"正確な"または"高密度の"動きマップ）は、それが参照する画像と同じ解像度を有するであろう。
【０００３】
動きマップは、様々な用途に対して有用である。
【０００４】
第１に、それらは、デコーダにとっては既知である参照（例えば、公知の方法においては、同じシーケンスにおける以前の参照画像）に基づいて画像の表現（rendition：レンディション）を生成すること（"動き補償"）を可能にし、以前の複数の画像から再利用することのできる情報を再び伝送する必要が避けられるので、ビデオコード化の圧縮率を著しく向上することができる。デコーダは、動きベクトルが指し示す参照画像中の要素の設定に基づいて、現在画像中の所与の要素に対する設定を生成することができる。実際のところ、基本的な動き予測および動き補償技術は、複数の連続した画像から成る動画中の物体の動きを説明するために、従来のビデオコーデック（例えばＭＰＥＧ系統のコーデック、または、その他の周波数変換ベース／ブロックベースのコーデック）に使用されてきた。
【０００５】
例えば、ブロック動き補償（ＢＭＣ）を用いると、画像は、複数の要素（"ピクセル"）の複数のブロックに分割される。現在画像中の各ブロックＢは、参照画像における等しいサイズのブロックＢ０に基づいて予測される。現在画像中のＢの位置に対する参照画像中のブロックＢ０の位置（"オフセット"）は、典型的には、２つの座標を有する動きベクトルとして符号化される。これらの場合において動きベクトルは、複数のピクセルから成るブロックの推定されるｘおよびｙの動きの反対を示す。（具体的には、それは動きの反対を示す。何故ならば、動きはＢ０からＢへと向かうのに対し、動きベクトルはＢからＢ０へと向かう方向を指すからである。）エンコーダでは、１つのピクセル全体よりも小さな微細な動きも捉えることができるようにしたいので、動きベクトルは、典型的には、サブピクセルの精度を有する２つの整数座標を用いて符号化される（すなわち、１つのピクセルの分数、通常は、１ピクセルの１／４のステップでも動きを特定することができる）。ＭＰＥＧ系統のコーデックに従うと、複数のブロックは、予測されるブロックの位置へとシフトされる以外には変換されない。そして追加的な符号化された情報が、ブロックＢ０とブロックＢとの間の差分を示すことができる。
【０００６】
ビデオコード化に加えて、動き予測から恩恵を受けることのできる用途は他にも多く存在し、ロボット工学（高密度の動き場が、複数の物体を識別する、および／または、画像のｚオーダー、すなわち画像に関連し、深さを理解するｚマップを推定するのに役立つ）から、専門的な映画の撮影後／視覚効果にまでおよぶ。
【０００７】
それぞれの画像要素の動きを記述する正確な／高密度な動きマップを推定することは非常に複雑である。そのため、従来の動き予測技術は、動きを記述するために必要な計算の負荷と情報量との両者を制限することを試みている。最先端の技術は、通常、ブロックマッチング法か、あるいはオプティカルフロー法のどちらかに基づいている。
【０００８】
ブロックマッチング法（ビデオコード化のような、非常に速い処理と制限された量の動き情報とを要する用途に対して通常向けられている）においては、現在画像の小さな正方形の範囲が、参照画像中の同様なサイズの範囲と比較される。これは、サブピクセルの動き予測を可能とするために、いくつかの誤差基準を最小限にするオフセット動きベクトルが選択されるまで、通常オーバーサンプリングされる。
【０００９】
オプティカルフロー法（特殊効果およびビデオ編集のように、速度と動き情報の量とを犠牲にしてさえも正確な動きの記述を要する用途に対して通常向けられている）においては、多数の特徴を抽出するように画像が前処理され、その後、補間によってアルゴリズムが複数の特徴の正確な動きを識別し、高密度の動きマップ（つまり、各画像要素ごとに１つのオフセット動きベクトル）を算出することを試みる。
【００１０】
ブロック動き補償および整数座標（つまり、１つのピクセルの１／８番目というような、固定精度の座標）を用いるオフセット動きベクトルに基づいた公知の符号化技術には、本明細書に記載される新規な方法によって適切に対処される、いくつかの重大な欠点がある。第１に、移動物体の境界は複数のブロックによって不完全に記述され、残留データによって補正されなければならない（そうでないと、動き補償により得られる画像の表現を破損する）不自然な結果を生成する。第２に、所与のサブピクセル精度でオフセット座標を使用するには、通常、所与のサブピクセル解像度における参照画像のアップサンプリングされた表現（例えば、非常に高い解像度のバージョン）をバッファリングする必要がある。その結果、メモリの制限のために、非常に微細な動き（例えば、１つのピクセルの１／１２８であって、例えば、高いフレームレートのビデオ信号の場合、または、２度の回転を伴う１％のズームのような複雑な動きの場合には重要である）を捉えることが実現不可能となる。第３に、一貫した動きをする大きな物体（例えば、大きな背景）の場合、多重相関された（そして必ずしも同一でない）複数の動きベクトルを符号化して伝送する必要があるために、ある程度の無駄なビットレートが必要である。最後に、これらの周知の方法は、複数のブロックの並進移動によっては不完全に定義されてしまう、（例えば、回転、ズーム、視点の変化等のように）もっと複雑な動きに上手に対処することができない。
【００１１】
動きマップは、"補助マップ"（すなわち、信号に関連した補助情報のマップ）として我々が定義したもののまさに特定の例である。つまり、信号の所与の部分に対して（例えば、正確な／高密度の補助マップの場合には、信号のあらゆる平面要素に対して）、補助マップが、当該部分／要素に関連した適切な情報および／またはメタ情報を特定するという点においてである。限定するものではないが、信号は、音声信号、２Ｄ画像、３Ｄボリュメトリック画像、空間ベースの次元および時間ベースの次元の両者を含んだ３Ｄ信号、または、３次元よりも多くを特徴付ける信号でさえあり得る。ビデオ用の動きマップの場合、この補助情報は、画像の各部分の動きに関する情報、および、動きベクトルに関連した追加的なメタ情報（例えば、信頼水準、統計的精度等）に対応する。
【００１２】
動きマップに加えて、補助マップのその他の非限定的な例としては、（信号のあらゆる部分／要素に対して、場の深さ／観測者からの距離に関連した情報を与える）ｚマップ、（例えば、所与の動き範囲内に動きを有するように動くものに対して、静止しているものあるいは範囲の外部に動きを有するように動くものを区別するのに適した、高度に量子化された動き情報のように、信号のあらゆる部分／要素の動きに関する単純化された情報を与える）単純化された動き場、（例えば、医療用画像において、骨、軟組織、流体、金属等に属する平面要素間を区別するように、信号のあらゆる部分／要素に対して、それが属するクラスに関連する情報を与える）クラスマップ、といったものが挙げられる。
【００１３】
補助マップの極めて重要な特性の１つは、はっきりとした不連続点によって分離されたかなり均一な区域をそれらが提供することである。また、補間技術またはその他の標準的なアップサンプリング／ダウンサンプリング技術を利用してそれらの解像度を変更すること（例えば、より低解像度のものから出発して、より正確なマップを取得すること、あるいはその逆）は、しばしば不適切である。例えばビデオにおいては、異なるやり方で動いている２つの物体の間で推移している要素の動きを、２つの異なる動きを補間することにより算出された動きベクトルを用いて定義することは不適切であろう。これは、補間が、２つの動きのうちのどちらにも関係の無い動きをもたらすであろうという理由による。同様に、医療用画像においては、骨と軟組織との間で推移している要素の値を、２つの対応するクラスを補間することを用いて定義することは不適切であろう。これは、補間された値に対応するクラスが、そのような状況では意味を成さないであろうという理由による。
【発明の概要】
【００１４】
本明細書の複数の実施形態は、非限定的な例としてであるが、動き情報（例えば、時間ベースの信号における２つの隣接する画像間で生じる動き）のような補助情報を推定、符号化、および処理する方法、それ故に、動き予測、動き補償、信号符号化、信号品質の強化（例えばノイズ除去、超解像等）、信号補間（例えばフレームレートの増大）、特殊効果、コンピュータグラフィック、医療用画像、コンピュータビジョン、拡張現実感用途、等のような支援方法を改良することに向けられている。
【００１５】
本明細書の１つの実施形態は、（単一の要素から信号全体までの範囲に及ぶサイズと、任意に定義された連続的なおよび／または不連続な形状を有する）信号の任意の部分／区画（"動き領域"またはより広く言えば"補助領域"）に対してクラス情報を割り当て、その後、適切で補助的な記述情報（例えば、限定するものではないが、動きに関する記述情報）を各領域に割り当てることにより、信号の各要素に対して正確な補助情報を効果的に割り当てる方法を含む。これにより、当該領域の各要素に対して適切な補助情報を再構成することが可能になる。簡単にするために、本明細書に示される非限定的な複数の実施形態は、通常、（信号のあらゆる要素に対して動き情報を効果的に符号化、伝送、および復号化することを可能にする）動き情報および動き領域の使用事例について言及する。但し、この分野の当業者であれば、同じ方法がその他のタイプの補助情報（例えば、非限定的な例として、深さ情報／ｚオーダー情報、温度情報、組織タイプ情報、密度情報、放射能情報等）に対しても適用可能なことは容易に理解できるであろう。
【００１６】
非限定的な複数の実施形態の１つにおいては、動き領域は、２またはそれ以上の階層（tier）を含む段階的階層に符号化される。同じ著者達の他の出願中に記載される方法に従うと、そこでは、複数の階層のそれぞれが別個の品質レベルを有し、動き領域に関連したクラス情報が、より低いレベルから次に高いレベルへと継承される。この方法は復号化する段階を含み、その間に、最も低い品質レベルを有する階層の情報から出発する複数の再構成操作によって、動き領域が算出される。"階層"および"品質レベル"（または"ＬＯＱ"）という用語は、本出願の残りの部分においては互いに置き換え可能なように使用されるであろう。
【００１７】
簡単にするために、本明細書に示される非限定的な複数の実施形態は、時間の次元に沿って所与のサンプルレートで生じる一連の多次元サンプル（すなわち、１または複数の次元を有する複数のアレイとして編成された１または複数の要素の複数の組、例えば、非限定的な例としては、２次元画像として編成された複数のピクチャエレメントの組）としての信号について言及する。記載中の用語である"画像"または"平面"（"超平面"つまり任意の数の次元を有する複数の要素のアレイの最も広い意味で意図される）は、一連の複数のサンプルに沿った信号のサンプルのデジタル表現を識別するためにしばしば使用されるであろう。そこでは、それぞれの平面は、その複数の次元（例えば、ＸおよびＹ）のそれぞれに対して所与の解像度を有し、１または複数の"値"または"設定"（例えば、非限定的な例としては、適切な色空間内の色設定、密度レベルを示す設定、温度レベルを示す設定、音声ピッチを示す設定、振幅を示す設定、等）によって特徴付けられた一組の平面要素（または、"要素"または"ペル"、２次元画像に対してはしばしば"ピクセル"と呼ばれ、ボリュメトリック画像に対してはしばしば"ボクセル"と呼ばれる、等）を含む。各平面要素は、適切な座標の組によって識別される。
【００１８】
非限定的な例として、信号は、画像、音声信号、マルチチャネル音声信号、ビデオ信号、多視点ビデオ信号（例えば３Ｄビデオ）、ボリュメトリック信号（例えば、医療用画像、科学的画像、ホログラフィック画像、等）、ボリュメトリックビデオ信号、または、４つよりも多くの次元を有する信号でさえあり得る。
【００１９】
時間と共に展開し、また、１つのサンプルから次のサンプルへのある程度の動きを特徴付ける信号について、本明細書に説明される複数の実施形態は特に焦点を当てるであろう。つまり、複数のサンプルは時間と相関がある。また、非常に高いサンプルレート（例えばまた、１秒間に１，０００を越える画像であって、従来の動き予測法および動き補償法では、その動きは通常下手にしか記述されない）であっても、記載される複数の実施形態によって容易に対処される。
【００２０】
簡単にするために、本明細書に示される非限定的な複数の実施形態は、例えばビデオ信号のように、複数の設定の２Ｄ平面（例えば、適切な色空間内の２Ｄ画像）のシーケンスとして表示される信号についてしばしば言及する。しかしながら、同じ概念および方法もまた、任意のその他のタイプの時間ベースの信号（例えば、多視点ビデオ信号、３Ｄビデオ信号、３Ｄボリュメトリック信号のシーケンス、等）に対し、また、時間ベースではない多次元信号（例えば、同じ音声信号の音声チャネル、２次元ピクチャ、ボリュメトリック／ホログラフィック画像、プレノプティック画像等のシーケンス）に対して適用可能である。時間ベースではない信号の非限定的な例としてのＣＡＴスキャンまたはＭＲＩ（すなわち、時間ベースではない３次元信号）の一連の２次元の切り出し片は、１つの次元（すなわち、切り出し片がこれに沿って取り出された軸）に沿った一連の２次元のサンプルとして適切に表されることができ、（本明細書に説明される革新的な方法に従って、一定のサンプルレートまたは可変サンプルレートのどちらかを仮定することにより）これに沿って切り出し片が取り出された軸が、あたかも時間の次元であるかのように、本明細書に説明される方法に従って処理される。
【００２１】
本明細書に説明される複数の実施形態によって処理される補助情報は、２Ｄ補助情報の特定の使用事例（すなわち、複数の要素の複数の２次元平面に関連する補助情報）、具体的には、（例えば、１または複数の参照２Ｄ画像の動き補償に基づいて２Ｄ画像を再構成するための情報を与える）２Ｄ動き情報にしばしば言及する。しかし、同じ概念が、多次元信号を参照する任意のその他のタイプの補助情報にも当てはまる。非限定的な例として、本明細書に説明される新規な方法によって適切に処理されるその他のタイプの補助情報は、深さ、（例えば、参照ボリュメトリック画像の動き補償に基づいてボリュメトリック画像を再構成するための情報を与える）３次元動き情報等を示すｚオーダー情報を含む。既に述べたように、この分野の当業者であれば、動き情報について本明細書に説明されたアプローチおよび方法を、（例えば、"動き領域"の代わりに"補助領域"を利用すること等によって）その他のタイプの補助情報に容易に適用できる。
【００２２】
従来の方法においては、動き予測技術および動き補償技術が、時間と共に展開する同一信号の２つの異なるサンプル間で利用される。本明細書に記載される新規で非限定的な複数の実施形態のいくつかについては、空間と時間とは、切り離して考えられる完全に独立な次元ではない。空間と時間は、時空間と呼ばれる、より広い多次元空間における別個の次元に過ぎない。一連のＮ次元サンプル（例えば、一連の２次元画像）を単一の（Ｎ＋１）次元信号（例えば３次元画像）として表すことにより、本明細書に記載される複数の実施形態は、複数のサンプルにまたがった（すなわち、単に１つのサンプルから別のものへというのではない）相関性情報も効果的に利用しながら、（適切な複数の時空間処理操作によって）その時空間において信号を効果的に処理することができる。要するに、本明細書に記載される非限定的な複数の実施形態（特に、所与の画像の動き補償された予測を生成するために、複数の参照画像が動き補償されるようなもの）のいくつかは、全体として信号を操作して、複数の一時的なサンプルを参照する再構成データの複数の組を生成および処理する。
【００２３】
本明細書に示される非限定的実施形態においては、デコーダとして構成される信号プロセッサが、画像の任意の（連続的な、および／または、不連続な）一部分（"補助領域"）を特定する情報を受信する。１または複数の当該補助領域に関して、適切な記述情報（例えば、動き領域の場合の非限定的な例としては、動きベクトル、動きベクトルの動きマップ、動き行列、ズーム／回転／オフセットに関する情報に対応する複数のパラメータ、等）をデコーダが受信する。
【００２４】
本明細書に示される別な非限定的実施形態においては、エンコーダとして構成される信号プロセッサが、動き予測を実行し、１または複数の動き領域（任意で、信号の連続的または不連続な一部分）を識別する。非限定的な実施形態においては、一組のパラメータ（例えば、非限定的な例としては、得られる演算能力、目標とする符号化の待ち時間、目標とする圧縮効率、等）に基づいて、動き領域の最大の数をエンコーダが決定する。
【００２５】
本明細書に示される他の非限定的な複数の実施形態においては、動き情報に基づいて参照画像に動き補償操作を実行することで画像を生成するように信号プロセッサが構成される。この動き情報は、複数の動き領域およびそれぞれの動き領域の動きを特定する。非限定的な実施形態においては、参照画像とは異なる数の要素を有する画像を信号プロセッサが生成する。別の非限定的な実施形態においては、同一の要素が１よりも多くの動き領域に属することができる。
【００２６】
非限定的な例示的実施形態においては、信号プロセッサは、関連した動き情報を有する動き領域情報を受信および復号化し、信号の各平面要素（"ペル"）に対して、そのペルが属する複数の動き領域と、その領域および／またはペルに関連する動き情報とに基づいて、ペルに対する動き補償された複数の設定の算出をサポートするための動き補償情報を算出する。
【００２７】
本明細書に記載される他の非限定的な複数の実施形態は、同じ著者達の他の出願に記載される方法に従って継承ベースの段階的階層法を利用することにより、複数の動き領域および／またはその他のタイプの複数の補助領域（すなわち、任意のタイプおよび形状であって、不連続でもある多次元信号の複数の部分）を、復号化するように構成される信号プロセッサを含む。それぞれ所与の品質レベルにある再構成された信号のそれぞれの要素に対して、デコーダは、（所与の品質レベルにある予測される表現を生成する）より低い品質レベルから継承された情報と、付加的な再構成データ（例えば、当該予測される表現の複数の要素のいくつかと結合する残留データ）とに基づいて、所与の要素がどの領域に属するのかに対応するクラス情報を復号化する。ここで、各領域は、特定の特性を有する信号のある一部分を示す（例えば、非限定的な情報として、動き領域、色領域、深さ領域等を記述するために補助領域が使用され得るであろう）。非限定的な実施形態においては、クラス情報によって識別された各補助領域に対する複数の特性（例えば、非限定的な例として、動きについての情報、色設定についての情報、深さについての情報、ノイズについての情報等）を示す記述情報をデコーダが受信する。
【００２８】
より具体的には、本明細書に示される非限定的な複数の実施形態は、階層中においてその次に高い品質レベルにある補助領域マップを再構成するように構成されたデコーダのような信号プロセッサを含む。信号プロセッサは、階層中の第１の品質レベルにある信号を再構成するために、再構成データの第１の組を受信する。再構成データの第１の組は、第１の品質レベルにある信号の表現中に、親要素の属性設定を特定する符号（例えば、非限定的な例として、領域情報を示す適切な値）を含む。信号プロセッサは、より高い第２の品質レベルにある信号を再構成するために、親要素を複数の部分要素に分割する。そのようにする場合、信号プロセッサは、（第１の品質レベルにある）符号によって特定された親要素の属性設定を利用して、第２の品質レベルにある信号を再構成するための第２の組の再構成データが、それぞれの部分要素に対して異なる属性設定を特定しない場合、あるいは特定するまで、親要素が分割された１または複数の部分要素のそれぞれに対してデフォルトの属性設定を生成する。特定の組に属する符号（"終了符号"）が親要素に割り当てられる場合、親要素の属性設定が、その全ての部分要素およびその部分要素の部分要素によって、何の調整も必要無く（すなわち、継承した結果を何の残留データと結合させる必要も無く）、最も高い品質レベルまで継承される。従って、本明細書の複数の実施形態は、１または複数のより高い品質レベルにある補助領域マップを再構成する場合に、親の設定情報を再利用することを含む。１つの品質レベルから次の品質レベルへの設定情報の継承によって、この技術は、補助領域マップのどの要素がどの領域に属するのかを定義するために必要とされるデータの量を低減することができる。このように、非常に複雑な（および／または不連続な）表面または多次元形状に対しても、補助領域マップ中の複数の要素のそれぞれに対応する情報を符号化する必要無く、また、複数の補助領域の複数の境界のいずれに対する方程式（例えばスプライン方程式）を再構成する必要も無く、符号化／復号化する効率を増大させることができる。非限定的な実施形態においては、その次の品質レベルは、部分スケール係数に従って算出される。別の非限定的な実施形態においては、その次のレベルの異なる対は、異なるスケール係数を特徴付ける。
【００２９】
別の非限定的な例である実施形態に従うと、継承ベースの段階的階層法によって符号化された多次元形状が信号プロセッサによって受信および復号化され、続いて信号プロセッサは、レンダリングおよび視覚化エンジンとの関連においてそれらを利用する。このように、信号プロセッサは非常に複雑な形状も効率良く受信することができ、続いて、それらを表示装置に送信する前に、それらを適切にレンダリングすることができる。
【００３０】
非限定的な例の応用事例は、はっきりとした推移および相対的に均一な区域（例えば、非限定的な例として、ベクター・グラフィックス、地図製作データ、漫画／アニメ、文書、複雑な３Ｄ／ボリュメトリック表面モデル、相対的に均一な容積の組によって特徴付けられたボリュメトリックモデル、等）によって特徴付けられた複数の画像の描写を含む。そのような非限定的な例のいくつかにおいては、複数の補助領域が複数の色領域に効果的に対応する。
【００３１】
本明細書に示される非限定的実施形態においては、複数の動き補償操作を実行する場合、異なる複数の領域間の推移を滑らかにするように信号プロセッサは構成されており、１つの領域に対しては（適切な複数のパラメータに従って）所与の割合で、且つ他の領域に対しては相補的な割合で割り当てられる複数の平面要素を、"境界"（または"分離表面"）に近接して生成する（例えば、非限定的な例として、疑問の残る"中間的"動きベクトルの代わりに、複数の境界要素に対して２つの動きベクトルを割り当てる）。
【００３２】
動き領域の境界においては、隣接する複数の移動物体／領域間で生じる閉塞／非閉塞のために、不自然な結果が生じる。ある境界要素がどの動き領域に属するかを決定する際の不確定性および／または誤りに関連した不自然な結果を低減するために、非限定的な実施形態においては、動き補償を実行するように構成される信号プロセッサが、複数の境界にまたがって属する領域に関する情報を滑らかにする（すなわち、異なる複数の領域間の推移を滑らかにする）。非限定的な実施形態においては、領域に属する情報は、ブール数または個別のクラスによっては符号化されないが、分数値または浮動小数点値によって符号化される（例えば、それぞれの領域に属するものは、０と１との間の分数によって符号化される）。その他の非限定的な複数の実施形態においては、動き領域に属する情報は、平滑化情報を示す複数のパラメータ（例えば、非限定的な例としては複数のアルファ・ブレンディングパラメータ）によって強化される。非限定的な実施形態においては、動き領域の平滑化は、拡張フィルタリング操作と、これに続く飽和崩壊（saturated erosion）操作（すなわち、制限されたより低い範囲での崩壊）とを実行することによって得られる。別の非限定的な実施形態においては、デコーダは複数の領域間の境界に従い、接線の向きを算出した後に、接線と直交する方向における平滑化ブレンディングを実行する。
【００３３】
非限定的な実施形態においては、継承ベースの階層法に従って符号化され、複数の動き領域のそれぞれの動きに関する適切な情報と結合された複数の動き領域が、補助情報を効果的に符号化／復号化するために利用されて、多次元信号の動き補償を実行する。
【００３４】
別の非限定的な実施形態においては、参照画像の実際の解像度（すなわちサンプリンググリッド）によらず、参照画像のあらゆる任意の位置にアクセスするために、動き領域情報に少なくとも部分的に基づいて、また浮動小数点演算および／またはオンザフライでの再サンプリング操作を利用して、１つの画像の複数の要素に対して動き補償された複数の設定を、デコーダが再構成する。このようにして、それぞれの座標が任意の精度で（例えば、参照画像の座標系における整数とは対照的に、浮動小数点または高精度な固定小数点によってさえ）表されるような座標系を利用することが可能である。これにより、参照画像の解像度は、本質的に無限／連続的なものとして扱われる。このアプローチは極めて革新的である。何故ならば、すべての符号化および復号化する技術は、これまで常に、再構成された信号および複数の参照信号が有限の解像度を有し、複数の符号の離散的な範囲／組に含まれる１つの符号によってそれぞれの座標が特定されるという仮定に基づいてきたからである。
【００３５】
本明細書に記載されるその他の非限定的な複数の実施形態においては、複数の動き領域に関連する動きについての記述情報は、参照に対する各動き領域のズーム、回転およびオフセットに対応する複数のパラメータを含む。従来技術および従来の方法においては、ビデオコード化およびビデオ処理における動き予測および動き補償は、常に、（並進移動の方向と半径とを示す一組のパラメータ／座標を有する複数の動きベクトルによって通常は表される）並進移動に制限されてきた。これは、動き補償にとっては、限られた低品質のアプローチとなる傾向がある。実際のところ、物体は、可能な動きのもっとはるかに複雑な組に影響される。この複雑さを捉えるために、本明細書に記載される革新的な複数の実施形態は、複数のオフセット動きベクトル（すなわち、記述される動きのそれぞれごとに２つのパラメータ）よりもむしろ、複数の変換行列（すなわち、記述される動きのそれぞれごとに２よりも多くのパラメータ）を用いることによって動きをモデル化する。ズーム、回転、およびオフセットの組み合わせから成る動きは、いわゆるアフィン変換を用いて適切に記述され得る。その他の非限定的な複数の実施形態は、より高次の複数の動き行列および同次座標を用いることにより、複数の動き領域の透視変換（すなわち、視点の変化を含んだ動き）も記述する。
【００３６】
ビデオ圧縮の分野においてオフセット動きベクトルの代わりに変換行列を利用することは非常に革新的であり、本明細書に記載される複数の実施形態を従来の方法から特に区別するものである。例えば、複数の要素の座標は、整数または有限精度の分数による解像度よりも、（例えば、"無限大の解像度"または"連続的解像度"のアプローチさえ有する）有理数による解像度で表現されなくてはならない。従来技術の方法は、ペルの半分またはさらにもっと高い有限分数ペル座標（例えば、１ペルの１／４、１ペルの１／８、１ペルの１／１２、等）の概念をしばしば採用する。１つの実施形態においては、実際の整数画像解像度（すなわち画像のサンプルグリッド）より高い解像度で生じる動きを捉えることを目標としている。従来の動き補償方法は、実際のターゲット画像に対して、参照画像をスーパーサンプリングすること（例えば、１ピクセルの１／８までの動きを捉えるためにスケール係数８を有する）を必要とする。そのような最新式のアプローチは大きなメモリバッファを必要とし、（例えば、１ピクセルの１／１００、またはそれよりも小さい）極めて細かい精度を必要とする動きには不適当である。何故ならば、それは、決して使用されることのないであろうスーパーサンプリングされた参照画像において、大量のピクセルを算出することも必要とするであろうからである。１つの実施形態に従うと、本明細書に記載される新規なアプローチは、大きなメモリバッファを必要とせず、極めて速く、任意の精度での（例えば１ピクセルの１／１００またはそれより小さいものでさえ）動き補償操作を可能とする。
【００３７】
本明細書に記載される非限定的な複数の実施形態のいくつかは、複数の要素に対する分数座標（例えば、非限定的な例として、浮動小数点座標を用いることによる）、および複数の動き領域の動きを記述するために複数の変換行列を使用し、実際の動きを記述することにおける精度を著しく増大させる。非限定的実施形態は、非常に限られた計算コストで連続座標動き補償を有効に使うために、必要な計算を実行することにおいて、ゲームおよび３Ｄレンダリングに使用される最新のハードウェアを利用する。最新のハードウェアは、算出される要素に対して浮動座標を用いることにより、（例えば、オンザフライでの再サンプリングによって）オンザフライでの補間を実行することができる。分数座標およびオンザフライでの再サンプリングの利用に関連する複数の利点のうちの１つは、非常に微細な動きを表す可能性を持ちながら、同時に、エンコーダおよびデコーダ側の両者におけるメモリの利用を低減することである。動き予測および動き補償は、より高解像度で大きな複数の参照画像を生成する必要および格納する必要が全く無い、オンザフライで実行される複数の再サンプリング操作に頼っている。
【００３８】
動き補償が複数の動き行列に基づくもの（すなわち、単純な並進というよりももっと精微な動き）である場合、連続座標が非常に重要である。何故ならば、精微な動きは極めて微細なサブピクセル解像度を必要とすることが多く、参照画像をスーパーサンプリングする標準的な技術では達成できないからである（例えば、ズーム／拡散を有し、１％という小さなズームレベル（すなわち、０．０１での座標乗算）さえもが関連するような場合）。
【００３９】
動き行列は、単純なオフセット動きベクトルのために必要なパラメータの数に対して、より多くの数の動きを表すパラメータをデコーダへと送る必要がある。その結果、例えば一貫して動いている物体を表し、相対的に大きく且つ任意形状の複数の要素の複数のグループ（複数の"動き領域"）に対して複数の動き行列が適用される場合、それらを用いる恩恵はより大きくなる。
【００４０】
本明細書に示される非限定的実施形態においては、エンコーダとして構成される信号プロセッサが現在（ターゲット）画像および参照画像を受信し、動き予測を実行して、現在画像中の１または複数の動き領域（信号の任意の（連続的なまたは不連続な）部分）およびそれぞれの動き領域の動きに関する対応する記述情報を識別する。上記の動きは、連続座標系で表現される。非限定的な実施形態においては、一組のパラメータ（例えば非限定的な例としては、得られる演算能力、目標とする符号化の待ち時間、目標とする圧縮効率、等）に基づいて、動き領域の最大の数をエンコーダが決定する。
【００４１】
本明細書に示される別な非限定的実施形態においては、デコーダとして構成される信号プロセッサが動き領域情報（例えば動き領域マップ）を受信し、続いて、それぞれの動き領域にとって特徴的な動きを有する動きに関する記述情報を（例えば、非限定的実施形態としては、それぞれの動き領域に対する動き行列に対応する一組のパラメータを受信することによって）受信する。上記の動き領域マップおよびそれぞれの動き領域の動きに関する記述情報に少なくとも部分的に基づいて、ターゲット画像のそれぞれの要素に対し、動きベクトル、連続座標系で表現されている上記動きベクトルの座標を、（例えば、限定するものではないが、浮動小数点を用いて）デコーダが算出する。上記の複数の動きベクトルに基づいて、オンザフライでの再サンプリングによって、任意の複数の位置における複数の参照値が参照画像から引き出される。これは、複数の要素の固定されたグリッドおよび整数ベースの座標に基づいた従来のアプローチよりも高い精度を有する動き補償を可能とする。
【００４２】
さらに、より具体的な複数の実施形態に従うと、複数の補助領域が対応する複数の入力信号は、参照として本明細書に組み込まれる特許出願に説明された技術を利用した、階層ベースの階層符号化法を用いて符号化および復号化されてよい。
【００４３】
これらの、およびその他の実施形態の変形が以下においてより詳細に議論される。
【００４４】
本明細書の複数の実施形態は、ソフトウェアまたはハードウェアとして実施されてよく、あるいは、ソフトウェアとハードウェアとの組み合わせを用いて実施されてよく、また、本明細書に開示される方法的操作のいずれかまたは全てを実行するおよび／またはサポートするために、１または複数のコンピュータ化されたデバイス、ルータ、ネットワーク、ワークステーション、ハンドヘルドまたはラップトップコンピュータ、タブレット、携帯電話、ゲーム機、セットトップボックス、等の構成を含むことができる。言い換えると、１または複数のコンピュータ化されたデバイスまたはプロセッサは、様々な実施形態を実行するために、本明細書に説明されるように動作するようプログラムされることおよび／または構成されることができる。
【００４５】
上記にて説明した技術に加えて、本明細書のさらに他の複数の実施形態は、上記の通り要約され、また以下に詳細に開示される複数の段階および操作を実行するためのソフトウェアプログラムを含む。１つのそのような実施形態は、コンピュータ可読の、ハードウェアストレージリソース（すなわち、非一時的コンピュータ可読媒体）を有する。これは、そこに符号化されたコンピュータプログラムロジック、命令、等を含み、プロセッサおよび対応するメモリを有するコンピュータ化されたデバイスにおいて実行されると、本明細書に開示される複数の操作の任意のものを実行するようにプロセッサをプログラムする、および／または、プロセッサに実行させる。そうした機構はソフトウェア、コード、および／または、光学媒体（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、またはＢＬＵ−ＲＡＹ）、フラッシュメモリカード、フロッピー（登録商標）またはハードディスク、または、ファームウェア等のコンピュータ可読命令を格納することのできる任意のその他の媒体のようなコンピュータ可読媒体上に配置されるまたは符号化されるその他のデータ（例えばデータ構造）、あるいは１または複数のＲＯＭ、またはＲＡＭ、またはＰＲＯＭチップ中のマイクロコード、もしくは特定用途向け集積回路（ＡＳＩＣ）として提供されることができる。ソフトウェアまたはファームウェア、あるいはその他のそのような構成は、コンピュータ化されたデバイスにインストールされて、本明細書にて説明される技術を、コンピュータ化されたデバイスに実行させることができる。
【００４６】
本明細書の１または複数の実施形態は、そこに格納された複数の命令を有するコンピュータ可読記憶媒体および／またはシステムを含む。命令は、１または複数のコンピュータデバイスのコンピュータプロセッサハードウェアによって実行されると、コンピュータプロセッサハードウェアに以下の操作を実行させる。すなわち、少なくとも１つの補助領域、および記述補助情報の少なくとも１つの組を受信する段階。ここで上記補助領域は、複数の要素の組のうちの複数の要素のサブセットを示し、上記複数の要素のサブセットは上記補助領域に属する。記述補助情報の上記組のそれぞれは、１つの補助領域に対応する。そして、補助領域情報および複数の補助領域に対応する記述補助情報に少なくとも部分的に基づいて、与えられるサンプルのそれぞれの要素に対する補助情報を算出する段階である。
【００４７】
本明細書の１または複数の実施形態は、そこに格納された複数の命令を有するコンピュータ可読記憶媒体、および／または、システムを含む。命令は、１または複数のコンピュータデバイスのコンピュータプロセッサハードウェアによって実行されると、コンピュータプロセッサハードウェアに以下の操作を実行させる。すなわち、ある領域に属する信号の表現の複数の要素を特定する領域情報を受信する段階。上記領域に関連する動き情報を受信する段階。ここで上記動き情報は、当該領域中の複数の要素のそれぞれが、参照信号中の対応する要素のどれに関連するのかを示すように符号化される。当該領域中のそれぞれ個別の要素に対し、動き情報を利用して、参照信号中の対応する位置値を導出する段階。ここで、対応する位置値は、それぞれの要素が関連する参照信号中の位置を示す。
【００４８】
従って、本開示の１または複数の具体的な実施形態は、信号処理操作の支援用に、そこに格納された複数の命令を有するコンピュータ可読ハードウェア記憶媒体を含むコンピュータプログラム製品に向けられている。
【００４９】
複数の段階の順序は、明瞭化のために加えられたものである。これら複数の段階は、任意の適切な順序で実行されてよい。
【００５０】
本開示の他の複数の実施形態は、上記の通り要約されるとともに以下において詳細に開示される方法的実施形態の任意の段階、および複数の操作を実行するためのソフトウェアプログラム、ファームウェア、および／または、それぞれのハードウェアを含む。
【００５１】
また、本明細書に説明されるようなシステム、方法、装置、コンピュータ可読記憶媒体上の複数の命令等は、完全にソフトウェアプログラムとして、ソフトウェア、ファームウェア、および／またはハードウェアの混成物として、または、プロセッサ内、オペレーティングシステム内、またはソフトウェアアプリケーション内等のように単独のハードウェアとして具現化されることができることも理解されるべきである。
【００５２】
上記のように、本明細書の技術は、信号を処理するとともに符号化されたデータのビットストリームを生成する、もしくは、符号化されたデータのビットストリームを処理するとともに信号の表現を生成するソフトウェア、ファームウェア、および／または、ハードウェアアプリケーションでの使用にとても適している。しかしながら、本明細書の複数の実施形態はそのような用途での使用に限定されるものでないこと、および、本明細書で説明される複数の技術がその他の用途にも同じくとても適していることは留意されるべきである。
【００５３】
加えて、本明細書での様々な特徴、技術、構成等のそれぞれは、この開示の様々な位置にて説明されるであろうが、複数の概念のそれぞれが互いに独立に、または互いと組み合わせて実行できることが意図されていることに留意されたい。従って、本明細書に記載される１または複数の本発明、実施形態等は、多くの異なるやり方で具現化できる、および考えることができる。
【００５４】
また、本明細書の複数の実施形態のこの予備的な説明は、あらゆる実施形態および／または本開示もしくは請求される発明の追加的に新規な態様を特定するものでないことにも留意されたい。それよりもむしろ、この簡潔な記載は、一般的な複数の実施形態および従来の技術に対する新規性に対応する論点を単に示すのみである。本発明の付加的な詳細および／または可能な視点（変更）については、読者は、以下に更に説明される、本開示の発明を実施するための形態のセクションおよび対応する複数の図面へと向けられるであろう。
【図面の簡単な説明】
【００５５】
本発明の上記のおよびその他の目的、特徴、および利点は、添付の複数の図面中に説明されるように、以下に示す、本明細書の好ましい複数の実施形態のより具体的な記載から明らかになるであろう。図面中では、同様な参照符号は、様々な表示の全体にわたって同じ部分を参照するものである。図面は必ずしも原寸に比してはおらず、代わりに、複数の実施形態、原理、概念等を示す際に強調が置かれている。
【００５６】
【図１】本明細書の複数の実施形態に従った信号符号化および復号化のシステムを示す。
【図２Ａ】本明細書の複数の実施形態に従ったハイレベルのフローチャートを示す。
【図２Ｂ】本明細書の複数の実施形態に従ったハイレベルのフローチャートを示す。
【図３Ａ】動き予測および動き補償の目的である２つのサンプル画像を、本明細書の複数の実施形態に従ったエンコーダで生成された対応する情報と一緒に示す。
【図３Ｂ】図３Ａの２つの画像に適用される、本明細書に示される非限定的実施形態のハイレベルのフローチャートを示し、本明細書の複数の実施形態に従った様々な段階の間にデコーダによって生成された情報を示す。
【図４Ａ】本明細書に示される非限定的な複数の実施形態に従った動き補償を実施するブロック図を示す。
【図４Ｂ】本明細書に示される非限定的な複数の実施形態に従った動き補償を実施するブロック図を示す。
【図５Ａ】本明細書に示される非限定的な複数の実施形態のハイレベルのフローチャートおよびブロック図を示す。
【図５Ｂ】本明細書に示される非限定的な複数の実施形態のハイレベルのフローチャートおよびブロック図を示す。
【図６Ａ】本明細書に示される非限定的な複数の実施形態に従った、段階的階層中で符号化された複数の動き領域の利用についての非限定的な複数の実施形態を示す。
【図６Ｂ】本明細書に示される非限定的な複数の実施形態に従った、段階的階層中で符号化された複数の動き領域の利用についての非限定的な複数の実施形態を示す。
【図６Ｃ】本明細書に示される非限定的な複数の実施形態に従った、段階的階層中で符号化された複数の動き領域の利用についての非限定的な複数の実施形態を示す。
【図７】本明細書の複数の実施形態に従った、データ処理を提供するコンピュータシステムのブロック図を示す。
【図８】本明細書の複数の実施形態に従った、動き補償された画像中の座標に基づいて参照画像中の座標を生成することを示す例示的な図である。
【図９】本明細書の複数の実施形態に従った、ある領域中の複数の要素のそれぞれに対して、参照画像中の座標を生成することを示す例示的な図である。
【図１０】本明細書の複数の実施形態に従った、動き補償された画像中の複数の要素に対して複数の設定を生成することを示す例示的な図である。
【図１１】本明細書の複数の実施形態に従った、ある領域中の第１の表示要素の動き補償を示す例示的な図である。
【図１２】本明細書の複数の実施形態に従った、ある領域中の第２の表示要素の動き補償を示す例示的な図である。
【図１３】本明細書の複数の実施形態に従った方法を示す例示的な図である。
【図１４】本明細書の複数の実施形態に従った方法を示す例示的な図である。
【図１５】本明細書の複数の実施形態に従った、動きメッシュアクセスポイントの生成を示す例示的な図である。
【図１６】本明細書の複数の実施形態に従った、より低い品質レベルからより高い品質レベルへの、動きマップのアップサンプリングを示す例示的な図である。
【図１７】本明細書の複数の実施形態に従った、より低い品質レベルからより高い品質レベルへの、動きマップのアップサンプリングを示す例示的な図である。
【図１８】本明細書の複数の実施形態に従った、様々な動き領域を示す例示的な図である。
【発明を実施するための形態】
【００５７】
本明細書に説明される信号の複数のサンプルを再構成する方法は、限定するものではないが、音声信号、マルチチャネル音声信号、ピクチャ、画像、２次元画像、ビデオ信号、多視点ビデオ信号、３Ｄビデオ信号、ボリュメトリック信号、ボリュメトリックビデオ信号、医療用画像信号、４つよりも多くの次元を有する信号等を含む、あらゆるタイプの多次元信号のあらゆるタイプの補助情報に対して適している。
【００５８】
簡単にするために、記載に沿って説明される複数の実施形態は、動画像列を符号化および復号化することに対する動き補償操作の関連において使用される動き領域の使用事例、すなわち、適切な色空間（例えばＹＵＶ、ＲＧＢ、ＨＳＶ等）における一組の色設定によって特徴付けられるそれぞれの要素（そのような非限定的な例の場合には典型的には"ピクセル"と呼ばれる）を有する一連の２Ｄ画像（一般には"フレーム"またはインターレースされたビデオ信号の場合には"フィールド"と呼ばれる）から成る時間ベースの信号を通常採用する。異なる複数の色平面（例えば、輝度Ｙ平面および２つのクロミナンスＵおよびＶ平面）は、しばしば別個に、そしてまた（クロミナンス情報に対する人間の目のより低い感度のために）しばしば異なる解像度で符号化される。
【００５９】
その他の場合においては、補助情報が関連付けられている信号を一連のＮ次元サンプルとして表し、信号の完全な描写は（Ｎ＋１）次元信号であるということに言及するであろう。（例えば、もしも複数の次元のうちの１つが時間であれば、一連の空間表現を単一の時間−空間表現で表すことにこれは対応する。）これらは、本明細書に記載される革新的な方法を用いて処理され得る、複数の信号の可能な種類の非限定的な例とみなされるべきである。
【００６０】
ビデオ以外の信号については、この分野の当業者であれば、ビデオ信号の使用事例に対して記載されるアプローチを適切に採用することにより、本明細書に記載される方法を容易に適用することができる。非限定的な例においては、複数のサンプルは、２以外の異なる数の次元を持った複数の要素の超平面であることもできる（例えば、１次元サンプル、３次元サンプル等）。および／または、時間とは異なる次元に対して、時間の次元に関して本明細書において記載されたものに対応するアプローチを適用することも可能である。この分野の当業者であれば、本明細書に記載された動き領域および動き情報に関する複数の方法を、（非限定的な例としては、深さ情報、色クラス情報、組織クラス情報等のような）その他のタイプの補助情報にも容易に適用することもできる。
【００６１】
時間における信号のあらゆるサンプルは、超平面（あるいはもっと単純に、その最も広い意味において"１または複数の次元を有する１つのアレイとして編成される複数の要素の組"として意図される"平面"）によって表される。例えば、２Ｄ  ＨＤビデオフレーム、または３Ｄボリュメトリック医療用画像の両者は、複数の平面要素の複数のアレイによって表される（特に、ＨＤビデオフレームに対する複数の要素の２Ｄ平面、および、ボリュメトリック医療用画像に対する複数の要素の３次元超平面）。
【００６２】
本明細書にて説明される複数の方法および複数の実施形態は、お互いに、および／または、その他の方法と関連して使用されることができる。本明細書に説明される好ましい複数の実施形態の多くは、圧縮、すなわち最小量のビットで信号の適切な表現を符号化することの実現を目標に、技術およびアルゴリズムを記載する。これも１つの非限定的な例である。その他の非限定的な複数の実施形態は、堅固で効率の良いフィルタリング、画像ノイズ除去、信号スーパーサンプリング、機械視覚等のような異なる目的を実現する。
【００６３】
図１は本明細書に示される非限定的な複数の実施形態に従った、信号符号化および復号化のためのシステムを示す例示的な図である。
【００６４】
元の信号１００は、複数の画像１００−１、１００−２、…、１００−ｎを含み、エンコーダ１１０によって処理される。エンコーダ１１０は、デコーダ１３０によって受信および処理されるデータストリーム１２０を生成する。デコーダ１３０はデータストリーム１２０を処理して信号１４０を再構成する。ここで、再構成された信号１４０の再構成されたそれぞれの画像１４０−ｉは、元の信号１００の画像１００−ｉに対応する。再構成された信号１４０は、元の信号１００の正確な複製であることができるし、あるいは、元の信号１００の実質的に同様な表現であることができる。
【００６５】
図２Ａは、本明細書の複数の実施形態に従った、複数の動き領域に基づいて復号化する非限定的実施形態のハイレベルのフローチャートを示す。
【００６６】
ターゲット画像を再構成するために、ステップ２．０１において、デコーダ１３０が参照画像を受信する（必要であれば、適切な操作に従ってそれを復号化および再構成する）。
【００６７】
次にステップ２．０２において、デコーダ１３０が、複数の動き領域（すなわち、ターゲット画像のどの要素がどの動き領域に属するのかを示す情報）およびそれぞれの動き領域の動きに関する記述情報を受信する。各領域は、１または複数の移動物体のような、１または複数のエンティティを表すことができる。
【００６８】
この非限定的実施形態においては、複数の動き領域が"残留動き領域"、すなわち、参照画像に基づいて再構成されることのできない複数の要素を示す領域（例えば、それらがターゲット画像中に存在するが参照画像中には存在しない物体に属するので）を含んでよい。残留動き領域は、動きに関するその記述情報に割り当てられた特定の複数の値によって特徴付けられる。その他の非限定的な複数の実施形態においては、残留動き領域は、一連の動き領域中におけるその相対位置によって特徴付けられてよい。
【００６９】
ステップ２．０３において、参照画像、複数の動き領域、および動きに関する記述情報に少なくとも部分的に基づいて、デコーダ１３０がターゲット画像の予測される表現を生成する。そのような予測される表現は、動き領域情報に基づいて参照画像を動き補償することによって生成される。その名称が暗示するように、予測される表現は、再生されているそれぞれの信号の予備表現であることができる。
【００７０】
それぞれの与えられる動き領域のそれぞれの与えられる要素は、与えられる動き領域の動きに関する記述情報に従って、参照画像のある位置に対応する。ターゲット画像の各要素に対してデコーダ１３０は、参照画像の対応する位置を算出し、参照画像の複数の要素の複数の値に基づいて、その要素に対する動き補償された値を生成する。
【００７１】
残留動き領域（もしあるならば）に属する複数の要素に対しては、デフォルトの動き補償された値（"該当無し"値）をデコーダが設定する。
【００７２】
ステップ２．０４において、ターゲット画像の予測される表現を調整することを目指して、デコーダ１３０が残留データを受信および復号化する。全ての生成される信号が元の信号と実質的に同様または同一であるように、残留データは、信号の予備表現をどのようにして洗練するかを特定する。
【００７３】
ステップ２．０５において、デコーダ１３０が、ターゲット画像の予測される表現を残留データと結合し、ターゲット画像を再構成する。
【００７４】
上で示した複数のハイレベルのステップのうちの１または複数は、厳密に連続的であることなく、（本出願に説明されるハイレベルのフローチャートの全てに関する場合のように）同時に起きることができることに留意されたい。
【００７５】
図２Ｂは、本明細書の複数の実施形態に従った、複数の補助領域に基づいて補助情報を復号化する（すなわち、各要素に対する特定の補助情報を受信する必要無く、信号の各要素に対して補助情報を効率よく生成する）非限定的実施形態のハイレベルのフローチャートを示す。
【００７６】
ステップ２．１１において、デコーダ１３０は、複数の補助領域と、それぞれの補助領域に関する記述補助情報とを受信する。複数の補助領域および補助情報は、デコーダ１３０が処理している特定の信号を参照する。
【００７７】
ステップ２．１２において、受信された複数の補助領域および各補助領域に関する記述補助情報に少なくとも部分的に基づいて、デコーダ１３０が、複数の補助領域が参照する信号の各要素に関する補助情報を生成する。
【００７８】
図３Ａは、動き予測および動き補償の目的である２つのサンプル画像を、本明細書の複数の実施形態に従ったエンコーダ１００による符号化で生成された対応する情報と一緒に示す。
【００７９】
具体的には、お互いに対して相関のある２つの画像１００−１および１００−２を図は示す。複数の画像は複数の異なる画像平面を表すが、複数の画像のそれぞれにおける複数の物体を定義するために、同じ座標の組が使用される。限定するものではないが、画像１００−２は、一連の複数の画像の一部であって、画像１００−１に続くものであってよい。つまり、この２つの画像は、時間的に近接して捉えられたものであってよい。複数の画像１００は、結合されると、表示スクリーンに表示されるビデオデータであることができ、次々に表示スクリーン上に再生される。代替的に、同じ著者達の他の出願に記載される複数の方法に従って、画像１００−１は、１００−２を含む複数の画像に対する予測材料（predictor）としての役目を果たすために特に生成された画像であってさえもよい。
【００８０】
何故画像１００−１および１００−２が著しく相関しているのかの理由によらず、動き補償によってそれらの相関性がさらにもっと高められる。例えば、背景は反時計回りにわずかに回転し、画像１００−１中の物体３０１−１は動いて画像１００−２中の物体３０１−２になる。（ここで、この動きは右下への並進と、ズームの除去、すなわち物体３０１が、１つの画像から次の画像へと向かうに連れてより小さくなること、との両者を含む。）さらに示されるように、画像１００−１中には見えない物体３０２−２は、画像１００−２中で見えるようになり、画像１００−１中には存在しなかった。
【００８１】
本明細書の複数の実施形態に従った方法は、コンピュータプロセッサハードウェアを含むことができる。これは、画像１００−１（参照画像）および１００−２（ターゲット画像）から始めて、（例えば連続的または不連続でさえある）任意の複数の形状を有する複数の動き領域を用いてターゲット画像を符号化／復号化する。ここで、複数の形状は、画像１００−１および１００−２に基づいて選択される。
【００８２】
各動き領域の形状は任意であってよく、また、最新式の方法におけるもののように、複数の矩形ブロックに制限されるものでもないことに留意されたい。いくつかの状況においては、これによって、動き補償の効率および有効性を増大すること、複数の物体の境界により厳密に従うこと（例えば、移動物体の複数の境界に近接している複数の要素を"引き込む"ことを避ける）、ある画像のそれぞれの与えられる要素に関する動き情報をより効率よく伝送することができるであろう。言い換えると、複数の画像によって捉えられた現実の複数の物体は、複数の矩形ブロックでは上手く表されず、一般的には、特定の１つの形状だけに限定されない。
【００８３】
より具体的には、画像１００−１および１００−２を処理することにより、エンコーダ１００は、動き領域３１１−２（参照画像１００−１中の複数の要素を動き補償することにより効率よく予測されることのできる、画像１００−２の背景の一部分を表す）と、動き領域３１２−２（画像１００−１中の物体３０１−１を動き補償することにより効率よく予測されることのできる、画像１００−２の物体３０１−２を表す）と、３１３−２、３１４−２および３１５−２から成る不連続な残留動き領域（画像１００−１中には見えないので、その結果画像１００−１の複数の要素を動き補償することでは予測され得ない画像１００−２の複数の要素を表す）とを識別する。
【００８４】
さらなる複数の実施形態に従って、エンコーダ１００はまた、複数の動き領域に関連した記述情報３２０−２も生成する。非限定的な実施形態においては、そのような情報は、各動き領域に対するＺＲＯ（ズーム、回転、およびオフセット）動き行列と、残留動き領域に対するデフォルトパラメータ（"動きＮ／Ａ"、これは、動き領域が動かなかったことを意味するであろう動き無しとは異なるものであり、残留動き領域の複数の要素は、動き補償によっては適切に予測され得ないことを意味する）とを含む。
【００８５】
より具体的な例としては、動き領域３１２−２の動きに関する記述情報は、有限な複数の変換の組、すなわち並進、回転、ズーム、等によって、物体３０１−１を物体３０１−２に変換する試みによって算出され得る。この特定の例においては、物体３０１−１は、これを物体３０１−２と同じサイズにするためにスケール係数ｓによって乗算されることができる。物体３０１−２の適切な予測を得るために、物体３０１の中心は、軸ＸおよびＹに沿ってそれぞれ量ｔｘおよびｔｙ並進される。言い換えると、画像１００−２中でより小さくなることに加えて、物体３０１は、画像１００−１中の１つの位置から画像１００−２中の新たな位置へと動く。従って、動き領域３１２−２に対して割り当てられる動きに関する記述情報は、Ｘ軸に沿った並進パラメータであって量ｔｘを表すＴＸと、Ｙ軸に沿った並進パラメータであって、量ｔｙを表すＴＹと、ズームスケール係数ｓを表すスケール係数Ｓと、回転パラメータＲ（この例においては関連が無い、例えばこの例においては回転は無いので、ゼロに等しい、あるいは、実質的にゼロである）とを含む。限定するものではないが、そのような情報は、次の複数のパラメータによってまとめることができる。すなわち（ＴＸ，ＴＹ，Ｓ，Ｒ）である。より一般的なズーム−回転−オフセットの動きに対して動き情報は、均一座標におけるベクトル（ｘ，ｙ，１）、すなわちｗが１に正規化された（ｘ，ｙ，ｗ）に対して適用された次のアフィン変換行列の６つのパラメータによってまとめることができる。
2015522987.tif 000003
より広く言うと、上記のアフィン行列Ｍは、（異方性スケーリングを含む）スケーリング、回転、オフセット、および、シェアリングを表すことができる。
【００８６】
さらに他の非限定的な複数の実施形態においては、もっと一般的な動き変換が射影変換を用いて表される。すなわち、８つの関連する係数を有する３×３の行列であり、９番目の係数は１に正規化され、単一の変換スケーリング、回転、オフセット、シェアリングおよび視点の変化によって記述する。そのような変換のいくつかはそれぞれの変換に対して分割操作の必要があるので、非限定的実施形態は、（例えば、非限定的な例としては、１６ビットのみを用いる、またはシェーダー（shader）用に一般に使用されるアルゴリズムのいくつかを用いる）近似分割操作を使用する。
【００８７】
複数の動き領域の検出および複数の動き領域に関連する記述情報の生成は、適切な動き領域検出方法に従って実行されることができる。一般に、複数の画像の分析と、時系列にわたって１つの位置から別の位置へと動く代表的な複数の物体の識別とによって、複数の動き領域が識別され得る。
【００８８】
最後にエンコーダ１００は、動き領域をベースとした動き補償を参照画像１００−１に用いて取得されたターゲット画像１００−２の予測を調整するために、残留データ３３０−２を生成する。（動き補償された画像のように）動き補償によって得られる画像の予測される表現と組み合わされると、残留データの適用により、ターゲット画像１００−２の表現の完全な再構成が可能となる。
【００８９】
複数の動き領域は、いくつかの異なるやり方で記載され得る。非限定的な複数の実施形態のいくつかは、クラスマップ（すなわち、複数の色の離散的な組を有する画像）によって複数の動き領域を記述する。そこでは、それぞれのクラス値は１つの動き領域を識別する。その他の非限定的な複数の実施形態は、複数の動き領域を記述するために、複数の数式に基づいた複数の幾何プリミティブを用いたベクター・グラフィックス（円、楕円、多角形等の効率的な符号化および復号化を可能にする）によって複数の動き領域を表す。
【００９０】
上述の符号化方法を用いることで符号化された複数の画像を復号化する方法は、以下の段階を有する。
ａ．少なくとも１つの動き領域および動きに関する記述情報の１つの組を提供すること。
ｂ．第１の（参照）画像を提供すること。
ｃ．段階ｂの間に受信した第１の画像と、段階ａの間に受信した複数の動き領域および動きに関する記述情報とを用いて第２の（ターゲット）画像に対する予測を算出すること。
ｄ．（もし存在する場合）残留データを受信および復号化すること。
ｅ．第２の画像に対する予測を（もし存在する場合）残留データと結合し、第２の（ターゲット）画像の表現を取得すること。
【００９１】
またこの場合、これらの段階のうちの１または複数は、厳密に連続的ではなく同時に起きることができる。
【００９２】
その他の非限定的な複数の実施形態においては、動きに関する情報は、射影変換行列に対応する複数のパラメータを含む。さらにその他の非限定的な複数の実施形態においては、動きに関する情報は、幾何代数変換の複数のパラメータを含む（それ故に、さらにもっと複雑なタイプの動きを表す）。さらにその他の非限定的な複数の実施形態においては、各動き領域の動きに関する情報に加えて、エンコーダ１００はまた、各動き領域に関連するその他のメタ情報または補助情報も生成する。限定するものではないが、信頼水準（または動き補償によって生成された予測の精度）、動き領域に関連する複数のノイズパラメータ、この動き領域に属する複数の要素をより高い品質レベルで再構成するために使用する複数の操作を示す複数のパラメータ、この動き領域の優先度（例えば、ビットレート最適化経験則を駆動すること）、色情報、（例えば、動き補償された複数の要素の複数の値を調整するために使用する１または複数のパラメータを示す）明暗情報、等のようなものである。
【００９３】
非限定的な実施形態においては、１または複数の動き領域に関連したメタ情報は、深さマップを含むことができる。これは、動き領域の動きに関する記述情報が、動き領域の各要素の動きを生成するために利用される様式に影響を及ぼす。
【００９４】
さらなる非限定的実施形態は、画像全体（従ってデコーダへは伝送されない）を有する唯一の動き領域、および、動きに関する記述情報の唯一の組を生成する。そのような実施形態においては、（例えばズーム、回転、およびオフセットを表す）同じ変換行列を画像全体に対して適用することにより、動き補償が実現される。
【００９５】
別の非限定的実施形態は、ただ１つの動き領域（対応する動きに関する記述情報を有する）と、動き補償によっては適切に予測されない複数の要素を示す残留動き領域とを生成する。
【００９６】
その他の非限定的な複数の実施形態は、２次元（Ｘ，Ｙ）よりも大きな次元を有する複数の画像に対して、本明細書の複数の実施形態に従った符号化方法を適用する。
【００９７】
図３Ｂは、本明細書の複数の実施形態に従った、図３Ａで生成された情報を受信し、（元の画像１００−１に対応する）参照画像１４０−１に基づいて画像１００−２を再構成するデコーダ１３０の非限定的実施形態のハイレベルのフローチャートを示す。図３Ｂはまた、本明細書の複数の実施形態に従った処理の様々なステップの間にデコーダによって生成された情報を左側に示す。
【００９８】
第一に、ステップ２．０１においてデコーダ１３０はデータを受信して、参照画像１４０−１、すなわち、元の参照画像１００−１に対応する復号化された表現を再生する。
【００９９】
次いでステップ２．０２においてデコーダ１３０は、複数の動き領域３１０−２を定義する情報（ターゲット画像のどの要素が、どの動き領域に属するかをデコーダが正確に識別することを可能にさせる）、および、各動き領域の動きに関する記述情報３２０−２を受信する。
【０１００】
ステップ２．０３においてデコーダ１３０は、複数の動き領域３１０−２および記述情報３２０−２によって示されるように、参照画像１４０−１の選択された複数の部分に対して動き補償を適用することにより、ターゲット画像の予測される表現３４０−２を生成する。この例示的な実施形態においては、残留動き領域に属する複数の要素は、参照画像１４０−１に基づいて予測することが不可能なので、黒のままである。
【０１０１】
ステップ２．０４において、デコーダ１３０は残留データを復号化する。この非限定的な例において残留データは、残留動き領域に属する複数の要素に対してのみゼロとは異なる（すなわち、動き補償が正しい予測を与えた）。これは、単純化された例としてのみ考慮されなくてはならない。何故ならば、その他の場合にも、動き補償に基づいて予測された複数の要素が、残留データによって調整されなければならないこともあるからである。
【０１０２】
ステップ２．０５においてデコーダ１３０は、予測される表現３４０−２を残留データ３３０−２に結合させて、（元の画像１００−２に対応する）ターゲット画像１４０−２を生成する。
【０１０３】
またこの場合、１または複数のステップは、厳密に連続的でなく同時に起きることができる。
【０１０４】
図４Ａおよび４Ｂは、本明細書に示される非限定的な複数の実施形態に従って動き補償を実行する、２つのブロック図を示す。
【０１０５】
図４Ａは、本明細書の複数の実施形態に従った動き補償を用いて、ターゲット画像の予測（すなわち動き補償された画像）を生成するための上記の方法を実行する動き補償器４００を示す。
【０１０６】
ブロック４００は、複数の動き領域および動きに関する記述情報に対する入力４１０−０、…、４１０−ｎ、および４２０−０、…４２０−ｎの第１の組と、要素座標（すなわち、動き補償された画像のサンプルグリッドに従って、予測する特定の要素を識別すること）に対する第２の入力４３０と、参照画像に対する第３の入力４４０と、動き補償された要素に対する出力４５０とを有する情報を受信する。要素座標（ｘ，ｙ）４３０に基づいて、動き補償器４００は、要素が属する動き領域を識別する。そして、動きに関する対応する記述情報および要素座標４３０に少なくとも部分的に基づいて、動き補償された画像中の要素座標（ｘ，ｙ）４３０に対応する、参照画像４４０中の位置（ｘ１，ｙ１）を生成する。最後に、参照画像４４０および生成された位置（ｘ１，ｙ１）に基づいて、動き補償器４００は、動き補償された画像中の座標（ｘ，ｙ）にある特定の要素に対して、動き補償された複数の設定４５０（すなわち予測）を算出する。
【０１０７】
図４Ｂは、異なる動き補償の非限定的実施形態を示す。各動き領域のサイズおよび形状を示す別個の複数のデータ４１０−０、…、４１０−ｎの組を受信する代わりに、動き補償器４６０は、動き補償された画像の与えられる各要素が属する動き領域の表示を含む動き領域マップ４１０を、入力として受信する。
【０１０８】
動き補償された画像の与えられる各要素の座標（ｘ，ｙ）４３０のそれぞれの組に対して、動き領域マップ４１０は、与えられる要素が属する動き領域に関するクラス情報を提供する。図４Ａに説明されたものと同様に、動き補償器４６０は、動き補償された画像中の要素座標（ｘ，ｙ）４３０に対応する、参照画像４４０中の位置（ｘ１，ｙ１）を算出し、その結果、動き補償された複数の設定４５０（すなわち、動き補償された画像の座標（ｘ，ｙ）４３０に位置する要素に対して割り当てる複数の値）を生成する。
【０１０９】
非限定的な複数の実施形態のいくつかにおいては、動き補償された画像中の要素座標（ｘ，ｙ）に対応する参照画像４４０中の位置（ｘ１，ｙ１）は、参照画像４４０の座標系に対する分数座標（例えば、寄与ピクセル（subscriber-pixel）レベル）によって示される。（すなわち、参照画像４４０のサンプルグリッドにはよらない。）動き補償された複数の設定４５０は、オンザフライでの再サンプリングを用いて算出することができ、参照画像の実際の解像度によらずに、参照画像４４０のあらゆる任意の地点（ｘ１，ｙ１）の動き補償を効率よく実行する。連続座標を有する動き補償のそのような新規の方法は、同一の著者達によって出願された別個の特許出願に詳しい。
【０１１０】
非限定的な複数の実施形態のいくつかにおいては、本明細書に参照として含まれる同一著者達による他の出願にさらに記載される複数の方法に従って、継承を利用した階層ベースの階層法により、動き領域マップ４１０が復号化される。この方法は、第１の品質レベルにある動き領域マップの表現を復号化することと、第１の品質レベルにある上記動き領域マップに少なくとも部分的に基づいて、第２の品質レベルにある動き領域マップの予備表現を生成すること（第２の品質レベルは第１の品質レベルよりも高い）と、複数の調整値の組を復号化することと、第２の品質レベルにある動き領域マップの上記予備表現を上記複数の調整値と結合することと、第２の品質レベルにある動き領域マップの表現を生成することとを含む。
【０１１１】
その他の非限定的な複数の実施形態においては、本明細書に参照として含まれる同一著者達による他の出願にさらに記載される複数の方法に従って、継承を利用した階層ベースの階層法により、動き領域マップ４１０が復号化される。この方法は、第１の品質レベルにある動き領域マップを受信すること（ここで上記動き領域マップの複数の要素（"複数の親要素"）は、複数の符号の第１の組に属する符号（"終了符号"）または複数の符号の第２の組に属する符号（"非終了符号"）のどちらかが割り当てられる）と、第２の（より高い）品質レベルにある動き領域マップを生成すること（ここで、第１の品質レベルにある同一の親要素に対応する第２の品質レベルにある部分要素は、親要素と同一の符号（すなわち同一の動き領域情報）が割り当てられる（"継承する"））と、非終了符号が割り当てられた複数の部分要素に対してのみ、調整データ（"残留データ"）に基づいて割り当てられた符号を変更して、上記複数の部分要素の１または複数に割り当てられた動き領域を調整することとを含む。
【０１１２】
図５Ａおよび５Ｂは、複数の動き補償された参照画像に基づいて、複数のターゲット画像の予測を実行する非限定的な複数の実施形態のハイレベルのフローチャートおよびブロック図を示す。そのような複数の実施形態は、複数の連続した画像が互いに相関性を示すような複数の信号に対し、階層化された時間的な階層（すなわち、本出願と同一の著者達によって開発され、本明細書には記載されていない一組の方法）に従って信号が符号化される場合に、特に有用である。
【０１１３】
より具体的には、図５Ａは、本明細書の複数の実施形態に従って、デコーダとして（並びに、復号化する側で実行される計算をシミュレートし、データストリーム１２０中に含む適当な再構成データを生成するためにエンコーダ内で）構成される信号プロセッサ中で実施される方法の、ハイレベルのフローチャートを示す。
【０１１４】
ステップ５．０１においてデコーダ１３０は、複数の参照画像ＹＫ（ｔｎ）を受信する。ここでＫは階層である（例えば時間的な集合のレベルであって、より低いレベルは、より長い時間的な範囲を画像が参照することを示す）。また、ｔｎはサンプリング位置を示す（画像が参照する時間的な範囲の中心に位置する必要は無い）。
【０１１５】
ステップ５．０２において、複数の参照画像のそれぞれに対して、デコーダ１３０が動き領域情報および各動き領域の動きに関する記述情報を受信する。そのような情報（全ては、各参照画像のサンプリング位置とターゲット画像のサンプリング位置ｔｉとの間の動きに関連する）は、複数の参照画像ＹＫ（ｔｎ）のそれぞれに対して、デコーダ１３０が動き補償を実行することを効果的に可能にする。
【０１１６】
ステップ５．０３において、複数の参照画像のそれぞれに対し、デコーダ１３０は、本明細書の複数の実施形態に従って（すなわち、複数の動き領域、複数の動き領域のそれぞれの動きに関する記述情報、および参照画像に少なくとも部分的に基づいて）、動き補償された予測材料画像ＭＣ（ＹＫ（ｔｎ））を生成する。
【０１１７】
図５Ｂは、本明細書の複数の実施形態に従って、これが、それぞれのＭＣ（ＹＫ（ｔｉ））ごとに動き補償器ブロック５００−ｉを用いて実行されるような非限定的実施形態を示す。その他の非限定的実施形態は、複数のＭＣ（ＹＫ（ｔｉ））に対して同じ動き補償器ブロックを利用して、そのような操作のいくつかを並行というよりもむしろ連続して実行する。
【０１１８】
ステップ５．０４においてデコーダ１３０は、複数の動き補償された予測材料を（例えば非限定的な例としては、重み付き平均と）結合し、ターゲット画像の予測される表現ＵＫ＋１（ｔｉ）を生成する。図５Ｂは、本明細書の複数の実施形態に従った予測材料生成ブロック５５０によってこれが実行されるような、非限定的実施形態を示す。非限定的な実施形態において予測材料生成器５５０は、予測材料の重み付き平均に対して適用する特定の重みを受信する。
【０１１９】
ステップ５．０５においてデコーダ１３０は、（もしあるのならば）残留データを受信および復号化する。
【０１２０】
ステップ５．０６においてデコーダ１３０は、残留データを予測される表現ＵＫ＋１（ｔｉ）と結合し、ターゲット画像を生成する。
【０１２１】
また、この場合、１または複数のステップは、厳密に連続的ではなく同時に起きることができることに留意されたい。
【０１２２】
その他の非限定的な複数の実施形態においては、予測される複数の画像ＵＫ−１（ｔｉ）を生成するために同様な方法が使用される。すなわち、複数の参照画像ＹＫのより高いレベルというよりも、むしろより低いレベルでである。
【０１２３】
さらに他の非限定的な複数の実施形態においては、予測される複数の画像の解像度は、複数の参照画像の解像度とは（より高いかあるいはより低いかのどちらで）異なる。そのような非限定的な複数の実施形態のいくつかにおいては、レベルＫ＋１でアップサンプリングされ、動き補償された複数の表現（または、レベルＫ−１でダウンサンプリングされ、動き補償された複数の表現）を予測生成器５５０が結合するように、複数のアップサンプリングおよび／またはダウンサンプリング操作は、複数の動き補償操作と一緒に実行される。
【０１２４】
さらに他の非限定的な複数の実施形態においては、予測材料範囲の複数の表現ＹＫ（ｔ１）、…、ＹＫ（ｔｎ）は、動き補償される前に空間的な複数の次元に沿ってアップサンプリングされる、またはダウンサンプリングされる。
【０１２５】
図６Ａ、図６Ｂ、および図６Ｃは、本明細書の複数の実施形態に従って、段階的階層中で符号化された複数の動き領域を利用する非限定的な複数の実施形態を示す。（例えば、信号も段階的階層中で符号化される場合には特に有用である。）
【０１２６】
デコーダ１３０は、より低い品質レベルにある動き領域マップ６１０を受信する。動き領域マップ再構成器６００を用いて、デコーダ１３０は、適切な複数のアップサンプリング操作を介して動き領域マップ６１０をアップサンプリングし、より高い品質レベルにある動き領域マップの予測される表現を生成する。動き領域マップ再構成器６００は、次に、上記の予測される表現を、残余６２０に対応する残留データと結合し、これによって動き領域マップ４１０を生成する。次いでこの方法は、図４Ａおよび４Ｂにおいて説明されたものと同様に進む。
【０１２７】
図６Ｃは、動き領域マップ再構成器６００によって受信された付加的な支援情報を利用することにより、動き領域マップ６１０のアップサンプリングが実行される、非限定的実施形態のハイレベルのフローチャートを示す。非限定的な複数の実施形態のいくつかにおいては、上記の支援情報は、実行する複数のアップサンプリング操作を示す複数のパラメータを含む。
【０１２８】
非限定的な実施形態においては、上記の支援情報は、より高い品質レベルにある参照画像を含み、動き領域マップ６１０のアップサンプリングは、上記の参照画像に少なくとも部分的に基づいている（例えば、限定するものではないが、輝度画像の"複数の境界に従う"ことによって複数の動き領域がアップサンプリングされるような、両面的なアップサンプリング操作を実行することである）。
【０１２９】
いくつかの非限定的な複数の実施形態においては、動き領域マップは、複数の品質レベルを有する段階的階層中で符号化され、複数のアップサンプリング操作は、同一の著者達の他の出願に記載される複数の方法に従った継承方法を利用する。
【０１３０】
例えば、階層中の第１の（より低い）レベルにある動き領域マップは、親要素の属性設定を特定する符号（例えば、非限定的な例としては、任意のより高い品質レベルにおいて、与えられる動き領域に親要素が属すること、および、これが当該親要素の全ての部分要素に依然として当てはまるであろうことを示す適切な値）を含む。動き領域マップ再構成器６００は、親要素を複数の部分要素に分割して、より高い第２の品質レベルにある動きマップを再構成する。そのようにする場合、再構成器６００は、（第１の品質レベルの）符号によって特定される親要素の属性設定を利用して、同一の表示範囲に対して親要素が分割された１または複数の対応する部分要素に対して、デフォルトの属性設定を生成する。（親を複数の部分要素に分割することは、その範囲に対して、より高解像度の複数の画像要素を生成する。）この際、そのような複数の部分要素に対する残余情報を受信する必要が無い。（すなわち、残余６２０がそのような複数の部分要素に対する残余情報を含まない。）（より低解像度からより高解像度の表現へのアップサンプリング時のように）１つの品質レベルから次の品質レベルへの動き領域情報の継承のため、この技術は、領域マップ中で与えられる品質レベルにある複数の要素のそれぞれに対応する残余情報を符号化する必要無く、また、複数の領域の任意の複数の境界に対する複数の式（例えば複数のスプライン方程式）を再構成する必要無く、動き領域マップの複数の要素のどれがどの領域に属するのかを定義するために必要とされるデータ量を低減し、非常に複雑な（および／または不連続な）表面または多次元形状を効率的に符号化／復号化することができる。
【０１３１】
非限定的な実施形態においては、最も高い品質レベルのいくつか（例えば、限定するものではないが、最後の２つの品質レベル）に対して、動き領域マップ再構成器６００は、残余６２０を受信せず、動き領域マップ６１０をアップサンプリングすることが異なる複数の領域間での推移を滑らかにするように構成されている場合には、１つの領域に対しては与えられる割合で割り当てられ、その他の領域に対しては相補的な割合で割り当てられる複数の要素を、異なる複数の動き領域間の"複数の境界"に近接して生成する（例えば、非限定的な例としては、疑問のある"中間的な"動きベクトルの代わりに、複数の境界要素に対して２つの動きベクトルを割り当てる）。
【０１３２】
図７は、本明細書の複数の実施形態に従ったコンピュータ処理を提供するコンピュータシステム８００のブロック図である。
【０１３３】
コンピュータシステム８００は、パーソナルコンピュータ、処理回路、テレビ、再生デバイス、符号化デバイス、ワークステーション、ポータブルコンピューティングデバイス、携帯電話、タブレット、コンソール、ネットワーク端末、処理デバイス、ネットワークデバイス、スイッチとしての動作、ルータ、サーバ、クライアント、等のようなコンピュータ化されたデバイスであることができる、あるいは少なくともこれらを含むことができる。
【０１３４】
以下の説明は、以前に説明したような信号プロセッサに関連する機能をどのように実行するかを示す基本的な実施形態を提供するものであることに留意されたい。しかしながら、本明細書に記載される複数の操作を実行するための実際の構成は、それぞれの用途に応じて変化し得るものであることは留意されるべきである。
【０１３５】
示されるように、本実施例のコンピュータシステム８００は、デジタル情報が格納され、また読み出されることのできる、非一時的コンピュータ可読記憶媒体等のようなコンピュータ可読記憶媒体８１２との通信を提供する通信バス８１１を備える。
【０１３６】
コンピュータシステム８００は、プロセッサ８１３、Ｉ／Ｏインタフェース８１４、および通信インタフェース８１７をさらに備えることができる。
【０１３７】
１つの実施形態においては、Ｉ／Ｏインタフェース８１４は、レポジトリ１８０への接続を提供し、もしも存在する場合には、スクリーンディスプレイ、音声スピーカ、キーボード、コンピュータマウス等のような周辺機器８１６への接続を提供する。
【０１３８】
上記で簡単に述べたように、コンピュータ可読記憶媒体８１２は、メモリ、光学ストレージ、固体ストレージ、ハードドライブ、フロッピー（登録商標）ディスク等のような、任意の適切なデバイス、および／または、ハードウェアであってよい。１つの実施形態において記憶媒体８１２は、信号プロセッサアプリケーション８４０−１に関連した複数の命令を格納するように構成された非一時的な記憶媒体（すなわち、非搬送波媒体）である。複数の命令は、本明細書にて説明される複数の操作の任意のものを実行するために、プロセッサ８１３のような対応するリソースによって実行される。
【０１３９】
通信インタフェース８１７は、複数のリモートソースから情報を読み出すため、および、その他複数のコンピュータ、スイッチ、クライアント、サーバ等と通信するために、ネットワーク１９０を介してコンピュータシステム８００が通信することを可能にする。Ｉ／Ｏインタフェース８１４はまた、プロセッサ８１３が、格納された情報をレポジトリ１８０から読み出すことまたは読み出しを試みることを可能にする。
【０１４０】
示されるように、コンピュータ可読記憶媒体８１２は、処理８４０−２としてプロセッサ８１３によって実行される信号プロセッサアプリケーション８４０−１によって、符号化されることができる。
【０１４１】
コンピュータシステム８００は、データおよび／または複数の論理命令を格納するためのコンピュータ可読記憶媒体８１２を含むように具現化されることができることに留意されたい。
【０１４２】
信号プロセッサアプリケーション８４０−１に関連したコードは、本明細書に記載される複数の信号プロセッサの機能性、および／または、本明細書の複数の実施形態を実施するために必要なその他複数のリソースを実行することができる。
【０１４３】
１つの実施形態の操作の間、コンピュータ可読記憶媒体８１２に格納される信号プロセッサアプリケーション８４０−１の複数の命令を開始する、走らせる、実行する、解釈する、あるいはそうでなければ実施するために、通信バス８１１を介してプロセッサ８１３がコンピュータ可読記憶媒体８１２にアクセスする。信号プロセッサアプリケーション８４０−１の実行は、プロセッサ８１３に処理機能を生成する。言い換えると、プロセッサ８１３に関連した信号プロセッサ処理８４０−２は、コンピュータシステム８００のプロセッサ８１３内またはその上で信号プロセッサアプリケーション８４０−１を実行することの、１または複数の態様を表す。
【０１４４】
信号プロセッサアプリケーション８４０−１を実行するために、複数のハードウェア処理リソースの割り当ておよび使用を制御するオペレーティングシステムまたはその他のソフトウェアのような、その他の処理および／またはソフトウェアおよびハードウェアコンポーネントをコンピュータシステム８００が含むことができることは、この分野の当業者であれば理解するであろう。
【０１４５】
様々な実施形態に従うと、コンピュータシステムは、これらに限定するものではないが、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、記憶デバイスや、カメラ、カムコーダー、セットトップボックス、モバイルデバイス、スマートフォン、タブレット、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイスのような家庭用電子デバイス、スイッチ、モデム、ルータのような周辺機器、あるいは一般に、あらゆるタイプのコンピューティングデバイスまたは電子デバイスといったものを含む、様々なタイプのデバイスであってよい。
【０１４６】
図８は、本明細書の複数の実施形態に従った新座標算出器８６０の非限定的な実施形態を示した、参照画像中の参照位置の計算を記述する例示的な図である。
【０１４７】
均一座標変換器８００は、行き先画像中の要素の座標（ｘ，ｙ）４３０を受信し、それらを均一座標（ｘ，ｙ，１）８０１に変換する。１という値は、画像が２次元画像なのでただ１つの深さであるｚ座標を表す。行列算出器８０２は、動き２１０に関する（動き情報のような）記述情報を受信し、これを動き行列Ｍ８０３（例えば、参照画像に対する、領域の複数の動き属性を記述する動き情報）へと変換する。
【０１４８】
乗算器８０４は、均一座標８０１および動き行列８０３を受信し、そして変換された座標８１０を算出する。もしも動き行列Ｍ８０３がアフィン変換であった場合には、アフィン変換行列の複数の係数の特性のため、変換された座標８１０の第３の座標は既に１に等しいであろう。そうでなければ（例えば、行列Ｍが射影行列であった場合）、座標８１０を正規化する必要がある。均一座標変換器８３０は、（もしも必要な場合には）そのような正規化を実行して、均一座標（ｘ１，ｙ１，１）８３５を生成する。最後に、セレクタ８４０が、参照画像中の座標（ｘ１，ｙ１）８５０を生成する。
【０１４９】
行き先画像中の要素の座標（ｘ，ｙ）は、行き先画像のサンプルグリッドの要素を記述する（すなわち、これらはサンプルグリッドの整数の位置を記述する）。これに対し、分数を用いて表される座標（ｘ１，ｙ１）は、参照画像におけるあらゆる任意のオフグリッドの位置（限定するものではないが、参照画像におけるサンプルグリッドの複数の境界の外部の複数の位置を含む）を記述するものであってよい。行列Ｍ８０３の複数の係数は分数であってよく、新座標算出器８６０内で実行される複数の計算は、分数を用いた複数の計算（例えば、限定するものではないが、浮動小数点演算、または高精度固定小数点を用いた演算）を含む。
【０１５０】
本明細書にて説明されるように、座標算出器８６０は、再構成されている画像のそれぞれの領域におけるそれぞれの要素について、参照画像中の座標値を生成する。
【０１５１】
図９は、図４Ａに記載される複数の算出の非限定的な例である実施形態を示す。非限定的な例は、（ｘ，ｙ，１）を行列Ｍ倍に乗算すると、既に正規化された一組の座標（ｘ１，ｙ１，１）を生成するように、動き行列Ｍ８０３がアフィン変換に対応する場合を示す。
【０１５２】
非限定的な実施形態においては、要素９０５の座標４３０および行列８０３が、位置９１５の座標８５０が閾値を超えて参照画像の外部にある（例えば、限定するものではないが、隣接する２つの要素間の距離よりも大きい量の分、参照画像のサンプリンググリッドの外部にある）ような場合、要素９０５にデフォルト値（例えば"Ｎ／Ａ"値）が割り当てられる。しかし、要素９１５が参照画像の内側に位置するので、これは図に示される場合ではない。
【０１５３】
図９に示されるように、複数の要素９０３、９０４、９０５および９０６は、全て領域９７０の構成員である。これらの表示要素は参照画像１００−１中に捉えられた物体を表す。この例においては、複数の表示要素９０３、９０４、９０５および９０６によって表される物体は、参照画像１００−１によって捉えられた物体のより小さな表現である。よって、複数の表示要素９０３、９０４、９０５および９０６の互いに対する近さと比較して、生成された複数の座標９１３、９１４、９１５および９１６は、互いに対して広がっているように見える。
【０１５４】
行列８０３によって、コンピュータプロセッサハードウェアは、複数の表示要素９０４、９０５および９０６に関連した複数の位置座標９１４、９１５および９１６を識別する。この例においては、コンピュータプロセッサハードウェアは、表示要素９０４に対する座標９１４を生成し、コンピュータプロセッサハードウェアは、表示要素９０５に対する座標９１５を生成し、コンピュータプロセッサハードウェアは、表示要素９０６に対する座標９１６を生成する。同一の行列８０３によって、コンピュータプロセッサハードウェアはまた、表示要素９０３に関連した位置座標９１３を識別し、表示要素９０３に対する座標９１３を生成する。言い換えると、ある同じ動き領域に属する複数の要素は、参照画像中においてそれらに対応する位置の座標を生成するために、同一の動き行列を利用する。
【０１５５】
図１０は、非限定的実施形態に従った、オンザフライでの再サンプリング操作を記述する例示的な図である。
【０１５６】
座標（ｘ１，ｙ１）を有する位置９１５は、参照画像１００−１のサンプルグリッドのどの要素によっても記述されない。その結果、行き先画像９３０における対応する動き補償された要素に対し、容易に得られる値は無い。しかしながら、座標（ｘ１，ｙ１）に近接した適切な複数の要素の組（"予測材料"）を選択することにより、そして、適切な重み（例えば適切なフィルタリングカーネル）に従ってそれらの複数の値の重み付き平均を実行することにより、そのような値をオンザフライで算出することは可能である。図１０は、バイキュービックフィルタカーネルが使用される非限定的な例であって、その結果、位置（ｘ１，ｙ１）にある参照画像１００−１の値が、１６個の予測材料要素の重み付き平均を実行することによって算出されることを示す。
【０１５７】
再サンプリングを実行するために、再サンプリング器１０６０は、重み付き平均用に利用する１６個の予測材料を識別（すなわち、どこに"フィルタを位置させるか"）しなくてはならず、使用されるべき複数の特定の重みを算出しなくてはならない。（ｘ１，ｙ１）座標の整数成分は、どこにフィルタを位置させるかを示し、座標の分数成分は、フィルタ中のどの係数を使用すべきかを示す。
【０１５８】
フロア算出器１０００は、座標（ｘ１，ｙ１）８５０を受信し、座標（ｘ１，ｙ１）の複数の整数成分１００５を算出する。参照画像の左上の原点に基づいた座標の非限定的な例においては、整数座標１００５が、座標（ｘ１，ｙ１）の左上のサンプルグリッドに最も近い要素を識別する。予測材料のセレクタ１０１０は、参照画像１０４０、（もしも存在する場合には）参照画像に関するメタデータ１０４５、および（もしも存在する場合には）再サンプリング方法に関する情報１０５０を受信し、従って、ブロックの左上からの対角線中の第２の要素として座標１００５を有する要素を持った、参照画像の複数の要素から成る４×４ブロックを選択することによって、１６個の予測材料を選択することができる。１６個の予測材料のうちのいくつかに"Ｎ／Ａ"（該当無し値、例えば、それらが参照画像の複数の境界の外部にあるため）が割り当てられる場合、それらは複数の予測材料の組から除外され、値を持つ複数の予測材料のみが維持される。
【０１５９】
重み算出器１０２０は、座標（ｘ１，ｙ１）および複数の予測材料の座標を受信する。選択された再サンプリング方法（例えば、非限定的なこの例においては、バイキュービックフィルタリング）に基づいて、また、座標（ｘ１，ｙ１）の分数成分に基づいて（すなわち、位置（ｘ１，ｙ１）と整数座標１００５を有する要素との間の距離に基づいて）、重み算出器１０２０が各予測材料に適用する複数の重みを算出する。もしも１６個よりも少ない予測材料が選択されていた場合には、重み算出器１０２０は、理想的な４×４カーネルに対する適切な複数のバイキュービック重みを生成し、次いで、選択された複数の予測材料に対応する複数の係数のみを選択し、それらの和が１に等しくなるように、それら複数の係数を正規化する。
【０１６０】
最後に、乗算器１０３０は、複数の予測材料およびそれぞれの予測材料に適用する重みの両者を受信し、その結果、位置（ｘ１，ｙ１）における参照画像の再サンプリングされた値、すなわち行き先画像における座標（ｘ，ｙ）に対する複数の設定１０７０を算出する。
【０１６１】
非限定的な実施形態においては、フィルタの正確な複数の係数を特定の座標（ｘ１，ｙ１）に基づいてリアルタイムで生成する必要を避けるために、重み算出器１０２０を実行する信号プロセッサは、与えられる数の予め算出された複数の係数の複数の組（例えば非限定的な例においては、複数の係数の１２８個の組）を持った適切なルックアップテーブルにアクセスできるように構成され、これにより、特定の座標（ｘ１，ｙ１）の分数成分に最も近い複数の係数から成る２組のうちの複数の係数を補間する。
【０１６２】
非限定的な実施形態においては、参照画像に関するメタデータ１０４５は、動き補償前の参照画像１００−１に適用する複数の変更に関する情報を含む（例えば、限定するものではないが、明るさの変化を説明するために、画像の複数の値に適用するスケールパラメータ）。
【０１６３】
図１１は、本明細書の複数の実施形態に従って、補償された画像中の複数の画像要素のそれぞれに対する複数の設定を導出するための参照画像の使用を示す例示的な図である。
【０１６４】
より具体的には、示されるように、デコーダのようなコンピュータプロセッサハードウェアが、（参照画像のような）画像８４０の表現における複数の表示要素８１０（例えば、複数の表示要素８１０−１、８１０−２、８１０−３、…、８１０−１６）の、複数の設定を特定する設定情報を受信する。複数の表現は任意の数の要素を含むことができることに留意されたい。複数の要素の複数の設定は、色、クロミナンス、輝度等のような任意の適切なパラメータを含むことができる。
【０１６５】
画像８４０の表現における複数の表示要素の１または複数は、参照画像中に捉えられた物体の少なくとも一部分を表すことができる。画像８５０の表現は、参照画像中に捉えられた物体の一部分を含んだ、シーケンス中の別の画像を表すことができる。本明細書にて説明されるように、参照画像（画像８４０の表現）は、画像８５０の表現のような別の画像を再構成するための基準として使用されることができる。一連のビデオフレームまたは平面中の以前の画像の複数の設定を用いて後のビデオフレーム中での物体の表現を生成することは、元の信号を捉え、再構成するために必要とされるデータの量を低減する。
【０１６６】
この非限定的な例である実施形態においては、動き補償された画像のような画像８５０の表現は、複数の表示要素８２０（例えば、表示要素８２０−１、表示要素８２０−２、表示要素８２０−３、…、８２０−１６）を含む。以前に説明したように、画像８５０の表現は、参照画像中の複数の表示要素の複数の設定によって捉えられた物体の表現に少なくとも部分的に基づいて生成されることができる。
【０１６７】
信号８５０の表現の解像度は、参照信号（画像８４０の表現）の解像度と実質的に同じであってよいことに留意すべきである。さらなる複数の実施形態に従うと、信号８５０の表現の解像度は、画像８４０の表現の解像度とは実質的に異なることができる。
【０１６８】
この例示的な実施形態においては、表示要素８２０−５および表示要素８２０−９が動き領域を表すということを、それぞれの領域情報１１２０が示すことを仮定している。１つの画像は、複数の領域を含むことができる。各領域は、任意の数の表示要素を含むことができる。
【０１６９】
ある領域に、複数の表示要素のうちのいずれが含まれるべきであるかを特定するために、任意の適切な態様が使用されてよい。例えば１つの実施形態においては、領域情報１１２０が、その領域中で使用されるべき画像８５０の表現における複数の表示要素を個別に特定することができる。別の実施形態に従うと、領域情報１１２０は、領域の形状を定義する複数の幾何学的パラメータを含む。画像８５０の表現中の領域の定義された形状に基づいて、コンピュータプロセッサハードウェアは、その領域の複数の構成員を識別することができる。領域情報１１２０および動き情報１１３０は、画像８５０の表現を再生するための、コンピュータプロセッサハードウェアによって受信された符号化されたデータを表すので、ある領域を定義するために複数の幾何学的なパラメータを使用することは、それぞれの領域を記述するまたは定義するために必要なデータ量を低減するのに有用であろう。
【０１７０】
１つの実施形態においては、画像８５０の表現は、動き補償された画像である。複数の表示要素８２０の領域によって表される範囲は、実質的に矩形である。しかしながら、上記にて説明したように、ある領域は任意のサイズおよび形状であることができる。１つの実施形態においては、画像８５０の表現における複数の要素の領域によって表される動き補償された画像の範囲は、非矩形形状である。
【０１７１】
さらなる複数の実施形態に従うと、動き補償された画像中の領域は、複数の連続的な範囲、または、接触しない複数の表示要素の複数の島を含むことができる。例えば、領域情報１１２０によって特定されるような領域は、画像８５０の表現における複数の表示要素の第１の範囲、および、画像８５０の表現における複数の表示要素の第２の範囲を含むことおよび特定することができる。たとえ複数の表示要素の複数の範囲が１つの同一の領域を表すとしても、複数の表示要素の第１の範囲は、複数の表示要素の第２の範囲に対して不連続（非接触）であることができる。
【０１７２】
上述のように、再構成されている信号の表現は、複数の領域を含むことができる。１つの実施形態において第１の領域情報は、第１の領域の複数の構成員となっている、信号８５０の表現における複数の表示要素を定義する。第１の領域情報は、表示要素８２０−９のように、与えられる要素が第１の領域に存在することを示すことができる。コンピュータプロセッサハードウェアは、画像８５０の表現に関連した第２の領域情報を受信するように構成されることができる。第２の領域情報は、与えられる表示要素８２０−９が第２の領域に存在することを示す情報であることができる。従って、単一の表示要素が、ゼロ個、１個、またはそれ以上の複数の動き領域における、複数の構成員であることができる。
【０１７３】
この例においては、領域情報１１２０によって特定されるような動き領域（すなわち複数の表示要素８２０−５および８２０−９）は、動き情報１１３０が割り当てられていることを仮定している。動き情報１１３０は、領域中の各要素に対する位置情報をどのようにして導出するのかを示す情報を含む。例えば、１つの実施形態においては、画像８５０の表現のようなそれぞれの信号の表現を再生するために、コンピュータプロセッサハードウェアは領域情報１１２０を受信する。この例における領域情報１１２０は、ある領域に属する信号８５０の表現の複数の表示要素を特定する。上述のように、この例においては、領域は表示要素８２０−５および表示要素８２０−９を含む。
【０１７４】
コンピュータプロセッサハードウェアはまた、領域に関連する動き情報１１３０も受信する。非限定的な例としては、（画像８４０の表現のような）参照信号中の対応する位置および／または複数の要素のどれに、その領域中の複数の要素のそれぞれが関連するのかを示すために、動き情報が符号化される。
【０１７５】
その領域中のそれぞれ各表示要素に対して、コンピュータプロセッサハードウェアは、画像８４０の表現（例えば参照信号）中の対応する位置値を導出するための基準として、動き情報１１３０を利用する。対応する位置値は、それぞれの要素が関連する参照信号中の位置を示す。従って、動き情報１１３０は、コンピュータプロセッサハードウェアが、その領域中の各表示要素を、参照画像中の対応する位置にマップすることを可能にする。
【０１７６】
この例においては、動き情報１１３０は、領域に対する複数の係数の組を含む。コンピュータプロセッサハードウェアは、動き情報１１３０を利用して、図９における行列Ｍ（８０３）に対する複数の係数ａ、ｂ、ｃ、ｄ、ｅ、およびｆを生成する。複数の値Ｘ１およびＹ１（図８中の複数の値４３０）は、画像８５０の表現中の表示要素８２０−９の座標を表す。表示要素８２０−９が関連する（画像８４０の表現中の）正確な位置を生成するために、コンピュータプロセッサハードウェアは、行列Ｍによって座標［Ｘ１  Ｙ１  １］を乗算して、ｘ１およびｙ１を生成する。［Ｘ１  Ｙ１  １］は、画像８５０の表現における表示要素８２０−９の座標位置を表す。表示要素８２０−９に関連する画像８４０（または参照画像１１０−１）の表現における位置は、複数の値ｘ１、ｙ１によって表される。図１１に示されるように、表示要素８２０−９は、参照画像中の複数の要素のグリッドに対してオフグリッドの位置に起きる。
【０１７７】
図１２は、ある領域中の表示要素８２０−５を、参照画像（画像８４０の表現）中の対応する位置にマッピングすることを示す例示的な図である。この例においては、上述のように、コンピュータプロセッサハードウェアは、行列Ｍ（８０３）に対する複数の係数ａ、ｂ、ｃ、ｄ、ｅ、およびｆを既に生成している。複数の値Ｘ２およびＹ２（４３０）は、画像８５０の表現中の表示要素８２０−５の座標を表す。表示要素８２０−５が関連する（画像８４０の表現中の）正確な位置を生成するために、コンピュータプロセッサハードウェアは、行列Ｍによって座標［Ｘ２  Ｙ２  １］を乗算して、ｘ２およびｙ２を生成する。［Ｘ２  Ｙ２  １］は、画像８５０の表現における表示要素８２０−５の座標位置を表す。表示要素８２０−９に関連する画像８４０（または参照画像１１０−１）の表現における位置は、複数の値ｘ２、ｙ２によって表される。図１２に示されるように、表示要素８２０−５は、参照画像中の複数の要素のグリッドに対してオフグリッドの位置に起きる。
【０１７８】
従って、動き情報１１２０を利用して、それぞれの表示要素に対して対応する位置値を導出することは、以下の事項を含む。すなわち、画像８５０の表現におけるそれぞれの要素に対する座標（ｘおよびｙ）を取得すること。ここで座標は、画像８５０（信号）の表現におけるそれぞれの要素の位置を特定する。そして、動き情報１１３０によって、それぞれの要素の座標と複数の係数値との線形結合を１または複数実行して、画像８４０の表現における対応する位置情報を生成すること、である。上述の通り、［ｘ１，ｙ１］、［ｘ２，ｙ２］等のような対応する位置情報は、（画像８５０の表現中の）それぞれの要素が関連する参照信号における座標を特定する。
【０１７９】
１つの実施形態においてコンピュータプロセッサハードウェアは、参照信号における部分要素精度を特定することができるように、十分な高解像度を有するべき複数の位置値を生成する。図１１および図１２に示されるこの例においては、位置情報［ｘ１，ｙ１］、［ｘ２，ｙ２］は、寄与ピクセル解像度を示す。言い換えると、表示要素８２０−９および８２０−５は、画像８４０の表現におけるそれぞれの表示要素上に直接は起きずに、その代わり、分数量分だけオフセットされる。
【０１８０】
さらなる複数の実施形態においては、領域中のそれぞれ各要素に対して、コンピュータプロセッサハードウェアは、それぞれの要素８２０−９、８２０−５に対する［ｘ１，ｙ１］、［ｘ２，ｙ２］のような位置値を利用して、画像８４０（すなわち参照信号）の表現における複数の要素の対応するグループを選択する。図１１に示されるように、コンピュータプロセッサハードウェアは、複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５を、表示要素８２０−９に関連した１つのグループとして選択する。図１２に示されるように、コンピュータプロセッサハードウェアは、複数の表示要素８１０−１、８１０−２、８１０−５および８１０−６を、表示要素８２０−５に関連した１つのグループとして選択する。
【０１８１】
コンピュータプロセッサハードウェアは、任意の適切な基準に基づいて、それぞれのグループを選択することができる。例えば、１つの実施形態においてコンピュータプロセッサハードウェアは、位置［ｘ１，ｙ１］に対しての、画像８４０の表現中の対応する複数の表示要素の近さに基づいて、表示要素８２０−９に関連した画像８４０の表現中の複数の表示要素のグループを選択する。コンピュータプロセッサハードウェアは、位置［ｘ２，ｙ２］に対しての、画像８４０の表現中の対応する複数の表示要素の近さに基づいて、表示要素８２０−５に関連した画像８４０の表現中の複数の表示要素のグループを選択する。
【０１８２】
動き情報１１３０は、領域中の１つの表示要素に対する設定を生成するために、画像の表現中の複数の表示要素のどれが使用されるべきかを識別するために使用されるべき複数の基準または複数の規則を示す、さらなる情報を含むことができる。よって、非限定的な例としては、動き情報１１３０は、領域中のそれぞれの表示要素に対して、領域中の複数の表示要素に対する複数の設定を再生するために使用されるべき参照画像中の複数の表示要素の１つのグループを、効率よく特定することができる。
【０１８３】
１つの実施形態においてコンピュータプロセッサハードウェアは、対応するグループ中の複数の要素の複数の設定に基づいて、領域中のそれぞれ各表示要素８２０に対する設定を算出する。例えば、表示要素８２０−９に対する設定を生成することを促進するため、コンピュータプロセッサハードウェアは、複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５の複数の設定を取得する。コンピュータプロセッサハードウェアは、次いで、これら複数の表示要素の複数の設定に基づいて、領域中の表示要素８２０−９に対する設定を算出する。
【０１８４】
表示要素８２０−５に対する設定を生成することを促進するため、コンピュータプロセッサハードウェアは、複数の表示要素８１０−１、８１０−２、８１０−５、および８１０−６の複数の設定を取得する。コンピュータプロセッサハードウェアは、次いで、これら複数の表示要素の複数の設定に基づいて、領域中の表示要素８２０−５に対する設定を算出する。
【０１８５】
１つの実施形態においては、画像８５０（例えば、参照画像に対する２次画像）の表現の領域における複数の表示要素は、物体の表現を表す。参照画像中の複数の表示要素のグループは、その物体の表現を表す。動き情報１１３０は、参照画像中のある位置から２次画像（例えば、参照画像に少なくとも部分的に基づいて再生されている画像）中のある位置への、その物体の動きを捉える。
【０１８６】
本明細書にて説明されるような動き情報１１３０または複数の係数の組は、物体の動きに関連した複数の動きパラメータに対応する。例えば、動き情報１１３０は、参照画像（画像８４０の表現）中の物体の表現に対して、２次画像（画像８５０の表現）中の物体の表現の並進を捉える並進パラメータを含むことができる。動き情報１１３０は、参照画像中の物体の表現に対して、２次画像中の物体の表現の回転を捉える回転パラメータを含むことができる。動き情報１１３０は、参照画像中の物体の表現に対して、２次画像中の物体の表現のスケーリングを捉える（ズームインおよびズームアウトに関する）１または複数のスケーリングパラメータを含むことができる。動き情報１１３０は、参照画像中の物体の表現に対して、２次画像中の物体の表現のシェアリングを捉えるシェアリングパラメータを含むことができる。動き情報１１３０は、参照画像中の物体の表現に対して、２次画像中の物体の表現の透視変換を捉える透視パラメータを含むことができる。などである。これらの複数のパラメータのうち、任意の１または複数が、１つの平面から別の平面への物体に関連する動きを記述するために使用されてよい。
【０１８７】
１つの実施形態において動き情報１１３０は、物体が表示スクリーンを横切って横方向に動くように見えるような、複数の要素の１つの平面内の１つの位置から、続く平面内の別の位置への物体の並進を表すオフセット調整情報を含む。上述のように、コンピュータプロセッサハードウェアは、動き情報１１３０を利用して、ある領域中の複数の要素のそれぞれに対して、対応する位置値を導出する。複数の表示要素に対して位置情報を生成することは、第１に、それぞれの要素に対する座標を取得することを含むことができる。上述のように、領域中の表示要素の座標は、信号８５０の表現中のそれぞれの要素の位置を特定することができる。コンピュータプロセッサハードウェアは、（行列８０３の複数の係数の組における係数ａおよび係数ｄによって符号化された）オフセット調整情報を表示要素座標に適用して、画像８４０の表現中のそれぞれの要素に対して、対応する位置情報を生成する。１つの実施形態においては、対応する位置情報（または生成された座標）は、オフセット調整情報によって特定される量だけ座標に対してオフセットされた位置を示す。よって、領域情報１１２０は、表示スクリーン上に表示されるように、第１の平面内の１つの位置から、第２の平面内の第２の位置への物体の動きを捉えることができる。
【０１８８】
動き情報１１３０は、回転調整情報を含むことができる。例えば、動き情報１１３０は、第１の平面内の１つの位置から第２の平面内の別の位置への物体の回転を表す画像回転情報を含む。１つの実施形態においてコンピュータプロセッサハードウェアは、動き情報を利用して、ある領域中のそれぞれ各要素に対して、対応する位置値を導出する。複数の表示要素に対して回転情報を生成することは、第１に、それぞれの要素に対する座標を取得することを含むことができる。座標は、信号の表現中のそれぞれの要素の位置を特定する。コンピュータプロセッサハードウェアは、（行列８０３中の複数の係数の組によって符号化された）回転調整情報を座標に適用して、複数の要素のそれぞれに対して、対応する位置情報を生成する。対応する位置情報は、回転調整情報によって特定される量分の座標の回転を捉える。
【０１８９】
さらなる複数の実施形態に従うと、動き情報１１３０は、信号の表現の領域における複数の要素が、参照信号中の複数の表示要素の対応するグループから、どのようにスケーリングされるかを示す。（１つの画像から次の画像へ行くと物体がより大きくまたはより小さく見えるようなズームをサポートするため。）
【０１９０】
いくつかの事例においては、画像８５０の表現中の複数の表示要素は、移動物体を表す動き領域内には起きなくてもよい。そのような複数の表示要素に対する位置値には、参照信号の外部に位置する対応する要素を動き情報が示す場合、または、動き情報にデフォルト値が割り当てられる場合には、デフォルト値が割り当てられてよい。
【０１９１】
この例においては、動きベクトル８６０は、表示要素８２０−９が関連する画像８４０の表現中の正確な位置を特定する。本明細書の複数の実施形態に従うと、複数の要素から成るブロックに対する部分要素または分数要素での動き補償に適応させるために（従来の方法のように）画像８４０の表現を超高解像度画像へとアップサンプリングすることの代わりとして、本明細書の複数の実施形態は、画像８４０の比較的低い品質レベルまたは低い解像度の表現に基づいて、表示要素８２０−９に対する設定を導出することを含む。
【０１９２】
具体的な例として、コンピュータプロセッサハードウェアは、画像８５０の表現中の表示要素８２０−９に対する動き補償情報および／またはその他のメタデータもしくは再構成データを受信する。画像８５０の表現は、画像８４０（参照画像）の表現中の複数の表示要素の複数の設定に少なくとも部分的に基づいて生成されている画像を表す。受信された動き補償情報は、表示要素８２０−９が関連する画像８４０の表現中の表示要素８１０−１１内の座標位置を示す。表示要素８２０−９に対する複数の設定を再構成するための受信された再構成データは、１または複数の参照画像のどれが、並びに、各参照画像内の１または複数の位置のどれが、表示要素に対するそれぞれの設定を再構成するための基準として使用されるべきであるかを特定することができる。簡単な例示的実施形態においては、動き補償情報は、表示要素８２０−９に対する複数の設定を決定するための基準として使用する、単一の参照画像内での位置を示す。
【０１９３】
１つの実施形態においてコンピュータプロセッサハードウェアは、受信した補償情報を（表示要素８２０−９に割り当てられた）動きベクトル８６０へと変換し、要素８２０−９が関連する画像８４０（グリッド）の表現におけるオフグリッドの位置を特定する。画像８４０の表現中の単一の表示要素上のみに直接は起きないので、表示要素８２０−９の位置は、画像８４０の表現においてオフグリッドにある。この例示的な実施形態においては、動きベクトル８６０によって特定される画像要素８２０−９の位置は、画像８４０の表現中の複数の表示要素８１０−６、８１０−７、８１０−１０および８１０−１１と少なくとも部分的に重なる。
【０１９４】
コンピュータプロセッサハードウェアは、動きベクトル８６０によって特定される座標位置を、画像８４０の表現中の複数の表示要素のグループをそこから選択するための基準として利用する。例えば、この例示的な実施形態においては、近接パラメータまはたその他の適切なパラメータのため、複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５を、表示要素８２０−９に対する１または複数の設定をそこから生成するための複数の適切な近くの要素として、コンピュータプロセッサハードウェアが選択することを仮定している。選択された複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２、および８１０−１５のそのような複数の設定に基づいて、コンピュータプロセッサハードウェアは、表示要素８２０−９に対する複数の設定を生成する。
【０１９５】
１つの実施形態においては、あたかも動きベクトル８６０によって特定された分数のオフセット位置に表示要素８２０−９が位置されたかのように、コンピュータプロセッサハードウェアが、画像８４０の表現に基づいて表示要素８２０−９に対する設定情報を算出する。例えば、動きベクトル８６０によって特定される表示要素８２０−９の中心軌跡は、表示要素８１０−１１の中心軌跡に正確には位置が合わない。本明細書の複数の実施形態は、選択されたグループ中の複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５の複数の設定に基づいて、第２の画像中の表示要素８２０−９に対する設定を生成することを含む。
【０１９６】
多数のアルゴリズムのうち任意の適切なアルゴリズムが、複数の表示要素の選択されたグループに基づいて、表示要素８２０−９に対する設定を導出するために使用され得ることに留意されたい。例えば、この例においては、表示要素８２０−９に関連する受信された再構成情報は、上述のように複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５を含むべきグループを生成するための特定のアルゴリズムを使用するよう、コンピュータプロセッサハードウェアに示すことを仮定している。
【０１９７】
特定されたアルゴリズムに従って、コンピュータプロセッサハードウェアは、特定の表示要素８１０−１１における（動きベクトル８６０によって特定される表示要素８２０−９の中心軌跡の）座標位置に対するグループ中の複数の表示要素の複数の距離に少なくとも部分的に基づいて、表示要素８２０−９についての設定を算出する。
【０１９８】
例えば、ラインＬ１の長さは、（表示要素８１０−６の中心において個別の符号ｘによって描写される）表示要素８１０−６の中心軌跡（すなわち中心）と、（動きベクトル８６０によって特定され、且つ表示要素８２０−９内のドットによって描写される）表示要素８２０−９の中心軌跡との間の距離を表す。ラインＬ２の長さは、（表示要素８１０−７の中心において個別の符号ｘによって描写される）表示要素８１０−７の中心軌跡と、（動きベクトル８６０によって特定され、且つ表示要素８２０−９内のドットによって描写される）表示要素８２０−９の中心軌跡との間の距離を表す。ラインＬ３の長さは、（表示要素８１０−１２の中心において個別の符号ｘによって描写される）表示要素８１０−１２の中心軌跡と、表示要素８２０−９の中心軌跡との間の距離を表す。ラインＬ４の長さは、（表示要素８１０−１１の中心において個別の符号ｘによって描写される）表示要素８１０−１１の中心軌跡と、表示要素８２０−９の中心軌跡との間の距離を表す。ラインＬ５の長さは、（表示要素８１０−１５の中心において個別の符号ｘによって描写される）表示要素８１０−１５の中心軌跡と、表示要素８２０−９の中心軌跡との間の距離を表す。ラインＬ６の長さは、（表示要素８１０−１０の中心において個別の符号ｘによって描写される）表示要素８１０−１０の中心軌跡と、表示要素８２０−９の中心軌跡との間の距離を表す。
【０１９９】
上述の通り、コンピュータプロセッサハードウェアは、表示設定のような値を、任意の適切な態様で生成するように構成されることができる。例えばアルゴリズムは、表示要素８２０−９に対する設定を、近くの複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２、および８１０−１５に関連する複数の設定の平均を算出することに基づいて生成するよう構成されてよい。例えば、表示要素８１０−６は値２４に設定され、表示要素８１０−７は値６０に設定され、表示要素８１０−１０は値２２８に設定され、表示要素８１０−１１は値−１２３に設定され、表示要素８１０−１２は値−４１に設定され、そして表示要素８１０−１５は値２に設定されることを仮定している。これら複数の値の平均は２５である。従って、この事例においては、表示要素８２０−９に対して値２５をアルゴリズムが割り当てる。
【０２００】
さらなる複数の実施形態に従うと、アルゴリズムは、選択されたグループ内の複数の表示要素のそれぞれに対する複数の重みを生成するように構成されることができる。例えば、表示要素８２０−９に対する複数の設定を生成するための選択されたアルゴリズムは、複数のラインＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、およびＬ６のそれぞれの長さを算出し、ラインの長さに応じて、それぞれの表示要素に対する対応する重みを生成するように構成されることができる。表示要素８２０−９に対して算出された設定が、より遠くにある複数の要素よりも、より近くにある複数の要素の設定に基づいて、より重く重み付けされるように、ラインが短くなると、それぞれの重みの大きさがより大きくなる。具体的な例としては、ラインＬ１の長さは７ユニットであってよく、ラインＬ２の長さは５ユニットであってよく、ラインＬ３の長さは６ユニットであってよく、ラインＬ４の長さは１ユニットであってよく、ラインＬ５の長さは６ユニットであってよく、ラインＬ７の長さは４ユニットであってよい。複数の長さに基づいて、ラインＬ１に対するＷ１を０．０５３にアルゴリズムは設定し、ラインＬ２に対するＷ２を０．１５７にアルゴリズムは設定し、ラインＬ３に対するＷ３を０．１０５にアルゴリズムは設定し、ラインＬ４に対するＷ４を０．３６８にアルゴリズムは設定し、ラインＬ５に対するＷ５を０．１０５にアルゴリズムは設定し、ラインＬ６に対するＷ６を０．２１にアルゴリズムは設定する。複数の重みの和は１に等しくできる。複数の重みに基づいて表示要素８２０−９に対する設定を算出するために、アルゴリズムは、表示要素８２０−９の値を以下のように生成する。
Ｖａｌｕｅ＝（Ｗ１×Ｓ１）＋（Ｗ２×Ｓ２）＋（Ｗ３×Ｓ３）＋（Ｗ４×Ｓ４）＋（Ｗ５×Ｓ５）＋（Ｗ６×Ｓ６）；ここで、
Ｓ１＝表示要素８１０−６の設定＝２４、
Ｓ２＝表示要素８１０−７の設定＝６０、
Ｓ３＝表示要素８１０−１０の設定＝２２８、
Ｓ４＝表示要素８１０−１１の設定＝−１２３、
Ｓ５＝表示要素８１０−１２の設定＝−４１、
Ｓ６＝表示要素８１０−１５の設定＝２、
である。
【０２０１】
Ｖａｌｕｅ＝（０．０５３×２４）＋（０．１５７×６０）＋（０．１０５×２２８）＋（０．３６８×（−１２３））＋（０．１０５×（−４１））＋（０．２１×２）＝−１４．２
この例示的な事例においては、表示要素８２０−９の設定に対して値−１４．２をアルゴリズムが割り当てる。
【０２０２】
その他の非限定的な複数の実施形態においては、複数の重み値は、グループの重み付けされた複数の要素からその位置までの距離に基づいた適切な複数の再サンプリングカーネル（例えば、限定するものではないが、バイリニアカーネル、バイキュービックカーネル、ランチョス（Ｌａｎｃｚｏｓ）カーネル等）に基づいて選択される。
【０２０３】
従って、本明細書の複数の実施形態は、領域中の表示要素８２０−９のような第１の要素を選択することと、動き情報１１３０を利用して第１の表示要素８２０−９に対して参照信号（信号８５０の表現）中の位置を算出することと、基準として位置ｘ１、ｙ１を利用して参照信号中の複数の要素の第１の組（例えば、複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５）を識別することと、参照信号を処理して第１の組における複数の要素の複数の設定（例えば、対応する複数の値Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、およびＳ６）を取得することと、複数の重み付けされた値（例えば、対応する複数の値Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５、およびＷ６）を生成することと、第１の組中の複数の要素の複数の設定に対して複数の重み付けされた値を適用することであって、複数の重み付けされた値の大きさは、第１の要素の参照信号中の位置までの、第１の組中の複数の要素の近接度合に応じていることと、複数の表示要素８１０−６、８１０−７、８１０−１０、８１０−１１、８１０−１２および８１０−１５の複数の重み付けされた設定（例えば、Ｗ１×Ｓ１、Ｗ２×Ｓ２、Ｗ３×Ｓ３、Ｗ４×Ｓ４、Ｗ５×Ｓ５、およびＷ６×Ｓ６）の総和を求めることに基づいて、領域中の表示要素８２０−９に対する設定を算出することと、を含むことができる。
【０２０４】
同様にして、コンピュータプロセッサハードウェアは、領域中のそれぞれの構成員に対する値を生成する。
【０２０５】
画像８５０の表現を生成することに続いて、コンピュータプロセッサハードウェアは、残留データを適用して、元の信号のもっと正確な描写へと画像８５０の表現を洗練することができる。例えば、１つの実施形態においてコンピュータプロセッサハードウェアは、領域情報１１２０および動き情報１１３０によって特定されるように参照信号（例えば画像８４０の表現）に少なくとも部分的に基づいて、信号８５０の表現を再生する。コンピュータプロセッサハードウェアは（残留データのような）再構成データを受信し、元の信号の再生された表現中の複数の表示要素に適用されるべき複数の調整を特定する。コンピュータプロセッサハードウェアは、再構成データによって特定された信号の再生された表現中の複数の表示要素のうちの１または複数に対して、（残留データによって特定された）複数の調整を適用して、信号の再生された表現を洗練する。例としてコンピュータプロセッサハードウェアは、表示要素８２０−９に対して導出された設定を、＋５ユニット分変更することを示す再構成データを受信することができる。上記で説明したように、コンピュータプロセッサハードウェアは、表示要素８２０−９に対して、−１４．２というような初期値を生成してよい。この例においては、コンピュータプロセッサハードウェアは、−１４．２に＋５ユニットを加えて、表示要素８２０−９に対して−９．２という値を生成する。このようにして、コンピュータプロセッサハードウェアは、画像８５０の表現中の複数の表示要素のどれに対しても改良を行うことができる。
【０２０６】
従って、本明細書の複数の実施形態は、動きベクトル８６０によって特定される与えられる表示要素の中心軌跡と、参照画像中のグループにおける要素のそれぞれの中心軌跡との間のそれぞれの距離に応じて変化する複数の重み付けされた値を生成すること、および、グループ中の複数の表示要素の複数の設定に対して複数の重み付けされた値を適用して、表示要素８２０−９に対する設定を生成すること、を含むことができる。よって、動きベクトルの無制限な、または実質的に高い精度を仮定すると、本明細書の複数の実施形態は、１つの画像平面から次の画像平面への複数の物体の分数的な複数の動きに基づいて、複数の画像を再構成することができる。言い換えると、一連の複数のビデオフレーム中の参照画像は、物体の描写を含んでもよい。（より低いまたは中程度の解像度の）参照画像は、次のフレームにおける移動物体の分数的に変位された描写を生成するための基準として使用されることができる。言い換えると、続くフレームは、参照フレーム中の移動物体の表現を、１つのピクセル全体よりも小さな分で、またはサブピクセルレベルで、１つのフレームから次のフレームへと移動されたものとして含むことができる。
【０２０７】
上記で説明したように、動きベクトル８６０は、画像８４０の表現における表示要素８１０−１１の中心以外の座標位置を特定することができる。動きベクトル８６０は、対応する表示要素８２０−９が、画像８４０の表現内のあらゆる位置を参照することを可能にするような、任意の適切な解像度であることができる。従って、動きベクトル８６０は、参照画像のような画像８４０の表現における各要素またはセル内のあらゆる位置を指すオフセット値またはベクトルであることができる。
【０２０８】
１つの実施形態においては、動きベクトル８６０によって特定される画像８４０の表現中の（表示要素８２０−９の中心軌跡の位置のような）特定の座標位置は、ゼロよりも大きいが１よりは小さい分数値のように、１つの表示要素またはピクセルの分数値の分だけ、表示要素８１０−１１の中心軌跡に対してオフセットされることができる。上述のように、画像８５０の表現は、参照画像中の物体の描写だが、参照画像に対して１つのピクセル全体よりも小さな分だけ変位されたものを含むことができる。
【０２０９】
示されるように、参照画像のような画像８４０の表現の解像度は、画像８５０（例えば、参照画像に少なくとも部分的に基づいてレンダリングされている画像）の表現の解像度に実質的に等しくなることができる。
【０２１０】
さらなる複数の実施形態に従うと、画像８４０の表現の解像度は、画像８５０の表現の解像度とは異なることができることに留意されたい。例えば、１つの実施形態においては、第１の画像８４０の表現の解像度は、第２の画像８５０の表現の解像度とは実質的に異なることができる。
【０２１１】
従って、動きベクトル８６０によって特定される座標位置は、画像８４０の表現のような第１の画像中の複数の表示要素のグループをそこから選択するための基準として使用されることができる。上述のように、コンピュータプロセッサハードウェアは、画像８４０の表現中の表示要素８１０−１１および１または複数のその他の表示要素を含むべく、複数の表示要素のグループを作るように構成することができる。１または複数のその他の表示要素は、特定の表示要素８１０−１１の近傍に位置される。
【０２１２】
１つの非限定的な例示的実施形態においては、コンピュータプロセッサハードウェアは、ｉ）特定の表示要素８１０−１１の中心軌跡と、特定の表示要素８１０−１１の近傍にある表示要素８１０−７のような少なくとも１つのその他の表示要素の中心軌跡とに対する（動きベクトル８６０によって特定される）座標位置の近接度、ｉｉ）特定の表示要素８１０−１１の設定、およびｉｉｉ）特定の表示要素８１０−１１の近傍に位置する表示要素８１０−７の設定、に少なくとも部分的に基づいて、表示要素８２０−９の設定を補間する。
【０２１３】
画像８５０の表現に基づいて画像８５０の表現を導出するために、補償された画像中の複数の要素のそれぞれに対して動き補償の処理が適用されてよいことに留意されたい。例えば、本明細書の複数の実施形態は、画像８５０の表現中の複数の表示要素のそれぞれに対して、各動きベクトルを生成することを含む。以前に説明したように、画像８５０の表現を再生するコンピュータプロセッサハードウェアは、画像８５０の表現中の対応する表示要素に関連したそれぞれの動きベクトルを利用して、対応する表示要素が関連する画像８４０の表現中の具体的な位置を識別する。次いでコンピュータプロセッサハードウェアは、動きベクトル８６０によって特定される具体的な位置を、参照画像中の隣接する複数の表示要素を識別し、対応する表示要素に対する設定を生成するために、基準として使用する。
【０２１４】
さらなる複数の実施形態に従うと、信号８４０の表現は、そこから画像８５０の表現が少なくとも部分的に導出される画像であることができる。領域情報１１２０は第１の領域情報であってよい。動き情報１１３０は第１の動き情報であってよい。コンピュータプロセッサハードウェアは、第２の参照画像に基づいて第２の画像をどのように再生するかを特定する第２の領域情報および第２の動き情報を受信するように構成することができる。第２の領域情報および第２の動き情報に従って、コンピュータプロセッサハードウェアは、第２の参照画像に少なくとも部分的に基づいて、第２の画像の表現を再生する。次いでコンピュータプロセッサハードウェアは、複数の参照画像として第１の画像および第２の画像を用いて、第３の画像の表現を生成する。従って、任意の数の画像から成る１つの組が、１または複数の参照画像から導出され得る。付加的な１または複数の画像が、その組の中の１または複数の画像から導出され得る。
【０２１５】
いくつかの事例においては、与えられる１つの表示要素が複数の領域に含まれることができる。例えば領域情報は、与えられる１つの要素が、第１の領域および第２の領域の両方に存在することを示すことができる。第１の領域は、１つの画像から次の画像へと一方向に動いている窓のような物体を表すことができる。これに対して窓の反射は、１つの画像から次の画像へと異なる方向に動いている物体を表すことができる。従って、本明細書の複数の実施形態は、第１の領域に１または複数の要素が存在することを示す第１の領域情報を受信すること、および、第２の領域に１または複数の要素が存在することを示す第２の領域情報を受信すること、を含むことができる。
【０２１６】
ここからは、様々なリソースによってサポートされる機能が、図１３−１４のフローチャートによって説明されるであろう。以下のフローチャート中の複数のステップは、任意の適切な順序で実行され得ることに留意されたい。
【０２１７】
図１３は、複数の実施形態に従った例示的な方法を示すフローチャート１３００である。上記にて説明した複数の概念に対して、いくらか重なりがあるであろうことに留意されたい。
【０２１８】
処理ブロック１３１０において、（デコーダ処理ハードウェアまたは任意のその他の適切なリソースのような）コンピュータプロセッサハードウェアは、少なくとも１つの補助領域を受信する。この補助領域は、複数の要素の組のうちの複数の要素のサブセットを示し、複数の要素のサブセットは上記の補助領域に属する。また、少なくとも一組の記述補助情報を受信する。記述補助情報の組のそれぞれは、１つの補助領域に対応する。
【０２１９】
処理ブロック１３２０において、複数の補助領域に対応する補助領域情報および記述補助情報に少なくとも部分的に基づいて、コンピュータプロセッサハードウェアが、与えられるサンプルの各要素に対する補助情報を算出する。
【０２２０】
図１４は、複数の実施形態に従った例示的な方法を示すフローチャート１４００である。上記にて説明した複数の概念に対して、いくらか重なりがあるであろうことに留意されたい。
【０２２１】
処理ブロック１４１０においてコンピュータプロセッサハードウェア（または任意のその他の適切なリソース）は、ある領域に属する信号の表現において複数の要素を特定する領域情報を受信する。
【０２２２】
処理ブロック１４２０においてコンピュータプロセッサハードウェアは、この領域に関連した記述情報を受信する。この領域中の複数の要素に関連する情報を示すように、記述情報は符号化される。
【０２２３】
処理ブロック１４３０において、この領域のそれぞれ各要素に対し、コンピュータプロセッサハードウェアは、記述情報を利用して対応する値を導出する。対応する値は、各要素に関連する情報を示す。
【０２２４】
図１５は、本明細書の複数の実施形態に従った動きマップの生成を示す例示的な図である。
【０２２５】
１つの実施形態においてコンピュータプロセッサハードウェアは、領域情報１１２０−１を最初に受信する。コンピュータプロセッサハードウェアは領域情報１１２０−１を使用して、（第１の解像度のような）第１の品質レベルにある動きマップ１５１５の表現を生成する。上述のように、動きマップ１５１５−０の表現は、再生されるべき画像中の対応する複数の要素のどれが、それぞれの動き領域に属するかを特定することができる。
【０２２６】
この例示的な実施形態においてコンピュータプロセッサハードウェアは、動きマップ１５１５−０の表現を、（より高解像度のような）次に高い品質レベルにある動きマップ１５１５−１Ｐの予備表現へとアップサンプリングする。コンピュータプロセッサハードウェアは、残留データ領域情報１１２０−２（例えば調整データ）を動きマップ１５１５−１Ｐの表現に適用して、動きマップ１５１５−１ＡＤＪの調整された表現を生成する。動きマップ１５１５−１ＡＤＪの表現は、信号の表現中の複数の要素のどれが、その品質レベルに対する各領域のどれに属するかを特定する。
【０２２７】
コンピュータプロセッサハードウェアは、動きマップ１５１５−１ＡＤＪの表現を、（より高解像度のような）次に高い品質レベルにある動きマップ１５１５−２Ｐの予備表現へとアップサンプリングする。コンピュータプロセッサハードウェアは、残留データ領域情報１１２０−３（例えば調整データ）を動きマップ１５１５−２Ｐの表現に適用して、動きマップ１５１５−２ＡＤＪの調整された表現を生成する。動きマップ１５１５−２ＡＤＪの表現は、信号の表現中の複数の要素のどれが、各領域のどれに属するかを特定する。
【０２２８】
コンピュータプロセッサハードウェアは、この処理を繰り返して、複数の品質レベルにある複数の動きマップを作るように構成されることができる。
【０２２９】
図１６は、本明細書の複数の実施形態に従った、より低い品質レベルからより高い品質レベルへの動きマップのアップサンプリングを示す例示的な図である。
【０２３０】
示されるように、動きマップ１５１５は、複数の要素１５１０−１、１５１０−２および１５１０−３が全て領域Ｚ０に属すことを示す設定を含む。何故ならば、（移動物体のような）物体５６５の一部分に関連した複数の設定を複数の表示要素が捉えるにもかかわらず、複数の表示要素の大部分は（静止した白色の背景のような）領域０に関連しているからである。要素１５１０−４は領域Ｚ０に属し、あらゆる品質レベルにある要素１５１０−４の全ての部分要素（"子要素"）に自動的に領域Ｚ０が割り当てられるであろうことを示すために、（"Ｚ０Ｆ"のような）最終符号が割り当てられる。示されるいくつかの事例においては、もしも、ある親要素から導出された（対応するより高解像度な）あらゆる子要素もまた、その親要素と同一の領域に割り当てられることが既知であるならば、各表示要素には（Ｚ０Ｆのような）最終符号値が割り当てられてよい。そのような事例においては、信号中のあらゆる対応する要素および部分要素が領域Ｚ０に割り当てられるということを、各画像を再生するデコーダに対して最終符号領域Ｚ０Ｆが示す。非最終符号とともに最終符号を使用することにより、より高い品質レベルにある領域情報を再生するために必要とされるデータの量が低減する。何故ならば、最終符号が受信された場合には、その次に高い品質レベルにある動き領域マップを再構成する際に、動き領域マップのその部分に関連する付加的な残留データを何ら必要とせずに、全ての子要素、部分子要素等が、与えられる領域に属することが既知であるからである。（Ｚ０のような）非最終符号は、各親要素の子要素、部分子要素等の全てがその領域に含まれるわけではないことを示す。
【０２３１】
次に高い品質レベルへとアップサンプリングする場合、コンピュータプロセッサハードウェアは、それぞれの子要素に対して、親要素と同一の値を最初に割り当てる。例えば、コンピュータプロセッサハードウェアは、親表示要素１５１０−１から導出された複数の子表示要素１５１５−１、１５１５−２、１５１５−５および１５１５−６の全てに対し、これらが領域Ｚ０に存在することを示す適切な符号が割り当てられるということを示すための、動きマップ１５１５−１Ｐの予備表現を生成する。コンピュータプロセッサハードウェアは、表示要素１５１０−２から導出された複数の子表示要素１５１５−３、１５１５−４、１５１５−７、および１５１５−８の全てに対し、これらが領域Ｚ０に存在することを示す適切な符号が割り当てられるということを示すための、動きマップ１５１５−１Ｐの予備表現を生成する。コンピュータプロセッサハードウェアは、表示要素１５１０−３から導出された複数の子表示要素１５１５−９、１５１５−１０、１５１５−１３、および１５１５−１４の全てに対し、これらが領域Ｚ０に存在することを示す適切な符号が割り当てられるということを示すための、動きマップ１５１５−１Ｐの予備表現を生成する。コンピュータプロセッサハードウェアは、表示要素１５１０−４から導出された複数の子表示要素１５１５−１１、１５１５−１２、１５１５−１５、および１５１５−１６の全てに対し、これらが領域Ｚ０に存在すること、および、それらの子表示要素の全てが領域Ｚ０に存在するであろうことを示す適切な符号（"最終符号"）が割り当てられるということを示すための、動きマップ１５１５−１Ｐの予備表現を生成する。
【０２３２】
以前に説明したように、コンピュータプロセッサハードウェアは、残留データ領域情報１１２０−２を動きマップ１５１５−１Ｐの表現に適用して、図１６に示されるような、動きマップ１５１５−１ＡＤＪの表現を生成する。この例示的な実施形態においては、複数の表示要素１５１５−５および１５１５−６の大部分は移動物体５６５と同じ位置にあるので、複数の表示要素１５１５−５および１５１５−６が領域Ｚ０に属するのではなく、その代わりに領域Ｚ１に属するように、動きマップ１５１５−１ＡＤＪ中の領域情報を残留データ領域情報１１２０−２が調整する。残留データ領域情報１１２０−２はまた、複数の表示要素１５１５−３、１５１５−４、１５１５−８、１５１５−１３および１５１５−１４に対し、それら自身だけでなく、それらの子要素の全ても領域Ｚ０に属すことを示すために、それらに最終符号（"Ｚ０Ｆ"）が割り当てられるように、動きマップ１５１５−１ＡＤＪ中の領域情報を調整する。
【０２３３】
図１７は、本明細書の複数の実施形態に従った、より低い品質レベルから、より高い品質レベルへの動きマップのアップサンプリングを示す例示的な図である。
【０２３４】
以前に説明したものと同様にして、コンピュータプロセッサハードウェアは、動きマップ１５１５−１ＡＤＪの表現を、動きマップ１５１５−２Ｐの表現にアップサンプリングする。その後、コンピュータプロセッサハードウェアは、残留データ領域情報１１２０−３を動きマップ１５１５−２Ｐの表現に適用して、動きマップ１５１５−２ＡＤＪの表現を生成する。示されるようにいくつかの事例においては、もしも、ある親要素から導出された（対応するより高解像度の）あらゆる子要素もまた親要素と同一の領域に割り当てられることが既知であるならば、各表示要素に（Ｚ０ＦまたはＺ１Ｆのどちらかのような）最終符号値が割り当てられる。
【０２３５】
従って、本明細書の複数の実施形態は、動き領域マップを表す複数の要素の平面を受信することを含むことができる。平面中の複数の要素は、信号の表現中の対応する複数の要素と関連する複数の属性を特定する。平面中の複数の要素のそれぞれの各設定は、信号の表現中の対応する表示要素が、各領域に含まれるのか、あるいは、いずれの領域にも含まれないのかを特定する（符号Ｚ０、Ｚ０Ｆ、Ｚ１、Ｚ１Ｆ等のような）領域データを含むことができる。
【０２３６】
本明細書の複数の実施形態は、階層ベースの階層復号化法に従って（動き領域マップのような）複数の要素の平面を生成することをさらに含むことができる。階層ベースの階層復号化法は、受信された領域情報を復号化して、第１の品質レベルにある平面の表現（動き領域マップ）を生成することを含むことができる。第１の品質レベルにある複数の要素の平面の表現（動き領域マップ）に少なくとも部分的に基づいて、コンピュータプロセッサハードウェアは、第２の品質レベルにある複数の要素の平面の予備表現（動き領域マップ）を導出する。第２の品質レベルは、第１の品質レベルより高解像度を有する。
【０２３７】
コンピュータプロセッサハードウェアは、第２の品質レベルにある複数の要素の平面の予備表現（動き領域マップ）に関連した残留データ領域情報１１２０−２のような、複数の調整値の組を取得するように構成されることができる。コンピュータプロセッサハードウェアは、第２の品質レベルにある複数の要素の平面の予備表現（動きマップ１５１５−１Ｐ）に対して複数の調整値（残留データ領域情報１１２０−２）を適用して、第２の品質レベルにある複数の要素の平面の調整された表現（動き領域マップ１５１５−１ＡＤＪ）を生成する。コンピュータプロセッサハードウェアは、第２の品質レベルにある複数の要素の平面の調整された表現を利用して、ある領域に属する信号の表現の複数の要素を識別する。
【０２３８】
複数の動き領域マップを介してコンピュータプロセッサハードウェアが、複数の表示要素のそれぞれがどの領域に存在するかを識別することが思い起こされる。ある表示要素がどの領域に存在するのかに基づいて、その表示要素に対する設定を生成するために少なくとも部分的に使用されるであろう対応する参照画像中の位置を識別するために、コンピュータプロセッサハードウェアは、表示要素の座標に適用すべき複数の操作を特定する、動きに関する記述情報の対応する組を取得する。
【０２３９】
１つの実施形態においては、対応する品質レベルに対する動きマップの調整された表現を生成する際に、
（最終符号値のような）動き領域マップ１５１５−１Ｐの表現中のいくつかの値は変更されなくてもよい。例えば、残留データ領域情報１１２０−２中の複数の調整値は、対応する品質レベルの動きマップの予備表現中の全てよりは少ない複数の要素に対して適用され、動きマップ１５１５−１ＡＤＪの調整された表現を生成することができる。
【０２４０】
１つの実施形態においては、コンピュータプロセッサハードウェアは、第１の品質レベルにある複数の要素の平面（動き領域マップ）を生成する。領域情報は、平面の第１の部分に存在する各要素に、Ｚ０Ｆのような最終符号が割り当てられることを示すことができる。領域情報は、平面（動きマップ）の第２の部分に存在する各要素に、値Ｚ０のような非最終符号が割り当てられることを示すことができる。最終符号Ｚ０Ｆの割り当ては、第１の部分において（最終符号が割り当てられた）各親要素から導出された子要素の全てが、各親要素と同一の複数の領域設定を継承するということを示す。よって、もしも親要素にＺ０Ｆが割り当てられている場合、親要素から導出された各子要素は領域Ｚ０に存在し、その部分子要素の全ても領域Ｚ０に存在することを示すために、最終符号値Ｚ０Ｆが各子要素に割り当てられる。
【０２４１】
従って、本明細書の複数の実施形態は、第１の品質レベルにある複数の要素の平面を生成すること、平面の第１の部分に存在する各要素に最終符号を割り当てること、平面の第２の部分に存在する各要素に非最終符号を割り当てることを含むことができる。ここで、最終符号の割り当ては、第１の部分において各親要素から導出された子要素の全てが、どのような調整値も必要とせずに、各親要素と同一の複数の領域設定を継承することを示す。またここで、非最終符号の割り当ては、第２の部分において各親要素から導出された子要素の全てが、各親要素と同一の複数の領域設定を継承するが、そのような複数の予備（継承された）設定は、適切な複数の調整値を用いて調整されるであろうことを示す。
【０２４２】
図１８は、本明細書の複数の実施形態に従った様々な動き領域を示す例示的な図である。
【０２４３】
示されるように動き領域マップ１８１０は、動き領域Ｚ１に存在する複数の要素の一部分（範囲）を示す。動きマップ１８１０は、動き領域Ｚ２に存在する複数の要素の一部分（範囲）を示す。動きマップ１８１０は、動き領域Ｚ３に存在する複数の要素の一部分（範囲）を示す。領域範囲の外部に存在する複数の要素は、非動き領域ＮＭＺ（また、以前には、複数の動き領域の外部に何が残されているかを表し、動き補償を用いても適切に予測されることができないことを意味する"残留動き領域"として定義された）に存在するものとみなされる。１つの実施形態においては、ある領域の外部にある１または複数の要素には、各画像（信号）の生成の間に、ＮＭＺ範囲中のそのような複数の要素が、複数の動き領域中の複数の要素に対する参照として働く参照信号中の複数の要素のグループの複数の設定に基づいては再生されない、ということを示す値が割り当てられる。
【０２４４】
さらなる実施形態
以前に説明したように、コンピュータプロセッサハードウェアは、本明細書に記載される複数の方法の任意のものを実行するように構成されることができる。上記の明細書を考慮すると、本明細書のさらなる複数の実施形態は以下を含む。
【０２４５】
実施形態１は、与えられる複数の要素の組におけるそれぞれの要素に対して補助情報を復号化する方法を含む。上記複数の要素の組は、１または複数の次元を有する信号のサンプルに対応する。上記の方法は、
ａ．少なくとも１つの補助領域、および、少なくとも１つの記述補助情報の組を受信する段階であって、上記補助領域は上記複数の要素の組のうちの複数の要素のサブセットを示し、上記複数の要素のサブセットは上記補助領域に属し、上記記述補助情報の組のそれぞれは１つの補助領域に対応する、上記受信する段階と、
ｂ．補助領域情報、および、複数の補助領域に対応する記述補助情報に少なくとも部分的に基づいて、与えられるサンプルのそれぞれの要素に対して補助情報を算出する段階と、
を含む
【０２４６】
実施形態２は、実施形態１に従った方法を含む。記述補助情報は複数の補助領域の動きに関する情報に対応し、動き補償された画像を生成するために補助情報は処理される。上記方法は、
ａ．少なくとも１つの動き領域および動きに関する少なくとも一組の記述情報を受信する段階であって、上記動き領域は動き補償された画像のうちの複数の要素のサブセットを示し、複数の要素の上記サブセットは上記動き領域に属する、上記受信する段階と、
ｂ．少なくとも第１の参照画像を受信する段階と、
ｃ．段階ｂ．の間に受信した上記第１の画像、段階ａ．の間に受信した複数の上記動き領域、および段階ａ．の間に受信した動きに関する上記記述情報を用いて、特に動き補償された画像である第２の画像を算出する段階と、
を含む。
【０２４７】
実施形態３は、実施形態２に従った方法を含む。第１の動き領域は、第２の動き領域に対応する複数の要素の数とは異なる複数の要素の数によって特徴付けられる複数の要素のサブセットに対応し、上記複数の動き領域の少なくとも１つは、上記信号における非矩形および／または不連続な複数の部分に対応する複数の要素を含む。
【０２４８】
実施形態４は、実施形態２に従った方法を含む。動き領域の上記動きは並進を含み、上記動き領域の上記動きに関する上記記述情報はオフセットに対応する複数のパラメータを含み、上記オフセットは、段階ｃ．の間に、それぞれの座標に適用すべきであり、且つ上記動き領域に対応する複数の要素に適用すべきである複数の調整を示す。
【０２４９】
実施形態５は、実施形態２に従った方法を含む。動き領域の上記動きは回転を含み、上記動き領域の上記動きに関する上記記述情報は、回転に対応し、且つ上記回転の方向および大きさを定義する、段階ｃ．の間に上記動き領域に適用するべき１または複数のパラメータを含む。
【０２５０】
実施形態６は、実施形態２に従った方法を含む。動き領域の上記動きはスケーリング（すなわちズームまたはズームの除去）を含み、上記動き領域の上記動きに関する上記記述情報は、スケーリングに対応し、且つ上記スケーリングの上記大きさを定義する、段階ｃ．の間に上記動き領域に適用するべき１または複数のパラメータを含む。
【０２５１】
実施形態７は、実施形態２に従った方法を含む。１つの動き領域に対応する上記記述情報は、段階ｃ．の間において、上記動き補償された画像のうち上記１つの動き領域に対応する複数の要素の上記計算を決定することに寄与する複数の追加パラメータを含む。
【０２５２】
実施形態８は、実施形態２に従った方法を含む。上記動き補償された画像は、上記参照画像とは異なる解像度を有する。
【０２５３】
実施形態９は、実施形態２に従った方法を含む。上記動き補償された画像のうちの１または複数の要素には、上記参照画像のうちのデフォルト値が割り当てられている部分にそれらが対応する場合、または、上記参照画像の外部の区域にそれらが対応する場合、デフォルト値が割り当てられる。
【０２５４】
実施形態１０は、実施形態２に従った方法を含む。上記段階ｃ．の間、上記動き補償された画像の上記算出は、任意の精度で複数の動きを記述し、上記参照画像の実際の解像度によらずに上記参照画像の実質的にあらゆる位置にアクセスするために、分数による計算（例えば、限定するものではないが、浮動小数点演算または高精度固定小数点による計算）を含む。
【０２５５】
実施形態１１は、実施形態１０に従った方法を含む。上記動き補償された画像のうちの少なくとも与えられる要素の上記値は、上記参照画像のうちの複数の要素のサブセットの重み付き平均を実行することにより計算され、上記重み付き平均の上記複数の重みは、上記動き補償された画像中の上記与えられる要素の上記座標と、上記与えられる要素が属する上記１または複数の動き領域の上記動きに関する記述情報とに依存する。
【０２５６】
実施形態１２は、実施形態２に従った方法を含む。上記動き補償された画像のうち、少なくとも１つの動き領域に対応する複数の要素には、上記参照画像のうちの複数の要素の複数の値には基づかない複数の値が割り当てられる。
【０２５７】
実施形態１３は、実施形態２に従った方法を含む。複数の動き領域は、算出するべき上記与えられる動き補償された画像に対応する単一の補助画像として符号化され、上記補助画像の複数の要素に割り当てられる上記複数の値は、上記与えられる動き補償された画像のうち対応する複数の要素に関連した上記動き領域に対応する。
【０２５８】
実施形態１４は、実施形態１３に従った方法を含む。上記単一の補助画像は階層ベースの階層法によって復号化され、上記方法は、第１の品質レベルにある上記単一の補助画像の表現を復号化する段階と、第１の品質レベルにある上記単一の補助画像に少なくとも部分的に基づいて、第２の品質レベルにある上記単一の補助画像の予備表現を生成する段階であって、上記第２の品質レベルは上記第１の品質レベルよりも高いような上記生成する段階と、複数の調整値の組を復号化する段階と、上記第２の品質レベルにある上記単一の補助画像の上記予備表現を、上記複数の調整値と結合し、上記第２の品質レベルにある上記単一の補助画像の表現を生成する段階と、を有する。
【０２５９】
実施形態１５は、実施形態１４に従った方法を含む。上記第２の品質レベルにある上記単一の補助画像の上記予備表現における上記複数の要素のサブセットのみに対して複数の調整値が特定され、上記方法は、第１の品質レベルにある単一の補助画像を復号化する段階であって、第１の品質レベルにある上記単一の補助画像の複数の要素には、複数の符号の第１の組に属する１つの符号（"終了符号"）または複数の符号の第２の組に属する１つの符号（"非終了符号"）のどちらがが割り当てられるような上記復号化する段階と、（より高い）第２の品質レベルにある上記単一の補助画像の予備表現を生成する段階であって、上記第２の品質レベルにある上記予備表現の複数の要素であって且つ上記第１の品質レベルにある上記単一の補助画像の同じ要素に対応する上記複数の要素には、上記第１の品質レベルにある上記単一の補助画像の上記要素と同一の符号が割り当てられるような上記生成する段階と、上記第２の品質レベルにある上記単一の補助画像の上記予備表現の複数の要素であって且つ複数の符号の上記第２の組に属する１つの符号が割り当てられた上記複数の要素に対してのみ、上記割り当てられた符号を、受信した調整データに基づいて変更する段階とを備える。
【０２６０】
実施形態１６は、実施形態２に従った方法を含む。１つの幾何形状に対応する１または複数のパラメータによって、少なくとも１つの動き領域が定義される。
【０２６１】
実施形態１７は、実施形態２に従った方法を含む。再構成された上記動き補償された画像が、受信された残留データと組み合わされ、ターゲット画像を生成する。
【０２６２】
実施形態１８は、実施形態２に従った方法を含む。複数の動き補償された画像のそれぞれが異なる参照画像に基づいており、上記複数の動き補償された画像が組み合わされて、単一の予測される画像を生成する。
【０２６３】
実施形態１９は、実施形態２に従った方法を含む。上記動き補償された画像のうちの少なくとも１つの要素は、１よりも多くの動き領域に割り当てられる。
【０２６４】
実施形態２２は、信号の表現を再生するための方法を含む。上記方法は、コンピュータプロセッサハードウェアによって、一の領域に属する上記信号の上記表現の複数の要素を特定する領域情報を受信する段階と、上記一の領域に関連する動き情報を受信する段階であって、上記動き情報は、上記一の領域中の上記複数の要素のそれぞれが、参照信号中の対応する要素のどれに関連するかを示すように符号化される、上記受信する段階と、上記一の領域のそれぞれの要素に対し、上記動き情報を利用して上記参照信号中の対応する位置値を導出する段階であって、上記対応する位置値は、上記それぞれの要素が関連する上記参照信号中の位置を示す、上記導出する段階と、を備える。
【０２６５】
実施形態２３は、実施形態２２に従った方法を含む。上記一の領域中のそれぞれの要素に対して、上記それぞれの要素に対する上記位置値を利用して、上記参照信号中の複数の要素から成る対応するグループを選択する段階と、上記それぞれの要素に対する設定を算出する段階であって、上記それぞれの要素に対する上記設定は、上記対応するグループ中の複数の要素の複数の設定に基づいて導出される、上記算出する段階と、をさらに備える。
【０２６６】
実施形態２４は、実施形態２３に従った方法を含む。上記動き情報は複数の係数値の組を含み、上記動き情報を利用して対応する位置値を導出する段階は、上記それぞれの要素に対する座標を取得する段階であって、上記座標は上記信号の表現中の上記それぞれの要素の位置を特定する、上記取得する段階と、上記それぞれの要素の上記座標に対して、上記複数の係数値との線形結合を実行し、上記対応する位置情報を生成する段階と、を有する。
【０２６７】
実施形態２５は、実施形態２４に従った方法を含む。上記対応する位置情報は、上記それぞれの要素が関連する上記参照信号中の座標を特定する。
【０２６８】
実施形態２６は、実施形態２２に従った方法を含む。上記一の領域中の第１の要素を選択する段階と、上記動き情報を利用して、上記参照信号中の第１の座標位置を算出する段階と、上記第１の座標位置を基準として利用して、上記参照信号中の複数の要素の第１の組を識別する段階と、上記第１の組中の複数の要素の複数の設定を取得する段階と、上記第１の組中の上記複数の要素の上記複数の設定に基づいて、上記一の領域中の上記第１の要素に対する一の設定を算出する段階と、上記一の領域中の第２の要素を選択する段階と、上記動き情報を利用して、上記参照信号中の第２の座標位置を算出する段階と、上記第２の座標位置を基準として利用して、上記参照信号中の複数の要素の第２の組を識別する段階と、上記第２の組中の複数の要素の複数の設定を取得する段階と、上記第２の組中の上記複数の要素の上記複数の設定に基づいて上記一の領域中の上記第２の要素に対する一の設定を算出する段階と、をさらに備える。
【０２６９】
実施形態２７は、実施形態２２に従った方法を含む。上記参照信号は、複数の表示要素を含む参照画像であり、上記信号の上記表現は２次画像であり、上記２次画像は複数の表示要素を含み、上記動き情報は、上記参照画像中の複数の表示要素のグループであって、上記一の領域中の複数の表示要素に対する複数の設定を再生するために使用されるべき上記グループを特定する。
【０２７０】
実施形態２８は、実施形態２７に従った方法を含む。上記２次画像における上記一の領域中の上記複数の表示要素は、上記２次画像によって捉えられた物体の表現を表し、上記参照画像中の複数の表示要素の上記グループは、上記参照画像中の上記物体の表現を表し、上記動き情報は、上記参照画像中の位置から上記２次画像中の位置への上記物体の動きを捉える。
【０２７１】
実施形態２９は、実施形態２８に従った方法を含む。上記動き情報は、上記物体の動きに関連した複数の動きパラメータに対応し、上記複数のパラメータは、ｉ）上記参照画像中の上記物体の上記表現に対する上記２次画像中の上記物体の上記表現の並進、ｉｉ）上記参照画像中の上記物体の上記表現に対する上記２次画像中の上記物体の上記表現の回転、および、ｉｉｉ）上記参照画像中の上記物体の上記表現に対する上記２次画像中の上記物体の上記表現のスケーリング、を含むグループから選択される。
【０２７２】
実施形態３０は、実施形態２９に従った方法を含む。上記動き情報は、上記物体の動きに関連した複数の動きパラメータに対応し、上記複数のパラメータは、ｉｖ）上記参照画像中の上記物体の上記表現に対する上記２次画像中の上記物体の上記表現のシェアリング、ｖ）上記参照画像中の上記物体の上記表現に対する上記２次画像中の上記物体の上記表現の透視変換、をさらに含むグループから選択される。
【０２７３】
実施形態３１は、実施形態２２に従った方法を含む。上記信号の上記表現は動き補償された画像であり、上記動き補償された画像中の上記一の領域は、複数の表示要素の第１の範囲および複数の表示要素の第２の範囲を含む複数の表示要素の複数の連続的な範囲を含み、複数の表示要素の上記第１の範囲は、複数の表示要素の上記第２の範囲とは不連続である。
【０２７４】
実施形態３２は、実施形態２２に従った方法を含む。上記信号の上記表現は動き補償された画像であり、複数の要素から成る上記一の領域によって表される上記動き補償された画像の範囲は非矩形形状である。
【０２７５】
実施形態３３は、実施形態２２に従った方法を含む。上記信号の上記表現の解像度は、上記参照信号の解像度とは実質的に異なる。
【０２７６】
実施形態３４は、実施形態２２に従った方法を含む。上記信号の上記表現の解像度は、上記参照信号の解像度と実質的に同一である。
【０２７７】
実施形態３５は、実施形態２２に従った方法を含む。上記動き情報はオフセット調整情報を含み、上記動き情報を利用して上記それぞれの要素に対して対応する位置値を導出する段階は、ｉ）上記それぞれの要素に対する座標を取得する段階と、ｉｉ）上記座標に対して上記オフセット調整情報を適用して、上記それぞれの要素に対して上記対応する位置情報を生成する段階と、を含み、上記座標は、上記信号の表現中の上記それぞれの要素の位置を特定し、上記対応する位置情報は、上記オフセット調整情報によって特定された量だけ上記座標に対してオフセットされた位置を示す。
【０２７８】
実施形態３６は、実施形態２２に従った方法を含む。上記動き情報は回転調整情報を含み、上記動き情報を利用して上記それぞれの要素に対して対応する位置値を導出する段階は、ｉ）上記それぞれの要素に対する座標を取得する段階と、ｉｉ）上記座標に対して上記回転調整情報を適用して、上記それぞれの要素に対して上記対応する位置情報を生成する段階と、を含み、上記座標は、上記信号の表現中の上記それぞれの要素の位置を特定し、上記対応する位置情報は、上記回転調整情報によって特定された量分の上記座標の回転を捉える。
【０２７９】
実施形態３７は、実施形態２２に従った方法を含む。上記動き情報は、上記信号の上記表現の上記一の領域中の上記複数の要素が、上記参照信号中の複数の表示要素の対応するグループからどのようにスケーリングされるかを示す。
【０２８０】
実施形態３８は、実施形態２２に従った方法を含む。上記参照信号の外部に位置された対応する要素を動き情報が示す場合、または、動き情報にデフォルト値が割り当てられている場合、上記位置値にはデフォルト値が割り当てられる。
【０２８１】
実施形態３９は、実施形態２２に従った方法を含む。上記対応する位置値は、上記参照信号中の部分要素精度を特定するのに十分な高解像度を有する。
【０２８２】
実施形態４０は、実施形態２２に従った方法を含む。上記一の領域中の第１の要素を選択する段階と、上記動き情報を利用して、上記第１の要素に対する上記参照信号中の位置を算出する段階と、上記位置を基準として利用して、上記参照信号中の複数の要素の第１の組を識別する段階と、上記参照信号を処理して上記第１の組中の上記複数の要素の複数の設定を取得する段階と、上記第１の組中の複数の要素の上記複数の設定に対して重み付けされた複数の値を適用する段階であって、上記重み付けされた複数の値の大きさは、上記第１の組中の上記複数の要素から上記第１の要素に対する上記参照信号中の上記位置への近接さの度合いに依存する、上記適用する段階と、上記第１の組中の上記複数の要素の上記重み付けされた複数の設定に基づいて、上記一の領域中の上記第１の要素に対する一の設定を算出する段階と、をさらに備える。
【０２８３】
実施形態４１は、実施形態２２に従った方法を含む。上記領域情報は、上記一の領域の形状を定義する複数の幾何学的パラメータを含む。
【０２８４】
実施形態４２は、実施形態２２に従った方法を含む。上記領域情報および上記動き情報により特定されるように、上記参照信号に少なくとも部分的に基づいて、上記信号の上記表現を再生する段階と、上記信号の上記再生された表現に対して適用されるべき複数の調整を特定する再構成データを受信する段階と、上記複数の調整を、上記再構成データによって特定される上記信号の上記再生された表現中の複数の表示要素に対して適用して、上記信号の上記再生された表現を洗練する段階と、をさらに備える。
【０２８５】
実施形態４３は、実施形態２２に従った方法を含む。上記信号の上記表現は第１の画像であり、上記参照信号は上記第１の画像が少なくとも部分的に導出される第１の参照画像であり、上記領域情報は第１の領域情報であり、上記動き情報は第１の動き情報であり、上記方法は、第２の参照画像に基づいてどのように第２の画像を再生するかを特定する第２の領域情報および第２の動き情報を受信する段階と、上記第２の領域情報および上記第２の動き情報に従い、上記第２の参照画像に少なくとも部分的に基づいて上記第２の画像の表現を再生する段階と、上記第１の画像および上記第２の画像を複数の参照画像として用いて、第３の画像の表現を生成する段階と、をさらに備える。
【０２８６】
実施形態４４は、実施形態２２に従った方法を含む。上記領域情報は第１の領域情報であり、上記一の領域は第１の領域であり、上記第１の領域情報は、与えられる要素が上記第１の領域に存在することを示し、上記方法は、上記信号の上記表現に関連する第２の領域情報を受信する段階をさらに備え、上記第２の領域情報は、上記与えられる要素が第２の領域に存在することを示す。
【０２８７】
実施形態４５は、実施形態２２に従った方法を含む。上記動き情報は、上記信号の上記表現中の特定の要素が一の動き領域に属することを示し、上記特定の要素には、上記参照信号中の複数の要素から成るグループの複数の設定には基づかない値が割り当てられる。
【０２８８】
実施形態４６は、実施形態２２に従った方法を含む。上記領域情報を受信する段階は、複数の要素の平面を受信する段階を含み、上記平面中の上記複数の要素は、上記信号の上記表現における対応する複数の要素に関連した複数の属性を特定し、上記平面中の上記複数の要素のそれぞれの設定は、上記信号の上記表現中の対応する表示要素が上記一の領域に含まれるかどうかを特定する領域データを含む。
【０２８９】
実施形態４７は、実施形態４６に従った方法を含む。階層ベースの階層復号化法に従って複数の要素の上記平面を生成する段階をさらに備え、上記階層ベースの階層復号化法は、第１の品質レベルにある複数の要素の上記平面の表現を復号化する段階と、上記第１の品質レベルにある複数の要素の上記平面の上記表現に少なくとも部分的に基づいて、第２の品質レベルにある複数の要素の上記平面の予備表現を導出する段階であって、上記第２の品質レベルは上記第１の品質レベルより高解像度を有する、上記導出する段階と、上記第２の品質レベルにある複数の要素の上記平面の上記予備表現に関連する複数の調整値の組を取得する段階と、上記第２の品質レベルにある複数の要素の上記平面の上記予備表現に対して上記複数の調整値を適用して、上記第２の品質レベルにある複数の要素の上記平面の調整された表現を生成する段階と、上記第２の品質レベルにある複数の要素の上記平面の上記調整された表現を利用して、上記一の領域に属する上記信号の上記表現における上記複数の要素を識別する段階と、を有する。
【０２９０】
実施形態４８は、実施形態４７に従った方法を含む。第１の品質レベルにある複数の要素の上記平面を生成する段階と、上記平面の第１の部分に存在するそれぞれの要素に最終符号を割り当てる段階と、上記平面の第２の部分に存在するそれぞれの要素に非最終符号を割り当てる段階と、をさらに備え、上記最終符号の割り当ては、上記第１の部分にあるそれぞれの親要素から導出されたあらゆる子要素が、上記それぞれの親要素と同一の複数の領域設定を継承することを示す。
【０２９１】
実施形態４９は、信号の表現のそれぞれの要素に対する情報を再生する方法を含む。上記方法は、コンピュータプロセッサハードウェアによって、一の領域に属する上記信号の上記表現における複数の要素を特定する領域情報を受信する段階と、上記一の領域に関連する記述情報を受信する段階であって、上記記述情報は、上記一の領域中の上記複数の要素に関連する情報を示すように符号化される、上記受信する段階と、上記一の領域中のそれぞれの要素に対し、上記記述情報を利用して、対応する値を導出する段階であって、上記対応する値は上記それぞれの要素に関連する情報を示す、上記導出する段階と、を備える。
【０２９２】
本明細書の技術は、階層的な複数のシステムでの符号化および復号化に良く適していることに再び留意されたい。しかしながら、本明細書の複数の実施形態はそのような用途への使用に限定されるものではないこと、および、本明細書で説明される複数の技術がその他の用途にも同じように良く適していることに留意されるべきである。
【０２９３】
本明細書にて説明した記載に基づいて、請求される主題への完全な理解を与えるために、多くの具体的な詳細が説明されてきた。しかしながら、請求される主題は、これらの具体的な詳細が無くても実施できるであろうことが、この分野の当業者には理解されるであろう。その他の事例においては、請求される主題を不明瞭にしないように、当業者には既知であろう方法、装置、システム等は、詳細には記載されていない。詳細な記載のいくつかの部分は、コンピュータメモリのようなコンピューティングシステムメモリ内に格納されるデータビットまたはバイナリデジタル信号に関する複数の操作のアルゴリズムまたは象徴的な描写の観点から提示されてきた。これらのアルゴリズムの記載または描写は、データ処理の分野の当業者によって、彼らの作業の実体をこの分野の他の当業者に伝えるために使用される複数の技術の例である。本明細書に、および一般的に記載されるアルゴリズムは、所望の結果につながる、自己矛盾の無い一連の操作または同様な処理であると考えられる。このような状況では、複数の操作または処理は、物理量の物理的な操作を含む。必ずしもというわけではないが、典型的には、そのような量は、格納されること、変換されること、結合されること、比較されること、あるいはそうでなければ操作されることが可能な、電気信号または磁気信号の形を取ってよい。主として共通使用の理由から、そのような信号をビット、データ、値、要素、符号、文字、項、番号、数字などとして参照することが時には都合が良かった。しかしながら、これらの全ておよび同様な用語は、適切な物理量と関連すべきものであり、単なる便利な名称であることは理解されるべきである。そうでないと具体的に述べられていない限り、以下の説明から明らかなように、本明細書の全体を通して、"処理する"、"算出する"、"計算する"、"決定する"、などのような用語を用いた説明は、メモリ、レジスタ、またはその他の情報記憶デバイス、送信デバイス、またはコンピューティングプラットフォームの表示装置内の物理的電子量または磁気量として表されるデータを操作するまたは変換するコンピュータまたは同様な電子コンピューティングデバイスのようなコンピューティングプラットフォームの動作または処理を参照するものであることが認識される。
【０２９４】
本明細書の複数の実施形態が、その好ましい複数の実施形態を参照して特に示され、また記載されて来た。この分野の当業者であれば、添付の請求項によって定義される本出願の精神および範囲から逸脱することなく、その形態および詳細における様々な変化がここで成されてよいことを理解するであろう。そのような変形は、本出願の範囲に含まれるべきであることが意図されている。本出願の複数の実施形態の上記の記載自体は、限定することを意図したものではない。それどころかむしろ、本発明に対するあらゆる限定は、以下の請求項において提示されるものである。
【図１６】
2015522987.tif 000004
【図１７】
2015522987.tif 000005
【図１】
2015522987.tif 000006
【図２Ａ】
2015522987.tif 000007
【図２Ｂ】
2015522987.tif 000008
【図３Ａ】
2015522987.tif 000009
【図３Ｂ】
2015522987.tif 000010
【図４Ａ】
2015522987.tif 000011
【図４Ｂ】
2015522987.tif 000012
【図５Ａ】
2015522987.tif 000013
【図５Ｂ】
2015522987.tif 000014
【図６Ａ】
2015522987.tif 000015
【図６Ｂ】
2015522987.tif 000016
【図６Ｃ】
2015522987.tif 000017
【図７】
2015522987.tif 000018
【図８】
2015522987.tif 000019
【図９】
2015522987.tif 000020
【図１０】
2015522987.tif 000021
【図１１】
2015522987.tif 000022
【図１２】
2015522987.tif 000023
【図１３】
2015522987.tif 000024
【図１４】
2015522987.tif 000025
【図１５】
2015522987.tif 000026
【図１８】
2015522987.tif 000027
【国際調査報告】
2015522987.tif 000028
2015522987.tif 000029
2015522987.tif 000030
2015522987.tif 000031
2015522987.tif 000032
2015522987.tif 000033
2015522987.tif 000034