(57)【要約】  領域変換を用いたメッシュベースのビデオ圧縮／復元を実施するための技術について述べられる。ビデオ符号器は、画像を画素のメッシュに分割し、画素メッシュを処理して予測誤差のブロックを取得し、予測誤差ブロックを符号化して、前記画像の符号化されたデータを生成する。メッシュは、任意の多角形形状を有してもよく、ブロックは、たとえば正方形など、所定の形状を有してもよい。ビデオ符号器は、画素メッシュを処理して予測誤差のメッシュを取得し、次いで、予測誤差メッシュを予測誤差ブロックに変換してもよい。あるいは、ビデオ符号器は、画素メッシュを画素のブロックに変換し、次いで、画素ブロックを処理して予測誤差ブロックを取得してもよい。ビデオ符号器は、メッシュベースの動き推定を実施して、予測誤差の生成に用いる参照メッシュを決定してもよい。
2009545931.tif 000002
【特許請求の範囲】
【請求項１】
画像を画素のメッシュに分割し、前記画素メッシュを処理して予測誤差のブロックを取得し、前記予測誤差ブロックを符号化して、前記画像の符号化されたデータを生成するように構成された少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに結合されたメモリとを備える装置。
【請求項２】
それぞれのメッシュが、任意の形状を有する四辺形であり、それぞれのブロックが所定のサイズの正方形である、請求項１に記載の装置。
【請求項３】
前記少なくとも１つのプロセッサが、前記画素メッシュを処理して予測誤差のメッシュを取得し、前記予測誤差メッシュを前記予測誤差ブロックに変換するように構成される、請求項１に記載の装置。
【請求項４】
前記少なくとも１つのプロセッサが、前記画素メッシュを画素のブロックに変換し、前記画素ブロックを処理して前記予測誤差ブロックを取得するように構成される、請求項１に記載の装置。
【請求項５】
前記少なくとも１つのプロセッサが、双一次変換に従って前記メッシュを前記ブロックに変換するように構成される、請求項１に記載の装置。
【請求項６】
前記少なくとも１つのプロセッサが、前記メッシュの頂点に基づいて各メッシュの１組の係数を決定し、前記メッシュの前記１組の係数に基づいて各メッシュをブロックに変換するように構成される、請求項１に記載の装置。
【請求項７】
前記少なくとも１つのプロセッサが、前記画素メッシュに対して動き推定を実施して、前記画素メッシュの動きベクトルを取得するように構成される、請求項１に記載の装置。
【請求項８】
前記少なくとも１つのプロセッサが、前記動きベクトルに基づいて、予測されたメッシュを導出し、前記画素メッシュおよび前記予測されたメッシュに基づいて予測誤差を決定するように構成される、請求項７に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、それぞれの画素メッシュについて、前記画素メッシュの推定された動きによって決まる頂点を有する参照メッシュを決定し、前記画素メッシュおよび前記参照メッシュに基づいて予測誤差のメッシュを導出するように構成される、請求項１に記載の装置。
【請求項１０】
前記少なくとも１つのプロセッサが、前記画素メッシュの並進動きを推定することによって前記参照メッシュを決定するように構成される、請求項９に記載の装置。
【請求項１１】
前記少なくとも１つのプロセッサが、残りの頂点を固定したまま探索空間にわたって一度に１つの頂点を変更することによって前記参照メッシュを決定するように構成される、請求項９に記載の装置。
【請求項１２】
前記少なくとも１つのプロセッサが、それぞれの予測誤差ブロックについて、前記予測誤差ブロックのメトリックを決定し、前記メトリックがしきい値を超える場合は前記予測誤差ブロックを符号化するように構成される、請求項１に記載の装置。
【請求項１３】
前記少なくとも１つのプロセッサが、それぞれの予測誤差ブロックについて、前記予測誤差ブロックに対して離散コサイン変換（ＤＣＴ）を実施してＤＣＴ係数のブロックを取得し、前記ＤＣＴ係数ブロックに対してエントロピー符号化を実施するように構成される、請求項１に記載の装置。
【請求項１４】
前記少なくとも１つのプロセッサが、符号化された予測誤差ブロックに基づいて予測誤差のメッシュを復元し、前記復元された予測誤差メッシュに基づいて前記画像を復元し、動き推定のために前記復元された画像を使用するように構成される、請求項１に記載の装置。
【請求項１５】
前記少なくとも１つのプロセッサが、対応する復元された予測誤差メッシュの頂点に基づいて、符号化された各予測誤差ブロックの１組の係数を決定し、前記符号化されたブロックの前記１組の係数に基づいて、符号化された各予測誤差ブロックを前記対応する復元された予測誤差メッシュに変換するように構成される、請求項１４に記載の装置。
【請求項１６】
前記少なくとも１つのプロセッサが、第２の画像を第２の画素メッシュに分割し、前記第２の画素メッシュを画素ブロックに変換し、前記画素ブロックを符号化して、前記第２の画像の符号化されたデータを生成するように構成される、請求項１に記載の装置。
【請求項１７】
画像を画素のメッシュに分割すること、
前記画素メッシュを処理して、予測誤差のブロックを取得すること、および
前記予測誤差ブロックを符号化して、前記画像の符号化されたデータを生成することを備える方法。
【請求項１８】
前記画素メッシュを処理することが、
前記画素メッシュを処理して、予測誤差のメッシュを取得すること、および
前記予測誤差メッシュを前記予測誤差ブロックに変換することを備える、請求項１７に記載の方法。
【請求項１９】
前記画素メッシュを処理することが、
前記画素メッシュを画素のブロックに変換すること、および
前記画素ブロックを処理して、前記予測誤差ブロックを取得することを備える、請求項１７に記載の方法。
【請求項２０】
前記画素メッシュを処理することが、
前記メッシュの頂点に基づいて各メッシュの１組の係数を決定すること、および
前記メッシュの前記１組の係数に基づいて各メッシュをブロックに変換することを備える、請求項１７に記載の方法。
【請求項２１】
画像を画素のメッシュに分割するための手段と、
前記画素メッシュを処理して、予測誤差のブロックを取得するための手段と、
前記予測誤差ブロックを符号化して、前記画像の符号化されたデータを生成するための手段とを備える装置。
【請求項２２】
前記画素メッシュを処理するための前記手段が、
前記画素メッシュを処理して、予測誤差のメッシュを取得するための手段と、
前記予測誤差メッシュを前記予測誤差ブロックに変換するための手段とを備える、請求項２１に記載の装置。
【請求項２３】
前記画素メッシュを処理するための前記手段が、
前記画素メッシュを画素のブロックに変換するための手段と、
前記画素ブロックを処理して、前記予測誤差ブロックを取得するための手段とを備える、請求項２１に記載の装置。
【請求項２４】
前記画素メッシュを処理するための前記手段が、
前記メッシュの頂点に基づいて各メッシュの１組の係数を決定するための手段と、
前記メッシュの前記１組の係数に基づいて各メッシュをブロックに変換するための手段とを備える、請求項２１に記載の装置。
【請求項２５】
画像の符号化されたデータに基づいて予測誤差のブロックを取得し、前記予測誤差ブロックを処理して画素のメッシュを取得し、前記画素メッシュを組み立てて前記画像を復元するように構成された少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに結合されたメモリとを備える装置。
【請求項２６】
前記少なくとも１つのプロセッサが、双一次変換に従って前記ブロックを前記メッシュに変換するように構成される、請求項２５に記載の装置。
【請求項２７】
前記少なくとも１つのプロセッサが、対応するメッシュの頂点に基づいて各ブロックの１組の係数を決定し、前記ブロックの前記１組の係数に基づいて各ブロックを前記対応するメッシュに変換する、請求項２５に記載の装置。
【請求項２８】
前記少なくとも１つのプロセッサが、前記予測誤差ブロックを予測誤差のメッシュに変換し、動きベクトルに基づいて、予測されたメッシュを導出し、前記予測誤差メッシュおよび前記予測されたメッシュに基づいて前記画素メッシュを導出するように構成される、請求項２５に記載の装置。
【請求項２９】
前記少なくとも１つのプロセッサが、前記動きベクトルに基づいて参照メッシュを決定し、前記参照メッシュを前記予測されたメッシュに変換するように構成される、請求項２８に記載の装置。
【請求項３０】
前記少なくとも１つのプロセッサが、動きベクトルに基づいて、予測されたブロックを導出し、前記予測誤差ブロックおよび前記予測されたブロックに基づいて画素のブロックを導出し、前記画素ブロックを前記画素メッシュに変換するように構成される、請求項２５に記載の装置。
【請求項３１】
画像の符号化されたデータに基づいて予測誤差のブロックを取得すること、
前記予測誤差ブロックを処理して画素のメッシュを取得すること、および
前記画素メッシュを組み立てて、前記画像を復元することを備える方法。
【請求項３２】
前記予測誤差ブロックの処理が、
対応するメッシュの頂点に基づいて各ブロックの１組の係数を決定すること、および
前記ブロックの前記１組の係数に基づいて各ブロックを前記対応するメッシュに変換することを備える、請求項３１に記載の方法。
【請求項３３】
前記予測誤差ブロックを処理することが、
前記予測誤差ブロックを予測誤差のメッシュに変換すること、
動きベクトルに基づいて、予測されたメッシュを導出すること、および
前記予測誤差メッシュおよび前記予測されたメッシュに基づいて前記画素メッシュを導出することを備える、請求項３１に記載の方法。
【請求項３４】
前記予測誤差ブロックを処理することが、
動きベクトルに基づいて、予測されたブロックを導出すること、
前記予測誤差ブロックおよび前記予測されたブロックに基づいて画素のブロックを導出すること、および
前記画素ブロックを前記画素メッシュに変換することを備える、請求項３１に記載の方法。
【請求項３５】
画像の符号化データに基づいて予測誤差のブロックを取得するための手段と、
前記予測誤差ブロックを処理して、画素のメッシュを取得するための手段と、
前記画素メッシュを組み立てて、前記画像を復元するための手段とを備える装置。
【請求項３６】
前記予測誤差ブロックを処理するための前記手段が、
対応するメッシュの頂点に基づいて各ブロックの１組の係数を決定するための手段と、
前記ブロックの前記１組の係数に基づいて各ブロックを前記対応するメッシュに変換するための手段とを備える、請求項３５に記載の装置。
【請求項３７】
前記予測誤差ブロックを処理するための前記手段が、
前記予測誤差ブロックを予測誤差のメッシュに変換するための手段と、
動きベクトルに基づいて、予測されたメッシュを導出するための手段と、
前記予測誤差メッシュおよび前記予測されたメッシュに基づいて前記画素メッシュを導出するための手段とを備える、請求項３５に記載の装置。
【請求項３８】
前記予測誤差ブロックを処理するための前記手段が、
動きベクトルに基づいて、予測されたブロックを導出するための手段と、
前記予測誤差ブロックおよび前記予測されたブロックに基づいて画素のブロックを導出するための手段と、
前記画素ブロックを前記画素メッシュに変換するための手段とを備える、請求項３５に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般には、データ処理に関し、より詳細には、ビデオ圧縮を実施するための技術に関する。
【背景技術】
【０００２】
ビデオ圧縮は、ディジタルテレビ、ビデオ放送、テレビ会議、テレビ電話、ディジタルビデオディスク（ＤＶＤ：ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｄｉｓｃ）など、様々な応用例に広く使用されている。ビデオ圧縮は、送信しまたは格納するデータ量を著しく減少させるために、連続したビデオのフレーム間の類似性を利用する。このデータ減少は、伝送帯域幅および／または記憶空間が限られている応用例にとって特に重要である。
【０００３】
ビデオ圧縮は一般に、ビデオの各フレームを画素（ピクセル）の正方ブロックに分割し、フレームの各ブロックを処理することによって達成される。フレームのブロックの処理は、処理されているブロックに非常に似ている別のフレーム内の別のブロックを識別すること、２つのブロック間の差を決定すること、および差を符号化することを含んでもよい。この差は、予測誤差、テクスチャ、予測残差などとも呼ばれる。緊密に一致する別のブロック、すなわち参照ブロックを見つけるプロセスはしばしば、動き推定と呼ばれる。「動き推定」、「動き予測」という用語はしばしば、区別なく用いられる。差の符号化は、テクスチャ符号化とも呼ばれ、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ）など、様々な符号化ツールを用いて達成することができる。
【０００４】
ブロックベースの動き推定は、当技術ではよく知られているＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ−２６３およびＨ−２６４など、広く受け入れられているほぼすべてのビデオ圧縮規格で使用されている。ブロックベースの動き推定では、画素のブロックの動きは、小さい１組の動きベクトルによって特徴付けられ、または定義される。動きベクトルは、符号化されているブロックと参照ブロックとの間の垂直および水平の変位を示す。たとえば、あるブロックについて１つの動きベクトルが定義されるとき、そのブロック内のすべての画素は、同じ量だけ移動したと見なされ、動きベクトルは、ブロックの並進動きを定義する。ブロックベースの動き推定は、ブロックまたはサブブロックの動きが小さく、並進的であり、ブロックまたはサブブロックにわたって一様である場合にうまく働く。しかし、実際のビデオはしばしば、これらの条件に適合しない。たとえばテレビ会議中の人の顔または唇の動きはしばしば、回転および変形、ならびに並進動きを含む。さらに、隣接ブロックの動きベクトルの不連続性によって、低ビットレートの応用例では、厄介な遮断効果がもたらされ得る。ブロックベースの動き推定は、多くのシナリオにおいて、よい性能をもたらさない。
【概要】
【０００５】
領域変換を用いたメッシュベースのビデオ圧縮／復元を実施するための技術について、本明細書に述べられる。これらの技術は、ブロックベースのビデオ圧縮／復元よりも向上した性能を提供することができる。
【０００６】
一実施形態では、ビデオ符号器は、画像またはフレームを画素のメッシュに分割し、画素メッシュを処理して予測誤差のブロックを取得し、予測誤差ブロックを符号化して、画像の符号化されたデータを生成する。メッシュは、任意の多角形形状を有してもよく、ブロックは、所定の形状、たとえば所定のサイズの正方形を有してもよい。ビデオ符号器は、画素メッシュを処理して予測誤差のメッシュを取得してもよく、次いで、予測誤差メッシュを予測誤差ブロックに変換してもよい。あるいは、ビデオ符号器は、画素メッシュを画素のブロックに変換してもよく、次いで、画素ブロックを処理して予測誤差ブロックを取得してもよい。ビデオ符号器は、メッシュベースの動き推定を実施して、予測誤差の生成に用いる参照メッシュを決定することもできる。
【０００７】
一実施形態では、ビデオ復号器が、画像の復号化されたデータに基づいて予測誤差のブロックを取得し、予測誤差ブロックを処理して画素のメッシュを取得し、画像メッシュを組み立て、画像を復元する。ビデオ復号器は、予測誤差ブロックを予測誤差のメッシュに変換し、動きベクトルに基づいて、予測されたメッシュを導出し、予測誤差メッシュおよび予測されたメッシュに基づいて画素メッシュを導出してもよい。あるいは、ビデオ復号器は、動きベクトルに基づいて、予測されたブロックを導出し、予測誤差ブロックおよび予測されたブロックに基づいて画素ブロックを導出し、画素ブロックを画素メッシュに変換してもよい。
【０００８】
本開示の様々な態様および実施形態について、以下にさらに詳しく述べられる。
【０００９】
本開示の態様および実施形態は、図面と併せて考慮すると、下記に述べられる詳細な説明からより明らかになる。図面では、同じ参照符号は、全体を通して、同様のものを識別する。
【図面の簡単な説明】
【００１０】
【図１】領域変換を用いたメッシュベースのビデオ符号器を示す図。
【図２】領域変換を用いたメッシュベースのビデオ復号器を示す図。
【図３】メッシュに分割された例示的な画像を示す図。
【図４Ａ】ターゲットメッシュの動き推定を示す図。
【図４Ｂ】ターゲットメッシュの動き推定を示す図。
【図５】２つのメッシュとブロックの間の領域変換を示す図。
【図６】フレームのすべてのメッシュの領域変換を示す図。
【図７】領域変換を用いたメッシュベースのビデオ圧縮を実施するプロセスを示す図。
【図８】領域変換を用いたメッシュベースのビデオ復元を実施するプロセスを示す図。
【図９】無線装置を示すブロック図。
【詳細な説明】
【００１１】
単語「例示的な」は本明細書では、「例、事例または例証として役立つ」ことを意味するために使用されている。本明細書で「例示的」と述べられるいずれの実施形態または設計も、他の実施形態または設計よりも好ましいまたは有利であると必ずしも解釈すべきでない。
【００１２】
領域変換を用いたメッシュベースのビデオ圧縮／復元を実施するための技術について、本明細書に述べられる。メッシュベースのビデオ圧縮は、各フレームがブロックではなくメッシュに分割されるビデオの圧縮を指す。一般に、メッシュは、たとえば三角形、四辺形、五角形など、任意の多角形形状のものであってもよい。以下に詳細に述べられる一実施形態では、メッシュは、それぞれが４つの頂点を有する四辺形（ＱＵＡＤ：ｑｕａｄｒｉｌａｔｅｒａｌ）である。領域変換は、メッシュをブロックに、またはその逆に変換することを指す。ブロックは、所定の形状を有しており、一般には正方形であるが、長方形とすることもできる。これらの技術は、ブロックベースの動き推定よりも向上した性能を有し得る、メッシュベースの動き推定を使用することを可能にする。領域変換は、これらのメッシュをブロックに変換し、ブロック用に設計された符号化ツールを使用できるようにすることによって、メッシュ用の効率的なテクスチャ符号化を可能にする。
【００１３】
図１は、領域変換を用いたメッシュベースのビデオ符号器１００の一実施形態のブロック図を示している。ビデオ符号器１００内で、メッシュ生成装置１１０は、ビデオのフレームを受け取り、フレームを画素のメッシュに分割する。用語「フレーム」および「画像」はしばしば、区別なく用いられる。フレーム内の各画素メッシュは、下記に述べられるように符号化することができる。
【００１４】
加算器１１２は、ｋがフレーム内の特定のメッシュを識別するとしてターゲットメッシュｍ（ｋ）と呼ばれる、符号化する画素のメッシュを受け取る。ｋは一般に、座標、インデックスなどであり得る。加算器１１２は、ターゲットメッシュの近似値である、予測されたメッシュ
【数１】
2009545931.tif 000003
【００１５】
をも受け取る。加算器１１０は、ターゲットメッシュから予測されたメッシュを引き、予測誤差のメッシュ、Ｔｍ（ｋ）を提供する。予測誤差は、テクスチャ、予測残差などとも呼ばれる。
【００１６】
装置１１４は、後述されるように、予測誤差メッシュ、Ｔｍ（ｋ）に対してメッシュ−ブロック領域変換を実施し、予測誤差のブロック、Ｔｂ（ｋ）を提供する。予測誤差ブロックは、ブロック用の様々な符号化ツールを使用して処理してもよい。図１に示された実施形態では、装置１１６は、予測誤差ブロックに対してＤＣＴを実施し、ＤＣＴ係数のブロックを提供する。量子化器１１８は、ＤＣＴ係数を量子化し、量子化係数Ｃ（ｋ）を提供する。
【００１７】
装置１２２は、量子化係数に対して逆ＤＣＴ（ＩＤＣＴ：ｉｎｖｅｒｓｅ  ＤＣＴ）を実施し、復元された予測誤差ブロック、
【数２】
2009545931.tif 000004
【００１８】
を提供する。装置１２４は、復元された予測誤差ブロックに対してブロック−メッシュ領域変換を実施し、復元された予測誤差メッシュ
【数３】
2009545931.tif 000005
【００１９】
を提供する。
【数４】
2009545931.tif 000006
【００２０】
および
【数５】
2009545931.tif 000007
【００２１】
は、それぞれＴｍ（ｋ）およびＴｂ（ｋ）の近似値であり、様々な変換および量子化から生じ得る誤差を含む。加算器１２６は、予測されたメッシュ
【数６】
2009545931.tif 000008
【００２２】
を復元された予測誤差メッシュと合計し、復号されたメッシュ
【数７】
2009545931.tif 000009
【００２３】
をフレームバッファ１２８に提供する。
【００２４】
動き推定装置１３０は、下記に述べられるように、ターゲットメッシュのアフィン動きを推定し、ターゲットメッシュの動きベクトルＭｖ（ｋ）を提供する。アフィン動きは、並進動き、ならびに回転、剪断、スケーリング、変形などを備えてもよい。動きベクトルは、参照メッシュに対するターゲットメッシュのアフィン動きを伝える。参照メッシュは、過去のフレームからのものであっても、未来のフレームからのものであってもよい。動き補償装置１３２は、動きベクトルに基づいて参照メッシュを決定し、加算器１１２、１２６のための予測されたメッシュを生成する。予測されたメッシュは、ターゲットメッシュと同じ形状を有し、参照メッシュは、ターゲットメッシュと同じ形状を有することも、別の形状を有することもある。
【００２５】
符号器１２０は、量子化器１１８からの量子化係数、装置１３０からの動きベクトル、装置１１０からのターゲットメッシュ表現など、ターゲットメッシュに関する様々な情報を受け取る。装置１１０は、現在のフレームに関するメッシュ表現情報、たとえばフレーム内のすべてのメッシュの座標、および各メッシュの頂点を示すインデックスリストを提供してもよい。符号器１２０は、送信するデータ量を減少させるために、量子化係数に対してエントロピー符号化（たとえばハフマン符号化）を実施してもよい。符号器１２０は、各ブロックについて、量子化係数のノルムを計算し、ターゲットメッシュと参照メッシュの間に十分な差があることを示し得るノルムがしきい値を超える場合にだけ、ブロックを符号化してもよい。符号器１２０は、フレームのメッシュについてのデータおよび動きベクトルを組み立てること、タイミング同期のためのフォーマッティングの実施、ヘッダおよび構文の挿入などを行うこともできる。符号器１２０は、伝送およびまたは格納用のデータパケットまたはビットストリームを生成する。
【００２６】
ターゲットメッシュは、参照メッシュと比較してもよく、結果として生じる予測誤差は、上述されたように符号化することができる。ターゲットメッシュは、参照メッシュと比較せずに、直接に符号化することもでき、よって、イントラメッシュと呼ばれ得る。イントラメッシュは一般に、第１のビデオフレームのために送信され、予測誤差の累積を防ぐために周期的にも送信される。
【００２７】
図１は、領域変換を用いたメッシュベースのビデオ符号器の例示的な一実施形態を示している。この実施形態では、装置１１０、１１２、１２６、１３０および１３２は、符号化されている画像に応じた任意の形状およびサイズを有するＱＵＡＤであり得るメッシュに対して作用する。装置１１６、１１８、１２０および１２２は、固定サイズのブロックに対して作用する。装置１１４は、メッシュ−ブロック領域変換を実施し、装置１２４は、ブロック−メッシュ領域変換を実施する。ビデオ符号器１００の関連装置について、以下に詳細に述べられる。
【００２８】
メッシュベースのビデオ符号器の別の実施形態では、ターゲットメッシュは、ターゲットブロックに変換された領域であり、また参照メッシュは、予測されたブロックに変換された領域である。予測されたブロックは、ターゲットブロックから引かれて、ブロックベース符号化ツールを使用して処理することができる予測誤差のブロックが取得される。メッシュベースのビデオ符号化は、他の設計を用いた他のやり方で実施することもできる。
【００２９】
図２は、領域変換を用いたメッシュベースのビデオ復号器２００の一実施形態のブロック図を示している。ビデオ復号器２００は、図１のビデオ符号器１００のために使用してもよい。ビデオ復号器２００内では、復号器２２０は、ビデオ符号器１００から、符号化されたデータのパケットまたはビットストリームを受け取り、符号器１２０によって実施された符号化を補完するやり方でパケットまたはビットストリームを復号する。画像の各メッシュは、後述されるように復号することができる。
【００３０】
復号器２２０は、量子化係数Ｃ（ｋ）、動きベクトルＭｖ（ｋ）、および復号されているターゲットメッシュのメッシュ表現を提供する。装置２２２は、量子化係数に対してＩＤＣＴを実施し、復元された予測誤差ブロック
【数８】
2009545931.tif 000010
【００３１】
を提供する。装置２２４は、復元された予測誤差ブロックに対してブロック−メッシュ領域変換を実施し、復元された予測誤差メッシュ
【数９】
2009545931.tif 000011
【００３２】
を提供する。加算器２２６は、復元された予測誤差メッシュと、動き補償装置２３２からの予測されたメッシュ
【数１０】
2009545931.tif 000012
【００３３】
とを合計し、復号されたメッシュ
【数１１】
2009545931.tif 000013
【００３４】
をフレームバッファ２２８およびメッシュアセンブリ装置２３０に提供する。動き補償装置２３２は、ターゲットメッシュの動きベクトルＭｖ（ｋ）に基づいて、フレームバッファ２２８から参照メッシュを決定し、予測されたメッシュ
【数１２】
2009545931.tif 000014
【００３５】
を生成する。装置２２２、２２４、２２６、２２８および２３２は、それぞれ図１の装置１２２、１２４、１２６、１２８および１３２と同じように動作する。装置２３０は、ビデオフレームの復号化されたメッシュを受け取り、組み立て、復号されたフレームを提供する。
【００３６】
ビデオ符号器は、ターゲットメッシュ、および予測されたメッシュをブロックに変換してもよく、ターゲットおよび予測されたブロックに基づいて予測誤差のブロックを生成してもよい。この場合、ビデオ復号器は、復元された予測誤差ブロックと予測されたブロックとを合計して、復号されたブロックを取得し、次いで、復号されたブロックに対してブロック−メッシュ領域変換を実施して、復号されたメッシュを取得する。領域変換装置２２４は、加算器２２６の後に移され、動き補償装置２３２は、予測されたメッシュではなく、予測されたブロックを提供する。
【００３７】
図３は、メッシュに分割された例示的な画像すなわちフレームを示している。一般に、フレームは、任意の数のメッシュに分割することができる。図３に示されるように、これらのメッシュは、フレームの内容によって決まり得る、それぞれ異なる形状およびサイズのものであってもよい。
【００３８】
フレームをメッシュに分割するプロセスは、メッシュ作成と呼ばれる。メッシュ作成は、様々なやり方で実施してもよい。一実施形態では、メッシュ作成は、以下に簡潔に述べられる空間または時空間分割、多角形近似および三角分割法を用いて実施される。
【００３９】
空間分割は、フレームの内容に基づいてフレームを領域に分割することを指す。合理的な画像分割を得るために、当技術において知られている様々なアルゴリズムを使用してもよい。たとえば、ＪＳＥＧと呼ばれ、またＤｅｎｇ他、「Ｃｏｌｏｒ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｐｒｏｃ．ＩＥＥＥ  ＣＳＣＣ  Ｖｉｓｕａｌ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２巻、４４６〜４５１頁、１９９９年６月に記載された分割アルゴリズムを使用して、空間分割を達成してもよい。別の例として、Ｂｌａｃｋ他、「Ｔｈｅ  Ｒｏｂｕｓｔ  Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  Ｍｕｌｔｉｐｌｅ  Ｍｏｔｉｏｎｓ：Ｐａｒａｍｅｔｒｉｃ  ａｎｄ  Ｐｉｅｃｅｗｉｓｅ−Ｓｍｏｏｔｈ」、Ｃｏｍｐｕｔ．Ｖｉｓ．Ｉｍａｇｅ  Ｕｎｄｅｒｓｔ．、６３、（１）、７５〜１０４頁、１９９６年に記載された分割アルゴリズムを使用して、２つのフレーム間の高密度オプティカルフローを推定してもよい。
【００４０】
フレームの空間分割は、以下のように実施してもよい。
【００４１】
・ＪＳＥＧを使用するフレームの初期空間分割を実施する。
【００４２】
・２つの隣接フレーム間の高密度オプティカルフロー（画素動き）を計算する。
【００４３】
・初期領域が高い動きベクトル差異を有する場合、初期空間分割の領域をより小さい２つの領域に分割する。
【００４４】
・初期領域が類似の平均動きベクトルを有し、結合差異が比較的低い場合、初期空間分割の２つの領域を１つの領域に併合する。
【００４５】
分割および併合ステップは、ピクセル動き特性に基づいて、初期空間分割を精緻化するために使用される。
【００４６】
多角形近似は、多角形を用いたフレームの各領域の近似を指す。共通の領域境界に基づく近似アルゴリズムが、多角形近似に使用されてもよい。このアルゴリズムは、以下のように動作する。
【００４７】
・隣接領域の各対について、その共通の境界、たとえば端点ＰａおよびＰｂを有する共通境界に沿った曲線を見つける。
【００４８】
・最初、２つの端点ＰａおよびＰｂは、２つの領域間の曲線境界の多角形近似点である。
【００４９】
・端点ＰａとＰｂを接続する直線からの最大垂直距離を有する曲線境界上の点Ｐｎが決定される。この距離がしきい値ｄｍａｘを超える場合は、点Ｐｎで、新しい多角形近似点が選択される。次いで、このプロセスは、ＰａからＰｎの曲線境界、およびＰｎからＰｂの曲線境界にも再帰的に適用される。
【００５０】
・新しい多角形近似点が加えられない場合、ＰａからＰｂの直線は、これらの２つの端点間の曲線境界の適切な近似である。
【００５１】
・最初、ｄｍａｘの大きい値が使用され得る。すべての境界がセグメントで近似されると、ｄｍａｘは、減少させてもよく（たとえば半減させてもよく）、このプロセスが繰り返され得る。これは、ｄｍａｘが十分に正確な多角形近似を達成できるほど小さくなるまで継続してもよい。
【００５２】
三角分割法は、各多角形内に三角形、および最終的にはＱＵＡＤメッシュを作成することを指す。三角分割法は、Ｊ．Ｒ．Ｓｈｅｗｃｈｕｋ、「Ｔｒｉａｎｇｌｅ：Ｅｎｇｉｎｅｅｒｉｎｇ  ａ  ２Ｄ  Ｑｕａｌｉｔｙ  Ｍｅｓｈ  Ｇｅｎｅｒａｔｏｒ  ａｎｄ  Ｄｅｌａｕｎａｙ  Ｔｒｉａｎｇｕｌａｔｏｒ」、Ａｐｐｌ．Ｃｏｍｐ．Ｇｅｏｍ．：Ｔｏｗａｒｄｓ  Ｇｅｏｍ．Ｅｎｇｉｎｅ、ｓｅｒ．Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ、１１４８、２０３〜２２２頁、１９９６年５月に記載されるように実施してもよい。この文献は、各多角形の内部にドローネーメッシュを生成し、多角形の端を強制的にメッシュの一部とすることについて述べている。多角形境界は、平面の直線グラフ内のセグメントとして指定され、可能であれば、すべての角度が２０度より大きい三角形が作成される。三角分割法プロセスの間、１つの多角形につき最大４つの内部ノードが加えられてもよい。次いで、隣接する三角形は、併合アルゴリズムを使用して組み合わせて、ＱＵＡＤメッシュを形成してもよい。三角分割法の結果は、メッシュに分割されたフレームである。
【００５３】
図１を参照すると、動き推定装置１３０は、現在のフレームの各メッシュの動きパラメータを推定してもよい。一実施形態では、各メッシュの動きは、１つのメッシュの動き推定が隣接メッシュの動き推定に影響を及ぼさないように、それぞれ独立に推定される。一実施形態では、メッシュの動き推定は、２ステップのプロセスで実施される。第１のステップは、メッシュの並進動きを推定する。第２のステップは、メッシュの他のタイプの動きを推定する。
【００５４】
図４Ａは、ターゲットメッシュ４１０の並進動きの推定について示している。現在のフレームのターゲットメッシュ４１０は、現在のフレームの前または後の別のフレーム内の候補メッシュ４２０と突き合わされる。候補メッシュ４２０は、Δｘが水平すなわちｘ方向の並進量を表し、Δｙが垂直すなわちｙ方向の並進量を表すとして、ターゲットメッシュ４１０から（Δｘ，Δｙ）だけ並進され、またはシフトされる。メッシュ４１０と４２０の突合せは、ターゲットメッシュ４１０内の画素の強度（たとえばカラーやグレースケール）強度と、候補メッシュ４２０内の対応する画素の強度との間のメトリックを計算することによって実施してもよい。このメトリックは、２乗平均誤差（ＭＳＥ：ｍｅａｎ  ｓｑｕａｒｅ  ｅｒｒｏｒ）、平均絶対誤差、または他の何らかの適切なメトリックであってもよい。
【００５５】
ターゲットメッシュ４１０は、現在のフレームの前の過去フレーム、および／または現在のフレームの後の未来フレーム内の様々な（Δｘ，Δｙ）並進における複数の候補メッシュと突き合わせてもよい。それぞれの候補メッシュは、ターゲットメッシュと同じ形状を有する。並進は、特定の探索領域に制限されてもよい。メトリックは、候補メッシュ４２０について上述されたように、各候補メッシュについて計算されてもよい。最良のメトリック（たとえば最小ＭＳＥ）をもたらすシフトが、ターゲットメッシュの並進動きベクトル（Δｘｔ，Δｙｔ）として選択される。最良のメトリックを有する候補メッシュは、選択されたメッシュと呼ばれ、選択されたメッシュを含むフレームは、参照フレームと呼ばれる。選択されたメッシュおよび参照フレームは、第２の段階で使用される。並進動きベクトルは、整数画素精度まで計算してもよい。サブピクセル精度は、第２のステップで達成してもよい。
【００５６】
第２のステップで、選択されたメッシュは、ターゲットメッシュへのよりよい一致を得ることができるかどうか判断するためにワープされる。ワーピングを使用して、回転、剪断、変形、スケーリングなどに起因する動きを決定してもよい。一実施形態では、選択されたメッシュは、他の３つの頂点を固定したまま一度に１つの頂点を移動することによりワープされる。ターゲットメッシュの各頂点は、下式のように、ワープされたメッシュの対応する頂点に関連する。
【数１３】
2009545931.tif 000015
【００５７】
ただし、ｉは、メッシュの４つの頂点のインデックスであり、
（Δｘｔ，Δｙｔ）は、第１のステップで得られた並進動きベクトルであり、
（Δｘｉ，Δｙｉ）は、ワープされたメッシュの頂点ｉの追加の変位であり、
（ｘｉ，ｙｉ）は、ターゲットメッシュの頂点ｉの座標であり、
（ｘ’ｉ，ｙ’ｉ）は、ワープされたメッシュの頂点ｉの座標である。
【００５８】
ターゲットメッシュ内の各画素または点について、ワープされたメッシュ内の対応する画素または点を、下式のように、８パラメータの双一次変換に基づいて決定してもよい。
【数１４】
2009545931.tif 000016
【００５９】
ただし、ａ１，ａ２，…，ａ８は、８つの双一次変換係数であり、
（ｘ，ｙ）は、ターゲットメッシュ内の画素の座標であり、
（ｘ’，ｙ’）は、ワープされたメッシュ内の対応する画素の座標である。
【００６０】
双一次変換係数を決定するために、式（２）が、４つの頂点について計算され、下式のように表現され得る。
【数１５】
2009545931.tif 000017
【００６１】
ターゲットメッシュおよびワープされたメッシュの４つの頂点の座標（ｘｉ，ｙｉ）および（ｘ’ｉ，ｙ’ｉ）は知られている。座標（ｘ’ｉ，ｙ’ｉ）は、式（１）に示されるように、ワーピングからの追加の変位（Δｘｉ，Δｙｉ）を含む。
【００６２】
式（３）は、下式のように、行列の形で表現することができる。
【数１６】
2009545931.tif 000018
【００６３】
ただし、ｘは、ワープされたメッシュの４つの頂点の８×１座標ベクトルであり、
Ｂは、式（３）の等式の右辺の８×８行列であり、
ａは、双一次変換係数の８×１ベクトルである。
【００６４】
双一次変換係数は、下式のように得ることができる。
【数１７】
2009545931.tif 000019
【００６５】
行列Ｂ−１は、第２のステップで、ターゲットメッシュについて一度だけ計算される。これは、行列Ｂが、ワーピングの間に変化しない、ターゲットメッシュの頂点の座標を含むからである。
【００６６】
図４Ｂは、第２のステップのターゲットメッシュの非並進動き推定を示している。選択されたメッシュ４３０の４つの頂点はそれぞれ、他の３つの頂点を固定したまま、小さい探索領域内で移動され得る。ワープされたメッシュ４４０は、他の３つの頂点を固定した状態で、１つの頂点を（Δｘｉ，Δｙｉ）だけ移動することによって得られる。ターゲットメッシュ（図４Ｂに図示せず）は、（ａ）たとえば式（２）に示されるように、ターゲットメッシュ内の画素に対応するワープされたメッシュ４４０内の画素を決定し、（ｂ）ターゲットメッシュ内の画素の強度、およびワープされたメッシュ４４０内の対応する画素の強度に基づいてメトリックを計算することによって、ワープされたメッシュ４４０と突き合わされる。メトリックは、ＭＳＥ、平均絶対差、または他の何らかの適切なメトリックであってもよい。
【００６７】
所与の頂点について、ターゲットメッシュは、その頂点のそれぞれ異なる（Δｘｉ，Δｙｉ）変位で得られた複数のワープ済みメッシュと突き合わせてもよい。メトリックが、それぞれのワープ済みメッシュについて計算されてもよい。最良のメトリック（たとえば最小ＭＳＥ）をもたらす（Δｘｉ，Δｙｉ）変位が、その頂点の追加の動きベクトル（Δｘｉ，Δｙｉ）として選ばれる。４つの頂点の４つの追加の動きベクトルを得るために、４つの頂点のそれぞれについて、同じ処理を実施してもよい。
【００６８】
図４Ａおよび４Ｂに示される実施形態では、ターゲットメッシュの動きベクトルは、並進動きベクトル（Δｘｔ，Δｙｔ）と、ｉ＝１，２，３，４として、４つの頂点についての４つの追加の動きベクトル（Δｘｉ，Δｙｉ）とを備える。これらの動きベクトルは、ｉ＝１，２，３，４として、ターゲットメッシュの４つの頂点についての４つのアファイン動きベクトル（Δｘ’ｉ，Δｙ’ｉ）を得るために組み合わされ、たとえば（Δｘ’ｉ，Δｙ’ｉ）＝（Δｘｔ，Δｙｔ）＋（Δｘｉ，Δｙｉ）となる。アフィン動きベクトルは、様々なタイプの動きを伝える。
【００６９】
ターゲットメッシュのアフィン動きは、計算を減少させることができる上記の２ステッププロセスで推定してもよい。アフィン動きは、他のやり方で推定することもできる。別の実施形態では、アフィン動きは、上述されたように、まず並進動きを推定し、次いで探索空間にわたって複数の（たとえば４つのすべての）頂点を同時に移動することによって推定される。別の実施形態では、アフィン動きは、まず並進動きを推定せずに、一度に１つの頂点を移動することによって推定される。別の実施形態では、アフィン動きは、まず並進動きを推定せずに、４つのすべての頂点を同時に移動することによって推定される。一般に、一度に１つの頂点を移動すると、４つのすべての頂点を同時に移動するよりも少ない計算で、適度によい動き推定がもたらされ得る。
【００７０】
動き補償装置１３２は、動き推定装置１３０からアフィン動きベクトルを受け取り、ターゲットメッシュについての予測されたメッシュを生成する。アフィン動きベクトルは、ターゲットメッシュのための参照メッシュを定義する。参照メッシュは、ターゲットメッシュと同じ形状を有することも、それとは異なる形状を有することもある。装置１３２は、１組の双一次変換係数を用いて参照メッシュに対してメッシュ−メッシュ領域変換を実施して、ターゲットメッシュと同じ形状を有する予測されたメッシュを取得してもよい。
【００７１】
領域変換装置１１４は、任意の形状を有するメッシュを、たとえば正方形や長方形などの所定の形状を有するブロックに変換する。メッシュは、下式のように、８係数双一次変換を使用して単位正方形ブロックにマッピングすることができる。
【数１８】
2009545931.tif 000020
【００７２】
ただし、ｃ１，ｃ２，…，ｃ８は、メッシュ−ブロック領域変換のための８つの係数である。
【００７３】
式（６）は、式（３）と同じ形を有する。しかし、等式の左辺のベクトルでは、式（３）の４つのメッシュ頂点の座標は、式（６）では４つのブロック頂点の座標で置き換えられており、したがって、（ｕ１，ｖ１）＝（０，０）が（ｘ’１，ｙ’１）に取って代わり、（ｕ２，ｖ２）＝（０，１）が（ｘ’２，ｙ’２）に取って代わり、（ｕ３，ｖ３）＝（１，１）が（ｘ’３，ｙ’３）に取って代わり、（ｕ４，ｖ４）＝（１，０）が（ｘ’４，ｙ’４）に取って代わる。さらに、式（３）の係数ベクトルａ１，ａ２，…，ａ８は、式（６）では、係数ベクトルｃ１，ｃ２，…，ｃ８で置き換えられる。式（６）は、係数ｃ１，ｃ２，…，ｃ８を使用して、ターゲットメッシュを単位正方形ブロックにマッピングする。
【００７４】
式（６）は、下式のように、行列の形で表現することができる。
【数１９】
2009545931.tif 000021
【００７５】
ただし、ｕは、ブロックの４つの頂点の８×１座標ベクトルであり、
ｃは、メッシュ−ブロック領域変換の８×１係数ベクトルである。
【００７６】
領域変換係数ｃは、下式のように得ることができる。
【数２０】
2009545931.tif 000022
【００７７】
ただし、行列Ｂ−１は、動き推定時に計算される。
【００７８】
メッシュ−ブロック領域変換は、下式のように実施することができる。
【数２１】
2009545931.tif 000023
【００７９】
式（９）は、ターゲットメッシュ内の座標（ｘ，ｙ）上の画素または点をブロック内の座標（ｕ，ｖ）上の対応する画素または点にマッピングする。ターゲットメッシュ内の画素はそれぞれ、ブロック内の対応する画素にマッピングしてもよい。マップされた画素の座標は、整数値でないことがある。整数座標上の画素を得るために、ブロック内のマップされた画素に対して補間を実施してもよい。次いで、ブロックは、ブロックベースの符号化ツールを使用して処理してもよい。
【００８０】
領域変換装置１２４は、下式のように、８係数双一次変換を使用して単位正方形ブロックをメッシュに変換する。
【数２２】
2009545931.tif 000024
【００８１】
ただし、ｄ１，ｄ２，…ｄ８は、ブロック−メッシュ領域変換の８つの係数である。
【００８２】
式（１０）は、式（３）と同じ形を有する。しかし、等式の右辺の行列では、式（３）内の４つのメッシュ頂点の座標は、式（１０）では４つのブロック頂点の座標で置き換えられており、したがって、（ｕ１，ｖ１）＝（０，０）が（ｘ１，ｙ１）に取って代わり、（ｕ２，ｖ２）＝（０，１）が（ｘ２，ｙ２）に取って代わり、（ｕ３，ｖ３）＝（１，１）が（ｘ３，ｙ３）に取って代わり、（ｕ４，ｖ４）＝（１，０）が（ｘ４，ｙ４）に取って代わる。さらに、式（３）の係数のベクトルａ１，ａ２，…，ａ８は、式（１０）では、係数のベクトルｄ１，ｄ２，…，ｄ８で置き換えられる。式（１０）は、係数ｄ１，ｄ２，…，ｄ８を使用して、単位正方形ブロックをメッシュにマッピングする。
【００８３】
式（１０）は、下式のように、行列の形で表現することができる。
【数２３】
2009545931.tif 000025
【００８４】
ただし、ｙは、メッシュの４つの頂点の８×１座標ベクトルであり、
Ｓは、式（１０）の等式の右辺の８×８行列であり、
ｄは、ブロック−メッシュ領域変換の８×１係数ベクトルである。
【００８５】
領域変換係数ｄは、下式のように得ることができる。
【数２４】
2009545931.tif 000026
【００８６】
ただし、行列Ｓ−１は、一度計算され、すべてのメッシュに使用することができる。
【００８７】
ブロック−メッシュ領域変換は、下式のように実施することができる。
【数２５】
2009545931.tif 000027
【００８８】
図５は、２つのメッシュと１つのブロックの間の領域変換を示している。メッシュ５１０は、式（９）に基づいて、ブロック５２０にマッピングすることができる。ブロック５２０は、式（１３）に基づいて、メッシュ５３０にマッピングすることができる。メッシュ５１０は、式（２）に基づいて、メッシュ５３０にマッピングすることができる。これらの領域変換の係数は、上記と同様に決定することができる。
【００８９】
図６は、フレーム６１０のすべてのメッシュに対して実施される領域変換を示している。この実施例では、フレーム６１０のメッシュ６１２、６１４および６１６は、メッシュ−ブロック領域変換を使用して、それぞれフレーム６２０のブロック６２２、６２４および６２６にマッピングされる。フレーム６２０のブロック６２２、６２４および６２６は、ブロック−メッシュ領域変換を使用して、それぞれフレーム６１０のメッシュ６１２、６１４および６１６にマッピングすることもできる。
【００９０】
図７は、領域変換を用いたメッシュベースのビデオ圧縮を実施するプロセス７００の実施形態を示している。画像が、画素のメッシュに分割される（ブロック７１０）。画素メッシュを処理して、予測誤差のブロックを取得する（ブロック７２０）。予測誤差ブロックを符号化して、画像の符号化されたデータを生成する（ブロック７３０）。
【００９１】
画素メッシュを処理して、予測誤差のメッシュを取得してもよく、この予測誤差メッシュを領域変換して、予測誤差ブロックを取得してもよい。あるいは、画素メッシュを領域変換して、画素のブロックを得てもよく、この画素ブロックを処理して、予測誤差ブロックを取得してもよい。ブロック７２０の一実施形態では、画素メッシュに対して動き推定を実施して、これらのメッシュの動きベクトルを取得する（ブロック７２２）。画素のメッシュの動き推定は、（１）画素メッシュの並進動きを推定し、（２）残りの頂点を固定したままで、探索空間にわたって一度に１つの頂点を変更することによって他のタイプの動きを推定することによって実施してもよい。予測されたメッシュは、動きベクトルによって決まる頂点を有する参照メッシュに基づいて導出される（ブロック７２４）。予測誤差のメッシュは、画素メッシュおよび予測されたメッシュに基づいて導出される（ブロック７２６）。予測誤差メッシュを領域変換して、予測誤差ブロックを取得する（ブロック７２８）。
【００９２】
それぞれのメッシュは、任意の形状を有する四辺形であってもよく、それぞれのブロックは、所定のサイズの正方形であってもよい。メッシュは、双一次変換に従ってブロックに変換することができる。たとえば式（６）から（８）に示されたように、各メッシュについて１組の係数を、メッシュの頂点に基づいて決定することができる。それぞれのメッシュは、たとえば式（９）に示されたように、そのメッシュの１組の係数に基づいてブロックに変換することができる。
【００９３】
符号化は、（ａ）各予測誤差ブロックに対してＤＣＴを実施して、ＤＣＴ係数のブロックを取得すること、および（ｂ）ＤＣＴ係数ブロックに対してエントロピー符号化を実施することを含んでもよい。各予測誤差ブロックについて、メトリックを決定してもよく、予測誤差ブロックは、メトリックがしきい値を超える場合、符号化され得る。符号化された予測誤差ブロックを使用して、予測誤差メッシュを復元してもよく、この予測誤差メッシュは、画像を復元するために使用してもよい。復元された画像は、別の画像の動き推定のために使用してもよい。
【００９４】
図８は、領域変換を用いたメッシュベースのビデオ復元を実施するプロセス８００の一実施形態を示している。予測誤差のブロックが、画像の符号化されたデータに基づいて取得される（ブロック８１０）。予測誤差ブロックを処理して、画素のメッシュを取得する（ブロック８２０）。画素メッシュを組み立てて、画像を復元する（ブロック８３０）。
【００９５】
ブロック８２０の一実施形態では、予測誤差ブロックは、予測誤差のメッシュに領域変換され（ブロック８２２）、予測されたメッシュが、動きベクトルに基づいて導出され（ブロック８２４）、画素メッシュが、予測誤差メッシュ、および予測されたメッシュに基づいて導出される（ブロック８２６）。ブロック８２０の別の実施形態では、予測されたブロックが、動きベクトルに基づいて導出され、画素ブロックが、予測誤差ブロックおよび予測されたブロックに基づいて導出され、画素ブロックを領域変換して、画素メッシュを取得する。両方の実施形態において、各画素メッシュについて参照メッシュを、その画素メッシュの動きベクトルに基づいて決定することができる。参照メッシュを領域変換して、予測されたメッシュまたはブロックを取得してもよい。ブロック−メッシュ領域変換は、（１）対応するメッシュの頂点に基づいてブロックについての１組の係数を決定し、（２）１組の係数に基づいてブロックを対応するメッシュに変換することによって達成してもよい。
【００９６】
本明細書に述べられたビデオ圧縮／復元技術は、向上した性能を提供することができる。各ビデオフレームは、メッシュで表すことができる。ビデオは、あるフレームから次のフレームへの各メッシュの連続的アファインまたは透視変換として扱われる。アファイン変換は、並進、回転、スケーリングおよび剪断を含み、透視変換はさらに、透視ワーピングを含む。メッシュベースのビデオ圧縮の１つの利点は、動き推定の柔軟性および精度である。メッシュは、並進動きだけにもはや制限されず、そうではなく、一般的で現実的なタイプのアファイン／透視動きを有し得る。アフィン変換では、各メッシュ内の画素の動きは、メッシュ頂点の動きベクトルの双線補間または一次近似である。対照的に、各ブロックまたはサブブロック内の画素動きは、ブロックベース手法では、ブロック−サブブロックの頂点または中心の動きの最近隣近似または零次近似である。
【００９７】
メッシュベースのビデオ圧縮は、ブロックベースのビデオ圧縮より正確に動きをモデル化することができ得る。より正確な動き推定は、ビデオの時間冗長性を減少させることができる。したがって、予測誤差（テクスチャ）の符号化は、特定の場合には必要でないことがある。符号化されたビットストリームは、イントラフレーム（Ｉフレーム）の時々の更新を伴うメッシュフレームのシーケンスによって支配され得る。
【００９８】
メッシュベースのビデオ圧縮の別の利点は、フレーム間補間である。事実上無限の数の中間フレームが、隣接フレームのメッシュグリッドを補間し、いわゆるフレームフリーのビデオを生成することによって作成され得る。メッシュグリッド補間は、メッシュがシーンの正確な表現であるとき、滑らかで連続的であり、アーティファクトをほとんど生じさせない。
【００９９】
領域変換は、不規則な形状を有するメッシュの予測誤差（テクスチャ）に対処する有効なやり方を提供する。領域変換は、Ｉフレームのメッシュ（すなわちイントラメッシュ）のブロックへのマッピングをも可能にする。テクスチャおよびイントラメッシュのブロックは、当技術分野において使用可能な様々なブロックベースの符号化ツールを使用して、効率的に符号化することができる。
【０１００】
本明細書に述べられたビデオ圧縮／復元技術は、通信、コンピューティング、ネットワーキング、個人向け電子機器などに使用してもよい。これらの技術を無線通信用に使用することの一例について、下記に述べられる。
【０１０１】
図９は、無線通信方式の無線装置９００の一実施形態のブロック図を示している。無線装置９００は、携帯電話、端末、ハンドセット、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）、または他の何らかの装置であってもよい。無線通信方式は、符号分割多元接続（ＣＤＭＡ：Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）システム、移動通信用グローバルシステム（ＧＳＭ：Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）システム、または他の何らかのシステムであってもよい。
【０１０２】
無線装置９００は、受信経路および送信経路を介して双方向通信を提供することができる。受信経路において、基地局によって送信された信号が、アンテナ９１２によって受け取られ、受信機（ＲＣＶＲ：ｒｅｃｅｉｖｅｒ）９１４に提供される。受信機９１４は、受信された信号を調節し、ディジタル化し、さらなる処理のためにディジタル部９２０にサンプルを提供する。伝送経路上で、送信機（ＴＭＴＲ：ｔｒａｎｓｍｉｔｔｅｒ）９１６は、ディジタル部９２０から送信されるデータを受信し、データを処理し、調節し、アンテナ９１２を介して基地局に送信される被変調信号を生成する。
【０１０３】
ディジタル部９２０は、たとえばモデムプロセッサ９２２、アプリケーションプロセッサ９２４、表示プロセッサ９２６、コントローラ／プロセッサ９３０、内部メモリ９３２、グラフィックスプロセッサ９４０、ビデオ符号器／復号器９５０および外部バスインターフェース（ＥＢＩ：ｅｘｔｅｒｎａｌ  ｂｕｓ  ｉｎｔｅｒｆａｃｅ）９６０など、様々な処理、メモリ、およびインターフェース装置を含む。モデムプロセッサ９２２は、データ送受信のための処理、たとえば符号化、変調、復調および復号を実施する。アプリケーションプロセッサ９２４は、多方向呼出し、ウェブブラウジング、メディアプレイヤーおよびユーザインターフェースなど、様々なアプリケーションの処理を実施する。表示プロセッサ９２６は、表示装置９８０上にビデオ、グラフィックスおよびテキストを表示することを容易にするための処理を実施する。グラフィックスプロセッサ９４０は、グラフィックスアプリケーションのための処理を実施する。ビデオ符号器／復号器９５０は、メッシュベースのビデオ圧縮および復元を実施し、ビデオ圧縮用に図１のビデオ符号器１００、またビデオ復元用に図２のビデオ復号器２００を実装してもよい。ビデオ符号器／復号器９５０は、カムコーダ、ビデオ再生、テレビ会議など、ビデオアプリケーションをサポートしてもよい。
【０１０４】
コントローラ／プロセッサ９３０は、ディジタル部９２０内の様々な処理およびインターフェース装置の操作を指示してもよい。メモリ９３２、９７０は、処理装置のためのプログラムコードおよびデータを格納する。ＥＢＩ  ９６０は、ディジタル部９２０と主記憶装置９７０の間のデータ転送を容易にする。
【０１０５】
ディジタル部９２０は、１つまたは複数のディジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ  ｉｎｓｔｒｕｃｔｉｏｎ  ｓｅｔ  ｃｏｍｐｕｔｅｒ）などで実装してもよい。ディジタル部９２０は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、または他の何らかのタイプの集積回路（ＩＣ：ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）内に作ることもできる。
【０１０６】
本明細書に述べられたビデオ圧縮／復元技術は、様々な手段で実装することができる。たとえば、これらの技術は、ハードウェア、ファームウェア、ソフトウェアまたはその組合せで実装してもよい。ハードウェア実装では、ビデオ圧縮／復元を実施するために使用される処理装置は、１つまたは複数のＡＳＩＣ、ＤＳＰ、ディジタル信号処理装置（ＤＳＰＤ：ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｄｅｖｉｃｅ）、プログラマブル論理デバイス（ＰＬＤ：ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に述べられた機能を実施するように設計された他の電子装置、あるいはその組合せで実装してもよい。
【０１０７】
ファームウェアおよび／またはソフトウェア実装では、これらの技術は、本明細書で述べられた機能を実施するモジュール（手順、関数など）で実装してもよい。ファームウェアおよび／またはソフトウェアコードは、メモリ（たとえば図９のメモリ９３２および／または９７０）に格納し、プロセッサ（たとえばプロセッサ９３０）によって実行してもよい。メモリは、プロセッサ内で実装しても、プロセッサの外部で実装してもよい。
【０１０８】
開示された諸実施形態についての上記説明は、当業者が本開示を作成しまたは使用することを可能にするために提供されている。これらの実施形態への様々な修正が当業者には容易に明らかになり、本明細書に定義された一般的な原則は、本開示の精神または範囲から逸脱せずに他の実施形態に適用してもよい。したがって、本開示は、本明細書に示された諸実施形態に限定されるものではないが、本明細書に開示された原理および新規な特徴に一致する最も広い範囲が与えられるものである。
【図１】
2009545931.tif 000028
【図２】
2009545931.tif 000029
【図３】
2009545931.tif 000030
【図４Ａ】
2009545931.tif 000031
【図４Ｂ】
2009545931.tif 000032
【図５】
2009545931.tif 000033
【図６】
2009545931.tif 000034
【図７】
2009545931.tif 000035
【図８】
2009545931.tif 000036
【図９】
2009545931.tif 000037
【国際調査報告】
2009545931.tif 000038
2009545931.tif 000039