(57)【要約】本発明は、基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための方法であって、該オブジェクトを再現するために使用することができる全データストリームを供給する方法に関係する。本発明によれば、前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、前記全データストリームにはポジショニングデータが挿入されて該全データストリームにおける前記オブジェクトの一部分に関係するウェーブレット係数を特定して前記部分集合の少なくとも１つのウェーブレット係数を用いて該一部分を選択的に再現することができるようになっている。
2004535644.tif 000002
【特許請求の範囲】
【請求項１】
基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための方法であって、
該オブジェクトを再現するために使用することができる全データストリームを供給するものであり、
前記ウェーブレット係数はそれぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、前記全データストリームにはポジショニングデータが挿入されて該全データストリームにおける前記オブジェクトの一部分に関係するウェーブレット係数を特定して前記部分集合の少なくとも１つのウェーブレット係数を用いて該一部分を選択的に再現することができるようにしたことを特徴とする方法。
【請求項２】
前記分離した部分集合が、それぞれ基本ファセットであることを特徴とする請求項１に記載の方法。
【請求項３】
少なくとも１つの重要でない部分を検出するステップと、
前記重要でない部分をそれぞれ特定処理するステップと
を前記符号化において実行することを特徴とする請求項１または２に記載の方法。
【請求項４】
「ゼロツリー（zero-tree）」型技術を前記符号化において導入することを特徴とする請求項１から３のいずれかに記載の方法。
【請求項５】
前記全データストリームは、前記ポジショニングデータの少なくとも或る一定のものを含むヘッダと、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含むウェーブレット係数ゾーンとを含むことを特徴とする請求項１から４のいずれかに記載の方法。
【請求項６】
前記ヘッダに含まれる前記ポジショニングデータは、前記データストリームにおける特定された要素の位置と或るサブゾーンの開始点との間の距離を明確にして該サブゾーンを特定することを特徴とする請求項５に記載の方法。
【請求項７】
前記ヘッダは、
基本ファセットの数と、
ウェーブレットのタイプと、
前記オブジェクトについての情報と、
前記ポジショニングデータの符号化に関する情報と
を含むグループに属する或る一定の情報を最小限更に含むことを特徴とする請求項５または６に記載の方法。
【請求項８】
前記全データストリームは、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含む少なくとも１つのウェーブレット係数ゾーンを含み、前記ポジショニングデータは、各前記サブゾーンの開始点及び／または終点に少なくとも１つのマーカを含むことを特徴とする請求項１から４のいずれかに記載の方法。
【請求項９】
前記サブゾーンは、前記データストリーム内において基本ファセットの昇順に編成されることを特徴とする請求項５から８のいずれかに記載の方法。
【請求項１０】
第１に少なくとも１つのサーバ及び／または少なくとも１つのデータ媒体と第２に少なくとも１つの表示端末との間において、第１に基本ファセットの集合によって構成される基本メッシュと第２に該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトの再現を可能にするデータストリームを伝送するための方法であって、
視聴される前記オブジェクトの一部分を明確にするリクエストを受信するステップと、
前記リクエストに応じて、前記データストリーム内に存在するポジショニングデータを解析して、該データストリーム内における前記一部分に関連するウェーブレット係数を特定することができるようにするステップと、
特定されたウェーブレット係数を抽出して、縮小させたデータストリームを形成するステップと、
前記縮小させたデータストリームを伝送するステップと
を含んでなることを特徴とする、データストリームを伝送するための方法。
【請求項１１】
基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトを表す信号であって、
少なくとも１つのウェーブレット係数ゾーンと、前記オブジェクトの一部分に関係するウェーブレット係数を特定することができるようにするポジショニングデータを含む少なくとも１つのポジショニングデータゾーンとを含んでなることを特徴とする信号。
【請求項１２】
前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、当該信号は、前記ポジショニングデータの少なくとも或る一定のものを含むヘッダと、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含むウェーブレット係数ゾーンとを含んでなることを特徴とする請求項１１に記載の信号。
【請求項１３】
前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、当該信号は、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含む少なくとも１つのウェーブレット係数ゾーンを含み、前記ポジショニングデータは、各前記サブゾーンの開始点及び／または終点に少なくとも１つのマーカを含むことを特徴とする請求項１１に記載の信号。
【請求項１４】
コンピュータにより使用可能な媒体に記録されており、基本ファセットの集合によって構成される基本メッシュと該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元の符号化されたオブジェクトの再現を可能にする全データストリームであって、
前記ウェーブレット係数はそれぞれが個々の独立な符号化を受ける少なくとも２つの分離した部分集合へと分割されており、当該全データストリームにはこの全データストリームにおいて前記オブジェクトの一部分に関連するウェーブレット係数の特定を可能にするポジショニングデータが挿入され、前記部分集合の少なくとも１つの部分集合に属するウェーブレット係数を用いて前記一部分を選択的に再現することを可能にしたことを特徴とする全データストリーム。
【請求項１５】
請求項１から９のいずれかに記載された方法に基づいて符号化された少なくとも２次元のオブジェクトの再現を可能にすることを特徴とする請求項１４に記載の全データストリーム。
【請求項１６】
第１に少なくとも１つのサーバ及び／または少なくとも１つのデータ媒体と第２に少なくとも１つの視聴端末との間において、第１に基本ファセットの集合によって構成された基本メッシュと第２に該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連したオブジェクトの再現を可能にするデータストリームを伝送するためのシステムであって、
表示される前記オブジェクトの一部分を明確にするリクエストを受信する手段と、
前記データストリーム内に存在する前記ポジショニングデータを解析して、該データストリーム内における前記一部分に関連するウェーブレット係数を特定することができるようにする手段と、
特定されたウェーブレット係数を抽出して、縮小させたデータストリームを形成する手段と、
前記縮小させたデータストリームを伝送する手段と
を含んでなることを特徴とする、データストリームを伝送するためのシステム。
【請求項１７】
基本ファセットの集合から構成される基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトの表示端末であって、
該オブジェクトの再現を可能にする全データストリームを受信するための手段を含み、
サーバ及び／またはデータ媒体から受信される視聴されるべき前記オブジェクトの一部分に関連するウェーブレット係数を包含する縮小させたデータストリームから該一部分を再現するために該サーバ及び／またはデータ媒体に向けて該一部分を明確にするリクエストを形成するための手段を更に含むことを特徴とする表示端末。
【請求項１８】
請求項１から９のいずれかに記載された方法に基づいて符号化された少なくとも１つのオブジェクトを記憶するための手段と、請求項１０に記載された方法を実行する伝送手段とを含むサーバ。
【請求項１９】
基本ファセットの集合によって構成される基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための装置であって、
該オブジェクトの再現を可能にする全データストリームを生成するものであり、
前記ウェーブレット係数を少なくとも２つの分離した部分集合へと分割し、
該部分集合のそれぞれに個々の独立した符号化を適用し、
前記全データストリーム内にこの全データストリームにおいて前記オブジェクトの一部分に関連するウェーブレット係数を特定することができるようにするポジショニングデータを挿入するための手段を含み、前記部分集合の少なくとも１つの部分集合に属するウェーブレット係数を用いて前記一部分を選択的に再現することができるようにしたことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも２次元のメッシュ状オブジェクト（meshed objects）を符号化する技術に関する。より具体的には、本発明は、「ウェーブレット（wavelet）」法として知られている方法を導入してグラフィックシーンのオブジェクトに関連したメッシュ、またはメッシュ符号化されたテクスチャを表現して符号化する技術に関する。本発明は、それに限定はされないが、特に第２世代ウェーブレット（second-generation wavelets）に適用することができる。この第２世代ウェーブレットは、例えば、Wim Sweldens著の「The Lifting Scheme : A Construction of Second Generation Wavelets」（SIAM journal on Mathematical Analysis，１９９８年，第２９巻，第２号，ｐp．５１１−５４６）に提示されている。
【背景技術】
【０００２】
本発明は、画像の記憶及び／または伝送を最適化することが望ましい全ての分野において適用することができる。本発明は、それに限定はされないが、特に、３Ｄモデルと、エレベーショングリッド（lifting grids）と、２次元メッシュによって符号化されたオブジェクト及びテクスチャとの記憶および伝送に適用することができる。
【０００３】
「ウェーブレット」符号化法と呼ばれているものは、或るメッシュをその基本メッシュに一連の詳細を付け加えたものとして表すために使用されるものであることが思い起こされるだろう。この技術の一般理論は、具体的にはM. Lounsbery、T.DeRose、及びJ. Warren著の「MultiresoIution Analysis for Surfaces of Arbitrary Topological Type」(ACM Transactions on Graphics，１９９７年１月，第１６巻，第１号，ｐp．３４−７３）に詳述されている。
【０００４】
この技術の一般原理は、第２世代ウェーブレットと称される特殊な関数の基底において、符号化されるオブジェクト（例えば３Ｄメッシュ）と単純メッシュ（より一般的には「基本メッシュ（basic mesh）」と呼ばれている）との間の同相写像（homeomorphism）を構成することにある。
【０００５】
従って、この技術では、メッシュは、単純な多面体によるこのメッシュのパラメトリゼーションのウェーブレット基底での座標に対応する一連の係数によって表される。
【０００６】
このような技術に基づいて符号化されたオブジェクトは、従って次の２つの要素の和集合の形を採る。１つ目として、
・基本メッシュ：これは一般的には少ないファセット（facet）を有し、符号化されるオブジェクトの或る粗い表現である。２つ目として、
・ウェーブレット係数：これは基本メッシュの正確なゾーンとこのメッシュの或る与えられたレベルの細分化に同時に割り当てられた実数の三重項である。これらのウェーブレット係数は、最初のオブジェクトの幾何学的構造（ジオメトリ）に収束するようにそれらの係数が付随するゾーンに対して行われる微細化（refinements）を表現する。
【０００７】
符号化されたオブジェクトの表現を表示端末上に再現することができるようにするためには、第１に基本メッシュと第２にそれに関連するウェーブレット係数とをこの表示端末に送ることが必要である。この目的のために、ウェーブレット係数を圧縮して、例えば、通信ネットワークを介して遠隔端末の場合がある表示端末に伝送するために、それらの係数を効率的に符号化するための方法が定められなければならない。
【０００８】
これまでのところ、伝送されるウェーブレット係数の圧縮の点から最良の結果を与えるものは「zero-tree（ゼロツリー）」符号化技術として知られる符号化技術である。このような技術は、ウェーブレット係数の符号化の順序を記述することにある。この順序は、予め決められ、事前に送信端末と受信端末（例えば、サーバとクライアント表示端末）に知らされる。従って、このような技術によって、ウェーブレット係数の伝送時において、考慮されるオブジェクトの符号化にとって重要でない範囲の係数に関する情報の伝送を避けることができる。
【０００９】
このような「zero-tree」符号化作業は、一般的には、係数の伝送時において各係数の最も重要なビットを最初に伝送できるようにする「ビット・プレーン（bit-plane）」符号化作業と結び付けられる。
【００１０】
「zero-tree」技術のより詳細な説明は、Jerome M. Shapiro著の「Embedded Image Coding Using Zerotrees of Wavelet Coefficients」（IEEE Trans. Sig. Proc.，１９９３年１２月，第４１巻，第１２号）と、A. Said及びW. A.Pearlman著の「A New, Fast, and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees」（IEEE Trans. Circ. System. For Video Tech.，１９９６年６月，第６巻，第３号）に見出される。
【００１１】
これらの技術は、最初は２次元画像を符号化するために開発され、最近では第２世代ウェーブレット係数に適用されている。この第２世代ウェーブレット係数への適用については、A. KhodakovskyとP. SchroderとW. Sweldens著の「Progressive Geometry Compression」（SIGGRAPH 2000 proceedings）と、F. Moran及びN. Garcia著の「Hierarchical Coding of 3D Models with Subdivision Surfaces」（IEEE ICIP 2000 Proceedings）に記述されている。
【００１２】
引用された最後の２つの参考文献では、その符号化技術は、伝送されるウェーブレット係数間の階層を任意に採用して、遠隔にある表示端末または記憶端末へのそれらの伝送順序を決定することができるようにしていることを拠り所としている。この順序は、受信端末に知られるものであり、伝送されたオブジェクト全体を再現することをできる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
この従来技術の欠点は、ウェーブレット係数の表示端末への伝送を担うサーバがそのサーバが送りたいと思う係数を選ぶことができず、従って、クライアント端末に全ての係数を系統的に（systematically）伝送するという点である。
【００１４】
さて、基本メッシュの一部分に関連する細分化だけを受け取る必要があることが頻繁に起こる。例えば、クライアントが博物館を仮想的に訪問しているときに、そのクライアントは、最初に彫刻の全体像を見て、次に彫刻面の或る細部だけを見たいと思うことがある。そのとき、クライアントが必要としているものは、彫刻面のこの細部に関する基本メッシュの細分化に対応するウェーブレット係数のみである。
【００１５】
従来技術を用いると、サーバが不要な係数を選び出してクライアントが見たいと思うゾーンに対応する符号化部分だけを送ることは不可能である。
【００１６】
従って、これらの従来技術の１つの欠点は、或るオブジェクトのクラアントが見たいと思わない不要な部分の符号化に対応するウェーブレット係数を含む全てのウェーブレット係数を受け取ることにある。
【００１７】
そのため、ウェーブレット係数の伝送に使用される通信ネットワークには不必要に負荷がかかり、その結果、有用な係数の伝送のビットレートが低下する。
【００１８】
さらに、表示端末の処理能力が低い場合には、全てのウェーブレット係数を使用したオブジェクトの表現の再現は冗長な処理になり、このことはクラアントにとっては到底受け容れられない。
【００１９】
これらの従来技術の別の欠点は、もしオブジェクトにおけるそのクライアントにとって有用な部分だけを表示するために適応型復号化をクライアントが実行したいと考える場合には、そのクライアント自身により伝送されたウェーブレット係数を選り分けなければならないという点である。そのため、クライアントはサーバによって伝送されたまたはデータ媒体から来るデータストリーム全体を復号化して、メッシュのそれらのウェーブレット係数が関連する部分に応じて復号化されたウェーブレット係数の関与度（relevance）を判定しなけらばならない。
【００２０】
結果的に、これらの従来技術の１つの欠点は、適応型復号化を実行するために、クライアントは、全データストリームを復号化し、関連のある係数を選び、選ばれた係数からオブジェクトを再現するという作業を実行するのに十分な処理能力を備えた表示端末を用意しなければならないという点である。
【００２１】
言い換えると、これらの従来技術の欠点は、処理能力が限られた表示端末を持つクライアントは、適応型復号化を実行することができないということである。
【００２２】
本発明の目標は、特に従来技術のこれらの欠点を克服することにある。
【００２３】
より具体的には、本発明の目標は、ウェーブレットによってオブジェクトを符号化するための技術であって、表示端末がそのオブジェクトを復号化することができるようにする技術を提供することにある。
【００２４】
本発明のもう１つの目標は、オブジェクトのウェーブレット符号化のための技術であって、サーバが或る決まったウェーブレット係数を選ぶことができ、選ばれた係数をそれらが関連する基本メッシュのゾーンに応じて伝送することができるようにする技術を提供することにある。特に、サーバがクライアントのリクエストに応じて或る決まったウェーブレット係数だけを伝送することができるようにすることが本発明の目標である。
【００２５】
本発明の更なる目標は、３Ｄオブジェクトまたは３Ｄシーンを表すメッシュを符号化するための技術であって、表示端末内にメッシュを適応再現することを可能にする技術を提供することにある。
【００２６】
本発明のもう１つの目標は、オブジェクトをウェーブレット符号化するための技術であって、処理能力の低い表示端末に適応可能な技術を提供することにある。
【００２７】
本発明の更にもう１つの目標は、当然のことながら、通信ネットワークを介して本発明による符号化方法に基づいて符号化されたオブジェクトを伝送して再現するための技術を提供することにある。特に、この種の伝送の際に通信ネットワークに不必要に負荷がかからないようにすることも本発明の目標である。
【００２８】
本発明の更なる目標は、ビットレートの低い通信ネットワークを介した伝送に適用されるオブジェクトのウェーブレット符号化のための技術を提供することにある。
【課題を解決するための手段】
【００２９】
これらの目標および以下に明らかとなる他の目標は、基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための方法であって、該オブジェクトを再現するために使用することができる全データストリームを供給する方法によって達せられる。
【００３０】
本発明によれば、前記ウェーブレット係数はそれぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、前記全データストリームにはポジショニングデータが挿入されて該全データストリームにおける前記オブジェクトの一部分に関係するウェーブレット係数を特定して前記部分集合の少なくとも１つのウェーブレット係数を用いて該一部分を選択的に再現することができるようにすることを特徴とする。
【００３１】
このように、本発明は、オブジェクトのウェーブレット符号化と全データストリーム内に符号化されたデータを形成することに対して、全く新規であり進歩性のあるアプローチに基づくものである。
【００３２】
実際には、本発明は、特に、ウェーブレット係数が関連するメッシュ状オブジェクトの一部分に応じて、それらのウェーブレット係数をその中で容易に特定することができる全データストリームを生成することを拠り所としている。このことは、特に本発明のコンテクストにおいては、前記データストリーム内にポジショニングデータを挿入してクラアント端末によって符号化されたオブジェクトを適応表示できるようにすることにより可能となる。
【００３３】
有利には、前記分離した部分集合はそれぞれ基本ファセットである。
【００３４】
そのため、前記データストリーム内においてそのストリームに存在するポジショングデータを用いて各々の基本ファセットに関連するウェーブレット係数を特定することは容易である。従って、メッシュ状オブジェクトの議論される部分の１個または数個のファセットに関連するウェーブレット係数からその部分を選択に再現することができる。
【００３５】
好ましくは、前記符号化においては、
少なくとも１つの重要でない部分を検出するステップと、
前記重要でない部分をそれぞれ特定処理するステップとを実行することを特徴とする。
【００３６】
実際、重要でない部分を考慮してウェーブレット係数を符号化（すなわち、これらの係数のバイナリ列への変換）することによって、伝送を目的とするこれらの係数のより良い圧縮率を実現することができる。
【００３７】
好ましくは、前記符号化において「zero-tree（ゼロツリー）」型技術が導入される。
【００３８】
実際、これまでのところ、「zero-tree」技術は最良の圧縮結果を与える唯一のものである。もちろん、前記データストリーム内のウェーブレット係数を符号化するための本発明の実施に適用される何か他の技術を使用することを考えることもできる。
【００３９】
本発明の第１の変形態様として、前記全データストリームは、前記ポジショニングデータの少なくとも或る一定のものを含むヘッダと、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含むウェーブレット係数ゾーンとを含む。
【００４０】
従って、ウェーブレット係数のリストは、それぞれがメッシュ状オブジェクトの一部分に対応するＮ個の部分集合へと分割されている場合には、全データストリームの前記ウェーブレット係数のゾーン（ウェーブレット係数ゾーン）は、前記ポジショニングデータによってそのストリーム内において特定可能なＮ個のサブゾーンを含む。
【００４１】
ここで、データストリームのヘッダ及び／または任意の他の部分に、ストリームのサブゾーンの特定を可能にする前記ポジショニングデータを含みうることに注意する。
【００４２】
有利には、前記ヘッダに含まれる前記ポジショニングデータは、前記データストリームにおける特定された要素の位置と或るサブゾーンの開始点との間の距離を明確にして該サブゾーンを特定する。
【００４３】
この種の特定された要素は、例えば、ヘッダの開始点もしくは終点、またはストリーム内におけるその位置が簡単に分かる何か他の要素でありうる。その距離は、ビット数によって表されることがある。
【００４４】
有利には、前記ヘッダは、
基本ファセットの数と、
ウェーブレットのタイプと、
前記オブジェクトについての情報と、
前記ポジショニングデータの符号化に関する情報と
を含むグループに属する或る一定の情報を最小限更に含む。
【００４５】
この情報は、ストリームからメッシュ状オブジェクトの一部分または全体を再現するために表示端末によって利用されうる。
【００４６】
本発明の第２の変形態様として、前記全データストリームは、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含む少なくとも１つのウェーブレット係数ゾーンを含み、前記ポジショニングデータは、各前記サブゾーンの開始点及び／または終点に少なくとも１つのマーカを含む。
【００４７】
このため、ポジショニングデータは、全データストリームの至る所に分布し、先の場合のようにヘッダ内に一緒にグルーピングされない。
【００４８】
好ましくは、前記サブゾーンは、前記データストリーム内において基本ファセットの昇順に編成される。
【００４９】
このため、基本ファセットがそれぞれ個々の独立した符号化（例えば「zero-tree」型）を受ける場合には、サブゾーンは、それらが関連する基本ファセットの序数に応じて、例えば昇順になるように、ストリーム内に配置されるよう定められる。
【００５０】
また本発明は、第１に少なくとも１つのサーバ及び／または少なくとも１つのデータ媒体と、第２に少なくとも１つの表示端末との間において、第１に基本ファセットの集合によって構成される基本メッシュと、第２に該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトの再現を可能にするデータストリームを伝送するための方法にも関係する。
【００５１】
本発明によれば、この種類の方法は、
視聴される前記オブジェクトの一部分を明確にするリクエストを受信するステップと、
前記リクエストに応じて、前記データストリーム内に存在するポジショニングデータを解析して該データストリーム内における前記一部分に関連するウェーブレット係数を特定することができるようにするステップと、
特定されたウェーブレット係数を抽出して縮小させたデータストリームを形成するステップと、
前記縮小させたデータストリームを伝送するステップとを含む。
【００５２】
このため、サーバは、クライアントからオブジェクトの一部分に関するリクエストを受信すると、前記データストリーム内において議論されているオブジェクトのその部分に関連する係数の１個または数個の部分集合を選ぶようにしてもよい。それによって、関係のある部分集合の係数から縮小させたストリームを構築して、それをクラアントの表示端末に送ることができる。
【００５３】
本発明は、基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトを表す信号にも関係する。本発明によれば、この信号は、少なくとも１つのウェーブレット係数ゾーンと、前記オブジェクトの一部分に関係するウェーブレット係数を特定することができるようにするポジショニングデータを含む少なくとも１つのポジショニングデータゾーンとを含むことを特徴とする。
【００５４】
本発明の第１の実施態様として、前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、この種の信号は、前記ポジショニングデータの少なくとも或る一定のものを含むヘッダと、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含むウェーブレット係数ゾーンとを含む。
【００５５】
本発明の第２の実施態様として、前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、この種の信号は各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含む少なくとも１つのウェーブレット係数ゾーンを含み、前記ポジショニングデータは各前記サブゾーンの開始点及び／または終点に少なくとも１つのマーカを含む。
【００５６】
本発明は、上述した方法に基づいて符号化された少なくとも１つのオブジェクトを記憶するように設計されたデータ媒体にも関係する。
【００５７】
さらに、本発明は、第１に少なくとも１つのサーバ及び／または少なくとも１つのデータ媒体と、第２に少なくとも１つの視聴端末との間において、第１に基本ファセットの集合によって構成された基本メッシュと、第２に該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連したオブジェクトの再現を可能にするデータストリームを伝送するためのシステムにも関係する。
【００５８】
本発明によれば、このようなシステムは、
表示される前記オブジェクトの一部分を明確にするリクエストを受信する手段と、
前記データストリーム内に存在する前記ポジショニングデータを解析して、該データストリーム内における前記一部分に関連するウェーブレット係数を特定することができるようにする手段と、
特定されたウェーブレット係数を抽出して、縮小させたデータストリームを形成する手段と、
前記縮小させたデータストリームを伝送するための手段とを含む。
【００５９】
本発明は、基本ファセットの集合から構成される基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトを表示するための端末であって、該オブジェクトの再現を可能にする全データストリームを受信する手段を含むものにも関係する。本発明によればこの端末は、サーバ及び／またはデータ媒体から受信される視聴されるべき前記オブジェクトの一部分に関連するウェーブレット係数を包含する縮小させたデータストリームから、該一部分を再現するために該サーバ及び／またはデータ媒体に向けて該一部分を明確にするリクエストを形成する手段を更に含む。
【００６０】
従って、この種の端末は、従来の表示端末とは非常に大きく異なる。実際、このような端末は、クライアントが視聴したいと思うメッシュ状オブジェクトの１個または数個の部分を特定し、これらの部分に関連しており当該オブジェクトのこれらの部分に対応する表現を再現する前もって復号化されるウェーブレット係数のみを使用するリクエストをサーバに送ることがある。従って、この種の端末は、もはや前記データストリームを全体的に復号化せずに、当該オブジェクトの一部分に関連するウェーブレット係数を選んでこの部分の表現を再構築することができるようにするという点において、従来の端末とは異なる。
【００６１】
また、本発明は、上述した符号化方法に基づいて符号化された少なくとも１つのオブジェクトを記憶するための手段と、上述した伝送方法を実行する伝送手段とを含むサーバにも関係する。
【００６２】
最後に、本発明は、基本ファセットの集合によって構成される基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための装置にも関係する。本発明によれば、この装置は、前記オブジェクトの再現を可能にする全データストリームを生成し、前記ウェーブレット係数を少なくとも２つの分離した部分集合へと分割し、各前記部分集合に個々の独立した符号化を適用し、前記全データストリーム内にこの全データストリームにおいて前記オブジェクトの一部分に関連するウェーブレット係数を特定することができるようにするポジショニングデータを挿入する手段を含み、前記部分集合の少なくとも１つの部分集合に属するウェーブレット係数を用いて前記一部分を選択的に再現することができるようにすることを特徴とする。
【発明を実施するための最良の形態】
【００６３】
本発明の一般原理は、少なくとも２次元のメッシュ状オブジェクトをウェーブレット符号化する際に生成されるデータストリーム内にポジショニングデータを挿入して、ウェーブレット係数をそれらが関連するゾーンに応じて選択し伝送することができるようにすることに基づく。
【００６４】
図１に、本発明の符号化方法の実施の一態様を示す。
【００６５】
ここでは、「ウェーブレット」法として知られる方法に基づいて少なくとも２次元のオブジェクトを符号化する場合を議論する。この方法によれば、オブジェクトは、それに関連する基本メッシュと、そのオブジェクトの表現を再現するためにその基本メッシュに対して行われる細分化に対応する複数のウェーブレット係数とを有することが思い起こされるであろう。つまり、基本メッシュの各節点（ノード）には、ウェーブレット係数が付随する。
【００６６】
基本メッシュを構成するステップとそれに関連するウェーブレット係数を決定するステップは、符号化されるオブジェクトに関連するウェーブレット係数のリストを有する符号器によりすでに実施されているものと仮定する。ウェーブレット係数は、或る係数がどのウェーブレットに関連するかをそれにより知ることができる空間及び周波数のポジショニングに関する１つの情報Ｉが伴う実数の三重項（ｘ，ｙ，ｚ）である。この情報Ｉは、例えば、四重項（Ｆ０，ａ，ｂ，ｃ）の場合がある。ここで、Ｆ０は基本メッシュのファセットを表し、（ａ，ｂ，ｃ）はその面の重心座標である。
【００６７】
段階２０において、符号器は、符号化されるメッシュ状オブジェクトに関連する全てのウェーブレット係数を部分集合Ｍ1，Ｍ2，．．．，ＭNへと分割する。これらの部分集合は好ましくは分離される。それらは、例えば視覚基準に応じて構成されうる。各々の部分集合は、符号化されるメッシュ状オブジェクトの一部分の表現を再現することができるようにするウェーブレット係数を有する。
【００６８】
例えば、符号化されるメッシュ状オブジェクトが３次元における人物または類似するキャラクタの場合には、ウェーブレット係数のリストを対象の顔、各々の手足、胸部にそれぞれ対応する５つの部分集合へと分割することを考えることができる。
【００６９】
ステップ２１において、符号器は、場合に応じて部分集合の異なる頂点間の親子関係を決める場合に任意の階層を各部分集合Ｍiに定める。もちろん、同じ１つの部分集合の２つの頂点の間に親子関係は必要ではなく、兄弟姉妹（sibling、または同胞）の関係にある頂点であってよい。
【００７０】
そして、符号器は、各々の部分集合Ｍi（ｉは１〜Ｎ）のウェーブレット係数を独立に符号化する（ステップ２２）。このような符号化は、例えば「zero-tree」型符号化であって、ウェーブレット係数の表現の圧縮、つまり各々の部分集合Ｍiの関連するメッシュ節点の表現の圧縮を可能にする。
【００７１】
ステップ２３において、符号器は、全データストリームを生成するが、そのストリームは、第１に各々の部分集合Ｍiの符号化（例えば、「zero-tree」型）の結果と、第２にそのストリームにおける各々の部分集合Ｍiのポジショニングデータとを含む。
【００７２】
このようなストリームの構造によって、クライアントからのリクエストに応じて、１つ以上の部分集合Ｍiを表示端末へ送信する場合に大きな融通性（flexibility）が得られる。
【００７３】
次に、図２を参照して説明する。この図は、図１に基づいて生成されるデータストリーム１の一態様である。
【００７４】
簡単のために、以下、本明細書では、各々の部分集合Ｍiがオブジェクトの１つの基本ファセットに付随するウェーブレット係数から構成される場合に説明を限定する。もちろん、当業者であれば、部分集合Ｍiが複数の基本ファセット、または基本メッシュの複数の節点に付随するウェーブレット係数から構成される場合にこれからの説明を一般化することは容易であろう。
【００７５】
ここで、本明細書の残りの部分において、基本メッシュのファセットは昇順に配列されると仮定する。例えば、出発点となるファセットが任意に選ばれ、全ての基本ファセットを通過する順序（例えば、三角形方向または逆三角形方向）は、その出発点のファセットを最初の第１ファセットと考え、そこから走査する順序を順番にたどって基本メッシュの最後のファセットがＭ番目の基本ファセットとなるように選ばれる。
【００７６】
本発明によれば、データストリーム１はオブジェクト、例えば３Ｄオブジェクトのウェーブレット符号化の際に符号器によって生成される。本発明の実施の特別な一態様によれば、このデータストリーム１はヘッダ１０とウェーブレット係数のゾーン１１とから成る。
【００７７】
ウェーブレット係数のゾーン１１は、好ましくは、それぞれがオブジェクトの基本メッシュのそれぞれのファセットに関連するウェーブレット係数をグルーピングする複数のサブゾーン（図１には図示せず）へと分割される。ここで、既に思い起こされたように、ウェーブレット係数は、或る係数がどのウェーブレットに関連するかをそれにより知ることが可能な空間及び周波数についてのポジショニングに関する一塊の情報Ｉが伴う実数の三重項（ｘ，ｙ，ｚ）である。この情報Ｉは、例えば四重項（Ｆ０，ａ，ｂ，ｃ）の場合がありうる。ここで、Ｆ０は基本メッシュのファセットを表し、（ａ，ｂ，ｃ）はその面の重心座標である。
【００７８】
本発明の好ましい態様によれば、各サブゾーンは、基本ファセットに関連するウェーブレット係数の「zero-tree（ゼロツリー）」符号化したもの（the ”zero-tree”encoding）を含む。つまり、ウェーブレット係数の分割は、それらが関連する基本ファセットＦ０に沿って行われ、存在する分割の数と同数の「zero-tree」符号化の作業が行われる。（図１を参照して説明された本発明の別の実施態様では、係数は複数の部分集合Ｍiへと分割され、そこで同一の部分集合はいくつかの基本ファセットＦ０を一緒にグルーピングすることができ、各々の部分集合Ｍi毎に個々の独立した「zerp-tree」符号化が行われることが思い起こされるかもしれない。そのとき、各部分集合は、部分集合Ｍiに関連するウェーブレット係数の「zero-tree」符号化したものを含む。）もちろん、ウェーブレット係数の満足ゆく圧縮および伝送を実現する他の符号化技術を使用することもできる。使用される符号化技術は、好ましくは、議論されるオブジェクトの重要でない部分の特定符号化を可能にする技術である。
【００７９】
ヘッダ１０は、ウェーブレット係数のゾーン１１内にある各々のサブゾーンを特定するために使用されるポジショニングデータを含む。そのヘッダは、実行される符号化のタイプに関する情報、例えば、使用されるウェーブレット関数のタイプ、ウェーブレット係数の数、（基本ファセットの数などの）基本メッシュの特性、または基本メッシュの細分化の最大レベルに関する情報を更に含む。
【００８０】
図３に示された本発明の特別な例示的態様では、ウェーブレット係数のゾーン１１は、複数のサブゾーン１１１〜１１３へと分割される。ここで、サブゾーン１１１は基本メッシュの一番目のファセットに関連する「サブゾーン１」であり、サブゾーン１１２は二番目の基本ファセットに関連する「サブゾーン２」であり、サブゾーン１１３はＭ番目の基本ファセットに関連する「サブゾーンＭ」である。もちろん、図示の便宜上、全てのサブゾーンが示されていないことに注意されたい。
【００８１】
ヘッダ１０は、プレアンブル（preamble）１０１と、複数のポジショニングデータ１０２〜１０４とを含む。プレアンブル１０１は、例えば、既に言及した使用されるメッシュのタイプとウェーブレットのタイプとに関するデータを含む。
【００８２】
「シフト１」と称されるゾーン１０２は、一番目の基本ファセットのバイナリストリーム１内における位置に関する情報を提供する。すなわち、それは、例えばプレアンブル１０１の終点と符号１１１の「サブゾーン１」の開始点との間の距離に関する情報を提供する。
【００８３】
本発明の或る特別な実施態様では、このような距離はビット数で表される。本発明の別の実施態様では、もちろんポジショニングデータのゾーン１０２は、符号１１１の「サブゾーン１」の開始点とデータストリーム１の何か他の基準要素との間の距離に関する情報を提供してビットストリーム１における「サブゾーン１」１１１のウェーブレット係数のポジショニングを可能にすることもできる。
【００８４】
図３において、「シフト２」ゾーン１０３（および「シフトＭ」ゾーン１０４のそれぞれ）は「サブゾーン２」１１２（および「サブゾーンＭ」１１３のそれぞれ）の開始点とプレアンブル１０１の終点との間のビット数に関する情報を提供する。
【００８５】
このようにして、サーバはクライアント端末からのリクエストに応じてこのクライアント端末にＭ番目の基本ファセットに関連するウェーブレット係数を送りたいと思うときには、そのサーバはヘッダ１０の「シフトＭ」のポジショニングデータ１０４を調べる。「シフトＭ」ゾーン１０４は、プレアンブル１０１の終点と「サブゾーンＭ」１１３の開始点との間のビット数をサーバに知らせて、それにより、サーバは、「サブゾーンＭ」１１３の開始点に直接位置を合わせてこれらのウェーブレット係数だけを抽出して、リクエストを送ってきたクライアント端末にそれらを送信することができる。
【００８６】
図４のデータストリーム１は、ヘッダ１０とウェーブレット係数のゾーン１１と含み、このウェーブレット係数のゾーンは、第１にウェーブレット係数のサブゾーン１１１〜１１３と、第２にポジショニングデータのゾーン１２０〜１２３とを交互に含む。このような代替的な実施態様では、ポジショニングデータ１２０〜１２３は、データストリーム１内に分散し、上述した例にみられるように、ヘッダ１０にまとめられてはいない。
【００８７】
ポジショニングデータ１２０〜１２３は、例えば、ウェーブレット係数のサブゾーンの開始点及び／または終点を示すマーカ（markers）である。つまり、「マーク１」のゾーン１２０は、基本メッシュの一番目のファセットに関連するウェーブレット係数から構成される「サブゾーン１」１１１の開始点を示す。同様に、「マーク２」のゾーン１２１は「サブゾーン２」１１２の開始点を示し、「マークＭ」のゾーン１２３は「サブゾーンＭ」１１３の開始点を示す。
【００８８】
本発明の或る１つの特別な実施態様では、「マーク１」のゾーン１２０、「マーク２」のゾーン１２１、同様に「マークＭ」のゾーン１２３までのゾーンに含まれる情報は同一である。言い換えると、同一の複数のマーカがデータストリーム１のウェーブレット係数のゾーン１１に挿入され、それぞれが基本メッシュのそれぞれのファセットに関連する異なるサブゾーンが分離されるようにする。このようにして、サーバが「サブゾーンＭ」１１３に関連するウェーブレット係数を表示端末に送りたいときには、そのサーバはストリーム１全体を走査して遭遇したマーカの数を計数してどれがＭ番目のマーカ１２３かを決め、Ｍ番目の基本ファセットに関連するウェーブレット係数の「zero-tree」符号化したものを含む「サブゾーンＭ」１１３の開始点も決める。このようにして、クラアント端末は、「サブゾーンＭ」１１３のウェーブレット係数だけを受け取って、それが必要とするウェーブレット係数にアクセスするのにストリーム１全体を復号化する必要はない。
【００８９】
本発明の別の実施態様として、マーカ１２０〜１２３は、ウェーブレット係数のゾーン１１の或る与えられたサブゾーンに特有なものである。具体的には、マーカ「マーク１」１２０は「サブゾーン１」１１１の開始点を示し、マーカ「マーク２」１２１は「サブゾーン２」１１２の開始点を示し、以下同様である。（もちろん、例えば、マーカ１２０〜１２３が関連するサブゾーン１１１〜１１３の終点を示す状況も考えることもできる。）
【００９０】
このようにして、クライアントのリクエストに応じて「サブゾーンＭ」１１３の係数を送信したいサーバは、「マークＭ」１２３を発見するまでデータストリーム１を走査して、そこから「サブゾーンＭ」１１３の開始点の位置を導き出す。
【００９１】
図３および図４には示されていないが、サーバがクライアントからのリクエストに応じて必要なウェーブレット係数のみを抽出して選択的に送信することができるようにすることを目的として、サーバが１つの基本ファセットに関連するウェーブレット係数のサブゾーンの位置、または、より一般的には複数の節点もしくは複数の基本ファセットを一緒にグルーピングした部分集合Ｍiに関連するウェーブレット係数のサブゾーンの位置を決定することができるようにするポジショニングデータが挿入されているデータストリーム１を構成することができる本発明の何か他の実施態様も同様に考えることができる。
【００９２】
例えば、図３および図４に示された本発明の代替的な実施態様を組み合わせた実施態様で、サブゾーン１１１〜１１３が３個または４個のサブゾーンの集合（set）に一緒にグルーピングされたものを考えることができる。ヘッダ１０に挿入されるポジショニングデータは、基準要素（例えば、プレアンブル１０１の終点）とサブゾーンの集合の開始点との間の距離に関する情報を提供する。全体のユニットにおける各々のサブゾーンの開始点及び／または終点を示すために、マーカがこの種の集合に挿入される。
【００９３】
このようにして、ヘッダ１０内に置かれたポジショニングデータを通じて、サーバは、サブゾーンの集合の開始点に直接位置を合わせ、マーカに着目してその集合を走査して、クライアントのリクエストに応じて送信しなければならないその集合にある１つ以上のサブゾーンの位置を決定する。
【００９４】
以下、ここでは図５を参照して、クライアントからのリクエストに応じて、サーバによって、または、データ媒体に接続されており基本メッシュの或るゾーンに関連するウェーブレットの送信を担当する端末によって実行される異なるステップを示す。便宜上、以下、ここでの説明は、表示端末からのリクエストに応じて、サーバによって実行される処理作業に限定する。当業者であれば、オブジェクトデータが直接的または間接的に表示端末に接続されたデータ媒体から来るときに実行されるべき処理作業を容易に考えつくであろう。
【００９５】
クライアントが表示端末上で見ているシーンの或る細部を、そのクライアントが見たいと思っている状況を想定する。このとき、端末は、基本メッシュで行われる細分化を決めるウェーブレット係数を取得して満足ゆく再現を実現したいと思っている（シーンの）一部分を指示するリクエストをサーバに向けて送信する。
【００９６】
まず、ステップ４０では、サーバは、クライアント端末から上記リクエストを受信して、そのリクエストに関係のある基本メッシュのファセットを決定する。ステップ４１では、サーバは、シーンを符号化するための符号器の出力側において生成されたデータストリームを走査して、このストリーム内に存在するポジショニングデータを解析する。例えば、ストリームのヘッダに含まれるポジショニングデータを参照する。
【００９７】
ステップ４２では、先に解析されたポジショニングデータに基づいて、議論されるシーンの一部分に関連するウェーブレット係数のサブゾーンの位置を決定する。視聴されるオブジェクトの一部分に関係しているウェーブレット係数を特定（ステップ４２）した後に、サーバは、全データストリームからこれらの係数を抽出してクライアント端末向けに縮小させたストリームを形成する（ステップ４３）。
【００９８】
ステップ４４では、サーバは、この縮小させたデータストリームをクライアント端末に送って、端末が全データストリームをまるごと復号化する必要無しにクライアントが見たいと思っているシーンの一部分を再現することができるようにする。
【図面の簡単な説明】
【００９９】
【図１】本発明において少なくとも２次元のメッシュ状オブジェクトを符号化する場合に実行される異なるステップを示すブロック図である。
【図２】本発明の第１の実施態様において、図１に提示された符号化の際に生成されるデータストリームの構造であってポジショニングデータを含むものを例示的に示した概略図である。
【図３】ポジショニングデータがデータストリーム内での距離を明示する場合における図２のデータストリームの構造の詳細図である。
【図４】本発明の第２の実施態様において、少なくとも２次元のメッシュ状オブジェクトを符号化する場合に生成されるデータストリームの構造であって、ポジショニングデータがそのストリーム内に分布したものを例示的に示す概略図である。
【図５】本発明の第１の実施態様において図２から図４のデータストリームの伝送サーバによって実行される異なるステップを示すブロック図である。
【図１】
2004535644.tif 000003
【図２】
2004535644.tif 000004
【図３】
2004535644.tif 000005
【図４】
2004535644.tif 000006
【図５】
2004535644.tif 000007
【国際公開パンフレット】
2004535644.tif 000008
2004535644.tif 000009
2004535644.tif 000010
2004535644.tif 000011
2004535644.tif 000012
2004535644.tif 000013
2004535644.tif 000014
2004535644.tif 000015
2004535644.tif 000016
2004535644.tif 000017
2004535644.tif 000018
2004535644.tif 000019
2004535644.tif 000020
2004535644.tif 000021
2004535644.tif 000022
2004535644.tif 000023
2004535644.tif 000024
2004535644.tif 000025
2004535644.tif 000026
2004535644.tif 000027
2004535644.tif 000028
2004535644.tif 000029
2004535644.tif 000030
2004535644.tif 000031
2004535644.tif 000032
2004535644.tif 000033
2004535644.tif 000034
2004535644.tif 000035
【国際調査報告】
2004535644.tif 000036
2004535644.tif 000037
2004535644.tif 000038
2004535644.tif 000039