(57)【要約】【課題】  三次元シーンのノードを処理する方法及びその装置を提供する。【解決手段】  三次元シーンに含まれたノードを処理する方法において、三次元シーンノード処理装置の制御器が、処理する三次元シーンに含まれたノードのうち頂点から面を構成することによって形成される三次元形状を表現する三次元メッシュ情報を有する三次元メッシュノードを識別する段階と、三次元メッシュ符号化器／復号化器が、識別された三次元メッシュノードを符号化または復号化する段階とを含み、符号化される三次元メッシュノードの三次元メッシュ情報の全部または一部を三次元シーン記述ストリームと別の独立したストリームであり、基礎ストリームとは異なるストリームに載せて伝送または貯蔵する。【選択図】      図６
2011134361.tif 000002
【特許請求の範囲】
【請求項１】
三次元シーンに含まれたノードを処理する方法において、
三次元シーンノード処理装置の制御器が、処理する三次元シーンに含まれたノードのうち頂点から面を構成することによって形成される三次元形状を表現する三次元メッシュ情報を有する三次元メッシュノードを識別する段階と、
三次元メッシュ符号化器／復号化器が、前記識別された三次元メッシュノードを符号化または復号化する段階とを含み、
前記符号化される三次元メッシュノードの三次元メッシュ情報の全部または一部を三次元シーン記述ストリームと別の独立したストリームであり、基礎ストリームとは異なるストリームに載せて伝送または貯蔵することを特徴とする三次元シーンに含まれたノード処理方法。
【請求項２】
前記三次元メッシュノードはインデクスフェースセットノードを含む請求項１に記載の三次元シーンのノード処理方法。
【請求項３】
三次元シーンに含まれたノードを処理する装置において、
処理する三次元シーンのノードが頂点から面を構成することによって形成される三次元形状を表現する三次元メッシュ情報を有する三次元メッシュノードか否かを識別する制御器と、
前記制御器により識別された三次元メッシュノードを符号化または復号化する三次元メッシュ符号化器／復号化器と、
前記三次元シーンのノードを符号化または復号化する三次元シーン記述符号化器／復号化器を含み、
前記符号化される三次元メッシュノードの三次元メッシュ情報の全部または一部を三次元シーン記述ストリームと別の独立したストリームであり、基礎ストリームとは異なるストリームに載せて伝送または貯蔵することを特徴とする三次元シーンノード処理装置。
【請求項４】
前記三次元メッシュノードはインデックスフェースセットノードを含む請求項3に記載の三次元シーンノード処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元シーン（三次元場面）のノードを処理する方法及びその装置に係り、特に三次元シーンのノードのうち三次元メッシュ情報を表現するノードを処理する三次元シーンのノード処理方法及びその装置に関する。
【背景技術】
【０００２】
最近、三次元グラフィックス分野が多用されているが、膨大な量の情報のためにその使用範囲が制限されている。すなわち、三次元メッシュ情報を表現するためには各点の幾何情報、各点間の連結性情報、そして色相、法線及び質感座標のような属性情報が必要である。
【０００３】
一般に、このような情報等の膨大な量によって符号化の必要性が台頭され、このため、ＭＰＥＧ−４(Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ)−ＳＮＨＣ−（Ｓｙｎｔｈｅｔｉｃ  ａｎｄ  Ｎａｔｕｒａｌ  Ｈｙｂｒｉｄ  Ｃｏｄｉｎｇ）パートでＩＳＯ／ＩＥＣ（ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）の標準案として採択された三次元メッシュコーディング(３ＤＭＣ：３Ｄｍｅｓｈ Ｃｏｄｉｎｇ)装置はインデックスフェースセット（Ｉｎｄｅｘｅｄ  Ｆａｃｅ  Ｓｅｔ）として表現されうる三次元メッシュ情報を符号化及び復号化して符号化及び伝送効率の向上を提供している。
【０００４】
一方、ＭＰＥＧ−４システムパートでは、オブジェクトの表示方法と特性を指定するためのシーン記述言語としてＢＩＦＳ（ＢＩｎａｒｙ  Ｆｏｒｍａｔ  ｆｏｒ  Ｓｃｅｎｅ）を規格化している。シーン記述言語はＢＩＦＳ以外にもＶＲＭＬ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ）とＷｅｂ３Ｄを含む。
【０００５】
ＭＰＥＧ−４システムのＢＩＦＳ（ＢＩｎａｒｙ  Ｆｏｒｍａｔ  ｆｏｒ  Ｓｃｅｎｅ）及びＶＲＭＬ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  ＭｏｄｅｌｉｎｇＬａｎｇｕａｇｅ）などの分野では三次元シーンが構成でき、その場面には三次元メッシュ情報を表現するためのインデックスフェースセットノードが含まれている。
【０００６】
しかし、膨大な量のインデックスフェースセット情報を含む三次元シーンの情報をＢＩＦＳでは単に２進（ｂｉｎａｒｙ）に圧縮し、ＶＲＭＬの場合にはＡＳＣＩＩ文字で表現された状態で貯蔵及び伝送する。
【０００７】
したがって、ＭＰＥＧ４−システムでは膨大な量の三次元メッシュ情報を有するインデックスフェースセットノードを含む三次元シーン情報をＢＩＦＳストリームで端末器に伝送する時、インデックスフェースセットノード情報の膨大な量による伝送遅延や復号化遅延などが発生して三次元シーン情報を与えられた特定時間内に全て復元できないという問題点がある。
【０００８】
また、このような情報は符号化しても大型三次元メッシュの場合には、三次元シーンに含まれた他の情報に比べてその量が比較的多くなって、符号化された三次元メッシュ情報を三次元シーン記述情報と共に同じストリームに伝送すれば、全体的な三次元シーンの伝送に影響を与える可能性があるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明は、前記問題点を解決して三次元シーンに含まれている膨大な量の情報を有している三次元メッシュ情報を表現するノードを効率よく符号化／復号化して三次元シーンの伝送及び貯蔵を効率よくすることを目的とする。
【００１０】
また、本発明は三次元シーンに含まれている三次元メッシュ情報を表現するノードの三次元メッシュ情報を三次元シーン記述情報とは別のストリームに載せて伝送及び貯蔵することによって、膨大な量の三次元メッシュ情報が全体的な三次元シーンの伝送に影響を与えることを防止することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するための本発明の一特徴は、三次元シーンに含まれたノードを処理する方法において、処理する三次元シーンに含まれたノードのうち頂点から面を構成することによって形成される三次元形状を表現する三次元メッシュ情報を有する三次元メッシュノードを識別する段階と、前記識別された三次元メッシュノードを符号化または復号化する段階を含むことである。
【００１２】
本発明の他の特徴は、前記ノード処理方法が前記識別された三次元メッシュノードのうち三次元メッシュコーディング識別子の設定されている三次元メッシュノードを識別する段階をさらに含み、前記識別された三次元メッシュノードを符号化または復号化する段階は、前記三次元メッシュコーディング識別子の設定された三次元メッシュノードを符号化または復号化してもよい。
【００１３】
望ましくは、前記ノード処理方法において前記三次元メッシュノードを三次元メッシュ符号化器／復号化器を用いて符号化または復号化する。
【００１４】
本発明の他の特徴は、前記ノード処理方法が前記符号化される三次元メッシュノードの三次元メッシュ情報を三次元シーン記述ストリーム（３Ｄ  ｓｃｅｎｅｄｅｓｃｒｉｐｔｉｏｎ  ｓｔｒｅａｍ）に載せて伝送または貯蔵する段階をさらに含んでもよい。
【００１５】
望ましくは、前記三次元シーン記述ストリームに載せられて伝送される前記符号化される三次元メッシュノードの三次元メッシュ情報を符号化または復号化するように三次元シーン記述符号化器／復号化器に三次元メッシュ符号化器／復号化器を内蔵させて配列する。
【００１６】
本発明のさらに他の特徴は、前記ノード処理方法が前記符号化される三次元メッシュノードの三次元メッシュ情報を三次元シーン記述ストリームと別の独立したストリームに載せて伝送または貯蔵する段階とをさらに含んでもよい。
【００１７】
望ましくは、前記三次元シーン記述ストリームと別の独立したストリームに載せられて伝送される前記符号化される三次元メッシュノードの三次元メッシュ情報を符号化または復号化するように三次元シーン記述符号化器／復号化器と別の独立した三次元メッシュ符号化器／復号化器を配列する。
【００１８】
本発明のさらに他の特徴は、前記ノード処理方法が前記符号化される三次元メッシュノードのうち一部の三次元メッシュノードの三次元メッシュ情報は三次元シーン記述ストリームに載せて伝送または貯蔵する段階と、前記符号化される三次元メッシュノードのうち一部の三次元メッシュノードの三次元メッシュ情報は三次元シーン記述ストリームと別の独立したストリームに載せて伝送または貯蔵する段階をさらに含んでもよい。
【００１９】
望ましくは、前記三次元シーン記述ストリームに載せられて伝送される前記符号化される三次元メッシュノードのうち一部の三次元メッシュノードの三次元メッシュ情報の符号化または復号化するように三次元シーン記述符号化器／復号化器に三次元メッシュ符号化器／復号化器を内蔵させて配列し、前記三次元シーン記述ストリームと別の独立したストリームに載せて伝送される前記符号化される三次元メッシュノードのうち一部の三次元メッシュノードの三次元メッシュ情報を符号化または復号化するように前記三次元シーン記述符号化器／復号化器と別の独立したさらに他の三次元メッシュ符号化器／復号化器を配列する。
【００２０】
本発明のさらに他の特徴は、前記ノード処理方法が前記符号化される三次元メッシュノードの三次元メッシュ情報が載せられる前記独立したストリームのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）を含む三次元メッシュノードを生成する段階をさらに含み、前記三次元メッシュノードを符号化または復号化する段階は、前記三次元メッシュノードに含まれる前記ＵＲＬを参照する段階を含んでもよい。
【００２１】
本発明のさらに他の特徴は、前記ノード処理方法が前記符号化される三次元メッシュノードの三次元メッシュ情報が載せられる前記独立したストリームのＵＲＬを含む連結ノードを生成する段階をさらに含み、前記三次元メッシュノードを符号化または復号化する段階は、前記連結ノードに基づいて符号化または復号化する段階を含んでもよい。
【００２２】
本発明のさらに他の特徴は、三次元シーンに含まれたノードを処理する方法において、三次元シーンに含まれたノードのうち頂点から面を構成することによって形成される三次元形状を表現する三次元メッシュ情報を有する三次元メッシュノードの圧縮のために圧縮三次元メッシュノードを生成する段階と、処理する三次元シーンに含まれたノードのうち前記圧縮三次元メッシュノードを識別する段階と、前記識別された圧縮三次元メッシュノードを三次元メッシュ符号化器／復号化器を用いて符号化または復号化する段階を含んでもよい。
【００２３】
本発明のさらに他の特徴は、三次元シーンに含まれたノードを処理する三次元シーンノード処理装置において、処理する三次元シーンのノードが頂点から面を構成することによって形成される三次元形状を表現する三次元メッシュ情報を有する三次元メッシュノードであるかを識別する制御器と、前記制御器により識別された三次元メッシュノードを符号化または復号化する三次元メッシュ符号化器／復号化器と、前記三次元シーンのノードを符号化または復号化する三次元シーン記述符号化器／復号化器を含んでもよい。
【００２４】
本発明のさらに他の特徴は、前記ノード処理装置において前記制御器は前記三次元メッシュノードに三次元メッシュコーディング識別子が設定されているかをさらに識別し、前記三次元メッシュ符号化器／復号化器は前記制御器により識別された前記三次元メッシュノードのうち前記三次元メッシュコーディング識別子が設定されている三次元メッシュノードを符号化または復号化してもよい。
【００２５】
本発明のさらに他の特徴は、前記ノード処理装置において前記制御器は前記符号化される三次元メッシュノードの三次元メッシュ情報を三次元シーン記述ストリームに載せて伝送または貯蔵し、前記三次元メッシュ符号化器／復号化器は前記三次元シーン記述符号化器／復号化器に内蔵されて配列されてもよい。
【００２６】
本発明のさらに他の特徴は、前記ノード処理装置において前記制御器は前記符号化される三次元メッシュノードの三次元メッシュ情報を三次元シーン記述ストリームと別の独立したストリームに載せて伝送または貯蔵し、前記三次元メッシュ符号化器／復号化器は前記三次元シーン記述符号化器／復号化器と別に独立して配列されてもよい。
【００２７】
本発明のさらに他の特徴は、前記ノード処理装置において前記制御器は前記符号化される三次元メッシュノードのうち一部の三次元メッシュノードの三次元メッシュ情報は三次元シーン記述ストリームに載せて伝送または貯蔵し、一部の三次元メッシュノードの三次元メッシュ情報は前記三次元シーン記述ストリームと別の独立したストリームに載せて伝送または貯蔵し、前記三次元メッシュ符号化器/復号化器は前記三次元シーン記述符号化器／復号化器に内蔵されて配列され、さらに他の三次元メッシュ符号化器／復号化器は前記三次元シーン記述符号化器／復号化器と別に独立して配列されてもよい。
【００２８】
望ましくは、前記三次元シーン記述ストリームに載せられて伝送される三次元メッシュノードの三次元メッシュ情報は前記三次元シーン記述符号化器／復号化器に内蔵されて配列された前記三次元メッシュ符号化器／復号化器により符号化または復号化され、前記三次元シーン記述ストリームと別の独立したストリームに載せられて伝送される三次元メッシュノードの三次元メッシュ情報は前記独立して配列された三次元メッシュ符号化器／復号化器により符号化または復号化される。
【００２９】
本発明のさらに他の特徴は、前記ノード処理装置において前記制御器は、前記符号化される三次元メッシュノードの三次元メッシュ情報を独立したストリームに載せて伝送するように、前記符号化される三次元メッシュノードの三次元メッシュ情報が載せられる前記独立したストリームのＵＲＬを含む三次元メッシュノードを生成し、前記三次元メッシュ符号化器／復号化器は前記三次元メッシュノードに含まれる前記ＵＲＬを参照して符号化または復号化してもよい。
【００３０】
本発明のさらに他の特徴は、前記ノード処理装置において前記制御器は、前記符号化される三次元メッシュノードの三次元メッシュ情報を独立したストリームに載せて伝送するように、前記符号化される三次元メッシュノードの三次元メッシュ情報が載せられる前記独立したストリームのＵＲＬを含む連結ノードを生成し、前記三次元メッシュ符号化器／復号化器は前記連結ノードに含まれるＵＲＬを参照して符号化または復号化してもよい。
【００３１】
本発明のさらに他の特徴は、三次元シーンに含まれたノードを処理する装置において、三次元シーンに含まれたノードのうち頂点から面を構成することによって形成される三次元形状を表現する三次元メッシュ情報を有する三次元メッシュノードの圧縮のために圧縮三次元メッシュノードを生成し、処理する三次元シーンに含まれたノードのうち前記圧縮三次元メッシュノードを識別する制御器と、前記識別された圧縮三次元メッシュノードを符号化または復号化する三次元メッシュ符号化器／復号化器と、前記三次元シーンに含まれたノードのうち前記圧縮三次元メッシュノードを除いたノードを符号化または復号化する三次元シーン記述符号化器／復号化器を含んでもよい。
【００３２】
望ましくは、本発明において前記三次元シーンを具現するプラットホームはＶＲＭＬ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ）、ＢＩＦＳ（ＢＩｎａｒｙ  Ｆｏｒｍａｔ  ｆｏｒ  Ｓｃｅｎｅ）、Ｗｅｂ３Ｄを含む。
【００３３】
また、望ましくは、本発明において前記三次元メッシュノードはＩｎｄｅｘｅｄ  Ｆａｃｅ  Ｓｅｔノードを含む。
【発明の効果】
【００３４】
前述したように本発明によれば、三次元シーンに含まれたノードのうち三次元メッシュ情報を表現するノードを三次元メッシュ符号化器と復号化器とを用いて符号化及び復号化することによってさらに効率よく三次元シーン記述を伝送及び貯蔵しうる。
【００３５】
また、本発明によれば、符号化される三次元メッシュ情報を表現するノードの三次元メッシュ情報を三次元シーン記述情報とは別の独立したストリームに載せて伝送及び貯蔵することによって、符号化された三次元メッシュ情報の量が膨大であっても全体的な三次元シーンに影響を与えずに伝送しうる。
【図面の簡単な説明】
【００３６】
【図１】三次元メッシュ符号化器のブロック図である。
【図２】三次元メッシュ復号化器のブロック図である。
【図３】基礎ストリームからBIFS場面を構成する過程のフローチャートである。
【図４】図４はＢＩＦＳ場面のノードを解析する過程のフローチャートである。
【図５】インデックスフェースセットノードの情報を、３ＤＭＣを使用して処理するノード解析器のフローチャートである。
【図６】インデックスフェースセットノードの情報を選択的に３ＤＭＣを使用して処理するノード解析器のフローチャートである。
【図７】（ａ）既存のインデックスフェースセットノードの構成を示す図である。（ｂ）（ａ）に示されたインデックスフェースセットノードノードインターフェースの構成するフィールドを具体的に示す図面である。
【図８】（ａ）ＵＲＬを用いるインデックスフェースセットノード構成の一例を示した図である。（ｂ）（ａ）に示されたインデックスフェースセットのノードインターフェースを構成するフィールドを具体的に示す図面である。
【図９】（ａ）既存のインデックスフェースセットのノードフィールドにＵＲＬフィールドを追加したインデックスフェースセットノード構成の一例を示した図である。（ｂ）（ａ）に示されたインデックスフェースセットのノードインターフェースを構成するフィールドを具体的に示す図面である。
【図１０】（ａ）既存のインデックスフェースセットのノードを連結するＩＦＳコネクトノード構成の一例を示した図である。（ｂ）（ａ）に示されたＩＦＳコネクトノードインターフェースを構成するフィールドを具体的に示す図面である。
【図１１】（ａ）既存のインデックスフェースセットのノードフィールドにＵＲＬフィールドを追加して新たに生成されるコンプレストＩＦＳノード構成の一例を示した図である。（ｂ）（ａ）に示されたコンプレストＩＦＳノードインターフェースを構成するフィールドを具体的に示す図面である。
【図１２】シーン記述（場面技術）のインデックスフェースセットのノードを従来の方法で処理する概念図である。
【図１３】本発明の第１実施例によってシーン記述（場面技術）のインデックスフェースセットのノードを処理する概念図である。
【図１４】本発明の第２実施例によってシーン記述（場面技術）のインデックスフェースセットのノードを処理する概念図である。
【図１５】本発明の第３実施例によってシーン記述（場面技術）のインデックスフェースセットのノードを処理する概念図である。
【図１６】本発明の第４実施例によってシーン記述（場面技術）のインデックスフェースセットのノードを処理する概念図である。
【図１７】本発明の第５実施例によってシーン記述（場面技術）のインデックスフェースセットのノードを処理する概念図である。
【図１８】本発明の第６実施例によってシーン記述（場面技術）のインデックスフェースセットのノードを処理する概念図である。
【図１９】本発明の第７実施例によってシーン記述（場面技術）のインデックスフェースセットのノードを処理する概念図である。
【図２０】本発明の第８実施例によってシーン記述（場面技術）のインデックスフェースセットのノードを処理する概念図である。
【発明を実施するための形態】
【００３７】
以下、主にＭＰＥＧ−４システムパートにおいてＢＩＦＳのインデックスフェースセットノードを例として説明するが、これは頂点から面を構成することによって形成される三次元形状を表現して三次元メッシュ情報を表現するためのノードを示すための例示的なものに過ぎず、本発明の適用はこのようなインデックスフェースセットノードに限定されることではなく、三次元シーン（三次元場面）において頂点から面を構成することによって形成される三次元形状を表現する如何なるノードであっても含まれるということを当業者なら理解しうる。
【００３８】
以下、図１ないし図２０に基づいて本発明を詳しく説明する。ＭＰＥＧ−４ＳＮＨＣパートにおいてインデックスフェースセットノードを表現できるように提供される三次元メッシュ符号化器と復号化器とが図１と図２に各々示されており、本発明は図１及び図２に示されたようにＭＰＥＧ−４ＳＮＨＣパートで用いられた三次元メッシュ符号化器と復号化器とを三次元シーン記述（３Ｄ  Ｓｃｅｎｅ  Ｄｅｓｃｒｉｐｔｉｏｎ）に含まれたノードに利用しようとすることである。
【００３９】
図１に三次元メッシュ符号化器１００が示されており、幾何情報、連結情報、属性情報を含む三次元メッシュ情報は三次元メッシュ符号化器１００により符号化されて圧縮された三次元メッシュモデルを形成する。三次元メッシュ情報１１０は幾何情報１１１、連結性情報１１２、属性情報１１３が分離されて三次元メッシュ符号化器１００の幾何情報符号化器１０１、連結情報符号化器１０２、属性情報符号化器１０３を通じて符号化され、これらは総合的にエントロピ符号化器１０４を通じて最終符号化された三次元メッシュモデルが生成される。
【００４０】
また、図２に三次元メッシュ復号化器２００が示されている。ビットストリームに入力された符号化された三次元メッシュ情報は三次元メッシュ復号化器２００を通じて復号化されて幾何情報２２１、連結情報２２２、属性情報２２３を含む三次元メッシュモデルに復元される。すなわち、エントロピ復号化器２０５を通じて復号化されたそれぞれの情報は幾何情報復号化器２０１、連結情報復号化器２０２、属性情報復号化器２０３を通じて各々復号化されて三次元メッシュモデル２２０が復元される。
【００４１】
図３にはＭＰＥＧ−４システムパートで基礎ストリーム（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ（ＥＳ））３０１に伝送される三次元シーンの各ノードを解析してＢＩＦＳ場面３０４を生成する流れを示す。
【００４２】
ＭＰＥＧ−４はクライアント-サーバーモデルを用いて、ＭＰＥＧ−４クライアント(またはプレーヤーまたはブラウザー)はＭＰＥＧ−４サーバーとを接触し、コンテントを要請し、コンテントを受信し、コンテントをレンダリングする。このようなコンテントはビデオデータ、オーディオデータ、静止画像、合成２Ｄまたは３Ｄデータ、または前述した全てのもので構成でき、このような全てのデータが使用者のスクリーンでディスプレーされ、使用者のスピーカーで再生させるために受信端で結合される方法が場面記述（Ｓｃｅｎｅ  Ｄｅｓｃｒｉｐｔｉｏｎ）である。
【００４３】
ＶＲＭＬやＢＩＦＳで場面はツリー状態で配置されて多様なノードの集合として表現され、各ノードは場面に含まれた各オブジェクトを表現し、ノードの特定行動を定義するフィールドのリストで構成される。また、基礎ストリームは各オブジェクトデータ、シーン記述情報、またはオブジェクトなどに関連した制御情報を運搬する。
【００４４】
また、ＭＰＥＧ−４システム分野ではノードのタイプを現在の２つのバージョン値を用いて区分させ、各バージョン値によってノードのタイプを区分する識別子（Ｎｏｄｅ  Ｃｏｄｅ）が違って定義されていて各バージョン別にノードのための解析器が各々存在する。
【００４５】
図３では基礎ストリーム３０１からＢＩＦＳの構成情報がわかり、各場面のノード処理時、処理するノードのタイプに応じてバージョン１解析器３０２またはバージョン２解析器３０３で解析し、これ以上処理するノードがなければ経路をパッシングし、ＢＩＦＳ場面を構成する(３０４)。
【００４６】
一般に、図３に示されたノード解析器３０２、３０３は、図４のような形態に具現される。ＶＲＭＬとＢＩＦＳは全てノードを再使用するメカニズムを有し、処理するノードが再使用されるノードである場合、該当ノードＩＤ４０１を持ってきて、新たなノードである場合にはノードのタイプ４０２を求め、そのノードのタイプに応じて処理する(４０３)。そして、現在のノードが子ノードを有している場合(４０４)には、各子ノードに対してこれと同じ方法で処理する。
【００４７】
ＭＰＥＧ−４システムパートで三次元メッシュ符号化器及び復号化器を使用してインデックスフェースセットノードを符号化及び復号化するために図３のバージョン２のノード解析器３０３を図５のように具現しうる。処理するノードのタイプを確認し(５０１)、ノードのタイプがインデックスフェースセットノードの場合５０２には、三次元メッシュ符号化器及び復号化器を使用してインデックスフェースセットノードを符号化及び復号化する(５０３)。しかし、処理するノードのタイプがインデックスフェースセットノードではない場合には、既存のＢＩＦＳノード処理方式で処理する(５０４)。そして、現在のノードが子ノードを有している場合(５０５)には、各子ノードに対してこれと同じ方法で処理する。
【００４８】
ＭＰＥＧ−４システム分野で三次元メッシュ符号化器及び復号化器を使用してインデックスフェースセットノードを符号化及び復号化するためのさらに他の方法では、図３のバージョン２のノード解析器３０３を図６と同様に具現しうる。処理するノードのタイプを確認し(６０１)、ノードのタイプがインデックスフェースセットノードの場合(６０２)には、ＢＩＦＳの構成情報からインデックスフェースセットノードの処理方法を知らせる三次元メッシュコーディング識別子(ｕｓｅ  ３Ｄｍｅｓｈ  Ｃｏｄｉｎｇ)信号を参照し(６０６)、前記三次元メッシュコーディング識別子信号の設定されている場合には、インデックスフェースセットノードを三次元メッシュ符号化器及び復号化器を使用して符号化及び復号化する(６０３)。
【００４９】
しかし、処理するノードのタイプがインデックスフェースセットノードでないか、処理するノードに三次元メッシュコーディング識別子が設定されていない場合には、既存のＢＩＦＳノード処理方式で処理する(６０４)。そして、現在のノードが子ノードを有している場合(６０５)には各子ノードに対してこれと同じ方法で処理する。
【００５０】
図５のノード解析器では場面に含まれたあらゆるインデックスフェースセットノードを三次元メッシュ符号化器／復号化器で符号化／復号化するが、図６のノード解析器では場面に含まれたあらゆるインデックスフェースセットノードを三次元メッシュ符号化／復号化するのではなく、三次元メッシュ符号化／復号化されないインデックスフェースセットノードも含めるという点で差がある。すなわち、図６のノード解析器では、インデックスフェースセットノードに関する情報に三次元メッシュコーディング識別子を置き、インデックスフェースセットノードに三次元メッシュコーディング識別子が設定されている場合には三次元メッシュ符号化／復号化し、三次元メッシュコーディング識別子が設定されていない場合には三次元メッシュ符号化／復号化処理を行わないという点で図５のノード解析器と違う。
【００５１】
ＭＰＥＧ−４システム分野で三次元メッシュ符号化器及び復号化器を使用してインデックスフェースセットノードの情報を符号化及び復号化するためのさらに他の方法は、既存のインデックスフェースセットノードはそのまま保ち、インデックスフェースセットノードを符号化するために新たなノードを生成することである。この場合には既存のインデックスフェースセットノードに対しては図４に示されたようなノード解析器を使用して既存のＢＩＦＳノード処理方法で処理し、新たに生成されたノード、例えば、後述する図１１に示したように新たに生成されたコンプレスト（Ｃｏｍｐｒｅｓｓｅｄ）ＩＦＳノードに対しては三次元メッシュ符号化器／復号化器を用いて符号化及び復号化する。
【００５２】
図７は現在の三次元シーンで三次元メッシュを表現するために使われるインデックスフェースセットのノードインターフェースを示し、図８ないし１１には本発明によって生成されるインデックスフェースセットのノードインターフェースを示す。図８と図９に示されたインデックスフェースセットノードは、既存のインデックスフェースセットノードインターフェースを代替する新たなノードインターフェースを生成する形であり、図１０と図１１では既存のインデックスフェースセットノードはそのまま使用して新たなノードインターフェースを追加する形を示している。
【００５３】
全体的な三次元シーンに影響を与えないように符号化された三次元メッシュ情報を三次元シーン記述情報とは別のストリームを使用して伝送するためにインデックスフェースセットノードインターフェースを図８と同様に具現しうる。
【００５４】
図８のインデックスフェースセットノードは既存のインデックスフェースセットノードのあらゆるフィールドを無くし、前記インデックスフェースセットノードを他のストリームに連結しうるＵＲＬフィールド８００を含む。このようなＵＲＬフィールド８００には既存のインデックスフェースセットのあらゆるフィールド情報を含むストリームを探せる情報が記録される。したがって、インデックスフェースセットノードの三次元メッシュ情報は別の独立したストリームに載せられて伝送され、インデックスフェースセットノードの処理時には前記インデックスフェースセットノードの三次元メッシュ情報が載せられて伝送される独立したストリームに対する位置情報を有しているＵＲＬフィールドを参照する。
【００５５】
別のストリームで三次元メッシュ情報を伝送するためのさらに他の方法はインデックスフェースセットノードインターフェースを図９のように具現することである。図９のインデックスフェースセットノードは既存のインデックスフェースセットノードに含まれたあらゆるフィールド９００を含み、ＵＲＬフィールド９１０をさらに含む。これは図７と図８とを合わせた形であって、ＵＲＬフィールド９１０を用いて三次元メッシュ情報を別の符号化されたストリームに伝送することもでき、既存のインデックスフェースセットノードのフィールド９００を用いて符号化される三次元メッシュ情報をシーン記述ストリームに載せて伝送することもできる。一方、前記既存のインデックスフェースセットノードのフィールドに含まれた三次元メッシュ情報は符号化せずシーン記述ストリームに載せて伝送することもできる。
【００５６】
別のストリームで三次元メッシュ情報を伝送するためのさらに他の方法は、インデックスフェースセットのノードインターフェースは既存の方法の通り図７のように保ちながら図１０のような形の新たな連結ノードを生成することである。この方法ではＵＲＬフィールド１０００を保有している連結ノードのＩＦＳコネクトノードを生成し、前記ＵＲＬフィールドがインデックスフェースセット情報に載せられて伝送されるストリームを探せる情報を有させる。そして、前記ＩＦＳコネクトノードを三次元シーンでインデックスフェースセットノードの前の位置に挿入する。
【００５７】
以後、三次元シーンを解析する時、処理するノードがインデックスフェースセットノードの場合、前のＩＦＳコネクト連結ノードを参照し、前記連結ノードのＵＲＬフィールドからインデックスフェースセット情報のあるストリームを探せる。実際に、図８に示されたインデックスフェースセットノードと図９に示されたＩＦＳコネクトノードはそのフィールドの内容は同一であるが、図８では新たな形のインデックスフェースセットノードを新たに生成することである反面、図１０では既存のインデックスフェースセットノードはそのまま保ちながら連結ノードのみを新たに生成するという点で差がある。
【００５８】
別のストリームで三次元メッシュ情報を伝送するためのさらに他の方法は、図９のようなノードインターフェースを有するノードを図１１のように新たなノードに生成することである。すなわち、インデックスフェースセットノードを従来のように符号化せず、三次元メッシュ情報を表現するように保ち、三次元メッシュ情報を符号化するために新たなノードを定義して使用することである。
【００５９】
図１１に示されたコンプレストＩＦＳノードは既存のインデックスフェースセットノードのフィールド１１００とＵＲＬフィールド１１１０とを含む。コンプレストＩＦＳノードに含まれたＵＲＬフィールド１１１０を用いて三次元メッシュ情報を符号化されたストリームに伝送でき、コンプレストＩＦＳノードに含まれた既存のインデックスフェースセットフィールド１１００を用いて三次元シーン記述ストリームに載せて符号化された三次元メッシュ情報を伝送しうる。
【００６０】
図１２は従来の方法により場面技術のノードを処理する方法の概念図であり、図１３ないし図２０は本発明によるノードの構成によりシーン記述の各ノードを処理する方法の概念図である。
【００６１】
ＢＩＦＳとＶＲＭＬにおいて場面（シーン）は全て階層的なツリー構造で配列されたノードの集合からなり、各ノードは場面の客体（オブジェクト）を表現し、組合せ、変形させ、ノードの特定の行動を定義するフィールドのリストとして構成される。
【００６２】
オブジェクトディスクリプタストリーム（客体ディスクリプタストリーム）１２２０のオブジェクトディスクリプタＯＤには基礎ストリームＥＳに対する情報のＥＳ＿Ｄｅｓｃｒｉｐｔｏｒが１つ以上あり、このようなＥＳ＿ＤｅｓｃｒｉｐｔｏｒはＥＳ＿ＩＤを使用して該当客体（オブジェクト）のある基礎ストリーム１２３０を探すことになる。初期オブジェクトディスクリプタ１２００にはシーン記述（場面技術）ストリーム１２１０及びオブジェクトディスクリプタストリーム１２２０に関するＥＳ＿Ｄｅｓｃｒｉｐｔｏｒがあり、ＳＤ内のノードの異なるストリームの情報を探す時は、オブジェクトディスクリプタストリーム内のオブジェクトディスクリプタを通じて該当ストリームを探すことになる。
【００６３】
図１２に示された場面技術のインデックスフェースセットノード（ＩｎｄｅｘｄＦａｃｅＳｅｔ）１２４０は図７のような既存のノードインターフェースを使用し、この情報はＳＤストリーム１２１０に載せられて他のシーン記述情報と共にＳＤコデック(シーン記述（場面技術）符号化器／復号化器１２５０)に伝送されるか、あるいはＳＤコデック１２５０から伝送される。
【００６４】
説明の便宜上、以下ではシーン記述（場面技術）ストリームがＳＤコデックに入力される方向を説明するが、図１２ないし図２０に示されたＳＤコデックはシーン記述符号化器と復号化器とを含み、３ＤＭＣは三次元メッシュ符号化器と復号化器とを含むので、符号化されたストリームは場面技術復号化器や三次元メッシュ復号化器に入力され、シーン記述符号化器や三次元メッシュ符号化器から符号化されたストリームが出力されることはもちろんである。
【００６５】
図１３は本発明の第１実施例によってシーン記述（場面技術）のあらゆるインデックスフェースセットノードを３ＤＭＣで符号化／復号化し、３ＤＭＣ１３２０をＳＤコデック１３１０内に内蔵して配列する構成の概念図である。第１実施例においてインデックスフェースセットノード１３００は、図７に示されたような既存のノードインターフェースをそのまま使用し、三次元メッシュ符号化器／復号化器１３２０をＳＤコデック１３１０に内蔵させる。符号化された三次元メッシュ情報は三次元シーン記述情報が伝送されるシーン記述ストリームに載せられて共に伝送され、シーン記述ストリームに含まれたシーン記述情報はＳＤコデック１３１０により復号化され、シーン記述（場面技術）ストリームに載せられて伝送される符号化された三次元メッシュ情報は３ＤＭＣ１３２０により復号化される。
【００６６】
もちろん、ＳＤコデック１３１０により符号化されたシーン記述（場面技術）ストリームがＳＤコデック１３１０から出力され、３ＤＭＣ１３２０により符号化された三次元メッシュ情報が３ＤＭＣ１３２０から出力されることも含む。
【００６７】
図１４は本発明の第２実施例によって場面技術のあらゆるインデックスフェースセットノードを３ＤＭＣで符号化／復号化し、３ＤＭＣ１４２０はＳＤコデック１４１０とは別に独立して配列されてＳＤコデック１４１０と連結された構成の概念図である。シーン記述のＩＦＳノード１４００は図８に示されたようにノードインターフェースにＵＲＬフィールドのみを含む。ＩＦＳノード１４００のＵＲＬフィールドは符号化された三次元メッシュオブジェクトのオブジェクトディスクリプタＩＤを管理しており、該当オブジェクトディスクリプタ（客体ディスクリプタ）１４３０内のＥＳ＿Ｄｅｓｃｒｉｐｔｏｒを通じて符号化された三次元メッシュオブジェクトの情報が含まれているストリーム１４４０を探せる。
【００６８】
前記三次元メッシュコーディングで圧縮されたインデックスフェースセットストリーム１４４０は独立した３ＤＭＣ１４２０に伝送されて復号化され、シーン記述（場面技術）ストリーム内のシーン記述情報はＳＤコデック１４１０に伝送され復号化される。
【００６９】
図１５は、本発明の第３実施例によってシーン記述（場面技術）のＩＦＳノードが図９に示されたように既存のインデックスフェースセットノードインターフェースにＵＲＬフィールドを追加した形態であり、３ＤＭＣ１５２０がＳＤコデック１５１０と別に独立して存在してＳＤコデック１５１０に連結される構成の概念図である。図１４に示された第２実施例との差は、図１４では全てのインデックスフェースセットノードが三次元メッシュ符号化／復号化されるが、図１５では三次元メッシュ符号化／復号化されない既存のインデックスフェースセットノードも含むということである。
【００７０】
ＩＦＳノードに含まれたＵＲＬフィールドが使用せず、既存のインデックスフェースセットノードのフィールドで三次元メッシュ情報を表現するインデックスフェースセットノード（ＩｎｄｅｘｅｄＦａｃｅＳｅｔ）１５５０の場合には、インデックスフェースセットノードの三次元メッシュ情報はＳＤストリームに載せられてシーン記述（場面技術）内の他のＳＤ情報と共にＳＤコデック１５１０に伝送され、ＩＦＳノードに含まれた既存のインデックスフェースセットノードのフィールドが使用せず、ＵＲＬフィールドが使われるＩＦＳノード１５００の場合には別のストリーム１５４０に伝送される符号化された三次元メッシュ情報が３ＤＭＣ１５２０に伝送される。
【００７１】
図１６は本発明の第４実施例によってシーン記述（場面技術）のＩＦＳノードが図９に示されたように既存のインデックスフェースセットノードインターフェースにＵＲＬフィールドが追加された形であり、３ＤＭＣ１６２０はＳＤコデック１６１０内にも内蔵されて配列され、またＳＤコデック１６１０とは別に独立的にも配列されて前記ＳＤコデック１６１０に連結される構成の概念図である。
【００７２】
ＩＦＳノードのＵＲＬフィールドを使用する場合のＩＦＳノード１６００の場合に符号化された三次元メッシュ情報は別のストリーム１６４０を通じて独立して配列された３ＤＭＣ１６２０に伝送され、ＩＦＳノードのＵＲＬフィールドを使用せずに既存のインデックスフェースセットフィールドを使用する場合のＩＦＳノード１６５０の場合に符号化された三次元メッシュ情報はシーン記述（場面技術）ストリームに載せられてＳＤコデック１６１０内の３ＤＭＣ１６２０に伝送されて復号化される。
【００７３】
図１５に示された第３実施例との差は、第３実施例で符号化された三次元メッシュ情報は別のストリームにのみ伝送されたが、本第４実施例では３ＤＭＣ１６２０がＳＤコデック１６１０内にも配列されて独立して配列されるので、符号化された三次元メッシュ情報はシーン記述（場面技術）ストリームに載せられて伝送されても、シーン記述ストリームと別に独立したストリームで伝送されても良い。
【００７４】
また、図１５に示された第３実施例と図１６に示された第４実施例は両方共、インデックスフェースセットノードインターフェースとして図９に示されたようなノードインターフェースを使用するが、第３実施例は三次元メッシュ情報の符号化されたインデックスフェースセットノードと三次元メッシュ情報の符号化されていないインデックスフェースセットノードとを共に含むが、第４実施例は符号化されたインデックスフェースセットノードのみを含むという点で違う。
【００７５】
図１７は本発明の第５実施例によって場面技術のＩＦＳノードは図７に示されたような既存のインデックスフェースセットノードインターフェースを使用し、選択的３ＤＭＣ１７２０がＳＤコデック１７１０内に内蔵されて配列される構成の概念図である。第５実施例は三次元メッシュコーディングで符号化／復号化されるインデックスフェースセットノード１７００と三次元メッシュコーディングで符号化／復号化されないインデックスフェースセットノード（ＩｎｄｅｘｄＦａｃｅＳｅｔ）１７３０を全て含む。
【００７６】
第５実施例において、３ＤＭＣ１７２０をＳＤコデック１７１０に基本的に内蔵させるが、シーン記述（場面技術）内のあらゆるインデックスフェースセットノードを三次元メッシュ符号化／復号化することではなく、図６に示したノード解析器のように選択的に符号化及び復号化する。
【００７７】
すなわち、処理するノードがインデックスフェースセットタイプである場合に、ＢＩＦＳ構成情報から３次元メッシュコーディング識別子が設定されているかを判断し、３次元メッシュコーディング識別子が設定されていない場合、三次元メッシュ情報を他の場面技術情報と共にシーン記述（場面技術）ストリームに載せてＳＤコデック１５１０に伝送して既存のＢＩＦＳノード処理方式で処理し、３次元メッシュコーディング識別子が設定されている場合、三次元メッシュ情報はやはり他のシーン記述情報と共にシーン記述ストリームに載せてＳＤコデック１５１０に伝送して選択的３ＤＭＣ１７２０により三次元メッシュ情報を復号化する。
【００７８】
図１８は本発明の第６実施例によって既存のインデックスフェースセットノード１８００を含み、ＩＦＳノード１８３０が三次元メッシュ情報を含んでいる独立したストリームと連結する連結ノードであるＩＦＳＣｏｎｎｅｃｔノード１８４０を図１０のように定義して使用し、３ＤＭＣ１８２０をＳＤコデック１８１０とは独立して配列して構成する概念図である。
【００７９】
第６実施例において、シーン記述（場面技術）内の既存のインデックスフェースセットノード（ＩｎｄｅｘｅｄＦａｃｅＳｅｔ）１８００の三次元メッシュ情報はシーン記述ストリームに載せられて他のシーン記述情報と共にＳＤコデック１８１０に伝送される。連結ノードＩＦＳＣ１８４０は三次元シーンのツリー構造においてＩＦＳノード１８３０の前に位置するように挿入され、連結ノードのＵＲＬフィールドは三次元メッシュ情報が伝送される独立したストリーム１８６０に対する位置を探せる情報を有している。
【００８０】
連結ノードのＵＲＬフィールドが三次元メッシュ情報の伝送されるストリームに関する位置を探せる情報を有しているということは、連結ノードのＵＲＬがオブジェクトディスクリプタをポインターしており、オブジェクトディスクリプタ（客体ディスクリプタ）のＥＳ＿Ｄｅｓｃｒｉｐｔｏｒが三次元メッシュ情報を含んでいるストリームを探せる情報を有していることを意味する。
【００８１】
ＩＦＳＣノード１８４０の処理時、まずＩＦＳＣ連結ノードのＵＲＬにより三次元メッシュ情報を保持していて、次のノード処理時三次元メッシュ情報を含まない空いたインデックスフェースセットノードが出る場合に、前のＩＦＳＣ連結ノードに基づいて三次元メッシュ情報を含んでいる独立したストリームから三次元メッシュ情報を受取れる。しかし、ＩＦＳノードの前にＩＦＳＣ連結ノードがない場合、すなわち、インデックスフェースセットノード１８００と同一な場合には、既存のインデックスフェースセットノードの処理方法と同様に三次元メッシュ情報はＳＤストリームを通じて他のＳＤ情報と共に伝送されてＳＤコデック１８１０により処理される。
【００８２】
図１９は本発明の第７実施例によってＩＦＳノード１９４０を三次元メッシュ情報に含んでいる独立したストリームと連結する連結ノードのＩＦＳＣｏｎｎｅｃｔノード１９３０を図１０のように定義して使用し、さらに別のストリームを利用せず、三次元メッシュ情報を符号化するＩＦＳノード１９００を含み、３ＤＭＣ１９２０はＳＤコデック１９１０とは独立して配列し、ＳＤコデック１９１０内に内蔵させて配列する構成の概念図である。
【００８３】
第７実施例の図１８に示された第６実施例との相違点は、ＩＦＳＣ連結ノードを利用しないＩＦＳノード１９００の場合にも符号化された三次元メッシュ情報はシーン記述（場面技術）ストリームに載せられて他のシーン記述情報と共にＳＤコデック１９１０に伝送され、ＳＤコデック１９１０に内蔵された選択的３ＤＭＣ１９２０により復号化されるということであり、その他は第６実施例と同一である。
【００８４】
図２０は本発明の第８実施例によって既存のインデックスフェースセットノードを変更させず、図１１に示されたようなインターフェースを有する新しい圧縮ノードを定義して使用し、３ＤＭＣ２０２０はＳＤコデック２０１０内に内蔵させて配列するか、あるいはＳＤコデック２０１０とは独立して配列する構成の概念図である。
【００８５】
既存のインデックスフェースセットノード２０００は図７のような既存のインデックスフェースセットフィールドを含み、新たに生成したＣＩＦＳノード２０３０は図１１（ａ）に示したように既存のインデックスフェースセットノードのフィールド１１００とＵＲＬフィールド１１１０とを含む。
【００８６】
インデックスフェースセットノード２０００は既存のノード処理方式の通り、すなわち、三次元メッシュ情報を符号化せずに処理し、新たに生成されたＣＩＦＳノード２０３０の場合、ＵＲＬフィールド１１１０（図１１（ａ）参照）を用いる場合には符号化された三次元メッシュ情報を含んでいる独立したストリーム２０５０を通じて符号化された三次元メッシュ情報をＳＤコデックとは独立して配列された３ＤＭＣ２０２０に伝送して復号化し、新たに生成されたＣＩＦＳノードが既存のインデックスフェースセットノードのフィールド１１００を用いる場合には符号化された三次元メッシュ情報はシーン記述（場面技術）ストリームに載せられて他のシーン記述情報と共にＳＤコデック２０１０に伝送されてＳＤコデックに内蔵されたＣＩＦＳ用３ＤＭＣ２０２０により復号化される。
【００８７】
以上、本発明に係る説明では、主にＭＰＥＧ−４システムパートにおいて三次元シーンを表現する言語としてＢＩＦＳを説明したが、三次元シーンを記述する言語であるＶＲＭＬやＷｅｂ３Ｄにも本発明が適用できることは当業者ならば十分に理解しうる。
【００８８】
前述したように本明細書の詳細な説明及び図面には本発明の望ましい形態が説明され、図示されたが、本発明は他の多数の多様な組合わせ及び環境で利用でき、本発明の概念の範囲内で多数の変形及び修正が可能であることを当業者ならば十分に理解しうる。
【符号の説明】
【００８９】
１００    三次元メッシュ符号化器
２００    三次元メッシュ復号化器
１２００  初期オブジェクトディスクリプタ
１２１０  場面技術ストリーム
１２２０  オブジェクトディスクリプタストリーム
１２３０  基礎ストリーム
１２４０  インデックスフェースセットのノード
１２５０  ＳＤコデック
１２６０  ＥＳ＿Ｄｅｓｃｒｉｐｔｏｒ
１３２０  ３ＤＭＣ
【図１】
2011134361.tif 000003
【図２】
2011134361.tif 000004
【図３】
2011134361.tif 000005
【図４】
2011134361.tif 000006
【図５】
2011134361.tif 000007
【図６】
2011134361.tif 000008
【図７】
2011134361.tif 000009
【図８】
2011134361.tif 000010
【図９】
2011134361.tif 000011
【図１０】
2011134361.tif 000012
【図１１】
2011134361.tif 000013
【図１２】
2011134361.tif 000014
【図１３】
2011134361.tif 000015
【図１４】
2011134361.tif 000016
【図１５】
2011134361.tif 000017
【図１６】
2011134361.tif 000018
【図１７】
2011134361.tif 000019
【図１８】
2011134361.tif 000020
【図１９】
2011134361.tif 000021
【図２０】
2011134361.tif 000022