(57)【要約】３−Ｄワイヤーフレーム・アニメーションのパケット化されたストリーミングで、誤りに対する最適の復元はストリームを複数の階層へと区分化し、各々の階層に別々に不均等な誤り修正符号を適用することで同じ全体的ビットレートを維持することによって達成される。受信側で誤り隠蔽法と組み合わされた階層の各々のための不均等な誤り保護の仕組みは、視覚的平滑度といった主観パラメータを明らかにしない手法よりも高いパケット喪失率でストリーミングされるアニメーションの良質の劣化を達成する。
2005536802.tif 000002
【特許請求の範囲】
【請求項１】
データをストリーミングする方法であって、
ａ）ワイヤーフレーム・メッシュの中の各々のノードについて視覚的平滑度の値を計算する工程と、
ｂ）ワイヤーフレーム・メッシュに付随するデータを複数の階層へと階層化する工程とを含み、各々の階層に付随する平均の視覚的平滑度の値が、アニメーション配列の中でそれぞれの階層の重要度を反映することを特徴とする方法。
【請求項２】
複数の階層を送信するときに同じ全体的ビットレートを維持する工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
複数の階層のうちの各々の階層がワイヤーフレーム・メッシュの中にノードもしくはノードのグループを含むことを特徴とする請求項１に記載のデータ・ストリーミング方法。
【請求項４】
最重要の階層が最も高い平均の視覚的平滑度値を含み、パケット誤りに対して最も復元力を有することを特徴とする請求項１に記載のデータ・ストリーミング方法。
【請求項５】
特定の階層内に含まれるノードの数がそれぞれの階層の出力ビットレートに結びつくことを特徴とする請求項１に記載のデータ・ストリーミング方法。
【請求項６】
アニメーションを含むシーンを表わす３−Ｄのパケット化されたストリーミング信号を作り出す工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
同じ全体的ビットレートを維持する工程が、各々の階層に誤り修正符号を適用することによって生じ、誤り保護符号がアニメーション配列内のそれぞれの階層の重要度に従って階層の中で均等ではないことを特徴とする請求項１に記載の方法。
【請求項８】
データを階層化する前に、ワイヤーフレーム・メッシュを区分化することでワイヤーフレーム・メッシュよりも多くのノードを有する区分化されたメッシュを作り出す工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項９】
区分化する工程がさらに、ノードによって表わされるシーン内の対象および対応する対象の動きに従ってワイヤーフレーム・メッシュを区分化する工程を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
区分化する工程がさらに、同じ階層に割り当てられるであろう任意のサイズのサブメッシュへとワイヤーフレーム・メッシュを区分化する工程を含むことを特徴とする請求項８に記載の方法。
【請求項１１】
ストリーミングされるデータを受信する方法であって、ワイヤーフレーム・メッシュを複数の階層へと区分化するためにワイヤーフレーム・メッシュに対する不均等な誤り保護の仕組みがストリーミングされるデータに適用されるものであり、前記方法は、
複数の階層に対して誤り隠蔽の仕組みを適用する工程を含み、高いパケット喪失率でストリーミングされたアニメーションの良質の劣化が受信側で達成されることを特徴とする方法。
【請求項１２】
不均等な誤り保護の仕組みが、複数の階層の中のビット使用量割り当ての配分を最適化する工程を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
不均等な誤り保護の仕組みが視覚的平滑度の距離関数を利用することを特徴とする請求項１２に記載の方法。
【請求項１４】
複数の階層が視覚的重要度に従って区分化されることを特徴とする請求項１１に記載の方法。
【請求項１５】
内挿に基づく隠蔽法が、誤り隠蔽から回収されない未処理パケットに適用されることを特徴とする請求項１１に記載の方法。
【請求項１６】
ワイヤーフレーム・メッシュに付随するストリーミング・データを受信側で復号する方法であって、前記ストリーミング・データは前記ワイヤーフレーム・メッシュの視覚的重要度に従って組織化された複数の階層を含み、送信側は複数の階層のうちの一層大きな視覚的歪みを示す階層にさらに多くの冗長性を割り当てるものであり、前記方法は、
失われたパケットを回収するためにストリーミング・データ内のそれぞれの階層の中で冗長情報を使用する工程と、
未処理パケットの喪失に起因する歪みを小さくするために内挿に基づく誤り隠蔽法を適用する工程を含むことを特徴とする方法。
【請求項１７】
最も大きい視覚的歪みを示す階層が粗い階層であることを特徴とする請求項１６に記載の方法。
【請求項１８】
内挿に基づく誤り隠蔽法が各々の階層に別々に適用されることを特徴とする請求項１６に記載の方法。
【請求項１９】
ワイヤーフレーム・メッシュのデータをストリーミングする方法であって、
可視的な部分を有する階層および非可視的な部分を有する階層を含む複数の階層へとワイヤーフレーム・メッシュを区分化する工程と、
ユーザが静止モードでワイヤーフレーム・メッシュを見るときに、可視的な部分を有する階層だけを送信する工程と、
ユーザが対話モードでワイヤーフレーム・メッシュを見るときに、可視的な部分を有する階層および非可視的な部分を有する階層を送信する工程を含むことを特徴とする方法。
【請求項２０】
可視的な部分を有する階層だけ、あるいは可視的な部分を有する階層および非可視的な部分を有する階層を送信する工程が、利用可能な帯域幅に応じて決まることを特徴とする請求項１９に記載の方法。
【請求項２１】
可視的な部分を有する階層だけ、あるいは可視的な部分を有する階層および非可視的な部分を有する階層を送信する工程がユーザに選択されることを特徴とする請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２００２年８月２０日に出願され、本明細書にその内容を参照で組み入れる米国仮特許出願第６０／４０４，４１０号の優先権を主張するものである。
【０００２】
２００２年７月１９日に出願された「Ｃｏｄｉｎｇ  ｏｆ  Ａｎｉｍａｔｅｄ  ３−Ｄ  Ｗｉｒｅｆｒａｍｅ  Ｍｏｄｅｌｓ  Ｆｏｒ  Ｉｎｔｅｒｎｅｔ  Ｓｔｒｅａｍｉｎｇ  Ａｐｐｌｉｃａｔｉｏｎｓ：Ｍｅｔｈｏｄｓ，Ｓｙｓｔｅｍｓ  ａｎｄ  Ｐｒｏｇｒａｍ  Ｐｒｏｄｕｃｔｓ」という表題の米国特許出願番号１０／１９８１２９号は本出願のそれと同じ譲受人に譲り渡され、その全文を本明細書に参照で組み入れる。
【０００３】
本発明はデータのストリーミングに関し、さらに特定すると３−Ｄワイヤーフレーム・アニメーションのストリーミングのシステムおよび方法に関する。
【背景技術】
【０００４】
過去数年の間に、インターネットは、狭い帯域幅で文章のみの協同制作用媒体から豊富で対話式でリアルタイムの視聴覚の仮想空間へと急速に発展してきた。それは多くのユーザ、環境、およびアプリケーションを含み、そこでは３−Ｄアニメーションが駆動力を構成する。アニメーション化された３−Ｄモデルは表示される対象物でもって直観的で現実的な対話を可能にし、従来の視聴覚アニメーションで達成不可能な効果を可能にする。その結果、現在の課題は、既にあるネットワーク環境を促進し、そしてその限りあるリソースを顧慮することの両方を行なう方式で、アニメーション化された３−Ｄジオメトリ（３Ｄ-Geometry）を、既に存在し発展しているインターネットのインフラストラクチャに新たなデータ・ストリームとして統合することである。静止した３−Ｄメッシュ・ジオメトリの圧縮は過去１０年間活発に研究されてきたが、静止３−Ｄメッシュの時相領域（temporal domain）への延長である動的な３−Ｄジオメトリを圧縮することに殆ど研究は行なわれなかった。
【０００５】
３−Ｄ静止モデルについて最も普及している描写は多角形もしくは三角形のメッシュである。これらの描写はある所望の精度もしくは品質の範囲内で任意の形状およびトポロジの近似モデルを可能にする。そのような静止メッシュを作成、改造、圧縮  送信、および保存するための効率的なアルゴリズムおよびデータ構造が存在する。将来、時間の次元を導入する非静止ストリーム・タイプは、ネットワークの限られたリソース（帯域幅）および特性（チャネル誤り）との関連で存続するために拡張可能な解決策を必要とするであろう。
【０００６】
ここで対処される３−Ｄワイヤーフレーム・アニメーションのストリーミングの問題は以下のように述べることが可能である、すなわち（ｉ）時間依存性の３−Ｄメッシュはワイヤーフレーム・アニメーションのフレームの配列内に拡張可能に圧縮されてきたこと、（ｉｉ）利用可能な送信レート（transmission rate）Ｒが分かっている（または対応するＴＣＰを扱い易いレートに関して判定される）こと、（ｉｉｉ）チャネル誤り特性が分かっていること、および（ｉｖ）チャネル・コーディングのために利用可能な送信レートの一部分Ｃ（Ｃ＜Ｒ）が留保され得ること、を想定する。そのとき、問題点は、アニメーション・シーン内の重要度の各段階（階層）に割り当てられるべき最適ビット数を識別することであって、それが受信側での時間依存性メッシュの感知される品質を最大限にする。
【特許文献１】米国仮特許出願番号６０／４０４，４１０号
【特許文献２】米国非仮特許出願番号１０／１９８１２９号
【非特許文献１】Zachi KarniとCraig Gotsmanの「Spectral compression for mesh geometry」（Siggraph 2000, Computer Graphics Proceedings, Kurt Akeley, Ed.2000, 第２７９頁乃至第２８６頁, ACM Press/ACM SIGGRAPH/Addison Wesley Longman）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
大部分のアニメーション・コーディングの手法は静止３−Ｄメッシュの階層的コーディングを達成するために客観的距離関数（objective metrics）を使用する。必要とされるものはアニメーションの改善された外見を提供するために視覚的平滑度のような主観的な量を利用するアニメーション手法である。本明細書に述べられるものは３−Ｄワイヤーフレーム・アニメーション用のコーデックおよびビットストリーム内容、ならびにそれに付随する順方向誤り修正（Ｆoward Ｅrror Ｃorrection：ＦＥＣ）符号である。不均一誤り保護（Ｕnequal Ｅrror Ｐrotection：ＵＥＰ）法および受信側を基礎とした隠蔽法（concealment method）と共に視覚的歪み距離関数（visual distortion metric）もさらに説明される。
【課題を解決するための手段】
【０００８】
本発明はインターネット上の誤り回復可能な時間依存性３−Ｄメッシュ・ストリーミングのためのソース・コーディングおよびチャネル・コーディング技術に焦点を合わせており、それらはネットワークの帯域幅を尊重し、チャネルのバースト喪失（bursty loss）の性質を考慮する。
【０００９】
本発明の範例の実施形態は、ワイヤーフレーム・メッシュ内の各ノードについて視覚的平滑度を計算する工程、およびワイヤーフレーム・メッシュに付随するデータを、各階層に付随する平均の視覚的平滑度の値がアニメーション配列内のそれぞれの階層の重要度を反映するように複数の階層へと階層化する工程を含むデータ・ストリーミングの方法である。本発明の別の実施形態は、上記の方法と同様の処理法によって作り出されるビットストリーム、およびビットストリームを作り出して送信する装置またはビットストリームを受信する装置を含むことが可能である。
【００１０】
本発明の追加的な特徴および利点は以下の説明で述べられ、部分的にはその説明から明らかになるであろうし、あるいは本発明の実践によって知られる可能性がある。本発明の特徴および利点は、特に添付の特許請求項で指摘の手段および組み合わせによって実現され、得られることが可能である。本発明のこれらおよびその他の特徴は以下の説明および添付の特許請求項からさらに完全に明らかになるであろうし、あるいは本明細書に述べられた本発明の実践によって知られることが可能である。
【発明を実施するための最良の形態】
【００１１】
上記に引用される本発明の利点と特徴およびその他の利点と特徴が得られる方式を説明するために、簡単に上述した本発明のさらに特定した説明が、添付の図面に例示される特定の実施形態を参照することによって提供されるであろう。これらの図面が単に本発明の通常の実施形態を示しているだけであり、したがって本発明の範囲を限定していると考えられないことを理解すると、添付の図面の使用を通じて本発明は追加的な特定性および詳細を備えて述べられ、明らかにされるであろう。
【００１２】
概してコンピュータ・ネットワーク、特にインターネット上で映像のストリーミングを調べるために多くの研究が着手されてきた。３−Ｄワイヤーフレーム・アニメーションのストリーミングの分野では相対的に殆ど為されていなかった。両方の方法はある程度の類似性を有しているが、両者は大きく異なっている。多様なデータがネットワークを通過し、それゆえに喪失は異なる形で信号の復元に影響を及ぼす。そのような喪失の知覚的効果は当該技術では殆ど扱われていない。この領域の研究の大部分は主観的効果を考慮に入れる代わりに、ＰＳＮＲといった客観的尺度に頼った。
【００１３】
本発明は、受信側での知覚的効果の観点から誤りに対する最適の回復をどのようにして達成するかという問題に対処するためにいくつかの分野の構想を１つにまとめる。これに関すると、本発明はアニメーションの主観品質、例えばメッシュ表面の平滑度に関連する。主観要因を考慮に入れる改善されたコーディングの仕組みを達成するために、本発明の一態様はアニメーション・ストリームをいくつかの階層へと区分化する工程、およびリード・ソロモン（ＲＳ）順方向誤り修正（ＦＥＣ）符号を各階層へと別々に、かつ静止３−Ｄメッシュ圧縮に関する歪み距離関数によって測定したときに誤りの知覚的効果を最小限にしながら同じ全体的ビットレートを維持するような方式で適用する工程を含む。他の手法よりも高いパケット喪失率でストリーミングされたアニメーションの良質の劣化は、誤り隠蔽（ＥＣ）および効率的なパケット化手法と組み合わせた不均一誤り保護（ＵＥＰ）の手法によって達成されることが可能である。
【００１４】
本開示は、第１に関連する表示を導入する３−Ｄアニメーションのコーデックの概要を提供し、続いて誤り修正ＲＳ符号の概要、それと共にチャネル・モデルの派生、ならびに符号化されたビットストリームのためのＵＥＰパッケージ化の範例の説明を提供する。
【００１５】
時間依存性３−Ｄメッシュの頂点ｍｊは時間ｔにインデックス付きのセットＭｔ＝｛ｍｊｔ；ｊ＝１，２，・・・，ｎ｝を形成し、ここでｎはメッシュ内の頂点の数である。頂点は３つの空間成分（ｘｊ，ｙｊ，ｚｊ）を有するので、接続性の変化が時間内に生じないことを仮定する（一定のｎ）と、時間ｔでのインデックス付きセットのデータを
【数１】
2005536802.tif 000003
として位置マトリックスＭｔで表わすことが可能である。
【００１６】
インデックス付きの頂点のセットはノードと呼ばれる直観的に自然な区分へと区分化される。「ノード」という用語はそのようなノードとＶＲＭＬで規定されるノードとの対応性を強調するために使用される。ｉ番目のノードに対応する位置マトリックスはＮｉ，ｔで表わされる。一般性を失うことなく，ここで頂点のマトリックスがｋ個のそのようなノードについて
Ｍｔ＝［Ｎ１，ｔ  Ｎ２，ｔ・・・  Ｎｋ，ｔ］
で表現され得ることに留意すべきである。表記の便宜上、項Ｎｉ，ｔ（ｉ＝１，２，・・・，ｋ）はマトリックスを表わすため、ならびにｉ番目のノードに関することの両方に使用される。３−Ｄアニメーション圧縮アルゴリズムの目的は通信チャネル上で送信するために、合成アニメーションを形成するマトリックスＭｔの配列を圧縮することである。明らかに、３−Ｄメッシュの自由形のアニメーションについてはメッシュの座標は大きな変動を示し、それがＭｔマトリックスを圧縮にとって不適切にする。それゆえに、信号は時間ｔでのすべてのノード内のすべての頂点の非ゼロの変位のセット
Ｄｔ＝｛ｄｉｔ＝ｍｉｔ−ｍｎ０，ｉ＝１，２，・・・，ｐ（ｐ≦ｎ）：ｄｉｔ≠０｝
として規定されることが可能である。
【００１７】
この表記に従って、上記は変位マトリックスＤｔ
【数２】
2005536802.tif 000004
として、あるいは同等にノードのマトリックス
Ｄｔ＝［Ｆ１，ｔ  Ｆ２，ｔ  ・・・  Ｆｉ，ｔ］        （１）
として表現されることが可能であり、ここでＦｉ，ｔはｌ個のそのようなノードに関するノードｉ（ｉ＝１，２，・・・，ｌ）の変位マトリックスである。Ｄｔはすべての軸での変位がゼロである頂点を含まないのでＤｔの大きさがＭｔと比較してｐ≦ｎへと下げられることに留意すべきである。また、ノード内の頂点が変位しない場合（Ｆｉ；ｔ＝０）、ｌ≦ｋであり続けることにも留意すべきである。３−Ｄアニメーションの用語法では、疎のアニメーションはｐ＜ｎおよびｌ＜ｋを伴なうそれらの配列を称し、それに対してもしもｐ＝ｎおよびｌ＝ｋであればそのアニメーションは密と呼ばれる。もしもエンコーダがパラメータｐとｌを制御することが可能であれば（パラメータｌを調節することによって）階層化されたビットストリームを作り出すことが可能であることは明らかであり、そこではすべての階層Ｌは（パラメータｐを調節することによって）拡張可能である。アニメーションの疎の程度（または密度）は、
【数３】
2005536802.tif 000005
として定義される密度因子によって［０．．．１］の範囲で分類され、ここでＦはアニメーション・フレームの数であり、ｋは基準モデル内のノードの数である。ｐ→ｎおよびｌ→ｋについてはｄｆ→１であり、したがって完全なアニメーションである。
【００１８】
上記の式（１）で述べられ、かつ要約された概念は下記で詳細に述べられるようにＤＰＣＭコーダに適している。そのコーディング方法は、ここでは基準モデルと称される初期のワイヤーフレーム・モデルＭ０が受信側に既に存在すると想定している。基準モデルは、静止３−Ｄメッシュ送信、ならびに時間依存性メッシュと同じの喪失の多いチャネル上で送信が為されると想定される場合の誤り保護のための既にある方法でもって圧縮され、ストリーミングされることが可能である。そのような既にある方法は静止メッシュの送信に対応し、かつそれと同時使用することが可能であり、ここではこれ以上検討されないであろう。
【００１９】
３−Ｄアニメーション用コーデックの背景では、Ｉフレームは基準モデルＭ０から現在の時刻ｔのモデルへの変化を説明する。Ｐフレームは前の時刻ｔ−１から現在の時刻ｔへのモデルの変化を説明する。ＩおよびＰフレームに関して対応する位置および変位マトリックスは
【数４】
2005536802.tif 000006
によってそれぞれ示される。
【００２０】
図１Ａは本発明の一態様によるコーディング方法の範例のブロック図１００を示している。本図は３−Ｄ空間内のすべての軸に沿った各々の頂点の変位の一時的相関を活用するＤＰＣＭエンコーダを例示している。Ｐフレームを符号化するために、前の事例の復号されたセット（アニメーション・フレームまたは変位マトリックス）は、予測値１０８、１０６、
【数５】
2005536802.tif 000007
（以下、「Ｄ＾Ｐｔ−１」と表記、他の記号についても同様）として使用される。（Ｉフレームの符号化についても同等に、予測されるマトリックスはＤ＾Ｉｔ−１であり、ここでｔ＝０では基準モデルに関する変位マトリックスである。）その後、予測誤差Ｅｔ、すなわち現在の変位マトリックスと予測されたマトリックス１０６の間の差が１０２で計算され、１０４で量子化されて（Ｅ＾ｔ)となる。最終的に、分かっていないデータ統計を扱うために、量子化されたサンプルは適応型算術符号アルゴリズム１１０を使用してエントロピー・コーディングされる（Ｃｔ）。この予測の仕組みは量子化誤差の累積を防止する。
【００２１】
ＤＰＣＭデコーダ１２０が図１Ｂに示されている。デコーダ１２０は第１に受信されたサンプル１２２（Ｃ'ｔ）を算術的に復号し、復号されたサンプルを１２４、１２６（Ｄ＾'ｔ）を計算する。各々のノードの量子化の範囲はそれらのバウンディング・ボックスによって決定される。量子化のステップ・サイズはすべてのノードについて同じであると想定されることが可能であり、あるいは符号化されたビットストリームのレートを成形するために変わることも可能である。異なるノードで異なる量子化のステップ・サイズを可能にすることは、特にノード間の境界でメッシュの亀裂といった所産につながる可能性がある。
【００２２】
Ｄｔはすべての軸での変位がゼロである頂点を含まないのでＤｔの大きさがＭｔと比較してｐ≦ｎへと下げられることを開示人は上記に述べている。この特性は、削減されたアニメーション・フレームを許容しないＭＰＥＧ−４のＢＩＦＳアニメーションと対照して利点を提供する。疎のＤｔマトリックスに関すると、ノード全体がアニメーション化されることはなく、したがって大幅なアニメーションの柔軟性を可能にし、拡張可能なビットストリームを作り出すこともあり得る。さらに、Ｆｉ，ｔ＝０、∀ｉ∈［１・・・ｌ］であるケースでは、変位マトリックスＤｔはゼロであり、「空の」フレームにつながる。この特性は会話音声ストリームに特有の沈黙の期間に類似しており、ネットワークのジッタを吸収するためにＲＴＰを基本とする受信側のアプリケーション階層で利用されることが可能である。ストリーム間の同期もやはり達成されることが可能であり、それは多くの用途（例えば３−Ｄアニメーション化された仮想販売員とパケット会話との口合わせ）にとって最優先事項である。
【００２３】
次にチャネル・モデルおよび誤り修正符号が説明される。順方向誤り修正（ＦＥＣ）の考え方は失われたパケットを復元するために受信側で使用されることが可能な追加の冗長パケットを送信することである。本発明の好ましい実施形態によるＦＥＣ方法では、リード・ソロモン（ＲＳ）符号がパケットを横切って使用される。ＲＳ符号は知られている唯一の重要な最大距離分離符号であり、それゆえにそれらはバースト喪失チャネル上のパケット喪失に対抗する保護に適している。長さｎおよび大きさｋのＲＳ（ｎ，ｋ）符号がガロア体ＧＦ（２ｑ）上に規定され、ｋｑビットの情報記号をｎ個のそのような記号の符号語の中に符号化される、すなわちｎ≦２ｑ−１。ｎ−ｋ個の冗長パケットを計算するために送信側はｋ個の情報パケットのコピーを保存する必要がある。結果的に生じるｎ個のパケットはパケットブロック（Ｂlock Ｏf Ｐacket：ＢＯＰ）構造に積層される。このＢＯＰ構造は当該技術では知られており、したがってここではこれ以上説明されない。一定の全体的チャネル・レートを維持するために、ソース・レートは情報点率と呼ばれる一部分ｋ／ｎで低下させられ、その結果として初期的に下げられたアニメーション品質につながる。受信側は、どのようなｋ個の修正記号またはＢＯＰのパケットを受信してもただちに復号を開始することが可能である。
【００２４】
現実には、インターネットに内在するバースト喪失過程は極めて複雑であるが、しかし２状態マルコフ・モデルによって密接に近似させられることが可能である。２つの状態は、パケットが時間通りに正しく受信される状態Ｇ（良好）およびパケットが失われるか、またはそれらが失われたと考えられかねない点まで遅延を受けるかのいずれかであるＢ（不良）である。状態遷移の確率ＰＧＢとＰＢＧは完全にモデルを説明するが、それらは充分に直観的ではないのでモデルは平均喪失確率ＰＢ、および平均バースト長ＬＢを使用して
【数９】
2005536802.tif 000008
として表現される可能性がある。
【００２５】
ＲＳ符号のパラメータの選択に関すると、ＢＯＰが消失デコーダによってチャネルおよびＲＳ符号のパラメータの関数として復元されることが不可能となる確率が知られる必要がある。ＲＳ（ｎ，ｋ）符号に関すると、これはｎ−ｋ個以上のパケットがＢＯＰ内で失われる確率であり、ブロック誤り率ＰＢＥＲと呼ばれる。Ｐ（ｍ，ｎ）を、ブロック誤り密度関数とも呼ばれるｎパケットのブロック内でｍ個のパケットが失われる確率とする。そのとき、計算は
【数１０】
2005536802.tif 000009
となる。
【００２６】
上述の２状態マルコフ・モデルに対応する平均喪失確率ＰＢおよび平均喪失バーストＬＢはブロック誤り密度関数Ｐ（ｍ，ｎ）に関係する。それらの関係の確かな性質は文献で幅広く調べられ、かつ導き出されてきた。ここではビット誤りチャネルに関する導出をパケット喪失チャネルに適応させる。
【００２７】
前述したようなマルコフ・モデルは更新モデルであり、すなわち喪失の事象が喪失過程をリセットする。そのようなモデルは誤り不在の間隔（ギャップ）の分布によって決定される。もしもｖ−１個のパケットが２つの失われたパケットの間で受信されるようにギャップ長ｖが生じる場合、ギャップ密度関数ｇ（ｖ）がギャップ長ｖの確率を与え、すなわちｇ（ｖ）＝Ｐｒ（０ｖ−１｜１）である。ギャップ分布関数Ｇ（ｖ）はｖ−１よりも大きいギャップ長の確率を与え、すなわちＧ（ｖ）＝Ｐｒ（０ｖ−１｜１）である。筆者らのモデルの状態Ｂではすべてのパケットが失われ、その一方で状態Ｇではすべてのパケットが受信され、
【数１１】
2005536802.tif 000010
を生じる。
【００２８】
Ｒ（ｍ，ｎ）を、失われたパケットの後に続く次のｎ−１個のパケット内でｍ−１個のパケットが失われる確率とする。この確率は回帰
【数１３】
2005536802.tif 000011
から計算されることが可能である。そのとき、ブロック誤り密度関数Ｐ（ｍ，ｎ）またはｎパケットのブロック内でｍ個のパケットを失う確率は
【数１４】
2005536802.tif 000012
によって与えられ、ここでＰＢは平均誤り確率である。
【００２９】
式（５）から、Ｐ（ｍ，ｎ）がＦＥＣの仕組みの性能を決定すること、および式３と式４を使用してＰＢ、ＬＢの関数として表わされ得ることに気付く。下記で説明されるように、Ｐ（ｍ，ｎ）の表現は、視覚的歪みを最小限にする最適化されたソース／チャネル・レート割り当てのためにＲＳ（ｍ，ｎ）ＦＥＣの仕組みに使用されることが可能である。
【００３０】
次にビットストリームの書式およびパケット化の方法が述べられる。３−Ｄアニメーションのコーデックの出力ビットストリームはアプリケーション・レベルのトランスポート・プロトコル、例えばＲＴＰを伴なうストリーミングのために適切にパケット化される必要がある。単一階層のビットストリームのためのこの方法は知られており、その主な特徴は次の３つの概念によって要約される。
【００３１】
（１）モデルのいずれのノードがアニメーション化されるかを記述するために、アニメーション・マスク、ＮｏｄｅＭａｓｋ、およびＶｅｒｔｅｘＭａｓｋがＢＩＦＳ−Ａｎｉｍに類似した方式で規定される。ＮｏｄｅＭａｓｋは本質的にビット・マスクであり、設定されると各々のビットが、Ｎｏｄｅ  Ｔａｂｌｅ内の対応するノードがアニメーション化されるであろうことを示す。Ｎｏｄｅ  Ｔａｂｌｅ（シーンの中のすべてのノードの順序化されたリスト）は、基準のワイヤーフレーム・モデルが既に中にあるので受信側で分かっている優先（priori）であるか、または他の手段によってダウンロードされるかのいずれかである。同様の方式で、ＶｅｒｔｅｘＭａｓｋはアニメーション化される頂点について、１軸あたり１つ規定される。
【００３２】
（２）もっとも単純な形式では、（１つのアプリケーション・データ・ユニット（ＡＤＵ）を表わす）１つのフレームが１つのＲＴＰパケット内に含まれる。その意味では、３−Ｄアニメーション用コーデックの出力ビットストリームは知られているアプリケーション・レベル・フレーミング（ＡＬＦ）の原理に従って「自然にパケット化可能」である。ＲＴＰパケット・ペイロードの書式はＮｏｄｅＭａｓｋおよびＶｅｒｔｅｘＭａｓｋで始まり、その後、各々の軸に沿って符号化されたサンプルが続くと考えられる。
【００３３】
（３）ＲＴＰヘッダ内のＭビットは、（もしも存在すれば）まとめてグループ化されることが可能な一連の「空の」フレームの１番目に関して設定されなければならない。
【００３４】
この単純な書式は控えめな数の頂点による淡いアニメーションにとって十分である。しかしながら、シーンの高度の複雑さまたは高解像度のメッシュを伴なう配列は圧縮後に多数の符号化されたデータを生じる可能性があり、経路のＭＴＵを超える可能性のあるフレームに結果的につながる。そのようなケースでは、単一階層内の未加工のままのパケット化はＲＴＰペイロードに関する分割法則の定義を必要とし、それはＡＬＦの意味では常に簡単ではない可能性がある。さらに、上述したようにＲＴＰ内で直接パケット化されたフレームはそれらの長さが変わるせいで変わり易いビットレートを作り出す。
【００３５】
上記で設定した必要条件を満たして（ａ）階層化されたビットストリームに適応し、かつ（ｂ）一定のビットレートのストリームを作り出すさらに効率的なパケット化の仕組みが求められる。この効率は、パケットブロック（ＢＯＰ）として知られているブロック構造を適切に適応させることによって達成されることが可能である。この方法では、単一の階層の符号化されたフレームがＳＰカラムの格子構造でｎ本の線の順序で順々に配置され、その後、格子を横切ってＲＳ符号が縦方向に作り出される。ＲＳ（ｎ，ｋ）消失符号によって保護されるデータ・フレームに関すると、格子の長さがソース・データのｋフレームについてｎとなるように誤り復元力情報が添付される。この方法はバースト・パケット誤りを伴なうパケット・ネットワークについては最も適切であり、配列フレーム・レートＦＲ、パケット・サイズＳＰ、ＢＯＰ内のデータ・フレーム・レートＦＢＯＰ、およびＲＳ符号（ｎ，ｋ）によって完全に説明されることが可能である。
【００３６】
直観的に、ＦＲのフレーム・レートでＳＰバイトの長さのパケットを備えたＦＢＯＰのデータ・フレームで構成されるＢＯＰに関すると、合計のソースおよびチャネルのビットレートＲは
【数１５】
2005536802.tif 000013
で与えられる。
【００３７】
この式は、パラメータＦＢＯＰ、ｎおよびＳＰのバランスを適切にとることによる効率的なパケット化の仕組みの設計への手引きとして役立つ。それはまた、遅延と復元力の間の二律背反も包含する。階層化されたビットストリームに関すると、階層あたり１つのＢＯＰの目指した設計が必要とされる。式６の中のパラメータを変えることによって各々の階層に異なったＲＳ符合レートが割り当てられることが可能となり、その結果、各々の階層に異なったレベルの誤り保護を与える。視覚的誤りの尺度を考慮して、これらのパラメータが実践で３−Ｄアニメーションのストリーミングのアプリケーション用に調節される方式は次に説明される。
【００３８】
アニメーション化されたメッシュの受信側での不完全な復元から結果的に生じる視覚的喪失を測定するために、時間ｔでの元来のメッシュＭｔとその復号された同等物Ｍ＾ｔの間の視覚的差異を捕捉することが可能な距離関数が必要とされる。最も単純な尺度は対応する頂点間のＲＭＳの幾何学的距離である。場合によっては、ハウスドルフ距離が誤り距離関数として共通して使用されてきた。ハウスドルフ距離は、このケースでは２セットの頂点ＭｔおよびＭ＾ｔの間の最大最小距離として規定され、それにより、Ｍ＾ｔ内のすべての点の距離Ｈ（Ｍｔ、Ｍ＾ｔ）の中にすべての点Ｍｔが入り、またその逆もある。これは
【数２０】
2005536802.tif 000014
として表現されることが可能であり、ここでｈ（Ｍｔ，Ｍ＾ｔ）は、
【数２２】
2005536802.tif 000015
であり、「||・||」は２つの頂点ｍｔとｍ＾ｔの間のユークリッド距離である。ＳＮＲおよびＰＳＮＲといった自然な映像コーディングと等価なものによって多くの他の歪み距離関数が導き出される可能性があるが、しかしそれらはそれらが符号化する特定の信号の統計学的特性に仕立てられており、多様な媒体にわたるいくつかの信号および符号化法を横切ってユーザに感知される歪みの一様な尺度を与えるには不十分である。さらに、特に３−Ｄメッシュに関するとこれらの距離関数はすべて幾何学的な密接の程度の表示、または信号対ノイズ比を与えるのみであり、表面の平滑度のような人間の眼が理解するさらに繊細な視覚的特性を捕捉するには不十分である。
【００３９】
図２は８ＨｚのＩフレーム周波数を備えてアニメーション化された配列のＢＯＵＮＣＥＢＡＬＬの１５０フレームに関してＰＳＮＲ、ハウスドルフ距離、および視覚的平滑度の歪み距離関数の比較プロット２００を例示している。上側２つのプロット（ＰＳＮＲ−ハウスドルフ）はそれらが表わす幾何学的距離とハウスドルフ距離の対応する距離関数の間の期待される相関（式７）を示している。下側２つのプロットは、幾何学的距離が大きいケースでは視覚的歪み（式８）が小さくなる可能性があること、およびその逆もあり得ることを示す。
【００４０】
表面の平滑度を使用する方向で為された１つの試みはＫａｒｎｉとＧｏｔｓｍａｎによって報告され、３−Ｄメッシュ幾何学構造に関してスペクトル圧縮アルゴリズムを評価しながら着手された。本明細書に参照で組み入れるＺａｃｈｉ  ＫａｒｎｉとＣｒａｉｇ  Ｇｏｔｓｍａｎの「Ｓｐｅｃｔｒａｌ  ｃｏｍｐｒｅｓｓｉｏｎ  ｆｏｒ  ｍｅｓｈ  ｇｅｏｍｅｔｒｙ」、Ｓｉｇｇｒａｐｈ  ２０００，Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｅｄｉｎｇｓ，Ｋｕｒｔ  Ａｋｅｌｅｙ，Ｅｄ．２０００，ｐｐ．２７９〜２８６，ＡＣＭ  Ｐｒｅｓｓ／ＡＣＭ  ＳＩＧＧＲＡＰＨ／Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ  Ｌｏｎｇｍａｎを参照されたい。この中で、示唆された３−Ｄメッシュの歪み距離関数は各々の頂点のその隣りの頂点への距離によって、２つの頂点間のユークリッド距離として算出される客観的誤差を正規化する。このタイプの誤差距離関数が３−Ｄメッシュの表面の平滑度を捕捉する。これは、トポロジと幾何学形状の両方を考慮に入れるラプラス演算子によって達成されることが可能である。頂点ｖｉでのこの幾何学的ラプラシアンの値は
【数２５】
2005536802.tif 000016
であり、ここでｎ（ｉ）は頂点ｉと隣接するもののインデックスのセットであり、ｌｉｊは頂点ｉとｊの間の幾何学的距離である。それゆえに、新たな距離関数はメッシュ間の幾何学的距離のノルム(norm)とラプラシアン差のノルムの平均
【数２６】
2005536802.tif 000017
として規定される（ｍｔとｍ＾ｔはそれぞれメッシュＭｔとＭ＾ｔの頂点のセットであり、ｎはＭｔ、Ｍ＾ｔのセットのサイズである）。
【００４１】
式８のこの距離関数は本発明に使用されることが好ましく、これ以降では視覚的平滑度距離関数（ＶＳ）と称されるであろう。やはりメッシュの視覚的平滑度に関連する他の式もやはり使用されることが可能である。
【００４２】
ＶＳ距離関数はあらゆる頂点ｍｔの隣りの頂点といった連結性の情報を必要とする。アニメーション時に連結性の変化がないと想定される３−Ｄアニメーション用コーデックのケースについては、頂点の隣接性が前もって計算される可能性がある。
【００４３】
上述したＢＯＰ構造は、ＲＳ消去符号に基づいて冗長情報を使用する効率的なパケット化の仕組みの設計に適している。その設計パラメータの関係式もやはり式６に示された。しかし、この式は階層化に関してどのような情報も反映しない。範例となる階層化設計の手法が次に説明され、３−Ｄワイヤーフレームのストリーミングに関して提案される誤り回復の方法がそれに続く。
【００４４】
階層化は、各々の階層の平均ＶＳ値がアニメーション配列内でその重要度を反映するような方式で実行される。これを達成するために、メッシュ内のあらゆるノードについて式８からＶＳが別々に計算され、ノードはそれらの平均ＶＳに従って配列内で順序化される。最も高い平均ＶＳを備えたノードもしくはノードのグループが第１でかつ視覚的に最重要の階層Ｌ０を構成する。これは他の階層よりもパケット誤りに対して回復力があるはずの階層である。それに続く重要度の階層Ｌ１，・・・，ＬＭはＶＳの順で、後に続くノードもしくはノードのグループに対応して作り出される。
【００４５】
もしも３−Ｄメッシュが階層の望ましい数よりも多くのノードを有する場合、同じ階層内にグループ化されるノードの数は設計選択であり、階層の出力ビットレートを決定づける。わずかのノードだけであるがノードあたり多数の頂点を備えたメッシュに関すると、ノードの区分化が望ましい可能性がある。この区分化は元よりも多くのノードを備えて新たなメッシュ内に３−Ｄメッシュの頂点を復元するであろう。この方法は連結性に影響を与えるであろうが全体として与えられるモデルには影響しない。可能であるならば、複数ノードへのメッシュの区分化は任意のものではなくこれら新たなノードが３−Ｄシーンの中で表わすであろう自然な客観およびそれらの対応する動きを反映すべきである。もしも区分化が上記の意味で不可能であれば、同じ階層へと割り当てられるであろう任意のサイズのサブメッシュ（複数ノード）でメッシュを区分化することが可能である。メッシュの区分化は当業者によって理解されるであろう複雑な前処理工程を必要とする。しかしながら、３−Ｄアニメーションのコーデックが静止の連結性を想定していることを思い起こすべきである。
【００４６】
蓄積性の効果でもって階層を構築することは「自然な映像」で普通の慣例である。すなわち、階層Ｌｊのデータが階層Ｌｊ−１のデータに詳細を付け加え、映像の全体的な品質を改善する。しかし階層Ｌｊ−１までのみを復号し、改良用の階層をあきらめることは可能である。この手法は適応型ストリーミングのシナリオでとられる可能性があり、そこでは送信側は混雑したネットワーク状況時にｊ−１階層だけを送信するように選択することが可能であり、ネットワーク状況が良くなるとｊまたはそれよりも多くの階層、すなわちさらなる帯域幅が利用可能となる。
【００４７】
ここに開示される３−Ｄアニメーション階層の性質は同じ意味で常に蓄積性であるわけではない。階層Ｌｊ（適切なノードのグループ化またはノードの区分化で構築されている）を復号することは必ずしも前の階層Ｌ０，・・・，Ｌｊ−１に含まれるデータの品質洗練するだけではなく、例えばモデル内のさらに多くの頂点にアニメーションを追加することによってアニメーションの詳細をアニメーション化されたモデルに追加する。
【００４８】
例を挙げると、配列ＴＥＬＬＹ（下記でさらに充分に考察される）を考えると、それはヘッド・アンド・ショルダ型の会話するアバターである。ＴＥＬＬＹは常にカメラ（静止カメラ）に向いている。カメラが動かないので、毛髪の裏側をアニメーション化することは帯域幅の浪費である。しかしながら、毛髪の可視的な部分と非可視的な部分（頂点のセット）を容易に見出すことが可能であり、「毛髪」ノードの適切な区分化でもって可視的な部分に階層Ｌｊ−１、非可視的な部分に階層Ｌｊを割り当てることが可能である。静止カメラの（および対話形式が許されない）ケースでは、階層Ｌｊは送信されない。その結果、ユーザが静止モードでワイヤーフレーム・メッシュまたはアニメーションを見るとき、アニメーションは回転も移動も行なわないのでアニメーションの可視的な部分だけが見られることが可能である。ユーザがアバター（または他のモデル）の回転またはズームインによってアニメーションを調べること、またはその裏側を見ることが可能となるはずのケースでは、階層Ｌｊが送信される。このケースでは、ユーザは会話式モードでアニメーションを眺め、それはアニメーションの動きの欠落のせいで静止モードでは目に見えなかったアニメーション部分をユーザが見ることを可能にする。しかし階層Ｌｊは階層Ｌｊ−１の毛髪の可視的なノードのアニメーションを洗練することはない。それは非可視的な頂点のための追加的なアニメーション・データを有する。これは区分化法の範例となる結果を与えている。
【００４９】
さらに、「対話モード」は必ずしもユーザがアニメーションと対話することを必要としない。対話モードは、以前は隠れていたアニメーション部分を露出するようにアニメーションが移動または回転することが可能などのような視聴モードにも関する。したがって、視聴者が単純にアニメーションを眺めているいくつかのケースでは、アニメーションは話しながらさらに人間的または自然な方式で移動または回転することが可能である。このケースでは、Ｌｊ階層または他の不可視の階層は追加的なアニメーション・データを提供して視聴体験を完全にするために送信される可能性がある。この関連で、静止または対話モードは利用可能な帯域幅によって決まる。すなわち、もしもアニメーションの可視的な階層と非可視的な階層の両方を送信するために充分な帯域幅が利用可能であれば、アニメーションは静止モードではなく対話モードで見られることが可能である。本発明の別の態様では、ユーザは静止または対話モードを選択し、その結果、いずれの階層が送信されるかを制御することが可能である。
【００５０】
図３Ａは本発明の一態様による工程の範例のセットを例示している。本方法は３−Ｄワイヤーフレーム・メッシュを区分化する工程（３０２）、メッシュ内の各々のノードについてＶＳ値を計算する工程（３０４）、および各々の階層に付随する平均ＶＳ値がアニメーション配列内のそれぞれの階層の重要度を反映するように、ワイヤーフレーム・メッシュに付随するデータを複数の階層へと階層化する工程（３０６）を含む。誤り修正符号を各々の階層に適用することによって複数の階層を送信するときに同じ全体的ビットレートが維持され、そこでは誤り修正符号は階層の重要度に従って階層内で同等ではない（３０８）。
【００５１】
本明細書で使用される「区分」という用語は、同じ階層に割り当てられるであろう任意もしくは非任意のサブメッシュへとメッシュを区分化する工程のような前処理工程を意味する。さらに、この用語は１つまたは複数のノードを含む様々な階層を作り出す処理法といった他の応用法もやはり有する。
【００５２】
図３Ｂは本発明の別の態様のフローチャートを例示している。本方法は複数の階層のうちの最大の視覚的歪みを示すある階層にさらなる冗長性を割り当てる工程（３２０）を含む。これは、例えば視覚的に粗い情報を含む階層である可能性がある。次に、階層が視覚的平滑度に寄与しなくなるにつれて冗長性は徐々に削減される（３２２）。受信側の観点から回収不可能なパケットの喪失がそれぞれの階層内でのみ生じる受信側の各々の階層に内挿法を基本とする隠蔽が適用される（３２４）。特定の階層に所属するパケットが通信ネットワークを通って伝わるとき、それらは送信側から受信側への異なる経路をとる可能性があり、その結果、様々な遅延および喪失を被る。受信側が全体的なパケット喪失率を見出すと、受信側は各々の階層に別個に与えられた冗長情報（ＦＥＣ）を使用することによって喪失率を下げようと試みるであろう。ＦＥＣの量は失われるパケット（未処理パケット）全部を回収するために充分でない可能性がある。未処理パケット喪失によって導入される歪みを低減させるために、内挿法を基本とする隠蔽が各々の階層に別々に適用されることが可能である。概して、ピア・トゥ・ピアのネットワークといった通信ネットワーク上で工程３２０および３２２は符号化／送信側の端部で実行され、工程３２４は受信側で実行される。
【００５３】
時間ｔに受信側で予期されるアニメーションの歪みは積の量Ｐｊｔ・Ｄｊｔの合計であって、ここでｊは階層のインデックス、Ｄｊｔは時間ｔに階層ｊ内の喪失情報によって被る視覚的歪みであり、Ｐｊｔは階層ｊで回収不可能なパケット喪失を有する確率である。筆者らが階層を作成した方式によると、確率Ｐｊｔは独立しており、階層内のバースト・パケット喪失は復号される配列内でそれ自体の視覚的歪みＤｊｔに寄与する。正式には、時間ｔにデコーダで予期されるアニメーションの視覚的平滑度ＶＳ（ｔ）は
【数３０】
2005536802.tif 000018
として表現されることが可能であり、ここでＬは階層の数である。上式で、Ｐｊｔは式５によって与えられるようなブロック誤り率ＰＢＥＲ、または階層ｊ内でｎ−ｋｊパケットよりも多くを失う確率である。ブロック誤り密度関数Ｐ（ｍ，ｎ）を使用すると、次の
【数３１】
2005536802.tif 000019
が導き出される。式９および式１０から、ＶＳ（ｔ）は
【数３２】
2005536802.tif 000020
として記述されることが可能である。
【００５４】
統計学的意味では式１１はデコーダでフレームあたりに経験される視覚的平滑度の予測値を推定する。目的は式１１の中のｋｊｔの値に関してこの歪みを最小限にすることである。ビットストリームが複数階層内に分割される方式から、最も大きな視覚的歪みを示す階層（粗い階層）に最適化処理がさらに多くの冗長性を割り当て、全体的な平滑度への寄与が最も小さくなると階層への冗長性の率を徐々に下げることが予測される。あらゆる時間ｔに計算される必要のあるｋｊｔのＬ値が存在し、それは条件０≦ｋｊｔ≦ｎおよび
【数３３】
2005536802.tif 000021
に従い、ここでＲＣは冗長ビットであり、ｑは記号のサイズである。上記の課題の公式は非線形の制約最適化の課題を生じ、それは数字で解を与えられることが可能である。
【００５５】
ＰＢ＝０に関して予測されるモデルの挙動はｋｊｔに関して等しい値を生じることであり、それに対して高いＰＢでは独特に変化するｋｊｔが得られるであろう。式１１の平滑度の歪みの計算に関して、受信側で誤り隠蔽が起こらないと仮定されていることに留意すべきである。
【００５６】
頂点の直線的内挿に基づく技術が３−Ｄアニメーション・フレームに関する充分かつ効率的な誤り隠蔽の方法であることは示されている。これは「参照局所性の原理」に頼っており、それに従って、高いフレーム・レートのアニメーションは線形または部分的線形以外の頂点軌道を示しにくい。もしもさらに高度の複雑さが入れられると、隣のフレームから得られる情報を使用することによってさらに高次の内挿が使用されることが可能である。いくつかの知られている内挿法および他の隠蔽法は、それらがどのような他のデコーダによって使用されることも可能であるという点で一般的である。
【００５７】
図４は本研究の実験パラメータ、すなわちＰＢ＝［０  ・・・  ３０］およびＬＢ＝４に適した３つの誤り隠蔽法の相対的性能を例示するグラフ４００である。直線的内挿法がフレーム繰り返しまたは運動ベクトルに基づく方法よりも優れていることは明らかである。このプロットは異なる喪失パターンによる８回繰り返しに関する平均値を示している。内挿隠蔽法が極めて低いばらつきを示すことが（エラー・バーによって示されるように）プロット上で明らかであり、参照局所性の原理を確認するものである（平均喪失バースト長さＬＢ＝４は３０Ｈｚの配列フレーム・レートよりもはるかに下である）。したがって本発明は、チャネル・デコーダがｎ−ｋｊｔ個未満のＢＯＰパケットを受信するケースでは受信側で内挿を基本とする誤り隠蔽法を使用することが好ましい。実際に、もしも隠蔽技術と組み合わされると、最適化の課題に解を与えるｋｊｔは最小限の歪みもやはり与えるであろう。そのようなケースで予期される歪みは誤り隠蔽を伴なわない歪みよりも小さいであろう。
【００５８】
以下は実験手順、および３−Ｄワイヤーフレーム・アニメーションの実在のケースについて値を調節する方法および最適化する処理、ならびに本発明を使用した実験結果の考察を説明している。
【００５９】
以下の実験は、３−Ｄワイヤーフレーム・アニメーションのストリーミングのための誤り隠蔽（ＥＣ）と組み合わせた提案される不均一誤り保護（ＵＥＰ）の仕組みの効率を、シミュレーションを通じて実証する。特に、ＥＣを伴なったＵＥＰの使用が単純なＵＥＰ、均一誤り保護（ＥＥＰ）および無保護（ＮＰ）と比較される。この比較は、アニメーションの時に時間依存性のメッシュの表面平滑度を捕捉する歪みの尺度を作り出すことで知られている視覚的平滑度距離関数に基づいている。パラメータｋｊｔの計算については、チャネル・レートＲＣを考えると、式１１の制約付き最小化の課題が数字で解を与えられる。さらに、元来のソース信号のレート特性がＢＯＰの特定の設計に合致するようにｎが式６から計算される。式６に使用されるその他のパラメータは実験の中で２つの配列について下記で与えられ、表１にもやはり要約される。
【表１】
2005536802.tif 000022
【００６０】
ＥＥＰのケースに関すると、定数ｋは１５％に設定されるチャネル・レートの選択から直接導き出されることが可能であると考えられる。ＮＰのケースに関すると、ソースに対して利用可能なすべてのチャネル・レートが割り当てられる。最後に、ＥＣの仕組みは未処理喪失を伴なうＵＥＰのケースに関する内挿に基づいて使用された。すべての実験で、使用されたＬＢ＝４であった。
【００６１】
配列ＴＥＬＬＹおよびＢＯＵＮＣＥＢＡＬＬは、式２で与えられるｄｆＴＥＬＬＹ＝０．７５およびｄｆＢＢＡＬＬ＝１．０の密度因子を伴なって使用された。ＴＥＬＬＹは表１に示されるように９個のノード（そのうちの３個は比較的疎であり、残りの６個は完全である）および３０Ｈｚで合計７８０個のフレームで構成される。その平均ソース・ビットレートはＲＳ，ＴＥＬＬＹ＝２２０Ｋｂｐｓであった。ＢＯＵＮＣＥＢＡＬＬは１個の完全なノード、および２４Ｈｚで５２８個のフレームのみを有し、ソース・レートＲＳ，ＢＡＬＬ＝平均６１Ｋｂｐｓの１つの階層を形成する。両方の配列は１５フレーム毎にＩフレームで符号化された。およそ１５％のチャネル符号化冗長性が許容され、合計のソースおよびチャネル符号化の冗長性に結果的につながり、ＲＴＥＬＬＹ＝２５３ＫｂｐｓおよびＲＢＢＡＬＬ＝７０．１５Ｋｂｐｓの合計のソースおよびチャネルのレートに結果的につながった。式６からパラメータｎ＝３２に選択すると、各々の階層のパケット化に関する計算は表１に作表される。大きなｎは遅延およびバッファ・スペースを犠牲にすることによってＲＳ符号を一層復元力のあるものにするので、ｎの値は待ち時間と効率の妥協点として選択される。
【００６２】
配列ＴＥＬＬＹは第５節に提示された示唆される階層化方法に従って３つの階層へと分割され、各々が表１に示されたノードで構成される。３−Ｄメッシュ内のアニメーション化された頂点の合計数の各々の階層の画分は平均で（Ｌ０，Ｌ１，Ｌ２）＝（０．４８，０．４２，０．１０）である。この分割は各々の階層のソース・ビットレートを比例的に反映すると予期される。示唆される階層化の仕組みは３個の疎のノードのうちの２個を同じ階層Ｌ１に割り当てることが分かった。これら２個の疎ノードの頂点の合計数は基準メッシュ内の頂点の６５％を表わす。第３の疎ノード、Ｎｏｓｔｒｉｌは階層Ｌ２に割り当てられたが、しかしその個々の動きはモデルの合計頂点数の極めて小さい画分（〜１．３％）に関する。この事実は、もしも（ＶＳ距離関数を使用した）ノードの階層への割り当てを階層４あたりに計算される密度因子ｄｆＬ（式２）、および出力ビットレートに関係付けることを望む場合にいくつかの意義を有する可能性がある。もしもそのような関係が存在すれば、そのようなニーズを伴なう用途のために動的な階層化の仕組みが開発される可能性がある。
【００６３】
配列ＢＯＵＮＣＥＢＡＬＬは初期的に唯一のノードを有する。この配列は、形状が示すような中心点の周りで固有の対称性を備えた軟らかいボールを表わす。このボールはまた、跳ね返るときにわずかに変形する。形状の対称性を考えて、各々のノードについてＶＳ距離関数に無関係にメッシュを等しい数の頂点の２個のノードに区分化することが決定された。この区分化の背景の論理は、提案されるＵＥＰの復元の仕組みに対してＶＳ距離関数が有する影響を確認するように試みることである。他のソースコーディング・パラメータすべて、最も重要となる量子化のステップ・サイズは２つの階層の間で一定である。両方の階層がほぼ等しい平均保護ビットを受け取り、それにより、ＵＥＰの性能がＥＥＰのそれに近付くであろうことが予想される。
【００６４】
図５はＴＥＬＬＹについて平均パケット喪失率ＰＢの関数としてＶＳを例示する第１の図５０２を描いている。プロットの４つの曲線は符号（３１，２２）について各々の示唆される復元方法を表わす。ＵＥＰについて計算された符号の平均は（最も近い整数へとまるめられて）以下の通り、すなわち
【数３４】
2005536802.tif 000023
（以下、「（ｎ、ｋ０￣）」と表記する、他の記号についても同様）、（ｎ、ｋ１￣）＝（３１，２３）、（ｎ、ｋ２￣）＝（３１，２８）である。ＰＢ＞９％の中程度から高い喪失率について、ＵＥＰおよびＵＥＰ＋ＥＣがＮＰおよびＥＥＰよりも優れていることは明らかである。最も下の階層が高い平均の視覚的歪みを示すような方式で階層化が実行されることを思い出すべきである。ＵＥＰ法はさらに大きい方の符号を低い方の階層（Ｌ０）に割り当てるので、高い喪失率のＬ０についてさらに優れた復元が予期される。この因子が平均的歪みの中で支配的になり、さらに優れた性能に結果としてつながる。低い喪失率では、ＲＳ符号が全部もしくは大部分の誤りを回収するのに充分以上であるときにＥＥＰおよびＵＥＰが殆ど同じ方式で挙動することが分かった。喪失の無い条件下のＮＰ法が他のいずれよりもはるかに良好であることもやはり分かる。ソース情報がすべての利用可能なチャネル・レートをとり、したがって信号をさらに良好に符号化するので、これは直観的結果である。ＥＣの効果を知ることもやはり価値があり、ＵＥＰ＋ＥＣの仕組みの歪みは単純なＵＥＰのケースを上回って少し改善される。これもやはり予期される。
【００６５】
図５のプロット５０４に示される、配列ＴＥＬＬＹの（３１，２７）ＲＳ符号に関する結果は同様である。ここでは、（ＥＣを伴うかまたは伴わない）ＵＥＰ法がＥＥＰまたはＮＰに代わって優勢になる閾値はＰＢ＝７％のあたりである。初期のＮＰ性能（低いＰＢ）が（３１，２２）に比べていかに高いかということに留意すべきであり、ソース・レートの代償を払うこの低い喪失領域ではチャネル・コーディング・ビットはそれほど復元に寄与しないのでそれらは実際には「浪費」であるという事実をやはり強調している。階層あたりの対応する平均符号は（ｎ、ｋ０￣）＝（３１，２６）、（ｎ、ｋ１￣）＝（３１，２８）、（ｎ、ｋ２￣）＝（３１，３０）である。誤り隠蔽内挿アルゴリズムから結果的に得られるＵＥＰ法の性能にやはり改善がある。この量は最適化の課題に関して明らかにされていなかったので、視覚的誤差の少しの削減に寄与することが予期される。
【００６６】
図６は、この節で前に述べたように「対称的に」階層化されたＢＯＵＮＣＥＢＡＬＬ配列上で繰り返された同じ実験について得られた結果６０２を示している。比較のために同じ（３１，２２）ＥＥＰ符号が前のように使用された。グラフ６０２はＴＥＬＬＹの場合と同じ傾向および相対的性能を示しており、ＵＥＰ＋ＥＣが最善の全体的性能を与えるものである。しかしながら、高いＰＢでＴＥＬＬＹ配列と比較して、ＥＥＰ曲線からＵＥＰ曲線への距離が大幅に減少したことが分かる。ＵＥＰのケースについて平均整数の計算されたＲＳコードは（ｎ、ｋ０￣）＝（３１，２２）、（ｎ、ｋ１￣）＝（３１，２２）であり、すなわちＥＥＰのケースと同等である。これは一見意外な結果に見受けられ得るが、しかし注意深く理由を調べると、含んでいるアニメーションの量の観点で均等にバランスのとれた（同じ数の頂点、ノード、シーンの中の極めて類似した動き、および同じ符号化パラメータ）階層が視覚的にバランスのとれた歪みに対応することを示唆している。これは上述のＢＯＵＮＣＥＢＡＬＬ配列について階層化するときに確実に予期される結果である。実際に、最適化の課題に対する解として計算される現実のｋ０ｔ、ｋ１ｔの値は平均の整数値２２のあたりで変化する。さらに、本来のＢＯＵＮＣＥＢＡＬＬメッシュが、同様であるはずと想定されたそれらの個々の視覚的歪みを考慮することなく２つの任意のノード群へと区分化されたことを思い出すべきである。実際に、跳ね返る地点での軟らかいボールの変形は本来の形状の対称性を減少させる。これらの事実は、普通に予期するようにＵＥＰおよびＥＥＰの曲線が高いＰＢで正確に合わない理由を合理的に説明する。最後に、ＵＥＰ＋ＥＣの方法が視覚的歪みに対して、前の実験のようにわずかに、しかし気付くことが困難な程度に改善を与えることが分かる。
【００６７】
本発明は、誤りに対する最適の主観復元を達成するような方式で３−Ｄワイヤーフレーム・アニメーションのストリーミングのために利用可能なチャネル容量を利用することがどの程度最善であるかという基礎的問題に対処する。簡単に述べると、本発明はチャネル・コーディング、パケット化、および階層化を、復元された画像の視覚的平滑度を評価する主観パラメータと連結する。この基礎の上で、結果は３−Ｄアニメーションが本格的にネットワーク化されたメディア・タイプになるための道を拓く一助になる可能性があると考えられる。開示された方法は、様々な階層の中でチャネル・コーディングのために温存されるビット使用量割り当ての配分を、時間依存性のメッシュ上の表面平滑度の検出に関する人間の眼による視覚的特性を反映する距離関数を使用して最適化することを企てる。この距離関数を使用すると、符号化されたビットストリームは初期的に視覚的重要度の複数の階層へと区分化され、実験結果はＥＣと組み合わされたＵＥＰがインターネット上で発生するバースト・パケット誤りに対して優れた保護をもたらすことを示している。
【００６８】
本発明の範囲内にある実施形態は、コンピュータで実行可能な記憶された命令もしくはデータ構造を担持するかもしくは有するためのコンピュータ読み取り可能な媒体もやはり含む。そのようなコンピュータ読み取り可能な媒体は、汎用コンピュータまたは専用コンピュータによってアクセスされ得る、どのような利用可能な媒体であってもよい。例を挙げると、限定はされないが、そのようなコンピュータ読み取り可能な媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶素子、磁気ディスク記憶素子もしくは他の磁気的記憶装置、あるいはコンピュータで実行可能な命令もしくはデータ構造の形式で所望のプログラム符号手段を担持もしくは保存するために使用されることが可能などのような他の媒体も含む可能性がある。情報がネットワークまたは他の通信接続（有線、無線、またはそれらの組み合わせ）上でコンピュータへと移送されるかまたは供給されるとき、コンピュータは有線もしくは無線のいずれかの接続をコンピュータ読み取り可能な媒体として適切に見る。したがって、いかなるそのような接続もコンピュータ読み取り可能な媒体と適切に称される。以上の組み合わせもまた、コンピュータ読み取り可能な媒体の範囲内に含まれるべきである。
【００６９】
コンピュータで実行可能な命令は、例えば汎用コンピュータ、専用コンピュータ、または専用処理デバイスに特定の機能もしくは機能グループを実行させる命令およびデータを含む。コンピュータで実行可能な命令はまた、独立もしくはネットワーク環境にあるコンピュータによって実行されるプログラム・モジュールも含む。概して、プログラム・モジュールはルーチン、プログラム、オブジェクト、構成要素、およびデータ構造などを含み、それらは特定のタスクを実行するか、または特別な抽象データ型を導入する。コンピュータで実行可能な命令、付随するデータ構造、およびプログラム・モジュールは本明細書に開示された方法の工程を実行するためのプログラム符号手段の範例を表わす。そのような実行可能な命令または付随するデータ構造の特別な配列はそのような工程の中で述べられる機能を実施するための行為の例を表わす。
【００７０】
本発明のその他の実施形態が、パーソナルコンピュータ、ハンドヘルド・デバイス、マルチプロセッサ・システム、マイクロプロセッサを基本とするかまたはプログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータなどを含む多くのタイプのコンピュータ・システム構成を備えたネットワーク・コンピュータ環境で実践される可能性があることを当業者は理解するであろう。実施形態はまた、通信ネットワークを通じて（有線リンク、無線リンク、またはそれらの組み合わせのいずれかによって）連結される現地および遠隔の処理デバイスによってタスクが実行される分散型コンピュータ環境で実践される可能性もある。例えば、ピア・トゥ・ピアの分散型環境は理想的な通信ネットワークを提供し、そこでは本発明の原理が当てはまり、有益であろう。分散型コンピュータ環境では、プログラム・モジュールは現地および遠隔のメモリ記憶デバイスの両方に配置される可能性がある。
【００７１】
以上の説明は特定の詳細を有する可能性があるけれども、それらは特許請求項をいずれかの方式で限定するものと解釈されるべきではない。述べられた本発明の実施形態の他の構成は本発明の範囲の一部である。したがって、与えられたどのような特定の範例でもなく、添付の特許請求項およびそれらの法的等価事項だけが本発明を規定すべきである。
【図面の簡単な説明】
【００７２】
【図１Ａ】３−Ｄアニメーションのコーデックを示すブロック図である。
【図１Ｂ】デコーダを示すブロック図である。
【図２】ＰＳＮＲ、ハウスドルフ距離、および視覚的平滑度を含む歪み距離関数の比較プロットを示す図である。
【図３Ａ】誤り回復可能なワイヤーフレーム・ストリーミングの方法のフローチャートを示す図である。
【図３Ｂ】本発明の一態様によるフローチャートを例示する図である。
【図４】ワイヤーフレーム・アニメーションＴＥＬＬＹ用の配列に関する３つの誤り隠蔽法の比較プロットを示す図である。
【図５】ワイヤーフレーム・アニメーションＴＥＬＬＹの３つの階層の送信され、かつ解読されたフレームの視覚的平滑度（ＶＳ）の比較プロットを示す図である。
【図６】ワイヤーフレーム・アニメーションＢＯＵＮＣＥＢＡＬＬの２つの階層の送信され、かつ解読されたフレームの間の視覚的平滑度の比較プロットを示す図である。
【図１Ａ】
2005536802.tif 000024
【図１Ｂ】
2005536802.tif 000025
【図２】
2005536802.tif 000026
【図３Ａ】
2005536802.tif 000027
【図３Ｂ】
2005536802.tif 000028
【図４】
2005536802.tif 000029
【図５】
2005536802.tif 000030
【図６】
2005536802.tif 000031
【国際調査報告】
2005536802.tif 000032
2005536802.tif 000033
2005536802.tif 000034
2005536802.tif 000035