(57)【特許請求の範囲】
【請求項１】
低遅延動画を生成する方法であって、
１つまたは複数のプロセッサ（２１８）によって、モデル情報（２２０）を生成するために、フレーム毎に、元の動画データ（２０２）の選択部分をモデル化するステップと、
元の動画データおよびモデル情報データをネットワーク（２０４）を介して送信するステップと、
を備える、方法。
【請求項２】
元の動画データを送信するステップが、ネットワークの第１のチャネル（２０６）を介して達成され、
モデル情報データを送信するステップが、ネットワークの第２のチャネル（２０８）を介して達成される、
請求項１に記載の方法。
【請求項３】
第２のチャネルが第１のチャネルより高いサービス品質（ＱｏＳ）を有する、請求項２に記載の方法。
【請求項４】
第１のチャネルおよび第２のチャネルが同一のチャネルである、請求項２に記載の方法。
【請求項５】
ネットワークの第１のチャネルを介して元の動画データを送信するステップの前に、元の動画データをエンコード（２１０）およびバッファリング（２１２）するステップであって、
ネットワークの第２のチャネルを介してモデル情報データを送信するステップの前に、モデル情報データがエンコードされず、またバッファリングされず、
元の動画データの選択部分をモデル化するステップが、
元の動画データの画素データを分析するステップと、
目印を画素データに割り当てるステップと、
動画データの選択部分を、目印に対応する画像ペル位置によって定義される１つまたは複数の重なり合わないモデル領域に分割するステップと、
を含む、エンコードおよびバッファリングするステップ、
をさらに備える、請求項２に記載の方法。
【請求項６】
低遅延動画を生成する方法であって、
元の動画データ（２０２）およびモデル情報データ（２２０）を受信するステップであって、モデル情報データがフレーム毎の元の動画データの選択部分のモデル情報である、受信するステップと、
１つまたは複数のプロセッサ（２３０）によって、モデル情報データの現在のフレーム（２２６）と、モデル情報データの１つまたは複数の以前のフレーム（２３２）とに基づいた差異情報データを生成するステップと、
元の動画データおよび差異情報データに基づいて低遅延動画（２５０）を生成するステップと、
を備える、方法。
【請求項７】
低遅延動画を生成するステップが、
動画データの選択部分について推定情報データを生成するために、差異情報データに基づいて元の動画データの選択部分を推定するステップと、
低遅延動画を生成するために、１つまたは複数のプロセッサによって、推定された情報データと元の動画データを組み合わせるステップであって、モデル情報データが画像ペル位置によってそれぞれ定義される１つまたは複数の重なり合わないモデル領域を含む、組み合わせるステップと、
をさらに含む、請求項６に記載の方法。
【請求項８】
ネットワーク（２０４）の第１のチャネル（２０６）を介した送信のために元の動画データ（２０２）を生成するように構成されたカメラ（２００）と、
ネットワークの第２のチャネル（２０８）を介した送信のためにモデル情報（２２０）を生成するために、フレーム毎に、元の動画データの選択部分をモデル化するように構成されたモデラ（２１８）と、
を備え、
第２のチャネルが第１のチャネルより高いサービス品質（ＱｏＳ）を有する、
システム。
【請求項９】
変形器（２３０）と、
変形器に
元の動画データ（２０２）およびモデル情報データ（２２０）を受信することであって、モデル情報データがフレーム毎の元の動画データの選択部分のモデル情報である、受信すること、
モデル情報データの現在のフレーム（２２６）と、モデル情報データの１つまたは複数の以前のフレーム（２３２）とに基づいて、差異情報データを生成すること、ならびに
元の動画データおよび差異情報データに基づいて低遅延動画（２５０）を生成すること、
を行わせるように構成されたコントローラ（２３０）と、
を備える、デバイス。
【請求項１０】
コントローラがさらに
動画データの選択部分のための推定された情報データを生成するために、差異情報データに基づいて元の動画データの選択部分を推定し、
低遅延動画を生成するために、推定された情報データを元の動画データと組み合わせるように構成される、
請求項９に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
例示の実施形態は、一般的には、ワイヤレス通信に関し、より詳細にはワイヤレス（および／または有線）ネットワークを介した２方向動画会話において遅延を低減するためのシステムおよび／または方法に関する。
【背景技術】
【０００２】
ネットワーク遅延および動画のエンコード／デコードに起因する遅延によって生じるジッタは、動画画像の部分を低遅延バージョンの動画にモデル化し、この低遅延バージョンを従来の（遅延が大きい）動画に変形（ｍｏｒｐｈｉｎｇ）することで低減できる。
【０００３】
２方向動画会話の間、ネットワーク遅延および動画のエンコード／デコードに要する時間は、遅延およびジッタをもたらすことがある。顕著なラウンドトリップ遅延による認識可能な小休止も生じ、動画会議を不愉快、または混乱したものにすることがある。動画送信遅延は：ａ）プリコーディングシーン分析、ｂ）コーディング時間、ｃ）様々なサイズの圧縮されたフレームをなめらかに送信するために設計された大きな先入れ先出し（ＦＩＦＯ）バッファ（ＶＢＶ）、およびｄ）カメラ取得および表示時間によって生じる固有の遅延に伴うデコーディング時間、の組み合わせによって生じる。これらの遅延が、組み合わさって動画会議の両側において送受信される動画において、０．数秒（０．５秒に達する）の時間期間の遅延を生じることがある。この遅延のいくつかの構成要素は、幾分小さくなるようにエンジニアリングされることもあるが、画像品質、システムの複雑さ、処理能力および入力信号の変化に対する脆性を含む要素間にトレードオフが存在する。
【０００４】
ネットワーク送信時間は、動画送信遅延を構成する別の遅延である。ネットワーク送信時間の問題は、送信遅延とジッタの組み合わせを含むことがある。動画は固定されたフレームレートで異なるようにコーディングされるため、それぞれのフレームは次のフレームの開始前に従来通りに受信されてデコードされる必要がある（そうでない場合は最終画像においてエラーが生じ得る）。この理由のため、パケットがデコーダに達するのに先立って、さらなるレベルのバッファリング遅延がもたらされる。バッファリングの量が低減された場合、動画においてはジッタによる認識可能なエラーの頻度の増加が増えることがある。ネットワーク遅延およびジッタを低減するための従来の手法は、たとえば４Ｇネットワークで提供され得るより高いサービス品質（ＱｏＳ）のネットワーク経路（存在する場合）を使用することである。しかし、そのような高いＱｏＳの経路は、ネットワークリソースおよび管理構成の点において、一般的に比較的限定的でコストが高い。
【０００５】
音声ストリームが、一般的には動画ストリームが被る高遅延の問題と同様の影響を被らない一方、受信される音声−動画ストリームは人物が話す画像が音声チャネルと正確に一致しない「リップシンク」の問題を被ることがある。
【０００６】
近年、人体のコンピュータ分析が非常に大きく進歩してきている。たとえば、よく知られている３Ｄカメラまたは２Ｄの画像プラス深度カメラは、１フレーム時間未満の間に被写体の顔（１００を超える顔の「目印」を使用して）および体の骨格位置の詳細なモデルを生成できる。図１は、人物の顔の生画像１００に目印１０２を割り当てた（１から８６の数字を付して示す）、この従来技術の例を示している。モデル情報は、生動画１００からも収集され、図２に示されるように従来通りに方法に従ってモデル情報を使用して人物の顔１０４のモデルを生成する。図３に示されるように、従来の方法を使用して目印を人物の骨格関節に割り当てることにより、人物の体の位置もモデル化され得る（１０６）。
【０００７】
図６は２次元の対象物を変形しテクスチャマッピングする従来の方法の例を示す。具体的には、２次元対象物５００は元の画像から抽出され、その後画像５００は背景画像５０２上にはめることができる別の形（すなわち、変形された対象物５００ａ）にゆがめることができる。変形された対象物５００ａのテクスチャは、背景５０２に合わせて調整されおよび／または背景５０２に溶け込むこともできる（したがって、変形された／テクスチャマッピングされた画像５００ａを生成する）。変形された／テクスチャマッピングされた画像５００ａは「ワーピングされた」画像とも称される。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】「Ｒｅａｌ−Ｔｉｍｅ  Ｒｅｎｄｅｒｉｎｇ」、第２版、Ｔｏｍａｓ  Ａｋｅｎｉｎｅ−Ｍｏｌｌｅｒ＆Ｅｒｉｃ  Ｈａｉｎｅｓ、２００２（ＩＳＢＮ  １−５６８８１−１８２−９、５章、１１７−１８０頁
【発明の概要】
【課題を解決するための手段】
【０００９】
例示の実施形態は動画シーンの部分をモデル化することによってワイヤレスネットワークを介した２方向動画会話における遅延を低減するためのシステムおよび／または方法を提供する。モデル化は、動画の一部のみを描写し得る動画シーンの少量の形情報を作成することによって達成され得る（あるいは、動画全体に対してモデル化を使用してもよい）。このモデル情報データの送信は、低遅延ネットワーク経路を介して起こり得る。変形は、モデル情報データ（動画の一部を描写する）と従来通りに送信された（遅延が大きい）動画を融合し、最終的な低遅延動画を作成するために使用され得る。
【００１０】
少なくとも１つの実施形態は、１つまたは複数のプロセッサによって、モデル情報を生成するために、フレーム毎に、元の動画データの選択部分をモデル化するステップと、元の動画データおよびモデル情報データをネットワークを介して送信するステップと、を備える低遅延動画を生成する方法を含む。
【００１１】
少なくとも別の実施形態は、元の動画データおよびモデル情報データを受信するステップであって、モデル情報データがフレーム毎の元の動画データの選択部分のモデル情報である、受信するステップと、１つまたは複数のプロセッサによって、モデル情報データの現在のフレームと、モデル情報データの１つまたは複数の以前のフレームとに基づいて差異情報データ生成するステップと、差異情報データに基づいて低遅延動画を生成するステップと、を備える低遅延動画を生成する方法を含む。
【００１２】
少なくとも別の実施形態は、ネットワークの第１のチャネルを介した送信のために元の動画データを生成するように構成されたカメラと、ネットワークの第２のチャネルを介した送信のためにモデル情報を生成するために、フレーム毎に、元の動画データの選択部分をモデル化するように構成されたモデラとを含み、ここにおいて第２のチャネルが第１のチャネルよりも高いサービス品質（ＱｏＳ）を有する、システムを含む。
【００１３】
少なくとも別の実施形態は、変形器と、変形器に、元の動画データおよびモデル情報データを受信することであって、モデル情報データがフレーム毎の元の動画データの選択部分のモデル情報である、受信すること、モデル情報データの現在のフレームと、モデル情報データの１つまたは複数の以前のフレームとに基づいて、差異情報データ生成すること、ならびに差異情報データに基づいて低遅延動画を生成すること、を行わせるように構成された、コントローラとを備えるデバイスを含む。
【００１４】
少なくとも別の実施形態は、コンピュータに上述の方法のいずれかを実行させる命令を含むプログラムを有する非一時的コンピュータ可読媒体を含む。
【００１５】
少なくとも別の実施形態は、前述の方法実施形態を実行するように構成されたコンピュータプログラムに関する。
【００１６】
例示の実施形態の、上記および他の特徴および利点は、例示の実施形態について添付図面を参照して詳細に説明することにより明らかとなろう。添付図面は例示の実施形態を描写するように意図されており、意図された特許請求の範囲を限定すると解釈されるべきではない。添付図面は明示的に説明されない限り、縮尺通りに描かれていると考えてはならない。
【図面の簡単な説明】
【００１７】
【図１】人物の顔の生動画画像であり、従来の方法を使用して画像に割り当てた目印を重ね合わせた図である。
【図２】従来の方法を使用した、人物の顔のモデルに隣り合わせにした生動画画像の画像の図である。
【図３】従来の方法を使用した、人物の骨格位置のモデルの図である。
【図４Ａ】例示の実施形態に従った、低遅延動画を生成するためのシステムの図である。
【図４Ｂ】例示の実施形態に従った、低遅延動画を生成するための別のシステムの図である。
【図４Ｃ】例示の実施形態に従った、低遅延動画を生成するための別のシステムの図である。
【図５】例示の実施形態に従った、重なり合わない三角形領域を定義する画像ペル位置を使用した人物の顔のモデルの図である。
【図６】２次元の画像を変形しテクスチャマッピングする従来の方法を示す図である。
【図７】例示の実施形態に従った、低遅延動画を生成する方法のフローチャートである。
【図８】例示の実施形態に従った、低遅延動画を生成する方法の別のフローチャートである。
【発明を実施するための形態】
【００１８】
例示の実施形態が様々な修正形態および代替形態を可能とする一方、その実施形態が例として図面に示され、本明細書において詳細に説明される。しかし、例示の実施形態を開示される特定の形態に限定する意図はなく、それどころか例示の実施形態は特許請求の範囲に入るすべての修正形態、均等物、および代替形態をカバーすることが理解されるべきである。図面の説明を通して、同一符号は同一要素を指す。
【００１９】
例示の実施形態をより詳細に論じる前に、いくつかの例示の実施形態はフローチャートとして描写されるプロセスまたは方法として説明されることに留意されたい。フローチャートは操作を一連のプロセスとして説明するが、多くの操作は並行して共にまたは同時に実行されることができる。さらに、操作の順は並べ替えられてよい。プロセスは、その操作が完了すると終了してよいが、図面に含まれない追加のステップを有してもよい。プロセスはメソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応してよい。そのいくつかがフローチャートによって示される以下で論じられる方法は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせによって実装されてよい。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードにおいて実装されるとき、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、非一時的記憶媒体のような記憶媒体などの機械またはコンピュータ可読媒体に記憶されてよい。プロセッサは必要なタスクを実行してよい。
【００２０】
本明細書で開示される具体的な構造または機能の詳細は、例示の実施形態を説明する目的のための代表に過ぎない。しかし、本発明は多くの代替形態において具現化されることができ、本明細書で説明される実施形態にのみ限定されるものと解釈されるべきではない。
【００２１】
本明細書において第１、第２などの用語は様々な要素を説明するために使用されてよいが、これらの要素はこれらの用語に限定されるべきではないことが理解されよう。これらの用語はある要素を他の要素から区別するためにのみ使用される。たとえば、例示の実施形態の範囲から逸脱することなく、第１の要素は第２の要素と称されてよく、同様に、第２の要素は第１の要素と称されてよい。本明細書で使用されるように、用語「および／または」は、１つまたは複数の関連付けられた列挙される項目の任意のすべての組み合わせを含む。
【００２２】
ある要素は、他の要素に対して「接続される」または「結合される」と称されるとき、他の要素に対して直接接続または結合されることができ、または介在する要素が存在してもよいことが理解されよう。対照的に、ある要素が他の要素に対して「直接接続される」または「直接結合される」と称されるとき、介在する要素は存在しない。要素間の関係を記述するために使用される他の語句は同様に解釈されるべきである（たとえば、「との間（ｂｅｔｗｅｅｎ）」対「との直接の間（ｄｉｒｅｃｔｌｙ  ｂｅｔｗｅｅｎ）」、「と隣接して（ａｄｊａｃｅｎｔ）」対「と直接隣接して（ｄｉｒｅｃｔｌｙ  ａｄｊａｃｅｎｔ）」など）。
【００２３】
本明細書で使用される用語は特定の実施形態のみを説明する目的のためのものであり、例示の実施形態を限定することは意図されていない。同様に、本明細書で使用されるように、単数形「ａ」「ａｎ」および「ｔｈｅ」は、文脈がそうではないと明確に示していない限り、複数形を含むことが意図されている。本明細書で使用されるとき、用語「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」および／または「含んでいる（ｉｎｃｌｕｄｉｎｇ）」は述べられる特徴、整数、ステップ、操作、要素および／または構成要素の存在を明記するが、他の１つまたは複数の特徴、整数、ステップ、操作、要素、構成要素および／またはそれらの群の存在または追加を排除しないことがさらに理解されよう。
【００２４】
いくつかの代替実装形態において、記述される機能／行為は図面において記述される順序とは異なって起こってもよいことにも留意すべきである。たとえば、関与する機能／行為に応じて、連続して示される２つの図面は実際には共に実行されてよく、または時には逆の順で実行されてもよい。
【００２５】
定義されない限りは、本明細書で使用されるすべての用語（技術用語および科学用語を含む）は、例示の実施形態が属する分野の当業者によって通常理解されるものと同じ意味を有する。たとえば通常使用される辞書において定義されるような用語は、関連分野の文脈における意味と一貫した意味を有すると解釈されるべきであって、本明細書において明確にそのように定義されない限り理想化されて、または過剰に形式的な意味に解釈されないことが、さらに理解されよう。
【００２６】
例示の実施形態および対応する詳細な説明の部分は、ソフトウェア、またはアルゴリズムおよびコンピュータメモリ内のデータビット上における演算の記号表現の観点から提示される。これらの説明および表現は、それによって当業者が効果的にその作業内容を他の当業者に伝えるような説明および表現である。アルゴリズムは、その用語が本明細書で使用され、また一般的に使用されるように、所望の結果をもたらす自己矛盾のない一連のステップであると考えられる。ステップは、物理量の物理的な操作を要求するステップである。通常、必要ではないが、これらの量は、格納され得、転送され得、結合され得、比較され得、そうでなければ操作され得る、光学的、電気的、または磁気的な信号の形態をとる。このことは、原理的には一般的な使用の理由のため、これらの信号をビット、値、要素、記号、文字、用語、数字などと称するために時には便利であると証明されている。
【００２７】
以下の説明において、例示の実施形態は、特定のタスクを実行するまたは特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、などを含むプログラムモジュールまたは機能的なプロセスとして実施され得、既存のネットワーク要素において既存のハードウェアを使用して実施され得る、操作の行為および記号表現（たとえば、フローチャートの形態で）を参照して説明される。そのような既存のハードウェアは、１つまたは複数の中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータなどを含んでよい。
【００２８】
しかし、これらのすべておよび同様の用語は適切な物理量に関連付けられることとなり、便利なラベルのみがこれらの量に適用されることを心に留めるべきである。そうではないと明確に述べられない限り、または論述から明らかでない限り、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、または「コンピューティングする（ｃｏｍｐｕｔｉｎｇ）」、または「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、または「表示する（ｄｉｓｐｌａｙｉｎｇ）」の「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語は、コンピュータシステムまたは同様の電子的なコンピューティングデバイスの動作およびプロセスを指し、コンピュータシステムまたは同様の電子的なコンピューティングデバイスは、コンピュータシステムのレジスタおよびメモリ内の物理量、電子的な量として表現されるデータを操作し、コンピュータシステムのメモリもしくはレジスタまたは他のそのような情報ストレージ、送信もしくは表示デバイス内で物理量として同様に表現される他のデータに変換する。
【００２９】
例示の実施形態の態様を実装されるソフトウェアは、典型的には何らかのプログラム記憶媒体の形態でエンコードされ、または何らかのタイプの送信媒体を介して実装されることにも留意されたい。プログラム記憶媒体は、磁気（たとえば、フロッピーディスクまたはハードドライブ）または光学（たとえば、コンパクトディスク読み出し専用メモリ、すなわち「ＣＤ  ＲＯＭ」）のような任意の非一時的記憶媒体であってよく、読み出し専用またはランダムアクセスであってよい。同様に、送信媒体は、より対線、同軸ケーブル、光ファイバ、または当分野で知られている他の何らかの適切な送信媒体であってよい。例示の実施形態は、任意の与えられた実装形態のこれらの態様によって限定されない。
【００３０】
図４Ａは、例示の実施形態による低遅延動画を生成するためのシステムである。システムは、時間ｔにおいて生動画画像２０２を生成できる動画カメラ２００を含んでもよい。生動画はネットワーク２０４（ワイヤレスネットワークであってよい）を介した送信のために：１）通常のネットワークチャネルを介した従来の（遅延が大きい）動画データを含み得る通常経路２０６、および２）ネットワーク２０４のより高速のネットワークチャネルを介して生動画２０２から収集されたモデル情報データを含み得る高速経路２０８、の２つの基本的な経路に分割されてよい。より高速のネットワークチャネルは、通常チャネルと比較してより高いサービス品質（ＱｏＳ）のチャネルであってよく、より高速のネットワークチャネルがより高い帯域幅を有してよく、より大きな送信パワーを使用して送信されてよく、より大きな送信レートで送信されてよく、または一般的には通常チャネルよりも信頼され得ることを意味する。通常経路２０６は生動画の画素データをエンコードし圧縮する動画エンコーダ２１０を含んでよい（Ｈ．２６４のような圧縮規格を使用して）。先入れ先出し（ＦＩＦＯ）バッファであってよい圧縮された動画バッファ２１２は、通常経路２０６を介した送信のために生動画データを準備するために、エンコードされた動画を受信してよい。受信側では、通常経路２０６はＦＩＦＯ圧縮された動画バッファ２１４を含んでよい。圧縮された動画バッファ２１４からのバッファリングされた動画データは、生動画データをデコードして逆圧縮する動画デコーダ２１６に送信され得る。遅延Ｌｔは、デコーダ２１６を出る前に、生動画データ２０２がカメラ２００から出て通常経路２０６に沿って移動する時間期間である。したがって、デコーダを出るデコードされた生動画２１７は、時間ｔ＋Ｌｔにおいてデコードされた（時間ｔにおいてカメラ２００を介して元々撮影された）生動画の動画画像である。
【００３１】
高速経路２０８は、生動画２０２の画素データを分析して目印を生動画データに割り当てる（たとえば、図１に示されるような目印）モデル化プロセッサ（モデラ）２１８を含み得る。モデラ２１８は、たとえば、生動画データ２０２に含まれ得る人物の顔に焦点をあわせる顔分析モデラであってよい。あるいは、顔分析モデラの代わりに、モデラ２１８は、むしろ全体の生動画データ２０２の他の特定の部分（人物の顔と共に、または複数の人物の顔に潜在的に焦点をあわせることに加えて）に焦点をあわせるように設計されてもよい。
【００３２】
モデラ２１８を出たモデル情報２２０はいくつかの形態で送信されてよい。第一に、このモデル情報２２０は、ｘ／ｙ軸座標を使用して表現される画像ペル位置（すなわち、ｘ／ｙ軸位置）であってよい。第二に、カメラパラメータ（解像度、配向、焦点距離）情報が利用可能である場合、モデル情報２２０は、基本幾何学を使用して画像ペル位置に変換され得るｘ／ｙ／ｚ軸座標を使用する３次元空間位置の形態であってよい。第三に、このモデル情報２２０は、（アニメーションユニットＡＵ、および形状ユニットＳＵによって定義され得、ｈｔｔｐ：／／ｗｗｗ．ｉｃｇ．ｉｓｙ．ｌｉｕ．ｓｅ／ｃａｎｄｉｄｅ／において定義されるモデル化方法のようなよく知られた方法を使用する顔モデルパラメータリストの形態であってよく、顔モデルパラメータは顔の目印の３次元空間位置に再解釈されることができ、顔の目印の３次元空間位置はその後画像ペル位置に変換される。図５で示されるように、顔の目印の位置が与えられると、重なり合わない三角形領域３００ｎ（ここでｎは１からＮまでの整数であり、Ｎは三角形領域の総数である）が、人物の顔を定義するために使用されてよい（たとえば、人物の顔全体がモデル化される場合）。図５の三角形領域３００ｎのそれぞれは、人物の顔領域を完全にモデル化するために、３つの画像ペル位置３０２ｍ（ここでｍは１からＭまでの整数であり、Ｍは画像ペル位置の総数である）によって定義される。
【００３３】
モデラ２１８は、モデル情報データ２２０をパケッタイザ２２２に出力でき、パケッタイザ２２２は人物の顔の全体のモデル情報データ２２０内に見つかる人物の口の形に関するデータのみを選択的にパケット化する。パケッタイザ２２２は、人物の目、人物の頭、手の動き、および人物の体の残り部分などの人物の口の形以外（または、人物の口の形に加えて）の全体のモデル情報データ２２０の他の選択部分を代替的にパケット化できる。加えて、パケッタイザ２２２は、人物の顔さらには人物の体全体（人物の体の後ろの背景はモデル化される必要があってもよく、なくてもよい）に関するモデル情報データ２２０のすべてをパケット化でき、パケッタイザ２２２によってパケット化され送信されるより多い量のモデル情報データのために、より広い帯域幅の遅延期間が必要とされることが理解できる（モデル情報は典型的にＩＰパケットのサイズよりもかなり小さいが、したがって必要とされる可能性がある任意の追加の帯域幅は、さらなる遅延を生じることに対する影響がかなり無視できるものとなる）。
【００３４】
パケッタイザ２２２を出たデータは高速経路２０８を経由してネットワーク２０４を介して送信され得る。高速経路２０８は、通常経路２０６と比較してより信頼される低遅延経路であり得る。さらに、高速経路２０８は（通常経路２０６とは異なり）エンコーダ／デコーダおよび動画バッファを含まず、それによりさらに高速経路２０８に沿ったデータ送信の速度を速くする。高速経路２０８を介して送信されたデータは、デパケッタイザ２２４によってデパケット化され得、ここにおいて次にモデル情報は形バッファ２２８に送られてよく、ここでモデル化された形情報が先入れ先出し（ＦＩＦＯ）に基づいてバッファリングされ得る。パケッタイザ２２２、高速経路２０８およびデパケッタイザ２２４を介した動画データの処理を関連付けられる遅延期間ｌｔがあるため、デパケッタイザ２２４を出るモデル情報２２６は時間ｔ＋ｌｔにおいてデパケッタイザ２２４から送信される。高速経路２０８が通常経路２０６よりも高速でデータを送信できるため、および高速経路２０８を介して送信される全体のデータ量が通常経路２０６を介して送信されるデータ量よりも少ないため（それによりエンコード／デコード時間を低減する）、遅延ｌｔ（高速経路遅延）が遅延Ｌｔ（通常経路遅延）よりも小さくなり得ることが理解されるべきである。形ＦＩＦＯ２２８は、変形プロセッサ（変形器）２３０による使用のために最新の利用可能なモデル情報２３２（時間ｔ＋Ｌｔに対応する）格納できる。
【００３５】
その後、非線形画像構築変形器２３０を（よく知られている「Ｒｅａｌ−Ｔｉｍｅ  Ｒｅｎｄｅｒｉｎｇ」、第２版、Ｔｏｍａｓ  Ａｋｅｎｉｎｅ−Ｍｏｌｌｅｒ＆Ｅｒｉｃ  Ｈａｉｎｅｓ、２００２（ＩＳＢＮ  １−５６８８１−１８２−９、５章、１１７−１８０頁）に記載されている方法などの変形／テクスチャマッピングの方法を使用して）使用して低遅延動画２５０が生成され得る（図６の変形／テクスチャマッピングの例を参照）。低遅延動画２５０は、実際の生動画データ２１７と生動画（モデル２２６／２３２の比較に見られる）の選択部分のフレーム毎の推定の融合である。したがって、変形器２３０の目的は、モデル化情報データの使用を介して現在と以前のモデル（または画像モデル）の比較を使用して、動画データの一部の推定を生成することである。具体的には、変形器２３０は、生動画データの以前の画像（デコーダ２１６を出る画像（ｔ＋Ｌｔ）２１７）を、１つまたは複数の以前にモデル化された画像（たとえば、バッファ２２８を出るモデル（ｔ＋Ｌｔ）２３２）と現在のモデル化された画像（デパケッタイザ２２４を出るモデル（ｔ＋ｌｔ）２２６）におけるキーとなる顔の目印の位置の差異を決定することによって得られる生動画の選択部分の情報と組み合わせることによって、低遅延動画２５０のそれぞれのフレーム毎の低遅延画像を生成する。生データの選択部分の差異情報によって、このフレーム毎の（人物の頭部のみ、または人物の唇のみの）画像の選択部分のみが、現在の顔の目印によって定義される三角形領域に対応する１組の推定されたペル位置（上述の図５に関するペルの論述を参照）を作成する「ワーピング」（変形およびテクスチャマッピング）操作を介して推定される。したがって「ワーピング」操作（コンピュータグラフィックスのテクスチャマッピングにおいて従来から使用されているもので、元画像は対象物の表面を表現するためにゆがめられる）は、三角形領域の開始と終了によって定義され、２次元並進を伴う２次元スキューに対応する行列変換として表現され得る。したがって、変形器２３０は推定された動画の部分（モデル情報データの使用を介して）をデコードされた生動画２１７と組み合わせて低遅延動画２５０を生成する。
【００３６】
図４Ｂは例示の実施形態に従った、低遅延動画を生成するための別のシステムである。図４Ｂは、図４Ａとほぼ同一であり、この理由によって、簡潔さのためその冗長な要素をここでは再度説明しない。しかし、図４Ｂの実施形態は動画デコーダ２１６の前の動画バッファを含まない（比較のため、図４Ａの動画バッファ２１４を参照）。このバッファを除くことで、動画データパケットの収集および順序付けに関連付けられる遅延が回避され得る（ＦＩＦＯバッファの通常の動作を介して）。したがって、エンコーダ２１０から（通常経路２０６に沿って）デコーダ２１６を通る動画データのフローは、全体的な遅延が少なく、より素早く起こることができる。通常経路２０６に沿った動画データのフローは一般的には、高速経路２０８に沿って移動するモデル情報データより大きな遅延を被り、バッファ２１４を除いたことによって速度を増した動画データ送信（図４Ａに示されるように）は、低遅延動画２５０の全体的な生成について、遅延をより少なくする。しかし、通常経路２０６に沿った伝達の問題によって、デコーダ２１６に到達する動画データパケットにかなり順序が乱れる事例が起こる場合（通常バッファ２１４は受信したパケットを再整理することによりジッタを低減するため）、動画２５０の全体的な遅延のこの減少は、バッファ２１４を除いたことがモデル化されない動画２５０の部分の品質を下げることがあり、潜在的なトレードオフを含む。しかし、モデル化される動画２５０の部分はジッタに影響されず、そのため動画２５０の全体的な品質は、動画２５０がどれだけ予測されたモデルであるかに依存する。
【００３７】
図４Ｃは、例示の実施形態に従った、低遅延動画を生成するための別のシステムである。図４Ｃは、図４Ｂとほぼ同一であり、この理由によって、簡潔さのためその冗長な要素をここでは再度説明しない。しかし、図４Ｃの実施形態はネットワーク２０４を通る別個の高速経路を含まない（図４Ｂの高速経路２０８を参照）。その代わりに、パケッタイザ２２２がモデル情報データを通常経路２０６を通してデパケッタイザ２２４に送信する。この実施形態によって、ネットワーク２０４がより信頼できる高いサービス品質（ＱｏＳ）の高速経路（図４Ａ／Ｂの高速経路２０８と同様な）を提供しない場合であっても、生動画画像２０２の選択部分をモデル化することができる。高速経路を除くことによって、パケッタイザ２２２から送信されるモデル情報データはよりゆっくり、あまり信頼性がない状態で変形器２３０に到達する。しかし、モデル情報データはより少ない量のデータ情報であり得るため（デコーダ２１６を通ってエンコーダ２１０から移動する動画データと比較して）、またモデル情報は（モデル化されなかった動画の部分とは異なって）エンコーダ／デコーダおよび動画バッファを経由しないため、モデル情報データは依然として動画データより早く変形器２３０に到達する。したがって、この実施形態は依然として低遅延動画２５０の選択部分を推定することを可能にできる（デパケッタイザ２２４を出るモデルデータ情報を使用して推定され得る）。
【００３８】
図４Ｃの実施形態は、任意選択で動画デコーダ２１６の上流の動画バッファ（図４Ａにおける動画バッファ２１４と同様）を含み得、さもなければ低遅延動画２５０に起こり得るジッタの可能性をさらに低減する（デコーダ２１６において、かなりの量の順序が乱れた動画データが受信された場合）。
【００３９】
図７は、例示の実施形態に従った、低遅延動画を生成する方法のフローチャートである。方法は、モデル情報データ（モデル（ｔ）２２０）を生成するための元の動画データの選択部分をモデル化するステップＳ４００（図４Ａのモデラ２１８において）を含む。このモデル化は、フレーム毎に達成される。ステップＳ４０２において、元の動画データおよびモデル情報データはネットワークを介して送信されてよい。元の動画データおよびモデル情報データの送信は、（図４Ｃにおいて示されるように）同一のネットワークチャネルを介して、または（図４Ａ／Ｂにおいて示されるように）２つの別個のチャネルを介して行われてよい。２つの別個のチャネルが使用される場合、元の動画データを送信するために使用されるチャネルと比較して、モデル情報データの送信はより高いＱｏＳのチャネルを介して送られる。
【００４０】
図７は、例示の実施形態に従った、低遅延動画を生成する方法の別のフローチャートである。方法は、元の動画データおよびモデル情報データを受信するステップＳ５００を含み（変形器２３０において）、ここでモデル情報は元の動画データの選択部分のモデル（フレーム毎に）であってよい。方法は、モデル情報データの現在のフレーム（モデル（ｔ＋ｌｔ）２２６）と、モデル情報データの１つまたは複数の以前のフレーム（モデル（ｔ＋Ｌｔ）２３２）とに基づいて差異情報データを生成するステップＳ５０２（変形器２３０において）も含んでよい。ステップＳ５０４（変形器２３０において）において、低遅延動画２５０は差異情報に基づいて生成されてよい。
【００４１】
上述のように、図７および図８の方法は、動画データのすべてをモデル化するために修正されてよい（すなわち、動画データの選択部分は動画データのすべてを含んでよい）。
【００４２】
例示の実施形態をこのように説明してきたが、同様のものが多くのやり方において変形されてよいことは明らかであろう。そのような変形形態は、例示の実施形態の意図された主旨と範囲から逸脱するものと見なされるべきではなく、当業者に明らかになるすべてのそのような修正形態は以下の特許請求の範囲内に含まれることが意図されている。
【図１】
0006328784.tif 000002
【図２】
0006328784.tif 000003
【図３】
0006328784.tif 000004
【図４Ａ】
0006328784.tif 000005
【図４Ｂ】
0006328784.tif 000006
【図４Ｃ】
0006328784.tif 000007
【図５】
0006328784.tif 000008
【図６】
0006328784.tif 000009
【図７】
0006328784.tif 000010
【図８】
0006328784.tif 000011