(57)【要約】【課題】 顔面アニメーションのイメージ符号化において、デコーダにて生成される音声との整合が可能な装置を提供する。【解決手段】 フェイシャルアニメーションは、テキスト及びフェイシャルアニメーションパラメータを含んで作成でき、入力テキストは、顔面の口の形状を動かすデコーダ内のテキスト／スピーチコンバータ５へ伝送され、フェイシャルアニメーションパラメータは、エンコーダから顔面位置へ通信チャンネルを通じ伝送される。テキスト／スピーチコンバータへ伝送されるテキストにはブックマークが配置され、エンコーダタイムスタンプを含む。フェイシャルアニメーションパラメータ列も、エンコーダタイムスタンプを含む。システムはブックマークを読み取り、フェイシャルアニメーションシステムに、エンコーダタイムスタンプとリアルタイムタイムスタンプとを供給する。【選択図】図２
2009266240.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの表情画と、テキスト列で示されたスピーチとを含むフェイシャルアニメーションを符号化する方法であって、
前記少なくとも一つの表情画に所定の符号を割り当てるステップと、
特定の表情画の存在を示す前記所定の符号を前記テキスト列内に入れるステップと、
から成る符号化方法。
【請求項２】
請求項１の方法において、前記所定の符号は、表情画データ列のポインタとして機能することにより、テキストデータ列と表情画データ列との間の同期関係を示すことを特徴とする方法。
【請求項３】
請求項１の方法において、前記所定の符号は拡張シーケンス（escape sequence）を含み、前記拡張シーケンスは、選択しうる表情画の一つを決定する複数のビットに追従されることを特徴とする方法。
【請求項４】
請求項１の方法において、テキストデータ列中の単語の間に前記所定の符号を入れるステップをさらに含むことを特徴とする方法。
【請求項５】
請求項１の方法において、テキストデータ列中の文字の間に前記所定の符号を入れるステップをさらに含むことを特徴とする方法。
【請求項６】
請求項１の方法において、テキストデータ列中の単語中に前記所定の符号を入れるステップをさらに含むことを特徴とする方法。
【請求項７】
フェイシャルアニメーションを符号化する方法であって、
データ列を作成するステップと、
表情画列を作成するステップと、
データ列中に、表情画列中の対応する複数の表情画を指す複数のポインタを挿入するステップと、
から成り、前記複数のポインタは前記データと表情画との間の同期関係を確立することを特徴とする方法。
【請求項８】
請求項７の方法において、前記複数のポインタのそれぞれはタイムスタンプから成ることを特徴とする方法。
【請求項９】
請求項７の方法において、前記データ列は、復号化行程においてスピーチに変換されるテキスト列から成ることを特徴とする方法。
【請求項１０】
請求項９の方法において、前記複数のポインタの少なくとも一つを、テキスト列の単語間に入れるステップをさらに含む方法。
【請求項１１】
請求項９の方法において、前記複数のポインタの少なくとも一つを、テキスト列の音節間に入れるステップをさらに含む方法。
【請求項１２】
請求項７の方法において、前記複数のポインタの少なくとも一つを、テキスト列の単語間に入れるステップをさらに含む方法。
【請求項１３】
請求項７の方法において、データ列はビデオ列から成ることを特徴とする方法。
【請求項１４】
請求項７の方法において、データ列はオーディオ列から成ることを特徴とする方法。
【請求項１５】
スピーチと少なくとも一つの表情画とを含むフェイシャルアニメーションを復号化する方法であって、
ａ）表情画の組に対応する所定の符号の組を求めてテキスト列をモニタするステップと、
ｂ）ビジュアルデコーダに信号を送信し、前記所定の符号の組の存在が検出されると特定の表情画をスタートさせるステップと、
から成る方法。
【請求項１６】
請求項１５の方法において、前記所定の符号は、表情画データ列へのポインタとして機能することにより、テキストデータ列と表情画データ列との間の同期関係を示すことを特徴とする方法。
【請求項１７】
請求項１５の方法において、前記所定の符号は拡張シーケンスから成ることを特徴とする方法。
【請求項１８】
請求項１５の方法において、前記所定の符号をテキスト列中の単語間に入れるステップをさらに含む方法。
【請求項１９】
請求項１５の方法において、前記所定の符号をテキスト列中の音素間に入れるステップをさらに含む方法。
【請求項２０】
請求項１５の方法において、前記所定の符号をテキスト列中の単語内に入れるステップをさらに含む方法。
【請求項２１】
符号化されたアニメーションを復号化する装置であって、  ａ）前記符号化されたアニメーションを受信し、テキスト列とフェイシャルアニメーションパラメータ列とを出力するデマルチプレクサであって、前記テキスト列は、フェイシャルアニメーションパラメータ中の複数の表情画とテキスト列中のテキストとの同期関係を示す複数の符号を含む、デマルチプレクサと、
ｂ）前記デマルチプレクサに結合されたテキスト／スピーチコンバータであって、テキスト列をスピーチに変換し、複数の音素、及び複数のリアルタイムタイムスタンプと複数の符号を１対１の対応で出力し、前記複数のリアルタイムタイムスタンプと複数の符号が前記複数の表情画と複数の音素との間の同期関係を示す、テキスト／スピーチコンバータと、
ｃ）前記テキスト／スピーチコンバータに結合された音素／ビデオコンバータであって、前記複数のリアルタイムタイムスタンプと複数の符号とに基づき、複数の表情画を複数の音素に同期させる音素／ビデオコンバータと、
から成る装置。
【請求項２２】
請求項２１の装置において、前記スピーチとビデオを合成ビデオ信号に変換する合成器（compositor）をさらに含むことを特徴とする装置。
【請求項２３】
請求項２１の装置において、前記音素／ビデオコンバータは、
ａ）同期化された複数の音素と複数の表情画に基づき、ワイヤフレーム画像を作成するフェイシャルアニメータと、
ｂ）前記デマルチプレクサとフェイシャルアニメータとに結合され、前記ワイヤフレーム画像に基づいてビデオイメージを作成するビジュアルデコーダと、
を含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化／復号化方法及び符号化／復号化システムに関し、より詳細には、フェイシャルアニメーションを符号化／復号化する方法及びシステムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−４のＴＴＳアーキテクチャによれば、フェイシャルアニメーション（facial animation）は、テキストとフェイシャルアニメーションパラメータ（ＦＡＰ）の２つのデータ列を同時に入力して作成される。このアーキテクチャにおいて、テキスト入力は、顔画（フェイス）の口の形を作成するデコーダの音声合成（ＴＴＳ）コンバータに送られる。ＦＡＰは、通信チャネルによりエンコーダからフェイス位置に送られる。現在、ヴェリフィケーションモデル（ＶＭ）では、テキスト入力サイドとＦＡＰ入力列との間の同期は、トランスミッタ側で発せられたタイミングにより得られるとされている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、このトランスミッタは、デコーダＴＴＳのタイミングを知ることができない。したがって、エンコーダは、合成された単語とフェイシャルアニメーションとの一致を特定することができない。さらに、異なるＴＴＳシステム間では、タイミングも異なる。このように、現在では、表情画（例えば、微笑や表情など）をスピーチ（言語）に合わせる方法がない。
【０００４】
したがって、本発明は、表情画と、デコーダで生成されたスピーチとを整合させることのできる、フェイシャルアニメーション画像の符号化／復号化システム及び符号化／復号化方法の開発に向けられる。
【課題を解決するための手段】
【０００５】
本発明では、単語内および単語間に挿入できるブックマークとして知られる符号を、音声合成（ＴＴＳ）コンバータに送られるテキスト列に含ませることにより、上記課題を解決する。本発明によれば、ブックマークは、エンコーダタイムスタンプ（ＥＴＳ）を有する。音声合成変換の本質によれば、エンコーダタイムスタンプは現実の時間と関連がなく、カウンタとして解釈されるべきである。本発明では、さらに、フェイシャルアニメーションパラメータ（ＦＡＰ）列も、テキスト中のブックマークと同一のエンコーダタイムスタンプを有している。本発明のシステムは、ブックマークを読み取り、エンコーダタイムスタンプと、ＴＴＳコンバータのタイミングから作成されたリアルタイムタイムスタンプ（ＲＴＳ）とをフェイシャルアニメーションシステムに供給する。最終的に、フェイシャルアニメーションシステムは、ブックマークのエンコーダタイムスタンプを参照して、的確なフェイシャルアニメーションパラメータをリアルタイムタイムスタンプに関連付ける。なお、エンコーダタイムスタンプと、リアルタイムタイムスタンプとのコンフリクトを避けるため、広範囲のデコーダが機能するようにエンコーダタイムスタンプを選択する必要がある。
【０００６】
よって、本発明によれば、少なくとも一つの表情画と、テキスト列で示されたスピーチとを含むフェイシャルアニメーションを符号化する方法は、前記少なくとも一つの表情画に所定の符号を割り当てるステップと、特定の表情画の存在を示す前記所定の符号を前記テキスト列内に入れるステップとから成る。この所定の符号は、ＴＴＳ合成器の通常の動作を干渉しない独自の拡張シーケンスである。
【０００７】
上記方法を用いた一実施形態では、表情画の列に対するポインタとして所定の符号を用いることにより、テキスト列と表情画列との間の同期関係が示される。
【０００８】
上記所定の符号の一実施例として、拡張シーケンスがあり、これに表情画の一つを決定する複数ビットが追従する。この場合、所定の符号は、テキスト列中の単語間、あるいはテキスト列中の文字間に挿入できる。
【０００９】
本発明によるフェイシャルアニメーションを符号化する別の方法は、テキスト列を作成するステップと、表情画列を作成するステップと、テキスト列中に、表情画列中の対応する複数の表情画を指す複数のポインタを挿入するステップとを含み、前記複数のポインタが前記テキストと表情画との間の同期関係を確立する。
【００１０】
本発明によれば、スピーチと少なくとも一つの表情画とを含むフェイシャルアニメーションを復号化する方法は、表情画の組に対応する所定の符号の組を求めてテキスト列をモニタするステップと、ビジュアルデコーダに信号を送信し、前記所定の符号の組の存在が検出されると特定の表情画をスタートさせるステップとを含む。
【００１１】
本発明によれば、符号化されたアニメーションを復号化する装置は、デマルチプレクサと、このデマルチプレクサに結合されたテキスト／スピーチコンバータと、テキスト／スピーチコンバータに結合された音素／ビデオコンバータとを含む。デマルチプレクサは、符号化されたアニメーションを受信し、テキスト列とフェイシャルアニメーションパラメータ列とを出力する。前記テキスト列は、フェイシャルアニメーションパラメータの複数の表情画とテキスト列中のテキストとの同期関係を示す複数の符号を含む。テキスト／スピーチコンバータは、テキスト列をスピーチに変換し、複数の音素、及び複数のリアルタイムタイムスタンプと前記複数の符号を１対１の対応で出力し、これにより前記複数のリアルタイムタイムスタンプと複数の符号によって前記複数の表情画と複数の音素との間の同期関係を示す。さらに、音素／ビデオコンバータは、前記複数のリアルタイムタイムスタンプと複数の符号とに基づき、複数の表情画を複数の音素と同期させる。
【発明の効果】
【００１２】
上記装置において、前記音素／ビデオコンバータが、同期化された複数の音素と複数の表情画に基づき、ワイヤフレーム画像を作成するフェイシャルアニメータと、前記デマルチプレクサとフェイシャルアニメータとに結合され、前記ワイヤフレーム画像に基づいてビデオイメージを作成するビジュアルデコーダとを含めば、特に効果的である。
【図面の簡単な説明】
【００１３】
【図１】本発明が応用される環境を表す略図である。
【図２】音声合成変換を用いるＭＰＥＧ−４デコーダのアーキテクチャを示す略図である。
【発明を実施するための形態】
【００１４】
本発明によれば、デコーダシステムの同期は、ＦＡ／ＡＰ／ＭＰおよび音声デコーダの入力においてイベントバッファーによるローカル同期を用いて達成できる。または、広域的同期制御を用いることもできる。
【００１５】
テキスト中のエンコーダタイムスタンプ（ＥＴＳ）と、フェイシャルアニメーションパラメータ（ＦＡＰ）列中のＥＴＳとの間のドリフトは、最大で８０ｍｓｅｃまで許容される。
【００１６】
テキスト列に配置されるブックマークの構文法の一実施形態としては、例えば＼！Ｍ｛ブックマークの内容｝のように、拡張記号に続いてブックマークの内容を含むことが可能である。ブックマークの内容は、１６ビット整数タイムスタンプのＥＴＳおよび他の情報を含む。同じＥＴＳが、対応するＦＡＰ列に加えられ、同期できるようにする。フェイシャルアニメーションパラメータのクラスは、オプションのＥＴＳを含むよう拡張されている。
【００１７】
絶対クロック基準（ＡＣＲ）が設けられている場合、ドリフト補償処理を実施することができる。ここで、ＦＡＰ列とテキストとの関係には、マスタ−スレーブ概念は存在しないことに留意されたい。顔面イメージがその周囲で起こる視覚的事象に反応する場合などには、デコーダが、テキストの速度を変動させることもあるし、顔面アニメーションを変化させることも考えられるからである。
【００１８】
例えば、第１の顔面イメージがユーザに向かって話しているところに、新たな顔面イメージが登場するとする。第１顔面イメージは自然な反応として第２顔面イメージを見て、微笑みながら、話されるテキストの速度を落とす。
【００１９】
概ねテキストにより駆動される自律アニメーション
フェイシャルアニメーションがテキストによって作成される場合、顔面の追加的アニメーションに対しては、概ね３０フレーム／秒の割合でアニメーション化する必要がないという限定を受ける。特に微笑などの高度な動作ユニットは、かなり低い割合にて形成されるべきである。更に、デコーダは受信機から厳重な制御を受けることなく、異なる動作間の補間を実施する。
【００２０】
本発明は、アニメーション化される動作ユニットと、追加の情報であるブックマークにおける動作ユニットの表示強度とを含む。連続したブックマークの間における、動作ユニットおよびそれの表示強度の間を補間するために、デコーダが必要である。
【００２１】
本発明により、テキスト編集プログラムなどの単純なツールを用いてアニメーションを作成でき、使用帯域幅を著しく減少することができるという利点がある。
【００２２】
図１は、本発明が応用される環境を表す。アニメーションは、エンコーダ１にて作成され符号化される。符号化されたアニメーションは、通信チャンネル（または記憶装置）を通じて遠隔目的地に伝送される。遠隔目的地にて、アニメーションはデコーダ２によって再形成される。この段階でデコーダ２は、元のアニメーションと共に符号化された情報のみを用いて、フェイシャルアニメーションを顔面イメージが話す音声に同期させる必要がある。
【００２３】
図２は、本発明に従った動作をするよう構成された、ＭＰＥＧ−４アーキテクチャのデコーダを示す。エンコーダ１（図示せず）からの信号は、伝送チャンネル（またはチャンネルとしても形成できる記憶装置）を通じてデマルチプレクサ（ＤＭＵＸ）３に入力される。ＤＭＵＸ３は、テキストとビデオデータを分離し、更に制御情報と補助情報をも分離する。ＤＭＵＸ３は更に、エンコーダタイムスタンプ（ＥＴＳ）を含むＦＡＰ列を直接、ＦＡ／ＡＰ／ＭＰ４へ出力する。ＦＡ／ＡＰ／ＭＰ４は、テキスト／スピーチコンバータ（ＴＴＳ）５、音素／ビデオＦＡＰコンバータ６、合成器７、およびビジュアルデコーダ８に連結されている。口唇形状アナライザ９には、ビジュアルデコーダ８およびＴＴＳ５が接続されている。ユーザ入力は、合成器７より入力され、ＴＴＳ５およびＦＡ／ＡＰ／ＭＰ４へ出力される。この入力は、始動や停止などの指令を含む。
【００２４】
ＴＴＳ５はブックマークを読み取り、音素に加えて、ＥＴＳとリアルタイムタイムスタンプ（ＲＴＳ）とを、音素／ビデオＦＡＰコンバータ６へ出力する。音素は、ワイヤーフレームイメージの各描画頂点を正しく配置するために使われる。この時点では、イメージは再現されない。
【００２５】
このデータは次に、イメージを再現するビジュアルデコーダ８へ出力される。ビジュアルデコーダ８は、イメージをビデオ状態にして合成器７へ出力する。この段階で、ＥＴＳ／ＲＴＳの組み合わせを有する音素を、対応するＥＴＳを有するＦＡＰと同期させることにより、ＦＡＰは音素と整合される。
【００２６】
ＭＰＥＧ−４ハイブリッド音声合成（ＴＴＳ）コンバータ５への入力テキストは、符号化された音声として音声デコーダ１０へ出力される。このシステムでは、音声デコーダ１０は音声を合成器７に出力し、合成器７は、ビデオディスプレイ（図示せず）、スピーカ（図示せず）、およびユーザに対するインターフェースとして作動する。
【００２７】
他方、ＤＭＵＸ３から出力されたビデオデータは、ビジュアルデコーダ８へ伝送される。ビジュアルデコーダは、ビデオデータとＦＡ／ＡＰ／ＭＰ４からの出力とに基づいて、複合ビデオ信号を生成する。
【００２８】
本発明には、二つの実施形態が挙げられる。第一の実施形態においては、テキスト列に配置されたＥＴＳは、フェイシャルアニメーションを含む。即ち、ブックマーク（拡張シーケンス）の後には、その時点で音声と同期されるべき所定のフェイシャルアニメーションを表す、１６ビットのコードワードが続く。
【００２９】
第二の実施形態としては、テキスト列に配置されたＥＴＳは、ＦＡＰ列内の特定のフェイシャルアニメーションに対する時間的ポインタとして作用させることもできる。即ち、拡張シーケンスの後には、ＦＡＰ列内のある箇所を特定する１６ビットコードが続く。
【００３０】
本発明は、アニメーションデータに関連して説明されるが、アニメーションデータの代わりに自然音声データまたはビデオデータを用いることもできる。詳細に言えば、上述の説明は、アニメーションデータと音声合成データとを整合させる方法およびシステムについてであるが、同じ方法およびシステムは、音声合成データを音声またはビデオに置き換えれば応用できる。少なくともＴＴＳデータ列に関して言えば、二つのデータ列の整合は、基礎になるデータとは関係なく実施される。
【符号の説明】
【００３１】
１  エンコーダ、２  デコーダ、３  ＤＭＵＸ、４  ＦＡ／ＡＰ／ＭＰ、５  ＭＰＥＧ−４ハイブリッドＴＴＳコンバータ、６  音声／ビデオＦＡＰコンバータ、７  合成器、８  ビジュアルデコーダ、９  口唇形状アナライザ、１０  音声デコーダ。
【図１】
2009266240.tif 000003
【図２】
2009266240.tif 000004
【手続補正書】
【提出日】平成21年6月23日(2009.6.23)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明は、ビデオと音とを整合させる方法であって、第１列中のアニメーション画に関連付けられた所定の符号を特定するステップと、第２列中の前記所定の符号を送信し、それによって前記第２列を前記第１列に同期させるステップと、を含むことを特徴とする。また、本発明に係る方法においては、前記第１列はアニメーション画列、前記第２列はテキスト列であることが好適である。また、本発明に係る方法においては、前記アニメーション画は表情画であることが好適である。また、本発明に係る方法においては、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうるアニメーション画の１つの組を決定する複数のビットに追従されることが好適である。また、本発明に係る方法においては、前記アニメーション画を含む前記第１列と前記所定の符号を含む前記テキスト列とを符号化するステップをさらに含むことが好適である。また、本発明に係る方法においては、前記第２列中の単語の間に前記所定の符号を入れるステップをさらに含むことが好適である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、本発明は、ビデオと音とを整合させる装置であって、プロセッサと、前記プロセッサを制御し、第１列中のアニメーション画に関連付けられた所定の符号を特定させるように構成されたモジュールと、前記プロセッサを制御し、第２列中の前記所定の符号を送信させ、それによって前記第２列を前記第１列に同期させるように構成されたモジュールと、を含むことを特徴とする。また、本発明に係る装置においては、前記第１列はアニメーション画列、前記第２列はテキスト列であることが好適である。また、本発明に係る装置においては、前記アニメーション画は表情画であることが好適である。また、本発明に係る装置においては、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうるアニメーション画の１つの組を決定する複数のビットに追従されることが好適である。また、本発明に係る装置においては、前記プロセッサを制御し、前記アニメーション画を含む前記第１列と前記所定の符号を含む前記テキスト列とを符号化させるモジュールをさらに含むことが好適である。また、本発明に係る装置においては、前記プロセッサを制御し、前記第２列中の単語の間に前記所定の符号を入れさせるモジュールをさらに含むことが好適である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明は、コンピュータ機器を制御し、ビデオと音とを整合させる指令を保存するコンピュータ可読媒体であって、前記指令は、第１列中のアニメーション画に関連付けられた所定の符号を特定する指令と、第２列中の前記所定の符号を送信し、それによって前記第２列を前記第１列に同期させる指令と、を含むことを特徴とする。また、本発明に係るコンピュータ可読媒体においては、前記第１列はアニメーション画列、前記第２列はテキスト列であることが好適である。また、本発明に係るコンピュータ可読媒体においては、前記アニメーション画は表情画であることが好適である。また、本発明に係るコンピュータ可読媒体においては、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうるアニメーション画の１つの組を決定する複数のビットに追従されることが好適である。また、本発明に係るコンピュータ可読媒体においては、前記指令は、前記アニメーション画を含む前記第１列と前記所定の符号を含む前記テキスト列とを符号化する指令をさらに含むことが好適である。また、本発明に係るコンピュータ可読媒体においては、前記指令は、前記第２列中の単語の間に前記所定の符号を入れる指令をさらに含むことが好適である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明は、データを複合化する方法において、第２列中に含まれ送信されるアニメーション画に関連付けられた所定の符号を求めてデータの第１列をモニタするステップと、デコーダに信号を送信して、前記所定の符号に関連付けられ前記第２列からの前記アニメーション画を少なくとも使用するアニメーションをスタートさせるステップと、を含むことを特徴とする。また、本発明に係る方法においては、前記第２列中の前記アニメーション画と関連付けられた前記第１列中の前記所定の符号は、前記第１列と前記第２列との間の同期関係を示すことが好適である。また、本発明に係る方法においては、前記第１列はテキスト列、前記第２列はアニメーション画列であることが好適である。本発明に係る方法においては、前記アニメーション画は表情画であることが好適である。本発明に係る方法においては、前記所定の符号は、前記第１列中の単語の間、前記第１列中の単語内、または前記第１列中の音素の間、のうちのいずれか１つに従った位置に入れられることが好適である。本発明に係る方法においては、、前記所定の符号は前記アニメーション画を指すことが好適である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明は、デコーダであって、第２列中のアニメーション画と関連付けられた第１列中の所定の符号を復号化するモジュールと、前記復号化された所定の符号に基づく前記アニメーション画を使用するアニメーションをスタートさせるモジュールと、を含むことを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明に係るデコーダにおいては、前記第２列中のアニメーション画と関連付けられた前記第１列中の前記所定の符号は、前記第１列と前記第２列との間の同期関係を示すことが好適である。また、本発明に係るデコーダにおいては、前記第１列はテキスト列、前記第２列はアニメーション画列であることが好適である。また、本発明に係るデコーダにおいては、前記所定の符号と前記アニメーション画との対応は前記第１列の符号化処理中に確立されることが好適である。また、本発明に係るデコーダにおいては、前記アニメーション画は表情画であることが好適である。また、本発明に係るデコーダにおいては、前記所定の符号は前記アニメーション画を指すことが好適である。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオと音とを整合させる方法であって、
第１列中のアニメーション画に関連付けられた所定の符号を特定するステップと、
第２列中の前記所定の符号を送信し、それによって前記第２列を前記第１列に同期させるステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１の方法において、前記第１列はアニメーション画列、前記第２列はテキスト列であることを特徴とする方法。
【請求項３】
請求項１の方法において、前記アニメーション画は表情画であることを特徴とする方法。
【請求項４】
請求項１の方法において、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうるアニメーション画の１つの組を決定する複数のビットに追従されることを特徴とする方法。
【請求項５】
請求項２の方法において、前記アニメーション画を含む前記第１列と前記所定の符号を含む前記テキスト列とを符号化するステップをさらに含む方法。
【請求項６】
請求項１の方法において、前記第２列中の単語の間に前記所定の符号を入れるステップをさらに含むことを特徴とする方法。
【請求項７】
ビデオと音とを整合させる装置であって、
プロセッサと、
前記プロセッサを制御し、第１列中のアニメーション画に関連付けられた所定の符号を特定させるように構成されたモジュールと、
前記プロセッサを制御し、第２列中の前記所定の符号を送信させ、それによって前記第２列を前記第１列に同期させるように構成されたモジュールと、
を含むことを特徴とする装置。
【請求項８】
請求項７の装置において、前記第１列はアニメーション画列、前記第２列はテキスト列であることを特徴とする装置。
【請求項９】
請求項７の装置において、前記アニメーション画は表情画であることを特徴とする装置。
【請求項１０】
請求項７の装置において、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうるアニメーション画の１つの組を決定する複数のビットに追従されることを特徴とする装置。
【請求項１１】
請求項８の装置において、前記プロセッサを制御し、前記アニメーション画を含む前記第１列と前記所定の符号を含む前記テキスト列とを符号化させるモジュールをさらに含むことを特徴とする装置。
【請求項１２】
請求項７の装置において、前記プロセッサを制御し、前記第２列中の単語の間に前記所定の符号を入れさせるモジュールをさらに含むことを特徴とする装置。
【請求項１３】
コンピュータ機器を制御し、ビデオと音とを整合させる指令を保存するコンピュータ可読媒体であって、前記指令は、
第１列中のアニメーション画に関連付けられた所定の符号を特定する指令と、
第２列中の前記所定の符号を送信し、それによって前記第２列を前記第１列に同期させる指令と、
を含むことを特徴とするコンピュータ可読媒体。
【請求項１４】
請求項１３のコンピュータ可読媒体において、前記第１列はアニメーション画列、前記第２列はテキスト列であることを特徴とするコンピュータ可読媒体。
【請求項１５】
請求項１３のコンピュータ可読媒体において、前記アニメーション画は表情画であることを特徴とするコンピュータ可読媒体。
【請求項１６】
請求項１３のコンピュータ可読媒体において、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうるアニメーション画の１つの組を決定する複数のビットに追従されることを特徴とするコンピュータ可読媒体。
【請求項１７】
請求項１４のコンピュータ可読媒体において、前記指令は、前記アニメーション画を含む前記第１列と前記所定の符号を含む前記テキスト列とを符号化する指令をさらに含むコンピュータ可読媒体。
【請求項１８】
請求項１３のコンピュータ可読媒体において、前記指令は、前記第２列中の単語の間に前記所定の符号を入れる指令をさらに含むことを特徴とするコンピュータ可読媒体。
【請求項１９】
データを複合化する方法において、
第２列中に含まれ送信されるアニメーション画に関連付けられた所定の符号を求めてデータの第１列をモニタするステップと、
デコーダに信号を送信して、前記所定の符号に関連付けられ前記第２列からの前記アニメーション画を少なくとも使用するアニメーションをスタートさせるステップと、
を含むことを特徴とする方法。
【請求項２０】
請求項１９の方法において、前記第２列中の前記アニメーション画と関連付けられた前記第１列中の前記所定の符号は、前記第１列と前記第２列との間の同期関係を示すことを特徴とする方法。
【請求項２１】
請求項１９の方法において、前記第１列はテキスト列、前記第２列はアニメーション画列であることを特徴とする方法。
【請求項２２】
請求項１９の方法において、前記アニメーション画は表情画であることを特徴とする方法。
【請求項２３】
請求項１９の方法において、前記所定の符号は、前記第１列中の単語の間、前記第１列中の単語内、または前記第１列中の音素の間、のうちのいずれか１つに従った位置に入れられることを特徴とする方法。
【請求項２４】
請求項１９の方法において、前記所定の符号は前記アニメーション画を指すことを特徴とする方法。
【請求項２５】
デコーダであって、
第２列中のアニメーション画と関連付けられた第１列中の所定の符号を復号化するモジュールと、
前記復号化された所定の符号に基づく前記アニメーション画を使用するアニメーションをスタートさせるモジュールと、
を含むことを特徴とするデコーダ。
【請求項２６】
請求項２５のデコーダにおいて、前記第２列中のアニメーション画と関連付けられた前記第１列中の前記所定の符号は、前記第１列と前記第２列との間の同期関係を示すことを特徴とするデコーダ。
【請求項２７】
請求項２５のデコーダにおいて、前記第１列はテキスト列、前記第２列はアニメーション画列であることを特徴とするデコーダ。
【請求項２８】
請求項２５のデコーダにおいて、前記所定の符号と前記アニメーション画との対応は前記第１列の符号化処理中に確立されることを特徴とするデコーダ。
【請求項２９】
請求項２５のデコーダにおいて、前記アニメーション画は表情画であることを特徴とするデコーダ。
【請求項３０】
請求項２５のデコーダにおいて、前記所定の符号は前記アニメーション画を指すことを特徴とするデコーダ。