(57)【特許請求の範囲】
【請求項１】
テキスト列中の符号化データと表情画列中の符号化データとをＭＰＥＧデコーダにおいて整合させる方法であって、
前記表情画列中に含まれるアニメーション画に関連付けられ前記テキスト列中に挿入された所定の符号を、前記ＭＰＥＧデコーダで特定するステップと、
前記所定の符号を用いて、前記テキスト列中の復号化データを前記表示画列中の復号化データに合成器で同期させるステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１の方法において、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうる表情画の１つの組を決定する複数のビットに追従されることを特徴とする方法。
【請求項３】
請求項１の方法において、前記テキスト列中の単語の間に前記所定の符号を入れるステップをさらに含むことを特徴とする方法。
【請求項４】
テキスト列中の符号化データと表情画列中の符号化データとをデコーダにおいて整合させる装置であって、
前記表情画列中に含まれる表情画に関連付けられ前記テキスト列中に挿入された所定の符号を特定するように構成された音声合成コンバータと、
前記所定の符号を用いて、前記テキスト列中の復号化データを前記表情画列中の復号化データに同期させるように構成された合成器と、
を含むことを特徴とする装置。
【請求項５】
請求項４の装置において、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうる表情画の１つの組を決定する複数のビットに追従されることを特徴とする装置。
【請求項６】
請求項４の装置において、前記テキスト列中の単語の間に前記所定の符号が配置されることを特徴とする装置。
【請求項７】
テキスト列のデータと表情画列のデータとを含むデータを復号化する方法において、
前記表情画列のデータ中に含まれ送信される表情画に関連付けられた所定の符号を求めて前記テキスト列のデータをデコーダにおいてモニタするステップと、
前記所定の符号の存在が検出されると、ビジュアルデコーダに信号を送信して、前記所定の符号に関連付けられ前記表情画列からの前記表情画を少なくとも使用するアニメーションをスタートさせるステップと、
を含むことを特徴とする方法。
【請求項８】
請求項７の方法において、前記表情画列中の前記表情画と関連付けられた前記テキスト列中の前記所定の符号は、前記テキスト列と前記表情画列との間の同期関係を示すことを特徴とする方法。
【請求項９】
請求項７の方法において、前記所定の符号は、前記テキスト列中の単語の間、前記テキスト列中の単語内、または前記テキスト列中の音素の間、のうちのいずれか１つに従った位置に入れられることを特徴とする方法。
【請求項１０】
請求項７の方法において、前記所定の符号は前記表情画を指すことを特徴とする方法。
【請求項１１】
デコーダであって、
表情画列中の表情画と関連付けられたテキスト列中の所定の符号をモニタし検出する音声合成コンバータと、
前記所定の符号の存在が検出されると、前記所定の符号に基づく前記表情画を使用するアニメーションをスタートさせるビジュアルデコーダと、
を含むことを特徴とするデコーダ。
【請求項１２】
請求項１１のデコーダにおいて、前記表情画列中の表情画と関連付けられた前記テキスト列中の前記所定の符号は、前記テキスト列と前記表情画列との間の同期関係を示すことを特徴とするデコーダ。
【請求項１３】
請求項１１のデコーダにおいて、前記所定の符号と前記表情画との対応は前記テキスト列の符号化処理中に確立されることを特徴とするデコーダ。
【請求項１４】
請求項１１のデコーダにおいて、前記所定の符号は前記表情画を指すことを特徴とするデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化／復号化方法及び符号化／復号化システムに関し、より詳細には、フェイシャルアニメーションを符号化／復号化する方法及びシステムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−４のＴＴＳアーキテクチャによれば、フェイシャルアニメーション（facial animation）は、テキストとフェイシャルアニメーションパラメータ（ＦＡＰ）の２つのデータ列を同時に入力して作成される。このアーキテクチャにおいて、テキスト入力は、顔画（フェイス）の口の形を作成するデコーダの音声合成（ＴＴＳ）コンバータに送られる。ＦＡＰは、通信チャネルによりエンコーダからフェイス位置に送られる。現在、ヴェリフィケーションモデル（ＶＭ）では、テキスト入力サイドとＦＡＰ入力列との間の同期は、トランスミッタ側で発せられたタイミングにより得られるとされている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、このトランスミッタは、デコーダＴＴＳのタイミングを知ることができない。したがって、エンコーダは、合成された単語とフェイシャルアニメーションとの一致を特定することができない。さらに、異なるＴＴＳシステム間では、タイミングも異なる。このように、現在では、表情画（例えば、微笑や表情など）をスピーチ（言語）に合わせる方法がない。
【０００４】
したがって、本発明は、表情画と、デコーダで生成されたスピーチとを整合させることのできる、フェイシャルアニメーション画像の符号化／復号化システム及び符号化／復号化方法の開発に向けられる。
【課題を解決するための手段】
【０００５】
本発明では、単語内および単語間に挿入できるブックマークとして知られる符号を、音声合成（ＴＴＳ）コンバータに送られるテキスト列に含ませることにより、上記課題を解決する。本発明によれば、ブックマークは、エンコーダタイムスタンプ（ＥＴＳ）を有する。音声合成変換の本質によれば、エンコーダタイムスタンプは現実の時間と関連がなく、カウンタとして解釈されるべきである。本発明では、さらに、フェイシャルアニメーションパラメータ（ＦＡＰ）列も、テキスト中のブックマークと同一のエンコーダタイムスタンプを有している。本発明のシステムは、ブックマークを読み取り、エンコーダタイムスタンプと、ＴＴＳコンバータのタイミングから作成されたリアルタイムタイムスタンプ（ＲＴＳ）とをフェイシャルアニメーションシステムに供給する。最終的に、フェイシャルアニメーションシステムは、ブックマークのエンコーダタイムスタンプを参照して、的確なフェイシャルアニメーションパラメータをリアルタイムタイムスタンプに関連付ける。なお、エンコーダタイムスタンプと、リアルタイムタイムスタンプとのコンフリクトを避けるため、広範囲のデコーダが機能するようにエンコーダタイムスタンプを選択する必要がある。
【０００６】
本発明は、テキスト列中の符号化データと表情画列中の符号化データとをＭＰＥＧデコーダにおいて整合させる方法であって、前記表情画列中に含まれるアニメーション画に関連付けられ前記テキスト列中に挿入された所定の符号を、前記ＭＰＥＧデコーダで特定するステップと、前記所定の符号を用いて、前記テキスト列中の復号化データを前記表示画列中の復号化データに合成器で同期させるステップと、を含むことを特徴とする。また、本発明に係る方法においては、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうる表情画の１つの組を決定する複数のビットに追従されることが好適である。また、本発明に係る方法においては、前記テキスト列中の単語の間に前記所定の符号を入れるステップをさらに含むことが好適である。
【０００７】
また、本発明は、テキスト列中の符号化データと表情画列中の符号化データとをデコーダにおいて整合させる装置であって、前記表情画列中に含まれる表情画に関連付けられ前記テキスト列中に挿入された所定の符号を特定するように構成された音声合成コンバータと、
前記所定の符号を用いて、前記テキスト列中の復号化データを前記表情画列中の復号化データに同期させるように構成された合成器と、を含むことを特徴とする。また、本発明に係る装置においては、前記所定の符号は拡張シーケンスを含み、前記拡張シーケンスは、選択しうる表情画の１つの組を決定する複数のビットに追従されることが好適である。また、本発明に係る装置においては、前記テキスト列中の単語の間に前記所定の符号が配置されることが好適である。
【０００８】
また、本発明は、テキスト列のデータと表情画列のデータとを含むデータを復号化する方法において、前記表情画列のデータ中に含まれ送信される表情画に関連付けられた所定の符号を求めて前記テキスト列のデータをデコーダにおいてモニタするステップと、前記所定の符号の存在が検出されると、ビジュアルデコーダに信号を送信して、前記所定の符号に関連付けられ前記表情画列からの前記表情画を少なくとも使用するアニメーションをスタートさせるステップと、を含むことを特徴とする。また、本発明に係る方法においては、前記表情画列中の前記表情画と関連付けられた前記テキスト列中の前記所定の符号は、前記テキスト列と前記表情画列との間の同期関係を示すことが好適である。また、本発明に係る方法においては、前記所定の符号は、前記テキスト列中の単語の間、前記テキスト列中の単語内、または前記テキスト列中の音素の間、のうちのいずれか１つに従った位置に入れられることが好適である。また、本発明に係る方法においては、前記所定の符号は前記表情画を指すことが好適である。
【０００９】
本発明は、デコーダであって、表情画列中の表情画と関連付けられたテキスト列中の所定の符号をモニタし検出する音声合成コンバータと、前記所定の符号の存在が検出されると、前記所定の符号に基づく前記表情画を使用するアニメーションをスタートさせるビジュアルデコーダと、を含むことを特徴とする。また、本発明に係るデコーダにおいては、前記表情画列中の表情画と関連付けられた前記テキスト列中の前記所定の符号は、前記テキスト列と前記表情画列との間の同期関係を示すことが好適である。また、本発明に係るデコーダにおいては、前記所定の符号と前記表情画との対応は前記テキスト列の符号化処理中に確立されることが好適である。また、本発明に係るデコーダにおいては、前記所定の符号は前記表情画を指すことが好適である。
【発明の効果】
【００１２】
上記装置において、前記音素／ビデオコンバータが、同期化された複数の音素と複数の表情画に基づき、ワイヤフレーム画像を作成するフェイシャルアニメータと、前記デマルチプレクサとフェイシャルアニメータとに結合され、前記ワイヤフレーム画像に基づいてビデオイメージを作成するビジュアルデコーダとを含めば、特に効果的である。
【図面の簡単な説明】
【００１３】
【図１】本発明が応用される環境を表す略図である。
【図２】音声合成変換を用いるＭＰＥＧ−４デコーダのアーキテクチャを示す略図である。
【発明を実施するための形態】
【００１４】
本発明によれば、デコーダシステムの同期は、ＦＡ／ＡＰ／ＭＰおよび音声デコーダの入力においてイベントバッファーによるローカル同期を用いて達成できる。または、広域的同期制御を用いることもできる。
【００１５】
テキスト中のエンコーダタイムスタンプ（ＥＴＳ）と、フェイシャルアニメーションパラメータ（ＦＡＰ）列中のＥＴＳとの間のドリフトは、最大で８０ｍｓｅｃまで許容される。
【００１６】
テキスト列に配置されるブックマークの構文法の一実施形態としては、例えば＼！Ｍ｛ブックマークの内容｝のように、拡張記号に続いてブックマークの内容を含むことが可能である。ブックマークの内容は、１６ビット整数タイムスタンプのＥＴＳおよび他の情報を含む。同じＥＴＳが、対応するＦＡＰ列に加えられ、同期できるようにする。フェイシャルアニメーションパラメータのクラスは、オプションのＥＴＳを含むよう拡張されている。
【００１７】
絶対クロック基準（ＡＣＲ）が設けられている場合、ドリフト補償処理を実施することができる。ここで、ＦＡＰ列とテキストとの関係には、マスタ−スレーブ概念は存在しないことに留意されたい。顔面イメージがその周囲で起こる視覚的事象に反応する場合などには、デコーダが、テキストの速度を変動させることもあるし、顔面アニメーションを変化させることも考えられるからである。
【００１８】
例えば、第１の顔面イメージがユーザに向かって話しているところに、新たな顔面イメージが登場するとする。第１顔面イメージは自然な反応として第２顔面イメージを見て、微笑みながら、話されるテキストの速度を落とす。
【００１９】
概ねテキストにより駆動される自律アニメーション
フェイシャルアニメーションがテキストによって作成される場合、顔面の追加的アニメーションに対しては、概ね３０フレーム／秒の割合でアニメーション化する必要がないという限定を受ける。特に微笑などの高度な動作ユニットは、かなり低い割合にて形成されるべきである。更に、デコーダは受信機から厳重な制御を受けることなく、異なる動作間の補間を実施する。
【００２０】
本発明は、アニメーション化される動作ユニットと、追加の情報であるブックマークにおける動作ユニットの表示強度とを含む。連続したブックマークの間における、動作ユニットおよびそれの表示強度の間を補間するために、デコーダが必要である。
【００２１】
本発明により、テキスト編集プログラムなどの単純なツールを用いてアニメーションを作成でき、使用帯域幅を著しく減少することができるという利点がある。
【００２２】
図１は、本発明が応用される環境を表す。アニメーションは、エンコーダ１にて作成され符号化される。符号化されたアニメーションは、通信チャンネル（または記憶装置）を通じて遠隔目的地に伝送される。遠隔目的地にて、アニメーションはデコーダ２によって再形成される。この段階でデコーダ２は、元のアニメーションと共に符号化された情報のみを用いて、フェイシャルアニメーションを顔面イメージが話す音声に同期させる必要がある。
【００２３】
図２は、本発明に従った動作をするよう構成された、ＭＰＥＧ−４アーキテクチャのデコーダを示す。エンコーダ１（図示せず）からの信号は、伝送チャンネル（またはチャンネルとしても形成できる記憶装置）を通じてデマルチプレクサ（ＤＭＵＸ）３に入力される。ＤＭＵＸ３は、テキストとビデオデータを分離し、更に制御情報と補助情報をも分離する。ＤＭＵＸ３は更に、エンコーダタイムスタンプ（ＥＴＳ）を含むＦＡＰ列を直接、ＦＡ／ＡＰ／ＭＰ４へ出力する。ＦＡ／ＡＰ／ＭＰ４は、テキスト／スピーチコンバータ（ＴＴＳ）５、音素／ビデオＦＡＰコンバータ６、合成器７、およびビジュアルデコーダ８に連結されている。口唇形状アナライザ９には、ビジュアルデコーダ８およびＴＴＳ５が接続されている。ユーザ入力は、合成器７より入力され、ＴＴＳ５およびＦＡ／ＡＰ／ＭＰ４へ出力される。この入力は、始動や停止などの指令を含む。
【００２４】
ＴＴＳ５はブックマークを読み取り、音素に加えて、ＥＴＳとリアルタイムタイムスタンプ（ＲＴＳ）とを、音素／ビデオＦＡＰコンバータ６へ出力する。音素は、ワイヤーフレームイメージの各描画頂点を正しく配置するために使われる。この時点では、イメージは再現されない。
【００２５】
このデータは次に、イメージを再現するビジュアルデコーダ８へ出力される。ビジュアルデコーダ８は、イメージをビデオ状態にして合成器７へ出力する。この段階で、ＥＴＳ／ＲＴＳの組み合わせを有する音素を、対応するＥＴＳを有するＦＡＰと同期させることにより、ＦＡＰは音素と整合される。
【００２６】
ＭＰＥＧ−４ハイブリッド音声合成（ＴＴＳ）コンバータ５への入力テキストは、符号化された音声として音声デコーダ１０へ出力される。このシステムでは、音声デコーダ１０は音声を合成器７に出力し、合成器７は、ビデオディスプレイ（図示せず）、スピーカ（図示せず）、およびユーザに対するインターフェースとして作動する。
【００２７】
他方、ＤＭＵＸ３から出力されたビデオデータは、ビジュアルデコーダ８へ伝送される。ビジュアルデコーダは、ビデオデータとＦＡ／ＡＰ／ＭＰ４からの出力とに基づいて、複合ビデオ信号を生成する。
【００２８】
本発明には、二つの実施形態が挙げられる。第一の実施形態においては、テキスト列に配置されたＥＴＳは、フェイシャルアニメーションを含む。即ち、ブックマーク（拡張シーケンス）の後には、その時点で音声と同期されるべき所定のフェイシャルアニメーションを表す、１６ビットのコードワードが続く。
【００２９】
第二の実施形態としては、テキスト列に配置されたＥＴＳは、ＦＡＰ列内の特定のフェイシャルアニメーションに対する時間的ポインタとして作用させることもできる。即ち、拡張シーケンスの後には、ＦＡＰ列内のある箇所を特定する１６ビットコードが続く。
【００３０】
本発明は、アニメーションデータに関連して説明されるが、アニメーションデータの代わりに自然音声データまたはビデオデータを用いることもできる。詳細に言えば、上述の説明は、アニメーションデータと音声合成データとを整合させる方法およびシステムについてであるが、同じ方法およびシステムは、音声合成データを音声またはビデオに置き換えれば応用できる。少なくともＴＴＳデータ列に関して言えば、二つのデータ列の整合は、基礎になるデータとは関係なく実施される。
【符号の説明】
【００３１】
１  エンコーダ、２  デコーダ、３  ＤＭＵＸ、４  ＦＡ／ＡＰ／ＭＰ、５  ＭＰＥＧ−４ハイブリッドＴＴＳコンバータ、６  音声／ビデオＦＡＰコンバータ、７  合成器、８  ビジュアルデコーダ、９  口唇形状アナライザ、１０  音声デコーダ。
【図１】
0004783449.tif 000002
【図２】
0004783449.tif 000003