(57)【特許請求の範囲】
【請求項１】
アニメーション信号を復号化するアニメーション復号化装置において、
音声情報を含むスピーチテキスト列と、表情画情報を含むフェイシャルアニメーションパラメータ列と、ビデオデータとを含むアニメーション信号であって、前記スピーチテキスト列は、前記フェイシャルアニメーションパラメータ列が示す表情画と前記スピーチテキスト列が示す音声情報との同期関係を示すタイミングパラメータを含む、アニメーション信号を受信する受信手段と、
前記アニメーション信号を前記ビデオデータと前記スピーチテキスト列と前記フェイシャルアニメーションパラメータ列とに分離して出力するデマルチプレクサと、
前記デマルチプレクサに結合され、前記スピーチテキスト列を音声情報に変換し、前記タイミングパラメータのタイミングを示すリアルタイムタイムスタンプを生成する、テキスト／スピーチコンバータと、
前記テキスト／スピーチコンバータに結合され、前記リアルタイムタイムスタンプと前記タイミングパラメータとに基いて前記音声情報に同期化されたワイヤフレーム画像情報を、前記フェイシャルアニメーションパラメータ列が示す表情画に基づいて生成するフェイシャルアニメータと、
前記デマルチプレクサと前記フェイシャルアニメータとに結合され、前記デマルチプレクサから出力された前記ビデオデータと前記ワイヤフレーム画像情報とに基づいてビデオイメージ情報を生成するビジュアルデコーダと、
前記音声情報と前記ビデオイメージ情報とを合成し合成ビデオ信号を出力する合成器と、
を備えることを特徴とするアニメーション復号化装置。
【請求項２】
請求項１に記載のアニメーション復号化装置において、
前記タイミングパラメータは、
エンコーダタイムスタンプであることを特徴とするアニメーション復号化装置。
【請求項３】
請求項２に記載のアニメーション復号化装置において、
前記スピーチテキスト列は、
前記エンコーダタイムスタンプが後に続く拡張記号を含むことを特徴とするアニメーション復号化装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載のアニメーション復号化装置において、
前記スピーチテキスト列の音の区切りに前記タイミングパラメータが挿入されていることを特徴とするアニメーション復号化装置。
【請求項５】
請求項１から請求項３のいずれか１項に記載のアニメーション復号化装置において、
前記スピーチテキスト列の単語間に前記タイミングパラメータが挿入されていることを特徴とするアニメーション復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の符号化／復号化方法及び符号化／復号化システムに関し、より詳細には、フェイシャルアニメーションを符号化／復号化する方法及びシステムに関する。
【０００２】
【従来の技術】
ＭＰＥＧ−４のＴＴＳアーキテクチャによれば、フェイシャルアニメーション（facial animation）は、テキストとフェイシャルアニメーションパラメータ（ＦＡＰ）の２つのデータ列を同時に入力して作成される。このアーキテクチャにおいて、テキスト入力は、顔画（フェイス）の口の形を作成するデコーダの音声合成（ＴＴＳ）コンバータに送られる。ＦＡＰは、通信チャネルによりエンコーダからフェイス位置に送られる。現在、ヴェリフィケーションモデル（ＶＭ）では、テキスト入力サイドとＦＡＰ入力列との間の同期は、トランスミッタ側で発せられたタイミングにより得られるとされている。
【０００３】
【発明が解決しようとする課題】
しかしながら、このトランスミッタは、デコーダＴＴＳのタイミングを知ることができない。したがって、エンコーダは、合成された単語とフェイシャルアニメーションとの一致を特定することができない。さらに、異なるＴＴＳシステム間では、タイミングも異なる。このように、現在では、表情画（例えば、微笑や表情など）をスピーチ（言語）に合わせる方法がない。
【０００４】
したがって、本発明は、表情画と、デコーダで生成されたスピーチとを整合させることのできる、フェイシャルアニメーション画像の符号化／復号化システム及び符号化／復号化方法の開発に向けられる。
【０００５】
【課題を解決するための手段】
本発明では、単語内および単語間に挿入できるブックマークとして知られる符号を、音声合成（ＴＴＳ）コンバータに送られるテキスト列に含ませることにより、上記課題を解決する。本発明によれば、ブックマークは、エンコーダタイムスタンプ（ＥＴＳ）を有する。音声合成変換の本質によれば、エンコーダタイムスタンプは現実の時間と関連がなく、カウンタとして解釈されるべきである。本発明では、さらに、フェイシャルアニメーションパラメータ（ＦＡＰ）列も、テキスト中のブックマークと同一のエンコーダタイムスタンプを有している。本発明のシステムは、ブックマークを読み取り、エンコーダタイムスタンプと、ＴＴＳコンバータのタイミングから作成されたリアルタイムタイムスタンプ（ＲＴＳ）とをフェイシャルアニメーションシステムに供給する。最終的に、フェイシャルアニメーションシステムは、ブックマークのエンコーダタイムスタンプを参照して、的確なフェイシャルアニメーションパラメータをリアルタイムタイムスタンプに関連付ける。なお、エンコーダタイムスタンプと、リアルタイムタイムスタンプとのコンフリクトを避けるため、広範囲のデコーダが機能するようにエンコーダタイムスタンプを選択する必要がある。
【００１０】
また、本発明は、アニメーション信号を復号化するアニメーション復号化装置において、音声情報を含むスピーチテキスト列と、表情画情報を含むフェイシャルアニメーションパラメータ列と、ビデオデータとを含むアニメーション信号であって、前記スピーチテキスト列は、前記フェイシャルアニメーションパラメータ列が示す表情画と前記スピーチテキスト列が示す音声情報との同期関係を示すタイミングパラメータを含む、アニメーション信号を受信する受信手段と、前記アニメーション信号を前記ビデオデータと前記スピーチテキスト列と前記フェイシャルアニメーションパラメータ列とに分離して出力するデマルチプレクサと、前記デマルチプレクサに結合され、前記スピーチテキスト列を音声情報に変換し、前記タイミングパラメータのタイミングを示すリアルタイムタイムスタンプを生成する、テキスト／スピーチコンバータと、前記テキスト／スピーチコンバータに結合され、前記リアルタイムタイムスタンプと前記タイミングパラメータとに基いて前記音声情報に同期化されたワイヤフレーム画像情報を、前記フェイシャルアニメーションパラメータ列が示す表情画に基づいて生成するフェイシャルアニメータと、前記デマルチプレクサと前記フェイシャルアニメータとに結合され、前記デマルチプレクサから出力された前記ビデオデータと前記ワイヤフレーム画像情報とに基づいてビデオイメージ情報を生成するビジュアルデコーダと、前記音声情報と前記ビデオイメージ情報とを合成し合成ビデオ信号を出力する合成器と、を備えることを特徴とする。
【００１２】
また、本発明に係るアニメーション復号化装置においては、前記タイミングパラメータは、エンコーダタイムスタンプであることが好適である。また、本発明に係るアニメーション復号化装置においては、前記スピーチテキスト列は、前記エンコーダタイムスタンプが後に続く拡張記号を含むことが好適である。また、本発明に係るアニメーション復号化装置においては、前記スピーチテキスト列の音の区切りに前記タイミングパラメータが挿入されていることが好適である。また、本発明に係るアニメーション復号化装置においては、前記スピーチテキスト列の単語間に前記タイミングパラメータが挿入されていることが好適である。
【００１３】
【発明の実施の形態】
本発明によれば、デコーダシステムの同期は、ＦＡ／ＡＰ／ＭＰおよび音声デコーダの入力においてイベントバッファーによるローカル同期を用いて達成できる。または、広域的同期制御を用いることもできる。
【００１４】
テキスト中のエンコーダタイムスタンプ（ＥＴＳ）と、フェイシャルアニメーションパラメータ（ＦＡＰ）列中のＥＴＳとの間のドリフトは、最大で８０ｍｓｅｃまで許容される。
【００１５】
テキスト列に配置されるブックマークの構文法の一実施形態としては、例えば＼！Ｍ｛ブックマークの内容｝のように、拡張記号に続いてブックマークの内容を含むことが可能である。ブックマークの内容は、１６ビット整数タイムスタンプのＥＴＳおよび他の情報を含む。同じＥＴＳが、対応するＦＡＰ列に加えられ、同期できるようにする。フェイシャルアニメーションパラメータのクラスは、オプションのＥＴＳを含むよう拡張されている。
【００１６】
絶対クロック基準（ＡＣＲ）が設けられている場合、ドリフト補償処理を実施することができる。ここで、ＦＡＰ列とテキストとの関係には、マスタ−スレーブ概念は存在しないことに留意されたい。顔面イメージがその周囲で起こる視覚的事象に反応する場合などには、デコーダが、テキストの速度を変動させることもあるし、顔面アニメーションを変化させることも考えられるからである。
【００１７】
例えば、第１の顔面イメージがユーザに向かって話しているところに、新たな顔面イメージが登場するとする。第１顔面イメージは自然な反応として第２顔面イメージを見て、微笑みながら、話されるテキストの速度を落とす。
【００１８】
概ねテキストにより駆動される自律アニメーション
フェイシャルアニメーションがテキストによって作成される場合、顔面の追加的アニメーションに対しては、概ね３０フレーム／秒の割合でアニメーション化する必要がないという限定を受ける。特に微笑などの高度な動作ユニットは、かなり低い割合にて形成されるべきである。更に、デコーダは受信機から厳重な制御を受けることなく、異なる動作間の補間を実施する。
【００１９】
本発明は、アニメーション化される動作ユニットと、追加の情報であるブックマークにおける動作ユニットの表示強度とを含む。連続したブックマークの間における、動作ユニットおよびそれの表示強度の間を補間するために、デコーダが必要である。
【００２０】
本発明により、テキスト編集プログラムなどの単純なツールを用いてアニメーションを作成でき、使用帯域幅を著しく減少することができるという利点がある。
【００２１】
図１は、本発明が応用される環境を表す。アニメーションは、エンコーダ１にて作成され符号化される。符号化されたアニメーションは、通信チャンネル（または記憶装置）を通じて遠隔目的地に伝送される。遠隔目的地にて、アニメーションはデコーダ２によって再形成される。この段階でデコーダ２は、元のアニメーションと共に符号化された情報のみを用いて、フェイシャルアニメーションを顔面イメージが話す音声に同期させる必要がある。
【００２２】
図２は、本発明に従った動作をするよう構成された、ＭＰＥＧ−４アーキテクチャのデコーダを示す。エンコーダ１（図示せず）からの信号は、伝送チャンネル（またはチャンネルとしても形成できる記憶装置）を通じてデマルチプレクサ（ＤＭＵＸ）３に入力される。ＤＭＵＸ３は、テキストとビデオデータを分離し、更に制御情報と補助情報をも分離する。ＤＭＵＸ３は更に、エンコーダタイムスタンプ（ＥＴＳ）を含むＦＡＰ列を直接、ＦＡ／ＡＰ／ＭＰ４へ出力する。ＦＡ／ＡＰ／ＭＰ４は、テキスト／スピーチコンバータ（ＴＴＳ）５、音素／ビデオＦＡＰコンバータ６、合成器７、およびビジュアルデコーダ８に連結されている。口唇形状アナライザ９には、ビジュアルデコーダ８およびＴＴＳ５が接続されている。ユーザ入力は、合成器７より入力され、ＴＴＳ５およびＦＡ／ＡＰ／ＭＰ４へ出力される。この入力は、始動や停止などの指令を含む。
【００２３】
ＴＴＳ５はブックマークを読み取り、音素に加えて、ＥＴＳとリアルタイムタイムスタンプ（ＲＴＳ）とを、音素／ビデオＦＡＰコンバータ６へ出力する。音素は、ワイヤーフレームイメージの各描画頂点を正しく配置するために使われる。この時点では、イメージは再現されない。
【００２４】
このデータは次に、イメージを再現するビジュアルデコーダ８へ出力される。ビジュアルデコーダ８は、イメージをビデオ状態にして合成器７へ出力する。この段階で、ＥＴＳ／ＲＴＳの組み合わせを有する音素を、対応するＥＴＳを有するＦＡＰと同期させることにより、ＦＡＰは音素と整合される。
【００２５】
ＭＰＥＧ−４ハイブリッド音声合成（ＴＴＳ）コンバータ５への入力テキストは、符号化された音声として音声デコーダ１０へ出力される。このシステムでは、音声デコーダ１０は音声を合成器７に出力し、合成器７は、ビデオディスプレイ（図示せず）、スピーカ（図示せず）、およびユーザに対するインターフェースとして作動する。
【００２６】
他方、ＤＭＵＸ３から出力されたビデオデータは、ビジュアルデコーダ８へ伝送される。ビジュアルデコーダは、ビデオデータとＦＡ／ＡＰ／ＭＰ４からの出力とに基づいて、複合ビデオ信号を生成する。
【００２７】
本発明には、二つの実施形態が挙げられる。第一の実施形態においては、テキスト列に配置されたＥＴＳは、フェイシャルアニメーションを含む。即ち、ブックマーク（拡張シーケンス）の後には、その時点で音声と同期されるべき所定のフェイシャルアニメーションを表す、１６ビットのコードワードが続く。
【００２８】
第二の実施形態としては、テキスト列に配置されたＥＴＳは、ＦＡＰ列内の特定のフェイシャルアニメーションに対する時間的ポインタとして作用させることもできる。即ち、拡張シーケンスの後には、ＦＡＰ列内のある箇所を特定する１６ビットコードが続く。
【００２９】
本発明は、アニメーションデータに関連して説明されるが、アニメーションデータの代わりに自然音声データまたはビデオデータを用いることもできる。詳細に言えば、上述の説明は、アニメーションデータと音声合成データとを整合させる方法およびシステムについてであるが、同じ方法およびシステムは、音声合成データを音声またはビデオに置き換えれば応用できる。少なくともＴＴＳデータ列に関して言えば、二つのデータ列の整合は、基礎になるデータとは関係なく実施される。
【図面の簡単な説明】
【図１】  本発明が応用される環境を表す略図である。
【図２】  音声合成変換を用いるＭＰＥＧ−４デコーダのアーキテクチャを示す略図である。
【符号の説明】
１  エンコーダ、２  デコーダ、３  ＤＭＵＸ、４  ＦＡ／ＡＰ／ＭＰ、５  ＭＰＥＧ−４ハイブリッドＴＴＳコンバータ、６  音声／ビデオＦＡＰコンバータ、７  合成器、８  ビジュアルデコーダ、９  口唇形状アナライザ、１０  音声デコーダ。
【図１】
0004716532.tif 000002
【図２】
0004716532.tif 000003