(57)【要約】ビデオデータのフレームのストリームを処理するビデオ処理システムである。システムは、入力されたビデオデータのフレームが少なくとも１つの所定の口形素に対応するかを判定する口形素織別システムと、少なくとも１つの所定の口形素に対応するフレームを格納する口形素ライブラリと、少なくとも１つの所定の口形素に対応する各フレームを符号化する符号化器とを含む、パッケージングシステムを有し、符号化器は現在フレームを符号化するのに口形素ライブラリ中の予め格納されたフレームを用いる。また、ビデオデータの符号化されたフレームを復号化する復号化器と、復号化されたフレームを格納するフレーム参照ライブラリとを含む受信器システムを更に有し、復号化器は現在の符号化されたフレームを復号化するのにフレーム参照ライブラリからの以前に復号化されたフレームを用い、以前に復号化されたフレームは現在の符号化されたフレームと同じ口形素に属する、受信器システムが提供される。
2005504490.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータのフレームのストリームを処理するビデオ処理システムであって、
入力されたビデオデータのフレームが少なくとも１つの所定の口形素に対応するかを判定する口形素織別システムと、
前記少なくとも１つの所定の口形素に対応するフレームを格納する口形素ライブラリと、
前記少なくとも１つの所定の口形素に対応する各フレームを符号化する符号化器とを含む、パッケージングシステムを有し、
前記符号化器は現在フレームを符号化するのに前記口形素ライブラリ中の予め格納されたフレームを用いる、
ビデオ処理システム。
【請求項２】
前記口形素識別システムは、オーディオデータストリーム中の前記ビデオデータのフレームに関連付けられる音素を識別する音声セグメント化部を含む、請求項１記載のビデオ処理システム。
【請求項３】
前記口形素識別システムは、識別された音素を前記少なくとも１つの所定の口形素へマップする、請求項２記載のビデオ処理システム。
【請求項４】
前記口形素識別システムは、関連する音素でフレームをタグ付けする、請求項２記載のビデオ処理システム。
【請求項５】
前記少なくとも１つの口形素に対応しないフレームを除去するフレーム間引きシステムを更に有する、請求項１記載のビデオ処理システム。
【請求項６】
ビデオデータの符号化されたフレームを復号化する復号化器と、
復号化されたフレームを格納するフレーム参照ライブラリとを含む受信器システムを更に有し、
前記復号化器は現在の符号化されたフレームを復号化するのに前記フレーム参照ライブラリからの以前に復号化されたフレームを用い、前記以前に復号化されたフレームは前記現在の符号化されたフレームと同じ口形素に属する、請求項５記載のビデオ処理システム。
【請求項７】
前記受信器システムは、前記間引きシステムによって除去されたフレームを再構築するモーフィングシステムを更に有する、請求項６記載のビデオ処理システム。
【請求項８】
前記符号化器は、フレームを再構築するのに前記モーフィングシステムによって使用される詳細な動き情報を発生する、請求項７記載のビデオ処理システム。
【請求項９】
ビデオデータのフレームのストリームを処理する方法であって、
入力されたビデオデータの各フレームが少なくとも１つの所定の口形素に対応するかを判定する段階と、
口形素ライブラリ中の前記少なくとも１つの所定の口形素に対応するフレームを格納する段階と、
前記少なくとも１つの所定の口形素に対応する各フレームを符号化する段階とを有し、
前記符号化する段階は、現在フレームを符号化するのに前記口形素ライブラリ中に以前に格納されたフレームを用いる、方法。
【請求項１０】
ビデオデータの符号化されたフレームを復号化する段階と、
復号化されたフレームを格納するフレーム参照ライブラリを与える段階とを更に有し、
前記復号化する段階は、現在の符号化されたフレームを復号化するのに前記フレーム参照ライブラリからの以前に復号化されたフレームを用い、前記以前に復号化されたフレームは前記現在の符号化されたフレームと同じ口形素に属する、請求項９記載の方法。
【請求項１１】
実行されたときに、ビデオデータのフレームのストリームを処理する、記録可能な媒体上に格納されたプログラムプロダクトであって、
入力されたビデオデータのフレームが少なくとも１つの所定の口形素に対応するかを判定するシステムと、
前記少なくとも１つの所定の口形素に対応するフレームを格納する口形素ライブラリと、
前記少なくとも１つの所定の口形素に対応する各フレームを符号化するシステムとを有し、
前記符号化するシステムは、現在フレームを符号化するのに前記口形素ライブラリ中の以前に格納されたフレームを用いる、プログラムプロダクト。
【請求項１２】
前記判定するシステムは、前記ビデオデータのフレームに関連するオーディオデータストリーム中の音素を識別する音声セグメント化部を含む、請求項１１記載のプログラムプロダクト。
【請求項１３】
前記判定するシステムは、識別された音素を前記少なくとも１つの所定の口形素へマップする、請求項１１記載のプログラムプロダクト。
【請求項１４】
少なくとも１つの所定の口形素に関連するフレームを用いて符号化されたビデオデータの符号化されたフレームを復号化する復号化器であって、
復号化されたフレームを格納するフレーム参照ライブラリを有し、前記復号化器は現在の符号化されたフレームを復号化するのに前記フレーム参照ライブラリ中の以前に格納されたフレームを用い、前記以前に格納されたフレームは前記現在の符号化されたフレームと同じ口形素に属し、
符号化処理中に除去されたビデオデータのフレームを再構築するモーフィングシステムを有する、復号化器。
【発明の詳細な説明】
【０００１】
本発明は、ビデオ符号化及び復号化に係り、より特定的にはビデオフレームを符号化する口形素（ｖｉｓｅｍｅ）に基づくシステム及び方法に関連する。
【０００２】
遠隔ビデオ処理用途（例えばテレビ会議、テレビ電話）に対する必要が高まりつつあるため、限られた帯域幅を通じて効率的にビデオデータを送信しうるシステムを提供する必要が重要となった。帯域幅の消費を減少させるための１つの解決策は、圧縮されたビデオ信号を符号化及び復号化しうるビデオ処理システムを用いることである。
【０００３】
ビデオ圧縮を行うには、現在、２種類の技術、即ち、波形に基づく圧縮とモデルに基づく圧縮がある。波形に基づく圧縮は、例えば、ＭＰＥＧ及びＩＴＵ標準（例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３等）によって与えられる比較的成熟した技術を用いるものである。もう一つの方法として、モデルに基づく圧縮は、比較的成熟していない技術である。モデルに基づく圧縮に用いられる典型的なアプローチは、人の顔の３次元モデルを発生し、次に、ビデオデータの新しいフレームの基礎を成す２次元画像を導出することを含む。頭と肩の画像の場合のように、送信されたビデオ画像データの殆どが繰り返しである場合、モデルベースの符号化は、はるかに高い度合いの圧縮を達成しうる。
【０００４】
従って、現在のモデルに基づく圧縮技術はテレビ会議及びテレビ電話等の用途に役に立ち、３次元画像を発生し処理することに関する計算上の複雑さは、このようなシステムの実施を困難とし禁止的に高い費用とする傾向がある。従って、３次元画像の処理の計算オーバヘッドを必要とすることなく、モデルに基づくシステムの圧縮レベルを達成しうる符号化システムが必要とされている。
【０００５】
本発明は、新規なモデルに基づく符号化システムを提供することにより、上述の問題を扱うだけでなく、他の問題も扱う。特に、入力されたビデオフレームは、フレーム全体のうちの一部のみが実際に符号化されるよう間引きされる。符号化されるフレームは、以前に符号化されたフレームからの及び／又は動的に発生された口形素ライブラリからのフレームからの予測を用いて符号化される。
【０００６】
第１の面では、本発明は、ビデオデータのフレームのストリームを処理するビデオ処理システムであって、入力されたビデオデータのフレームが少なくとも１つの所定の口形素に対応するかを判定する口形素織別システムと、少なくとも１つの所定の口形素に対応するフレームを格納する口形素ライブラリと、少なくとも１つの所定の口形素に対応する各フレームを符号化する符号化器とを含む、パッケージングシステムを有し、符号化器は現在フレームを符号化するのに口形素ライブラリ中の予め格納されたフレームを用いるビデオ処理システムを提供する。
【０００７】
第２の面では、本発明は、ビデオデータのフレームのストリームを処理する方法であって、入力されたビデオデータの各フレームが少なくとも１つの所定の口形素に対応するかを判定する段階と、口形素ライブラリ中の少なくとも１つの所定の口形素に対応するフレームを格納する段階と、少なくとも１つの所定の口形素に対応する各フレームを符号化する段階とを有し、符号化する段階は、現在フレームを符号化するのに口形素ライブラリ中に以前に格納されたフレームを用いる方法を提供する。
【０００８】
第３の面では、本発明は、実行されたときに、ビデオデータのフレームのストリームを処理する、記録可能な媒体上に格納されたプログラムプロダクトであって、入力されたビデオデータのフレームが少なくとも１つの所定の口形素に対応するかを判定するシステムと、少なくとも１つの所定の口形素に対応するフレームを格納する口形素ライブラリと、少なくとも１つの所定の口形素に対応する各フレームを符号化するシステムとを有し、符号化するシステムは、現在フレームを符号化するのに口形素ライブラリ中の以前に格納されたフレームを用いるプログラムプロダクトを提供する。
【０００９】
第４の面では、本発明は、少なくとも１つの所定の口形素に関連するフレームを用いて符号化されたビデオデータの符号化されたフレームを復号化する復号化器であって、復号化されたフレームを格納するフレーム参照ライブラリを有し、復号化器は現在の符号化されたフレームを復号化するのにフレーム参照ライブラリ中の以前に格納されたフレームを用い、以前に格納されたフレームは現在の符号化されたフレームと同じ口形素に属し、符号化処理中に除去されたビデオデータのフレームを再構築するモーフィングシステムを有する復号化器を提供する。
【００１０】
以下、本発明の望ましい典型的な実施例について、添付の図面を参照して説明する。図中、同様の参照番号は同様の要素を示す。図面を参照するに、図１及び図２は、ビデオ画像を符号化するビデオ処理システムを示す。ここで説明する実施例は主に顔の画像の処理に関する用途に注目するものであるが、本発明は顔の画像の符号化に限られないことが理解されるべきである。図１は、ビデオデータ３２及びオーディオデータ３３の入力されたフレームから符号化されたビデオデータ５０を発生する符号化器１４を含む。図２は、図１のビデオパッケージングシステム１０によって符号化されたビデオデータ５０を復号化し、復号化されたビデオデータ５２を発生する復号化器４２を含むビデオ受信器システム４０を示す。
【００１１】
図１のビデオパッケージングシステム１０は、口形素（ｖｉｓｅｍｅ）識別システム１２、符号化器１４、及び口形素ライブラリ１６を用いてビデオデータ３２の入力されたフレームを処理する。典型的な用途では、ビデオデータ３２の入力されたフレームは、例えば一般的にはテレビ会議システムによって処理される人の顔の多数の画像を含みうる。入力された顔３２は、どのフレームが１つ又はそれ以上の所定の口形素に対応するかを決定するよう口形素識別システム１２によって検査される。口形素は、特定の音を記述する（例えば、「ｓｈ」を発話するのに必要な口の形を作る）のに使用されうる包括的な顔の画像として定義されうる。口形素は、音素（ｐｈｏｎｅｍｅ）又は話される言葉中の音の単位に対して視覚的に同等なものである。
【００１２】
どの画像が口形素に対応するかを判定する処理は、音声データ３３中の音素を識別する音声セグメント化部１８によって行われる。音素が識別されるたびに、対応するビデオ画像は、対応する口形素に属するとしてタグ付けされうる。例えば、オーディオデータ中で音素「ｓｈ」が検出されるたびに、対応するビデオフレームは「ｓｈ」口形素に属するものとして識別されうる。ビデオフレームにタグ付けする処理は、識別された音素を口形素にマップするマッピングシステム２０によって取り扱われる。尚、与えられた姿勢又は表情の明示的な識別は必要ではない。むしろ、既知の口形素に属するビデオフレームが、音素を用いて暗示的に識別され分類される。一定の期間内（例えば１秒間）に対応する発話のない画像を有する、無音口形素を含む任意の数又は種類の口形素が発生されうることが理解されるべきである。
【００１３】
フレームが、口形素に属するとして識別されると、フレームは口形素ライブラリ１６に格納される。口形素ライブラリ１６は、共通の口形素に属するとしてタグ付けされたフレームが複数のモデル集合（例えば、Ｖ１，Ｖ２，Ｖ３，Ｖ４）の内の１つの中に一緒に格納されるよう口形素によって物理的又は論理的に配置されうる。最初は、各モデル集合は、フレームのヌル集合を有する。より多くのフレームが処理されるにつれて、各モデル集合は成長する。あまりにも大きいモデル集合を防止するべく、与えられるモデル集合のサイズに対して閾値が設定されてもよい。フレームを廃棄する先入れ先出しシステムは、閾値基準が満たされた後に過剰なフレームを除去するのに使用されうる。
【００１４】
入力されたフレームが口形素に対応しない場合、フレーム間引きシステム２２は、フレームを間引き又は消去し、即ちゴミ箱３４へ送信する。この場合、フレームは、口形素ライブラリ１６に格納されておらず、符号化器１４によって符号化もされない。しかしながら、任意の間引きされたフレームの位置に関する情報は、符号化されたビデオデータ５０中に明示的又は暗示的に組み込まれてもよい。この情報は、以下に説明するように、間引きされたフレームをどこに再構築するかを決定するために受信器によって使用されうる。
【００１５】
入力されたフレームが口形素に対応すると想定すると、符号化器１４は、例えばブロック毎の予測法を用いて、フレームを符号化し、これは符号化されたビデオデータ５０として出力される。符号化器１４は、誤り予測システム２４、詳細な動き情報２５、及びフレーム予測システム２６を有する。誤り予測システム２４は、例えばＭＰＥＧ−２標準で与えられるような任意の公知の方法で予測誤りを符号化する。詳細な動き情報２５は、受信器４０（図２）におけるモーフィングシステム４８によって使用されうる副情報として発生されうる。フレーム予測システムは、２つの画像、即ち（１）符号化器１４によって発生される動き補償された以前に符号化されたフレームと、（２）検索システム２８によって口形素ライブラリ１６から検索された画像とからフレームを予測する。特に、口形素ライブラリ１６から検索される画像は、符号化されているフレームと同じ口形素を含むモデル集合から検索される。例えば、人の顔が音声「ｓｈ」を発話したときの画像をフレームが含む場合、同じ口形素からの以前の画像が選択され検索される。検索システム２８は、平均平方により最も近かった画像を検索する。従って、時間的な近さ（即ち近傍のフレーム）に頼るのではなく、本発明では、時間的な近さとは無関係に、任意の以前のフレームに対して最も近く一致するものを選択しうる。非常に似た以前のフレームを見つけることによい、予測誤差は小さく、非常に高い度合いの圧縮が容易に達成されうる。
【００１６】
ここで図２を参照するに、復号化器４２、参照フレームライブラリ４４、バッファ４６、及びモーフィングシステム４８を含むビデオ受信器システム４０が示される。復号化器４２は、ビデオパッケージングシステム１０と同じ並列技術を用いる符号化されたビデオデータ５０の入来フレームを復号化する。特に、符号化されたフレームは、（１）直前の復号化されたフレーム、及び、（２）参照フレームライブラリ４４からの画像を用いて復号化される。参照フレームライブラリからの画像は、フレームを符号化するのに使用されたものと同じであり、符号化されたフレーム中に格納された参照データで容易に識別されうる。フレームは、復号化された後、参照フレームライブラリ４４中に（将来のフレームを復号化するために）格納されるとともにバッファ４６へ転送される。
【００１７】
１つ又はそれ以上のフレームが元々間引きされている場合（例えば、バッファ４６中に「？？」として示される）、モーフィングシステム４８は、例えば、符号化されたフレーム５３と５５の間を補間することにより、間引きされたフレームを再構築するのに使用されうる。このような補間技術は、例えば、ここに参照として組み入れられる、エザット（Ｅｚｚａｔ）及びポッジオ（Ｐｏｇｇｉｏ）著，”Ｍｉｋｅｔａｌｋ；  Ａ  ｔａｌｋｉｎｇ  ｆａｃｉａｌ  ｄｉｓｐｌａｙ  ｂａｓｅｄ  ｏｎ  ｍｏｒｐｈｉｎｇ  ｖｉｓｅｍｅｓ，”  Ｐｒｏｃ．  Ｃｏｍｐｕｔｅｒ  Ａｎｉｍａｔｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，  第９６−１０２頁、米国ペンシルバニア州フィラデルフィア、１９９８年に記載されている。モーフィングシステム４８は、符号化器１４（図１）によって与えられる詳細な動き情報を用いてもよい。フレームは、再構築された後、符号化されたビデオデータ５２の完全な集合として復号化されたフレームとともに出力されうる。
【００１８】
ここで説明されるシステム、機能、方法、及びモジュールは、ハードウエア、ソフトウエア、又は、ハードウエアとソフトウエアの組合せとして実現されうる。これらは、任意の種類のコンピュータシステム、又は、上述の方法を実行するのに適合された他の装置によって実現されうる。ハードウエア及びソフトウエアの典型的な組合せは、ロードされ実行されたときに、コンピュータシステムが本願に記載の方法を実行するよう制御するコンピュータプログラムを有する汎用コンピュータシステムでありうる。或いは、本発明の１つ又はそれ以上の機能的なタスクを実行する専用ハードウエアを含む特定用途コンピュータが使用されてもよい。本発明はまた、本願に記載の方法及び機能の実現を可能とする全ての特徴を有し、コンピュータシステムにロードされたときにこれらの方法及び機能を実行することが可能なコンピュータプログラムプロダクトに埋め込まれうる。本願明細書では、コンピュータプログラム、ソフトウエアプログラム、プログラム、プログラムプロダクト、又はソフトウエアは、情報処理能力を有するシステムに、直接的に、又は、（ａ）或いは（ｂ）のいずれかの後に、特定の機能を実行させることが意図される一組の命令の、任意の言語、コード、又は表記法での任意の表現を意味する。
【００１９】
本発明の望ましい実施例の以下の説明は、例示及び説明のために示されたものである。これらは、網羅的なもの、或いは、本発明を開示されたそのものの形に制限するものを意図したものではなく、明らかに、上述の教示から、多くの変更及び変形が可能である。当業者にとって明らかなこのような変更及び変形は、特許請求の範囲に定義される本発明の範囲に含まれることが意図される。
【図面の簡単な説明】
【００２０】
【図１】本発明の望ましい実施例による符号化器を有するビデオパッケージングシステムを示す図である。
【図２】本発明の望ましい実施例による復号化器を有するビデオ受信器システムである。
【図１】
2005504490.tif 000003
【図２】
2005504490.tif 000004
【国際公開パンフレット】
2005504490.tif 000005
2005504490.tif 000006
2005504490.tif 000007
2005504490.tif 000008
2005504490.tif 000009
2005504490.tif 000010
2005504490.tif 000011
2005504490.tif 000012
2005504490.tif 000013
2005504490.tif 000014
2005504490.tif 000015
2005504490.tif 000016
【国際調査報告】
2005504490.tif 000017
2005504490.tif 000018
2005504490.tif 000019