(57)【要約】本発明は、画像が3次元の形状の表面の上へその投影によって概念的にテクスチャリングされる画像処理方法及びシステムを提供する。形状及び／または画像位置は次にお互いに関連して、好ましくは形状の１以上の軸の回りの回転によって、移動され、そして第２の処理された画像を得るために第２の投影がテクスチャリングされた表面から画像位置へなされる。処理された画像内に表示された図が見られてアスペクト比変化を処理の結果として受ける。本発明は話しているときに人間の小さな動きをシュミレーションするときに、またシーケンスとして表示されたときにこのような小さな動きをシュミレーションするために特に口径索画像を処理するときに使用される。
2005527053.tif 000002
【特許請求の範囲】
【請求項１】
ａ）三次元形状の少なくとも１つの表面を、画像位置及びこの向きから前記少なくとも１つの表面への第１の画像の投影によりテクスチャリングする工程と、
ｂ）互いに関連して形状及び／または画像位置の一方または両方を移動する工程と、
ｃ）形状のテクスチャリングされた表面を画像位置に投影し、画像位置で、及び前記第１の画像と同じ向きで第２の画像を取得する工程と、
を含む、画像処理方法。
【請求項２】
前記第１の画像が第１の画像のシーケンスの一部を形成し、対応する第２の画像のシーケンスを取得するために前記シーケンスの中の第１の画像ごとに工程ａ）、ｂ）及びｃ）を繰り返すことをさらに含む、請求項１に記載の方法。
【請求項３】
第１の画像と第２の画像のそれぞれのシーケンスがそれぞれ話をしている顔の動画化されたシーケンスを形成する、請求項２に記載の方法。
【請求項４】
前記第２の画像の第２のシーケンスをユーザに表示することと、前記表示と共時的に、スピーチである場合がある録音されたあるいは合成された音を再生することをさらに含む、請求項２または請求項３に記載の方法。
【請求項５】
移動する工程が、再生された音の中のエネルギーに応じて形状及び／または画像位置を移動することをさらに含む、請求項４に記載の方法。
【請求項６】
移動する工程が、形状及び／または画像位置を無作為に移動することをさらに含む、請求項１乃至請求項４のいずれか１項に記載の方法。
【請求項７】
移動する工程が、前記三次元形状を、その１つ以上の軸の回りで回転することをさらに含む、請求項１乃至請求項６のいずれか１項に記載の方法。
【請求項８】
前記回転は、前記軸の１つ以上の回りでのどちらかの方向での１０度以下であり、好ましくは前記軸の回りのどちらかの方向での１度以下である、請求項７に記載の方法。
【請求項９】
形状が、球、円柱、楕円体、卵形、または二重筒から構成されるグループの１つである、請求項１乃至請求項８のいずれか１項に記載の方法。
【請求項１０】
前記第１の画像は、仮想空間内の第１の位置に位置する複数のピクセルを含む画像であり、前記形状がプロセッサによりモデリングされる、前記仮想空間内に位置する形状の３Ｄ仮想モデルを表現するデータである、請求項１乃至請求項９のいずれか１項に記載の方法。
【請求項１１】
コンピュータシステムによって実行されるときに、コンピュータシステムに請求項１乃至請求項１０のいずれか１項に記載の方法を実行させる、コンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを記憶する、コンピュータ読み取り可能記憶媒体。
【請求項１３】
処理される第１の画像を受信するための画像受信手段と、
画像処理手段と、
第２の処理された画像を出力するための画像出力手段と、
を含む、画像処理システムであって、
前記画像処理手段が、三次元形状をモデリングするように構成された形状モデリング手段であって、さらに
ａ）三次元形状の少なくとも１つの表面を、前記少なくとも１つの表面の上へのその画像位置と向きからの第１の画像の投影でテクスチャリングし、
ｂ）互いに関連して形状及び／または画像位置の一方または両方を移動し、
ｃ）形状のテクスチャリングされた表面を画像位置に投影し、前記第１の画像と同じ位置で、及び同じ向きで第２の画像を取得する、ように構成されたものを含むことを特徴とする、
画像処理システム。
【請求項１４】
前記第１の画像は第１の画像のシーケンスを形成し、該システムが前記画像受信手段において前記シーケンスでそれぞれの第１の画像を受信するようにさらに構成され、前記画像処理手段が第２の画像の対応するシーケンスを取得するために前記シーケンスで第１の画像のそれぞれに工程ａ）、ｂ）及びｃ）を繰り返すように構成された、請求項１３に記載のシステム。
【請求項１５】
第１の画像と第２の画像のそれぞれのシーケンスが話をしている顔の動画化されたシーケンスをそれぞれ形成する、請求項１４に記載のシステム。
【請求項１６】
前記第２の画像の第２のシーケンスをユーザに表示するための表示手段と、前記表示と共時的に、スピーチであってもよい録音されたまたは合成された音を再生するための音再生手段とをさらに含む、請求項１４または請求項１５に記載のシステム。
【請求項１７】
画像処理手段が、再生された音の中のエネルギーに依存して形状及び／または画像位置を移動するようにさらに構成された、請求項１６に記載のシステム。
【請求項１８】
画像処理手段が形状及び／または画像位置を無作為に移動するようにさらに構成された、請求項１３乃至請求項１６のいずれか１項に記載のシステム。
【請求項１９】
画像処理手段が、前記三次元形状をその１つ以上の軸の回りで回転させることにより形状を移動するようにさらに構成された、請求項１３乃至請求項１８のいずれか１項に記載のシステム。
【請求項２０】
前記回転は、前記軸の１つ以上の回りでのどちらかの方向で１０度以下、好ましくは前記軸の回りのどちらかの方向での１度以下である、請求項１９に記載のシステム。
【請求項２１】
形状が、球、円柱、楕円体、卵形、または二重筒から構成されるグループの内の１つである、請求項１３乃至請求項２０に記載のシステム。
【請求項２２】
前記第１の画像は仮想空間内の前記第１の位置に位置する複数のピクセルを含み、前記形状は前記形状モデリング手段によりモデリングされる、前記仮想空間内に位置する形状の３Ｄ仮想モデルを表すデータである、請求項１３乃至請求項２１のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法とシステム、コンピュータに該方法を実行させるように構成されたコンピュータプログラム、および前記コンピュータプログラムを記憶するコンピュータ読取可能記憶媒体に関する。
【背景技術】
【０００２】
合成された、または録音されたスピーチメッセージの送達を送信者の動画化した画像を使用することにより、あるいは少なくとも送信者の作成されたアバター（ａｖａｔａｒ）の頭部を表示することにより向上できることは既知であるが、どちらのケースにおいても唇だけが再生されるスピーチと共時的に動く。送信者の画像が使用されるとき、唇の動きの印象は、それぞれが１つ以上の音素と関連付けられた唇の形状を表す数多くの識別可能な形状の１つでその唇を備える人間の（例えばメッセージ送信者の）顔の画像である「口形索（ｖｉｓｅｍｅ）」として知られているものを表示することによって作り出される。もちろん音素は当技術分野で周知であり、ある言語の中で使用される個々の別々の音である。英語には約４４の音素があると推定されているが、おそらく２０ほどの口形索しかない。従って、複数の音素の１つを再生するときに同じ口形索を表示することがありうる。
【０００３】
動作中、スピーチシンセサイザなどのスピーチ再生装置は音素のシーケンスに対応する音響波形を出力し、同時に表示手段がユーザに対して特定時に再生された特定の音素と関連付けられた口形索を表示する。従って、ユーザは、唇が再生されるスピーチと共時的に動くように見える送信者の画像の錯視(illusion)を得る。ここでは口形索は送信者の二次元の画像であることに留意すべきである。
【０００４】
前述されたように従来の技術において知られている代替方法は、全身のアバター、または送信者に似るように形作られ、テクスチャリングされた（textured）送信者の頭部の少なくとも三次元バーチャルモデルのどちらかを作ることである。そのとき頭部モデルの唇は再生されるスピーチと共時的に動作するよう制御することが可能で、その結果モデルの唇は特定のときに再生される特定の音素のための適切な形状を推定する。しかしながら、このようなシステムは、難しい画像処理または侵襲(invasive)検出により作り直されるバーチャルワイヤフレームを使用する複雑な頭部モデリングを含み、静止画像が指定されたモデルに正確に適合されるプロセスを必要とする。従って、例えば英国有限会社番号第０３５６０７４５号のＡｖａｔａｒ−Ｍｅ社によって提供されているブースなどの専門アバター作成ブースにおいて、モデルが作成される人物の侵襲検出または走査を経験せずに頭部モデルを再現することは、依然として困難である。さらにいったん３Ｄモデルが得られると、ユーザに話しかけるモデルの錯視を達成するために必要となる計算は高く、現在のところ携帯電話、パーソナルデジタルアシスタント等の移動装置での実現には適していない。
【０００５】
再生されるスピーチと共時的に二次元口形索のシーケンスを表示する方法である前述した方法の第１の方法は、前述した方法の第２の方法と同じ計算強度問題を被らないが、表示される画像が、それらが停滞しており、自動的であり、生きているように見えないという点で視聴者にとってほとんどロボット的に見えるという問題を抱えている。これは、視聴者に明らかな唯一の動きが、再生されている現在の音素に対応した適切な口形索形状を作成するための唇の動きであるためである。しかしながら、このような動きは話をしている人間の自然な動きには一致していない。大部分の人間が話をしているのと同時に非常に小さな頭の動きもしている（ＩＳＢＮ  １９０２９５６２５６、ＡＩＳＢ２００２、社会的な相互作用のための表現特徴の動画化（Ａｎｉｍａｔｉｎｇ  Ｅｘｐｒｅｓｓｉｖｅ  Ｃｈａｒａｃｔｅｒｓ  ｆｏｒ  Ｓｏｃｉａｌ  Ｉｎｔｅｒａｃｔｉｏｎｓ）に関するシンポジウムの議事録、Ｍ  Ｇｉｌｌｉｅｓ、Ｎ  Ｄｏｄｇｅｓｏｎ及びＤ  Ｂａｌｌｉｎの「自律性二次凝視（Ａｕｔｏｎｏｍｏｕｓ  ｓｅｃｏｎｄａｒｙ  ｇａｚｅ  ｂｅｈａｖｉｏｕｒ）」を参照する）ことが観察されているが、このような頭部の動きを人工的に再現することは困難であるからである。観察される人間の行動に従ってモデルをわずかに動かすための前述した方法の第２の方法（つまり、３Ｄアバターモデルの方法）を修正することは可能であろうが、もちろんこのような動きはすでに説明したのと同じ高い計算強度という問題をもたらす。従って、この問題を回避するためには、観察される動作を再現するために前述した方法の第１の方法（つまり、二次元口形索方法）を修正できると有利であろう。
【発明の開示】
【０００６】
本発明は、次々と表示されるときに、話している間に観察される人間の頭部の小さな動きを再生する処理された画像を生成するために、二次元口形索画像(viseme images)を処理できる画像処理方法とシステムを提供することにより前記問題に対処する。画像処理は、好ましくは仮想空間内に提供される３Ｄ仮想形状である３Ｄ形状の表面上に処理される頭部画像をテクスチャリングし、次に観察される人間の頭部の動きに似せるために該形状をわずかに動かすことにより概念的に達成される。いったん形状がわずかに動かされると、形状の表面からオリジナルの画像位置への画像の投影が取られ、その結果アスペクト比がわずかに変化した人間の頭部の画像である第２の処理された画像が生じる。口形索画像のシーケンスが次に該方法により処理され、結果として生じる処理された画像が以後順番にユーザに表示されると、話している間の人間の頭部の観察された無作為な動きがシミュレーションされる結果となる。
【０００７】
しかしながら、本発明が人間の頭部の小さな動きをシミュレーションすることの導入部分で説明される問題に関連して開発され、主にここに説明されている一方で、この結果を達成する画像処理方法とシステムがこのただ一つの応用例に限定されず、例えばテレビ特殊効果業界、コンピュータモデリングとマッピング応用、あるいは二次元画像が処理される必要がある他の分野などのさらに幅広い分野で用途が見つかる可能性があることに留意する必要がある。
【０００８】
従って、本発明の第１の態様に従って前記を鑑みて、  
ａ）三次元の形状の少なくとも１つの表面を、その画像位置と向きから前記少なくとも１つの表面の上に第１の画像の投影でテクスチャリングする工程と、  
ｂ）互に関連して形状及び／または画像位置の一方または両方を動かす工程と、  
ｃ）形状のテクスチャリングされた表面を画像位置に投影し、該位置で、かつ前記第１の画像と同じ向きで第２の画像を取得する工程と、  
を含む画像処理方法が提供される。
【０００９】
本発明は、画像内で表示される対象の三次元アスペクト変化を再生する効果的な画像処理動作をシミュレーションできるという優位点を提供する。入力と出力の両方ともが二次元画像であり、従って本方法を具現化するアルゴリズムの計算強度が削減されるという追加の優位点がある。
【００１０】
好ましくは、第１の画像は第１の画像のシーケンスの一部を形成し、該方法は前記シーケンスの中のそれぞれの第１の画像に工程（ａ）、（ｂ）、（ｃ）を反復し、第２の画像の対応するシーケンスを取得することを含む。従って、本発明は同じ処理を「動画」シーケンスに適用できるようにするために順番に画像のシーケンスに適用できる。
【００１１】
特に従来の技術の問題に対処するために、第１の画像と第２の画像のそれぞれのシーケンスは、好ましくはそれぞれ話をしている人間の頭部の動画化されたシーケンスを形成する。
【００１２】
好ましくは、移動する工程は、形状及び／または画像位置を無作為に動かすことをさらに備える。これは、画像が人間の頭部の画像であるときに、本発明の好適実施形態が再現しようと試みる観察される人間の動きがさらに正確に再生されるという優位点を提供する。
【００１３】
好ましくは、該動きは、三次元形状を、その１つ以上の軸の回りで回転させることを含む。これは、画像が人間の頭部の画像であるときに、形状による動きが１対の肩に付けられる人間の頭部の可能な動きをシミュレーションするという優位点を提供する。
【００１４】
第２の態様から、本発明は、さらに  
処理される第１の画像を受け取るための画像受信手段と、  
画像処理手段と、  
第２の処理された画像を出力するための画像出力手段と、  
を含み、  
画像処理手段が、  
三次元形状をモデリングするように構成された形状モデリング手段を、  
さらに含み、  
ａ）三次元形状の少なくとも１つの表面を、その画像位置と向きから前記少なくとも１つの表面の上への第１の画像の投影でテクスチャリングし、  
ｂ）互いに関連して形状及び／または画像位置の一方または両方を移動し、  
ｃ）前記第１の画像と同じ位置で及び同じ向きで第２の画像を取得するために、画像位置に形状のテクスチャリングされた表面を投影するようにさらに構成された、画像処理システムを提供する。
【００１５】
第２の態様は第１の態様に関して前述したのと同じ追加の特徴及び優位点を持っている。
【００１６】
第３の態様から、コンピュータで実行されるときに、それがコンピュータに本発明の第１の態様の方法を実行させるように構成されたコンピュータプログラムも提供される。
【００１７】
第４の態様から、第３の態様に従ってコンピュータプログラムを記憶するコンピュータ読取可能記憶媒体がさらに提供される。好ましくは、コンピュータ読取可能記憶媒体は例えばハードディスク、ポータブルディスク、ＣＤ  Ｒｏｍ、ＤＶＤ、ＲＡＭ、ＲＯＭ、プログラマブルＲＯＭ、テープ等の磁気、光、光磁気、ソリッドステート、または当技術分野で既知の他の記憶媒体であってよい。前記に示したコンピュータ読取可能記憶媒体のリストが網羅的ではなく、任意の既知のコンピュータ読取可能記憶媒体で足りることがあることに留意する必要がある。
【００１８】
本発明の追加の特徴及び優位点は添付請求項で見出すことができる。
【００１９】
本発明の追加の特徴及び優位点は、例証としてのみ提示される、類似する参照番号が類似するパーツを指すその実施形態の以下の説明から明らかになるであろう。
【発明を実施するための最良の形態】
【００２０】
本発明の第１の実施形態を表す基本動作概念は、ここでは図７に関して説明する。より詳細且つ実践的な実施形態は後に説明する。
【００２１】
図６と図７に関して、本発明の第１の実施形態は、第２の処理済みの画像７２を提供するために、第１の画像６２処理に備える画像処理方法とシステムを提供する。概念的に、本発明により実行される画像処理は図６と図７に図解され、以下のように説明できる。
【００２２】
図６では、処理対象の第１の画像である画像６２は、このケースでは円柱６０である三次元形状に関して特定の位置と向きで示される。該円柱６０は仮想空間内に示される三次元仮想形状であり、画像は仮想空間内に位置する特定の位置と向きで示される。実施形態においては、画像は、画像の平面が円柱の軸に平行となるように円柱６０に関して位置して提供される。画像の向きは、図示されるように画像の「上と下」軸も円柱６０の軸に平行になるようであることがさらに分かるであろう。円柱６０には曲線状の外側サービス（ｏｕｔｅｒ  ｓｅｒｖｉｃｅ）６４が備えられている。
【００２３】
動作中、処理の第１の工程として画像６２は、画像位置から表面６４の上に画像６２を投影することにより円柱の表面６４の上に「テクスチャリングされる(textured)」。投影を実行する際には、画像向きが維持されるが、外面６４に適用されるときに画像アスペクト比が円柱の表面の曲がる性質のためにわずかに変化することが分かるであろう。「テクスチャリングする」とは、個々のピクセル輝度値とクロミナンス値が画像の円柱上への投影に従って円柱６０の表面６４に適用され、その結果、あたかも表面６４に画像６２の投影が「印刷」されているかのように見えることを意味する。表面６４に画像６２の投影でテクスチャリングすることは、事実上それぞれのピクセル輝度値とクロミナンス値を表面６４に結合し、その結果画像がそこに貼り付けられているように見えることを留意することが重要である。従って、投影及びテクスチャリングの後、表面６４は画像６２の投影で固定的にテクスチャリングされ、その結果たとえ円柱６０がどのように移動しても、表面６４上での画像のテクスチャリングもそれとともに移動する。
【００２４】
投影がそこに結合されるように画像６２の投影で表面６４をテクスチャリングした後、画像処理方法の次の工程は、図７に示すように、円柱６０がわずかに、この場合ではその軸の回りを一回転することにより第２の位置６０’に移動することである。画像６２の表面６４上への投影は、それがそこに結合されるようにその上でテクスチャリングされるため、表面６４上でテクスチャリングされた画像も図７に示されるように第２の位置６４’まで円柱とともに回転する。円柱６０の第２の位置６０’への移動は所望される効果を得るために必要な任意の動きであってよい。所望される効果が、画像を試し、処理し、その中に含まれる頭部の画像にある程度の無作為な動きを与えることである本実施形態においては、該動きは、好ましくは、どちらかの方向での１０度未満の、及び好ましくは１度以下の円柱の軸の回りの回転である。該回転は軸の回りの右回りまたは左回りどちらかの方向であってよい。
【００２５】
本発明の実施形態の中では、形状、つまりこのケースでは円柱６０の動きは、処理されるそれぞれの画像に関して好ましくは無作為に選ばれる。すなわち、無作為な動きは処理されるそれぞれの画像に関して該形状に適用される。前述したように、形状が円柱であり、画像が頭部の画像である場合には、好ましくは形状の動きはどちらかの方向での１０度以下であるが、好ましくは１度以下のその軸の回りでの回転であり、回転量及び方向はこれらの制限内で無作為に選ばれる。
【００２６】
いったん形状が移動すると、本発明の実施形態の画像処理方法の最後の工程は、テクスチャリングされた表面６４’に結び付けられたピクセル輝度値とクロミナンス値の投影を、表面から第１の画像６２の相対的な空間内の位置に戻すことである。形状が移動した場合、画像のアスペクト比の変化を生じさせる上での該移動の効果が達成されるためには、表面から第１の画像のオリジナルの位置に投影を戻すことが必要である。テクスチャリングされた表面が実質的にそれに直交する方向で単に投影されただけである場合には、結果として生じる画像は第１の画像６２に同一となるであろう。しかしながら、テクスチャリングされた表面６４’の位置からオリジナルの画像位置への同じ向きでの投影を実行することにより、第１の画像位置に投影されるようなピクセル輝度値及びクロミナンス値から形成される第２の処理済みの画像７２は、第１の画像６２と同じ位置と向きではあるが、円柱６０の移動のためのアスペクト変化を表すためにわずかに処理されたその内容で取得される。
【００２７】
画像のシーケンスを処理するためには、画像ごとに別々に前述したのと同じ手順に従う。このケースでは円柱６０である形状に適用される移動は好ましくは無作為に選ばれ、形状が円柱である場合には好ましくは約１度以下の主軸の回りでの回転である。各画像でテクスチャリングされるときの形状のこのような移動は、話をしているときの人間の頭部の自然な動きをシミュレーションしている。
【００２８】
代わりに、形状の移動は、無作為であるというよりむしろ、移動は結果として生じる処理された画像７２と同時に再生されなければならないスピーチの中のエネルギーの基準にリンクされてよい。例えば、スピーチの中のエネルギーが大きい（つまり、スピーチが大音量である）場合、形状の移動は、スピーチの中のエネルギーが相対的に低い場合より大きくなる可能性がある。これは、再生されるスピーチがより大きな音量であるときに画像の中に提示される頭部が大きく移動するという効果を示すであろう。
【００２９】
移動を制御するための他の構成も提供されてよい。エネルギーは一方向であるが、別の手法は、移動がスピーチの中に含まれる周波数に従って決定されるように波形分析を介して形状の移動を制御することである。一例として、スピーチ波形はその周波数を決定するためにフーリエ分析を受け、形状の移動は検出される周波数に応じて制御される。従って、形状の移動は、高い方の周波数よりスピーチの低い方の周波数により多くのエネルギーがある又はその逆の場合に、形状をさらに多く移動するように制御できる。
【００３０】
別の代替実施形態においては、移動の制御は単に同時に再生される音と同時に決定されるのではなく、代わりに形状は音再生が発生する前と後の両方に移動してよい。この例で、誰かが叫んだり大きな声で速く話した場合（つまり怒る場合）、形状は左右に素早く最大角度（例えば−８度から＋８度）まで移動可能であり、その場合いったん大音量の速いスピーチが終了すると、形状の左右の移動は徐々に減少し、遅くなって、その自然な状態に戻る。従って、形状の移動はスピーチが停止した後でも小さくなりながら発生し続けるであろう。
【００３１】
形状に関して、前述した実施形態においては円柱６０を使用したが、円柱が使用されることは必須ではなく、図５は、本発明とともに使用してよい多様な形状を描いている。さらに詳細には、図５ａは形状として使用されてよい球を描いている。このようなケースでは、球は、単にその極軸の回りではなく任意の方向で回転してよい。そのアクセス（ａｃｃｅｓｓ）の回りでの複数の回転が連続して適用され、さらに複雑な移動を達成することも可能である。
【００３２】
図５ｂは円柱を示し、好ましくはそれに適用される移動は、前述したように長軸の回りでの回転である。しかしながら、他の回転も可能であってよい。
【００３３】
図５ｃは楕円体を描いている。図５ｃの楕円体に適用されてよい移動は図５ａに示される球に適用されてよい移動、つまり極軸の回りでの回転に類似しているが、その他の軸の回りでもある。同様に、図５ｄは卵形の形状を示している。図５ｄの形状は人間の頭部の形状を最も厳密に表しているため、その使用において有利な効果を生じさせてよい。図５ｄの形状に適用されてよい移動は、球または楕円体に適用されてよい移動と同じ、つまりその任意の軸の回りでの回転であるが、好ましくは極軸の回りの回転である。
【００３４】
図５ｅは、「二重筒」と呼ぶ形状、つまり上面と下面が第１の円柱の方向に直交する第２の円柱の断面として図示される円柱を示している。任意の移動がこの形状に適用されてよく、特にその任意の軸の回りでの任意の回転が適用されてよい。
【００３５】
また、テクスチャリングされた形状が本当に移動されることは必須ではなく、必須であるのは、テクスチャリングされた表面の投影が行われなければならない画像位置、つまり第２の処理された画像が取得される画像位置に関して形状の相対的な移動があるという点であることに留意せよ。従って、別の実施形態では、形状は同じ位置に保たれ、テクスチャリングされた表面の投影がなされる画像位置は形状の回りで移動する。追加の実施形態においては、画像位置と形状の両方とも移動してよく、それぞれの移動はその間に相対的な移動を示すために異なっている。前述したどのケースにおいても、結果的にアスペクト比変化の効果を生じさせるのは形状と画像位置の相対的な移動であり、従って重要であるのは相対的な移動である。
【００３６】
画像位置が移動すると、画像に適用されてよい移動は、例えば形状の１つ以上の軸の回りの回転などの（画像のではないことに留意せよ）形状について前述した移動の当然の結果である。
【００３７】
その基本的な動作概念を描く本発明の第１の実施形態を説明したので、今度は、送達されなければならないテキストメッセージを話している送信者の画像の実物そっくりの再生を可能とするために携帯電話の中で本発明を具現化するさらに詳細な好適実施形態を説明する。
【００３８】
図１４は、本発明の第２の実施形態による携帯電話を描いている。さらに詳細には、それ自体ディスプレイ画面１０２と、ユーザによるデータ入力を可能にするキーパッド１０４を備える携帯電話１００が提供される。音声変換器である音声再生手段１０８がさらに具備される。テキストメッセージが携帯電話１００で受信されるとき、テキストメッセージの送信者の画像１０６は画面１０２に表示され、画像は受信されたテキストメッセージを一音一音はっきりと発音するために音声再生手段１０８により再生されている音素に一致するために選ばれる口形索のシーケンスである。本発明の第２の実施形態に従って、画像１０６は、話をしているときの人間の観察される実物そっくりの動きを画像で与えるために処理された。この効果を達成するための画像１０６の処理は次に説明される。
【００３９】
図１は、携帯電話１００の中に位置する画像処理を実行するために必要とされる必要な要素のシステムブロック図を示している。さらに詳細には、携帯電話１００の中には、例えばショートメッセージシステム（ＳＭＳ）プロトコルに従ってテキストメッセージを受信し、それが記憶されるテキストバッファ１２に受信されたテキストメッセージのテキストを送達するように構成されるテキストメッセージ受信手段１０が設けられている。バッファ１２内に記憶されるメッセージのテキストは、話される出力にテキストを変換するために必要とされるであろう特定の音素及びその再生の順序を決定するためにテキストを解析するために動作するパーサ１４によって読み取られる。従って、パーサ１４は入力としてテキストバッファ１２からテキストを取り出し、音響的にテキストを解析し、制御手段１６に対しテキストに一致する音素のシーケンスを出力する。テキストを解析し、音素シーケンスを生じさせるときにパーサにより実行される正確な工程は当技術分野において、特にＢＴローリエイト（ＢＴ  Ｌａｕｒｅａｔｅ）システムなどの従来の技術のテキスト対スピーチシステムに関して既知である。制御手段１６に渡される音素の表現はＳＡＭＰＡ等のようなどんな標準音素表現であってもよい。
【００４０】
携帯電話１００の中には、音素の音表現が例えば．ＷＡＶファイルとして記憶される波形の形で記憶される音素記憶装置２１０に記憶領域を与える記憶媒体２０も設けられている。記憶媒体２０は、さらにディスプレイ１０２上での表示に適切な口形索のシーケンスを記憶する口形索記憶装置２０８も提供する。前述したように、口形索(viseme)は特定の唇の形が１つ以上の音素と関連付けられた人間の顔の画像である。
【００４１】
記憶媒体２０の中には、図５に示されているような球、円柱、楕円体、卵形、または二重筒などの幾何学的な形状のどれかに相当する形状データを記憶する形状記憶装置２０６も設けられている。特定の形状を表すデータは、好ましくは形状をともに構成する多数のポリゴンの頂点の三次元仮想空間内で座標の形を取っている。形状の表面はさらに、ポリゴンを形成するために頂点をどのようにして連結するのかを指定する、頂点連結情報をさらに備える形状データにより画定される。頂点座標情報と頂点連結情報のセットは、形状記憶装置２０６内の可能な形状ごとに記憶される。
【００４２】
また記憶媒体２０の中に記憶されているのは、制御手段１６が、多様な他の要素を制御し、本発明を実行するために制御手段の動作を明確に制御する動画プログラム２０４だけではなく多様な他のシステム要素も制御し、通信できるようにするために必要な機能性とプロトコルを提供するオペレーティングシステムプログラム２０２である。好ましくは、携帯電話１００の中に設けられる記憶媒体２０は、ソリッドステート記憶媒体、ＦＬＡＳＨマルチメディアカード等である。
【００４３】
また携帯電話１００の中に設けられているのは、動画プログラム２０４内に含まれている命令に従って制御手段１６によって制御され、そこから口形索画像を取得するために口形索記憶装置２０８と、そこから３Ｄ幾何学形状を表すデータを取得するための形状記憶装置２０６の両方にアクセスするようにさらに構成されている画像プロセッサ１８である。画像プロセッサ１８は、その中の形状をモデリングするために３Ｄ形状データを読み取ることができる。画像プロセッサ１８は、その上での表示のためにディスプレイ手段１０２に処理された画像を出力するように構成されている。
【００４４】
また移動電話１００の中に設けられているのは、音素記憶装置２１０から音素波形を受け取り、及び受信された順序で音素波形を再生し、それにより表現されるスピーチを再生するように構成される音声再生手段１０８である。
【００４５】
音素記憶装置２１０、口形索記憶装置２０８、及び画像プロセッサ１８は、すべて、その間の同期を維持する制御手段１６の制御を受けている。さらに詳細には、制御手段１６は受信されたテキストメッセージをスピーチとして再生するために音素を音声再生手段１０８に順番に出力するために音素記憶装置２１０を制御する。同様に、制御手段１６は、口形索記憶装置２０８に、音素記憶装置２１０から出力される再生対象の特定の音素に一致する正しい口形索画像を画像プロセッサ１８に対して出力させるために口形索記憶装置２０８を制御する。画像プロセッサ１８は、口形索記憶装置から受信される画像を処理し、処理された画像をディスプレイ手段１０２に出力する。制御手段により中央部で音素記憶措置、口形索記憶装置、及び画像プロセッサ１８の制御を維持することにより、画像プロセッサ１８から出力され、ディスプレイ手段１０２で表示されている処理された口形索と、音声再生手段１０８による再生のために音素記憶装置２１０から出力される音素波形との間で同期を維持することが可能であり、その結果、適切な処理された口形索は、対応する音素波形が音声再生手段１０８により再生されているのと同時にディスプレイ手段１０２上に表示される。
【００４６】
図２は、画像プロセッサ１８により実行されるシステム機能を描いている。さらに詳細には、画像プロセッサ１８の中には制御手段１６から制御信号を受信するコントローラ８が設けられている。図２の点線で示されている制御ラインは、コントローラ８からテクスチャリング手段２、形状モデリング手段４、及びプロジェクタ手段６のそれぞれに提供される。テクスチャリング手段２は、その入力で口形索記憶装置２０８から出力される画像を表す信号を受信する。形状モデリング手段４は、その入力で形状記憶装置２０６から三次元形状を表すデータを受信する。形状モデリング手段４は円柱、球、楕円体、卵形等のデータによって表現される形状を実質的にモデリングするために受信された描写的なデータを解釈することができる。
【００４７】
画像プロセッサ１８内にさらに設けられているのは、形状モデリング手段から情報を受け取り、形状のテクスチャリングされた表面の画像位置への仮想投影を実行し、第２の処理された画像を取得するために動作するプロジェクタ手段６である。従って、プロジェクタ手段６はプロセッサ１８からの処理された画像を出力する。
【００４８】
本発明による携帯電話１００の概念的な内部構造を説明したので、今度は図３と図４に関して多様な要素の動作を説明する。さらに詳細には、図３は全体的なシステムの動作のフロー図を表しているが、図４は本発明に従って画像プロセッサ１８により明確に実行される工程のフロー図である。
【００４９】
図３と図４に関して、ステップ３．２で、テキストメッセージはテキストメッセージ受信機手段１０により受信される。これに続いて、ステップ３．４では、テキストメッセージはテキストバッファ１２内に記憶され、次にステップ３．６ではパーサ１４がテキストバッファ１２から必要に応じてテキストメッセージを読み取るために動作する。パーサ１４は、ステップ３．８でその音素表現を取得するためにメッセージのテキストを解析する。前述したように、音素表現を取得するためのテキストの解析は当技術分野で既知である。
【００５０】
パーサによって取得される音素表現は制御手段１６に渡され、制御手段はステップ３．１０でパーサから受信されるシーケンスで第１の音素の音響波形を読み取るために音素記憶装置を制御する。実質的には同時に、ステップ３．１２では制御手段が口形索記憶装置２０８から音素記憶装置２１０から現在出力されている音素に対応する口形索を出力するために口形索記憶装置を制御する。音素記憶装置２１０から出力される音素は音声再生手段１０８に渡されるが、口形索記憶装置２０８から出力される口形索は画像プロセッサ１８に渡される。
【００５１】
ステップ３．１４では、画像プロセッサ１８が、本発明の画像処理方法をそれに適用することにより画像を「動画化する」ために受信された口形索を本発明に従って処理する。これにより、口形索で表現される頭部がわずかに動いたかのように口形索に効果が生じる。
【００５２】
画像プロセッサ１８における入力された口形索の処理に続き、ステップ３．１６で処理された口形索がそれが次にユーザに表示されるディスプレイ手段１０２に出力される。実質的に同時に、ステップ３．１８では音声再生手段１０８が現在の音素の音響波形を音素記憶装置２１０から受信されたとおりに再生する。
【００５３】
いったん現在の処理された口形索が表示され、現在の音素が再生されると、ステップ３．２０でパーサ１４によって決定されるシーケンス内のすべての音素が再生されたかどうかを判断するための評価が行われる。評価が、すべての音素が再生されたと判断する場合には、手順は終了する。対照的に、再生されなければならない音素、及び表示されなければならない関連した口形索が残っていると判断されると、ステップ３．２２で制御手段１６はシーケンスの中の次の音素に移動し、処理がステップ３．１０に戻る。ステップ３．１０、ステップ３．１２、ステップ３．１４、ステップ３．１６、ステップ３．１８、ステップ３．２０及びステップ３．２２の処理工程は、次に、パーサ１４から制御手段１６に出力されるすべての音素が再生され、関連した口形索が処理され、ユーザに表示されるまでループで反復される。
【００５４】
システムの全体的な動作を説明したので、図４に関してステップ３．１４を実行するときに画像プロセッサ１８により実行される特定の工程をここで説明する。
【００５５】
ステップ４．２では、画像プロセッサ１８が制御手段１６の制御下で口形索記憶装置２０８から出力される口形索を受信する。これに続き、ステップ４．４で画像プロセッサ１８は形状記憶装置２０６にアクセスし、受信された画像が適用される３Ｄ形状を表すデータを検索する。画像プロセッサ１８に設けられる形状モデリング手段４は形状記憶装置からデータを受信し、該データを使用して、仮想空間内の三次元幾何学形状として形状をモデリングする。次にステップ４．６でテクスチャリング手段が動作し、受信した画像の投影で形状の表面をテクスチャリングする。テクスチャリングとは、形状の表面に投影されるとおりの画像ピクセルの輝度値とクロミナンス値が表面に効果的に結合され、その結果、前述したように表面が画像投影で事実上「塗られる」ことを意味する。
【００５６】
形状のテクスチャリングの後、ステップ４．８で形状モデリング手段４は形状の移動を実行し、画像位置に関して移動した位置でテクスチャリングされた形状をモデリングする。第１の実施形態に関して前述したように、移動は形状の任意の軸の回りの回転であってよく、好適実施形態においては形状は円柱であり、移動は１０度以下の、及び好ましくはどちらかの方向での１度以下のその主要なアクセス（ａｃｃｅｓｓ）の回りでの回転である。好ましくはテクスチャリングされた形状に適用される正確な移動は、プロセスの反復のたびに無作為に選ばれ、その結果それぞれの処理された画像はそれに適用される異なる形状の移動を得た。
【００５７】
代替実施形態においては、前述したように、形状の移動は処理された口形索で再生される音素内のスピーチエネルギーに応じて制御されてよい。
【００５８】
さらに、他の代替実施形態においては、形状、又は前述したように形状と画像位置相対移動の両方の組み合わせに関連して移動するのは画像位置である。前述した実施形態においてのように、重要であるのは処理された画像の形状と画像位置の間の相対的な移動であり、それぞれの絶対的な移動ではない。
【００５９】
ステップ４．８に続き、つまり移動した位置でテクスチャリングされた形状がモデリングされた後に、ステップ４．１０でプロジェクタ手段６は、形状モデリング手段４から移動したテクスチャリング形状の情報を取得し、形状のテクスチャリングされた表面の投影をオリジナルの受信された画像の仮想空間内の位置にもたらすよう動作する。オリジナルの受信された画像の位置に配置されるこのような投影により取得される（投影されたピクセル輝度値とクロミナンス値を備える）画像は、次にステップ４．１２で、プロジェクタ手段によってディスプレイ手段１０２への画像プロセッサ１８からの出力として出力される。ディスプレイ手段１０２は、前述したようにユーザに処理された画像を表示する。
【００６０】
従って、前記に従って、本発明が、画像を処理し、三次元形状に適用される画像のおかげである特定の「アスペクト比変化」効果を生じさせ、従って形状と画像位置の間で相対的な移動が達成され、適用される画像の投影が画像位置にもたらされ第２の画像を取得できるようにする画像処理方法及びシステムを提供することが理解されなければならない。画像が口形索である場合には、結果として生じる画像の中でアスペクト比変化効果を達成するための画像位置に関する形状の相対的な移動は、話をしているときの本物の人間の観察される小さな頭部の移動をシミュレーションする。従って、過去の口形索画像のぎこちない精彩を欠いた性質は緩和され、全体的な効果はより実物にそっくりの画像である。
【００６１】
本発明の好ましい実施形態は人間の頭部の画像を使用する一方で、本発明は人間の頭部の画像を処理することに限定されず、動物の頭部、空想の頭部等の画像も使用されてよいことに留意すべきである。特に「空想の頭部」とは、例えばＢＢＣテレビで放映されているようなテレタビー（Ｔｅｌｅｔｕｂｂｉｅｓ）（ＴＭ）の空想の頭部などの空想上の生き物の頭部、またはスターウォーズ（Ｓｔａｒ  Ｗａｒｓ）（ＴＭ）等のファンタジー映画のキャラクタの頭部の画像を意味する。さらに、本発明は（人間であろうと、動物であろうと、空想であろうと、あるいはそれ以外であろうと）特に顔の画像を処理するために開発されてきたが、その使用は顔の画像の処理に限定されず、前述され、本発明により実現されるようにアスペクト比の変化を必要とするどんな画像もそれにより処理されてよい。
【００６２】
前述した実施形態の中では、画像が形状の上に投影され、次に形状が回転され、次に投影が形状からオリジナルの画像位置に戻されるという事実のおかげで概念的に本発明を説明してきた。本発明の好ましい実施においては、すでに説明したような概念が維持されてよい一方で、特に当技術分野で既知であるような専門家の三次元仮想現実プログラミング言語を使用する場合、同じ画像処理効果が純粋に数学的なアルゴリズムを介して取得できることも理解されなければならない。すなわち、形状にテクスチャリングされる画像は、単に既知の座標系内の離散座標に位置する点のアレイにすぎないと見なすことができ、好適実施形態においてのようにポリゴンで表現される代わりに、形状は単に既知の座標系内で適切な方程式により表現されてよい。結果として生じる処理された画像は幾何学的な形状のために方程式を使用し、形状方程式を使用して画像座標に適切な変換を適用して数学的に取得することができる。このような実施は、それが実際には好適実施形態という点ですでに説明したように本発明の概念を実現するにすぎないという点で添付請求項の対象となることが明らかに意図されている。従って、完全を期すために、数学的な用語で、基本的な投影相対移動及びすでに説明した第２の投影工程を表す本発明による画像処理方法の数学的な分析が後に続く。本発明の数学的な分析は、図８から図１３に関して説明する。
【００６３】
図８は、本発明の画像オブジェクトと形状オブジェクトが存在する三次元仮想空間の斜視図を示している。特に図８は、処理される画像のそれぞれの位置決めと向き及び仮想空間内の仮想形状モデルを描いている。
【００６４】
図９は、直接的に正面での、つまり画像の平面に直交する視点から処理される画像を描いている。逆に、図１０は円柱の軸の方向で上から見られる図を示している。このケースでは、図は画像平面に沿っており、その結果画像は（それが二次元であるために）この視点からはもはや明らかではない。図１１、図１２及び図１３は同様な図を示している。
【００６５】
形状が円柱である場合には、例えばＡＢのレベルで円柱の表面の任意の点で円のための計算を行うことが必要なだけである。その結果生じる式は、この方向での断面は変化しないために、円柱の垂直の寸法の一番上までまたは一番下まで同じとなるであろう。
【００６６】
最初に、円柱の上にテクスチャリングされた頭部の輝度、すなわちＬｃを計算する。唯一の要件は、円柱が正確に前方を向いているときにはそれがオリジナルの静止画像の輝度、例えばＬｓと同一に見えるように画像上に投影しなければならないという点である。
【００６７】
図１１に関しては、  
【数１】
2005527053.tif 000003
【００６８】
を画面の中の関心のある点によって範囲を定められる角度とする。  
【数２】
2005527053.tif 000004
【００６９】
は円柱に「固定される」。  
ｘ＝ｒｓｉｎθであるので、  
【数３】
2005527053.tif 000005
【数４】
2005527053.tif 000006
【００７０】
（方程式１）
次に、図１２に関して、円柱が角度αで回転するときに画面上に表示される輝度（ＬＤ）を計算する。
【００７１】
ここでは、ＬＣＲを（αでの）回転した円柱の輝度とし、次に  
ＬＤ（ｘ）＝ＬＣＲ（ｒｓｉｎα）  （図１２を参照すること）、ただし  
【数５】
2005527053.tif 000007
【００７２】
（図１３を参照すること）
この場合、それは変位の角度  
【数６】
2005527053.tif 000008
【００７３】
が加えられた回転φの角度であるため  
【数７】
2005527053.tif 000009
【００７４】
である。つまり、  
【数８】
2005527053.tif 000010
【００７５】
変位の角度は  
【数９】
2005527053.tif 000011
【００７６】
である。  
回転の角度はφである。
【００７７】
ここでは、方程式１から、  
【数１０】
2005527053.tif 000012
【００７８】
しかし、ｒｓｉｎα＝ｘであり、  
従って、  
【数１１】
2005527053.tif 000013
【００７９】
このようにして、前記から、本発明が、好適実施形態に関して説明されたように概念的に、あるいは前記に示したように純粋に数学的のいずれかで具現化できること、及び２つが相互に排他的ではないことが分かるであろう。どちらのケースでも「アスペクト比変化」を経た処理された画像を取得するという同じ効果が得られる。
【００８０】
さらに、本発明を実現し、本発明の実際の物理的な実施により同じ効果を達成することがかなり実行可能であるため、本発明は電子的な手段または他の処理手段による実施に限定されると解釈されるべきではない。従って、追加の実施形態においては、形状の表面上への投影を介して画像を表示するように構成された画像プロジェクタが設けられる。画像プロジェクタはスライドプロジェクタまたはデジタル光プロジェクタ等であってよい。例えばプラスチックまたはポリスチレンから作られ、好ましくは薄い色の三次元形状がさらに提供され、その表面上に画像の投影を受け取るために画像プロセッサに関連して配置される。デジタル、ビデオ、またはフィルムベース等であってよいカメラがさらに設けられ、形状表面上の画像の投影に焦点が当てられ、その画像を捕捉よう構成される。カメラは好ましくはプロジェクタに隣接して設けられるが、正確にプロジェクタと一緒に置かれるわけではなく、その結果カメラ光軸はプロジェクタの光軸に対して（好ましくは１０度以下の、及び好ましくは１度以下の）わずかな角度となる。カメラをこのように配置することにより、プロジェクタ、形状またはカメラのいずれも実際に移動する必要なく、形状に関連して画像位置の移動がシミュレーションされる。
【００８１】
このような構成の動作は簡単であり、前述した実施形態に類似している。すなわち、プロジェクタは、好ましくは口形索等である画像を形状の表面に投影するように動作し、それにより事実上表面を「テクスチャリング」する。形状の表面上に焦点が当てられているカメラは投影された画像の画像を捕捉し、プロジェクタの光軸に対してある角度をなしているカメラの光軸のおかげで本発明により提供される「アスペクト比変化」の効果を示している。カメラによって捕捉される画像は、次に処理済みの画像として出力される。
【００８２】
画像の連続が処理されるためには、互いに関連してカメラ及び／またはプロジェクタの位置が改変され、その結果、明らかに無作為なアスペクト比の変化がそれぞれの連続画像について観察される。
【００８３】
文脈が明らかに要求しない限り、記載及び請求項全体を通して単語「含む」、「含んでいる」等は排他的または網羅的な意味とは対照的に包含的に、すなわち、「含むが、限定されない」の意味で解釈されるべきである。
【図面の簡単な説明】
【００８４】
【図１】本発明による装置のブロックシステム図である。
【図２】図１の画像プロセッサのブロックシステム図である。
【図３】図１のシステムにより実行される工程を描くフロー図である。
【図４】図２の画像プロセッサによって実行される工程を示すフロー図である。
【図５】本発明の実施形態で使用されてよい多様な幾何学形状をワイヤフレームモデル形式で描く図である。
【図６】本発明の実施形態の背景にある動作概念を示す斜視図である。
【図７】本発明の背景にある基本動作概念も示す斜視図である。
【図８】本発明の動作の数学的な分析に備えるための斜視図である。
【図９】本発明の第１の画像の正面図である。
【図１０】図８の構成を平面図で表す図である。
【図１１】図８の構成を平面図で示すが、円柱の移動を示す図である。
【図１２】円柱の移動も示す図８の平面図である。
【図１３】図８の構成の平面図であり、特定の角度を通る円柱の移動も示す。
【図１４】本発明の実施形態の１つに従って提供される携帯電話の斜視図である。
【図１】
2005527053.tif 000014
【図２】
2005527053.tif 000015
【図３】
2005527053.tif 000016
【図４】
2005527053.tif 000017
【図５】
2005527053.tif 000018
【図６】
2005527053.tif 000019
【図７】
2005527053.tif 000020
【図８】
2005527053.tif 000021
【図９】
2005527053.tif 000022
【図１０】
2005527053.tif 000023
【図１１】
2005527053.tif 000024
【図１２】
2005527053.tif 000025
【図１３】
2005527053.tif 000026
【図１４】
2005527053.tif 000027
【国際調査報告】
2005527053.tif 000028
2005527053.tif 000029
2005527053.tif 000030