(57)【要約】【課題】顔面影像を設定し、動作エピソードを選択して、動作エピソードに適合した図形を生成しレクレーション効果を強化する表情影像を表示する方法を提供する。【解決手段】表情影像を表示する方法を提供するものであって、方法中、ユーザーにより入力される各顔面影像に表情タイプを設定し、ユーザーの動作に基づいて適合する動作エピソードが選択されるとともに、ユーザーの感情を表現するために、動作エピソードに対応するユーザーの顔面影像が動作エピソード中に挿入されて、レクレーション効果を強化し、また、表示された顔面影像の表情タイプを切り換えて、動作エピソードに適合させることができるため、本願発明を使用するための柔軟性および利便性を向上させることができる。【選択図】図６
2008083672.tif 000002
【特許請求の範囲】
【請求項１】
表情影像を表示する方法であって、
顔面影像を入力する段階と、
前記顔面影像に表情タイプを設定する段階と、
動作エピソードを選択する段階と、
前記動作エピソードにより求められる前記表情タイプに従って前記動作エピソードおよび対応する前記顔面影像を表示する段階とを具備することを特徴とする表情影像を表示する方法。
【請求項２】
前記顔面影像に前記表情タイプを設定した後に、
複数の顔面影像を入力する段階と、
各顔面影像に表情タイプを設定する段階とをさらに具備することを特徴とする請求項１記載の表情影像を表示する方法。
【請求項３】
前記顔面影像を入力するごとに、前記顔面影像を保存する段階をさらに具備することを特徴とする請求項１記載の表情影像を表示する方法。
【請求項４】
前記動作エピソードにより求められる前記表情タイプに従って前記動作エピソードおよび対応する前記顔面影像を表示する前記段階が、
前記動作エピソードにより求められる前記前記表情タイプに従って対応する前記顔面影像を選択する段階と、
前記動作エピソード中の前記顔面が存在する位置に顔面影像を挿入する段階と、
前記顔面影像を含む前記動作エピソードを表示する段階とを具備することを特徴とする請求項１記載の表情影像を表示する方法。
【請求項５】
前記動作エピソードにより求められる前記表情タイプに従って前記動作エピソードおよび対応する前記顔面影像を表示する前記段階が、前記顔面影像を回転およびスケーリングして、前記動作エピソード中の前記顔面影像を前記顔面の方向ならびに寸法に適合させる段階をさらに具備することを特徴とする請求項４記載の表情影像を表示する方法。
【請求項６】
前記動作エピソードの前記動作を動的に再生する段階と、
その時に再生される前記動作に従って前記顔面影像の方向および寸法を調整する段階とをさらに具備することを特徴とする請求項５記載の表情影像を表示する方法。
【請求項７】
前記動作エピソードにより求められる前記表情タイプに従って背景影像を表示する段階をさらに具備することを特徴とする請求項１記載の表情影像を表示する方法。
【請求項８】
前記表情タイプを切り換えて、表示される前記顔面影像を前記動作エピソードに適合させる段階をさらに具備することを特徴とする請求項７記載の表情影像を表示する方法。
【請求項９】
各前記動作エピソードが、キャラクターの動作姿勢・服装・身体・四肢・頭髪・顔面特徴のうち１つ又はその組み合わせを含むものであることを特徴とする請求項１記載の表情影像を表示する方法。
【請求項１０】
前記表情タイプが、平穏・苦痛・興奮・怒り・疲労のうち１つを含むものであることを特徴とする請求項１記載の表情影像を表示する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、影像を表示する方法に関し、特に、表情影像（expressional image）を表示する方法に関する。
【背景技術】
【０００２】
情報科学技術の進歩にともない、書類の編集・電子メールの送受信・テキストメッセージの伝送・テレビ電話の使用のいずれにおいても、コンピューターが現代生活中に不可欠なツールとなっている。しかしながら、人々がコンピューターに依存しているため、人々がコンピューターの使用に費やす平均的な時間は、年を追うごとに増大している。コンピューターで仕事をした後、コンピューターユーザーが心身をリラックスさせるために、ソフトウェア技術者たちは、レクレーション効果を提供するアプリケーションソフトウェアの開発に献身しており、コンピューターユーザーの仕事上のストレスを軽減させ、コンピューターを使用することの楽しさを増大させようとしている。
【０００３】
電子ペットは、その一例である。電子ペット（例えば、電子にわとり、電子犬または電子恐竜）の動作は、ユーザーにより移動されるカーソルの軌跡を検出すること、あるいはユーザーによりコンピュータースクリーン上で実行される動作によって変化するため、ユーザーの心情に反応するものとなる。ユーザーは、更に、定期的に餌をやること、相手をすること、または遊ぶことのような付加機能を使用することによって、電子ペットとの相互作用（interaction）を作り出すことができるので、レクレーション効果が達成される。
【０００４】
最近、影像捕捉ユニット（image capturing unit）と結合された同様の応用例が開発されており、それは捕捉した影像を分析してスクリーンに表示される対応する図形を変化させることができる。中華民国（台湾）特許公告番号第４５８４５１号は、影像駆動式コンピュータースクリーンデスクトップ装置を開示しており、影像信号捕捉ユニットによりビデオ映像を捕捉して、影像処理分析ユニットにより動作分析を行い、動作分析結果に従って表示される図形を調整する。図１は、従来の影像駆動式コンピュータースクリーンデスクトップシステムを示すブロック図である。図１において、装置は、コンピューターホスト１１０と、影像信号捕捉ユニット１２０と、影像データ前処理ユニット１３０と、形態および特徴分析ユニット１４０と、動作分析ユニット１５０と、図形および動画表示ユニット１６０とを含んでいる。
【０００５】
操作プロセスは、以下のステップを含んでいる。先ず、影像が影像信号捕捉ユニット１２０により捕捉され、ユーザーの影像および動作がビデオカードにより影像信号に変換されて、コンピューターホスト１１０に入力される。位置検出、背景干渉除去および影像品質改善のような前処理は、影像処理ソフトウェアを有する影像データ前処理ユニット１３０により上記影像に対して実行される。形態および特徴分析ユニット１４０は、特徴位置または特徴形状の移動状態に対して分析を行い、図形認識、特徴分割のような手段によって分析された動作部分を抽出する。動作分析ユニット１５０は、ユーザーの顔面が類似しているか否かに基づき、あるいは身体の他の部分に移動周波数に基づいて、変形およびシフト意味解読分析を実行する。最後に、図形および動画表示ユニット１６０がコンピュータースクリーンを駆動して、上記動作に基づきソフトウェアにより予め決定されたロジックセットを伴う図形変化を表示する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記から知ることができるように、ユーザーの動作を模倣することだけによってスクリーン上に表示された図形を変化させるものである。しかしながら、単なる動作の変化は、元の退屈な画像を少し生き生きとしたものにすることができるだけであり、ユーザーの顔面表情を的確に反映することができず、その効果は限られたものとなる。
【０００７】
そこで、本願発明の目的は、対応する表情タイプを有する入力顔面影像を設定して、動作エピソードが選択された後、表情を備え動作エピソードに適合した図形を生成し、レクレーション効果を強化する表情影像を表示する方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決し、所望の目的を達成するために、本願発明は、表情影像を表示する方法を提供する。先ず、顔面影像が入力され、表情タイプが設定される。動作エピソードが選択され、動作エピソードおよび対応する顔面影像が動作エピソードにより求められる表情タイプに従って表示される。
【０００９】
本願発明の好適な実施形態にかかる表情影像を表示する方法において、表情タイプを備える顔面影像が設定された後、複数の顔面影像が更に入力され、各顔面影像が表情タイプが設定される。顔面影像が入力されるごとに顔面影像が保存される。
【００１０】
本願発明の好適な実施形態にかかる表情影像を表示する方法において、動作エピソードおよび対応する顔面影像が動作エピソードにより求められる表情タイプに従って表示されるステップ中、対応する顔面影像が動作エピソードにより求められる表情タイプに従って選択され、動作エピソード中の顔面が存在する位置に顔面影像が挿入され、最後に顔面影像を含む動作エピソードが表示される。顔面影像が表示される時、顔面影像が更に回転およびスケーリングされ、顔面影像が動作エピソード中の顔面の方向ならびに寸法に適合させられる。更に、本願発明は、更に、動作エピソード中に複数の動作を企画する（plan）ことができ、動作を動態的に企画し、その時に表示された動作に基づいて動作が表示される間に顔面影像の方向および寸法が調整される。
【００１１】
本願発明の好適な実施形態にかかる表情影像を表示する方法中、顔面影像が動作エピソードにより求められる表情タイプに基づいて表示され、異なる表情タイプの顔面影像が切り換えられて表示され、動作エピソードに適合した顔面影像が表示される。
【００１２】
本願発明の好適な実施形態にかかる表情影像を表示する方法において、動作エピソードはキャラクターの動作姿勢・服装・身体・四肢・頭髪・顔面特徴のうち１つ又はその組み合わせを含み、表情タイプは平穏・苦痛・興奮・怒り・疲労のうち１つを含むものであるが、本願発明はこれらに限定されるものではない。
【００１３】
＜作用＞
本願発明は、ユーザーにより入力される各顔面影像に対して対応する表情タイプを設定し、ユーザーの動きに基づいて適合した動作エピソードを選択して、ユーザーの表情を反映させるために、動作エピソード中にユーザーの顔面影像を挿入し、レクレーション効果を強化する。また、表情タイプを切り換えることができるので、表示される顔面影像を動作エピソードに適合させることができ、使用において弾力性と利便性とを提供するものである。
【発明の効果】
【００１４】
本願発明にかかる表情影像を表示する方法は、少なくとも下記の利点を有する。
１．ユーザーは、多様な影像入力装置によって任意のキャラクターの影像を選択かつ入力することができるので、選択する影像の柔軟性が強化される。
２．複数の２次元顔面影像を入力するだけで異なる方向の３次元影像がシミュレーションされるとともに、キャラクターの表情が選択された動作エピソードと相まって生き生きと展開される。
３．表情影像がダイナミックな再生により展開されるとともに、異なる顔面影像が必要に応じて切り換えられるので、使用においてレクレーション効果が増大する。
【発明を実施するための最良の形態】
【００１５】
以下、本願発明を実施するための最良の形態を図面に基づいて説明する。
図２は、本願発明の好適な実施形態にかかる表情影像表示装置を示すブロック図である。図２において、この実施形態の表情影像表示装置２００は、ディスプレイユニット２４０を備えた任意の電子装置、例えば、パーソナルコンピューター、ノートブック型コンピューター、携帯電話、パーソナルデジタルアシスタント（Personal Digital Assistant = PDA）または別なタイプの電子装置であってもよいが、それらに限定されるものではない。表情影像表示装置２００は、さらに、入力ユニット２１０と、保存ユニット２２０と、影像処理ユニット２３０と、ディスプレイユニット２４０と、スイッチユニット２５０と（、動作分析ユニット２６０と）を含む。
【００１６】
入力ユニット２１０は、ユーザーにより入力される影像を捕捉または受信するために用いられる。保存ユニット２２０は、入力ユニット２１０により入力される影像および影像処理ユニット２３０により処理された映像を保存するために用いられ、保存ユニット２２０は、バッファーメモリーおよびそれと同等なものとすることができるが、この実施形態は、これに限定されるものではない。影像処理ユニット２３０は、入力された影像に表情タイプを設定するために用いられ、ディスプレイユニット２４０は、動作エピソードおよび動作エピソードに適合した顔面影像を表示するために用いられる。また、スイッチユニット２５０は、表情タイプを切り換えて顔面影像を動作エピソードに適合させるために用いられ、動作分析ユニット２６０は、ユーザーの動作を検出ならびに分析して、動作エピソードを自動的に選択するために用いられる。
【００１７】
例えば、パーソナルコンピューター上に表示される表情影像について言えば、ユーザーは、デジタルカメラにより捕捉された影像を伝送ケーブルによりパーソナルコンピューターへ入力するとともに、事前に入力された顔面影像に表情タイプを設定することができる。次に、ユーザーが１つの動作エピソードを設定すると同時に、パーソナルコンピューターが動作エピソードの必要性に基づいて対応する表情タイプを表示し、最後に、コンピュータースクリーン上に動作エピソードと対応する表情タイプとを表示する。
【００１８】
図３は、本願発明の好適な実施形態にかかる表情影像を表示する方法を示すフローチャートである。図３において、この実施形態中、入力された顔面影像は、事前に表情タイプが設定されているから、後に表情影像を使用して機能を表示する時、動作エピソードに対応する表情影像は、動作エピソードを選択するだけで自動的に表示される。本願発明にかかる表情影像を表示する方法の各ステップの詳細を、表情影像表示装置とともに以下に説明する。
【００１９】
図２と図３とにおいて、先ず、ユーザーが入力ユニット２１０を使用して顔面影像を選択ならびに入力する（ステップＳ３１０）。顔面影像は、例えば、カメラでユーザーの顔を撮影して得られた影像である。入力された後の顔面影像は、必要により表情影像表示装置２００がアクセスおよび使用するために、保存ユニット２２０に保存される。次に、顔面影像の顔面動作に基づいて、ユーザーが入力ユニット２１０を使用して顔面影像に表情タイプを設定する（ステップＳ３２０）。表情タイプには、平穏、苦痛、興奮、怒り、疲労などが含まれる。例えば、顔面影像の口の端が上がっていれば、顔面影像を微笑という表情タイプに設定することができる。
【００２０】
特記すべきことは、本願発明の好適な実施形態は、更に、ステップＳ３１０，Ｓ３２０を繰り返して複数の顔面影像を入力するとともに、各顔面影像に表情タイプを設定するということである。言い換えれば、１つの顔面影像を入力し１つの対応する表情タイプを設定した後、他の顔面影像が入力され表情タイプが設定されることが繰り返される。さもなければ、複数の顔面影像が一度に入力され、それぞれ表情タイプが設定されるが、本願発明は、これに限定されるものではない。
【００２１】
顔面影像を入力し表情タイプの設定が完了した後、動作エピソードが選択される（ステップＳ３３０）。動作エピソードは、ステッカー写真（sticker photos）を撮影した後にユーザーにより選択された撮影場面（shot scene）に類似したものであり、撮影場面には、キャラクターの動作姿勢、服装、身体、四肢、頭髪、顔面特徴などが含まれるが、本願発明の動作エピソードは、ユーザーによって行われる動作を表現することのできる動態ビデオフレームである点で異なる。動作エピソードは、入力ユニット２１０でユーザーにより選択することができる、あるいは動作分析ユニット２６０でユーザーの動作を検出および分析することによって自動的に選択することができる。しかしながら、本願発明は、これに限定されるものではない。
【００２２】
最後に、動作エピソードにより求められる表情タイプに基づいて、映像処理ユニット２３０が動作エピソードおよび対応する表情影像をディスプレイユニット２４０上に表示する（ステップＳ３４０）。ステップは、更に、動作エピソードにより求められる表情タイプに従って対応する顔面影像を選択すること、動作エピソード中の顔面が存在する位置に顔面影像を挿入することを含むサブステップに分割することができ、最後に顔面影像を含む動作エピソードを表示する。例えば、もしも動作エピソードにより求められる表情タイプが喜びであれば、喜びの表情タイプを有する顔面影像を選択することができ、顔面影像が動作エピソード中の顔面部分に挿入され、最後に顔面影像を含んだ動作エピソードが表示される。
【００２３】
本願発明の好適な実施形態中、顔面影像を表示するステップは、更に、映像処理ユニット２３０で顔面影像を回転ならびにスケーリング（scaling）することを含み、顔面影像を動作エピソード中において顔面の方向および寸法に適合させるものである。多様な動作エピソードに対応する顔面影像の寸法および方向が異なっているので、顔面影像は、動作エピソードの必要性に基づいて正確に回転ならびにスケーリングされなければならず、そうして初めてキャラクターの均整（proportion）がより正確なものとなる。
【００２４】
この実施形態は、更に、動作エピソードの複数の動作を動態的に再生させることを含み、例えば、右足を挙げる動作および左足を挙げる動作を連続して再生させることにより、ぶらつき歩くダイナミックな動作を形成する。また、この実施形態中、背景影像を表示するか否かは、動作エピソードにより求められる表情タイプに従って選択されるものであり、例えば、もしも動作エピソードが屋外動作エピソードであれば、青い空と白い雲の背景をユーザーの必要性に基づいて表示することができる。
【００２５】
上記実施形態の記述に基づいて、以下に別な実施形態を詳細に説明する。図４は、本願発明の別な実施形態にかかる顔面影像を示す概略図である。図４において、ユーザーは、先ず使用したい顔面影像を入力し、表情タイプを設定するための選択項目がユーザーが設定するために提示され、ユーザーが顔面影像４１０の表情タイプを平穏と設定すると仮定する。
【００２６】
図５は、本願発明の好適な実施形態にかかる動作エピソードに合わせた顔面影像バリエーションを示す概略図である。図５において、表情タイプを設定した後、動作エピソードが選択されるが、設定には、キャラクターの動作姿勢・服装・身体・四肢・頭髪・顔面特徴などを含んでいる。ユーザーにより設定された動作エピソードがこそこそしていると仮定すれば、この動作エピソードの設定には、ブルース・リーの服装スタイルの服装と、切り下げ前髪のある頭髪と、普通の男性身体と、むき出しの手のひらと、靴をはいた足と、動作エピソードに加えられた耳とが含まれる。
【００２７】
動作エピソードを設定した後、表情タイプに対応する顔面影像が設定に従って選択される。この実施形態中、こそこそしている動作エピソードは、平穏という表情タイプの顔面影像４１０に適合させるのがふさわしい。動作エピソードの必要性に一致させるために、顔面影像４１０が回転およびスケーリングされる。表情影像５５０中の顔面影像は、明らかに縮小されて（scaled down）動作エピソード中のキャラクターの比例に適合されており、表情影像５１０〜５５０中の顔面影像の方向は、動作エピソードに適合するよう調整されている。即ち、顔面影像が回転されて動作エピソードにより設定された方向に向いている。
【００２８】
特記すべきは、この実施形態中、元の入力される顔面影像は、通常の２次元影像であることである。この実施形態中、３次元シミュレーションが採用されて異なる方向の顔面影像が生成される。図４と図５とに示すように、顔面影像は、本来入力された正面影像（例えば、顔面影像４１０）を含むだけでなく、多様な方向の影像にシミュレートされた影像、例えば、左横顔（表情影像５２０）、右横顔（表情影像５３０）、頭部を回す（表情影像５４０）、頭部を下げる（表情影像５１０）も含む。表情影像５１０〜５５０は、動作エピソードの設定に合わせてダイナミックに再生して、１つの完璧な動作をシミュレートする。
【００２９】
図６は、本願発明の別の好適な実施形態にかかる表情影像を表示する方法を示すフローチャートである。図６において、この実施形態中、ユーザーにより選択された動作エピソードに基づいて対応する表情影像を表示することに加えて、ユーザーは、更に、顔面影像を自由に切り換えることができるので、表示された顔面影像を動作エピソードに適合させるものとなる。本願発明にかかる表情影像を表示する方法の各ステップの詳細は、更に、上記した実施形態において記載した表情影像表示装置と一緒に説明する。
【００３０】
図２と図６とにおいて、先ず、ユーザーが入力する顔面影像を入力ユニット２１０を使用することにより選択する（ステップＳ６１０）とともに、入力ユニット２１０を使用して顔面影像の表情タイプを設定する（ステップＳ６２０）。入力後の顔面影像は、後に必要に応じて表情影像表示装置２００によりアクセスおよび使用するために、保存ユニット２２０中に保存される。確かに、上述したように、ユーザーは、複数の影像を繰り返し入力できるとともに、それぞれ表情タイプを設定することができ、本願発明のさらなる応用のためにより多くの選択を提供するものである。
【００３１】
顔面影像の入力および表情タイプの設定が完了した後、１つの動作エピソードが入力ユニット２１０でユーザーにより選択されることができる、あるいは動作分析ユニット２６０でユーザーの動作を検出ならびに分析することにより自動的に選択することができる（ステップＳ６３０）とともに、コンピューターが動作エピソードにより求められる表情タイプに従ってディスプレイユニット２４０上に動作エピソードおよび対応する顔面影像を表示する（ステップＳ６４０）。上記ステップの詳細な内容は、上記実施形態中のステップＳ３１０〜Ｓ３４０と同一か類似するものなので、ここでは改めて説明しない。
【００３２】
しかしながら、この実施形態がスイッチユニット２５０でユーザーにより手動で表情タイプを切り換える（ステップＳ６５０）ことに差異があり、それにより表示された顔面影像を動作エピソードに適合させる。言い換えれば、もしもユーザーが自動的に表示された表情タイプに満足しなければ、彼／彼女は、顔面影像を再設定することなしに、表情タイプを切り換えることができ、極めて便利である。
【００３３】
例えば、図７は、本願発明の好適な実施形態にかかる顔面影像の切り換えを示す概略図である。図７において、表情影像７１０中、舌を突き出した顔面影像７１１は、「やんちゃな」表情タイプに属しており、もしも「日なたを歩いている」動作エピソード中に挿入すれば不都合に思われ、この点につき、ユーザーは、「疲労」という表情タイプに切り換えて必要性に適合させることができる。この時、表情影像７２０が表示され、図に示すように、顔面影像７２１中の口を開けた表情影像７２０は、動作エピソードに正確に適合する。以上の説明から分かるように、本願発明の方法に基づいて、表示された顔面影像の表情タイプを切り換えるだけで最も正確な表情影像を手に入れることができる。
【００３４】
以上のごとく、本願発明を最良の実施形態により開示したが、もとより、本願発明を限定するためのものではなく、当業者であれば容易に理解できるように、本願発明の技術思想の趣旨及び範囲内において、適当な変形例ならびに修正例が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な範囲に属する変形例ならびに修正例を基準として定めなければならない。
【図面の簡単な説明】
【００３５】
【図１】従来の影像駆動式コンピュータースクリーンデスクトップシステムを示すブロック図である。
【図２】本願発明の好適な実施形態にかかる表情影像表示装置を示すブロック図である。
【図３】本願発明の好適な実施形態にかかる表情影像を表示する方法を示すフローチャートである。
【図４】本願発明の好適な実施形態にかかる顔面影像を示す概略図である。
【図５】本願発明の好適な実施形態にかかる動作エピソードに合わせた顔面影像のバリエーションを示す概略図である。
【図６】本願発明の別の好適な実施形態にかかる表情影像を表示する方法を示すフローチャートである。
【図７】本願発明の好適な実施形態にかかる顔面影像の表情タイプ切り換えを示す概略図である。
【符号の説明】
【００３６】
２００  表情影像表示装置
２１０  入力ユニット
２２０  保存ユニット
２３０  影像処理ユニット
２４０  ディスプレイユニット
２５０  スイッチユニット
２６０  動作分析ユニット
【図１】
2008083672.tif 000003
【図２】
2008083672.tif 000004
【図３】
2008083672.tif 000005
【図４】
2008083672.tif 000006
【図５】
2008083672.tif 000007
【図６】
2008083672.tif 000008
【図７】
2008083672.tif 000009
【外国語明細書】
2008083672.tif 000010
2008083672.tif 000011
2008083672.tif 000012
2008083672.tif 000013
2008083672.tif 000014
2008083672.tif 000015
2008083672.tif 000016
2008083672.tif 000017
2008083672.tif 000018
2008083672.tif 000019
2008083672.tif 000020
2008083672.tif 000021
2008083672.tif 000022
2008083672.tif 000023
2008083672.tif 000024
2008083672.tif 000025
2008083672.tif 000026
2008083672.tif 000027
2008083672.tif 000028