(57)【要約】本発明は、入力された顔映像の形態情報に基づいて新しい合成顔映像を生成する装置およびその方法に関する。本発明による入力された顔映像の形態情報に基づいて新しい顔映像を合成する装置は、使用者インタフェース装置から伝送される顔映像情報から所定の参照映像に対する変形場として表示される入力顔映像の形態情報および参照映像にマッピングされた入力映像の色相または明暗の情報である質感情報を抽出し、使用者制御命令に応じて入力顔映像の形態情報を用いて映像データベースに予め格納され参照映像と同じ形態を有する種々の顔映像を入力顔映像の形態情報が反映された顔映像に合成する。本発明によれば、参照映像の形態情報と同じ形態情報を有し種々の質感情報を有する映像と抽出された入力顔映像の形態情報を用いて入力映像の状態には無関係に自然でかつ高品質の新しい映像を合成することができる。
2004506996.tif 000002
【特許請求の範囲】
【請求項１】
入力された顔映像の形態情報に基づいて新しい顔映像を合成する装置であって、
顔映像情報および使用者制御命令の入力を受けて映像処理装置に伝送し、映像処理装置で合成された顔映像情報を伝送されて前記使用者制御命令に応じて出力または格納する使用者インタフェース装置；および
前記使用者インタフェース装置から伝送された顔映像情報から所定の参照映像に対する変形場として表示される入力顔映像の形態情報および参照映像にマッピングされた入力映像の色相または明暗の情報である質感情報を抽出し、前記使用者制御命令に応じて映像データベースに予め格納され参照映像と同じ形態を有する質感映像から選択された質感映像または前記選択された質感映像と前記抽出された質感情報が反映された質感映像の重み付けで生成された映像を、前記入力顔映像の形態情報を用いて変換することで、合成顔映像を生成する映像処理装置；を含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成装置。
【請求項２】
第１項において、前記使用者インタフェース装置および前記映像処理装置は、１つのコンピュータシステムに一体化されて実行されることを特徴とする顔映像の形態情報に基づく合成顔映像の生成装置。
【請求項３】
第１項において、前記使用者インタフェース装置および前記映像処理装置は、それぞれ別のコンピュータシステムで実行され、
前記使用者インタフェース装置と前記映像処理装置との間でデータを送受信する通信網をさらに含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成装置。
【請求項４】
第２項または第３項において、前記映像処理装置は、
前記使用者インタフェース装置から伝送された顔映像情報から参照映像に対する変形場として表示される入力顔映像の形態情報および参照映像にマッピングされた入力映像の色相または明暗の情報である質感情報を抽出する顔情報抽出部；
前記使用者制御命令に応じて映像データベースに予め格納され参照映像と同じ形態を有する質感映像から選択された質感映像または前記選択された質感映像と前記抽出された質感情報とが反映された質感映像の重み付けで生成された映像を前記入力顔映像の形態情報を用いて変換することで、合成顔映像を生成する顔映像合成部；および、
前記参照映像に関する情報および前記参照映像と同じ形態を有する種々の映像の質感情報を格納する映像データベース；
を備えることを特徴とする顔映像の形態情報に基づく合成顔映像の生成装置。
【請求項５】
第４項において、前記映像データベースは、
多数の顔映像から抽出された参照映像に基づく形態情報および質感情報から形態平均、質感平均、形態差の共分散および質感差の共分散を求めて主成分を分析することで生成される形態平均、質感平均、形態固有ベクターおよび質感固有ベクターを格納する顔模型データベース；
前記参照映像と同じ形態を有する様々なスタイルのカリカチュア映像に関する情報を格納する付加映像データベース；および、
前記参照映像と同じ形態を有する種々のメークアップデザイン映像に関する情報を格納するメークアップ映像データベース；
を備えることを特徴とする顔映像の形態情報に基づく合成顔映像の生成装置。
【請求項６】
第５項において、前記顔情報抽出部は、
入力された顔映像を参照映像に合わせて正規化する正規化モジュール；
正規化された入力顔映像と参照映像とを対象に階層型勾配法光流アルゴリズムを適用して参照映像に基づく形態情報を推定する形態情報推定モジュール；
形態情報推定モジュールで推定された形態情報に対して前記顔模型データベースに格納された形態固有ベクターに基づく線形分解および線形重畳を行うことで、エラー値の補正された形態情報を生成する形態情報補正モジュール；
補正された形態情報を用いて入力顔映像を参照映像の形態に変形させる逆ワーピングモジュール；
逆ワーピングされた映像の質感情報を前記顔模型データベースに格納された質感固有ベクターに基づく線形分解および線形重畳を行うことで、入力顔映像に対する質感情報を決定する質感情報決定モジュール；および、
所定の条件が満たされるまで前記モジュールを繰り返すことで、参照映像に基づく入力顔映像の形態情報を生成する繰り返しモジュール；
を備えることを特徴とする顔映像の形態情報に基づく合成顔映像の生成装置。
【請求項７】
第５項において、前記映像データベースは、
顔映像の特定の部位別に表情変化によるカリカチュアの標本映像に関する情報を格納する標本映像データベースをさらに備え、
前記映像処理装置は、
前記顔映像合成部によって合成された新しい顔映像の一部または全体領域を、前記標本映像データベースに格納された標本映像のうち類似度の一番高い標本映像に代替する部分映像代替部をさらに備えることを特徴とする顔映像の形態情報に基づく合成顔映像の生成装置。
【請求項８】
第５項において、前記映像データベースは、
合成された顔映像に追加する種々のアクセサリ映像に関する情報を格納するアクセサリ映像データベースをさらに備え、
前記アクセサリ映像データベースに格納されたアクセサリ映像のうち使用者制御命令によって選択されたアクセサリ映像を顔映像合成部で合成された顔映像に追加するアクセサリ映像追加部をさらに備えることを特徴とする顔映像の形態情報に基づく合成顔映像の生成装置。
【請求項９】
入力された顔映像の形態情報に基づいて新しい顔映像を合成する方法において、
（ａ）入力された顔映像情報から所定の参照映像に対する変形場として表示される入力顔映像の形態情報および参照映像にマッピングされた入力映像の色相または明暗の情報である質感情報を抽出するステップ；および、
（ｂ）前記使用者制御命令に応じて、映像データベースに予め格納され参照映像と同じ形態を有する質感映像のうちから選択された質感映像または前記選択された質感映像と前記抽出された質感情報が反映された質感映像の重み付けで生成された映像を、前記入力顔映像の形態情報を用いて変換することで、合成顔映像を生成するステップ；
を含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１０】
第９項において、前記（ａ）ステップは、
（ａ１）入力された顔映像を前記参照映像に合わせて正規化するステップ；
（ａ２）正規化された入力顔映像と前記参照映像とを対象に階層型勾配法光流アルゴリズムを適用して参照映像に基づく形態情報を推定するステップ；
（ａ３）前記（ａ２）ステップにおいて推定された形態情報に対して予め映像データベースに格納された形態固有ベクターに基づく線形分解および線形重畳を行うことで、エラー値の補正された形態情報を生成するステップ；
（ａ４）前記（ａ３）ステップにおいて補正された形態情報を用いて入力顔映像を参照映像の形態に変形するステップ；
（ａ５）前記（ａ４）ステップにおいて参照映像の形態に変形された映像の質感情報を予め映像データベースに格納された質感固有ベクターに基つく線形分解および線形重畳を行うことで、入力顔映像に対する質感情報を決定するステップ；および
（ａ６）所定の条件が満たされるまで、前記の（ａ４）ステップおよび（ａ５）ステップの結果を反映して前記（ａ２）ステップないし前記（ａ５）ステップを繰り返すことで、参照映像に基づく入力顔映像の形態および質感情報を生成するステップ；
を含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１１】
第１０項において、前記（ａ）ステップは、
（ａ０）多数の模型顔映像から抽出された参照映像に基づく形態情報および質感情報から形態平均、質感平均、形態差の共分散および質感差の共分散を求めて主成分を分析することで、形態固有ベクターおよび質感固有ベクターを予め生成するステップをさらに含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１２】
第９項において、前記（ｂ）ステップは、
（ｂ１）映像データベースに格納され、参照映像と同じ形態を有する様々なスタイルのカリカチュア映像のうちの１つのカリカチュア映像を使用者制御命令に応じて選択するステップ；および、
（ｂ２）前記（ｂ１）ステップにおいて選択されたカリカチュア映像または選択されたカリカチュア映像と前記抽出された質感情報が反映された映像の重み付けで生成された映像に前記入力顔映像の形態情報を合成することで、入力顔映像の形態情報が反映されたカリカチュア映像を合成するステップ；
を含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１３】
第１２項において、前記（ｂ）ステップは、
（ｂ３）使用者制御命令によって形態情報の変更が決定された場合、形態情報変更を制御する使用者制御命令に応じて入力映像の形態情報を変形し、前記（ｂ１）ステップおよび（ｂ２）ステップを繰り返すステップをさらに含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１４】
第１２項において、
（ｃ）前記（ｂ）ステップにおいて合成されたカリカチュア映像の一部または全体領域を、前記映像データベースに格納された標本映像のうち類似度の一番高い標本映像に代替するステップをさらに含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１５】
第１４項において、前記類似度は、
合成されたカリカチュア映像と標本映像との形態情報の差および質感情報の差の和に対する重み付け、または、形態情報および質感情報に対して線形分解を行って得られる固有ベクターの係数の差の和に対する重み付けで決定されることを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１６】
第１２項または第１４項において、
（ｄ）前記映像データベースに格納されたアクセサリ映像のうち使用者制御命令によって選択されたアクセサリ映像を合成されたカリカチュア映像に追加するステップをさらに含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１７】
第１６項において、
前記（ｄ）ステップにおいて追加されるアクセサリ映像の位置および大きさは、前記（ａ）ステップにおいて抽出された入力顔映像の形態情報を用いて決定されることを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１８】
第９項において、前記（ｂ）ステップは、
（ｂ１）映像データベースに格納され、参照映像と同じ形態を有する様々なスタイルのメークアップデザイン映像のうちの１つのメークアップデザイン映像を使用者制御命令に応じて選択するステップ；
（ｂ２）前記（ｂ１）ステップにおいて選択されたメークアップデザイン映像または選択されたメークアップデザイン映像と前記抽出された質感情報が反映された映像の重み付けで生成された映像に前記入力顔映像の形態情報を合成することで、入力顔映像の形態情報が反映されたメークアップデザイン映像を合成するステップ；および
（ｂ３）メークアップの修正を指示する使用者制御命令に応じて前記参照映像の質感情報を変更するステップ；
を含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項１９】
第１８項において、
（ｃ）前記映像データベースに格納されたアクセサリ映像のうち使用者制御命令によって選択されたアクセサリ映像を合成されたメークアップデザイン映像に追加するステップをさらに含むことを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【請求項２０】
第１９項において、
前記（ｃ）ステップにおいて追加されるアクセサリ映像の位置および大きさは、前記（ａ）ステップにおいて抽出された入力顔映像の形態情報を用いて決定されることを特徴とする顔映像の形態情報に基づく合成顔映像の生成方法。
【発明の詳細な説明】
〔技術分野〕
本発明は、合成された顔映像を生成する装置およびその方法に関し、特に、入力された顔映像の形態情報に基づいて新しい合成顔映像を生成する装置およびその方法に関する。
【０００１】
一般に、顔映像は、個人の特徴を一番良く示し、対話を自然でかつ円滑にする媒介体として利用されている。このような顔映像の応用分野としては、出入統制・セキュリティシステム、犯罪者検索・モンタージュ作成システム、コンピュータインタフェース、アニメ、ゲームなどが挙げられる。顔映像の応用分野において、顔映像の合成技術を用いる体表的なものとしては、キャラクター映像生成とメークアップデザインがある。
【０００２】
キャラクター映像の一種である顔映像のカリカチュアは、特定の人物の顔特徴をとらえて作られる。従って、顔映像のカリカチュアは、漫画製作または娯楽番組の製作に利用されるだけでなく、自分を代表する象徴またはアイコンなどのような用途として活用し得る。また、パソコン通信や電子メールにおける自分の固有な署名（Ｓｉｇｎａｔｕｒｅ）や、バーチャルリアリティでの使用者のアバター（Ａｖａｔａｒ）などとして活用することができる。
【０００３】
〔背景技術〕
このようなカリカチュアを生成するため、従来、専門画家が直接手作業でカリカチュアを描く方法、デジタルフィルタを用いて顔映像を自動処理する方法などが行われている。ここで、デジタルフィルタを用いた映像処理技法は、入力映像に対して適切な効果を与えるフィルタの組み合せを用いて水彩画風または木炭画風の映像効果を加味し、入力映像に対して全体として手作業で生成したカリカチュアの感じを与える方法である。
【０００４】
ところで、専門画家が直接カリカチュアを描く方法は、自然でかつ完成度の高いものが得られるが、手作業で行っているため、相当な時間がかかるという点、また、一様な品質を維持し難いという点から、制限的な状況にのみ適用し得る方法であるといえる。デジタルフィルタを用いた映像処理技法は、照明や背景などが制限された環境で撮影した映像に対して適用される方法であるため、背景とオブジェクトとの区分のない単なる二次元映像に対しては映像の照明または他の環境変化によって出力映像の質が大きく変化してしまい、この変化を補完する適切な方法が求められている。また、従来のカリカチュアの生成方法によれば、オブジェクトに対する形態情報を別に生成していないため、生成されたカリカチュア上の顔特徴を誇張したり表情を変化させるなどの修正作業が非常に複雑であり、顔映像の復元または三次元アバターなどへの拡張のような作業が殆どできないという問題点もあった。
【０００５】
メークアップデザインは、従来、消費者が、雑誌などからメークアップの施されたモデルの写真を見て、間接的に自分のスタイルなどを決定する方式で行われている。近年、コンピュータを用いるメークアップデザイン方法が紹介されている。この方法は、サンプルとしてのモデルの映像に製品を様々に適用してみるための方法であって、消費者が自分の顔映像に直接メークアップすることで得られる自然なメークアップの効果が得られていない。即ち、同一の色相を有する製品であっても、周辺の照明、顔の形態的な特徴による陰影や反射光などのような複雑な条件によって異になるため、消費者が、モデルの映像に適用されたメークアップ効果を見て自分の顔映像に適用されるメークアップ効果を自然に類推することはほとんどできないという問題点があった。
【０００６】
〔発明の開示〕
本発明は、上記の問題点を解決するためになされたもので、本発明の目的は、入力された顔映像から顔の形態情報を抽出し、この抽出された情報に基づいて顔映像を再合成する方法を用いて、使用者は、一層自然でかつ精巧なカリカチュア映像を得ることができ、また、使用者が自分の顔映像上で行われたメークアップデザインの映像を予め見ることができ、さらに、使用者が合成映像に直接種々のアクセサリをつけたり合成映像を変形することが容易であり、その結果、映像を使用者がリアルタイムで確認することができる、顔映像の形態情報に基づく合成顔映像の生成装置およびその方法を提供することにある。
【０００７】
上記の目的を達成するため、本発明による入力された顔映像の形態情報に基づいて新しい顔映像を合成する装置は、顔映像情報および使用者制御命令の入力を受けて映像処理装置に伝送し、映像処理装置で合成された顔映像情報を伝送され前記使用者制御命令に応じて出力または格納する使用者インタフェース装置、および、前記使用者インタフェース装置から伝送される顔映像情報から所定の参照映像に対する変形場として表示される入力顔映像の形態情報および参照映像にマッピングされた入力映像の色相または明暗の情報である質感情報を抽出し、前記使用者制御命令に応じて映像データベースに予め格納され参照映像と同じ形態を有する質感映像から選択された質感映像または前記選択された質感映像と前記抽出された質感情報が反映された質感映像の重み付けで生成された映像を前記入力顔映像の形態情報を用いて変換することで、合成顔映像を生成する映像処理装置を含むことを特徴とする。
【０００８】
本発明の他の目的を達成するため、入力された顔映像の形態情報に基づいて新しい顔映像を合成する方法において、（ａ）入力された顔映像情報から所定の参照映像に対する変形場として表示される入力顔映像の形態情報および参照映像にマッピングされた入力映像の色相または明暗の情報である質感情報を抽出するステップ、および、（ｂ）使用者制御命令に応じて、映像データベースに格納され参照映像と同じ形態を有する質感映像のうちから選択された質感映像または前記選択された質感映像と前記抽出された質感情報が反映された質感映像の重み付けで生成された映像を前記入力顔映像の形態情報を用いて変換することで、合成顔映像を生成するステップを含むことを特徴とする。
【０００９】
〔発明を実施するための最良の形態〕
以下、本発明の好ましい実施例を添付の図面を参照して詳細に説明する。
【００１０】
図１Ａおよび図１Ｂは、それぞれ本発明による顔映像の形態情報に基づく合成顔映像生成装置の第１実施例（１）および第２実施例（４０）を示す構成図であって、図１Ａに示された本発明の第１実施例（１）は、少なくとも１つ以上の使用者インタフェース装置（１０ａ、１０ｂ）、通信網（２０）および映像処理装置（３０）で構成され、ネットワーク環境で動作し、図１Ｂに示された本発明の第２実施例（４０）は、使用者インタフェース装置（５０）および映像処理装置（６０）で構成された単一のコンピュータシステムで動作する。
【００１１】
本発明の第１の実施例（１）の構成要素である使用者インタフェース装置（１０ａ、１０ｂ）と映像処理装置（３）、また、本発明の第２の実施例（４０）は、それぞれ図２に示したように少なくとも１つ以上の中央処理装置（ＣＰＵ）（７４）とメモリ装置（７３）を備えたコンピュータ（７２）、入力装置（７５）および出力装置（７６）を含むコンピュータシステム（７０）で構成される。コンピュータシステム（７０）の構成要素は、少なくとも１つ以上のバス構造（７７）によって相互連結されている。
【００１２】
図示された中央処理装置（７４）は、算術演算および論理演算を行う算術・論理演算装置（ＡＬＵ）（７４１）、データと命令語を仮格納するレジスタセット（７４２）およびコンピュータシステム（７０）の動作を制御する制御装置（７４３）を備える。本発明で使用される中央処理装置（７４）は、特定の製造社によって製造された特定の構造に限定されるものではないため、上記のような基本的な構成を有していれば、全ての形態のプロセッサが使用可能である。
【００１３】
メモリ装置（７３）は、高速のメインメモリ（７３１）とデータの長期格納のために使用される補助メモリ（７３２）を備える。メインメモリ（７３１）は、ＲＡＭ（Ｒａｎｄｏｎ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）半導体チップで構成され、補助メモリ（７３２）は、 フロッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、そして、電気、磁気、光または他の記録媒体を用いてデータを格納する装置で構成される。また、メインメモリ（７３１）は、ディスプレイ装置を介して映像をディスプレイするためのビデオディスプレイメモリを備えることもできる。本発明に関する平均的な知識を有する者であれば、メモリ装置（７３）が、種々の格納能力を有する種々の代替可能な構成要素を包含し得ることが容易に理解できるだろう。
【００１４】
入力装置（７５）には、キーボード、マウス、物理的変換機（例えば、マイク）などが含まれ、出力装置（７６）には、ディスプレイ、プリンタ、物理的変換機（例えば、スピーカ）などが含まれる。また、ネットワークインタフェースまたはモデムのような装置が、入力・出力装置として使用できる。
【００１５】
コンピュータシステム（７０）は、運営体制と少なくとも１つ以上の応用プログラムを備えている。運営体制は、コンピュータシステム（７０）の動作と資源の割当てを制御する一連のソフトウェアであり、応用プログラムは、運営体制を介して利用可能なコンピュータ資源を使用して使用者の要求する作業を行う一連のソフトウェアである。これらのいずれも、図示されたメモリ装置（７３）に格納される。結局、本発明によるコンピュータ基盤のキャラクター自動生成装置は、コンピュータシステム（７０）およびコンピュータシステム（７０）に設置されて動作する１つ以上の応用プログラムとして具現される。
【００１６】
図１Ａに示された本発明の第１の実施例（１）は、図１Ｂに示された第２の実施例（４０）に比べて通信網（２０）を通じたデータ伝送のための通信処理部（１４、３１）をさらに含んでいるのを除き、他の機能は同様であるため、以下、第１の実施例（１）を基準にして説明する。
【００１７】
図１Ａを参照して、少なくとも１つ以上の使用者インタフェース装置（１０ａ、１０ｂ）は、それぞれ使用者から顔映像情報と使用者制御命令の入力を受け、使用者制御命令に応じて合成された映像を伝送されて補正、格納または出力を行う装置であって、映像情報入力部（１１）と、使用者命令入力部（１２）、入出力制御部（１３）、通信処理部（１４）、映像補正部（１５）、映像格納部（１６）および出力部（１７）を備える。
【００１８】
映像情報入力部（１１）は、使用者から顔映像情報を入力される装置であって、例えば、スキャナまたはデジタルカメラなどのような装置が挙げられる。また、映像情報入力部（１１）は、種々の角度で撮影された映像を入力されるための多数のカメラおよび照明調節装置のようなカメラ補助装置を含んで構成することができる。なお、本発明の構成要素としての映像情報入力部（１１）は、機能的な側面から考慮する必要があるため、図２の入力装置（７５）だけでなく、顔映像情報を予め格納している補助メモリ（７３２）も含む広い意味で解釈される必要がある。
【００１９】
使用者命令入力部（１２）は、使用者から使用者制御命令（例えば、使用者情報、顔映像合成制御信号、映像補正制御信号など）の入力を受ける装置であって、使用者が選択し入力できるキーボード、マウス、タッチスクリーンなどのような装置が挙げられる。
【００２０】
入出力制御部（１３）は、映像情報入力部（１１）を介して入力された顔映像情報および使用者命令入力部（１２）を介して入力された使用者制御命令を通信処理部（１４）を介して映像処理装置（３０）に伝送するように制御し、映像処理装置（３０）で使用者制御命令に応じて新しく合成された映像情報を通信処理部（１４）を介して伝送され、補正、格納または出力するように制御する装置である。
【００２１】
通信処理部（１４）は、入出力制御部（１３）に連結され、通信網（２０）を通じて映像処理装置（３０）とデータを送受信する装置であって、例えば、インターネットを通じて映像情報を含むデータを送受信するイーサーネット（Ｅｔｈｅｒｎｅｔ（登録商標））カード、内部連結のためのシリアル／パラレルポート、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートまたはＩＥＥＥ１３９４ポートなどのような装置が挙げられる。
【００２２】
映像補正部（１５）は、入出力制御部（１３）に連結され、映像処理装置（３０）で新しく合成され伝送された映像情報を使用者命令入力部（１２）を介して入力された使用者制御命令に応じて映像の角度、大きさおよび質感などを補正する。
【００２３】
映像格納部（１６）は、図２の補助メモリ（７３２）に対応する装置であって、映像処理装置（３０）で新しく合成され伝送された映像情報または映像補正部（１５）で補正された映像情報を入出力制御部（１３）の制御によって格納する。
【００２４】
また、出力部（１７）は、図２の出力装置（７６）に対応する装置であって、入出力制御部（１３）の制御によって映像処理装置（３０）が新しい映像を合成する時に要求される使用者制御命令の入力を受けるための使用者インタフェース画面情報をディスプレイし、映像処理装置（３０）で新しく合成され伝送された映像情報または映像補正部（１５）によって補正された映像情報をディスプレイまたはプリントする。
【００２５】
図１Ａに示された本発明の第１の実施例（１）において少なくとも１つ以上の使用者インタフェース装置（１０ａ、１０ｂ）と映像処理装置（３０）との間でデータを伝送する通信網（２０）としては、その実施形態によって有・無線インターネット、近距離ネットワーク、専用線などの多様な形態のネットワークが挙げられる。
【００２６】
図１Ａに示された本発明の第１の実施例における映像処理装置（３０）は、少なくとも１つ以上の使用者インタフェース装置（１０ａ、１０ｂ）から伝送される映像情報を処理し、伝送された使用者制御命令に応じて当該映像情報に基づいて新しい映像の合成を行ってから対応する使用者インタフェース装置に伝送する装置であって、通信処理部（３１）、映像処理部（３２）および映像データベース（３３）を含んで構成される。
【００２７】
通信処理部（３１）は、通信網（２０）を介して１つ以上の使用者インタフェース装置（１０ａ、１０ｂ）とデータを送受信する装置であって、使用者インタフェース装置を構成する通信処理部（１４）に対応してインターネットを介して映像情報を含むデータを送受信するイーサーネット（Ｅｔｈｅｒｎｅｔ（登録商標））カード、内部連結のためのシリアル／パラレルポート、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートまたはＩＥＥＥ１３９４ポートなどのような装置が挙げられる。
【００２８】
映像処理部（３２）は、使用者インタフェース装置（１０ａ、１０ｂ）から伝送された顔映像情報から参照映像の形態情報に対する変形場として表示される入力顔映像の形態情報および参照映像にマッピングされた入力映像の色相または明暗情報である質感情報を抽出し、使用者インタフェース装置（１０ａ、１０ｂ）から伝送される使用者制御命令による使用者の要求を分析し、分析された使用者の要求に応じて抽出された入力顔映像の形態情報、抽出された質感情報および映像データベース（３３）に格納された種々の映像を用いて新しい顔映像を合成する装置であって、顔情報抽出部（３２１）、顔映像合成部（３２２）、部分映像代替部（３２３）およびアクセサリ映像追加部（３２４）を備える。
【００２９】
顔情報抽出部（３２１）は、使用者インタフェース装置（１０ａ、１０ｂ）から伝送される顔映像情報から参照映像に対する変形場として表示される入力顔映像の形態情報と、これを用いて参照映像にマッピングされた入力映像の色相または明暗の情報である質感情報とを抽出する。
【００３０】
顔映像合成部（３２２）は、使用者制御命令に応じて映像データベース（３３）に格納された質感映像のうちから選択された質感映像、または、選択された質感映像と顔情報抽出部（３２１）から抽出された質感情報が反映された質感映像の重み付けで生成される映像を顔情報抽出部（３２１）から抽出される入力映像の形態情報を用いて変換することで、新しい顔映像を合成する。
【００３１】
部分映像代替部（３２３）は、顔映像合成部（３２２）によって合成される新しい顔映像の一部または全体領域を、映像データベース（３３）に格納された標本映像のうち類似度が一番高いものと代替する。
【００３２】
アクセサリ映像追加部（３２４）は、映像データベース（３３）に格納されたアクセサリ映像のうち使用者制御命令に応じて選択されたアクセサリ映像を顔映像合成部（３２２）によって合成された顔映像に追加する。
【００３３】
映像データベース（３３）は、映像処理部（３２）で入力顔映像を処理するために要求される映像情報を予め格納するが、顔模型データベース（３３１）、付加映像データベース（３３２）、標本映像データベース（３３３）、メークアップ映像データベース（３３４）およびアクセサリ映像データベース（３３５）などを備える。
【００３４】
顔模型データベース（３３１）には、顔情報抽出部（３２１）が入力顔映像から参照映像に基づく形態情報および質感情報を抽出するために使用される各種の情報（多数の模型顔映像によって予め求められた形態平均、質感平均、形態固有ベクター、質感固有ベクターなど）が格納される。顔模型データベース（３３１）に格納される各種の情報については、図４に関する説明において詳述する。
【００３５】
付加映像データベース（３３２）には、参照映像と同じ形態を有し、アニメスタイル、スケッチスタイル、水彩画スタイルなどのような質感情報として表現される色々なスタイルのカリカチュア映像に関する情報が格納される。
【００３６】
標本映像データベース（３３３）には、顔映像の特定の部位別に形態変化や表情変化などを含む種々のカリカチュア標本映像に関する情報が格納される。
【００３７】
メークアップ映像データベース（３３４）には、参照映像と同じ形態を有して種々のサンプルメークアップを表現する質感情報としてのメークアップ映像に関する情報が格納される。
【００３８】
アクセサリ映像データベース（３３５）には、合成された顔映像に追加する、眼鏡、ヘアスタイル、帽子、イヤリング、体形などの映像に関する情報が格納される。
【００３９】
図１Ａに示されたように、本発明の第１の実施例（１）においては、少なくとも１つ以上の使用者インタフェース装置（１０ａ、１０ｂ）と１つの映像処理装置（３０）とが相互通信処理部（１４、３１）と通信網（２０）を介して接続されるように構成されているが、図１Ｂに示された本発明の第２の実施例（４０）と同様に、使用者インタフェース装置（５０）と映像処理装置（６０）とが１つのコンピュータシステム（７０）内に一体化されて運営されることも可能である。
【００４０】
以下、図３を参照して、本発明による顔映像に基づくキャラクター映像自動生成装置（１、４０）の基本的な動作過程を説明する。
【００４１】
先ず、映像処理部（３２、６２）の顔情報抽出部（３２１、６２１）は、使用者インタフェース装置（１０ａ、１０ｂ、５０）から入力された顔映像を伝送されて予め決められた参照映像に対する入力顔映像の形態情報および参照映像にマッピングされた入力映像の色相または明暗情報である質感情報を抽出する（Ｓ１０、Ｓ１１）。
【００４２】
次いで、映像処理部（３２、６２）の顔映像合成部（３２２、６２２）は、使用者インタフェース装置（１０ａ、１０ｂ、５０）から入力された使用者制御命令（顔映像合成制御信号）に応じて参照映像に基づく質感情報および顔情報抽出部（３２１、６２１）によって抽出された入力顔映像の形態情報を用いて新しい顔映像を合成する（Ｓ１２）。即ち、顔映像合成部（３２２、６２２）は、抽出された入力顔映像の形態情報を使用して入力顔映像の形状を復元し、抽出された入力顔映像の形態情報を使用して復元された入力顔映像の形状に抽出された質感情報をワーピング（ｗａｒｐｉｎｇ）することにより、使用者の顔映像の合成を行う。ここで、顔映像の合成時、使用する参照映像に基づく質感情報を適切に変更または代替することによって、入力される顔映像の形態を有する種々の新しい合成映像が生成される。
【００４３】
このように合成される顔映像は、使用者インタフェース装置（１０ａ、１０ｂ、５０）に伝送され出力部（１７、５７）によってディスプレイされ、使用者インタフェース装置（１０ａ、１０ｂ、５０）の使用者命令入力部（１２、５２）は、ディスプレイされた顔映像において形態情報を変更するか否かに関する使用者制御命令を使用者から入力される（Ｓ１３）。
【００４４】
使用者制御命令によって形態情報の変形が決定された場合、入力映像の形態情報は、形態情報変更のための使用者制御命令（例えば、再合成されてディスプレイされる顔映像から特定の部位をマウスでドラッグして拡大・縮小するなどの部分領域別の変形またはスライドバーを用いて顔全体を誇張するなどの全体的な変形を指示する制御信号）に応じて変形され、ステップＳ１２に進み、新しい顔映像が合成される。
【００４５】
ステップＳ１３において使用者が形態情報の変形を希望しない場合、追加的な使用者命令に応じてアクセサリ映像追加部（３２４、６２４）がステップＳ１２で合成された顔映像に映像データベース（６３）に格納された種々のアクセサリ映像を追加し、または、部分映像代替部（３２３、６２３）で、ステップＳ１２で合成された顔映像の特定部位を映像データベース（６３）に格納された種々の標本映像に代替することで、様々な付加効果が付与される（Ｓ１４）。
【００４６】
次いで、映像処理装置（３０、６０）で合成された顔映像は、使用者インタフェース装置（１０ａ、１０ｂ、５０）に伝送されて使用者にディスプレイされ、映像補正部（１５、５５）は、使用者命令入力部（１２、５２）を介して入力された使用者制御命令（映像補正制御信号）に応じて合成された顔映像の最終補正を行う（Ｓ１５）。映像補正部（１５、５５）によって補正された合成顔映像は、映像格納部（１６、５６）に格納されるか、出力部（１７、５７）によってディスプレイまたはプリントされる（Ｓ１６）。
【００４７】
図３の顔情報抽出ステップ（Ｓ１１）は、入力された顔映像から顔模型を基に形態情報Ｓｉｎと質感情報Ｔｉｎとを得る過程と要約される。
【００４８】
本発明において、顔映像の形態情報は、参照映像に関する変形場（ｄｅｆｏｒｍａｔｉｏｎ ｆｉｅｌｄ）と表示され、顔映像の質感情報は、参照映像にマッピングされた入力映像の色相または明暗情報として表示される。即ち、顔映像の形態情報Ｓは、参照映像上の各点ｐｉ（ｉ＝１、…、ｎ；ここで、ｎは参照映像において予め決められた点の個数）と顔映像との対応点に対する平面座標上の位置の差と、顔映像の質感情報Ｔは、参照映像上の各点ｐｉ（ｉ＝１、…、ｎ）に対する入力映像の対応点の色相または明暗の値と定義される。本発明の一実施例で使用される参照映像は、形態平均と質感平均を用いて合成したものであるが、本発明で使用され得る参照映像がこれに限定されるのではなく、予め用意されているｍ個の顔映像のうちのいずれかの映像を参照映像として使用することができる。
【００４９】
顔模型データベース（３３１、６３１）に格納される顔模型は、次のように事前に求められる。先ず、予め用意されているｍ個の顔映像からそれぞれ参照映像に基づいて形態情報Ｓｊ（ｊ＝１、…、ｍ）と質感情報Ｔｊ（ｊ＝１、…、ｍ）を抽出する。次いで、ｍ個の形態情報Ｓｊ（ｊ＝１、…、ｍ）の各点ｐｉ（ｉ＝１、…、ｎ）別の平均値からなる形態平均
【００５０】
【数１】
2004506996.tif 000003
【００５１】
、ｍ個の質感情報Ｔｊ（ｊ＝１、…、ｍ）の各点ｐｉ（ｉ＝１、…、ｎ）別の平均値からなる質感平均
【００５２】
【数２】
2004506996.tif 000004
【００５３】
を求め、形態の差
【００５４】
【数３】
2004506996.tif 000005
【００５５】
（ｊ＝１、…、ｍ）の共分散ＣＳと、質感の差
【００５６】
【数４】
2004506996.tif 000006
【００５７】
（ｊ＝１、…、ｍ）の共分散ＣＴを求める。
【００５８】
このように求められた値を主成分分析（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）処理してｍ個の顔模型に対する共分散の形態固有ベクターｓｉ（ｉ＝１、…、ｍ−１）および質感固有ベクターｔｉ（ｉ＝１、…、ｍ−１）を得ることができる。これに基づいて、顔映像は、形態固有ベクターｓｉ（ｉ＝１、…、ｍ−１）および質感固有ベクターｔｉ（ｉ＝１、…、ｍ−１）を基にして下記の式１のように表現することができる。
【００５９】
【数５】
2004506996.tif 000007
【００６０】
（式中、
【００６１】
【数６】
2004506996.tif 000008
【００６２】
であり、ｍは模型の個数である。）
このような過程を通じて形態平均
【００６３】
【数７】
2004506996.tif 000009
【００６４】
、質感平均
【００６５】
【数８】
2004506996.tif 000010
【００６６】
、形態固有ベクターｓｉ（ｉ＝１、…、ｍ−１）および質感固有ベクターｔｉ（ｉ＝１、…、ｍ−１）は、顔模型データベース（３３１、６３１）に格納され、入力された顔映像の形態情報および質感情報の抽出のために使用される。
【００６７】
以下、図４を参照して図３の顔情報抽出ステップ（Ｓ１１）をより詳しく説明する。図４の顔映像正規化ステップ（Ｓ１１１）では、入力された顔映像に対して所定の特徴点（例えば、両目の中間点および唇の中間点）を抽出し、抽出された入力顔映像の特徴点の位置が参照映像の特徴点の位置に一致するように入力顔映像を上下左右に移動してその大きさを調節する。このような映像正規化の過程は、所定のソフトウェアによって自動的に行われるか、使用者から制御命令を受け手動的に行うこともできるが、その細部的な過程は、本発明の範囲から逸脱するため、詳細な説明は省略する。
【００６８】
形態情報抽出ステップ（Ｓ１１２）では、顔映像正規化ステップ（Ｓ８）で正規化された入力顔映像と参照映像（または、参照映像と同じ形態を有する合成された質感推定映像
【００６９】
【数９】
2004506996.tif 000011
【００７０】
）を対象にして階層型勾配法光流アルゴリズム（ｈｉｅｒａｒｃｈｉｃａｌ、 ｇｒａｄｉｅｎｔ−ｂａｓｅｄ ｏｐｔｉｃａｌ ｆｌｏｗ ａｌｇｏｒｏｔｈｍ）［Ｌｕｃａｓ ａｎｄ Ｋａｎａｄｅ］を適用して参照映像に基づく形態情報
【００７１】
【数１０】
2004506996.tif 000012
【００７２】
（正規化された入力顔映像と参照映像との対応点に対する位置の差の値）を推定する。階層型勾配法光流アルゴリズムは、類似した２つの映像に対する明るさ値（ｉｎｔｅｎｓｉｔｙ）を用いて２つ映像間の対応関係を光流で示す機能を行うアルゴリズムであって、本発明の属する技術分野で広く知られているため、具体的な説明は省略する。
【００７３】
形態情報推定ステップ（Ｓ１１２）で使用される階層型勾配法光流アルゴリズムで得られた形態情報には、入力された顔映像の照明や影などによるエラー値が含まれることができる。従って、形態情報補正ステップ（Ｓ１１３）では、形態情報推定ステップ（Ｓ１１２）で推定された形態情報
【００７４】
【数１１】
2004506996.tif 000013
【００７５】
に対して形態固有ベクターｓｉ（ｉ＝１、…、ｍ−１）に基づく線形分解（ｌｉｎｅａｒ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を行った後、さらに線形重畳（ｌｉｎｅａｒ ｓｕｐｅｒｐｏｓｉｔｉｏｎ）を行うことによって、エラー値の補正された形態情報
【００７６】
【数１２】
2004506996.tif 000014
【００７７】
を得る。このとき、変形の自由度を高めるため、下記の式２によって求められるように、形態情報推定ステップ（Ｓ１１２）で推定された形態情報
【００７８】
【数１３】
2004506996.tif 000015
【００７９】
と形態情報補正ステップ（Ｓ１１３）で補正された形態情報
【００８０】
【数１４】
2004506996.tif 000016
【００８１】
との重み付けＳｉｎ−１結果値として使用することが好ましい。
【００８２】
【数１５】
2004506996.tif 000017
【００８３】
（式中、
【００８４】
【数１６】
2004506996.tif 000018
【００８５】
）
逆ワーピングステップ（Ｓ１１４）では、モデル基盤の形態情報補正ステップ（Ｓ１１３）を通じて得られた形態情報
【００８６】
【数１７】
2004506996.tif 000019
【００８７】
を用いて入力顔映像を参照映像の形態に変形する。この過程を「逆ワーピング（Ｂａｃｋｗａｒｄ Ｗａｒｐｉｎｇ）」という。
【００８８】
質感情報変形ステップ（Ｓ１１５）では、逆ワーピングされた映像の質感情報を質感固有ベクターｔｉ（ｉ＝１、…、ｍ−１）に基づいて線形分解（ｌｉｎｅａｒ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を行った後、さらに線形重畳（ｌｉｎｅａｒ ｓｕｐｅｒｐｏｓｉｔｉｏｎ）を行うことで、入力顔映像に関する質感情報
【００８９】
【数１８】
2004506996.tif 000020
【００９０】
を得る。
【００９１】
次いで、形態情報推定ステップ（Ｓ１１２）で正規化された入力顔映像を逆ワーピングステップ（Ｓ１１４）で参照映像の形態に変形された入力顔映像に、参照映像を参照映像と同様な形態を有する質感映像に代替してステップＳ１１２からステップＳ１１６を繰り返すことで、
【００９２】
【数１９】
2004506996.tif 000021
【００９３】
を求める。即ち、ｋ番目の繰返し過程において、ステップＳ１１２およびステップＳ１１３の
【００９４】
【数２０】
2004506996.tif 000022
【００９５】
は、それぞれ
【００９６】
【数２１】
2004506996.tif 000023
【００９７】
に代替され、ステップＳ１１４の
【００９８】
【数２２】
2004506996.tif 000024
【００９９】
は、
【０１００】
【数２３】
2004506996.tif 000025
【０１０１】
に代替される。また、ステップＳ１１５での
【０１０２】
【数２４】
2004506996.tif 000026
【０１０３】
は、
【０１０４】
【数２５】
2004506996.tif 000027
【０１０５】
に代替され、最後の繰返し過程において決定された
【０１０６】
【数２６】
2004506996.tif 000028
【０１０７】
が最終的な入力顔映像の質感情報であるＴｉｎとなる。このような繰返し過程は、
【０１０８】
【数２７】
2004506996.tif 000029
【０１０９】
のｖｅｃｔｏｒ ｎｏｒｍである
【０１１０】
【数２８】
2004506996.tif 000030
【０１１１】
が所定の閾値より少なくなるまで、または、一定の繰返し回数が所定の回数以上となるまで行われ、参照映像に基づく入力顔映像の形態情報Ｓｉｎを得る（Ｓ１１７）。
【０１１２】
次いで、入力された顔映像は、参照映像に基づく入力顔映像の形態情報Ｓｉｎおよび質感情報Ｔｉｎを用いて復元され得る。即ち、参照映像に基づく入力顔映像の質感情報Ｔｉｎを参照映像に基づく入力顔映像の形態情報Ｓｉｎを用いて変形させることで、入力された顔映像が再合成される。
【０１１３】
このような合成映像の特性を活用し得る代表例として、顔映像のカリカチュア生成、メークアップデザインなどが挙げられる。顔映像のカリカチュアの生成方法は、さらに、顔映像の合成方法と標本映像の代替方法とに分けられる。
【０１１４】
以下、図５を参照して、本発明による顔映像に基づくキャラクター映像自動生成装置（１、４０）によって行われる顔映像合成方法でカリカチュア映像を生成する過程について説明する。
【０１１５】
先ず、映像処理部（３２、６２）の顔情報抽出部（３２１、６２１）は、使用者インタフェース装置（１０ａ、１０ｂ、５０）から入力された顔映像を伝送され予め決められた参照映像に基づく入力顔映像の形態情報Ｓｉｎおよび質感情報Ｔｉｎを抽出する（Ｓ２０、Ｓ２１）。
【０１１６】
次に、顔映像合成部（３２２、６２２）は、付加映像データベース（３３２、６３２）に格納された様々なスタイルのカリカチュア映像（例えば、アニメスタイル、スケッチスタイル、水彩画スタイルなどの映像）を使用者インタフェース装置（１０ａ、１０ｂ、５０）を介して使用者に提示し、使用者が希望のスタイルのカリカチュアを選択する（Ｓ２２）。このとき、付加映像データベース（３３２、６３２）に格納された様々なスタイルのカリカチュア映像は、参照映像と同じ形態を有するものである。
【０１１７】
顔映像合成ステップ（Ｓ２３）では、顔映像合成部（３２２、６２２）が使用者によって選択されたスタイルのカリカチュア映像または選択されたカリカチュア映像と入力顔映像の質感情報Ｔｉｎが反映された映像の重み付けによって生成される映像を、入力顔映像の形態情報Ｓｉｎと合成することによって、使用者自分の形態情報が反映されるカリカチュア映像を合成する。
【０１１８】
このように合成されたカリカチュア映像は、使用者インタフェース装置（１０ａ、１０ｂ、５０）に伝送され出力部（１７、５７）によってディスプレイされ、使用者インタフェース装置（１０ａ、１０ｂ、５０）の使用者命令入力部（１２、５２）は、使用者からディスプレイされるカリカチュア映像の形態情報を変更するか否かに関する使用者制御命令の入力を受ける（Ｓ２４）。
【０１１９】
使用者制御命令によって形態情報の変更が決定された場合、入力映像の形態情報Ｓｉｎは、形態情報変更のための使用者制御命令（例えば、再合成されてディスプレイされる顔映像において特定の部位をマウスでドラッグして拡大または縮小するなどの部分領域別の変形またはスライドバーを用いて顔全体を誇張するなどの全体的な変形を指示する制御信号）に応じて変更され、ステップＳ２２に進み、新しいカリカチュア映像が合成される。
【０１２０】
アクセサリ追加ステップ（Ｓ２５）では、使用者制御命令に応じてアクセサリ映像追加部（３２４、６２４）がアクセサリ映像データベース（３３５、６３５）から様々なアクセサリ（例えば、眼鏡、ヘアスタイル、帽子、イヤリング、体形などの映像）を引き出してカリカチュア映像に追加する。アクセサリ映像追加部（３２４、６２４）がアクセサリ映像を追加する時、ステップＳ２１で抽出された顔映像の形態情報Ｓｉｎを用いて自動に大きさおよび位置の調節を行うことで、より自然な結果が得られる。また、部分映像代替部（３２３、６２３）がカリカチュア映像の特定部位を標本映像データベース（３３３、６３３）から引き出した標本映像に代替することで、嬉しさ、悲しみ、怒りなどの表情を示すか、表情変化の過程を表現するアニメフレームを用いて動画像効果を果たすことができる。
【０１２１】
次いで、映像処理装置（３０、６０）で合成されたカリカチュア映像は、使用者インタフェース装置（１０ａ、１０ｂ、５０）に伝送されて使用者にディスプレイされ、映像補正部（１５、５５）は、使用者命令入力部（１２、５２）を介して入力される使用者制御命令（映像補正制御信号）に応じてカリカチュア映像の最終補正を行う（Ｓ２６）。映像補正部（１５、５５）で補正されたカリカチュア映像は、映像格納部（１６、５６）に格納されるか、出力部（１７、５７）によってディスプレイまたはプリントされる（Ｓ２７）。
【０１２２】
このように得られたカリカチュア映像は、直に特定の用途で使用され、または、カリカチュアの製作時に下図として使用され、手動処理時の生産性を高めることができる。
【０１２３】
以下、図６を参照して、本発明による顔映像に基づくキャラクター映像自動生成装置（１、４０）によって行われる標本映像代替方法でカリカチュア映像を生成する過程について説明する。
【０１２４】
図６は、図５において類似度測定ステップ（Ｓ３５）と部分映像代替ステップ（Ｓ３６）とが追加されたもので、他のステップ（Ｓ３０乃至Ｓ３４、Ｓ３７乃至Ｓ３９）に関する重複説明は、省略する。即ち、図６に示された方法は、図５と同様な方法で合成されるカリカチュア映像の一部または全体領域を標本映像データベース（３３３、６３３）に予め用意されている標本映像に代替する方法である。
【０１２５】
標本映像データベース（３３３、６３３）に格納されている標本映像は、様々な顔映像に対して形態情報に関する統計分析を行った後、これを基に作られる。標本映像の構成方法は、標本映像の変形を許容する場合と、許容しない場合との２つに分けられる。
【０１２６】
先ず、標本映像の変形を許容する場合の標本映像の構成方法は、一定にして正規化された標本映像を構成し、ステップＳ３１で抽出された入力顔映像の形態情報Ｓｉｎを基に、標本映像の大きさおよび模様を変形して代替する方式である。この方式は、入力顔映像の形態を充実に反映することができ、比較的少ない数の標本映像が要求されるというメリットがあるが、標本映像の変形による映像の歪みおよび全体的な画質低下が発生するというデメリットがある。
【０１２７】
その反面、標本映像の変形を許容しない場合の標本映像の構成方法は、予め構成された標本映像のみを用いてカリカチュア映像の一部または全体領域を代替して新しいカリカチュア映像を合成しているため、高画質の結果が得られるというメリットがあるが、入力顔映像の形態を充実に反映することが困難であり、発生可能な全ての変形に対する標本映像を予め用意する必要があるというデメリットがある。
【０１２８】
図６の類似度測定ステップ（Ｓ３５）で使用される類似度Ｄの測定方法は、下記の式３のように求められる。
【０１２９】
【数２９】
2004506996.tif 000031
【０１３０】
上記の式３において、
【０１３１】
【数３０】
2004506996.tif 000032
【０１３２】
であり、Ｃｓｉ（ｉ＝１、…、ｎ）は、入力映像の形態情報を、Ｃｒｉ（ｉ＝１、…、ｎ）は、標本映像の形態情報を、Ｃｔｉ（ｉ＝１、…、ｎ）は、入力映像の質感情報と参照映像の質感情報Ｔｒｅｆとの差を、Ｃｑｉ（ｉ＝１、…、ｎ）は、標本映像の質感情報と参照映像の質感情報Ｔｒｅｆとの差を示す。実行方法によっては、数学式３のＣｓｉ、Ｃｒｉ、Ｃｔｉ、Ｃｑｉに形態および質感情報をそのまま使用せずに、数学式１のように形態情報および質感情報を線形分解して得られる固有ベクターの係数を用いることもできる。このような場合、係数は、（ｍ−１）の次元を有する。
【０１３３】
部分映像代替部（３２３、６２３）は、入力映像と各標本映像との類似度Ｄを測定して（Ｓ３５）、この値が最小値となる標本映像で、カリカチュア映像の一部または全体領域を代替する（Ｓ３６）。
【０１３４】
標本映像代替方法でカリカチュア映像を生成する場合、低速の通信環境で生成されたカリカチュア映像の全体を伝送せず、代替される標本映像のコードを圧縮伝送することで、圧縮率を画期的に高めることができる。
【０１３５】
以下、図７を参照して、本発明による顔映像に基づくキャラクター映像自動生成装置（１、４０）によって行われるマークアップデザインの過程を説明する。
【０１３６】
図７は、図５におけるカリカチュア種類選択ステップ（Ｓ２２）、顔映像合成ステップ（Ｓ２３）および形態情報変更ステップ（Ｓ２４）の代わりに、メークアップ種類選択ステップ（Ｓ４２）、顔映像合成ステップ（Ｓ４３）、メークアップ修正ステップ（Ｓ４４）および満足可否確認ステップ（Ｓ４５）が追加されたものであり、他のステップ（Ｓ４０、Ｓ４１、Ｓ４６、Ｓ４７、Ｓ４８）に関する重複説明は省略する。
【０１３７】
メークアップ種類選択ステップ（Ｓ４２）では、顔映像合成部（３２２、６２２）がメークアップ映像データベース（３３４、６３４）に格納された種々のサンプルのメークアップ映像を使用者インタフェース装置（１０ａ、１０ｂ、５０）を介して使用者に提示し、使用者が希望のメークアップデザインを選択する。このとき、サンプルのメークアップ映像は、参照映像と同じ形態を有するものである。
【０１３８】
顔映像合成ステップ（Ｓ４３）では、顔映像合成部（３２２、６２２）が使用者によって選択されるメークアップ映像、または、選択されたサンプルのメークアップ映像とステップＳ４１で抽出された入力顔映像の質感情報Ｔｉｎが反映された映像の重み付けで生成される映像を、ステップＳ４１で抽出された入力顔映像の形態情報Ｓｉｎを用いて変換することによって、使用者自分の顔に選択されたメークアップデザインが適用された顔映像を合成することができる。
【０１３９】
このようにメークアップデザインの適用された顔映像は、使用者インタフェース装置（１０ａ、１０ｂ、５０）に伝送され出力部（１７、５７）によってディスプレイされ、使用者インタフェース装置（１０ａ、１０ｂ、５０）の使用者命令入力部（１２、５２）は、使用者からディスプレイされた顔映像上のメークアップの修正を指示する使用者制御命令の入力を受ける（Ｓ４４）。顔映像合成部（３２２、６２２）は、使用者制御命令に応じてメークアップデザインの適用された顔映像を修正し、修正された顔映像は、再度使用者インタフェース装置（１０ａ、１０ｂ、５０）に伝送され出力部（１７、５７）によってディスプレイされる。
【０１４０】
次いで、使用者インタフェース装置（１０ａ、１０ｂ、５０）の使用者命令入力部（１２、５２）は、使用者からディスプレイされた顔映像に対して満足するか否かを確認する使用者制御命令の入力を受ける（Ｓ４５）。このとき、使用者制御命令が「満足」の場合、アクセサリ追加ステップ（Ｓ４６）に進むが、そうでない場合は、メークアップ種類選択ステップ（Ｓ４２）に戻してメークアップデザインを再度行うようになる。
【０１４１】
以上、本発明の好適な実施例について述べてきたが、本発明の属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で変形された形態で実行することができることはいうまでもない。それで、上記の実施例は、限定的な観点でなく説明的な観点から考慮する必要がある。本発明の範囲は、前述の説明でなく請求の範囲に示されており、その同等な範囲内の全ての相違点は本発明に含まれるものと解釈される。
【０１４２】
〔産業上の利用可能性〕
以上のように、本発明によれば、第一、入力顔映像から参照映像に対する変形場として表示される入力顔映像の形態情報を抽出し、参照映像と同じ形態を有して種々の質感情報を有する映像と抽出された入力顔映像の形態情報を用いて入力された顔映像の形状が投影されながら入力映像の状態とは関係なく自然で高品質の新しい映像を合成することができるため、本発明は、キャラクター映像生成、仮想メークアップデザイン、犯罪者検索のためのモンタージュ作成、アニメおよび娯楽などの様々な分野で有用に活用されることができる。
【０１４３】
第二、カリカチュア映像生成においては、使用者の形態的特性を含んでいる様々なカリカチュアを直に生成することができ、生成されたカリカチュアは、一部または全体として誇張したり変形することができる。さらに、使用者の顔形態に関する情報を有しているため、複雑な映像補正過程を単純化し自動化することができ、キャラクター生成の生産性を向上させることができる。
【０１４４】
第三、メークアップデザインにおいては、使用者が簡便に自分のメークアップをデザインした後、確認することができ、一部または全体としての修正が容易に行われる。
【０１４５】
第四、合成された新しい映像に種々のアクセサリをつけた状態を直に確認することができ、形態情報に基づくバーチャルリアリティでのアバター、三次元顔映像の復元、ビデオチャットなどのように顔映像を必要とする数多い応用分野において容易に適用することができる。
【図面の簡単な説明】
【図１Ａ】
図１Ａは、本発明による合成顔映像生成装置の第１の実施例の機能的構成を示すブロック図である。
【図１Ｂ】
図１Ｂは、本発明による合成顔映像生成装置の第２の実施例の機能的構成を示すブロック図である。
【図２】
図２は、本発明の第１の実施例および第２の実施例が実行されるコンピュータシステムの装置的構成を示すブロック図である。
【図３】
図３は、本発明による合成顔映像の生成過程を示す基本的なフローチャートである。
【図４】
図４は、図３の顔情報抽出ステップをより詳しく示すフローチャートである。
【図５】
図５は、本発明による合成顔映像の生成装置によって行われる顔映像合成方法によるカリカチュア映像の生成過程を示すフローチャートである。
【図６】
図６は、本発明による合成顔映像の生成装置によって行われる標本映像代替方法によるカリカチュア映像の生成過程を示すフローチャートである。
【図７】
図７は、本発明による合成顔映像の生成装置によって行われるメークアップデザインの過程を示すフローチャートである。
【図１Ａ】
2004506996.tif 000033
【図１Ｂ】
2004506996.tif 000034
【図２】
2004506996.tif 000035
【図３】
2004506996.tif 000036
【図４】
2004506996.tif 000037
【図５】
2004506996.tif 000038
【図６】
2004506996.tif 000039
【図７】
2004506996.tif 000040
【国際公開パンフレット】
2004506996.tif 000041
2004506996.tif 000042
2004506996.tif 000043
2004506996.tif 000044
2004506996.tif 000045
2004506996.tif 000046
2004506996.tif 000047
2004506996.tif 000048
2004506996.tif 000049
2004506996.tif 000050
2004506996.tif 000051
2004506996.tif 000052
2004506996.tif 000053
2004506996.tif 000054
2004506996.tif 000055
2004506996.tif 000056
2004506996.tif 000057
2004506996.tif 000058
2004506996.tif 000059
2004506996.tif 000060
2004506996.tif 000061
2004506996.tif 000062
2004506996.tif 000063
2004506996.tif 000064
2004506996.tif 000065
2004506996.tif 000066
2004506996.tif 000067
2004506996.tif 000068
2004506996.tif 000069
2004506996.tif 000070
2004506996.tif 000071
2004506996.tif 000072
2004506996.tif 000073
2004506996.tif 000074
2004506996.tif 000075
2004506996.tif 000076
2004506996.tif 000077
2004506996.tif 000078
2004506996.tif 000079
2004506996.tif 000080
2004506996.tif 000081
【国際調査報告】
2004506996.tif 000082
2004506996.tif 000083