(57)【要約】【課題】簡易な操作で、整形を望む顧客に適した整形画像を得ることができる顔画像変形方法および装置を提供する。【解決手段】画像入力部11に顔画像が入力される。入力された顔画像から顔特徴である特徴点および特徴線が顔特徴抽出部30により抽出される。顔特徴移動量決定部31は、前記抽出された顔特徴の移動量を学習データ記憶部31aに記憶されている学習データに基づき決定する。変形顔画像作成部32は、前記顔画像における前記顔特徴を顔特徴移動量決定部31により決定された移動量に基づき移動させ、整形後の顔である変形顔画像を生成し、ユーザに提示する。【選択図】図２
2009009296.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を入力する画像入力ステップと、
前記顔画像から顔特徴である特徴点および特徴線を抽出する顔特徴抽出ステップと、
前記顔特徴抽出ステップにより抽出された前記顔特徴の移動量を統計的学習則に基づき決定する顔特徴移動量決定ステップと、
前記顔特徴移動量決定ステップにより決定された移動量に基づき、前記顔画像における前記顔特徴を移動させた画像を生成する変形顔画像作成ステップと、を備えることを特徴とする顔画像変形方法。
【請求項２】
前記顔特徴移動量決定ステップは、前記顔特徴抽出ステップにより抽出された顔特徴と類似する顔特徴により規定される統計的学習則に基づき当該顔特徴の移動量を決定することを特徴とする請求項１記載の顔画像変形方法。
【請求項３】
前記顔特徴移動量決定ステップは、統計的学習則として、前記顔特徴抽出ステップにより抽出された顔特徴を入力とし、当該顔特徴の移動量を出力とするニューラルネットワークが用いられることを特徴とする請求項１記載の顔画像変形方法。
【請求項４】
前記統計的学習則に用いられる学習データは、複数のクラスタから構成され、
前記顔画像の変形の方針を指定する方針指定ステップを備え、
前記顔特徴移動量決定ステップは、前記方針指定ステップにより指定された前記方針に基づき選択される前記クラスタを前記学習データとして使用することを特徴とする請求項１から３のいずれか一項に記載の顔画像変形方法。
【請求項５】
変形を施す顔パーツを指定する顔パーツ指定ステップを備え、
前記顔特徴移動量決定ステップは前記指定された顔パーツに係る顔特徴の移動量のみを決定することを特徴とする請求項１から４のいずれか一項に記載の顔画像変形方法。
【請求項６】
前記顔画像入力ステップに入力される顔画像は視点が異なる2以上の画像を含み、
前記顔特徴抽出ステップは、3次元空間における顔特徴の位置を抽出し、
前記顔特徴移動量決定ステップは、3次元空間における当該顔特徴の移動量を決定することを特徴とする請求項１から５いずれか一項に記載の顔画像変形方法。
【請求項７】
顔画像を入力する画像入力部と、
前記顔画像から顔特徴である特徴点および特徴線を抽出する顔特徴抽出部と、
前記顔特徴抽出部により抽出された前記顔特徴の移動量を統計的学習則に基づき決定する顔特徴移動量決定部と、
前記顔特徴移動量決定部により決定された移動量に基づき、前記顔画像における前記顔特徴を移動させた画像を生成する変形顔画像作成部と、を備えることを特徴とする顔画像変形装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習データに基づき顔画像を変形し、適切な整形画像を作成する顔画像変形技術に関する。
【背景技術】
【０００２】
現在、世間の美容整形に対する関心は非常に高まっており、顔の一部分を整形するなどの施術は盛んに行われている状況にある。しかしながら、整形を行う前には綿密な話し合いの元、整形の詳細が決定されるものの、整形前に整形後の顔が確認できないため、顧客側には不安が残っているのが現状である。
【０００３】
この問題点を解決するために、仮想的に整形後の顔画像を生成し顧客に提示するシステム（特許文献１）や、整形の方針を画面に提示し整形後の顔に対する理解を深めるシステム（特許文献２）、モーフィング用いて自身の顔を好みの顔に近づける方法（特許文献３）などの技術が知られている。
【０００４】
【特許文献１】特開２００２−１０９５５５（段落番号００１２−００１３、図１５）
【特許文献２】特開２００５−６２９６０（段落番号０００５−０００８、図３）
【特許文献３】特開平１１−１８５０４８（段落番号０００６、図４）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように、仮想的な整形を行い顧客に提示する種々の技術がある。しかしながら、特許文献１の技術では、顔のパーツ（目、眉、鼻、口、輪郭など）をどのように変形させるかを数値で入力しなければならないため、直感的な操作が困難である。また、特許文献２の技術では、美しくなるための指針は直感的に得られるが、整形後の顔を確認することはできない。特許文献３の技術は、顔パーツ毎に好みの人に近づけた整形画像を作成することはできるが、総合的に美しい整形画像を得るためには多くの試行錯誤が必要となる。本発明の課題は、簡易な操作で、整形を望む顧客に適した整形画像を得ることができる顔画像変形方法および装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の顔画像変形方法は、顔画像を入力する画像入力ステップと、前記顔画像から顔特徴である特徴点および特徴線を抽出する顔特徴抽出ステップと、前記顔特徴抽出ステップにより抽出された前記顔特徴の移動量を学習データに基づき決定する顔特徴移動量決定ステップと、前記顔特徴移動量決定ステップにより決定された移動量に基づき、前記顔画像における前記顔特徴を移動させた画像を生成する変形顔画像作成ステップを備える。
この方法によると、学習データに蓄積されている過去の変形データを基に変形に係る顔特徴の移動量が決定されるため、ユーザは自身の顔をどのように変形させれば美しくなるかが不明な場合にも対応することができる。さらに、変形後の顔画像を生成しユーザに提示されるので、整形後の顔を確認することが可能となる。
【０００７】
本発明の顔画像変形方法は、前記顔特徴移動量決定ステップは、前記顔特徴抽出ステップにより抽出された顔特徴と類似する顔特徴を有する前記学習データの移動量に基づき当該顔特徴の移動量を決定する。この方法によると、ユーザの顔特徴と類似する顔特徴を持つ学習データが抽出され、当該学習データに対応する顔特徴の移動量に基づき、ユーザの顔特徴の移動量が決定されるため、ユーザの顔に類似する顔の人が過去に行った変形に基づきユーザの顔の変形が決定されるため、ユーザの顔特徴に対し適切な変形を得ることができる。
【０００８】
本発明の顔画像変形方法は、前記顔特徴移動量決定ステップは、前記顔特徴抽出ステップにより抽出された顔特徴を入力とし、当該顔特徴の移動量を出力とするニューラルネットワークを用いることを特徴とする。これにより、過去の学習データに基づき、容易にユーザに適切な変形顔画像を得ることが可能となる。
【０００９】
本発明の顔画像変形方法は、前記学習データは、複数のクラスタから構成され、前記顔画像の変形の方針を指定する方針指定ステップを備え、前記顔特徴移動量決定ステップは、前記方針指定ステップにより指定された前記方針に基づき選択される前記クラスタを前記学習データとして使用する。これにより、例えば、自身の顔の印象を変えたい場合などにその印象に対応する学習データを用いることができ、容易に所望の印象を与える顔貌への変形顔画像を得ることが可能となる。
【００１０】
本発明の顔画像変形方法は、変形を施す顔パーツを指定する顔パーツ指定ステップを備え、前記顔特徴移動量決定ステップは前記指定された顔パーツに係る顔特徴の移動量のみを決定する。これにより、顔の一部分のみを変形させたい場合にも対応することが可能となる。
【００１１】
本発明の顔画像変形方法は、前記画像入力ステップに入力される顔画像は視点が異なる2以上の画像を含み、前記顔特徴抽出ステップは、3次元空間における顔特徴の位置を抽出し、前記顔特徴移動量決定ステップは、3次元空間における当該顔特徴の移動量を決定する。これにより、顔特徴を３次元的に捉えることができ、鼻等のように２次元では変形の確認が困難な場合にも対応することが可能となる。更に、複数視点画像を用いることにより３次元変形顔画像を生成することができ、様々な角度から整形後の顔を確認することが可能となる。
【００１２】
さらに、本発明では、上述した顔画像変形方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。
さらに、本発明では、上述した顔画像変形方法を組み込んだ顔画像変形装置も権利の対象としており、そのような顔画像変形装置は、顔画像を入力する画像入力部と、前記顔画像から顔特徴である特徴点および特徴線を抽出する顔特徴抽出部と、前記顔特徴抽出部により抽出された前記顔特徴の移動量を学習データに基づき決定する顔特徴移動量決定部と、前記顔特徴移動量決定部により決定された移動量に基づき、前記顔画像における前記顔特徴を移動させた画像を生成する変形顔画像作成部とから構成されている。当然ながら、このような顔画像変形装置は上述した顔画像変形方法で述べた全ての作用効果を得ることができる。
【発明を実施するための最良の形態】
【００１３】
〔第１の実施形態〕
本発明による、顔画像の変形方法および装置の実施形態を図面に基づき説明する。
図１は、本発明による顔画像変形方法を用いた顔画像変形装置の構成図である。この顔画像変形装置は、装置全体を制御するコントローラ１、コントローラ１に対しユーザの顔画像を入力するカメラ２１、顔画像が記録された各種半導体メモリやＣＤ−Ｒから顔画像データを取得するメディアリーダ２２、写真等から顔画像データを取得するスキャナ２３、コントローラ１を操作するための入力を行う入力機器２４、各種情報を表示するモニタ２５が接続されている。入力機器２４は、キーボード２４ａやマウス２４ｂなどを用いることができ、さらにトラックボールやモニタ２５上に設置されたタッチパネルをも使用することができる。本実施形態では、汎用パソコンをコントローラ１として機能させている。この場合、コントローラ１をサーバとして機能させ、図示していないネットワークを通じて、クライアント端末から顔画像を送信し、変形顔画像を生成し、返送するなどの構成とすることもできる。
【００１４】
この顔画像変形装置のコントローラ１は、ＣＰＵを中核部材として、顔画像変形装置の種々の動作を行うための機能部をハードウェア又はソフトウェアあるいはその両方で構築している。図２に示されているように、本発明に特に関係する機能部としては、カメラ２１、メディアリーダ２２、スキャナ２３によって読み取られた顔画像を取り込む画像入力部１１、画像入力部１１により取り込まれた顔画像を保持するメモリ１２、各種ウィンドや各種操作ボタンなどを含むグラフィック操作画面の作成やそれらのグラフィック操作画面を通じてのユーザ操作入力（キーボード２４ａやマウス２４ｂなどによる）から制御コマンドを生成するＧＵＩ（Graphical User Interface）を構築するＧＵＩ部１３、メモリ１２に保持されている顔画像の変形画像を作成する顔画像変形部１４、顔画像変形部１４で作成された変形顔画像の表示やＧＵＩ部１３により生成されるＧＵＩ画面をモニタ２５に表示させるためのビデオ信号を生成するビデオ制御部１５などが挙げられる。
【００１５】
顔画像変形部１４は、メモリ１２に保持されている顔画像データから顔変形の基礎となる特徴点および特徴線（以下、顔特徴と称する）を抽出する顔特徴抽出部３０、学習データを基に顔特徴抽出部３０により抽出された顔特徴の移動量を決定する顔特徴移動量決定部３１、メモリ１２に保持されている顔画像の顔特徴を顔特徴移動量決定部３１により決定された移動量だけ移動させた変形顔画像を作成する変形顔画像作成部３２を備えている。また、顔特徴移動量決定部３１は、学習データを記憶する学習データ記憶部３１ａを有している。
【００１６】
通常、顔画像変形部１４は、ソフトウェアで構成されているが、これらをソフトウェアおよびハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
【００１７】
次に、本発明による変形顔画像生成方法の動作を図３のフローチャートを用いて説明する。先ず、画像入力部１１対し、カメラ２１、メディアリーダ２２もしくはスキャナ２３からユーザの顔画像が入力され、入力された顔画像は顔の大きさの正規化や色補正などの前処理を施され、前処理前後の顔画像が共にメモリ１２に顔画像が蓄積される（＃０１）。このとき、顔の大きさは、両眼距離が所定の距離になるよう正規化され、正規化時の拡大／縮小比率も同時にメモリ１２に記憶される。このように正規化することにより、各人の顔の大きさに左右されることなく、顔特徴の移動量を求めることができる。また、入力された顔画像が低解像度である場合には、例えば特開２００６−２２２４９３に開示されている技術により高解像度画像化し、原画像に代えて使用しても構わない。このように構成することにより、複数枚の低解像度画像が得られさえすれば、低解像度のカメラ２１を使用することができ、装置の低廉化に寄与する。さらに、低解像度のカメラ２１を用いても、変形後の画像の品質を維持することができる。
【００１８】
顔画像変形装置に顔画像を入力したユーザは、変形を希望する顔パーツ（以下、変形顔パーツと称する）がある場合には、モニタ２５上に構成されているＧＵＩを通して、変形顔パーツを指定することができる。この指定を行うことにより、例えば「眼」のみを変形させたい等の要望に応えることができる。このとき、ＧＵＩ部１３は、ＧＵＩとして各顔パーツの名称と共にチェックボックスを表示し、ユーザに変形顔パーツに対応するチェックボックスのチェックを入れさせる、マウス２４ｂを用いて、変形顔パーツを直接指定させるなどの方法を用いて、いずれの顔パーツが指定されたかを取得する。変形顔パーツの指定方法は、これに限定されるものではなく、他の方法を用いても構わない。また、変形顔パーツの指定は、複数の指定が可能であり、さらに「眼」等のように対になっている顔パーツに関しては、一方が指定された場合には他方も指定されたとみなすなどの構成とし、ユーザの利便性を高めることも可能である。
【００１９】
ＧＵＩ部１３は、ユーザが指定した変形顔パーツを顔画像変形部１４に通知する。ユーザから変形顔パーツの指定がない場合には、所定の変形顔パーツが指定されたものとして処理を進める。
【００２０】
顔画像変形部１４において、顔特徴抽出部３０が図４に示す顔特徴を抽出する（＃０２）。顔特徴抽出部３０は、汎用的な顔特徴抽出プログラムを使用することができ、さらに顔特徴抽出部３０が抽出した顔特徴の位置をＧＵＩ部１３がユーザに提示し、ユーザはマウス２４ｂ等を操作することにより顔特徴位置を修正することも可能である。また、顔特徴抽出部３０を用いずに、ＧＵＩ部１３を通じてユーザがマウス２４ｂ等を操作することにより、直接顔特徴位置を指定することも可能である。
【００２１】
本実施形態においては、顔特徴は図４に示す、左右の眉尻ＰＲＢ１およびＰＬＢ１、左右の眉頭ＰＲＢ２およびＰＬＢ２、左右の目尻ＰＲＥ１およびＰＬＥ１、左右の目頭ＰＲＥ２、ＰＬＥ２、鼻ＰＲＮ、ＰＣＮおよびＰＬＮ、左右の口角ＰＲＬおよびＰＬＬ、顔輪郭上の３点ＰＲＦ、ＰＣＦおよびＰＬＦ、左右の眉の輪郭線ＬＲＢＵ、ＬＲＢＬ、ＬＬＢＵおよびＬＬＢＬ、左右の目の輪郭線ＬＲＥＵ、ＬＲＥＬ、ＬＬＥＵおよびＬＬＥＬ、唇の輪郭線ＬＬＵおよびＬＬＬ、輪郭線ＬＦである。顔特徴はこれに限定されるものではなく、他の特徴点および特徴線を顔特徴として用いても構わない。また、本実施形態においては、特徴線は、曲線をベクトル化する方法を用いるが、関数によって近似し、係数を顔特徴として用いても良いし、他の方法を用いても構わない。
【００２２】
次に、顔特徴移動量決定部３１が後述する方法により、顔特徴抽出部３０により抽出された顔特徴の移動量を決定する（＃０３）。このとき、ユーザが変形顔パーツを指定している場合は、指定された顔パーツに係る顔特徴の移動量が求められるが、これに限定されるものではなく、全顔特徴の移動量を求め、ユーザが指定した変形顔パーツに係る顔特徴のみを移動させ、変形顔画像を生成する構成にしても構わない。
【００２３】
変形顔画像作成部３２は、メモリ１２に保持されている顔画像に対し、顔特徴抽出部３０により抽出された顔特徴を顔特徴移動量決定部３１により決定された移動量だけ移動させることにより、変形顔画像を作成する（＃０４）。このとき、メモリ１２に保持されている正規化時の拡大／縮小比の逆数を移動量にかけることにより、正規化前の顔画像の顔特徴の移動量を算出することができる。
【００２４】
次に、図５のフローチャートを用いて顔特徴移動量決定部３１の動作を説明する。学習データ記憶部３１ａには、多数の変形前顔画像の顔特徴と変形前後のそれらの移動量が蓄積されており、これらが顔特徴移動量決定部３１で顔特徴の移動量を決定するための辞書として機能する。この辞書は、各変形前顔画像を顔特徴で張る多次元空間（以下、特徴空間と称する）中の点として表現し、それらの点群、および点群の分散共分散行列Σで構成されている。すなわち、辞書に登録されている画像数をＮ、特徴空間の次元数をｒとすると、各変形前顔画像は特徴空間中の１点ｄiに対応し、辞書は点群｛ｄi｜ｉ＝１、２…Ｎ｝および分散共分散行列Σ∈Ｒr×rとして表される。当然ながら、辞書作成時にも、前述した正規化を施された顔画像が使用される。
【００２５】
先ず、最小距離Ｌminおよび最近点ｄnearを初期化（＃１１）し、顔特徴抽出部３０により抽出された顔特徴を特徴空間の点Ｐとして表現する（＃１２）。顔特徴から特徴空間中の点Ｐとする方法は、特徴点と特徴線を構成するベクトルの要素を所定の順序で並べることにより行うものとするが、これに限定される訳ではなく、他の方法を用いても構わない。
【００２６】
次に、点Ｐと辞書中の点ｄiとの距離を計算する（＃１３）。点Ｐと点ｄiの距離Ｌは、Ｌ＝（Ｐ−ｄi）TΣ+（Ｐ−ｄi）で表すことができる。ここでＴは行列の転置、＋は擬似逆行列を表すものとする。上記距離Ｌの式は、クラスタと点の距離を表すマハラノビス距離の式を変形したものである。マハラノビス距離を用いた場合、各固有ベクトル軸における点群｛ｄi｝の分散値に応じて距離計算時に重みがかけられるため、点群｛ｄi｝の分布特徴に応じた距離計算が可能となっている。本実施形態では、この考え方に基づき、点間距離Ｌを求めている。距離計算は、これに限定されるものではなく、ユークリッド距離など、他の距離を用いても構わない。
【００２７】
点Ｐと点ｄiとの距離Ｌがその時点の最小距離Ｌminより小さい場合（＃１４のＹｅｓ分岐）には、最近点ｄnear＝点ｄi、Ｌmin＝Ｌとする（＃１５）。この処理を全ての点ｄiに対して行い、全ての点ｄiに対する距離計算が完了した（＃１６のＹｅｓ分岐）時点でのｄnearに対応する顔特徴の移動量を点Ｐに対する移動量として決定する（＃１７）。このように、顔特徴の移動量を決定すれば、顔画像を入力したユーザと類似する顔特徴を持つ他人が行った変形と同等の変形を行うことができる。換言すると、ユーザは自分の顔をどのように変形すれば美しくなれるかが明確に分かっていない場合でも、過去に蓄積された変形パターンから自身と似た顔立ちの人が行った変形を用いることで、容易に自身に相応しい変形方法による顔画像変形を行うことが可能となる。
【００２８】
辞書との距離に基づく移動量の決定方法は、上記方法に限定されるものではなく、点Ｐと全ｄiとの距離を求め、距離が近いものから所定数を選択し、それらに対応する移動量の平均値を移動量として決定する、所定距離以内のｄiに対応する移動量の平均を移動量として決定するなどの方法を用いることも可能であるし、他の方法により移動量を決定しても構わない。
【００２９】
また、このとき、変形顔パーツの指定があった場合には、特徴点および特徴線をベクトル化する際に、必要な顔パーツの特徴点および特徴線のみを用いてベクトル化を行い、特徴空間の距離計算時にも、必要に応じ、特徴空間の次元を変更する。
【００３０】
さらに、ＧＵＩ部１３を通じて、ユーザがどのような印象の顔貌になりたいかを指定させることも可能である。この場合には、学習データは印象毎の複数クラスタに分割されており、ユーザが選択した印象に対応するクラスタを学習データとして使用することにより、ユーザは容易に所望の印象を与える顔貌になるための特徴点および特徴線の移動量を求めることができる。相貌の印象とは、例えば、かわいらしい、理知的、若々しい、などである。このような構成を用いることにより、ユーザは自分と似た顔貌の人が、ある印象を与えるために施した顔の変形を自身の顔に施した結果を知ることができる。
【００３１】
また、顔特徴移動量決定部３１はニューラルネットワークを用いても実現することが可能である。顔特徴移動量決定部３１にニューラルネットワークを用いた場合には、学習データ記憶部３１ａには、図６に示すニューラルネットワークを構築するパラメータ等が記憶されている。図６のニューラルネットワークは、入力層が顔特徴、出力層が各顔特徴の移動量となる構成となっているが、この構成に限定されるものではなく、複数のニューラルネットワークを用い、各ニューラルネットワークを各顔パーツに対応させる、複数の顔パーツを組み合わせたものを対応させるなど、他の構成のニューラルネットワークを使用しても構わない。また、前記構成のニューラルネットワークを準備しておき、ユーザからの変形顔パーツの指定の有無などにより使用するニューラルネットワークを切り替えてもよい。このような構成すると、全顔特徴を１つのニューラルネットワークで処理した場合は、全体のバランスを考慮した変形、顔パーツ毎のニューラルネットワークを使用した場合には、個々の顔パーツに特化した変形、複数の顔パーツを一つのニューラルネットワークで処理した場合は、顔パーツ間のバランスを考慮した変形など、様々な状況に応じた変形を行うことが可能となる。
【００３２】
顔特徴移動量決定部３１は、図６のニューラルネットワークの入力層に対し、顔特徴抽出部３０により抽出された顔特徴を設定し、出力層への出力を当該顔特徴の移動量とする。この場合にも、ＧＵＩ部１３を通じて、ユーザが変形顔パーツを指定していれば、指定された顔パーツに係る顔特徴に対する移動量のみが次の変形顔画像作成部３２に渡される。ニューラルネットワークを用いた場合にも、顔の印象毎にニューラルネットワークを作成しておき、ユーザが所望する顔貌の印象によりニューラルネットワークを切り替えるなどの構成としても構わない。
【００３３】
次に、図７のフローチャートを用いて変形顔画像作成部３２において「眼」を変形させる場合の動作を説明する。他の顔パーツを変形させる場合も同様なので、他の顔パーツの変形の説明は割愛する。先ず、顔特徴移動量決定部３１により決定された移動量を用いて特徴点ＰＲＥ１、ＰＲＥ２、ＰＬＥ１、ＰＬＥ２および特徴線ＬＲＥＵ、ＬＲＥＬ、ＬＬＥＵ、ＬＬＥＬを移動させる（＃２１）。次に、移動後の顔特徴で規定される顔パーツ（「眼」）を構成する点群｛ｑi｜ｉ＝１、２…Ｍ｝を抽出し、各点ｑiの変形前の画像における対応点ｐiを求め（＃２２）、ｐiの画素値をｑiの画素値とする（＃２３）。ｑiの座標値は整数であるが、対応するｐiの座標値は、一般的には整数とならないため、ｐiの周辺画素値を用いて補間によりｐiの画素値を求め、それをｑiの画素値とする。これを全てのｑiの画素値が求まるまで（＃２４のYes分岐）繰り返すことにより、変形顔画像を作成する。このとき、変形前の画像で「眼」であった領域かつ｛ｑi｝に含まれていない領域は、変形後の画像では画素値が不定になっている。このような画素は、周辺の肌色画素を用いる等して画素値を決定する（＃２５）。
【００３４】
図８に、左眼を変形した場合を示す。この変形では、特徴線ＬＬＥＵがＬＬＥＵ'に移動することにより眼を大きくしている。このとき、特徴線ＬＬＥＵ'とＬＬＥＬで囲まれる領域が｛ｑi｝である。顔特徴の移動から、変形前画像における点ｑiに対応する点を求め、その点の画素値を求め、その画素値を点ｑiの画素値とする。この例では、変形前の目領域は全て｛ｑi｝に属すため、画素値が不定になる画素は存在しないが、目尻の位置を変えた場合などには、画素値が不定となる画素が存在し、それらの画素値は周辺の肌色画素等を用いてを決定する。
【００３５】
変形顔画像作成部３２により作成された変形顔画像は、ビデオ制御部１５を通じモニタ２５に表示される。このとき、さらにＧＵＩ部１３を通じてユーザが顔特徴位置を変更可能にしても構わない。また、変形顔画像をユーザが気に入ったか否かを選択するボタン等をＧＵＩ上に構成することもでき、ユーザが気に入った場合には、当該ユーザの顔特徴とその移動量が学習データ記憶部３１ａに通知され、学習データ記憶部３１ａは通知された顔特徴およびその移動量を学習データに追加し、再学習を行う。再学習は、新たなデータが追加された都度行っても良いし、所定数のデータが追加された時点で行う等所定のタイミングで行っても構わない。このような構成を用いることにより、ユーザが顔画像変形装置を用いる毎に、学習データを強化することができる。
【００３６】
〔第２の実施形態〕
本発明による、顔画像の変形方法および装置の第２の実施形態を図面に基づき説明する。本発明による第２の実施形態は、第１の実施形態の機能に加え、３次元座標算出部３１ｂを備えている。本発明の第２の実施形態においては、画像入力部１１に対し、３次元座標が計算可能なデータ入力される。３次元座標が計算可能なデータは、例えば、ステレオカメラに代表される多視点画像や通常の顔画像およびレンジファインダ等による３次元データの組などを用いることができるが、これに限定されるものではなく、他の情報を用いても構わない。好ましくは、多視点画像が生成可能であり処理量が少ない３眼カメラによる画像を使用する。本実施形態においても３眼カメラを用いるものとする。図１０に３眼カメラの配置例を示す。この例に場合には、カメラ２１ａ、２１ｂおよび２１ｃは全て光軸が平行となる平行ステレオカメラとしているが、輻輳ステレオカメラとしても構わない。輻輳ステレオカメラを用いた場合には、平行ステレオカメラに比べ演算量が増加するが、多視点画像生成時の視点移動の幅を広くすることができる。また、カメラ２１ａとカメラ２１ｂ間の基線長およびカメラ２１ｂとカメラ２１ｃ間の基線長を一致させているが、この配置に限定されるものではなく、他の配置を用いても構わない。カメラ２１ｂの水平位置を他のカメラと異ならせているが、全てのカメラの水平位置を同一にしても構わない。このような３眼カメラを用いることにより、顔特徴の３次元位置を特定すると共に、視点を移動させて変形顔画像を確認することが可能となる。
【００３７】
以下、図９のフローチャートを用いて本発明の第２の実施形態の動作を説明する。画像入力部１１に対し、３眼カメラにより撮影された３枚の顔画像が入力され（＃３１）、前処理が施された後、メモリ１２に記憶される。顔特徴抽出部３０では、メモリ１２に記憶された３枚の画像それぞれから顔特徴が抽出される（＃３２）。顔特徴移動量決定部３１において、３次元座標算出部３１ｂにより各顔特徴の３次元座標が算出される（＃３３）。本実施形態においては、入力画像は３眼カメラを用いているため、通常のステレオカメラを用いた三角測量に基づく３次元計測方法と同様の方法で、３次元座標を算出することができる。ステレオカメラを用いた３次元計測においては、一般的に基線長が長い方が距離精度が高いことが知られているため、この３次元座標の算出に際し、カメラ２１ａとカメラ２１ｃから取得された画像間での対応を優先させる。カメラ２１ａとカメラ２１ｃから取得された画像間で、特徴点および特徴線の対応が取れない場合に限り、カメラ２１ｂにより取得された画像を用いる。
【００３８】
また、３次元座標算出部３１ｂは、顔特徴の３次元座標からユーザの３次元顔モデルを生成する。３次元顔モデルは、入力画像から直接生成しても良いし、予め基本顔モデルを保持しておき、得られた顔特徴の３次元座標を用いて基本顔モデルを変形し、ユーザの顔に合った顔モデルを作成しても構わない。このように、変形顔モデルを作成しておくことにより、３次元変形顔画像を容易に作成することが可能となる。
【００３９】
次に、学習データ記憶部３１ａに記憶されている学習データを用い、前記の方法により顔特徴の３次元移動量が決定される。なお、本実施形態の場合、学習データ記憶部３１ａに記憶されている学習データも全て３次元的に変形を施されたデータである。
【００４０】
変形顔画像作成部３２では、３次元座標算出部３１ｂにより作成された３次元顔モデルの顔特徴を、顔特徴移動量決定部３１により決定された移動量に基づき移動させ（＃３４）、変形後のモデルにメモリ１２に保持されているユーザの顔画像をレンダリングし、３次元顔画像を生成する（＃３５）。この場合、モニタ２５は通常の２次元モニタやレンチキュラ方式、パララックスバリヤ方式等の３次元モニタを使用することができ、ビデオ制御部１５は、接続されているモニタ２５に応じて、３次元顔画像のフォーマットを変換し、モニタ２５に表示させる。同時に、ＧＵＩ部１３は、モニタ２５に表示されている顔画像を異なる視点から見られるように操作可能なＧＵＩを提供し、ユーザはマウス２４ｂ等を操作し、視点の変更を指示し、ＧＵＩ部１３はビデオ制御部１５に視点変更を通知し、視点変更を通知されたビデオ制御部１５は視点変更に応じた表示画像を生成する。
【００４１】
本実施形態では、顔特徴を３次元位置で捉え、変形させることにより、鼻の高さに代表される２次元画像では確認が困難な顔特徴のカメラの視線方向への変形をも表現することが可能となる。更に、３眼カメラ等の多視点画像を用いることにより、ユーザが変形後の顔を確認する際に、様々な視点から見た画像を提供することができ、変形後の顔画像をより理解することが可能となる。
【００４２】
上述した実施形態の説明では、本発明による顔画像変形方法が汎用コンピュータにプログラムとして組み込まれた例を説明したが、専用ハードウェアを用いて、ロジックの組み合わせによりハードウェアのみで、もしくはハードウェアとソフトウェアを組み合わせた構成としても構わない。
【図面の簡単な説明】
【００４３】
【図１】本発明による顔画像変形方法を用いた装置の外観図
【図２】本発明による顔画像変形方法の機能要素を示す機能ブロック図
【図３】本発明の第１の実施形態おける処理の流れを示すフローチャート
【図４】本発明の実施形態における顔の特徴点および特徴線を示す図
【図５】本発明の実施形態における特徴点および特徴線の移動量を決定するフローチャート
【図６】本発明の実施形態における特徴点および特徴線の移動量の決定に使用するニューラルネットワークを示す図
【図７】本発明の実施形態における特徴点および特徴線の移動の流れを示すフローチャート
【図８】本発明の実施形態における特徴点および特徴点の移動を示す図
【図９】本発明の第２の実施形態における処理の流れを示す図
【図１０】本発明の第２の実施形態におけるカメラの配置を示す図
【符号の説明】
【００４４】
１：コントローラ
１１：画像入力部
１２：メモリ
１３：ＧＵＩ部
１４：顔画像変形部
１５：ビデオ制御部
２１：カメラ
２２：メディアリーダ
２３：スキャナ
２４：入力機器
２４ａ：キーボード
２４ｂ：マウス
２５：モニタ
３０：顔特徴抽出部
３１：顔特徴移動量決定部
３１ａ：学習データ記憶部
３１ｂ：３次元座標算出部
３２：変形顔画像作成部
【図１】
2009009296.tif 000003
【図２】
2009009296.tif 000004
【図３】
2009009296.tif 000005
【図４】
2009009296.tif 000006
【図５】
2009009296.tif 000007
【図６】
2009009296.tif 000008
【図７】
2009009296.tif 000009
【図８】
2009009296.tif 000010
【図９】
2009009296.tif 000011
【図１０】
2009009296.tif 000012