(57)【要約】【課題】対象物を仮想的に着色するシミュレーションにおいて、着色した状態であっても、着色していない状態と同等の色再現性を確保する。【解決手段】登録画像記憶部２０１は、着色される前の対象物を撮像した撮像画像を登録画像として予め記憶するとともに、登録画像内の対象物を表す領域に含まれる第１の特徴点の位置を登録画像に対応付けて予め記憶し、撮像画像取得部１０２は、着色された後の対象物を撮像した撮像画像を取得し、特徴点抽出部１０３は、撮像画像内の対象物を表す領域に含まれ、第１の特徴点と同じ位置にある第２の特徴点を抽出し、補正部１０７は、第１の特徴点と第２の特徴点との位置関係に基づいて、登録画像の各画素の座標を補正し、シミュレーション実行部１０８は、補正された登録画像に基づいて、対象物を表す領域を仮想的に着色する。【選択図】図２
2008065379.tif 000002
【特許請求の範囲】
【請求項１】
着色される前の対象物を撮像した撮像画像を登録画像として予め記憶する登録画像記憶手段と、
着色された後の前記対象物を撮像した撮像画像を取得する撮像画像取得手段と、
前記登録画像記憶手段に記憶されている前記登録画像を取得する登録画像取得手段と、
前記登録画像取得手段によって取得された前記登録画像内の前記対象物を表す領域に含まれる第１の特徴点を取得する第１の特徴点取得手段と、
前記撮像画像取得手段によって取得された前記撮像画像内の前記対象物を表す領域に含まれ、前記第１の特徴点と同じ位置にある第２の特徴点を抽出する第２の特徴点抽出手段と、
前記第１の特徴点取得手段によって取得された前記第１の特徴点と、前記第２の特徴点抽出手段によって抽出された前記第２の特徴点との位置関係に基づいて、前記登録画像の各画素の座標を補正する補正手段と、
前記補正手段によって補正された前記登録画像に基づいて、前記対象物を表す領域を仮想的に着色するシミュレーションを実行するシミュレーション実行手段としてコンピュータを機能させることを特徴とする着色シミュレーションプログラム。
【請求項２】
前記登録画像記憶手段は、前記登録画像内の前記対象物を表す領域に含まれる第１の特徴点の位置を前記登録画像に対応付けて予め記憶し、
前記第１の特徴点取得手段は、前記登録画像取得手段によって取得された前記登録画像に対応付けられている前記第１の特徴点の位置を前記登録画像記憶手段から取得することを特徴とする請求項１記載の着色シミュレーションプログラム。
【請求項３】
前記第１の特徴点取得手段は、前記登録画像取得手段によって取得された前記登録画像から前記第１の特徴点を抽出することを特徴とする請求項１記載の着色シミュレーションプログラム。
【請求項４】
前記対象物は、人間の顔であることを特徴とする請求項１〜３のいずれかに記載の着色シミュレーションプログラム。
【請求項５】
ユーザを識別するための識別情報のユーザによる入力を受け付ける受付手段としてコンピュータをさらに機能させ、
前記登録画像記憶手段は、前記識別情報を前記登録画像に対応付けて予め記憶し、
前記登録画像取得手段は、前記受付手段によって受け付けられた前記識別情報に対応付けられている前記登録画像を前記登録画像記憶手段から取得することを特徴とする請求項１〜４のいずれかに記載の着色シミュレーションプログラム。
【請求項６】
前記第１の特徴点及び前記第２の特徴点は、少なくとも２つの特徴点を含むことを特徴とする請求項１〜５のいずれかに記載の着色シミュレーションプログラム。
【請求項７】
前記補正手段は、前記撮像画像取得手段によって取得された前記撮像画像内の人間の髪を表す髪領域と、人間の肌を表す肌領域とを識別し、前記第１の特徴点と前記第２の特徴点との位置関係に基づいて、識別された前記撮像画像の前記肌領域の各画素の座標に対応する前記登録画像の肌領域の各画素の座標を補正し、
前記シミュレーション実行手段は、前記補正手段によって補正された前記登録画像に基づいて、前記撮像画像の肌領域のみを仮想的に着色するシミュレーションを実行することを特徴とする請求項４記載の着色シミュレーションプログラム。
【請求項８】
撮像画像取得手段が、着色された後の対象物を撮像した撮像画像を取得する撮像画像取得ステップと、
登録画像取得手段が、着色される前の対象物を撮像した撮像画像を登録画像として予め記憶している登録画像記憶手段から前記登録画像を取得する登録画像取得ステップと、
第１の特徴点取得手段が、前記登録画像取得ステップにおいて取得された前記登録画像内の前記対象物を表す領域に含まれる第１の特徴点を取得する第１の特徴点取得ステップと、
第２の特徴点抽出手段が、前記撮像画像取得ステップにおいて取得された前記撮像画像内の前記対象物を表す領域に含まれ、前記第１の特徴点と同じ位置にある第２の特徴点を抽出する第２の特徴点抽出ステップと、
補正手段が、前記第１の特徴点取得ステップにおいて取得された前記第１の特徴点と、前記第２の特徴点抽出ステップにおいて抽出された前記第２の特徴点との位置関係に基づいて、前記登録画像の各画素の座標を補正する補正ステップと、
シミュレーション実行手段が、前記補正ステップにおいて補正された前記登録画像に基づいて、前記対象物を表す領域を仮想的に着色するシミュレーションを実行するシミュレーション実行ステップとを含むことを特徴とする着色シミュレーション方法。
【請求項９】
着色される前の対象物を撮像した撮像画像を登録画像として予め記憶する登録画像記憶手段と、
着色された後の前記対象物を撮像した撮像画像を取得する撮像画像取得手段と、
前記登録画像記憶手段に記憶されている前記登録画像を取得する登録画像取得手段と、
前記登録画像取得手段によって取得された前記登録画像内の前記対象物を表す領域に含まれる第１の特徴点を取得する第１の特徴点取得手段と、
前記撮像画像取得手段によって取得された前記撮像画像内の前記対象物を表す領域に含まれ、前記第１の特徴点と同じ位置にある第２の特徴点を抽出する第２の特徴点抽出手段と、
前記第１の特徴点取得手段によって取得された前記第１の特徴点と、前記第２の特徴点抽出手段によって抽出された前記第２の特徴点との位置関係に基づいて、前記登録画像の各画素の座標を補正する補正手段と、
前記補正手段によって補正された前記登録画像に基づいて、前記対象物を表す領域を仮想的に着色するシミュレーションを実行するシミュレーション実行手段とを備えることを特徴とする着色シミュレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物に対して仮想的に着色する着色シミュレーションプログラム、着色シミュレーション方法及び着色シミュレーション装置に関するものである。
【背景技術】
【０００２】
従来、ユーザの顔画像を撮影し、この顔画像に化粧を施した画像を合成し、これをユーザに提示するシミュレーション装置が提案されている（例えば、特許文献１参照）。このような、従来のシミュレーション装置の場合、化粧を施した状態のユーザの顔画像を撮影し、化粧が施された顔画像に対してさらに仮想的に化粧を施すシミュレーションが行われる。
【特許文献１】特開２００２−７４３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のシミュレーション装置の場合、化粧が施された顔画像に対してさらに仮想的に化粧を施すシミュレーションが行われるため、シミュレーション結果は、既に化粧が施された顔画像に別の色が混色したものとなる。通常、ユーザは、化粧を施していない状態から化粧を施す。そのため、化粧を施した顔画像にさらに化粧を施すシミュレーションを行った場合、化粧を施していない状態から化粧を施したときの実際の色を正確に再現することが困難であった。
【０００４】
本発明は、上記の問題を解決するためになされたもので、対象物を仮想的に着色するシミュレーションにおいて、着色した状態であっても、着色していない状態と同等の色再現性を確保することができる着色シミュレーションプログラム、着色シミュレーション方法及び着色シミュレーション装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００５】
本発明に係る着色シミュレーションプログラムは、着色される前の対象物を撮像した撮像画像を登録画像として予め記憶する登録画像記憶手段と、着色された後の前記対象物を撮像した撮像画像を取得する撮像画像取得手段と、前記登録画像記憶手段に記憶されている前記登録画像を取得する登録画像取得手段と、前記登録画像取得手段によって取得された前記登録画像内の前記対象物を表す領域に含まれる第１の特徴点を取得する第１の特徴点取得手段と、前記撮像画像取得手段によって取得された前記撮像画像内の前記対象物を表す領域に含まれ、前記第１の特徴点と同じ位置にある第２の特徴点を抽出する第２の特徴点抽出手段と、前記第１の特徴点取得手段によって取得された前記第１の特徴点と、前記第２の特徴点抽出手段によって抽出された前記第２の特徴点との位置関係に基づいて、前記登録画像の各画素の座標を補正する補正手段と、前記補正手段によって補正された前記登録画像に基づいて、前記対象物を表す領域を仮想的に着色するシミュレーションを実行するシミュレーション実行手段としてコンピュータを機能させる。
【０００６】
本発明に係る着色シミュレーション方法は、撮像画像取得手段が、着色された後の対象物を撮像した撮像画像を取得する撮像画像取得ステップと、登録画像取得手段が、着色される前の対象物を撮像した撮像画像を登録画像として予め記憶している登録画像記憶手段から前記登録画像を取得する登録画像取得ステップと、第１の特徴点取得手段が、前記登録画像取得ステップにおいて取得された前記登録画像内の前記対象物を表す領域に含まれる第１の特徴点を取得する第１の特徴点取得ステップと、第２の特徴点抽出手段が、前記撮像画像取得ステップにおいて取得された前記撮像画像内の前記対象物を表す領域に含まれ、前記第１の特徴点と同じ位置にある第２の特徴点を抽出する第２の特徴点抽出ステップと、補正手段が、前記第１の特徴点取得ステップにおいて取得された前記第１の特徴点と、前記第２の特徴点抽出ステップにおいて抽出された前記第２の特徴点との位置関係に基づいて、前記登録画像の各画素の座標を補正する補正ステップと、シミュレーション実行手段が、前記補正ステップにおいて補正された前記登録画像に基づいて、前記対象物を表す領域を仮想的に着色するシミュレーションを実行するシミュレーション実行ステップとを含む。
【０００７】
本発明に係る着色シミュレーション装置は、着色される前の対象物を撮像した撮像画像を登録画像として予め記憶する登録画像記憶手段と、着色された後の前記対象物を撮像した撮像画像を取得する撮像画像取得手段と、前記登録画像記憶手段に記憶されている前記登録画像を取得する登録画像取得手段と、前記登録画像取得手段によって取得された前記登録画像内の前記対象物を表す領域に含まれる第１の特徴点を取得する第１の特徴点取得手段と、前記撮像画像取得手段によって取得された前記撮像画像内の前記対象物を表す領域に含まれ、前記第１の特徴点と同じ位置にある第２の特徴点を抽出する第２の特徴点抽出手段と、前記第１の特徴点取得手段によって取得された前記第１の特徴点と、前記第２の特徴点抽出手段によって抽出された前記第２の特徴点との位置関係に基づいて、前記登録画像の各画素の座標を補正する補正手段と、前記補正手段によって補正された前記登録画像に基づいて、前記対象物を表す領域を仮想的に着色するシミュレーションを実行するシミュレーション実行手段とを備える。
【０００８】
これらの構成によれば、登録画像記憶手段には、着色される前の対象物を撮像した撮像画像が登録画像として予め記憶されている。そして、着色された後の対象物を撮像した撮像画像が取得され、登録画像記憶手段に記憶されている登録画像が取得され、登録画像内の対象物を表す領域に含まれる第１の特徴点が取得される。続いて、撮像画像内の対象物を表す領域に含まれ、第１の特徴点と同じ位置にある第２の特徴点が抽出され、第１の特徴点と第２の特徴点との位置関係に基づいて、登録画像の各画素の座標が補正される。その後、補正された登録画像に基づいて、対象物を表す領域を仮想的に着色するシミュレーションが実行される。
【０００９】
したがって、対象物を仮想的に着色するシミュレーションにおいて、既に着色されている対象物に基づいて仮想的に着色するのではなく、着色されていない対象物に基づいて仮想的に着色するので、着色した状態であっても、着色していない状態と同等の色再現性を確保することができる。
【００１０】
また、上記の着色シミュレーションプログラムにおいて、前記登録画像記憶手段は、前記登録画像内の前記対象物を表す領域に含まれる第１の特徴点の位置を前記登録画像に対応付けて予め記憶し、前記第１の特徴点取得手段は、前記登録画像取得手段によって取得された前記登録画像に対応付けられている前記第１の特徴点の位置を前記登録画像記憶手段から取得することが好ましい。
【００１１】
この構成によれば、登録画像記憶手段には、着色される前の対象物を撮像した撮像画像が登録画像として予め記憶されているとともに、登録画像内の対象物を表す領域に含まれる第１の特徴点の位置が登録画像に対応付けて予め記憶されている。そして、登録画像に対応付けられている第１の特徴点の位置が登録画像記憶手段から取得される。
【００１２】
したがって、登録画像内の対象物を表す領域に含まれる第１の特徴点の位置を登録画像に対応付けて予め記憶しておくことにより、シミュレーション時に登録画像から第１の特徴点を抽出する処理を省くことができ、シミュレーション時における処理時間を短縮することができる。
【００１３】
また、上記の着色シミュレーションプログラムにおいて、前記第１の特徴点取得手段は、前記登録画像取得手段によって取得された前記登録画像から前記第１の特徴点を抽出することが好ましい。
【００１４】
この構成によれば、登録画像記憶手段に記憶されている登録画像が取得され、登録画像内の対象物を表す領域に含まれる第１の特徴点が抽出される。したがって、登録画像のみを予め記憶しておくことにより、メモリのデータ量を削減することができる。
【００１５】
また、上記の着色シミュレーションプログラムにおいて、前記対象物は、人間の顔であることが好ましい。この構成によれば、化粧が施される前の顔を撮像した登録画像の特徴点と、化粧が施された後の顔を撮像した撮像画像の特徴点との位置関係に基づいて、登録画像の各画素の座標が補正され、補正された登録画像に基づいて、顔を表す領域に仮想的に化粧を施すシミュレーションが実行される。したがって、顔に仮想的に化粧を施すシミュレーションにおいて、既に化粧が施されている顔に基づいて仮想的に化粧を施すのではなく、化粧が施されていない顔に基づいて仮想的に化粧が施されるので、化粧を施した状態であっても、化粧を施していない状態と同等の色再現性を確保することができる。
【００１６】
また、上記の着色シミュレーションプログラムにおいて、ユーザを識別するための識別情報のユーザによる入力を受け付ける受付手段としてコンピュータをさらに機能させ、前記登録画像記憶手段は、前記識別情報を前記登録画像に対応付けて予め記憶し、前記登録画像取得手段は、前記受付手段によって受け付けられた前記識別情報に対応付けられている前記登録画像を前記登録画像記憶手段から取得することが好ましい。
【００１７】
この構成によれば、ユーザを識別するための識別情報のユーザによる入力が受け付けられ、登録画像記憶手段には、識別情報が登録画像に対応付けて予め記憶され、受け付けられた識別情報に対応付けられている登録画像が登録画像記憶手段から取得される。
【００１８】
したがって、着色された後の対象物を撮像した撮像画像が取得され、この対象物と同一物であり、着色された後の対象物を撮像した登録画像が取得されるので、登録画像の各画素の座標を正確に補正することができ、シミュレーション結果をより現実に近いものにすることができる。
【００１９】
また、上記の着色シミュレーションプログラムにおいて、前記第１の特徴点及び前記第２の特徴点は、少なくとも２つの特徴点を含むことが好ましい。この構成によれば、第１の特徴点及び第２の特徴点は、少なくとも２つの特徴点を含んでいるので、第１の特徴点と第２の特徴点との１次元的な位置関係ではなく、２次元的な位置関係を特定することができる。
【００２０】
また、上記の着色シミュレーションプログラムにおいて、前記補正手段は、前記撮像画像取得手段によって取得された前記撮像画像内の人間の髪を表す髪領域と、人間の肌を表す肌領域とを識別し、前記第１の特徴点と前記第２の特徴点との位置関係に基づいて、識別された前記撮像画像の前記肌領域の各画素の座標に対応する前記登録画像の肌領域の各画素の座標を補正し、前記シミュレーション実行手段は、前記補正手段によって補正された前記登録画像に基づいて、前記撮像画像の肌領域のみを仮想的に着色するシミュレーションを実行することが好ましい。
【００２１】
この構成によれば、撮像画像内の人間の髪を表す髪領域と、人間の肌を表す肌領域とが識別され、第１の特徴点と第２の特徴点との位置関係に基づいて、識別された撮像画像の肌領域の各画素の座標に対応する登録画像の肌領域の各画素の座標が補正され、補正された登録画像に基づいて、撮像画像の肌領域のみを仮想的に着色するシミュレーションが実行される。
【００２２】
したがって、登録画像を撮像したときの髪型と、撮像画像を撮像したときの髪型とが異なっていたとしても、撮像画像の肌領域のみが登録画像に基づいて仮想的に着色されるので、違和感のないシミュレーション結果を得ることができる。
【発明の効果】
【００２３】
本発明によれば、対象物を仮想的に着色するシミュレーションにおいて、既に着色されている対象物に基づいて仮想的に着色するのではなく、着色されていない対象物に基づいて仮想的に着色するので、着色した状態であっても、着色していない状態と同等の色再現性を確保することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明に係る実施形態を図面に基づいて説明する。
【００２５】
（第１の実施の形態）
図１は、第１の実施の形態における着色シミュレーション装置のハードウエア構成を示す図である。図１に示す着色シミュレーション装置は、通常のコンピュータから構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６、記録媒体駆動装置７及びＩ／Ｆ（入出力インターフェイス）９を備えて構成される。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が入出力され、ＣＰＵ３の制御の下、種々の処理が実行される。
【００２６】
入力装置１は、キーボード及びマウス等から構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。ＲＯＭ２には、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）等のシステムプログラム等が記憶されている。外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）及び後述する着色シミュレーションプログラム等が記憶されている。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。
【００２７】
記録媒体駆動装置７は、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ又はフレキシブルディスクドライブ等から構成される。なお、着色シミュレーションプログラムを、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ又はフレキシブルディスク等のコンピュータ読み取り可能な記録媒体８に記録し、記録媒体駆動装置７により記録媒体８から着色シミュレーションプログラムを読み出して外部記憶装置５にインストールして実行するようにしてもよい。また、着色シミュレーション装置が通信装置等を備え、着色シミュレーションプログラムが通信ネットワークを介して接続された他のコンピュータに記憶されている場合、当該コンピュータからネットワークを介して着色シミュレーションプログラムをダウンロードして実行するようにしてもよい。
【００２８】
カメラ１０は、Ｉ／Ｆ９を介してバスラインに接続され、ＣＣＤエリアセンサにより、人間の顔を含む画像（顔画像）を所定のフレームレート（例えば１／３０ｓｅｃ）で取得する。表示装置６は、液晶表示装置又はＣＲＴ（陰極線管）等から構成され、ＣＰＵ３の制御の基、カメラ１０が撮影した人間の顔画像を表示する。
【００２９】
図２は、第１の実施の形態における着色シミュレーション装置の機能を説明するためのブロック図である。図２に示す着色シミュレーション装置は、プログラム実行部１００及び記憶部２００を備えて構成される。プログラム実行部１００は、ＣＰＵ３が着色シミュレーションプログラムを実行することにより実現され、ユーザＩＤ取得部１０１、撮像画像取得部１０２、特徴点抽出部１０３、登録部１０４、登録画像取得部１０５、特徴点取得部１０６、補正部１０７、シミュレーション実行部１０８及び表示制御部１０９を備えて構成される。記憶部２００は、ＲＡＭ４等から構成され、ＣＰＵ３が着色シミュレーションプログラムを実行することにより実現され、登録画像記憶部２０１を備えて構成される。
【００３０】
入力装置１は、ユーザを識別するためのユーザＩＤの入力を受け付ける。ユーザＩＤ取得部１０１は、入力装置１によって入力されたユーザＩＤを取得する。撮像画像取得部１０２は、対象物である人間（ユーザ）の顔を撮像した２次元の撮像画像をカメラ１０から取得する。なお、撮像画像取得部１０２は、入力装置１を用いてユーザにより指定された１フレーム分の静止画像をカメラ１０から取得する。
【００３１】
登録画像記憶部２０１は、化粧を施す前の顔を撮像した撮像画像を登録画像として予め記憶するとともに、登録画像内の前記顔を表す領域に含まれる第１の特徴点の位置座標及び種類を登録画像に対応付けて予め記憶する。また、登録画像記憶部２０１は、ユーザＩＤに対応付けて登録画像を記憶する。
【００３２】
特徴点抽出部１０３は、撮像画像取得部１０２によって取得された撮像画像内の顔領域に含まれる第１の特徴点を抽出する。また、特徴点抽出部１０３は、撮像画像取得部１０２によって取得された撮像画像内の顔領域に含まれ、第１の特徴点と同じ位置にある第２の特徴点を抽出する。なお、第２の特徴点は、第１の特徴点と同じ種類の特徴点である。
【００３３】
登録部１０４は、撮像画像取得部１０２によって取得された撮像画像を登録画像として登録画像記憶部２０１に記憶する。また、登録部１０４は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤを登録画像に対応付けて登録画像記憶部２０１に記憶する。さらに、登録部１０４は、特徴点抽出部１０３によって抽出された第１の特徴点の撮像画像内における位置座標及び種類を撮像画像に対応付けて登録画像記憶部２０１に記憶する。
【００３４】
登録画像取得部１０５は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤに対応付けられている登録画像を登録画像記憶部２０１から取得する。特徴点取得部１０６は、登録画像取得部１０５によって取得された登録画像に対応付けられている第１の特徴点の位置座標及び種類を登録画像記憶部２０１から取得する。
【００３５】
補正部１０７は、特徴点取得部１０６によって取得された第１の特徴点と、特徴点抽出部１０３によって抽出された第２の特徴点との位置関係に基づいて、登録画像の各画素の座標を補正する。シミュレーション実行部１０８は、補正部１０７によって補正された登録画像の各画素値に基づいて、顔を表す領域に仮想的に化粧を施すシミュレーションを実行する。ここで、撮像画像は、所定行×所定列でマトリックス状に配列された画素から構成され、各画素の画素値は、Ｒ，Ｇ，Ｂの３つの色成分を有し、Ｒ，Ｇ，Ｂの色成分は、各々、例えば０〜２５５の数値で表される。
【００３６】
なお、本実施の形態において、各画素の画素値は、ＲＧＢ表色系で表される色成分を有しているが、本発明は特にこれに限定されず、ＨＳＶ（Ｈ：色相、Ｓ：彩度、Ｖ：明度）表色系を用いてもよく、ＨＳＶ表色系以外の表色系、例えばマンセル表色系、Ｌ＊ａ＊ｂ＊表色系、ＸＹＺ表色系又はＣＩＥ表色系等を用いてもよい。
【００３７】
表示制御部１０９は、人間の顔の撮像時において、顔を撮像した撮像画像を表示装置６に表示するように制御する。また、表示制御部１０９は、シミュレーション実行部１０８によって実行されたシミュレーション結果の画像を表示装置６の画面上に表示するように制御する。
【００３８】
なお、本実施の形態において、登録画像記憶部２０１が登録画像記憶手段の一例に相当し、撮像画像取得部１０２が撮像画像取得手段の一例に相当し、特徴点抽出部１０３が第２の特徴点抽出手段の一例に相当し、登録画像取得部１０５が登録画像取得手段の一例に相当し、特徴点取得部１０６が第１の特徴点取得手段の一例に相当し、補正部１０７が補正手段の一例に相当し、シミュレーション実行部１０８がシミュレーション実行手段の一例に相当し、入力装置１が受付手段の一例に相当する。
【００３９】
ここで、登録画像記憶部２０１に画像を登録する登録処理について説明する。顔に仮想的に化粧を施す着色シミュレーション処理の前段階として以下の登録処理が行われる。図３は、図２に示す着色シミュレーション装置による登録処理の一例を示すフローチャートである。
【００４０】
まず、ステップＳ１において、ユーザＩＤ取得部１０１は、入力装置１によって入力されたユーザＩＤを取得する。このとき、表示制御部１０９は、ユーザによるユーザＩＤの入力を受け付けるためのユーザＩＤ入力画面を表示するように表示装置６を制御する。ユーザは、入力装置１を用いてユーザＩＤを入力する。
【００４１】
次に、ステップＳ２において、撮像画像取得部１０２は、化粧を施す前のユーザの顔を撮像した撮像画像をカメラ１０から取得する。次に、ステップＳ３において、特徴点抽出部１０３は、撮像画像取得部１０２によって取得された撮像画像内のユーザの顔を表す顔領域に含まれる第１の特徴点を抽出する。この特徴点とは、顔領域における眉、目、鼻、唇、頬及び顎などの特徴的な部位を表す点である。なお、特徴点の抽出については、従来から種々の技術が提案されており、本実施の形態ではこれらの従来技術を用いることが可能である。
【００４２】
ここで、特徴点の抽出について説明する。図４は、撮像画像内の顔領域から抽出される特徴点の一例を示す図である。図４に示すように、撮像画像２０の顔領域２１には、複数の特徴点Ｐ１〜Ｐ１９が含まれている。なお、特徴点抽出部１０３は、これら全ての特徴点Ｐ１〜Ｐ１９を抽出するのではなく、少なくとも２つの特徴点を抽出する。
【００４３】
例えば、目の位置に相当する特徴点Ｐ１〜Ｐ１０を抽出する場合、撮像画像に対してエッジ検出が行われ、ハフ変換が行われることにより、左右の目の領域が検出される。そして、特徴点抽出部１０３は、右目領域の瞳部分の中心画素を右目の瞳部分の特徴点Ｐ１として抽出し、右目領域の右端の画素を右目の目頭部分の特徴点Ｐ２として抽出し、右目領域の左端の画素を右目の目尻部分の特徴点Ｐ３として抽出し、右目領域の上端の画素を右目の上端部分の特徴点Ｐ４として抽出し、右目領域の下端の画素を右目の下端部分の特徴点Ｐ５として抽出する。同様に、特徴点抽出部１０３は、左目領域の瞳部分の中心画素を左目の瞳部分の特徴点Ｐ６として抽出し、左目領域の左端の画素を左目の目頭部分の特徴点Ｐ７として抽出し、左目領域の右端の画素を左目の目尻部分の特徴点Ｐ８として抽出し、左目領域の上端の画素を左目の上端部分の特徴点Ｐ９として抽出し、左目領域の下端の画素を左目の下端部分の特徴点Ｐ１０として抽出する。
【００４４】
また、例えば、眉の位置に相当する特徴点Ｐ１１〜Ｐ１４を抽出する場合、撮像画像の各画素が走査され、各画素の色成分値が黒色を示す領域が抽出され、抽出した黒色の領域の横幅が縦幅よりも２倍以上となる領域が抽出され、左右の眉の領域の位置が検出される。そして、特徴点抽出部１０３は、右眉領域の右端の画素を右眉の右端部分の特徴点Ｐ１１として抽出し、右眉領域の左端の画素を右眉の左端部分の特徴点Ｐ１２として抽出し、左眉領域の左端の画素を左眉の左端部分の特徴点Ｐ１３として抽出し、左眉領域の右端の画素を左眉の右端部分の特徴点Ｐ１４として抽出する。
【００４５】
また、例えば、唇の位置に相当する特徴点Ｐ１５，Ｐ１６を抽出する場合、撮像画像の各画素が走査され、各画素の色成分値が赤色を示す領域が抽出され、唇領域の位置が検出される。特徴点抽出部１０３は、唇領域の左端の画素を唇の右口角部分の特徴点Ｐ１５として抽出し、唇領域の右端の画素を唇の左口角部分の特徴点Ｐ１６として抽出する。
【００４６】
さらに、例えば、鼻頭の位置に相当する特徴点Ｐ１７を抽出する場合、撮像画像の各画素が走査され、各画素の色成分値が黒色を示す２つの鼻孔領域が抽出される。そして、特徴点抽出部１０３は、各鼻孔領域の中心点を結ぶ直線を底辺とする所定の２等辺三角形の頂点の画素を鼻頭部分の特徴点Ｐ１７として抽出する。
【００４７】
さらにまた、例えば、左右の頬の位置に相当する特徴点Ｐ１８，Ｐ１９を抽出する場合、特徴点抽出部１０３は、鼻頭の特徴点Ｐ１７から所定の距離だけ左方向に離れた位置の画素を右頬の中心部分の特徴点Ｐ１８として抽出し、鼻頭の特徴点Ｐ１７から所定の距離だけ右方向に離れた位置の画素を左頬の中心部分の特徴点Ｐ１９として抽出する。
【００４８】
なお、特徴点Ｐ１〜Ｐ１９は一例であって、特徴点Ｐ１〜Ｐ１９のうちのいずれかの特徴点を省略してもよいし、新たに特徴点を追加してもよく、図４に示す点に限定されない。また、上記の特徴点Ｐ１〜Ｐ１９の抽出方法は一例であって、他の方法で特徴点Ｐ１〜Ｐ１９を抽出してもよい。本実施の形態における特徴点は、画像上における１つの画素であるが、本発明は特にこれに限定されず、複数の画素の集合であってもよい。特徴点抽出部１０３によって抽出される第１の特徴点の種類は、予め定められており、例えば、鼻頭及び右口角に対応する特徴点Ｐ１７，Ｐ１５が抽出される。
【００４９】
図３に戻って、次に、ステップＳ４において、特徴点抽出部１０３は、予め設定されている全ての特徴点を抽出したか否かを判断する。ここで、全ての特徴点を抽出していないと判断された場合、ステップＳ２の処理に戻り、ユーザの顔を撮像した撮像画像をカメラ１０から再度取得する。そして、全ての特徴点が抽出されるまで、ステップＳ２〜Ｓ４の処理が繰り返し実行される。
【００５０】
一方、全ての特徴点を抽出したと判断された場合、ステップＳ５において、登録部１０４は、化粧を施す前のユーザの顔を撮像した撮像画像を登録画像として登録画像記憶部２０１に記憶する。このとき、登録部１０４は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤを登録画像に対応付けて登録画像記憶部２０１に記憶する。さらに、登録部１０４は、特徴点抽出部１０３によって抽出された第１の特徴点の位置座標及び種類を登録画像に対応付けて登録画像記憶部２０１に記憶する。なお、第１の特徴点の位置座標とは、登録画像における第１の特徴点の２次元位置を特定するためのものであり、例えば登録画像の左上端の画素が原点となる。また、種類とは、眉、目、鼻、唇、頬及び顎など、第１の特徴点が顔領域におけるどの部位を示す点であるかを表すものである。
【００５１】
図５は、登録画像記憶部２０１に記憶される登録画像の一例を示す図である。図５に示す登録画像２２は、化粧を施す前のユーザの顔を撮像したものである。登録画像２２には、鼻頭の特徴点Ｐ１７及び右口角の特徴点Ｐ１５の位置座標及び種類が対応付けられている。
【００５２】
このようにして、化粧を施す前のユーザの顔を撮像した撮像画像を登録画像として登録画像記憶部２０１に予め記憶することができる。そして、着色シミュレーション時において、この登録画像を用いて着色シミュレーションが行われる。
【００５３】
続いて、対象物を仮想的に着色する着色シミュレーション処理について説明する。図６は、図２に示す着色シミュレーション装置による着色シミュレーション処理の一例を示すフローチャートである。なお、図６において、ステップＳ１１，Ｓ１２の処理は、図３におけるステップＳ１，Ｓ２の処理と同じであるので説明を省略する。
【００５４】
ステップＳ１３において、登録画像取得部１０５は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤに対応付けられている登録画像を登録画像記憶部２０１から取得する。
【００５５】
次に、ステップＳ１４において、特徴点抽出部１０３は、撮像画像取得部１０２によって取得された撮像画像内のユーザの顔を表す顔領域に含まれ、第１の特徴点と同じ位置にある第２の特徴点を抽出する。
【００５６】
次に、ステップＳ１５において、特徴点取得部１０６は、登録画像取得部１０５によって取得された登録画像に対応付けられている第１の特徴点の位置座標及び種類を登録画像記憶部２０１から取得する。
【００５７】
次に、ステップＳ１６において、補正部１０７は、特徴点取得部１０６によって取得された第１の特徴点と、特徴点抽出部１０３によって抽出された第２の特徴点との位置関係に基づいて、登録画像の各画素の座標を補正する。すなわち、登録画像と撮像画像とは、撮像された時間及び場所が異なっているため、登録画像に含まれる顔領域の位置と撮像画像に含まれる顔領域の位置とがずれている場合がある。そこで、補正部１０７は、登録画像に含まれる第１の特徴点の位置座標と、第１の特徴点と同じ種類であり撮像画像に含まれる第２の特徴点の位置座標とのずれ量を求め、求めたずれ量に応じて登録画像の各画素の座標を補正する。
【００５８】
図７は、撮像画像取得部１０２によって取得された撮像画像の一例を示す図である。図７に示す撮像画像２３は、化粧を施した後の顔を撮像したものである。特徴点抽出部１０３は、撮像画像２３内のユーザの顔を表す顔領域に含まれ、登録画像２２に対応付けられている第１の特徴点Ｐ１７，Ｐ１５と同じ位置にある第２の特徴点Ｐ１７’，Ｐ１５’を抽出する。図７に示すように、撮像画像２３に含まれる顔部分の領域は、図５に示す登録画像２２に対して右下方向へずれている。そのため、補正部１０７は、登録画像２２に含まれる第１の特徴点Ｐ１７，Ｐ１５の位置座標と、第１の特徴点Ｐ１７，Ｐ１５と同じ種類であり撮像画像２３に含まれる第２の特徴点Ｐ１７’，Ｐ１５’の位置座標とのずれ量を求め、求めたずれ量に応じて登録画像２２の各画素の座標を補正する。
【００５９】
図８は、補正後の登録画像の一例を示す図である。図８に示すように、補正後の登録画像２４は、顔領域が図７に示す撮像画像２３と同じ位置に移動している。このようにして、登録画像の顔領域と、撮像画像の顔領域とを一致させることができる。
【００６０】
なお、本実施の形態において、第１の特徴点及び第２の特徴点は、少なくとも２つの特徴点を含む。第１の特徴点及び第２の特徴点がそれぞれ１つの特徴点である場合、登録画像に含まれる第１の特徴点と、撮像画像に含まれる第２の特徴点との１次元のずれ量しか求めることができない。しかしながら、第１の特徴点及び第２の特徴点がそれぞれ２つの特徴点である場合、登録画像に含まれる第１の特徴点と、撮像画像に含まれる第２の特徴点との２次元のずれ量を求めることができ、登録画像の顔領域と、撮像画像の顔領域とを正確に一致させることができる。
【００６１】
次に、ステップＳ１７において、シミュレーション実行部１０８は、補正部１０７によって補正された登録画像の各画素値に基づいて、顔領域を仮想的に着色するシミュレーションを実行する。このとき、入力装置１は、化粧を施す化粧領域と、化粧領域の色とのユーザによる入力を受け付ける。シミュレーション実行部１０８は、アルファブレンディングにより、補正後の登録画像と、入力装置１によって受け付けられた化粧領域とを合成する。
【００６２】
登録画像の各画素の画素値Ｐ（ｘ，ｙ）は、補正部１０７によって座標が補正されることにより、画素値Ｐ（ｘ’，ｙ’）となる。シミュレーション後の画像の画素値Ｒ（ｘ，ｙ）は、シミュレーション関数ｆ（ｃｏｌ）を用いて、下記の（１）式で表される。
【００６３】
Ｒ（ｘ，ｙ）＝ｆ（Ｐ（ｘ’，ｙ’））・・・・（１）
ただし、Ｐ（ｘ，ｙ），Ｐ（ｘ’，ｙ’），Ｒ（ｘ，ｙ）∈Ｎ３である。Ｎ３は、自然数からなる３次元空間（色空間）を表している。シミュレーション関数ｆ（ｃｏｌ）は、下記の（２）式で表される。
【００６４】
ｆ（ｃｏｌ）＝αｃｏｌ＋（１−α）Ｌ・・・・（２）
上記（２）式において、ｃｏｌは、画素値を示し、αは、アルファブレンディングにおける透明度を表すα値を示し、Ｌは、仮想的な化粧を施す際に加色する色を示している。
【００６５】
従来は、撮像画像の各画素の画素値Ｑ（ｘ，ｙ）を用いてシミュレーションを行っていた。そのため、従来のシミュレーション後の画像の画素値Ｒ（ｘ，ｙ）は、シミュレーション関数ｆ（ｃｏｌ）を用いて、下記の（３）式で表される。
【００６６】
Ｒ（ｘ，ｙ）＝ｆ（Ｑ（ｘ，ｙ））・・・・（３）
ただし、Ｑ（ｘ，ｙ）∈Ｎ３である。このように、本実施の形態では、従来のように化粧が施されたユーザの顔を撮像した撮像画像を用いるのではなく、化粧が施される前のユーザの顔を撮像した登録画像を用いてシミュレーションが行われる。
【００６７】
そして、表示制御部１０９は、シミュレーション実行部１０８によるシミュレーション結果を表示装置６に表示するように制御する。表示装置６は、シミュレーション結果を表示する。
【００６８】
図９は、シミュレーション結果の画像の一例を示す図である。図９に示すように、表示装置６には、撮像画像２３の顔領域に対して仮想的に化粧を施したシミュレーション結果画像２５が表示される。このとき、シミュレーション結果画像２５は、既に化粧が施されている顔領域の各画素値に対してさらに化粧の色が合成されるのではなく、化粧が施されていない登録画像２４の顔領域の各画素値に対して化粧の色が合成される。
【００６９】
このように、登録画像記憶部２０１には、化粧が施される前の顔を撮像した撮像画像が登録画像として予め記憶されているとともに、登録画像内の顔を表す領域に含まれる第１の特徴点の位置が登録画像に対応付けて予め記憶されている。そして、化粧が施された後の顔を撮像した撮像画像が取得され、登録画像記憶部２０１に記憶されている登録画像が取得される。登録画像に対応付けられている第１の特徴点の位置が登録画像記憶部２０１から取得される。続いて、撮像画像内の顔を表す領域に含まれ、第１の特徴点と同じ位置にある第２の特徴点が抽出され、第１の特徴点と第２の特徴点との位置関係に基づいて、登録画像の各画素の座標が補正される。その後、補正された登録画像の各画素値に基づいて、顔を表す領域に仮想的に化粧を施すシミュレーションが実行される。
【００７０】
したがって、顔に仮想的に化粧を施すシミュレーションにおいて、既に化粧が施されている顔領域の各画素値に基づいて仮想的に着色するのではなく、化粧が施されていない顔領域の各画素値に基づいて仮想的に着色するので、化粧が施された状態であっても、化粧が施されていない状態と同等の色再現性を確保することができる。
【００７１】
また、登録画像内の対象物を表す領域に含まれる第１の特徴点の位置を登録画像に対応付けて予め記憶しておくことにより、シミュレーション時に登録画像から第１の特徴点を抽出する処理を省くことができ、シミュレーション時における処理時間を短縮することができる。
【００７２】
また、ユーザを識別するためのユーザＩＤのユーザによる入力が受け付けられ、登録画像記憶部２０１には、ユーザＩＤが登録画像に対応付けて予め記憶され、受け付けられたユーザＩＤに対応付けられている登録画像が登録画像記憶部２０１から取得される。
【００７３】
したがって、化粧が施された後の顔を撮像した撮像画像が取得され、この顔と同一人物であり、化粧が施された後の顔を撮像した登録画像が取得されるので、登録画像の各画素の座標を正確に補正することができ、シミュレーション結果をより現実に近いものにすることができる。
【００７４】
なお、本実施の形態において、補正部１０７は、撮像画像取得部１０２によって取得された撮像画像内の人間の髪を表す髪領域と、人間の肌を表す肌領域とを識別し、第１の特徴点と第２の特徴点との位置関係に基づいて、識別された撮像画像の肌領域の各画素の座標に対応する登録画像の肌領域の各画素の座標を補正し、シミュレーション実行部１０８は、補正部１０７によって補正された登録画像の各画素値に基づいて、撮像画像の肌領域のみを仮想的に着色するシミュレーションを実行してもよい。
【００７５】
この場合、撮像画像内の人間の髪を表す髪領域と、人間の肌を表す肌領域とが識別され、第１の特徴点と第２の特徴点との位置関係に基づいて、識別された撮像画像の肌領域の各画素の座標に対応する登録画像の肌領域の各画素の座標が補正され、補正された登録画像の各画素値に基づいて、撮像画像の肌領域のみを仮想的に着色するシミュレーションが実行される。
【００７６】
したがって、登録画像を撮像したときの髪型と、撮像画像を撮像したときの髪型とが異なっていたとしても、撮像画像の肌領域のみが登録画像の各画素値に基づいて仮想的に着色されるので、違和感のないシミュレーション結果を得ることができる。
【００７７】
また、撮像画像内の人間の髪を表す髪領域と、人間の肌を表す肌領域とを識別するためには、髪領域と肌領域との境界を表す複数の特徴点を抽出する必要がある。この場合、撮像画像から抽出した髪領域と肌領域との境界を表す複数の特徴点のうち、髪領域を含む隣接する３つの特徴点を結ぶ三角形状のパッチ（以下、三角パッチとする）を形成する。そして、撮像画像内の三角パッチと同じ位置の登録画像の画素値を、三角パッチの画素値に変換する変換行列を求める。
【００７８】
また、本実施の形態における補正部１０７は、登録画像に含まれる第１の特徴点の位置座標と、第１の特徴点と同じ種類であり撮像画像に含まれる第２の特徴点の位置座標とのずれ量を求め、求めたずれ量に応じて登録画像の各画素の座標を補正しているが、本発明は特にこれに限定されない。補正部１０７は、登録画像に含まれる第１の特徴点の位置座標と、第１の特徴点と同じ種類であり撮像画像に含まれる第２の特徴点の位置座標との拡縮率を求め、求めた拡縮率に応じて登録画像の各画素の座標を補正してもよい。すなわち、第１の特徴点及び第２の特徴点がそれぞれ２つの特徴点である場合、登録画像に含まれる第１の特徴点と、撮像画像に含まれる第２の特徴点との拡縮率を求めることができ、登録画像の顔領域と、撮像画像の顔領域とを正確に一致させることができる。
【００７９】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る着色シミュレーション装置について説明する。上述した第１の実施の形態では、登録時において、特徴点を抽出し、抽出した特徴点に関する情報を登録画像に対応付けて予め記憶している。これに対し、第２の実施の形態では、登録時に特徴点を抽出するのではなく、シミュレーション時に登録画像から特徴点を抽出する。
【００８０】
なお、第２の実施の形態における着色シミュレーション装置のハードウエア構成は、図１に示す第１の実施の形態における着色シミュレーション装置のハードウエア構成と同じであるので説明を省略する。
【００８１】
図１０は、第２の実施の形態における着色シミュレーション装置の機能を説明するためのブロック図である。図１０に示す着色シミュレーション装置は、プログラム実行部１００及び記憶部２００を備えて構成される。プログラム実行部１００は、ＣＰＵ３が着色シミュレーションプログラムを実行することにより実現され、ユーザＩＤ取得部１０１、撮像画像取得部１０２、特徴点抽出部１０３’、登録部１０４’、登録画像取得部１０５、補正部１０７’、シミュレーション実行部１０８及び表示制御部１０９を備えて構成される。記憶部２００は、ＲＡＭ４等から構成され、ＣＰＵ３が着色シミュレーションプログラムを実行することにより実現され、登録画像記憶部２０１’を備えて構成される。なお、図１０において、図２に示す第１の実施の形態における着色シミュレーション装置と同じ構成については同じ符号を付し、説明を省略する。
【００８２】
登録画像記憶部２０１’は、化粧を施す前の顔を撮像した撮像画像を登録画像として予め記憶する。また、登録画像記憶部２０１’は、ユーザＩＤに対応付けて登録画像を記憶する。
【００８３】
登録部１０４’は、撮像画像取得部１０２によって取得された撮像画像を登録画像として登録画像記憶部２０１に記憶する。また、登録部１０４’は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤを登録画像に対応付けて登録画像記憶部２０１に記憶する。
【００８４】
特徴点抽出部１０３’は、登録画像取得部１０５によって取得された登録画像内の顔領域に含まれる第１の特徴点を抽出する。また、特徴点抽出部１０３’は、撮像画像取得部１０２によって取得された撮像画像内の顔領域に含まれ、第１の特徴点と同じ位置にある第２の特徴点を抽出する。補正部１０７’は、特徴点抽出部１０３’によって抽出された第１の特徴点と第２の特徴点との位置関係に基づいて、登録画像の各画素の座標を補正する。
【００８５】
ここで、第２の実施の形態において、登録画像記憶部２０１’に画像を登録する登録処理について説明する。図１１は、図１０に示す着色シミュレーション装置による登録処理の一例を示すフローチャートである。
【００８６】
まず、ステップＳ２１において、ユーザＩＤ取得部１０１は、入力装置１によって入力されたユーザＩＤを取得する。このとき、表示制御部１０９は、ユーザによるユーザＩＤの入力を受け付けるためのユーザＩＤ入力画面を表示するように表示装置６を制御する。ユーザは、入力装置１を用いてユーザＩＤを入力する。
【００８７】
次に、ステップＳ２２において、撮像画像取得部１０２は、化粧を施す前のユーザの顔を撮像した撮像画像をカメラ１０から取得する。次に、ステップＳ２３において、登録部１０４’は、化粧を施す前のユーザの顔を撮像した撮像画像を登録画像として登録画像記憶部２０１’に記憶する。このとき、登録部１０４’は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤを登録画像に対応付けて登録画像記憶部２０１’に記憶する。
【００８８】
続いて、第２の実施の形態において、対象物を仮想的に着色する着色シミュレーション処理について説明する。図１２は、図１０に示す着色シミュレーション装置による着色シミュレーション処理の一例を示すフローチャートである。なお、図１２において、ステップＳ３１，Ｓ３２の処理は、図１１におけるステップＳ２１，Ｓ２２の処理と同じであるので説明を省略する。
【００８９】
ステップＳ３３において、登録画像取得部１０５は、ユーザＩＤ取得部１０１によって取得されたユーザＩＤに対応付けられている登録画像を登録画像記憶部２０１’から取得する。
【００９０】
次に、ステップＳ３４において、特徴点抽出部１０３’は、登録画像取得部１０５によって取得された登録画像内のユーザの顔を表す顔領域に含まれる第１の特徴点を抽出する。なお、抽出される第１の特徴点の種類は、予め定められており、例えば、目及び唇に対応する特徴点が抽出される。
【００９１】
次に、ステップＳ３５において、特徴点抽出部１０３’は、撮像画像取得部１０２によって取得された撮像画像内のユーザの顔を表す顔領域に含まれ、第１の特徴点と同じ位置にある第２の特徴点を抽出する。なお、抽出される第２の特徴点の種類は、予め定められており、第１の特徴点と同じ種類の特徴点が抽出される。
【００９２】
次に、ステップＳ３６において、補正部１０７’は、特徴点抽出部１０３’によって取得された第１の特徴点と第２の特徴点との位置関係に基づいて、登録画像の各画素の座標を補正する。なお、ここでの補正方法については、図６のステップＳ１６における補正処理と同じであるので説明を省略する。また、ステップＳ３７の処理は、図６のステップＳ１７の処理と同じであるので説明を省略する。
【００９３】
このように、登録画像記憶部２０１’には、化粧が施される前の顔を撮像した撮像画像が登録画像として予め記憶される。そして、化粧が施された後の顔を撮像した撮像画像が取得され、登録画像記憶部２０１’に記憶されている登録画像が取得され、登録画像内の顔を表す領域に含まれる第１の特徴点が抽出される。続いて、撮像画像内の顔を表す領域に含まれ、第１の特徴点と同じ位置にある第２の特徴点が抽出され、第１の特徴点と第２の特徴点との位置関係に基づいて、登録画像の各画素の座標が補正される。その後、補正された登録画像の各画素値に基づいて、顔を表す領域を仮想的に着色するシミュレーションが実行される。
【００９４】
したがって、顔に仮想的に化粧を施すシミュレーションにおいて、既に化粧が施されている顔領域の各画素値に基づいて仮想的に着色するのではなく、化粧が施されていない顔領域の各画素値に基づいて仮想的に着色するので、化粧が施された状態であっても、化粧が施されていない状態と同等の色再現性を確保することができる。また、登録画像のみを予め記憶しておくことにより、メモリのデータ量を削減することができる。
【００９５】
なお、第１及び第２の実施の形態では、対象物を人間の顔とし、顔を表す領域に仮想的に化粧を施すシミュレーションについて説明しているが、本発明は特にこれに限定されず、例えば、人間の爪を仮想的に着色するシミュレーションなどの人間の体の部位を仮想的に着色するシミュレーションにも適用可能であり、さらに人間以外の動物や物品を仮想的に着色するシミュレーションにも適用可能である。
【図面の簡単な説明】
【００９６】
【図１】第１の実施の形態における着色シミュレーション装置のハードウエア構成を示す図である。
【図２】第１の実施の形態における着色シミュレーション装置の機能を説明するためのブロック図である。
【図３】図２に示す着色シミュレーション装置による登録処理の一例を示すフローチャートである。
【図４】撮像画像内の顔領域から抽出される特徴点の一例を示す図である。
【図５】登録画像記憶部に記憶される登録画像の一例を示す図である。
【図６】図２に示す着色シミュレーション装置による着色シミュレーション処理の一例を示すフローチャートである。
【図７】撮像画像取得部によって取得された撮像画像の一例を示す図である。
【図８】補正後の登録画像の一例を示す図である。
【図９】シミュレーション結果の画像の一例を示す図である。
【図１０】第２の実施の形態における着色シミュレーション装置の機能を説明するためのブロック図である。
【図１１】図１０に示す着色シミュレーション装置による登録処理の一例を示すフローチャートである。
【図１２】図１０に示す着色シミュレーション装置による着色シミュレーション処理の一例を示すフローチャートである。
【符号の説明】
【００９７】
１    入力装置
２    ＲＯＭ
３    ＣＰＵ
４    ＲＡＭ
５    外部記憶装置
６    表示装置
７    記録媒体駆動装置
８    記録媒体
９    Ｉ／Ｆ
１０    カメラ
１００    プログラム実行部
１０１    ユーザＩＤ取得部
１０２    撮像画像取得部
１０３    特徴点抽出部
１０４    登録部
１０５    登録画像取得部
１０６    特徴点取得部
１０７    補正部
１０８    シミュレーション実行部
１０９    表示制御部
２００    記憶部
２０１    登録画像記憶部
【図１】
2008065379.tif 000003
【図２】
2008065379.tif 000004
【図３】
2008065379.tif 000005
【図４】
2008065379.tif 000006
【図５】
2008065379.tif 000007
【図６】
2008065379.tif 000008
【図７】
2008065379.tif 000009
【図８】
2008065379.tif 000010
【図９】
2008065379.tif 000011
【図１０】
2008065379.tif 000012
【図１１】
2008065379.tif 000013
【図１２】
2008065379.tif 000014