(57)【要約】      （修正有）【課題】デパートの化粧品売り場や、薬局、化粧品店の店頭で、簡単に人の顔等の対象物について、そのキメ等の粗さを変化させることにより、対象物の外観の変化をシミュレーションする方法を提供すること。【解決手段】（１）偏光照明の下で対象物を撮像して、（２）この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象物を撮像して、（３）鏡面反射光成分のデータを取り出し、（４）多重解像度解析に付して、複数の異なる周波数成分のデータに分離し、（５）所望のものについて、データの変更操作を行い、（６）変更操作を行った周波数成分のデータおよび変更操作を行わなかった周波数成分を合成して再構成画像データとし、（７）再構成画像データと、原画像データを合成して、対象物のシミュレーション画像を得るシミュレーション方法。【選択図】なし【特許請求の範囲】
【請求項１】
次の工程（１）ないし（７）、
（１）偏光照明の下で対象物を撮像してデジタル画像データを得る工程、
（２）偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象物を撮像してデジタル画像データを得る工程、
（３）工程（１）および（２）で得たデジタル画像データから、鏡面反射光成分のデータと内部反射光成分のデータを取り出す工程、
（４）工程（３）で取り出した鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分のデータに分離する工程、
（５）分離された複数の異なる周波数成分のデータのうち、所望のものについて、データの変更操作を行う工程、
（６）変更操作を行った周波数成分のデータおよび変更操作を行わなかった周波数成分を合成して再構成画像データとする工程、
（７）上記（６）で得られた再構成画像データと、上記（３）で得た内部反射
光成分データを合成して、対象物のシミュレーション画像を得る工程を含むことを特徴とする画像のシミュレーション方法。
【請求項２】
工程（３）における鏡面反射光成分のデータの取り出しを、２色反射モデルおよびムーア−ペンローズ（Ｍｏｏｒ−Ｐｅｎｒｏｓｅ）型一般逆行列を用いて行う請求項第１項記載の画像のシミュレーション方法。
【請求項３】
工程（４）における多重解像度解析を、ウェーブレット変換と、ウェーブレット逆変換を繰り返すことにより、鏡面反射光成分を複数の異なる周波数成分毎のデータに分離することにより行う請求項第１項または第２項記載の画像のシミュレーション方法。
【請求項４】
対象物が人間の顔面である請求項第１項ないし第３項の何れかの項記載の画像のシミュレーション方法。
【請求項５】
次の工程（１）ないし（３）、
（１）偏光照明の下で対象物を撮像してデジタル画像データを得る工程、
（２）偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象物を撮像してデジタル画像データを得る工程、
（３）上記（１）および（２）のデジタル画像データから、鏡面反射光成分を取り出す工程、を含むことを特徴とするデジタル画像中から鏡面反射光成分データを分離する方法。
【請求項６】
工程（３）における鏡面反射光成分のデータの取り出しを、２色反射モデルおよびムーア−ペンローズ（Ｍｏｏｒ−Ｐｅｎｒｏｓｅ）型一般逆行列を用いて行う請求項第５項記載の鏡面反射光成分データを分離する方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像のシミュレーション方法に関し、更に詳細には、特定の条件で撮像した２つのデジタル画像から、質感の異なる種々のシミュレーション画像を得ることのできるシミュレーション方法に関する。
【０００２】
【従来の技術】
多くの女性にとって、顔などの肌の健康状態やその美しさ、あるいはその化粧後の仕上がり状態は大きな関心事であり、このために多くの基礎化粧品やメーキャップ化粧品が使用されている。
【０００３】
そして、自分の肌の健康状態、例えば肌荒れを改善することにより、あるいは、ある化粧料を使用することにより、自分の肌全体の外観がどのように変わるかについても詳しく知りたいところであるが、これは、実際に肌の健康状態を改善したり、実際に化粧料を使用しなければわからないことであった。
【０００４】
これに対し、変化の状態をモデルで示した写真等を用いて、手軽に肌の健康状態を改善した場合の外観や、化粧料を使用した場合の外観を示すことも行われているが、これはあくまでも他人の顔でのことであり、使用者自身の場合の変化の状態を示すものとはいえなかった。
【０００５】
【発明が解決しようとする課題】
従って、デパートの化粧品売り場や、薬局、化粧品店の店頭で、簡単に人の顔等の対象物について、そのキメ等の粗さを変化させることにより、対象物の外観の変化をシミュレーションする方法の提供が求められており、本発明はそのような方法の提供をその課題とするものである。
【０００６】
【課題を解決するための手段】
本発明者らは、上記課題を解決すべく鋭意検討を行っていたところ、偏光照明下でデジタル的に撮像された画像と、同じく偏光照明下でこの偏光照明と直交する偏光面を有するフィルターを通してデジタル的に撮像された画像とから、外観色成分を示す内部反射光成分と、形状、質感を示す鏡面反射光成分を分離できることを見出した。また、このうちの鏡面反射光成分は、更に多重解像度解析を行うことにより全体の立体感（形状）を示す低周波成分と表面の細かい形状（質感）を示す高周波成分に分離できることを知った。
【０００７】
そして、これら成分に種々操作を加えた後再合成し、更に内部反射光成分と合成することにより、画像の色彩、形状には何ら変化を与えることなく、対象物の質感のみを変化させたシミュレーション像が得られることを見出し、本発明を完成した。
【０００８】
すなわち本発明は、次の工程（１）ないし（７）、
（１）偏光照明の下で対象物を撮像してデジタル画像データを得る工程、
（２）偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象物を撮像してデジタル画像データを得る工程、
（３）工程（１）および（２）で得たデジタル画像データから、鏡面反射光成分のデータと内部反射光成分のデータを取り出す工程、
（４）工程（３）で取り出した鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分のデータに分離する工程、
（５）分離された複数の異なる周波数成分のデータのうち、所望のものについて、データの変更操作を行う工程、
（６）変更操作を行った周波数成分のデータおよび変更操作を行わなかった周波数成分を合成して再構成画像データとする工程、
（７）上記（６）で得られた再構成画像データと、上記（３）で得た内部反射光成分データを合成して、対象物のシミュレーション画像を得る工程を含むことを特徴とする画像のシミュレーション方法である。
【０００９】
また本発明は、上記（１）ないし（３）の工程を含むデジタル画像中から鏡面反射光成分データを分離する方法である。
【００１０】
【発明の実施の形態】
本発明方法を実施するには、まず、偏光照明下で、対象物を撮像し、デジタル画像データを得ることが必要である。この撮像は、同じ対象物について、偏光照明の偏光面に対し直交する偏光面を有する偏光フィルター（以下、「偏光フィルター」という）をかけたときと、かけないときの２回行うことが必要である。
【００１１】
この撮像は、一般的なデジタルカメラを用いて行うことができ、ＲＧＢ値等の形でデジタル画像データが得られるものであればその画素数等については特に制約はない。
【００１２】
得られたデジタル画像データのうち、工程（１）の偏光フィルターを用いない場合のものの中には、鏡面反射光成分と内部反射光成分が存在する。これに対し、工程（２）の偏光フィルターを用いた場合のデジタル画像データ中には、内部反射光成分のみが存在する。これら成分のうち、鏡面反射光は、光源と同じ光であり、内部反射光は、物体に固有の色になるとされている。この現象は２色反射モデルといわれる。本発明では、このモデルを利用して、２つの撮像デジタル画像データ中から、まず、各ピクセルの鏡面反射光成分と内部反射光成分を分離する。
【００１３】
すなわち、まず偏光光源Ｓの下で撮影したデジタル画像Ｉの座標ｘ，ｙにおける値をＩ（ｘ，ｙ）とする。一方、偏光光源Ｓの下で、偏光フィルターＰを通して撮影したデジタル画像ＩＰの座標ｘ，ｙにおける値をＩＰ（ｘ，ｙ）とする。
そして、２色反射モデルによると、デジタル画像のピクセルデータである各ピクセルの測定値Ｉ（ｘ，ｙ）は、内部反射光単位ベクトルｋＢ（ｘ，ｙ）と、照射光単位ベクトルｋＳを用い、下記式（１）のように表すことができる。式中、ｉＳ（ｘ，ｙ）は鏡面反射光強度、ｉＢ（ｘ，ｙ）は内部反射光強度である。
【数１】
2005004468.tif 000002
【００１４】
また、ＩＰ（ｘ，ｙ）は下記式（２）で示されるが、偏光照射と直交する偏光フィルターを用いるので、ｉＳが０となり、結局、式（３）のように表される。
【数２】
2005004468.tif 000003
【００１５】
さらに、ｋＢＰ（ｘ，ｙ）は単位ベクトルであるので
【数３】
2005004468.tif 000004
で求められる。
【００１６】
ここにおいて、ｋＢＰ（ｘ，ｙ）は偏光フィルターｐを通したときの内部反射光ベクトルであり、近似的にｋＢ（ｘ，ｙ）＝ｋＢＰ（ｘ，ｙ）とすると、
【数４】
2005004468.tif 000005
となる。
【００１７】
上記式（５）を行列
【数５】
2005004468.tif 000006
を用いて、行列式で表現すると、次式が成立する。
【数６】
2005004468.tif 000007
【００１８】
そして、更にムーアペンローズ（Ｍｏｏｒ−Ｐｅｎｒｏｓｅ）型一般逆行列
【数７】
2005004468.tif 000008
を用いて反射光強度行列
【数８】
2005004468.tif 000009
を推定すると次式になる。
【数９】
2005004468.tif 000010
【００１９】
上記式（６）より、ｉＳ（ｘ，ｙ）と、ｉＢ（ｘ，ｙ）が求まるので
鏡面反射光強度ＩＳ（ｘ，ｙ）は、
【数１０】
2005004468.tif 000011
内部反射光強度ＩＢ（ｘ，ｙ）は、
【数１１】
2005004468.tif 000012
で求められる。
【００２０】
このような原理で、工程（１）と工程（２）のデジタル画像から、各ピクセルごとの鏡面反射光成分のデータを分離することができる。この工程は、一般的には、前記デジタル画像Ｉとデジタル画像ＩＢをそれぞれコンピュータに読み込んだ後、上記式に従って処理することにより行うことができる。
【００２１】
次に、上記の工程（３）で得られた鏡面反射光成分のデータを多重解像度解析により、複数の異なる周波数成分に分け、それぞれのデータを得る。
【００２２】
すなわち、分離した鏡面反射光成分のデータには、形状を示す成分と、質感を示す成分が混在しているので、例えば対象物の全体の立体感（形状）を示す低周波成分から、対象物表面の細かい形状（質感）を示す高周波成分までに分離する。より具体的に、例えば、顔について考えると、鏡面反射成分には、顔の骨格や、肉付き、毛穴や小じわ、といった表面形状や、表面に分布する皮脂の影響が含まれているので、顔立ち等の顔全体の立体感を表す画像成分（低周波成分）と、毛穴など皮膚表面の微細な形状を示す画像成分（高周波成分）の間で適当な数に分離する。
【００２３】
この変動成分の分離は、鏡面反射光成分データを、他の画像の線形結合に分解し、元の画像データの特徴を吟味する多重解像度解析により行われる。より、具体的には、鏡面反射光成分のデータを２次元高速ウェーブレット変換によって、より低周波数の関数で近似した近似画像と、元の画像との誤差である高周波成分の誤差画像に分解する。そして、近似画像をさらにウェーブレット変換をもちいて分解することで、元画像の低周波成分から高周波成分を示す画像を得ることができる。そして、低周波成分から高周波成分に分解した画像を適宜合成することにより、元画像を再構成することが可能である。この画像の分解、再構成は、例えば、２ないし１０次（Ｎ＝２〜１０）のドビッシー（Ｄａｕｂｅｃｈｉｅｓ）ウェーブレットを用いて行うことができる。
【００２４】
このウェーブレット変換およびウェーブレット逆変換の手順を、説明のため、少ないレベルで示せば図１の通りである。すなわち、元の画像データから、ウェーブレット変換で、３つの高周波画像データと１つの低周波画像データを得、このうちの３つの高周波画像データをウェーブレット逆変換し、レベル１の画像データ（最も高い周波数のデータ）とする。次いで、上で得られた低周波画像を再度ウェーブレット変換し、新たな３つの高周波画像と１つの低周波画像を得る。このうちの３つの高周波画像を２回ウェーブレット逆変換し、レベル２の画像データ（２番目に高い周波数のデータ）とする。更に、上記低周波画像についてウェーブレット変換を行い、得られた３つの高周波画像を３回ウェーブレット逆変換し、レベル３の画像データ（３番目に高い周波数のデータ）とする。図１ではこれ以上記載していないが、上記手順を順次繰り返すことにより、高周波から低周波に到る複数の画像データを得ることができる。一方、３回目のウエーブレット変換の結果得られた低周波画像データは、３回ウェーブレット逆変換し、レベル３Ｆの画像データとする。このウェーブレット変換およびウェーブレット逆変換は、例えば、参考文献（「ウェーブレット変換の基礎と応用  Ｍａｔｈｅｍａｔｉｃａで学ぶ」斉藤  兆古著  朝倉書店）に記載の方法に基づいて簡単に行うことができる。
【００２５】
上記のようにして分離された複数の異なる周波成分のデータは、次に工程（５）として、シミュレーションの目的に従い、そのいくつかのものについて、データの変更操作を行う。このデータの変更操作としては、例えば、一定の数字をかけることにより、その周波成分を強調する操作や、一定の数字で割ることにより、その周波数成分を弱める等が挙げられる。これらの操作を複数の周波数データについて行うときは、同一の操作であっても、また異なる操作であっても良い。
この操作においては、例えば、高周波成分データについて一定の数字をかける操作を行えば、質感を強めることができるし、逆に、一定の数字で割る操作を行えば、最終的に柔らかな外観を得ることができる。
【００２６】
上記工程（５）で、変更操作を行った周波数成分のデータは、変更操作を行わなかった周波数成分と合成し、再構成画像データとされる。この再構成画像データは、基本的には対象物の鏡面反射光成分による画像であるが、その一部が修正されたものである。例えば、顔の画像について、高周波成分データを一定の数字で割った周波数成分を使用した場合は、顔立ち等の形状は、鏡面反射光成分による画像と同一であるが、肌表面の微細な凹凸を抑えたソフトな画像となる。
【００２７】
かくして得られる再構成画像データは、工程（３）で得られたデジタル画像データ（内部反射光成分）と更に合成することにより、色情報をも含んだシミュレーション画像となる。このシミュレーション画像は、本来のデジタル画像のいくつかの周波数成分を変更したものであるため、この周波数成分が強調ないしは減弱されたものとなる。
【００２８】
従って、例えば、実際の肌の状態を撮像したものから、高周波数成分を減弱するように変更し、これを変更しない低周波成分および内部反射光成分と合成することにより、肌荒れ等を直した後のシミュレーション画像や、化粧を行った後のシミュレーション画像が得られる。
【００２９】
そして、その減弱割合として、実際の肌荒れの改善前後や、化粧前後の試験結果から得たものを用いれば、極めて正確性の高いシミュレーション画像が得られる。
【００３０】
【作用】
本発明方法は、２種の撮像した画像から画像中に含まれる成分を分離し、それらの成分を強調ないしは減弱することができるので、簡単に種々のシミュレーション画像を得ることができる。
【００３１】
【実施例】
以下、実施例を挙げ、本発明を更に詳しく説明するが、本発明はこれら実施例に何ら制約されるものではない。
【００３２】
実  施  例  １
画像のシミュレーションの方法：
反射面に対して垂直な偏光照明の元で、デジタルカメラを用い、ヒトの顔面全体を撮影し、画像データ（５１２×５１２ピクセル、２４ビットフルカラー）とした。
【００３３】
一方、おなじ偏光照明の元で、この偏光面に直交する偏光面を有するフィルターをかけ、同じデジタルカメラで同じヒトの顔面全体を撮影し、偏光画像データ（５１２×５１２ピクセル、２４ビットフルカラー）とした。
【００３４】
これらの画像について、２色反射モデルに基づき、画像データの各ピクセルの測定値Ｉ（ｘ，ｙ）および偏光画像データの各ピクセルの測定値ＩＰ（ｘ，ｙ）を求めた。また、測定された光源色単位ベクトルｋＳ、偏光画像データの各ピクセルの単位ベクトルｋＢ（ｘ，ｙ）を用い、ムーアペンローズ（Ｍｏｏｒ−Ｐｅｎｒｏｓｅ）型一般逆行列Ｋ（ｘ，ｙ）＋を利用し、Ｉ（ｘ，ｙ）およびＩＰ（ｘ，ｙ）から反射光強度行列ＩＳＢ（ｘ，ｙ）をもとめた。この反射光強度行列から鏡面反射光成分のみを再構成した図を図２に示す。この図において、ｘ、ｙは画像Ｉの座標を示す。図の画像には顔の形状を反映した陰影が強調されており、質感の情報は損なわれていないことがわかる。
【００３５】
一方、上記鏡面反射光強度のデータから、質感を表す成分を分離するために、ウェーブレット変換およびウェーブレット逆変換を繰り返すことにより多重解像度解析を行った。上記変換および逆変換において、画像サイズは５１２ピクセル×５１２ピクセルとし、Ｎ＝４のドビッシーウェーブレットを用いた。画像の一直線上における明るさの変化を多重解像度解析した状況を図３に、レベル８まで多重解像度解析した鏡面反射光データを画像化したものを図４に示す。（レベル８Ｆは最も低周波数の関数のみで図２を近似したものである。）レベル１から８の画像は近似画像と図２の鏡面反射光画像との誤差成分を示す誤差画像である。
レベル１がもっとも高周波成分の誤差画像を示し、レベルが大きくなるにしたがって、低周波成分の誤差画像を示す。全てのレベルの画像を合計することで、図２の鏡面反射光画像を再構成することができる。
【００３６】
図４より、顔表面の毛穴やにきびなどの微細な特徴が良く表れているレベル１〜４（高周波数成分）と、レベル５〜８の成分（低周波数成分）に分け、これらの成分について、図５に示すように増減したのちに、鏡面反射光画像を再構成し、さらに内部反射光画像を加えることで、撮影したデジタル画像とは異なる質感を持つシミュレーション画像（図６）を作成することができた。
【００３７】
【発明の効果】
本発明方法によれば、少ない撮像数でありながら、異なる質感等を有するシミュレーション画像を簡単に得ることができる。
【００３８】
また、本発明方法は、偏光光源および偏光フィルターを装着可能なデジタルカメラ等と所定の計算あるいは解析式を組み込んだコンピュータを利用することにより、容易に被験者の皮膚状態改善後あるいは化粧後の顔の状態のシミュレーションを行うことができるので、デパート等の化粧品売り場や化粧品店、薬局等での化粧品の販促等にも利用できる。
【図面の簡単な説明】
【図１】ウェーブレット変換およびウェーブレット逆変換の手順を示す図面
【図２】サンプル画像を、鏡面反射光成分のみで再構成した図面
【図３】画像上の一直線上における明るさの変化を多重解像度解析した状況を示す図面
【図４】多重解像度解析した鏡面反射光データを画像化した図面
【図５】８つに分離された鏡面反射光データに対する変更操作を示す図面
【図６】変更後の鏡面反射光データを再構成し、さらに内部反射光成分と合成することにより得られる各画像を示す図面
以    上
【図１】
2005004468.tif 000013
【図２】
2005004468.tif 000014
【図３】
2005004468.tif 000015
【図４】
2005004468.tif 000016
【図５】
2005004468.tif 000017
【図６】
2005004468.tif 000018