(57)【要約】【課題】基となる画像の情報とその基となる画像の上に重ねる装飾品の画像の情報とに基づいて画像を合成することで、的確なシミュレーション画像を提示することのできる画像処理装置を提供することである。【解決手段】被写体の画像を入力する画像入力手段７と、画像入力手段７からの画像情報に基づいて被写体の部位の位置情報、凹凸情報、色情報を解析する解析手段８ｂと、入力された画像情報の中から被写体の特定の部位を選択する選択手段８ｃと、選択された部位を装飾する装飾品に関する情報を格納する情報格納手段８ｅと、選択された部位について、解析手段８ｂにより解析された基調となる被写体の色情報と情報格納手段８ｅ内に格納されている装飾品に関する情報の中から選択された色情報とに基づいて画像を合成する手段８ｄと、画像合成手段８ｄにより合成された画像を表示する画像表示手段２とを備えている。【選択図】  図４
2007133599.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を入力する画像入力手段と、
前記画像入力手段からの画像情報に基づいて前記被写体の部位の位置情報、凹凸情報、色情報を解析する解析手段と、
前記入力された画像情報の中から前記被写体の特定の部位を選択する選択手段と、
前記選択された部位を装飾する装飾品に関する情報を格納する情報格納手段と、
前記選択された部位について、前記解析手段により解析された基調となる前記被写体の色情報と前記情報格納手段内に格納されている装飾品に関する情報の中から選択された色情報とに基づいて画像を合成する手段と、
前記画像合成手段により合成された画像を表示する画像表示手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記情報格納手段内に格納される装飾品に関する情報は、化粧品に関する情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記情報格納手段内に格納される装飾品に関する情報は、服飾品に関する情報であることを特徴とする請求項１または請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記情報格納手段内に格納される情報には、屋内及び屋外での光線の加減を数値化した環境情報が含まれることを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記画像表示手段に表示される前記被写体の画像の色情報は、前記被写体の部位の色情報に、前記情報格納手段に格納される装飾品に関する情報の中の色情報若しくは前記環境情報または双方の情報を演算で合成することにより決定されることを特徴とする請求項１ないし請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記画像表示手段により表示される合成画像は、被写体の動きに追随して動かす機能を備えることを特徴とする請求項１ないし請求項５のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を合成する画像処理装置に関する。
【背景技術】
【０００２】
従来より、保持する画像に別の画像を付け加えて合成された画像を表示する画像表示装置が提案されている（特許文献１参照）。この特許文献に記載されている発明によれば、入力された画像に対して、顔領域と顔部品の大きさ、位置を検出し、所定の図形を検出された顔部品の位置に応じて、相対的に位置、大きさを変え、入力画像と共に重ね合わせた表示、加工をする。これにより、表示された内容は、認識対象となった人物があたかも瞬時に変装したかのように見せることができる。
【特許文献１】特開２０００−３２２５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の提案では、入力画像の上に所定の図形を共に重ね合わせて表示していることから、重なり合った部分の下に位置する入力画像は、上から重ねられた所定の図形によって隠されてしまっている。すなわち、一方の画像の上に他方の画像を重ねた場合、上から重ねた他方の画像を見ることはできるが、その画像の下敷きとなった一方の画像は他方の画像に隠れて見ることはできない。
【０００４】
例えば、帽子やコート等の一部の衣装のように、体にまとうことになるこれら衣装の下になる体の画像を見る必要がないような場合は、体の画像の上にこれら衣装の画像をそのまま被せることで、衣装をまとった状態を把握することでたりる。一方、衣装の中でも透ける素材（シースルーの素材）でできた衣装や化粧品等のように、下地となる素材（例えば、衣装や唇）の色によって重ねた素材（透ける素材の衣装や口紅）の色が変化する場合には、上述の提案では上に重ねた素材の色しか見ることができず、合成された画像が表現する色は実際に衣装をまとったり口紅をつけた場合とは異なる色となってしまう。これでは、複数の画像を合成することによる的確なシミュレーション画像を得ることができる場合が制限されることになる。
【０００５】
また、例えば、口紅の購入に当たっては、衛生面他の理由から一般的に実際に購入希望の口紅を唇に塗ってその色合いを確かめることはできない。多くは、例えば手の甲に試し塗りをしてその色合いを確認しているが、手の甲の色と唇の色は異なることも多く、試し塗りの結果口紅を購入しても実際に唇に塗ってみると印象が大きく異なる、ということも多々ある。同様に、例えば透ける素材でできた衣装の購入に当たっても、試着する日に着ているインナーの色によってこの衣装の色合いは大きく異なり、試着の度にインナーを着替えるのは手間である。
【０００６】
本発明は上記課題を解決するためになされたものであり、本発明の目的は、基となる画像の情報とその基となる画像の上に重ねる装飾品の画像の情報とに基づいて画像を合成することで、的確なシミュレーション画像を提示することのできる画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の実施の形態に係る特徴は、被写体の画像を入力する画像入力手段と、画像入力手段からの画像情報に基づいて被写体の部位の位置情報、凹凸情報、色情報を解析する解析手段と、入力された画像情報の中から被写体の特定の部位を選択する選択手段と、選択された部位を装飾する装飾品に関する情報を格納する情報格納手段と、選択された部位について、解析手段により解析された基調となる被写体の色情報と情報格納手段内に格納されている装飾品に関する情報の中から選択された色情報とに基づいて画像を合成する手段と、画像合成手段により合成された画像を表示する画像表示手段とを備える。
【発明の効果】
【０００８】
本発明によれば、基となる画像の情報とその基となる画像の上に重ねる装飾品の画像の情報とに基づいて画像を合成することで、的確なシミュレーション画像を提示することのできる画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１０】
（第１の実施の形態）
本発明の第１の実施の形態における画像処理装置１は、図１に示すように、合成された画像等を表示する画像表示手段２と、画像表示手段２に表示された指示に従って各種情報を入力する情報入力手段３と、装飾品のサンプルを展示するショーケース４と、合成された画像を印刷した場合にその印刷物が排出される排出口５と、画像処理装置１内の各構成機器を制御する制御装置８とを備える。
【００１１】
また、図２はこの画像処理装置１の使用態様の一例を示すものである。例えば、一般的な化粧品ショーケースＡの横に画像処理装置１が配置され、画像処理装置１における排出口５の前には、椅子Ｂが置かれている。画像処理装置１の使用者は、画像表示手段２に対向するように椅子Ｂに着席し、被写体となる。
【００１２】
図３は、図１のＡ−Ａ線における画像処理装置１の切断断面図である。画像表示手段２は、第１のハーフミラー２ａと第２のハーフミラー２ｂと、液晶モニター２ｃから構成される。液晶モニター２ｃが駆動されていない場合には、液晶モニター２ｃのバックライトに電源が入っていないので、使用者は第１のハーフミラー２ａに写った自分の姿が見える。一方、液晶モニター２ｃのバックライトがＯＮの場合は、液晶モニター２ｃに表示された画像がハーフミラー２ｂ、ハーフミラー２ａを通して見える。なお、後述する制御装置８による制御により、液晶モニター２ｃに表示される画像等を拡大したり、視野角の違いによる歪みを補正して見やすくして表示することが可能である。
【００１３】
情報入力手段３は、画像処理装置１に対して各種指示や情報を入力するものである。図１ないし図３においてはいわゆるマウスが描かれているが、このほかにも、例えばキーボードや各種ポインティングデバイス、或いはタッチパネルによるものであっても良い。
【００１４】
ショーケース４には、装飾品のサンプルが展示されている。ここに展示されている装飾品のサンプルとしては、例えば、口紅、ファンデーション、アイシャドー等の化粧品を挙げることができるが、その他にイヤリング、ピアス等の貴金属等を展示してもよい。なお、本発明の実施の形態において「装飾品」とは、化粧品、貴金属、服飾品等、身体に身につけるもの全てを指す。
【００１５】
排出口５は、印刷手段６によって印刷された合成画像が排出される部分である。なお、印刷手段６はモノクロ印刷以外に当然にカラー印刷が可能とされている。
【００１６】
画像入力手段７は、例えばビデオカメラ、或いはカメラであって、第１のハーフミラー２ａで透過した使用者の像を第２のハーフミラー２ｂで反射させて撮影する。なお、画像入力手段７は最初に使用者の撮影を行うだけではなく、使用者が画像処理装置１の使用を終了するまで連続して撮影を行っている。
【００１７】
制御装置８は、図３及び図４に示すように、通信ケーブルを通じて画像処理装置１を構成する例えば、画像表示手段２、情報入力手段３、印刷手段６、画像入力手段７と接続されている。
【００１８】
制御手段８ａは、使用者が情報入力手段３を用いて入力した情報を受けて画像処理装置１の各構成機器及び制御装置８内の各処理手段を制御している。制御手段８ａは、また、画像入力手段７を制御して使用者を被写体として撮影するとともに、撮影された映像情報を取得して解析手段８ｂ及び選択手段８ｃへ送信する。
【００１９】
解析手段８ｂは送信されてきた映像情報を３Ｄモデリング解析するが、画像入力手段７が連続して撮影していることから、これらの映像情報をリアルタイムで解析することができる。解析手段８ｂにおいては、被写体である使用者の部位の位置情報、凹凸情報、色情報が解析される。例えば、椅子Ｂに使用者が座り、使用者の撮影の対象が顔となった場合、目、鼻、唇、耳等それぞれが顔の中でどの位置にあり、その凹凸の状態、色の状態、といった情報を解析する。具体的には、撮影された顔の画像における明るさや色を、例えば複数に分割された要素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色に数値化し、その情報を基に三次元にマッピングして顔の部位を解析する。
【００２０】
選択手段８ｃは、画像入力手段７が撮影した使用者（被写体）の映像の中から、例えば、唇、耳や顔全体等特定の部位を選択し特定する。また、情報格納手段８ｅに予め格納されている装飾品に関する情報から画像の合成に必要な化粧品や貴金属等の装飾品の情報を選択する。なお、この特定部位或いは装飾品の選択に当たっては、使用者が情報入力手段３を用いて選択することができるのはもちろん、例えば、口紅の販売コーナーにおいては唇及び口紅を選択するように、使用状況によって必ず特定の部位或いは装飾品を選択するようにされていてもよい。
【００２１】
解析手段８ｂ及び選択手段８ｃで解析され選択特定された特定部位の情報及び装飾品の情報は、画像合成手段８ｄに送信される。画像合成手段８ｄでは、これらの被写体からの情報と情報格納手段８ｅに格納されている装飾品の情報に基づいて画像を合成する。
【００２２】
合成された画像は、画像表示手段２に送信され表示されるとともに、情報記憶手段８ｆに格納され、印刷制御手段８ｇが制御する印刷手段６によって印刷される。
【００２３】
次に、実際に画像処理が行われる流れを図５に示すフローチャートを用いて説明する。なお、ここでは撮影範囲は使用者の顔を含む頭部全体であることを前提とする。
【００２４】
まず、画像処理装置１の使用者が図２に示す椅子Ｂに着席して画像表示手段２に向き合うと、画像表示手段２に使用者の顔の画像（実体像）を取り込む旨のメッセ−ジを表示し、撮影を始める（ＳＴ１）。画像入力手段７は被写体である使用者を画像処理装置１の使用が終了するまで撮影し続ける。撮影された画像は制御装置８内の制御手段８ａを介して画像処理装置１内に取り込まれ（ＳＴ２）、解析手段８ｂで解析される（ＳＴ３）。ここではまず撮影された頭部全体の輪郭が特定され、さらに３Ｄモデリング解析がすすむにつれて部位の位置情報、凹凸情報、色情報から顔を構成する各部位が特定される（ＳＴ４）。そして一旦解析され特定された画像の情報を情報記憶手段８ｆに記憶させておくとともに画像表示手段２で表示する（ＳＴ５）。
【００２５】
使用者は表示された自分の頭部の画像を見て、例えば、唇、目或いは耳というように自分が装飾品の画像と合成した画像を見たい部位を選択する。この場合、使用者の選択は情報入力手段３を介して行われ、選択手段８ｃにおいて表示部位の中で選択された部位を特定する（ＳＴ６）。次に、選択手段８ｃは、選択された部位に応じた装飾品の情報を情報格納手段８ｅから呼び出して画像表示手段２に表示する。例えば、唇が選択された場合は口紅のサンプルを表示する。使用者は、画像表示手段２に表示された装飾品の中から利用したい装飾品を選択し入力する。なお、使用者は装飾品のサンプルは画像表示手段２に表示するとともにショーケース４に展示してある装飾品のサンプルから選択しても良い。使用者が選択した装飾品は選択手段８ｃにおいて選択、特定される（ＳＴ８）。装飾品が選択、特定されると、情報記憶手段８ｆに記憶されていた選択された部位に関する情報とが対応付けられ（ＳＴ９）、画像合成手段８ｄにおいて画像が合成される（ＳＴ１０）。
【００２６】
ここで、画像の合成について、具体的に選択し特定された被写体の部位が唇、選択された装飾品が口紅であり、唇の上に口紅を塗った場合を例にとって説明する。なお、この情報格納手段８ｅに格納されている装飾品の情報とは、例えば、化粧品の色の情報である。この色情報も予め装飾品ごとに明るさや色を、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色に数値化され格納されているものである。
【００２７】
一般的に、薄いピンク系統の口紅を唇の色の赤味が少ない人がその唇に塗った場合、塗った後の色合いは口紅の色合いとほぼ同じくなる。一方で、同じ口紅を唇の色の赤或いは紫色が強い人がその唇に塗った場合、塗った後の色合いは口紅本来の色よりも濃い色として表現される。これは、口紅を唇に塗ることで口紅の色は唇の色と混ざり合って新たな色を発色するからである。決して口紅の色がそのまま塗った唇の上で表現されるわけではない。そこで、本実施の形態においては、実際に唇に口紅を塗った場合の塗った後の口紅の色合いを忠実に再現するべく、演算により数値化された唇の色情報と口紅の色情報とに基づいて唇に口紅を塗った後の色を求める。その演算結果を画像表示手段２へ送信し画像表示手段２に表示をする（ＳＴ１１）。なお、本発明の実施の形態においては、画像の合成を各色情報の演算することにより行うこととしたが、例えば、マトリクス化された被写体の色情報と装飾品の色情報を情報格納手段８ｅに格納し、これらの各色情報を用いて合成した画像を求める方法等、他の方法で合成した画像を求めても良い。
【００２８】
合成された画像は、画像表示手段２に表示され、使用者は実際に口紅を唇に塗らなくても塗った状態を画面上で確認することができる。そして、この表示された画像を印刷手段６により印刷することができる（ＳＴ１２）。また、その後再度画像の合成を行う場合は、上述した特定された画像の中から部位を選択し特定する工程（ＳＴ６）、或いは実体像の撮影（ＳＴ１）まで戻る。
【００２９】
このように、基となる画像の情報（選択された部位（唇）の色情報）とその基となる画像の上に重ねる装飾品の画像の情報（口紅の色情報）とに基づいて唇に口紅を塗った後の色を求め、その情報に基づいて画像を合成することで、実際に唇に口紅を塗ったのと同じ色合いを簡単、的確なシミュレーション画像として提示することのできる画像処理装置を提供することができる。
【００３０】
（第２の実施の形態）
次に本発明における第２の実施の形態について説明する。なお、第２の実施の形態において、上述の第１の実施の形態において説明した構成要素と同一の構成要素には同一の符号を付し、同一の構成要素の説明は重複するので省略する。
【００３１】
第２の実施の形態においては、図６のフローチャートに示すように、画像の合成に当たって装飾品の情報に加えて装飾品を使用する環境の情報までも加味する点に特徴がある。
【００３２】
図６に示すように、選択手段８ｃが使用者により選択された部位に応じた装飾品の情報を情報格納手段８ｅから呼び出して画像表示手段２に表示し、使用者が選択した装飾品は選択手段８ｃにおいて選択、特定される（ＳＴ８）。その後、さらにこの選択された装飾品の使用環境が画像表示手段２に表示され（ＳＴ８ａ）、使用者により使用環境が選択される。選択された使用環境の情報は選択手段８ｃで特定される（ＳＴ８ｂ）。
【００３３】
これは、同じ色の口紅を付けたとしても晴天の屋外、電灯がついている屋内、照明を落とした屋内等、その口紅が使用される環境によりその色の見え方は大きく異なる。例えば、顔の左側から光が当たっている場合、唇の左側は光に照らされて色が白っぽくなり、唇の右側は陰になって黒っぽい色に見える。このような状態で、薄いピンク色の口紅を唇に塗ると、唇の左側は口紅に近い色合いが出、唇の右側は口紅の色よりも濃い色合いとなる。また、濃い赤色の口紅を唇に塗ると、唇の左側は口紅の色よりも薄い色合いとなり、反対に唇の右側は口紅の色に近い色合いが出る。情報格納手段８ｅには様々な環境の下での使用を考慮して、屋外、屋内、天候等における光線の加減、及び光線の向きを数値化した環境情報が予め格納されており、画像の合成にあたってはこれらの環境情報も加味する。
【００３４】
このように、基となる画像の情報とその基となる画像の上に重ねる装飾品の画像の情報及び各使用環境に応じた光線の具合についての情報とに基づいて唇に口紅を塗った後の色を求め、その情報に基づいて画像を合成することで、実際に唇に口紅を塗り使用される環境と同じ色合いを簡単、的確なシミュレーション画像として提示することのできる画像処理装置を提供することができる。
【００３５】
（第３の実施の形態）
次に本発明における第３の実施の形態について説明する。
【００３６】
第３の実施の形態においては、画像処理装置１を利用する使用者の動きに合わせて合成された画像もリアルタイムに追随して動く点に特徴がある。
【００３７】
画像入力手段７は、最初に使用者の画像を構成するために撮影をした後、使用者が画像処理装置１を利用している間、継続して使用者を撮影し続けている。そこで、この常に撮影している画像の情報を高速演算処理することで、使用者の実際の動きに合成する画像の動きを同期させることができる。
【００３８】
このようにすることで、使用者が画像処理装置１の前で動くことによってできる影や色の変化を忠実に再現することが可能となり、これらの情報に基づいて装飾品の情報や環境情報を加味して画像を合成することで、実際に装飾品を使用した場合と同じ状態を簡単、的確なシミュレーション画像として提示することのできる画像処理装置を提供することができる。
【００３９】
なお、この発明は、上述実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。上述した各実施の形態においては、化粧品売り場での例を挙げて説明したが、その他に、例えば、プリクラ（登録商標）、例えば、透ける素材でできた衣装或いは複数の小孔が空いていたり透明な部分のある髪飾りやネックレス等の貴金属を身につける場合にシミュレーション画像を提示する店舗のショーウインドー、家庭の洗面台等に組み込んで実施することが可能である。また、情報記憶手段８ｆには合成された画像を格納する機能をがあるが、この画像を保持しておくことで顧客情報として管理し、次回また同じ使用者が画像処理装置１を使用した場合に過去の履歴情報として提示することも可能である。さらに、画像処理装置１を使用する使用者が自らの情報、例えば、夏に日焼けした自分の顔の色情報や自分の所有する装飾品に関する情報をＣＤ−Ｒ等の記憶媒体に記憶させておき、これらの情報を画像処理装置１内に取り込み、使用者に関する情報を補正或いは追加できるようにしても良い。
【００４０】
上記実施の形態に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、例えば、本発明の実施の形態に係る画像処理装置１にインターネット端末を備え、装飾品の情報を適宜更新し、常に最新の装飾品の情報を具備するようにする等、異なる実施の形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１の実施の形態に係る画像処理装置を示す構成図である。
【図２】本発明の第１の実施の形態に係る画像処理装置の一使用態様を示す構成図である。
【図３】本発明の第１の実施の形態に係る画像処理装置の内部構成を示す切断断面図である。
【図４】本発明の第１の実施の形態に係る画像処理装置の内部構成を示すブロック図である。
【図５】本発明の第１の実施の形態に係る画像処理の流れを示すフローチャートである。
【図６】本発明の第２の実施の形態に係る画像処理の流れを示すフローチャートである。
【符号の説明】
【００４２】
１  画像処理装置
２  画像表示手段
３  情報入力手段
６  印刷手段
７  画像入力手段
８  制御装置
【図１】
2007133599.tif 000003
【図２】
2007133599.tif 000004
【図３】
2007133599.tif 000005
【図４】
2007133599.tif 000006
【図５】
2007133599.tif 000007
【図６】
2007133599.tif 000008