(57)【要約】【課題】  消費電力を抑えながらも、化粧結果の客観的な評価を行って利用者に示すことができる電子鏡等を提供する。【解決手段】  画像を表示する表示手段５０と、前記表示手段と一体的に設けられた撮像手段２０と、前記撮像手段が撮像した利用者の顔を含む原画像に基づいて、利用者の顔の右半分と左半分の明るさおよび色の少なくとも一方を比較することで利用者が行った化粧の対称性を判断し、非対称であると判断した場合に、前記原画像に基づく画像と化粧が非対称である旨の警告とを前記表示手段に表示させる制御手段４０と、を含む。【選択図】図１
2013158481.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示手段と、
前記表示手段と一体的に設けられた撮像手段と、
前記撮像手段が撮像した利用者の顔を含む原画像に基づいて、利用者の顔の右半分と左半分の明るさおよび色の少なくとも一方を比較することで利用者が行った化粧の対称性を判断し、非対称であると判断した場合に、前記原画像に基づく画像と化粧が非対称である旨の警告とを前記表示手段に表示させる制御手段と、を含む電子鏡。
【請求項２】
請求項１に記載の電子鏡において、
利用者の顔の特徴である特徴データを記憶する記憶手段を含み、
前記制御手段は、
前記特徴データに基づいて、前記原画像に基づく画像を補正し、利用者が行った化粧の対称性を判断する電子鏡。
【請求項３】
請求項２に記載の電子鏡において、
前記制御手段は、
前記特徴データに基づく補正を実行する前の画像に基づいて利用者が行った化粧が非対称であると判断する場合に、前記特徴データに基づく補正を実行して再び対称性を判断する電子鏡。
【請求項４】
請求項１乃至３のいずれか１項に記載の電子鏡において、
前記制御手段は、
前記原画像に基づいて、電子鏡の使用場所における環境の情報である環境情報を取得し、
前記原画像に、前記環境情報に基づく色補正を実行して利用者が行った化粧の対称性を判断する電子鏡。
【請求項５】
請求項１乃至４のいずれか１項に記載の電子鏡において、
利用者からの指示を受け取り、指示信号を生成する指示入力手段を含み、
前記制御手段は、
前記指示信号に基づいて、利用者の顔の右半分と左半分とを比較するのに用いる画像の領域を上部と下部とに２分割し、前記上部および前記下部の少なくとも一方について利用者が行った化粧の対称性を判断する電子鏡。
【請求項６】
画像を表示する表示手段と、前記表示手段と一体的に設けられた撮像手段と、を含む電子鏡のプログラムであって、
前記撮像手段が撮像した利用者の顔を含む原画像に基づいて、利用者の顔の右半分と左半分の明るさおよび色の少なくとも一方を比較することで利用者が行った化粧の対称性を判断し、非対称であると判断した場合に、前記原画像に基づく画像と化粧が非対称である旨の警告とを前記表示手段に表示させる制御手段としてコンピューターを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子鏡およびそのプログラム等に関する。
【背景技術】
【０００２】
高齢化社会の進展に伴って高齢者が増えており、日常生活に用いる物についても高齢者向けの補助機能を備えることが望まれている。例えば、老眼の女性高齢者が化粧の際に眼鏡を外すことがあるが、鏡に映る顔がぼやけて見えると化粧を失敗するおそれがある。そこで、鏡に化粧結果を客観的に評価する機能をもたせることは有用である。
【０００３】
例えば、特許文献１の発明に係る装置は、眉毛、目、唇、鼻といった顔の要素を抽出して、要素同士の対称性等を評価することで化粧結果の客観的な評価を行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２１３７５１号公報
【特許文献２】特開２００４−１８００４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、通常用いられる鏡（可視光線を反射する一般にガラスでできた鏡）に代わる電子鏡が提案されている。例えば、特許文献２の発明に係る電子鏡は、撮像装置で撮影された画像が左右反転されてリアルタイムで液晶表示装置に映る。そのため、電子鏡は、通常用いられる鏡と同じように使用され得る。
【０００６】
例えば、特許文献１の発明に係る装置をこのような電子鏡に組み込めば、高齢者は化粧の失敗にすぐに気付くことができる。しかし、特許文献１の発明は、静止画を想定して、顔の要素の対称性等を評価するものである。従って、リアルタイムに画像を映す電子鏡において特許文献１の画像処理を行う場合、非常に処理能力が高いＣＰＵや、安定した電源供給が必要になる。
【０００７】
しかし、電子鏡は通常用いられる鏡に代わって、化粧等で日常的に使用されるものである。外出先で化粧直しを行う場合等を考慮すると、例えばコンパクトケースに組み込まれた電池駆動の電子鏡を用いることがある。すると、特許文献１の発明に係る装置を、電池駆動の電子鏡に組み込むことは、例えば電源供給の安定性や消費電力の観点からも現実的ではない。
【０００８】
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、消費電力を抑えながらも、化粧結果の客観的な評価を行って利用者に示すことができる電子鏡等を提供する。
【課題を解決するための手段】
【０００９】
（１）本発明は、電子鏡であって、画像を表示する表示手段と、前記表示手段と一体的に設けられた撮像手段と、前記撮像手段が撮像した利用者の顔を含む原画像に基づいて、利用者の顔の右半分と左半分の明るさおよび色の少なくとも一方を比較することで利用者が行った化粧の対称性を判断し、非対称であると判断した場合に、前記原画像に基づく画像と化粧が非対称である旨の警告とを前記表示手段に表示させる制御手段と、を含む。
【００１０】
本発明の電子鏡は、利用者の顔を含む原画像に基づいて、利用者の顔の右半分と左半分の明るさおよび色の少なくとも一方を比較する。ここで、化粧は、顔の右半分と左半分とで対称的に施される。よって、本発明の電子鏡は、比較した明るさ、色、又はこれらの両方が顔の右半分と左半分とで大きく異なる場合に化粧が非対称であると判断し、警告を表示手段に表示させる。このとき、本発明の電子鏡は、眉毛、目、唇、鼻といった顔の要素を抽出する画像処理を行わないため、処理時間を短縮でき、要素を抽出する画像処理で消費電力が増大することを回避できる。そして、化粧結果の客観的な評価を行って利用者に示すことができる。
【００１１】
（２）この電子鏡において、利用者の顔の特徴である特徴データを記憶する記憶手段を含み、前記制御手段は、前記特徴データに基づいて、前記原画像に基づく画像を補正し、利用者が行った化粧の対称性を判断してもよい。
【００１２】
（３）この電子鏡において、前記制御手段は、前記特徴データに基づく補正を実行する前の画像に基づいて利用者が行った化粧が非対称であると判断する場合に、前記特徴データに基づく補正を実行して再び対称性を判断してもよい。
【００１３】
これらの発明によれば、制御手段は、利用者の顔の特徴である特徴データを記憶手段から読み込んで画像を補正する。そして、制御手段は補正後の画像に基づいて化粧の対称性を判断する。このとき、特徴データとは例えば利用者のホクロ、傷、しみ等の位置、大きさ、色等をあらわすデータであって、これらが対称性の判断に影響を与えないように制御手段で使用される。例えば、特徴データに基づいて、ホクロや傷をその周囲の色に置き換えるような画像処理を行う。そのため、化粧ムラや化粧忘れに起因する非対称だけを正確に検出することが可能になる。
【００１４】
ここで、制御手段は、非対称であると判断した場合にだけ、利用者の顔の特徴である特徴データを記憶手段から読み込んで画像を補正してもよい。例えば、ファンデーションを顔全体に塗った場合には、小さなしみなどは視認されないことがある。このとき、制御手段が特徴データに基づいて画像を補正すると、かえって正確な検出結果が得られない場合がある。そこで、一度非対称であると判断した場合にだけ、利用者の顔の特徴であるホクロ、傷、しみ等の影響を取り除く。すると、常に特徴データに基づいて画像を補正するよりも、消費電力を抑えることが可能になる。
【００１５】
（４）この電子鏡において、前記制御手段は、前記原画像に基づいて、電子鏡の使用場所における環境の情報である環境情報を取得し、前記原画像に、前記環境情報に基づく色補正を実行して利用者が行った化粧の対称性を判断してもよい。
【００１６】
本発明によれば、環境情報に基づいて画像を補正してから、利用者が行った化粧の対称性を判断するので、より正確な検出結果が得られる。環境情報に基づく画像の色補正とは、例えば、利用者の顔の陰影を除去する補正である。この例では、制御手段が陰影の影響で誤って非対称であると判断することを回避することができる。
【００１７】
（５）この電子鏡において、利用者からの指示を受け取り、指示信号を生成する指示入力手段を含み、前記制御手段は、前記指示信号に基づいて、利用者の顔の右半分と左半分とを比較するのに用いる画像の領域を上部と下部とに２分割し、前記上部および前記下部の少なくとも一方について利用者が行った化粧の対称性を判断してもよい。
【００１８】
本発明によれば、制御手段は、利用者からの指示に従い上下方向にも画像の領域を２分割して、化粧の左右対称性を判断する。このとき、上部で左右対称性を判断してから下部で左右対称性を判断してもよいし、上部又は下部の領域だけで左右対称性を判断してもよい。このとき、例えば上部の左右対称性の判断では、目、眉、額といった部分の化粧について化粧ムラや化粧忘れの有無を判断できる。逆に、例えば下部の左右対称性の判断では、頬、口といった部分の化粧について化粧ムラや化粧忘れの有無を判断できる。
【００１９】
このとき、利用者に対してどの辺りに化粧ムラ等があるかを、より細かく示すことができる。例えば口元に化粧ムラがある旨の警告を表示手段に示せば、利用者は直ちに化粧を直すことができ、電子鏡の利便性が高まる。また、上下方向に画像の領域を２分割する処理は、利用者の指示により複数回実行されてもよい。このとき、より細かく化粧ムラがある部分を特定することができる。
【００２０】
（６）本発明は、画像を表示する表示手段と、前記表示手段と一体的に設けられた撮像手段と、を含む電子鏡のプログラムであって、前記撮像手段が撮像した利用者の顔を含む原画像に基づいて、利用者の顔の右半分と左半分の明るさおよび色の少なくとも一方を比較することで利用者が行った化粧の対称性を判断し、非対称であると判断した場合に、前記原画像に基づく画像と化粧が非対称である旨の警告とを前記表示手段に表示させる制御手段としてコンピューターを機能させる。
【００２１】
本発明によれば、プログラムによって利用者が行った化粧の対称性を判断する。このとき、例えば比較に用いる対象（明るさ、色）を容易にプログラム変更で調整することもできる。そのため、設計上の制約を低減し、柔軟に変更が可能な電子鏡を提供できる。
【図面の簡単な説明】
【００２２】
【図１】第１実施形態における電子鏡のブロック図。
【図２】図２（Ａ）〜図２（Ｂ）は電子鏡の外観図。
【図３】図３（Ａ）〜図３（Ｄ）は電子鏡における画像の補正や調整の例を示す図。
【図４】図４（Ａ）〜図４（Ｂ）は左右反転機能について説明する図。
【図５】図５（Ａ）〜図５（Ｂ）は対称性の判断に用いる領域を説明する図。
【図６】図６（Ａ）〜図６（Ｂ）は対称性の判断に用いる分割された領域を説明する図。
【図７】対称性の判断に用いる、さらに分割された領域を説明する図。
【図８】第１実施形態でのフローチャート。
【図９】サブルーチンのフローチャート。
【図１０】第２実施形態における電子鏡のブロック図。
【図１１】第２実施形態における電子鏡の外観図。
【図１２】第２実施形態でのフローチャート。
【図１３】サブルーチンのフローチャート。
【発明を実施するための形態】
【００２３】
１．第１実施形態
１．１．電子鏡の構成
本発明の第１実施形態について図１〜図９を参照して説明する。図１は、本実施形態の電子鏡の構成を示す図である。
【００２４】
本実施形態の電子鏡１０は、カメラ２０、ＣＰＵ４０、ＬＣＤ５０を含む。カメラ２０は撮像手段に、ＣＰＵ４０は制御手段に、ＬＣＤ５０は表示手段に対応する。また、電子鏡１０は、本実施形態のようにメモリーブロック３０、入力装置７０を含んでいてもよい。メモリーブロック３０は記憶手段に、入力装置７０は指示入力手段に対応する。
【００２５】
カメラ２０は、例えばＣＣＤイメージセンサー（Charge Coupled Device Image Sensor）やＣＩＳ（Complementary Metal Oxide Semiconductor Image Sensor）、その他のイメージセンサーを含んでいてもよい。また、１つに限らず複数で構成されていてもよい。
【００２６】
カメラ２０は、撮影した利用者の顔を含む画像（以下、原画像とする）を画像信号１２０に変換してＣＰＵ４０に出力する。画像信号１２０は、例えばＲＧＢ信号であってもよいし、ＹＣｂＣｒ（ＹＰｂＰｒ）信号であってもよいし、その他のフォーマットを用いてもよい。
【００２７】
ここで、本実施形態のカメラ２０が撮影する画像は、ＬＣＤ５０の正面を映したものである。後に図示するように、カメラ２０は電子鏡１０のうち、鏡に相当するＬＣＤ５０の内部又は近傍に一体的に設けられている。そして、電子鏡１０の使用時には利用者はＬＣＤ５０の正面に存在するため、あたかも反射したように利用者の姿がＬＣＤ５０に映ることになる。
【００２８】
メモリーブロック３０は、例えばランダムアクセスメモリー（ＲＡＭ３２）やリードオンリーメモリー（ＲＯＭ３４）を含んでいてもよい。ＲＡＭ３２は、ＤＲＡＭであってもよいしＳＲＡＭであってもよい。ＲＯＭ３４は、マスクＲＯＭであってもよいし、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）やフラッシュＲＯＭといったプログラマブルＲＯＭであってもよい。
【００２９】
メモリーブロック３０は、少なくとも電子鏡１０の利用者の特徴データを記憶する。特徴データとは、利用者個人を特定するための特徴点を集めた情報であって、例えば顔における目、鼻、口等の相対的な位置や、ホクロ、傷、しみの位置、大きさ、色等であってもよい。特徴データは例えばＲＯＭ３４に記憶されていてもよいし、電子鏡１０の起動時にＲＡＭ３２に書き込まれてもよい。
【００３０】
なお、メモリーブロック３０に代わって、ハードディスクなどの大容量の記憶装置が用いられてもよい。このとき、多くの人の特徴データを記憶することができる。また、特徴データを蓄積したハードディスクなどで構成されるデータベースが存在し、メモリーブロック３０は電子鏡１０の起動時などに特徴データを読み込んでもよい。このとき、メモリーブロック３０はインターネット経由でデータベースから特徴データを読み込んでもよい。
【００３１】
ＣＰＵ４０は、原画像に画像処理を施して、原画像又は画像処理後の画像信号である出力画像信号１４０を生成する。ＣＰＵ４０が行う画像処理は、例えば明るさ、色の少なくとも１つを調整するものであってもよい。また、例えばＣＰＵ４０は、利用者の特徴データを読み出しデータ１３０として受け取り、ホクロや傷を除去する画像処理を実行してもよい。他にも、ＣＰＵ４０は、例えば原画像の輝度や色の分布を把握して、陰影を除去する画像処理を実行してもよい。ＣＰＵ４０は、全ての画像処理が実行された画像について出力画像信号１４０を生成してもよいし、いくつかの画像処理が実行された中間画像について出力画像信号１４０を生成してもよい。また、画像の拡大縮小を実行してもよい。
【００３２】
ＣＰＵ４０は、また、いくつかの画像処理が実行された画像に基づいて、利用者の顔の右半分と左半分の明るさおよび色の少なくとも一方を比較する。そして、利用者が行った化粧の対称性を判断し、非対称であると判断した場合には、ＬＣＤ５０に表示させる化粧の非対称を警告するメッセージを出力画像信号１４０と共に生成して出力する。なお、化粧の対称性を正確に判断するために、ＣＰＵ４０が取得した画像に画像処理を実行して、新たな画像を生成することを、画像を補正する、とも表現する。また、化粧の非対称を警告する方法は本実施形態のようなＬＣＤ５０上のメッセージに限らず、例えば、ランプの点灯やアイコンの表示又は点滅、音の発生等であってもよい。
【００３３】
ここで、ＣＰＵ４０は、例えば画像処理の際の中間データ、入力装置７０を用いて更新された特徴データ等を、書き込みデータ１４２としてＲＡＭ３２に記憶させてもよい。また、必要に応じて、ＲＡＭ３２、ＲＯＭ３４に記憶させたデータを読み出しデータ１３０として受け取ってもよい。
【００３４】
ＬＣＤ５０は、出力画像信号１４０に基づいて、ＣＰＵ４０による画像処理が施された画像を表示する。ＬＣＤ５０に表示される画像は、原画像に比べて、例えば拡大・縮小されたものであってもよい。また、ＬＣＤ５０に表示される画像は、原画像に比べて、輝度、コントラスト、色温度等が調整されていてもよい。そして、ＬＣＤ５０は、前記の化粧の非対称を警告するメッセージを表示する。
【００３５】
なお、利用者が通常の鏡と同じように使えるように、ＬＣＤ５０に表示される画像は、左右反転して表示されてもよい。このとき、本実施形態のようにＣＰＵ４０が画像処理として左右を反転してもよいし、ＣＰＵ４０ではなくＬＣＤ５０がその表示調整機能によって左右を反転してもよい。
【００３６】
本実施形態の電子鏡１０は、入力装置７０を含む。入力装置７０は利用者からの指示に従って、指示信号１７０を出力する。ＣＰＵ４０は、指示信号１７０を受け取り、例えば指定された倍率に設定したり、電子鏡１０をオン状態（動作状態）又はオフ状態（停止状態）にしたりする。本実施形態では、指示信号１７０に基づく利用者からの指示は優先的に実行される。つまり、ＣＰＵ４０は、自動で拡大・縮小された画像をＬＣＤ５０に表示してもよいが、利用者から倍率の変更指示があった場合には、利用者の指示に従った倍率に変更する。
【００３７】
ここで、入力装置７０は、例えばボタン７２やスライドスイッチ７４を含んでいてもよい。例えば、ボタン７２は電子鏡１０のオン状態、オフ状態を切り換える主電源ボタンであってもよい。スライドスイッチ７４は、利用者が手動で倍率を設定するのに使用されてもよい。また、ボタン７２やスライドスイッチ７４は複数あってもよい。例えば、図外の別のボタンが存在し、ＬＣＤ５０の左右反転表示のオン、オフを切り換えるのに用いられてもよいし、化粧の左右対称性の詳細情報を利用者が知りたい場合に用いられてもよい。
【００３８】
なお、図には含まれないが、電子鏡１０は電源を供給する電源装置を含む。電子鏡１０は家庭用電源で動作してもよいが、本実施形態では電池で動作するものとする。電池は１次電池であってもよいし、２次電池であってもよい。
【００３９】
１．２．電子鏡の外観
図２（Ａ）は、本実施形態の電子鏡１０の外観図である。電子鏡１０は、画像を表示するＬＣＤ５０がフレーム３に囲まれた外観をしている。フレーム３には、ボタン７２Ａやボタン７２Ｂ、可動切片７５を持つスライドスイッチ７４が設けられている。ここで、ボタン７２Ａは電子鏡１０のオン状態、オフ状態を切り換える主電源ボタンであり、ボタン７２Ｂは化粧の左右対称性の詳細情報を利用者が知りたい場合に用いられるファンクションボタンである。
【００４０】
ここで、図２（Ａ）のＣはＬＣＤ５０の中心である。この位置にカメラ２０が埋め込まれていてもよいが、ＬＣＤ５０に穴をあけるなどの加工が必要である。本実施形態の電子鏡１０では、フレーム３の上部にカメラ２０が埋め込まれている。ここで、カメラ２０は、ＬＣＤ５０の中心Ｃを通る垂直方向の中心線５の上に存在する。そのため、利用者の顔をほぼ正面から捉えることができる。なお、カメラ２０の位置は図２（Ａ）の例に限らない。また、カメラ２０は取り外し可能であって、利用者が例えば後頭部や頭頂部などを映すことができてもよい。
【００４１】
本実施形態の電子鏡１０は、電池駆動であるが、部屋の特定の場所に設置されるのに適した形状である。ここで、外出先で化粧直しを行う場合等を考慮すると、例えばコンパクトケースに組み込まれた電池駆動の電子鏡が便利である。図２（Ｂ）は、電子鏡１０Ａの外観図である。電子鏡１０Ａは、電池で動作し、ヒンジ５１を備えることでＬＣＤ５０を内側に折りたたんで持ち運ぶことができる。なお、図２（Ａ）と同じ要素には同じ符号を付しており、その他の要素の説明は省略する。
【００４２】
特に電子鏡１０Ａのような小型の形状である場合には、大型の電池を使用することが困難であり、例えばボタン型電池などが使用されることがある。このとき、電池を長持ちさせるためには、ＣＰＵ４０が実行する画像処理に伴う消費電力を小さくすることが有効である。したがって、電子鏡に化粧結果を客観的に評価する機能をもたせる場合、評価に必要な画像処理をできるだけ単純化してＣＰＵ４０の負担を減らすことが重要である。
【００４３】
以下では、本実施形態の電子鏡１０について、化粧ムラや化粧忘れといった化粧の失敗の有無を客観的に評価するために実行される画像処理（画像の補正）、判断の方法、フローについて説明する。なお、電子鏡１０Ａのブロック図は本実施形態の電子鏡１０と同じであり、以下のＣＰＵ４０の処理は電子鏡１０Ａについても共通であるため、電子鏡１０だけについて説明を行う。
【００４４】
１．３．電子鏡における画像の補正および表示の調整
図３（Ａ）〜図４（Ｂ）は、電子鏡１０が化粧結果を客観的に評価するために実行する画像の補正等を説明する図である。なお、図１〜図２（Ｂ）と同じ要素には同じ符号を付しており説明を省略する。また、図３（Ａ）〜図４（Ｂ）は画像処理を説明するための図であり、これらの画像がＬＣＤ５０に必ず表示されるとは限らない。
【００４５】
図３（Ａ）は、カメラ２０が撮像した利用者の顔を含む画像（原画像）がＬＣＤ５０に表示されている様子を表す。このとき、天井の電灯７８によって顔に影（陰影７７）が生じている。ここで、陰影７７の存在によって、化粧ムラの有無の判定が正しくできない可能性がある。本実施形態の電子鏡１０のＣＰＵ４０は、このような陰影７７を除去する画像処理を行い、図３（Ｂ）のような補正した画像を生成する。
【００４６】
ここで、陰影７７を除去するのに、ＣＰＵは次のような手法を実行してもよい。ＣＰＵは、原画像の色、明るさをそれぞれ示す色相値、輝度値を求める。そして、色相値と輝度値が同時に変化している境界を物体間又は部位間の境界であると判断し、輝度値だけが変化している境界を陰影７７がつくる境界であると判断する。
【００４７】
さらに、原画像の輝度値の分布を統計的に処理し、光源（ここでは、電灯７８）の位置、方向を認識する。そして、例えば鼻等の付近の暗い部分のうち、光源と反対方向にあるものを陰影７７であると判断する。このとき、光源との位置関係を考慮することで、より正確に陰影７７を検出することができる。そして、陰影７７が化粧の対称性の判断に影響がないようにする。このとき、ＣＰＵ４０は、図３（Ｂ）のように、陰影７７を例えば周囲の色で置換する陰影の除去を実行してもよいし、陰影７７に含まれる画素の色相値と輝度値が化粧の対称性の判断で使用されないようにしてもよい。
【００４８】
また、図３（Ｂ）のように陰影７７を除去した画像について、ＣＰＵ４０は、明るさを調整して図３（Ｃ）のような補正画像を生成してもよい。例えば、図３（Ｃ）の画像の明るさは、利用者が化粧を直すのに見やすい明るさであってもよいし、特徴データに基づいてホクロや傷等を除去した画像を生成するのに適した明るさであってもよい。
【００４９】
さらに、ＣＰＵ４０は、利用者が手動で倍率を調整したときに、指示信号に従って拡大縮小を実行してもよい。図３（Ｄ）は、利用者がスライドスイッチ７４の可動切片７５を移動させて、拡大の指示をしたときの画像の変化を表している。
【００５０】
また、図４（Ａ）〜図４（Ｂ）は、本実施形態の左右反転機能について説明する図である。電子鏡１０は、通常の鏡と同じように使用できることを目的として、原画像に対して左右が反転している画像をＬＣＤ５０に表示する。図４（Ａ）は、左右が反転した画像であって（左右反転機能はオン状態）、利用者は通常の鏡と同じように化粧等を行うことができる。
【００５１】
一方、図４（Ｂ）は、左右が反転していない画像であって（左右反転機能はオフ状態）、利用者は自分が他人からどのように見られるかを他人の視点で確認することができる。ＣＰＵ４０は、図４（Ａ）の表示と図４（Ｂ）の表示との切り換えを、画像処理の１つとして実行してもよい。
【００５２】
１．４．化粧結果の客観的な評価
図５（Ａ）〜図７は、本実施形態の電子鏡１０が化粧結果を客観的に評価する手法を説明する図である。なお、化粧結果について客観的に評価する前に、前記の画像処理によって、陰影の除去や、倍率（拡大縮小）の調整が適切に実行されているものとする。なお、図１〜図４（Ｂ）と同じ要素には同じ符号を付しており説明を省略する。
【００５３】
本実施形態の電子鏡１０は、化粧結果における失敗の有無を、顔の右半分と左半分とで色合いおよび明るさの少なくとも一方を比較することで判断する。一般に、顔の右半分と左半分とで対称的である場合、化粧は正しく実行されていることになる。一方、片方の眉毛のみを化粧したり（化粧忘れ）、一部に化粧ムラができたりすると、顔の右半分と左半分とで色合いおよび明るさの少なくとも一方が大きく異なる。このとき、化粧が失敗したと判断できる。
【００５４】
ここで、比較に用いる顔の右半分と左半分の領域を小さくとると、眉毛、目、唇、鼻といった顔の要素を抽出して、要素同士の対称性等を評価する場合と同じ程度の処理時間がかかり、消費電力も増大する。そこで、以下の例のように、本実施形態では大きな領域で比較して、利用者の要求がある場合にのみ領域を狭めて詳細な解析を行う。そのため、消費電力を抑えながら、化粧結果を客観的に評価することができる。
【００５５】
図５（Ａ）は、電子鏡１０が利用者の化粧が左右で非対称であると判断して、化粧が非対称であるとの警告表示９８と共に利用者を映した画像を表示手段に表示している様子を表す。利用者は、警告表示９８によって顔の右半分と左半分の化粧が対称でないことに気付くことができる。この例では、左頬の化粧にムラ（化粧ムラ９０）があり、右頬とは色合いが異なるので、左右非対称との警告表示９８が表示されている。
【００５６】
このとき、ＣＰＵは以下のような処理によって化粧の左右対称性を判断している。まず、ＣＰＵはメモリーブロック（図１参照）から特徴データを読み込み、取得した画像における利用者の顔の特徴点を抽出して、特徴データの情報と比較することで利用者を特定する。ここで、メモリーブロックは特定の１人の特徴データを記憶していてもよいが、本実施形態の電子鏡１０では複数人の特徴データを記憶しているとする。
【００５７】
利用者の特定の仕方は、現在知られている一般的な顔識別手法を採用してもよい。例えば、取得した画像から、眉や目の端点等の顔特徴点を抽出し、これらの間の距離（顔特徴点間距離）を測定する。そして、複数の利用者の特徴データと比較して、マッチするものを選択してもよい。
【００５８】
その後にＣＰＵは、特定した利用者の鼻を通る垂直方向の境界線Ｌ１を求める。境界線Ｌ１は、画像における利用者の顔の右半分と左半分とを分ける境界線である。そして、境界線Ｌ１と垂直に交わる水平方向の境界線ＬＴ、境界線ＬＢを求める。境界線ＬＴは、例えば図５（Ａ）の例のように髪の毛の生え際で決定されてもよい。そして、境界線ＬＢは、例えば図５（Ａ）の例のようにあごの先で決定してもよい。
【００５９】
図５（Ｂ）は、図５（Ａ）のＬＣＤ５０を取り出し、境界線Ｌ１、境界線ＬＴ、境界線ＬＢを示したものである。なお、利用者の顔などの画像の表示は省略している。図５（Ｂ）でこれらの境界線とＬＣＤ５０の左側の黒枠とで囲まれた、利用者の顔の左半分を含む領域が領域Ａ１である。また、図５（Ｂ）でこれらの境界線とＬＣＤ５０の右側の黒枠とで囲まれた、利用者の顔の右半分を含む領域が領域Ａ２である。ＣＰＵは、領域Ａ１に含まれる画素の明るさ、色（この例では、それぞれ輝度値、色相値とする）を平均した値と、領域Ａ２に含まれる画素の輝度値、色相値を平均した値とを比較して、化粧の左右対称性を判断してもよい。比較は、輝度値および色相値の少なくとも一方について実行されればよい。また、画素値がＲＧＢやＹＣｂＣｒなどで表されており、その一部又は全部の色について比較が実行されてもよい。
【００６０】
ここで、ホクロ９９のような利用者の顔に特有の要素が、化粧の左右対称性の判断に影響を与える可能性がある。そのため、ＣＰＵは特徴データに基づいてホクロや傷等を除去した画像を生成してから、化粧に起因する色や明るさの分布である化粧データを抽出して、前記の比較を実行してもよい。なお、ホクロや傷等に限らず、特定された利用者の化粧をしていない素顔のデータ（素顔データ）がメモリーブロックに記憶されていてもよい。ＣＰＵは、素顔データを読み込んで、素顔データに基づいて化粧データを抽出してもよい。
【００６１】
なお、上記の説明では背景の影響はないものとして説明したが、実際には背景（特に均一な色、明るさでない背景）が化粧の左右対称性の判断に影響を与える可能性がある。そのため、ＬＣＤ５０において背景が見えない程度に利用者の顔が拡大されているか、顔の輪郭に基づいて、領域（図５（Ｂ）では領域Ａ１と領域Ａ２）から利用者の顔を含まない背景部分を除外する処理が行われてもよい。具体的には、利用者の左耳、右耳の位置で境界線Ｌ１に平行な、境界線ＬＬ（図外）、境界線ＬＲ（図外）を求める。そして、境界線ＬＬ、境界線ＬＴ、境界線Ｌ１、境界線ＬＢで囲まれた領域を領域Ａ１とし、境界線Ｌ１、境界線ＬＴ、境界線ＬＲ、境界線ＬＢで囲まれた領域を領域Ａ２として比較を実行してもよい。
【００６２】
１．５．化粧結果の客観的な評価（詳細）
上記のように、本実施形態の電子鏡１０は、利用者の化粧の左右対称性を判断し、左右で非対称である場合に化粧の失敗があるとして警告表示を行う。しかし、左右非対称という警告表示だけでは、利用者がどの部分を直していいか分からない場合もある。
【００６３】
図６（Ａ）〜図７は、利用者が化粧を直すべき場所を特定するために、領域をより細かく分割して、利用者に対して適切な警告表示をする処理を説明する図である。なお、図５（Ａ）〜図５（Ｂ）と同じ要素については同じ符号を付しており説明を省略する。
【００６４】
図６（Ａ）は、利用者の右目のアイシャドウの部分に化粧ムラ９２がある場合の例を示す。ここでは、警告表示９８として「目元が左右非対称」と表示されており、利用者はアイシャドウの化粧の失敗に気付くことができる。
【００６５】
図５（Ａ）と比べると、境界線ＬＴと境界線ＬＢとの中間に、これらに平行に境界線Ｌ２が追加されている。境界線Ｌ２によって、図５（Ｂ）の領域Ａ１と領域Ａ２とをさらに分割し、その上部の領域で左右の非対称があれば、図６（Ａ）のような警告表示９８をして、利用者に対して化粧を直すべき部分をより特定して示すことができる。
【００６６】
この例においても、まず、図５（Ａ）〜図５（Ｂ）のように領域Ａ１と領域Ａ２とを比較して、「左右非対称」という警告表示９８が示される。その後、利用者がボタン７２Ｂを押すことで、図６（Ａ）のようにＣＰＵは境界線Ｌ２を追加して、領域をさらに２分割する。
【００６７】
図６（Ｂ）は、この場合における領域を示す図である。境界線Ｌ２によって、上部の領域Ａ１１と領域Ａ２１が作られる。また、下部の領域Ａ１２、Ａ２２も作られることになる。ＣＰＵは、例えば最初に上部の領域Ａ１１と領域Ａ２１について、明るさおよび色の少なくとも一方を比較する。そして、化粧が左右非対称であると判断した場合には、図６（Ａ）のように「目元が左右非対称」との警告表示９８を行う。
【００６８】
その後に、利用者がボタン７２Ｂを押した場合には、ＣＰＵは、下部の領域Ａ１２と領域Ａ２２について、明るさおよび色の少なくとも一方を比較する。そして、化粧が左右非対称であると判断した場合には、例えば「口元が左右非対称」といった警告表示９８を行う。このように、化粧の左右非対称が、目元にあるのか、口元にあるのか、それとも両方にあるのかを、警告表示９８によって利用者は知ることができ、化粧直しを行う場所を特定することが可能である。
【００６９】
このとき、ＣＰＵは自動的に上部、下部に２分割した領域の左右対称性を判断するのではなく、利用者の指示があったときだけ領域の分割等を実行する。そのため、詳細な左右対称性の判断を自動的に実行し、結果として消費電力が大きくなるような問題は発生しない。例えば、利用者がボタン７２Ｂを一定時間押さない場合には、警告表示９８が消えて、詳細な左右対称性の判断に進まないようにしてもよい。
【００７０】
ここで、領域を分割して行う詳細な左右対称性の判断は、多段的に実行されてもよい。例えば、図７は、図６（Ｂ）のように分割された後に、さらに利用者の指示によって領域が分割される様子を表している。
【００７１】
このとき、境界線Ｌ３、境界線Ｌ４がさらに追加されて、例えば８つの領域Ａ１１１〜領域Ａ２２２に分割される。例えば、領域Ａ１１１と領域Ａ２１１との比較で、非対称であった場合には、「額が左右非対称」との警告表示９８が示される。また、例えば、領域Ａ１２１と領域Ａ２２１との比較で、非対称であった場合には、「頬が左右非対称」との警告表示９８が示される。したがって、利用者はより簡単に、化粧直しを行う場所を特定することが可能である。
【００７２】
１．６．フローチャート
図８〜図９は、本実施形態の電子鏡に含まれるＣＰＵが行う制御を表す。ＣＰＵは、例えばＲＯＭに記憶されたプログラムを読み込んで、そのプログラムに従って以下に説明する制御を実行してもよい。
【００７３】
図８のように、ＣＰＵはカメラから利用者の画像（原画像）を取得する（Ｓ２）。そして、原画像の明るさの分布などから光源の位置を特定する（Ｓ４）。そして、利用者の顔における陰影を明るさや色の変化から特定して除去する（Ｓ６）。このとき、光源に対する位置を計算することで、本当の影であるかを確認して、慎重に陰影除去を行うことが可能である。
【００７４】
ＣＰＵは、メモリーブロックから特徴データを取得して（Ｓ８）、原画像の利用者を特定する（Ｓ１０）。その後、利用者の鼻を通る垂直中心線（例えば図５（Ａ）の境界線Ｌ１に対応）を設定し、顔の右半分と左半分の領域を定める（Ｓ１２）。そして、特定された利用者の特徴データに基づいて、ホクロ、傷等の除去を行って（Ｓ１４）、化粧データを抽出する（Ｓ１６）。
【００７５】
その後、化粧に起因する色や明るさの分布である化粧データに基づいて、顔の右半分の領域と左半分の領域との対称性を判断する判定処理を実行する（Ｓ２０）。
【００７６】
判定処理では、図９のように、ＣＰＵは対称性を判断する次の領域を選択する（Ｓ２０２）。例えば、最初であれば、図５（Ｂ）の領域Ａ１と領域Ａ２とが選択される。また、図６（Ｂ）のような場合に、領域Ａ１１と領域Ａ１２の対称性の判断が終了した後であれば、次に対称性を判断する領域は領域Ａ２１と領域Ａ２２である。
【００７７】
ＣＰＵは、選択された領域のそれぞれに含まれる画素値について、演算処理を実行する（Ｓ２０４）。画素値は明るさおよび色の少なくとも一方であってもよいし、演算処理とは例えば平均化であってもよい。
【００７８】
比較の結果、垂直中心線の左右、すなわち顔の右半分と左半分で対称であるか否かが判断される（Ｓ２０６）。非対称であれば（Ｓ２０６：ｙｅｓ）、警告を表示する（Ｓ２０８）。もし、左右対称性があり化粧の失敗がなければ、警告表示はされない（Ｓ２０６：ｎｏ）。ここで、明るさおよび色の少なくとも一方について、垂直中心線の左右の平均化した値の差が所定の閾値以上である場合に非対称であると判断してもよい。
【００７９】
そして、利用者が一定時間内にボタンを押した場合には、領域を狭めての詳細な左右対称性の解析が実行される（Ｓ２１０：ｙｅｓ）。まず、既に上部、下部に分割された領域がある場合、左右対称性の判断がされていない未選択の領域があるか否かが確認される（Ｓ２１２）。未選択の領域がある場合には、Ｓ２０２へと戻る（Ｓ２１２：ｙｅｓ）。未選択の領域がない場合には（Ｓ２１２：ｎｏ）、さらに領域のそれぞれを上部、下部に２分割して（Ｓ２１４）、Ｓ２０２へと戻る。
【００８０】
利用者が、詳細な左右対称性の解析を希望せず、一定時間内にボタンが押されない場合には、判定処理が終了する。
【００８１】
以上のように、本実施形態の電子鏡は、顔の右半分の領域と左半分の領域とで明るさ、色が対称であるか否かを判断することで、消費電力を抑えながらも、化粧結果の客観的な評価を行って利用者に示すことができる。
【００８２】
２．第２実施形態
２．１．電子鏡の構成
本発明の第２実施形態について図１０〜図１３を参照して説明する。図１０は、本実施形態の電子鏡１０Ｂの構成を示す図である。第１実施形態との差異を説明すると、電子鏡１０Ｂは複数のカメラ（カメラ２０Ａ〜カメラ２０Ｄ）を備えている。また、電子鏡１０Ｂをオン状態又はオフ状態にするのに用いる人感センサー８２を備えている。そして、入力装置を省略し、指示入力手段としての機能も兼ねたタッチパネルＬＣＤ８０を備えている。なお、図１〜図９と同じ要素には同じ符号を付しており、以下では第１実施形態と異なる要素についてのみ説明する。
【００８３】
本実施形態の電子鏡１０Ｂにおけるカメラ２０Ａ〜カメラ２０Ｄは、それぞれ電子鏡１０Ｂの異なる場所に設置されることで視差を作り出す。そして、三角測量の原理で検出物体との距離を測定できる。そのため、例えば光源の距離および方向を正確に把握することができ、的確に陰影を除去することができる。なお、カメラの数は４つに限るものではなく、２つ以上であればよい。
【００８４】
ＣＰＵ４０は、画像信号１２０Ａ〜画像信号１２０Ｄのそれぞれを受け取る。ＣＰＵ４０は、画像信号１２０Ａ〜画像信号１２０Ｄのいずれか１つに基づいて、又は４つを合成等した画像信号に基づいて原画像を取得する。
【００８５】
人感センサー８２は、赤外線、超音波、又は可視光などを用いて、人間の存在を検知するセンサーである。本実施形態の電子鏡１０Ｂは、人感センサー８２が利用者の存在を検知して、検出信号１８２を出力したときに、電子鏡１０Ｂの通常機能をオン状態にする。逆に人感センサー８２が利用者の存在を検知しないときは、電子鏡１０Ｂのうち人感センサー８２とＣＰＵ４０のみを動作させるスリープ状態にする。そのため、消費電力を抑えることができ、電源ボタン（図２（Ａ）のボタン７２Ａ参照）を省略することができる。
【００８６】
タッチパネルＬＣＤ８０は、表示手段として機能する他、指示入力手段としても機能する。例えば、利用者は、手動で倍率を変更したい場合に、タッチパネルＬＣＤ８０上に可動切片を持つスライドスイッチの画像を表示させる。そして、利用者がタッチパネルＬＣＤ８０上の可動切片（画像）を指で移動させることで、指示信号１８０がＣＰＵ４０に伝わり、表示画像を拡大・縮小することが可能である。また、化粧の左右対称性の詳細情報を知りたい場合に用いるファンクションボタン（図２（Ａ）のボタン７２Ｂ参照）も表示させる。
【００８７】
このとき、部品としてのスライドスイッチやファンクションボタンを省略することができる。そのため、電子鏡１０Ｂの全体に対してタッチパネルＬＣＤ８０の占める割合を大きくすることが可能である。つまり、電子鏡１０Ｂの全体の大きさを変えずに、表示画像を見やすくすることができる。なお、タッチパネルＬＣＤ８０上のスライドスイッチやファンクションボタンは、利用者がタッチパネルＬＣＤ８０に触れると表示されて、一定時間経過すると表示されなくなってもよい。
【００８８】
２．２．電子鏡の外観
図１１は、本実施形態の電子鏡１０Ｂの外観図である。電子鏡１０Ｂでは、画像を表示するタッチパネルＬＣＤ８０に可動切片を持つスライドスイッチ７４とボタン７２Ｂが表示されている。そして、利用者が指で可動切片を移動させたり、ボタン７２Ｂを押したりすることができる。
【００８９】
また、カメラ２０Ａ、カメラ２０Ｂ、カメラ２０Ｃ、カメラ２０Ｄは、フレーム３のそれぞれ上、左、下、右の部分に設けられている。そのため、例えばカメラ２０Ｂとカメラ２０Ｄの視差により、光源までの正確な距離をＣＰＵが計算で求めることが可能になる。
【００９０】
２．３．フローチャート
図１２〜図１３は、本実施形態の電子鏡に含まれるＣＰＵが行う制御を表す。なお、図８〜図９と同じ工程には同じ符号を付しており詳細な説明を省略する。第１実施形態のフローチャートと比較すると、特徴データに基づく利用者のホクロや傷等の補正処理を左右非対称であると判断した後に実行する点が異なる。これは、小さなホクロなどはファンデーションを塗ったあとで目立たなくなり、対称性の判断にほとんど影響を与えないことを考慮したものである。つまり、左右非対称と判断した後に、利用者の顔の特徴（ホクロ、傷等）に基づいて画像を補正する方が効率的だからである。
【００９１】
また、本実施形態のフローチャートは、第１実施形態のフローチャートと比較すると、利用者がボタンを押さない限り、左右対称性の判断を行わない点で異なる。第１実施形態では、利用者がボタンを押さなくても、少なくとも最初の左右対称性の判断を実行していた。しかし、本実施形態では全ての左右対称性の判断について、利用者がボタンを押すのを待って実行する。そのため、ＣＰＵは不必要な判断を一切実行しないので、さらに消費電力を抑えることができる。
【００９２】
図１２のように、ＣＰＵはカメラから利用者の画像（原画像）を取得する（Ｓ２）。そして、原画像の明るさの分布などから光源の位置を特定する（Ｓ４）。そして、利用者の顔における陰影を明るさや色の変化から特定して除去する（Ｓ６）。本実施形態では、視差に基づいて、光源までの距離や方向を正確に把握できるので、的確に陰影除去を行うことが可能である。
【００９３】
ＣＰＵは、メモリーブロックから特徴データを取得して（Ｓ８）、原画像の利用者を特定する（Ｓ１０）。その後、利用者の鼻を通る垂直中心線（例えば図５（Ａ）の境界線Ｌ１に対応）を設定し、顔の右半分と左半分の領域を定める（Ｓ１２）。そして、化粧データを抽出する（Ｓ１６）。
【００９４】
その後、化粧に起因する色や明るさの分布である化粧データに基づいて、顔の右半分の領域と左半分の領域との対称性を判断する判定処理を実行する（Ｓ２０Ａ）。
【００９５】
判定処理では、図１３のように、ＣＰＵは利用者がボタンを押すのを待って処理を開始する。つまり、一定時間内にボタンが押されなければ、判定処理を終了してしまう（Ｓ２０１：ｎｏ）。
【００９６】
利用者がボタンを押すと（Ｓ２０１：ｙｅｓ）、ＣＰＵは対称性を判断する次の領域を選択する（Ｓ２０２）。次の領域の選択の仕方は第１実施形態と同じである。そして、ＣＰＵは、選択された領域のそれぞれに含まれる画素値について、演算処理を実行する（Ｓ２０４）。
【００９７】
比較の結果、垂直中心線の左右、すなわち顔の右半分と左半分で対称であるか否かが判断される（Ｓ２０６）。もし、左右対称性があり化粧の失敗がなければ（Ｓ２０６：ｎｏ）、対称である旨の表示がされる（Ｓ２１１Ｂ）。
【００９８】
しかし、もし非対称であれば（Ｓ２０６：ｙｅｓ）、利用者の特徴データに基づいて化粧データからホクロや傷等の影響を除去する補正処理が実行される（Ｓ２０７）。そして、再び垂直中心線の左右で対称であるか否かが判断される（Ｓ２０９）。ここで、左右対称性があり化粧の失敗がなければ（Ｓ２０９：ｎｏ）、対称である旨の表示がされる（Ｓ２１１Ｂ）。しかし、補正処理を実行しても非対称であれば（Ｓ２０９：ｙｅｓ）、警告を表示する（Ｓ２１１Ａ）。
【００９９】
対称である旨、又は警告が表示された後、ＣＰＵは、領域を狭めての詳細な左右対称性の解析の準備を行う。まず、既に上部、下部に分割された領域がある場合、左右対称性の判断がされていない未選択の領域があるか否かが確認される（Ｓ２１２）。未選択の領域がある場合には、Ｓ２０１へと戻る（Ｓ２１２：ｙｅｓ）。未選択の領域がない場合には（Ｓ２１２：ｎｏ）、さらに領域のそれぞれを上部、下部に２分割して（Ｓ２１４）、Ｓ２０１へと戻る。
【０１００】
以上のように、本実施形態の電子鏡は、顔の右半分の領域と左半分の領域とで明るさ、色が対称であるか否かを判断することで、消費電力を抑えながらも、化粧結果の客観的な評価を行って利用者に示すことができる。また、利用者がボタンを押すのを待って左右対称性の判断を実行するので、さらに消費電力を抑えることができ、タッチパネルＬＣＤを使用することで部品を削減してコストを抑えることもできる。
【０１０１】
３．その他
これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【０１０２】
３…フレーム、１０…電子鏡、１０Ａ…電子鏡、１０Ｂ…電子鏡、２０…カメラ、２０Ａ…カメラ、２０Ｂ…カメラ、２０Ｃ…カメラ、２０Ｄ…カメラ、３０…メモリーブロック、３２…ＲＡＭ、３４…ＲＯＭ、４０…ＣＰＵ、５０…ＬＣＤ、５１…ヒンジ、７０…入力装置、７２…ボタン、７２Ａ…ボタン、７２Ｂ…ボタン、７４…スライドスイッチ、７５…可動切片、７７…陰影、７８…電灯、８０…タッチパネルＬＣＤ、８２…人感センサー、９０…化粧ムラ、９２…化粧ムラ、９８…警告表示、９９…ホクロ、１２０…画像信号、１２０Ａ…画像信号、１２０Ｂ…画像信号、１２０Ｃ…画像信号、１２０Ｄ…画像信号、１３０…読み出しデータ、１４０…出力画像信号、１４２…書き込みデータ、１７０…指示信号、１８０…指示信号、１８２…検出信号
【図１】
2013158481.tif 000003
【図２】
2013158481.tif 000004
【図３】
2013158481.tif 000005
【図４】
2013158481.tif 000006
【図５】
2013158481.tif 000007
【図６】
2013158481.tif 000008
【図７】
2013158481.tif 000009
【図８】
2013158481.tif 000010
【図９】
2013158481.tif 000011
【図１０】
2013158481.tif 000012
【図１１】
2013158481.tif 000013
【図１２】
2013158481.tif 000014
【図１３】
2013158481.tif 000015