(57)【要約】      （修正有）【課題】対象物の状態に適した情報を報知すること。【解決手段】表示装置１は、対象物３の状態を検出する状態検出手段と、状態検出手段により検出された対象物３の状態に応じた情報を、対象物３に重畳されて見えるように表示させる表示手段２０とを備え、前記状態検出手段は前記対象物の状態の変化状況を時間経過に応じて検出し、前記表示手段は、前記状態検出手段により検出された前記対象物の状態の変化状況に応じて、表示させる情報を変化させる。【選択図】図１
2013182062.tif 000002
【特許請求の範囲】
【請求項１】
対象物の状態を検出する状態検出手段と、
前記状態検出手段により検出された前記対象物の状態に応じた情報を、前記対象物に重畳されて見えるように表示させる表示手段と、
を備えることを特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記状態検出手段は、前記対象物の状態の変化状況を時間経過に応じて検出し、
前記表示手段は、前記状態検出手段により検出された前記対象物の状態の変化状況に応じて、表示させる情報を変化させることを特徴とする表示装置。
【請求項３】
請求項１または２に記載の表示装置において、
前記対象物を撮像する撮像手段をさらに備え、
前記状態検出手段は、前記撮像手段により撮像された画像に基づいて、前記対象物の状態を検出することを特徴とする表示装置。
【請求項４】
請求項３に記載の表示装置において、
前記状態検出手段は、予め記憶手段に記憶された前記対象物の画像と前記撮像手段により撮像された画像とを比較し、当該比較結果に基づいて前記対象物の状態を検出することを特徴とする表示装置。
【請求項５】
請求項３または４に記載の表示装置において、
前記状態検出手段は、前記撮像手段により撮像された画像に対して超解像処理を行い、当該超解像処理後の画像に基づいて前記対象物の細部の状態を検出し、
前記表示手段は、前記状態検出手段により検出された細部の状態に応じた情報を表示させることを特徴とする表示装置。
【請求項６】
請求項３〜５のいずれか一項に記載の表示装置において、
前記対象物は、人物であり、
前記撮像手段は、前記人物を撮像し、
前記状態検出手段は、前記撮像手段により撮像された画像に基づいて前記人物の顔の状態を検出し、
前記表示手段は、前記状態検出手段により検出された前記人物の顔の状態に応じた情報を、当該情報が前記人物の顔または身体に重畳されて見えるように表示させることを特徴とする表示装置。
【請求項７】
請求項６に記載の表示装置において、
前記状態検出手段は、前記撮像手段により撮像された画像に基づいて前記人物の顔の肌色を検出し、
前記表示手段は、前記状態検出手段により検出された顔の肌色に応じた情報を表示させることを特徴とする表示装置。
【請求項８】
請求項６または７に記載の表示装置において、
前記人物の所定部分に対して紫外光を照射する光源をさらに備え、
前記撮像手段は、前記紫外光が照射された前記人物の所定部分を撮像し、
前記状態検出手段は、前記撮像された画像に基づいて前記人物の所定部分の状態を検出し、
前記表示手段は、前記検出手段により検出された前記人物の所定部分の状態に応じた情報を表示させることを特徴とする表示装置。
【請求項９】
請求項３〜８のいずれか一項に記載の表示装置において、
前記表示手段は、前記情報を、鏡に映った前記対象物に重畳されて見えるように表示させることを特徴とする表示装置。
【請求項１０】
請求項９に記載の表示装置において、
前記表示手段は、プロジェクタであり、前記対象物を投影面として前記情報を投影することを特徴とする表示装置。
【請求項１１】
請求項１０に記載の表示装置において、
前記プロジェクタは、投影する前記情報の内容に応じてピントを合わせる位置を変化させることを特徴とする表示装置。
【請求項１２】
請求項９に記載の表示装置において、
前記表示手段は、前記鏡の表側に配置された透過型ディスプレイであることを特徴とする表示装置。
【請求項１３】
請求項３〜８のいずれか一項に記載の表示装置において、
前記表示手段は、前記情報を、前記撮像手段により撮像した前記対象物の画像に重畳されて見えるように表示させることを特徴とする表示装置。
【請求項１４】
対象者の状態を検出する状態検出手段と、
前記状態検出手段により検出された前記対象者の状態に応じた情報を、前記対象者に投影する投影手段と、
を備え、
前記状態検出手段は、前記対象者の状態の変化状況を検出し、
前記投影手段は、前記状態検出手段により検出された前記対象者の状態の変化状況に応じて、投影する情報を変化させることを特徴とする投影装置。
【請求項１５】
請求項１４に記載の投影装置において、
撮像手段をさらに備え、
前記状態検出手段は、前記撮像手段が撮像した画像に基づいて、前記対象者の状態変化を検出することを特徴とする投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置および投影装置に関する。
【背景技術】
【０００２】
鏡に正対する利用者の顔を投影面として各種情報を投影することで、鏡に映った利用者の像に各種情報を重畳表示する情報表示装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−７７７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術は、鏡の利用者に対して、たとえばニュースや天気予報などといった一律の情報を報知するものであり、利用者の状態に適した情報を報知することは考慮されていなかった。
【課題を解決するための手段】
【０００５】
本発明による表示装置は、対象物の状態を検出する状態検出手段と、状態検出手段により検出された対象物の状態に応じた情報を、対象物に重畳されて見えるように表示させる表示手段と、備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、対象物の状態に適した情報を報知できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による表示装置の構成を説明する図である。
【図２】表示装置の要部構成を示すブロック図である。
【図３】化粧報知処理を説明する図である。
【図４】剃り残し報知処理を説明する図である。
【図５】変形例６による表示装置の構成を説明する図である。
【図６】変形例９による表示装置の構成を説明する図である。
【図７】変形例９で用いる鏡の分光透過率を示す図である。
【図８】変形例１０による表示装置の構成を説明する図である。
【図９】変形例１１による表示装置の構成を説明する図である。
【図１０】変形例１６によるプロジェクタ付きカメラの構成を説明する図である。
【図１１】変形例１６による投影処理を説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による表示装置１の構成を説明する図である。表示装置１は、鏡２の上部周辺に設置されるカメラ部１０およびプロジェクタ部２０を有する。表示装置１は、鏡２と向き合う利用者３をカメラ部１０により撮影して、撮影した画像から利用者３の顔の位置を検出する。そして表示装置１は、検出した顔を投影面としてプロジェクタ部２０により各種情報を投影する。これにより、利用者３は、鏡２に映った自画像とともに、プロジェクタ部２０により投影された情報を視認することができる。なお、カメラ部１０およびプロジェクタ部２０は、利用者３が鏡２に自分の顔が映る位置に自然に立ったときに、顔全体を撮影および投影できる位置に配置されている。
【０００９】
図２は、表示装置１の要部構成を示すブロック図である。表示装置１は、カメラ部１０と、プロジェクタ部２０と、制御装置３０と、記憶装置４０と、操作部材５０と、外部インターフェイス（Ｉ／Ｆ）６０とを備える。
【００１０】
制御装置３０は、マイクロプロセッサ及びその周辺回路からなる。制御装置３０は、制御プログラムに基づいて、カメラ部１０による撮影動作やプロジェクタ部２０による投影動作を制御する。記憶装置４０は、制御装置３０で実行される制御プログラムやプロジェクタ部２０により投影する各種情報を格納する。操作部材５０は、ボタンやスイッチなどで構成され、操作されたボタンやスイッチに対応する操作信号を制御装置３０へ送出する。制御装置３０は、外部インターフェイス６０を介して、外部機器から供給される各種情報を取得する。
【００１１】
カメラ部１０は、撮像光学系１０１、撮像素子１０２および撮像制御回路１０３を有し、制御装置３０からの指示に応じて撮像を行う。撮像光学系１０１は、撮像素子１０２の撮像面上に被写体像を結像させる。撮像素子１０２としては、ＣＣＤやＣＭＯＳなどが用いられる。撮像制御回路１０３は、制御装置３０からの指示により撮像素子１０２を駆動制御するとともに、撮像素子１０２から出力される画像信号に対して所定の信号処理を行う。
【００１２】
プロジェクタ部２０は、投影光学系２０１、液晶パネル２０２、ＬＥＤ光源２０３、および投影制御回路２０４を含む。ＬＥＤ光源２０３は、供給電流に応じた明るさで液晶パネル２０２を照明する。液晶パネル２０２は、投影制御回路２０４からの駆動信号に応じて光像を生成する。投影光学系２０１は、液晶パネル２０２から射出される光像を外部の投影面に投影する。投影制御回路２０４は、制御装置３０から指示された情報を投影するための制御信号を、ＬＥＤ光源２０３および液晶パネル２０２へ送出する。
【００１３】
本実施形態の表示装置１は、カメラ部１０で撮影した利用者３の顔画像から利用者３の顔の状態を検出し、顔の状態に応じた情報を投影する投影処理に特徴を有するので、以下、この投影処理について説明する。本実施形態では、投影処理として、顔色に合った化粧を報知する化粧報知処理と、髭の剃り残しを報知する剃り残し報知処理とが設けられている。
【００１４】
−化粧報知処理−
図３を用いて化粧報知処理について説明する。図３（ａ）は、カメラ部１０により利用者３を撮影した画像を示す。図３（ｂ）は、プロジェクタ部２０により投影する画像を示す。なお、図３（ｂ）中、破線の箇所は実際には投影されない。図３（ｃ）は、鏡２に映る像を示す。
【００１５】
制御装置３０は、たとえば操作部材５０からの操作信号により化粧報知処理の実行が指示されると、カメラ部１０を制御して所定時間間隔ごとに撮像を行わせ、撮像画像（図３（ａ））に対して顔検出処理を行う。制御装置３０は、顔検出処理によって利用者３の顔が検出されると、検出した顔の目や鼻、口の位置、顔の輪郭、顔の肌色（顔色）などの顔情報を検出する。
【００１６】
顔色は、例えば赤みが強い肌色や青みが強い肌色など、人によっても異なるし、同一人物であっても体調によって異なることがある。また、顔に似合うチーク（頬紅）の色は顔色によって異なることが知られている。そこで本実施形態では、種々の顔色と各顔色に適したチークの色とを対応付けるデータベースが記憶装置４０に格納されている。制御装置３０は、このデータベースを参照して、上記検出した利用者３の顔色に適したチークの色を特定する。
【００１７】
そして制御装置３０は、図３（ｂ）に示すように、上記特定した色のチークの画像Ｐｃを投影するための投影画像を生成する。このとき制御装置３０は、利用者３の顔においてチークを入れるのに適した位置にチークの画像Ｐｃが投影されるように、検出した顔情報に基づいてチークの画像Ｐｃを位置決めする。
【００１８】
プロジェクタ部２０は、制御装置３０の制御のもと、利用者３の顔を投影面として上記生成された投影画像を投影する。この結果、図３（ｃ）に示すように、鏡２には、利用者３の顔にチークの画像Ｐｃが重畳されて映る。すなわち鏡２には、利用者３の顔があたかも化粧されたように映る。これにより、利用者３は化粧をする前に、自分の顔色に合った化粧が施された顔を鏡２で確認することができる。利用者３は、鏡２で確認した化粧が気に入れば、投影されている通りに化粧をしていけばよい。
【００１９】
そして、制御装置３０は、チークの画像Ｐｃを投影した後も所定時間間隔ごとにカメラ部１０による撮像を行わせ、撮像画像に基づいて化粧の進行状況を判断する。制御装置３０は、投影したチークの画像Ｐｃの通りに化粧が進行していると判断すると、その進行状況に応じて投影するチークの画像Ｐｃを徐々に薄くしていく。すなわち、カメラ部１０による撮影画像において利用者３の顔のチークが濃くなった分、投影するチークの画像Ｐｃを薄くしていく。そして制御装置３０は、投影したチークの画像Ｐｃの通りに化粧が完了した箇所には、何も投影させないようにする。これにより、利用者３は、投影されるチークの画像Ｐｃの変化に基づいて、自分があとどのくらいチークを入れればよいかを確認することができる。
【００２０】
またカメラ部１０は、赤外光にも感度が高く、可視画像に加えて赤外画像の撮影も可能に構成されていてもよい。この場合の制御装置３０は、上述したように顔色を検出して顔色に合ったチークを特定する処理に加え、カメラ部１０により撮影された赤外画像に基づいて利用者３の顔表面の温度を検出し、この検出結果に基づいて利用者３の健康状態（たとえば体温）を判断する処理を行う。そして制御装置３０は、上述したチークの画像Ｐｃに加え、健康状態の判断結果を示す情報（たとえば、「微熱があります」といったテキスト情報）を利用者３の顔に投影させる。また、熱がある場合には、顔色に赤みが増したり、通常よりも目尻が下がって見えたりすることが知られている。そこで制御装置３０は、利用者３に熱があると判断した場合には、プロジェクタ部２０により、顔色の赤みを目立たなくする化粧の画像を投影させたり、目尻を強調して見せる化粧の画像を投影させたりするようにしてもよい。
【００２１】
−剃り残し報知処理−
図４を用いて剃り残し報知処理について説明する。図４（ａ）は、カメラ部１０により利用者３を撮影した画像を示す。図４（ｂ）は、プロジェクタ部２０により投影する画像を示す。なお、図４（ｂ）中、破線の箇所は実際には投影されない。図４（ｃ）は、鏡２に映る像を示す。
【００２２】
制御装置３０は、たとえば操作部材５０からの操作信号により剃り残し報知処理の実行が指示されると、カメラ部１０を制御して所定時間間隔ごとに撮像を行わせ、撮像画像（図４（ａ））に対して顔検出処理を行う。制御装置３０は、顔検出処理によって利用者３の顔が検出されると、検出した顔の目や鼻、口の位置、顔の輪郭、顔の肌色（顔色）などの顔情報を検出する。また制御装置３０は、検出した顔画像に対して公知の超解像処理を行って高解像度の顔画像を生成し、この高解像度の顔画像から髭Ｈｇを検出する。具体的には、例えば、鼻の位置よりも下で且つ口の周囲に存在する顔色と異なる色の部分を髭Ｈｇとして検出する。
【００２３】
そして制御装置３０は、図４（ｂ）に示すように、上記検出した髭の位置を強調表示する矢印画像Ｐｙおよびテキスト画像（『Ｃｈｅｃｋ！』）Ｐｔを投影するための投影画像を生成する。なお実際には、テキスト画像Ｐｔを、利用者３が鏡２越しに見たときに文字が読めるように左右反転した状態の画像として生成する。
【００２４】
プロジェクタ部２０は、制御装置３０の制御のもと、利用者３の顔を投影面として上記生成された投影画像を投影する。この結果、図４（ｃ）に示すように、鏡２には、利用者３の顔に矢印画像Ｐｙおよびテキスト画像Ｐｔが重畳されて映る。これにより、利用者３は髭剃りをした後、髭の剃り残しを鏡２で確認することができ、鏡２を見ながら髭の剃り残しを剃ることができる。
【００２５】
そして、制御装置３０は、矢印画像Ｐｙおよびテキスト画像Ｐｔを投影した後も所定時間間隔ごとにカメラ部１０による撮像を行わせ、撮像画像から髭を検出し続け、髭剃りの進行状況に応じて投影する画像を変化させる。具体的には、髭が剃られたことで髭が検出されなくなった箇所については、矢印画像Ｐｙおよびテキスト画像Ｐｔの投影を終了させる。これにより、利用者３は、投影される矢印画像Ｐｙおよびテキスト画像Ｐｔの変化に基づいて、自分があとどのくらい髭剃りを行なえばよいかを確認することができる。
【００２６】
また、制御装置３０は、検出した髭が顔の輪郭（縁）の近傍にあると判断した場合には、矢印画像Ｐｙおよびテキスト画像Ｐｔに加え、利用者３に顔の向きを変えることを促すメッセージをプロジェクタ部２０により投影させるようにしてもよい。たとえば、髭の位置が下側の輪郭近傍の場合には上を向くように促し、髭の位置が右側の輪郭近傍の場合には左を向くように促す。このメッセージに従って利用者３が鏡２に対する顔の向きを変えることで、利用者３は鏡２で髭の剃り残しをより確認しやすくなる。このとき制御装置３０は、利用者３が鏡２に対する向きを変えて髭の位置が変わるのに応じて、矢印画像Ｐｙおよびテキスト画像Ｐｔの投影位置を追従させるようにする。
【００２７】
なお、髭の強調表示方法については、図４に示した矢印画像Ｐｙおよびテキスト画像Ｐｔに限らなくてよく、たとえば検出した髭を太く見せるような画像を投影するようにしてもよい。また、上述した化粧報知処理と同様にして利用者３の顔色を検出し、検出した顔色の反対色を矢印画像Ｐｙおよびテキスト画像Ｐｔの色とするようにしてもよい。これにより、矢印画像Ｐｙおよびテキスト画像Ｐｔをより見やすくすることができる。
【００２８】
以上説明した実施の形態によれば、次の作用効果が得られる。
（１）表示装置１は、鏡２と向き合う利用者３を撮像するカメラ部１０と、カメラ部１０により撮像された画像に基づいて、利用者３の顔の状態を検出する制御装置３０と、制御装置３０により検出された利用者３の顔の状態に応じた情報を、当該情報が鏡２に映った利用者３の像に重畳されて見えるように表示させるプロジェクタ部２０と、を備えるので、利用者３に、鏡２に映った利用者３の像とともに利用者３の顔の状態に適した情報を視認させることができる。
【００２９】
（２）上記（１）の表示装置１において、制御装置３０は、カメラ部１０により撮像された画像に基づいて、利用者３の顔の状態の変化状況（化粧の進行状況や髭剃りの進行状況など）を時間経過に応じて検出し、プロジェクタ部２０は、当該変化状況に応じて表示させる情報を変化させるように構成したので、逐次変化する顔の状態に合わせて最適な情報を表示することができる。
【００３０】
（３）上記（１）または（２）の表示装置１において、制御装置３０は、カメラ部１０により撮像された画像に対して超解像処理を行い、当該超解像処理後の画像に基づいて利用者３の顔における細部の状態（髭の剃り残し）を検出し、プロジェクタ部２０は、検出された髭を強調する情報を表示させるように構成したので、利用者３に対して、鏡２を視認するだけでは発見しづらい箇所の状態について報知することができる。
【００３１】
（４）上記（１）〜（３）の表示装置１において、制御装置３０は、カメラ部１０により撮像された画像に基づいて利用者３の顔の肌色を検出し、プロジェクタ部２０は、当該検出された顔の肌色に応じた情報（顔色に合ったチーク）を表示させるように構成したので、利用者３は鏡２を見て当該情報を確認しながら化粧をすることができる。
【００３２】
（５）上記（１）〜（４）の表示装置１において、カメラ部１０は、鏡２に相対する利用者３の赤外画像を撮像し、制御装置３０は、当該赤外画像に基づいて利用者３の顔の表面温度を検出し、プロジェクタ部２０は、顔の表面温度に応じた情報（健康状態や最適な化粧など）を表示させるように構成したので、利用者３に対して、鏡２を視認するだけでは気づきにくい情報について報知することができる。
【００３３】
（変形例１）
上述した実施の形態では、化粧報知処理において顔色に合ったチークを投影する例について説明したが、これに限らず、たとえば口紅やアイシャドウなどを顔色に合わせて投影するようにしてもよい。また、目の下の肌色に基づいて目のくまを検出し、目のくまを目立たなくする化粧を投影するようにしてもよい。
【００３４】
（変形例２）
上述した実施の形態では、超解像処理によって高解像度に変換した撮影画像に基づいて髭を検出する例について説明したが、これに限らず、たとえば目尻等の小皺を検出するようにしてもよい。この場合の制御装置３０は、検出した小皺の位置を強調表示するような画像を投影させる。これにより、利用者３は鏡２で小皺の位置を確認することができるので、鏡２を見ながらその小皺を化粧で隠すことができる。
【００３５】
（変形例３）
上述した実施の形態では、超解像処理によって高解像度に変換した撮影画像に基づいて髭を検出する例について説明したが、カメラ部１０として高解像度のカメラを用いて、超解像処理を行わずに撮影画像に基づいて髭を検出するようにしてもよい。
【００３６】
（変形例４）
上述した投影処理において、利用者３が動いているときには投影せず、利用者３の動きが止まっているときに投影するようにしてもよい。たとえば、上述した剃り残し報知処理において制御装置３０は、カメラ部１０による撮影画像から公知のパターンマッチングなどによる動き検出処理を行い、利用者３の動きを検出する。制御装置３０は、所定以上の動きが検出されているときは、撮影画像から髭が検出されても髭を強調表示する画像をプロジェクタ部２０により投影させず、動きが検出されなくなったら髭を強調表示する画像をプロジェクタ部２０により投影させる。これにより、たとえば利用者３が手を動かして髭を剃っているときには何も表示させず、利用者３が手を止めて自分の顔を確認しているときに髭を強調表示できる。
【００３７】
（変形例５）
上述した投影処理において、カメラ部１０により利用者３の顔にピントを合わせた際の測距情報に基づいて、プロジェクタ部２０のピントを合わせるようにしてもよい。
【００３８】
また、カメラ部１０とプロジェクタ部２０とが近傍に配置されている場合は、カメラ部１０から利用者３の顔までの距離とプロジェクタ部２０から利用者３の顔までの距離とが略等しい。そこでこの場合、撮影画像における利用者３の顔の大きさに基づいてカメラ部１０から利用者３の顔までの距離を検出し、この距離に基づいてプロジェクタ部２０のピントを利用者３の顔に合わせるようにしてもよい。
【００３９】
さらに、プロジェクタ部２０のピントを合わせる位置を、投影する情報の内容に応じて変化させるようにしてもよい。たとえば化粧報知処理を行う場合には、顔全体に化粧の画像を投影するため、顔全体にピントが合うように調整する。また、剃り残し報知処理を行う場合には、顎の周辺に髭を強調する画像を投影するため、顎にピントが合うように調整する。
【００４０】
（変形例６）
歯の磨き残しを報知する磨き残し報知処理を行うようにしてもよい。変形例６の表示装置１では、図５に示すように、歯に付着する歯垢を検出するためのＵＶ光（紫外光）を照射するＵＶ光源７０が鏡２近傍に設けられる。なおＵＶ光源７０は、ＵＶ光が利用者３の目に入射しないような位置に配置される。変形例６の制御装置３０は、たとえば、カメラ部１０による撮影画像から利用者３の口および歯を検出すると、磨き残し報知処理を開始して、検出した歯に対してＵＶ光源７０からＵＶ光を照射させるとともに、カメラ部１０により再度撮影を行う。歯と歯垢とではＵＶ光を照射した際の反射状態が異なるため、制御装置３０は、カメラ部１０による撮影画像からＵＶ光の反射状態に基づいて歯垢を検出する。そして制御装置３０は、検出した歯垢の位置を強調するような画像をプロジェクタ部２０により投影させる。これにより、利用者３は鏡２で歯垢の位置を確認することができるので、鏡２を見ながらその歯垢を除去するように歯磨きを行うことができる。
【００４１】
（変形例７）
利用者３の顔色に合った洋服を報知する処理を行うようにしてもよい。変形例７では、種々の顔色と各顔色に適した洋服の色とを対応付けるデータベースが記憶装置４０に格納されている。制御装置３０は、上述した化粧報知処理と同様にして利用者３の顔色を検出すると、このデータベースを参照して、検出した顔色に適した洋服の色を特定する。プロジェクタ部２０は、利用者３の身体を投影面として、上記特定した色の洋服の画像を投影する。この結果、鏡２には、利用者３の身体に洋服の画像が重畳されて映るので、利用者３に顔色に合った洋服を報知することができる。
【００４２】
（変形例８）
たとえば携帯電話などの携帯端末に適したデコレーションを報知する処理を行うようにしてもよい。この場合の利用者３は、携帯端末を、鏡２に映り且つカメラ部１０およびプロジェクタ部２０により撮影および投影できる位置に持つとする。制御装置３０は、カメラ部１０により撮影した画像から携帯端末が検出されると、検出した携帯端末の画像に対して公知の超解像処理を行って高解像度の画像に変換し、この高解像度の画像から携帯端末の傷や変色部分などを検出する。検出方法としては、たとえば、予め記憶装置４０に新品の状態での携帯端末の画像を記憶しておき、この画像と上記高解像度の撮影画像との差分に基づいて検出すればよい。携帯端末の傷や変色部分などが検出されると、プロジェクタ部２０は、その部分を目立たなくするようなデコレーションの画像を、携帯端末を投影面として投影する。この結果、鏡２には、携帯端末にデコレーションの画像が重畳されて映るので、携帯端末に適したデコレーションを報知することができる。
【００４３】
（変形例９）
プロジェクタ部２０を、図６に示すように、鏡２の裏側に配置するようにしてもよい。この場合、図７に示すように、プロジェクタ部２０のＬＥＤ光源２０３が発する波長の光（ＲＧＢ）の透過率が高い鏡２を用いるようにする。これにより、プロジェクタ部２０からの投影光が鏡２を透過して利用者３の顔に投影される。
【００４４】
また、変形例９では、プロジェクタ部２０を配置する高さを利用者３の顔の高さに近づけることで、より精度よく顔に投影することができる。しかしながら、利用者３の顔の正面にプロジェクタ部２０を配置すると、利用者３がプロジェクタ部２０を直視して眩しくなってしまう。そこで、利用者３の顔の高さに近づけつつも、利用者３の顔の正面にならない位置（たとえば図６に示すように利用者３の視線の下側から投影する位置）にプロジェクタ部２０を配置する。こうすることで、プロジェクタ部２０からの投影光は鏡２を透過するものの、利用者３からはプロジェクタ部２０を見にくくすることができ、眩しくなるのを防ぐことができる。
【００４５】
なお、図６ではプロジェクタ部２０を鏡２の裏側に配置するようにしたが、カメラ部１０を鏡２の裏側に配置するようにしてもよいし、カメラ部１０およびプロジェクタ部２０の両方ともを鏡２の裏側に配置するようにしてもよい。
【００４６】
（変形例１０）
カメラ部１０から見てたとえば利用者３の鼻で遮蔽されている範囲については撮影できないが、カメラ部１０とプロジェクタ部２０の光路がずれていると、この撮影できない範囲に情報を投影してしまう場合がある。このようなことを防止するため、カメラ部１０およびプロジェクタ部２０の光路を略一致させるようにしてもよい。
【００４７】
図８は、変形例１０における表示装置１の一例を示す図である。図８では、カメラ部１０の前方にミラー８０が配置され、プロジェクタ部２０の前方にハーフミラー９０が配置される。プロジェクタ部２０の光路では、プロジェクタ部２０からの投影光がハーフミラー９０を透過して利用者３に導かれる。カメラ部１０の光路では、利用者３からの被写体光がハーフミラー９０により反射されてミラー８０に導かれ、さらにミラー８０により反射されてカメラ部１０に導かれる。すなわち、カメラ部１０の光路において、利用者３からハーフミラー９０までの光路がプロジェクタ部２０の光路と略一致する。これにより、撮影時に遮蔽される範囲について投影像も遮蔽されるので、カメラ部１０で検出した状況通りに情報を投影でき、立体物であっても適切に情報を重畳表示できる。
【００４８】
（変形例１１）
上述した実施の形態では、プロジェクタ部２０によって利用者３の顔へ情報を投影することにより、鏡２に映った利用者３の顔の像に情報を重畳表示させる例について説明した。しかしながら、プロジェクタ部２０に代えてディスプレイを用いて利用者３の顔の像に情報を重畳表示させるようにしてもよい。
【００４９】
図９（ａ）は、鏡２の表側に透過型ディスプレイ１２０を積層した場合を示す。透過型ディスプレイ１２０は、任意の情報を表示できるとともに、情報を表示しない箇所（背景）の光透過率を上げることで外部からの入射光を透過させる。透過型ディスプレイ１２０としては、たとえば、液晶ディスプレイ、有機ＥＬディスプレイまたは無機ＥＬディスプレイなどを用いることができる。この場合、利用者３は、透過型ディスプレイ１２０を透過して、鏡２に映った利用者３の顔の像を視認することができる。ゆえに透過型ディスプレイ１２０に情報を表示させることで、上述した実施の形態と同様に利用者３の顔の像に情報を重畳表示させることができる。
【００５０】
図９（ｂ）は、ハーフミラー１２の裏側にディスプレイ２２０を積層した場合を示す。この場合のディスプレイ２２０は、任意の情報を表示できる一般的なディスプレイを用いればよい。ハーフミラー１２に入射した光の一部は反射され、一部は透過される。ゆえに利用者３は、ハーフミラー１２に映った顔を視認できるとともに、ハーフミラー１２を透過して、ディスプレイ２２０に表示された情報を確認することができる。ゆえに、上述した実施の形態と同様に利用者３の顔の像に情報を重畳表示させることができる。
【００５１】
（変形例１２）
上述した実施の形態では、カメラ部１０により撮影した撮影画像に基づいて利用者３の状態（顔色や健康状態など）を検出する例について説明したが、カメラ部１０に限らず、この他の状態検出手段を用いて利用者３の状態を検出するようにしてもよい。例えば、温度検出センサなどを用いて利用者３の体温を測定して、利用者３の健康状態を検出するようにしてもよい。
【００５２】
（変形例１３）
上述した実施の形態では、カメラ部１０により撮影した赤外画像に基づいて利用者３の顔表面の温度を検出し、この検出結果に基づいて利用者３の健康状態を判断する例について説明したが、この他の方法で利用者３の健康状態を判断するようにしてもよい。
【００５３】
例えば、通常の体温であるときの利用者３の顔画像をテンプレート顔画像として予め記憶装置４０に記憶させておく。制御装置３０は、カメラ部１０による撮影画像から利用者３の顔を検出すると、記憶装置４０からテンプレート顔画像を読み出し、カメラ部１０による撮影画像の顔色とテンプレート顔画像の顔色とを比較する。この比較の結果、撮影画像の顔色がテンプレート顔画像の顔色よりも所定値以上赤みが強い場合、利用者３に熱があると判断し、その旨を示すテキスト情報や顔色の赤みを目立たなくする化粧の画像をプロジェクタ部２０により投影させる。
【００５４】
また、剃り残し報知処理において髭の剃り残しを検出する際にも、制御装置３０がカメラ部１０による撮影画像と記憶装置４０から読み出したテンプレート顔画像とを比較し、この比較結果に基づいて髭の剃り残しを検出するようにしてもよい。
【００５５】
（変形例１４）
上述した実施の形態ではカメラ部１０およびプロジェクタ部２０が別々に設けられている例について説明したが、カメラ部１０およびプロジェクタ部２０を一体化したプロジェクタ付きカメラに本発明を適用してもよい。
【００５６】
（変形例１５）
上述した実施の形態では、カメラ部１０が鏡２と向き合う利用者３を撮影し、当該撮影画像に基づいて利用者３の状態を検出する例について説明した。しかしながら、カメラ部１０の撮影方向を、鏡２を撮影する方向としてもよい。この場合、カメラ部１０は、鏡２に映った利用者３の像を撮影し、当該撮影画像に基づいて利用者３の状態を検出する。
【００５７】
また上述した実施の形態では、プロジェクタ部２０が利用者３の顔を投影面として各種情報を投影することにより、鏡２に映った利用者３の顔に各種情報を重畳表示させる例について説明した。しかしながら、プロジェクタ部２０の投影方向を、鏡２を投影する方向とする（すなわち鏡２に向かって投影光を発する）ようにしてもよい。この場合、プロジェクタ部２０が鏡２に映った利用者３の顔に各種情報を投影させるようにしてもよい。または、プロジェクタ部２０が鏡２に向かって投影光を発し、その投影光が鏡２で反射された反射光が利用者３の顔に投影されるようにしてもよい。
【００５８】
なお、カメラ部１０の撮影方向が鏡２を撮影する方向であり且つプロジェクタ部２０の投影方向が利用者３を投影する方向であってもよいし、カメラ部１０の撮影方向が利用者３を撮影する方向であり且つプロジェクタ部２０の投影方向が鏡２を投影する方向であってもよい。
【００５９】
（変形例１６）
上述した実施の形態では、利用者３の顔に情報を投影して鏡２に映った利用者３の顔に情報を重畳表示させる例について説明した。しかしながら、鏡２の代わりに利用者３の画像を表示させる表示手段を設け、当該表示手段に表示された利用者３の画像に上記情報を重畳表示させるようにしてもよい。
【００６０】
図１０は、変形例１６の一例を示すプロジェクタ付きカメラ３００の外観図である。図１０（ａ）および（ｂ）は、プロジェクタ付きカメラ３００を前方から見た斜視図であり、図１０（ｃ）および（ｄ）は、プロジェクタ付きカメラ３００を後方から見た斜視図である。プロジェクタ付きカメラ３００の内部構成は、図１に示した構成と同様であるため、説明を省略する。図１０（ａ）に示すように、プロジェクタ付きカメラ３００の正面には、撮影レンズ３１０とプロジェクタ投影窓３２０が設けられている。プロジェクタ付きカメラ３００のカメラ部１０は撮影レンズ３１０を介して撮影を行う。プロジェクタ付きカメラ３００のプロジェクタ部２０は、プロジェクタ投影窓３２０を介して投影を行う。
【００６１】
図１０（ｂ）に示すように、プロジェクタ付きカメラ３００の背面には、バリアングルモニタ３３０が設けられている。バリアングルモニタ３３０は、ヒンジ部３４０によって回転軸３４０ａを軸にして回転することができる。ゆえに、例えば、図１０（ｃ）および図１０（ｄ）に示すように、バリアングルモニタ３３０を回転させて、バリアングルモニタ３３０の表示面３３０Ａを前方に向けることができる。したがって図１１に示すように、利用者３は、撮影レンズ３１０およびプロジェクタ投影窓３２０を自身に向けた状態で、バリアングルモニタ３３０の表示面３３０Ａを自身の方へ向けることができるので、カメラ部１０により自身を撮影しながら、その撮影画像をバリアングルモニタ３３０によって確認できる。
【００６２】
変形例１６の場合、利用者３は、プロジェクタ付きカメラ３００を予め図１１に示した状態にセットする。プロジェクタ付きカメラ３００は、カメラ部１０により利用者３を撮像し、撮像した画像に基づいて、上述した実施の形態と同様に利用者３の顔の状態を検出する。そしてプロジェクタ付きカメラ３００は、プロジェクタ部２０により、利用者３の顔の状態に応じた情報（化粧や剃り残しなど）を利用者３の顔に投影する。その後、プロジェクタ付きカメラ３００は、再度、カメラ部１０により利用者３の顔を撮像し、撮像した画像をバリアングルモニタ３３０に表示させる。このとき利用者３の顔にはプロジェクタ部２０により上記情報が投影されているので、バリアングルモニタ３３０には利用者３の顔の画像に上記情報が重畳されて表示される。これにより、利用者３に、利用者３の画像とともに利用者３の顔の状態に適した情報を視認させることができる。
【００６３】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
【符号の説明】
【００６４】
１…表示装置、２…鏡、３…利用者、１０…カメラ部、２０…プロジェクタ部、３０…制御装置、４０…記憶装置、７０…ＵＶ光源、１２０…透過型ディスプレイ、３００…プロジェクタ付きカメラ、３３０…バリアングルモニタ
【図１】
2013182062.tif 000003
【図２】
2013182062.tif 000004
【図３】
2013182062.tif 000005
【図４】
2013182062.tif 000006
【図５】
2013182062.tif 000007
【図６】
2013182062.tif 000008
【図７】
2013182062.tif 000009
【図８】
2013182062.tif 000010
【図９】
2013182062.tif 000011
【図１０】
2013182062.tif 000012
【図１１】
2013182062.tif 000013