(57)【要約】【課題】従来のデジタルミラーには、視力を考慮し、適切に拡大率を決定して表示する仕組みがないため、老眼などにより視力が低下したユーザが、ミラーを見ながら化粧などをする際に、自らの目やまつ毛の像を明視できないことがある。【解決手段】  画像処理装置は、ユーザの動画像を取得し、ユーザの視力に関する情報であるユーザ視力情報を取得し、表示装置からユーザまでの距離の情報であるユーザ距離情報を取得するインタフェースを備えている。画像処理装置はさらに、ユーザ距離情報およびユーザ視力情報に基づいて、表示装置上に表示されるユーザ像をユーザが明視できるよう、取得された動画像の拡大縮小率を少なくとも含む拡縮方法を決定するプロセッサと、決定された拡縮方法にしたがって、動画像からユーザのミラー動画像を生成する画像処理回路と、生成されたミラー動画像を表示装置に出力するインタフェースとを備えている。【選択図】図２
2015103991.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが自らの像を視認する際に用いられる画像処理装置であって、
ユーザの動画像を取得する第１インタフェースと、
前記ユーザの視力に関する情報であるユーザ視力情報を取得する第２インタフェースと、
表示装置から前記ユーザまでの距離の情報であるユーザ距離情報を取得する第３インタフェースと、
前記ユーザ距離情報およびユーザ視力情報に基づいて、前記表示装置上に表示されるユーザ像を前記ユーザが明視できるよう、取得された動画像の拡大縮小率を少なくとも含む拡縮方法を決定するプロセッサと、
決定された前記拡縮方法にしたがって、前記動画像から前記ユーザのミラー動画像を生成する画像処理回路と、
生成された前記ミラー動画像を表示装置に出力する第４インタフェースと
を備えた画像処理装置。
【請求項２】
前記ユーザ視力情報は、前記ユーザの明視域に関する情報をさらに含み、
前記プロセッサは、前記ユーザ視力情報と、さらに前記表示装置上に表示される前記ユーザ像上の領域の大きさとに基づいて、前記距離が前記ユーザの明視域の近点ないし遠点である場合の拡縮方法を決定する、請求項１の画像処理装置。
【請求項３】
前記ユーザ像上の領域は、前記ユーザのまつ毛あるいは毛髪の表示を含み、前記プロセッサは、前記ユーザの視力より求められる、前記近点の距離における前記ユーザの目の分解能が、表示装置上に表示される前記まつ毛１本あるいは毛髪１本の大きさよりも細かくなるよう、前記距離が前記近点である場合の拡縮方法を決定する、請求項２の画像処理装置。
【請求項４】
前記第２インタフェースは、前記ユーザの両眼が開いている場合は両眼視力に関する情報を、片眼が閉じられている場合は、開いている方の眼の視力の情報を、前記ユーザ視力情報として取得する、請求項１の画像処理装置。
【請求項５】
前記プロセッサは、前記距離が前記近点である場合の拡縮率に基づき、表示される画像が段階的に変化するよう、前記近点より遠い距離における拡縮率を前記距離の変化に応じて決定する、請求項２の画像処理装置。
【請求項６】
前記プロセッサは、前記近点より遠い位置に拡縮率が等倍となる基準距離の地点を予め定めておき、前記近点と前記基準距離との間で段階的に補間する、請求項５の画像処理装置。
【請求項７】
前記プロセッサは、前記ユーザが利用開始後、前記ユーザが前記近点より近くに入るまでは拡縮率を等倍とし、前記ユーザが前記近点よりも前記表示装置へ近づいた場合には、前記ユーザの視力に応じた拡縮率とするよう、前記拡縮方法を決定する、請求項２の画像処理装置。
【請求項８】
前記ユーザ像上の領域は、前記ユーザの全顔あるいは全身の表示を含み、前記プロセッサは、前記距離が前記ユーザの明視域の遠点である場合に、前記表示装置上に表示される前記ユーザの全顔あるいは全身が前記表示装置の表示領域にすべて含まれるよう、前記拡縮方法を決定する、請求項１の画像処理装置。
【請求項９】
前記プロセッサは、さらに目標視力の情報を取得し、
前記プロセッサは、前記ユーザ視力情報に基づいて所定距離における前記ユーザの目の分解能を求め、前記目標視力に基づいて前記所定距離における前記ユーザの目の分解能を求め、
前記プロセッサは、前記ユーザ視力情報に基づく前記分解能と、前記目標視力に基づく前記分解能とを利用して、前記ユーザが前記所定距離から前記ユーザ像を見る際に、前記目標視力で前記所定距離からユーザ像を見たときと同等の解像感が得られるよう、前記拡縮方法を決定する、請求項２の画像処理装置。
【請求項１０】
前記プロセッサは、前記距離が前記ユーザの明視域の遠点であるの場合の拡縮率に基づき、表示される画像が段階的に変化するよう、前記遠点より近い距離における拡縮率を前記距離の変化に応じて決定する、請求項８の画像処理装置。
【請求項１１】
前記プロセッサは、前記遠点より遠い位置に拡縮率が等倍となる基準距離の地点を予め定めておき、前記遠点と前記基準距離との間で段階的に補間する、請求項１０の画像処理装置。
【請求項１２】
前記ユーザの明視域の近点の拡縮率および遠点の拡縮率の両方が得られている場合に、前記プロセッサは、前記近点での拡縮率と前記遠点での拡縮率との間を、前記近点の距離の地点から前記遠点の距離の地点の間で段階的に補間する、請求項２の画像処理装置。
【請求項１３】
前記第２インタフェースは、さらに、前記ユーザが視力矯正具を装着している場合は矯正後の視力に関する情報を前記ユーザ視力情報として取得し、装着していない場合は、裸眼視力の情報を前記ユーザ視力情報として取得する、請求項１の画像処理装置。
【請求項１４】
前記プロセッサは、前記ユーザが視力矯正具を装着しているか否かの判定結果を受け取り、前記ユーザが装着していた視力矯正具を外した場合には、前記ユーザの裸眼視力に基づいて前記拡縮率を調整する、請求項９または１３の画像処理装置。
【請求項１５】
前記プロセッサは、前記ユーザの動作から前記ユーザの明視域を推定する、請求項１の画像処理装置。
【請求項１６】
ユーザが自らの像を視認する際に用いられる画像処理方法であって、
ユーザの動画像を取得し、
前記ユーザの視力に関する情報であるユーザ視力情報を取得し、
表示装置から前記ユーザまでの距離の情報であるユーザ距離情報を取得し、
前記ユーザ距離情報およびユーザ視力情報に基づいて、前記表示装置上に表示されるユーザ像を前記ユーザが明視できるよう、取得された動画像の拡大縮小率を少なくとも含む拡縮方法を決定し、
決定された前記拡縮方法にしたがって、前記動画像から前記ユーザのミラー動画像を生成しと、
生成された前記ミラー動画像を表示装置に出力する
画像処理方法。
【請求項１７】
請求項１６に記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ユーザを撮像した画像を電子化して、ユーザが視認できる位置に設置された表示装置に鏡のように表示させる画像処理装置、デジタルミラーシステム、および画像処理方法に関する。
【背景技術】
【０００２】
鏡は、身だしなみを整えたり、健康状態をチェックしたりする等、日常生活に欠かせないものである。画像処理技術の適用先の一つとして、近年、センサと表示装置でシステムを構成し、前記の鏡の代わりに利用する、いわゆるデジタルミラーの技術が提案されてきている。実際の鏡には重畳できない情報の重畳表示や、実際の鏡では不可能な表示様態（視点変換等）が実現できるといったメリットがあり、研究が進められている。特にユーザ像をディスプレイやプロジェクタでユーザに提示する際には、鏡像の表示拡大（縮小）率を適切に決定する必要があり、これを実現するための従来技術が提案されている。
【０００３】
特許文献１では、カメラで撮影したユーザの画像を、ユーザ正面のディスプレイ上に表示するデジタルミラー装置が提案されている。この際、表示するユーザのディスプレイ上でのサイズ（拡大率）を、鏡からの距離に基づいて決定することで、ユーザがディスプレイに対して前後に動いた際に、鏡のような表示が得られるようになっている。
【０００４】
また、特許文献２においてはさらに、特許文献１のように鏡の表示様態を模倣するだけでなく、ユーザの特定の作業に対して、より大きく／小さく表示をすることで、より作業がしやすくなるような、デジタルミラーを提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許４６５４９０５号明細書
【特許文献２】特開２００８−２７７９８３号
【特許文献３】特許４９１０２１２号明細書
【特許文献４】特許４１３４６５３号明細書
【特許文献５】特許４８７８２７３号明細書
【非特許文献】
【０００６】
【非特許文献１】視線一致光学系を用いたディスプレイシステムｉ−ｍｉｒｒｏｒにおける鏡メタファインタラクション（牛田啓太（東大）他；インタラクション２００２）
【非特許文献２】コンピュータビジョン：技術評論と将来展望（新技術コミュニケーションズ社：ｐ３７〜ｐ５３、第３章、浅田尚紀著）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の技術では、必ずしもユーザが作業を行いやすいとは言えない場合があり、さらなる使いやすさの向上が求められていた。
【０００８】
本願の、限定的ではない例示的なある実施形態は、ユーザがデジタルミラーを利用しながら化粧作業を行う際に、よりユーザが作業を行いやすく、使いやすいデジタルミラーを実現する装置および方法を提供する。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の一態様は、ユーザが自らの像を視認する際に用いられる画像処理装置であって、ユーザの動画像を取得する第１インタフェースと、当該ユーザの視力に関する情報であるユーザ視力情報を取得する第２インタフェースと、表示装置から当該ユーザまでの距離の情報であるユーザ距離情報を取得する第３インタフェースと、ユーザ距離情報およびユーザ視力情報に基づいて、当該表示装置上に表示されるユーザ像を当該ユーザが明視できるよう、取得された動画像の拡大縮小率を少なくとも含む拡縮方法を決定するプロセッサと、決定された当該拡縮方法にしたがって、当該動画像から当該ユーザのミラー動画像を生成する画像処理回路と、生成された当該ミラー動画像を表示装置に出力する第４インタフェースとを備えた画像処理装置を含む。
【００１０】
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
【発明の効果】
【００１１】
本開示によると、利用時に、化粧などの細かく、かつ鏡との距離が変化するような作業を、ユーザがより行いやすい表示装置（デジタルミラー）を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示による例示的な第１の実施形態のデジタルミラーの構成を示す説明図である。
【図２】本開示による例示的な第１の実施形態の画像処理装置の構成を示すブロック図である。
【図３】本開示による例示的な第１の実施形態の画像処理装置のコンピュータによる構成を示すブロック図である。
【図４】本開示による例示的な第１の実施形態の画像処理装置の処理の流を示すフロー図である。
【図５】（ａ）〜（ｃ）は、ユーザに視力情報を入力させるためのユーザインタフェースの例を示す図である。
【図６】（ａ）および（ｂ）は、視力の定義、及び目の分解能について説明するための図である。
【図７】本開示による例示的なカメラと表示装置及び表示対象の物体を示す概略図である。
【図８】本開示によるユーザ距離と拡縮率の関係について示す図である。
【図９】本開示による例示的な第２の実施形態のデジタルミラーの構成を示す説明図である。
【発明を実施するための形態】
【００１３】
本発明の基礎となった知見は以下のとおりである。
【００１４】
先に述べたとおり、鏡は日常生活に欠かせないものであるが、多くの女性にとって、最も重要な鏡の用途は「化粧」であるといえる。
【００１５】
ポーラ研究所が発行した「女性の化粧行動・意識に関する実態調査  ２０１２」によると、１０代から６０代までほぼ年齢を問わず約７割の女性が「ほぼ毎日／毎日化粧を行う」、と回答し、「時々化粧を行う」、と回答した女性を合わせると約９割もの女性が、日常的に化粧を行っている。また、どの年代も、複数のメイクアイテムを顔のパーツごとに使いわけ、化粧を行っている。
【００１６】
この際、アイメイクやベースメイク等、化粧を施すパーツによって作業の細かさが異なるため、ユーザは無意識に鏡との距離を調節しながら作業する。
【００１７】
例えば、睫毛の長さを長く見せるために用いるマスカラに関しては、マスカラ液のついた小さなブラシを用いて、直径０．１ｍｍ程度の睫毛を梳かす、という非常に細かい作業を行うため、おおよそ目から１０ｃｍ〜２０ｃｍという非常に近い距離から鏡を見、慎重に作業を行う。
【００１８】
一方、加齢が原因で近い距離が見えづらくなるのが老眼である。早い人では３０代、一般的には４０代から症状が出ることが多いと言われ、さらに、加齢に従って、見えづらい範囲は広がっていく。
【００１９】
先に述べたとおり、年代を問わず女性は日常的に化粧を行っている。したがって老眼に悩まされながら化粧を行うユーザは多い。そのようなユーザにとっては、近距離での作業が必要であって、かつ作業時に老眼鏡をかけることができない、マスカラをはじめとする「アイメイク」は特に大変なものであり、例えば、メイク用途専用の特殊な機構を備えた老眼鏡も発売されているほどである。
【００２０】
先に述べた特許文献の実施例および図面では、カメラで撮影したユーザの画像を、ユーザ正面のディスプレイ上に表示する際のサイズ（拡大率）を、ユーザとの距離や、ユーザの特定の動作に結び付けて決定する方法が提案されている。
【００２１】
しかし、ユーザがディスプレイ上の作業対象物を明視可能であるかが考慮されていないため、ユーザがアイメイクをするためにデジタルミラーに近づく際、ユーザが老眼であるかどうかにかかわらず、表示の態様は同じである。すなわち、従来のデジタルミラーでは、老眼のユーザが化粧をする際、明視できない距離で利用する場合があり得る。その場合にはユーザに使いづらさを感じさせる。
【００２２】
研究および検討を重ねることにより、本発明者らは、従来のデジタルミラーには、ユーザの視力を考慮していないことにより、上述した課題が生じることを見出した。そして、ユーザの視力を考慮して適切な拡大率を決定してユーザ像を表示すれば、ユーザにとってより使いやすいデジタルミラーを提供できることを見出した。
【００２３】
本発明の一態様の概要は以下のとおりである。
【００２４】
本発明の一態様である画像処理装置は、ユーザが自らの像を視認する際に用いられる画像処理装置であって、ユーザの動画像を取得する第１インタフェースと、前記ユーザの視力に関する情報であるユーザ視力情報を取得する第２インタフェースと、表示装置から前記ユーザまでの距離の情報であるユーザ距離情報を取得する第３インタフェースと、前記ユーザ距離情報およびユーザ視力情報に基づいて、前記表示装置上に表示されるユーザ像を前記ユーザが明視できるよう、取得された動画像の拡大縮小率を少なくとも含む拡縮方法を決定するプロセッサと、決定された前記拡縮方法にしたがって、前記動画像から前記ユーザのミラー動画像を生成する画像処理回路と、生成された前記ミラー動画像を表示装置に出力する第４インタフェースとを備えている。
【００２５】
前記ユーザ視力情報は、前記ユーザの明視域に関する情報をさらに含み、前記プロセッサは、前記ユーザ視力情報と、さらに前記表示装置上に表示される前記ユーザ像上の領域の大きさとに基づいて、前記距離が前記ユーザの明視域の近点ないし遠点である場合の拡縮方法を決定する、請求項１の画像処理装置。
【００２６】
前記ユーザ像上の領域は、前記ユーザのまつ毛あるいは毛髪の表示を含み、前記プロセッサは、前記ユーザの視力より求められる、前記近点の距離における前記ユーザの目の分解能が、表示装置上に表示される前記まつ毛１本あるいは毛髪１本の大きさよりも細かくなるよう、前記距離が前記近点である場合の拡縮方法を決定してもよい。
【００２７】
前記第２インタフェースは、前記ユーザの両眼が開いている場合は両眼視力に関する情報を、片眼が閉じられている場合は、開いている方の眼の視力の情報を、前記ユーザ視力情報として取得してもよい。
【００２８】
前記プロセッサは、前記距離が前記近点である場合の拡縮率に基づき、表示される画像が段階的に変化するよう、前記近点より遠い距離における拡縮率を前記距離の変化に応じて決定してもよい。
【００２９】
前記プロセッサは、前記近点より遠い位置に拡縮率が等倍となる基準距離の地点を予め定めておき、前記近点と前記基準距離との間で段階的に補間してもよい。
【００３０】
前記プロセッサは、前記ユーザが利用開始後、前記ユーザが前記近点より近くに入るまでは拡縮率を等倍とし、前記ユーザが前記近点よりも前記表示装置へ近づいた場合には、前記ユーザの視力に応じた拡縮率とするよう、前記拡縮方法を決定してもよい。
【００３１】
前記ユーザ像上の領域は、前記ユーザの全顔あるいは全身の表示を含み、前記プロセッサは、前記距離が前記ユーザの明視域の遠点である場合に、前記表示装置上に表示される前記ユーザの全顔あるいは全身が前記表示装置の表示領域にすべて含まれるよう、前記拡縮方法を決定してもよい。
【００３２】
前記プロセッサは、さらに目標視力の情報を取得し、前記プロセッサは、前記ユーザ視力情報に基づいて所定距離における前記ユーザの目の分解能を求め、前記目標視力に基づいて前記所定距離における前記ユーザの目の分解能を求め、前記プロセッサは、前記ユーザ視力情報に基づく前記分解能と、前記目標視力に基づく前記分解能とを利用して、前記ユーザが前記所定距離から前記ユーザ像を見る際に、前記目標視力で前記所定距離からユーザ像を見たときと同等の解像感が得られるよう、前記拡縮方法を決定してもよい。
【００３３】
前記プロセッサは、前記距離が前記ユーザの明視域の遠点であるの場合の拡縮率に基づき、表示される画像が段階的に変化するよう、前記遠点より近い距離における拡縮率を前記距離の変化に応じて決定してもよい。
【００３４】
前記プロセッサは、前記遠点より遠い位置に拡縮率が等倍となる基準距離の地点を予め定めておき、前記遠点と前記基準距離との間で段階的に補間してもよい。
【００３５】
前記ユーザの明視域の近点の拡縮率および遠点の拡縮率の両方が得られている場合に、前記プロセッサは、前記近点での拡縮率と前記遠点での拡縮率との間を、前記近点の距離の地点から前記遠点の距離の地点の間で段階的に補間してもよい。
【００３６】
前記第２インタフェースは、さらに、前記ユーザが視力矯正具を装着している場合は矯正後の視力に関する情報を前記ユーザ視力情報として取得し、装着していない場合は、裸眼視力の情報を前記ユーザ視力情報として取得してもよい。
【００３７】
前記プロセッサは、前記ユーザが視力矯正具を装着しているか否かの判定結果を受け取り、前記ユーザが装着していた視力矯正具を外した場合には、前記ユーザの裸眼視力に基づいて前記拡縮率を調整してもよい。
【００３８】
前記プロセッサは、前記ユーザの動作から前記ユーザの明視域を推定してもよい。
【００３９】
本発明の一態様である画像処理方法は、ユーザが自らの像を視認する際に用いられる画像処理方法であって、ユーザの動画像を取得し、前記ユーザの視力に関する情報であるユーザ視力情報を取得し、表示装置から前記ユーザまでの距離の情報であるユーザ距離情報を取得し、前記ユーザ距離情報およびユーザ視力情報に基づいて、前記表示装置上に表示されるユーザ像を前記ユーザが明視できるよう、取得された動画像の拡大縮小率を少なくとも含む拡縮方法を決定し、決定された前記拡縮方法にしたがって、前記動画像から前記ユーザのミラー動画像を生成しと、生成された前記ミラー動画像を表示装置に出力する。
【００４０】
本発明の一態様であるコンピュータプログラムは、上述の画像処理方法をコンピュータに実行させるためのコンピュータプログラムである。
【００４１】
以下、添付の図面を参照しながら、本開示による画像処理装置の実施形態を説明する。
【００４２】
以下、本開示の一態様に係る画像処理装置およびデジタルミラーについて、図面を参照しながら具体的に説明する。
【００４３】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４４】
（実施の形態１）
図１に、本実施の形態の対象であるデジタルミラーシステムの構成例を示す。
【００４５】
最も簡単には、ディスプレイとカメラを備え、カメラで撮影したユーザの動画像を、ユーザ正面のディスプレイ上に映すことで、ユーザは、鏡を見るときのようにユーザ自身の状態を確認できる。
【００４６】
あるいは、特許文献１や非特許文献１に示されるように、システムはハーフミラーやホログラムスクリーンとプロジェクタ、カメラによって構成されていてもよい。カメラはハーフミラーやスクリーンの裏面の、ユーザの正面顔を撮影可能な位置に設置することで、ユーザの視線に直接入らないような位置から、ユーザの正面顔の撮影が可能である。これにより、より実際の鏡を見たときのようなユーザ像をユーザに提示できる。
【００４７】
また、複数のカメラないし測距が可能なセンサを備えることで、画像合成技術を用いて、任意の角度からのユーザ像を表示できるため、ユーザの視点位置・視線検出を行い、ユーザ視点からの合成画像を画面上に表示し、実際の鏡を見たときのようなユーザ像をユーザに提示するとしてもよい。
【００４８】
さらに、特許文献１に開示されているように、表示面からユーザまでの距離に基づいて表示時の拡大率を変更することで、近づけば像が大きくなり、遠ざかれば像が小さくなる、鏡と類似した表示を行える。（図１）本実施例では、特に前記画像合成技術などを用い、鏡のように視線一致が可能なシステムを対象として本開示の動作を説明する。
【００４９】
なお、以下の説明で動画像という場合には、動画像データ、または動画像データが示す動画像を指しうるものとする。もちろん、動画像を構成するそれぞれの静止画（ピクチャ）の集合も動画像に含まれる。また、本開示では、表示装置上に表示する動画像を、鏡像正像に関係なく、ミラー動画像と呼ぶものとする。
【００５０】
図２は、本実施の形態における画像処理装置１００の機能的な構成を示すブロック図である。図２に示されるように、画像処理装置１００は、動画取得部１０１、ユーザ視力情報取得部１０２、ユーザ距離取得部１０３、拡縮方法決定部１０４、画像生成部１０５、出力部１０６を備える。
【００５１】
画像処理装置１００は、動画像１１０および、ユーザ視力情報１１１、ユーザ距離１１２を入力として受け付け、所定の向きから撮影されたユーザの動画像に画像処理を施し、結果得られる動画像をミラー動画像として表示装置１２０に出力する。
【００５２】
動画取得部１０１は、動画像、または動画像を構成する複数枚のピクチャ（「画像」とも言う）の入力を受け付ける。動画取得部１０１は、視覚センサであるカメラから動画像を、直接、または通信経路を介して読み出すインタフェースであっても良い。
【００５３】
ユーザ視力情報取得部１０２は、ユーザ視力情報１１１を取得する。ユーザ視力情報は、望ましくは、本装置を利用するユーザの目の空間分解能を示す、ユーザの裸眼視力、及びユーザが明視可能（ぼやけない）な目からの距離範囲を示す、ユーザの明視域に関する情報を含む。これらの情報は、ユーザがその場で入力可能なインタフェースを備えることで、ユーザ本人が事前に入力できるようにしてもよいし、あらかじめ外部の記憶装置に格納されていて、直接、または通信経路を介して読み出されるとしてもよい。
【００５４】
ユーザ距離取得部１０３は、表示装置の表示面からユーザまで、特にユーザの顔までの距離である、ユーザ距離１１２を取得する。ユーザ距離１１２は例えば、複数のカメラからの動画像を用いて画像処理により得るとしてもよいし、測距センサを備え、これを用いてもよく、既存の手法により実現してよい。本実施の形態では、測距センサを利用する例を説明する。
【００５５】
拡縮方法決定部１０４は、ユーザ視力情報取得部１０２で受け付けたユーザ視力情報１１１、およびユーザ距離取得部１０３で受け付けたユーザ距離１１２に基づき、出力するミラー動画像の表示様態を前記拡縮方法として決定する。決定される拡縮方法は、たとえば表示時の拡大縮小率を含む。さらに決定される拡縮方法は、拡大縮小率に加え、拡大縮小中心の位置を含んでもよい。決定の方法については後述する。
【００５６】
画像生成部１０５は、ユーザ距離１１２、および拡縮方法決定部１０４によって決定されたミラー動画像の表示様態に基づき、動画像１１０に対して画像変換を施し、最終的に表示装置上に表示するミラー動画像を生成する。
【００５７】
出力部１０６は、画像生成部１０５によって生成されたミラー動画像を、表示装置１２０で表示可能な形態にし、表示装置１２０へ出力する。
【００５８】
なお、画像処理装置１００を構成する各構成要素は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図３は、コンピュータ２００によって構成された本実施の形態における画像処理装置１００のハードウェア構成を示す図である。コンピュータ２００が画像処理装置１００に対応している。
【００５９】
図３において、カメラ２１０ａで取得した動画像１１０はＩ／Ｆ（インタフェース）２０１ａを通じて画像処理装置であるコンピュータ２００へ入力される。記憶装置２１０ｂに格納されたユーザの視力情報はＩ／Ｆ２０１ｂを通じて画像処理装置であるコンピュータ２００へ入力される。測距センサ２１０ｃで取得したユーザ距離１１２はＩ／Ｆ（インタフェース）２０１ｃを通じて画像処理装置であるコンピュータ２００へ入力される。コンピュータ２００は、動画像１１０とユーザ視力情報１１１およびユーザ距離１１２を取得し、画像生成処理を行う。表示装置２２０は、コンピュータ２００で生成されたミラー動画像を表示する。
【００６０】
コンピュータ２００は、Ｉ／Ｆ２０１ａ、Ｉ／Ｆ２０１ｂ、Ｉ／Ｆ２０１ｃ、Ｉ／Ｆ２０１ｄ、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０２、ＲＯＭ２０３、ＲＡＭ２０４、およびＨＤＤ２０５を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出されて展開される。ＣＰＵ２０２は、ＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１ａおよびＩ／Ｆ２０１ｂは、プログラムの実行に応じて、動画像１１０およびユーザ操作１１１をＲＡＭ２０４へそれぞれ取り込む。Ｉ／Ｆ２０１ｄはメモリ内の画像データを映像信号として出力する機能を有している。当該機能に加え、Ｉ／Ｆ２０１ｄさらに画像の拡大縮小、反転の機能を含んでもよい。後者の態様の場合には、Ｉ／Ｆ２０１ｄは、ミラー動画像を生成し、生成したミラー動画像を表示装置２２０に出力する。
【００６１】
なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限らず、例えばＣＤ−ＲＯＭ等の外部記憶装置に格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４に取り込まれてもよい。
【００６２】
次に、本実施の形態における画像処理装置１００の動作を、図４を用いて説明する。図４は、本実施の形態における画像処理装置１００の動作を表すフローチャートである。図４において、６つのステップＳ３０１〜Ｓ３０６は、それぞれ図２の各処理部１０１〜１０６に対応している。すなわち、動画取得部１０１では動画取得ステップＳ３０１、ユーザ視力情報取得部１０２ではユーザ視力取得ステップＳ３０２、ユーザ距離取得部１０３ではユーザ距離取得ステップＳ３０３、拡縮方法決定部１０４では拡縮方法決定ステップＳ３０４、画像生成部１０５では画像生成ステップＳ３０５、出力部１０６では出力ステップＳ３０６の各動作を実行する。なお、これらのステップは、上述のコンピュータプログラムで実現できる。
【００６３】
まず、動画取得ステップＳ３０１が、動画取得部１０１により実行される。動画取得部１０１は、動画像１１０を取得する。
【００６４】
動画取得部１０１は、有線や無線のネットワークを介して一つまたは複数のカメラより動画像１１０を取得する。動画像は３０フレーム／秒とする。ユーザをとらえるような位置に設置されたカメラの動画像を取得する。カメラのパラメータや配置は既知とする。前述のように、前記取得した複数の動画像を用いることで、画像合成などによりユーザの視線に合った動画像を生成することができる。
【００６５】
次に、ユーザ視力取得ステップＳ３０２がユーザ視力情報取得部１０２により実行される。ユーザ視力情報取得部１０２は、ユーザ視力情報１１１を取得する。取得するユーザ視力情報１１１は、少なくともユーザの視力（裸眼視力）の情報を含む。
【００６６】
視力（裸眼視力）とは、ユーザの目の分解能を示す指標である。一般的に行われる視力検査で計測するのがこの視力であり、５ｍ先に置かれたランドルト環（円に１°の切れ目が入った図）の切れ目を認識できるかどうかによって計測することができる。ランドルト環の切れ目の大きさと視力との関係は、長さではなく角度（視角）で定義されるため、基本的には距離には依存しない。したがって、視力がわかれば、目からの距離に応じた目の分解能をそれぞれ算出することができる。
【００６７】
本実施の形態では、さらに、老眼のユーザにとって使いやすい、視界がぼやけないデジタルミラーを実現するため、ユーザ視力情報１１１は、ユーザの明視域の情報も含むものとする。
【００６８】
明視域とは、人間の眼がピントを合わせることが可能な、目からの距離範囲のことである。人間の眼は、カメラにおけるレンズに相当する水晶体の厚さを調節することで、近くのものから遠くのものまでピントを合わせることが可能である。ピントを合わせる力を調節力と呼び、目がピントを合わせられる点で、目から最も近い点を近点、最も遠い点を遠点とよぶ。近点は、一般的に加齢とともに遠ざかっていくことが知られており、例えば、正常な目（正視）の子供の近点は１０ｃｍ程度であるが、年齢を重ねるにつれこの近点は遠ざかり、老眼の症状があらわれだす４０〜５０代以降では４０ｃｍ以上になる。なお各ユーザの明視域の情報は、眼科等で用いられる検眼機などを用いて容易に計測することができる。
【００６９】
ユーザ視力情報取得部１０２は、ユーザが事前に入力した前記ユーザ視力情報１１１を利用するものとしてもよい。この場合ユーザの入力は、画像処理装置１００で生成したユーザ画像を表示する表示機器上にユーザインタフェース（ＵＩ）を備え、前記ＵＩを通じて行なわれてもよいし、前記表示装置とは別の、一般的なＰＣまたは携帯端末などの機器上のＵＩを利用して行なわれた操作から有線ないし無線を介して受け付けるようにしてもよい。また、別途備えられたサーバ、ＰＣなどの記憶装置上にユーザと対応付けられた情報として格納されているものを、有線ないし無線を介して受け付けるようにしてもよい。ユーザの特定は、例えば顔認識・生体認証や、スマートフォン等ユーザの保有するモバイル機器固有のＩＤに基づいてユーザを特定するとしてもよい。
【００７０】
図５（ａ）〜（ｃ）は、ユーザに視力情報を入力させるためのユーザインタフェースの例を示す。図５（ａ）は、ユーザの視力を入力させるためのインタフェース例である。この例では、ユーザは両眼視力を入力する。右目および左目の視力をそれぞれ入力する場合には、それぞれを入力する欄が設けられてもよい。入力を終えると、ユーザは右下の「次へ」を押下する。
【００７１】
図５（ｂ）は、ユーザの明視域を入力させるためのインタフェース例である。ユーザは、予め測定しておいた自らの近点および遠点の情報を入力する。入力を終えると、ユーザは右下の「次へ」を押下する。
【００７２】
図５（ｃ）は、図５（ａ）および（ｂ）のユーザインタフェースを経て入力されたユーザの視力および明視域の情報を、画像処理装置１００がユーザ視力情報１１１として受け付けたことを示す表示例である。この確認画面を経て、ユーザは画像処理装置１００をデジタルミラーとして使用することができる。
【００７３】
再び図４を参照する。
【００７４】
次に、ユーザ距離取得ステップＳ３０３がユーザ距離取得部１０３により実行される。
【００７５】
ユーザ距離１１２は、ユーザから表示装置の表示面までの距離、より正確にはユーザの目から表示装置の表示面までの距離として取得する。
【００７６】
通常の鏡利用時と同様に、ユーザは表示装置に正対して立つものとしてよい。ユーザの目の検出方法は例えば、特許文献３に提案されるような、画像から目の特徴を示す領域を検出してくる方法を適用することができる。顔検出と併用してもよい。また、特許文献４に示すように、別途備えた可視光・赤外光等の光源からの光に対する目の反射光に基づいて目の位置を求める方法をとってもよい。画像上での目の位置がわかれば、例えば複数のカメラより取得した動画像から、三角測量等の簡易な算出方法によって目の３次元的な位置を求めてもよいし、別途、前記目の位置を検出するのに用いた動画像を取得したカメラとの位置関係が既知であるような距離センサを備えておき、これを用いて検出した目の３次元的な位置を求めてもよい。カメラと表示装置の位置関係は事前に求めておくことができるので、カメラとユーザの目の間の３次元的な位置関係がわかれば、事前に求めたカメラと表示装置の位置関係に基づいて、表示装置からユーザの目までの距離であるユーザ距離１１２を、容易に求めることができる。
【００７７】
なお、動画取得ステップＳ３０１、ユーザ視力取得ステップＳ３０２、およびユーザ距離取得ステップＳ３０３はそれぞれ独立に処理することも可能であり、処理の順序は上記説明と異なってよいし、同時並行して処理を進めてもよい。
【００７８】
また、ユーザ視力取得ステップＳ３０２に関しては、ユーザが一旦入力した後は、省略することができる。視力が変化した場合や、他のユーザが画像処理装置１００を使用する場合に、改めて実行されればよい。
【００７９】
次に、拡縮方法決定ステップＳ３０４が拡縮方法決定部１０４により実行される。拡縮方法決定ステップＳ３０４は、ユーザ視力情報取得部１０２で受け付けたユーザ視力情報１１１、およびユーザ距離取得部１０３で受け付けたユーザ距離１１２に基づき、最終的に表示するミラー動画像の表示様態である拡縮方法を決定する。
【００８０】
本装置は、特に老眼の人が、アイメイク等の細かい作業を目的として、ミラーに近づいたような画像を見たい場合に、実際にミラーに近づくことで画像がぼやけてしまうことなく、自らの像を視認可能なデジタルミラーを実現することを目的としている。
【００８１】
すなわち、一般的なデジタルミラーや鏡において、ユーザが近点よりも表示画面に近づいた際に得られるような大きさのユーザ画像を、近点よりも表示画面に近づかなくても、該ユーザが見られるようにすればよい。このようにすることで、ユーザは、ぼやけることなく、鏡に近づいた時のようなユーザ画像を見ることができる。
【００８２】
また特に、先に述べたような、アイメイクを目的として鏡に近づくユーザを対象とする場合、表示画面に最も近づいた場合である近点において、まつ毛や髪の毛等の毛１本がはっきりと見える、すなわち、最低でもユーザのまつ毛＝幅０．０９ｍｍの物体が、画面上に表示された際にユーザが視認できるよう、ユーザ像の画面上での表示拡大率を決定することが望ましい。ユーザが特定の距離で視認できる最小の大きさは、ユーザの目の解像度を示す、ユーザの視力に基づいて求めることができる。
【００８３】
視力と距離に基づいて、拡縮方法をどのように決定するかについて、以下でより詳しく説明する。
【００８４】
視力、及び目の分解能の関係を図６に示す。
【００８５】
一般的には、５ｍ先から、直径約７．２８ｍｍ、太さ約１．４５ｍｍの輪の一部が、約１．４５ｍｍの幅で切れている方向がわかる視力が視力１．０とされている。なお、簡単のため、輪の直径が７．５ｍｍ、輪の太さと切れている幅が１．５ｍｍという基準を、以下の説明では利用する。図６（ａ）に示すとおり、視力は視角で定義されるため、例えば視力１．０のユーザは、５ｍ先で１．５ｍｍが、３ｍ先では０．９ｍｍが分解能に相当する。
【００８６】
ここで、例として、明視域の近点が４０ｃｍで、視力が１．０のユーザが本装置を利用することを考える。
【００８７】
ある視力のユーザが、ある距離離れた地点で認識可能な「ランドルト環の切れている幅」に相当する大きさを、以降で分解能と呼ぶとすると、前記視力が１．０のユーザの４０ｃｍ先での分解能は、０．１２ｍｍとなる（図６（ｂ））。
【００８８】
なお、視力は視認可能な視角に反比例するため、説明した１．０以外の視力であっても、図６（ｂ）に示すように距離に対する分解能を容易に求めることができる。
【００８９】
以上より、拡縮方法決定部１０４は、視力が１．０、近点が４０ｃｍのユーザに対して、ユーザが、ユーザの近点に相当する４０ｃｍ離れた距離から表示装置に正対する際に、表示装置上に表示される該ユーザのまつ毛が、表示装置上で、ユーザの視力における、近点距離での目の分解能に相当する、０．１２ｍｍ以上の大きさで表示されるよう、前記動画取得部で取得したユーザの画像を表示する際の拡大率を決定する。
【００９０】
すなわち、拡縮方法決定部１０４は、ユーザ距離１１２が近点に相当する距離である場合の拡縮方法として、表示装置から近点に相当する距離離れた点に位置する、０．０９ｍｍ（ユーザの毛の直径に相当する）の大きさの物体が、表示装置上において、前記ユーザ距離でのユーザの目の分解能に相当する大きさよりも、大きく表示されるように、前記動画取得部で取得したユーザの画像を表示する際の拡大率を決定する。
【００９１】
ここで簡単のため、ユーザ画像を取得するカメラが図７（ａ）のように表示装置と一体である場合について説明する。カメラ光軸とユーザの視線がほぼ一致するものとすると、カメラからユーザの目・まつ毛までの距離はユーザ距離で表せる。
【００９２】
カメラで撮影した画像を表示装置上で表示する際の、実際の大きさは、ディスプレイのパラメータ（解像度、画素サイズなど）に大きく依存する。したがって、ユーザのまつ毛が実際に表示装置上で表示される大きさを求めるには、カメラ光軸上の特定の距離に位置する、実空間上で特定の大きさをもつ物体が、ディスプレイ上で表示される大きさを事前にテーブル、ないし変換式として求めておく必要がある。
【００９３】
例えば、睫毛を想定した０．０９ｍｍの物体が、図７（ｂ）で示される大きさで、表示装置上に表示される場合を考える。想定ユーザの明視域近点である４０ｃｍでは、ユーザの目の分解能が０．１２ｍｍであるのに対して、０．０９ｍｍの物体が表示されるサイズは０．０６ｍｍとなっている。この場合、目の分解能の方が表示されるまつ毛の大きさよりも粗いため、ユーザは満足にまつ毛を視認できない。目の分解能と、表示されるまつ毛の大きさを合わせるには、表示される画像側を２倍に拡大すればよい。したがってこの場合、拡縮方法決定部１０４は、当該ユーザの近点における拡大方法を、カメラの光軸を拡大中心として、２倍拡大する、と決定する。
【００９４】
なお、実際には、撮影したユーザの動画像には、カメラのレンズによる歪み等が存在する。ユーザの目がカメラ光軸上にない場合には特に補正が必要であるため、事前にカメラのキャリブレーションを済ませておくことが望ましい。さらに、カメラ光軸上にユーザの目がない場合であっても、ユーザ距離が既知、かつ、ユーザ距離取得部で、先に説明したようにあらかじめ、表示画像上、および（表示装置からの距離算出に用いた）３次元空間内でのユーザの目の位置が検出されていれば、前記キャリブレーションにより求めたカメラのパラメータを用い、あるユーザ距離に位置するユーザのまつ毛が、２次元画像上でどの画素に表示されるかを容易に求めることができ、これにディスプレイの画素サイズを掛け合わせることで、表示装置上で表示される大きさを容易に求めることができる。先に説明したケースと同様に、求めた大きさが、当該ユーザ距離でのユーザの分解能よりも大きく表示されるような拡大率となるよう、また、拡大中心は、前記表示画像上でのユーザの目の位置となるよう、拡縮方法を決定するとよい。
【００９５】
なおカメラのキャリブレーション・および３次元座標と２次元画像間の座標変換については、コンピュータビジョン分野でよく知られている方法で容易に実現可能であり、非特許文献（教科書）に詳しいためここでは詳細を省略する。
【００９６】
なお、本装置はデジタルミラーであるため、特にユーザ正面を写している場合には、カメラで実際に撮影されたユーザの画像の鏡像が表示されることが望ましい。この場合、前述の３次元座標と２次元画像間の座標変換の際には、鏡像反転を変換式に組み込む必要がある。
【００９７】
以上に示すように、ユーザ距離が明視域の近点のときに、ユーザが毛１本を視認可能な拡大率となるように拡縮方法が決定されれば、ユーザは所望の作業をぼやけることなく実現できる。
【００９８】
近点よりも遠いユーザ距離の場合については、ユーザ距離の変化に応じて、表示される画像が滑らかに変化するように決定することが望ましい。近点での拡大率をそのまま保持する、としてもよいが、図８に示すように、明視域内での、ユーザが最も自然に正対する位置を基準位置として設定し（図８の例では、例えば表示画面からユーザ距離８０ｃｍの地点）、そこで拡大率が１００％となるよう、間の拡大率を線形に補間するようにしてもよい。このようにすることで、ユーザが表示画面に近づくときは鏡のように滑らかに拡大しながら、標準位置では、拡大されていない自然なミラー動画像を見ることができ、より違和感のないデジタルミラーを実現することができる。なお、「滑らかに」とは、上述のように、Ｐ％の拡大率の画像を、突然Ｑ％の拡大率の画像に変更するのではなく、たとえばＰ％から徐々に、すなわち段階的に拡大および／または縮小させながら、Ｑ％の拡大率の画像に変更することを意味する。なお「段階的に」とは、少なくとも、Ｐ％とＱ％との間のＲ％の拡大率の画像を挿入することを意味する。挿入する画像が多ければより滑らかな変化が可能になる。
【００９９】
次に、画像生成ステップＳ３０５が画像生成部１０５により実行される。画像生成部１０５は、動画入力部１０１で受け付けた動画像１１０と、拡縮方法決定部１０４によって決定された拡縮方法に基づき、最終的に表示するユーザの動画像を生成し、出力部１０５へ受け渡す。
【０１００】
最後に、出力ステップＳ３０５が、出力部１０５により実行される。出力部１０５は、画像生成部１０４より受け付けた動画像を、ディスプレイ等の表示装置において視認可能な形式に変換し、表示装置１２０にミラー動画像として出力する。
【０１０１】
以上、本実施形態によれば、老眼のユーザであっても、アイメイクなどの細かい作業時にぼやけることなく、作業が行いやすいような像に変換して出力することができる。
【０１０２】
（実施の形態１の他の動作例１）
なお、カメラの配置によっては、ユーザの後方からの視点も選択可能となるような構成とすることもできる。この場合も、白髪抜き等、マスカラに類する細かい作業まで対応することが望ましい。髪１本の直径は０．０５ｍｍ〜０．１５ｍｍと言われており、例えば日本人は平均０．０８ｍｍである。したがって、例えば日本人の場合は、睫毛の直径０．０９ｍｍの代わりに、前記０．０８ｍｍが近点で見えるような拡大率になるよう、拡縮方法決定部１０４において決定するとよい。
【０１０３】
なお、アイメイク時、特にまつ毛にマスカラを塗布する場合や、瞼にアイシャドウを塗布する場合、ユーザは塗布される側の片目を閉じて作業を行うことが多い。その方がきれいに仕上がるからである。そこでさらに、ユーザ視力情報取得部１０２において、ユーザの両眼が開いているか、いずれかの目が閉じられているかの判定結果についても取得するものとしてもよい。ユーザの目が開いているかどうかの判定は、特に居眠り検出などを目的とした車載用途で、例えば画像認識に基づく手法など数多くが提案されており、ここではどのような方法を用いてもよい。ユーザ視力情報取得部１０２は、判定結果として、両眼が開いていた場合は両眼視力を、片眼が閉じられている場合は、開いている方の片眼視力をユーザ視力情報として取得してよく、このようにすることで、両目間の視力に差がある場合であっても明視可能となるよう拡縮方法を決定できる。
【０１０４】
なお、常に拡縮方法決定部１０４が視力に応じた調整をしてしまうと、ユーザが鏡に近づいたり遠ざかったりする必要のある作業をする場合でも、そうでない場合でも、同様に調整がされてしまう。すなわち、近点より表示装置に近い位置までユーザが近づかない作業を行う場合でも、近点で過剰に拡大されたユーザ像が表示され、違和感をもつ可能性がある。
【０１０５】
そこで、拡縮方法決定部１０４は、ユーザが利用開始後、近点よりも表示装置の近くに寄るまでは、通常のデジタルミラーとして利用する（例えば、拡縮率を１００％（等倍））ものとし、近点よりも表示装置の近くへ近づいたことを検出し次第、視力に応じた拡縮率の調整を開始する、としてもよい。
【０１０６】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【０１０７】
（実施の形態２）
実施の形態１では、図２の構成で本開示を実現する例を説明し、老眼のユーザにとってぼやけない表示方法を実現するものとしたが、同様の思想により、近視のユーザにとってぼやけない表示方法を実現することも可能である。
【０１０８】
本実施の形態では、近視のユーザが鏡の前で身だしなみを確認する際に、明視域より遠い位置からユーザ像を確認するために、ユーザ像がぼやけてしまうといった課題を解決するための、表示装置および方法について述べる。
【０１０９】
図９は、本実施の形態における画像処理装置８００の機能的な構成を示すブロック図である。図９に示されるように、画像処理装置１００は、動画取得部１０１、ユーザ視力情報取得部１０２、ユーザ距離取得部１０３、拡縮方法決定部８０４、画像生成部１０５、出力部１０６を備える。拡縮方法決定部８０４以外については、実施の形態１と同じ動作であるため、ここでは説明を省略する。また、画像処理装置８００の処理の手順を示すフローチャートについても、図４を援用する。図４のステップＳ３０４の処理が以下に説明する処理に変更される点が相違する。それ以外の他のステップは同じである。
【０１１０】
拡縮方法決定部８０４では、ユーザ視力情報取得部１０２で受け付けたユーザ視力情報１１１、およびユーザ距離取得部１０３で受け付けたユーザ距離１１２に基づき、最終的に表示するミラー動画像の表示様態である拡縮方法を決定する。
【０１１１】
本装置は、特に近眼のユーザが、化粧行為中の全体確認や、身だしなみの確認を目的として、一時的にミラーから遠ざかったような画像を見たい場合に、実際にミラーから遠ざかることで画像がぼやけてしまうことなく、ユーザ像を視認可能なデジタルミラーを実現することを目的としている。
【０１１２】
すなわち、一般的なデジタルミラーや鏡において、ユーザが遠点よりも表示画面から遠ざかった際に得られるような大きさのユーザ画像を、遠点よりも表示画面から遠ざからなくとも、該ユーザが見られるようにすればよい。このようにすることで、ユーザは、ぼやけることなく、鏡から遠ざかった時のようなユーザ画像を見ることができる。
【０１１３】
特に、先に述べたような、化粧行為中の全体確認や、身だしなみの確認を目的として鏡から一時的に遠ざかるユーザを対象とする場合、明視できる範囲で、かつ、表示画面から最も遠ざかった場合である遠点において、全顔や全身が見える、すなわち、最低でもユーザの全顔ないし全身が、画面上に表示された際に画面におさまるよう、ユーザ像の画面上での表示拡大率を決定することが望ましい。ユーザの全顔ないし全身が、画面上に表示された際に画面におさまるかどうかは、例えば、ユーザの両眼間の距離を基準にしてもよい。ユーザごとに、ユーザの身長・頭部サイズと両眼間の距離をあらかじめ登録しておいてもよいし、平均値を用いてもよい（例えば日本人の成人女性の場合、頭長：約２３ｃｍ、両眼間距離：約６ｃｍ、身長：約１５８ｃｍなど）。あるユーザ距離に位置するユーザの両眼の、撮影されたユーザ画像上での位置は、実施例１の場合同様、ユーザ距離算出部での距離算出時に求めることができ、カメラ画像から表示装置に表示される画像の変換も既知であるため、表示画面の縦横画素数がわかれば、ユーザの全顔ないし全身が、画面上に表示された際に画面におさまるかどうかを容易に判定できる。おさまる場合は拡縮率１００％のままとし、おさまらなかった場合のみ、ちょうどおさまるように拡縮率および拡縮中心を決定することで、近視のユーザがユーザ像を明視可能なデジタルミラーを実現できる。
【０１１４】
以上に示すように、ユーザ距離が明視域の遠点のときに、ユーザが全顔ないし全身を視認可能な拡縮率となるように拡縮方法が決定されれば、ユーザは所望の作業をぼやけることなく実現できる。
【０１１５】
なお、上記の説明の場合はユーザの視力情報は、必ずしもユーザの目の分解能の情報を必要としない。したがって、ユーザの明視域に関する情報のみを含むとしてもよい。
【０１１６】
遠点よりも近いユーザ距離の場合については、ユーザ距離の変化に応じて、表示される画像が滑らかに変化するように決定することが望ましい。遠点での拡大率をそのまま保持する、としてもよいが、図８の例と同様に、明視域内での、ユーザが最も自然に正対する位置を基準位置として設定し、そこで拡大率が１００％となるよう、間の拡大率を線形に補間するようにしてもよい。このようにすることで、ユーザが表示画面から遠ざかるときは鏡のように滑らかに縮小しながら、標準位置では、縮小されていない自然なミラー動画像を見ることができ、より違和感のないデジタルミラーを実現することができる。
【０１１７】
さらに、上記実施の形態１と実施の形態２とは別の構成で説明をしたが、拡縮方法決定部は、実施の形態１と実施の形態２との両方の処理を行う機能を同時に備えていてもよい。このようにすることで、近点での拡縮率と遠点での拡縮率を両方得ることができる。この場合、近点よりも遠く、遠点よりも近いユーザ距離の場合についても、これまでの説明同様に、ユーザ距離の変化に応じて、表示される画像が滑らかに変化するように決定することが望ましい。すなわち明視域内での、近点での拡縮率と、遠点での拡縮率の間の拡縮率は、上記２つの拡縮率の間を線形に補間して得るとしてもよい。このようにすることで、ユーザが表示画面から遠ざかるときは鏡のように滑らかに縮小しながら、標準位置では、縮小されていない自然なミラー動画像を見ることができ、より違和感のないデジタルミラーを実現することができる。
【０１１８】
なお、特に近視が非常に進んでいる場合、明視域が非常に表示画面に近い領域になってしまい、表示装置の画素サイズが、近点での目の解像度よりも粗くなってしまう可能性がある。このような場合は、近点での目の解像度の代わりに、表示装置の画素サイズを用いるとしてよい。
【０１１９】
実施の形態１と実施の形態２との両方の処理を行う機能を同時に備えている場合に、いずれの実施の形態に対応する動作を行わせるか、つまり、ユーザが老眼か近眼かを特定することは必要ない。その理由は、ユーザ視力情報１１１にその情報が既に含まれているためである。たとえばユーザの視力により、近眼か否かを特定することを特定することが可能であるし、ユーザの明視域の情報によれば、ユーザが老眼かどうかを特定することも可能である。いずれの場合であっても、画像処理装置は上述の動作を実行すればよい。
【０１２０】
また、ユーザ距離が明視域外になってしまった場合は、例えば表示装置上に明視域外である旨を表示し、ユーザに明視域内に戻るよう促してもよい。
【０１２１】
あるいは、多少ぼやけても、できるだけユーザが明視できるように、ユーザ視力のみに基づいて拡縮率を制御するとしてもよい。すなわち、前記ユーザが前記明視域外のユーザ距離からユーザ像を見た際に、別途定めた目標視力（良い視力）で前記ユーザ距離からユーザ像を見たときと同等の解像感が得られるよう、前記拡縮方法を決定するものとする。
【０１２２】
あるユーザ距離でのユーザの目の分解能は、先に述べたようにユーザ視力から求めることができる。ここで、別途、目標視力を定める。目標視力は、ユーザ視力情報取得部１０２が外部より取得してもよいし、あるいは画像処理装置１００が予め保持していてもよい。後者の場合には、一般的に正視とされる１．０としてもよいし、もしユーザが普段は視力矯正具を付けているのであれば、視力矯正後の視力を採用してもよい。目標視力の情報はＲＡＭ２０３またはＲＯＭ２０４に保持されていてもよいし、ＨＤＤ２０５（図３）に保持されていてもよい。または、ＣＰＵ２０２のレジスタ（図示せず）などに保持されていてもよい。処理にあたってＣＰＵ２０２が目標視力の情報を取得すればよい。これにより、同じユーザ距離での、目標視力における目の分解能（目標分解能）も、前記ユーザの目の分解能同様に求めることができる。
【０１２３】
ここで、ユーザの目の分解能を、目標分解能で割った比率を表示拡大率とすることで、多少ぼやけはするが、前記目標視力で見ているような状態に近づけることができる。
【０１２４】
また、特に近視の場合、ユーザは視力矯正具をつけたままミラーを視認することも多い。この場合、視力情報取得部１０３は、ユーザが視力矯正具を付けているかどうかの判定結果を取得するとしてもよい。そして、視力矯正具をつけている場合は矯正後視力を、視力矯正具をつけていない場合は、裸眼視力をユーザ視力情報として取得するとすることが望ましい。
【０１２５】
視力矯正具をつけているかどうかの判定方法は、例えば、メガネの場合、特許文献５に示される画像認識に基づく方法など、多くが提案されている。
【０１２６】
また、ユーザが視力矯正具を付けているかどうかの判定結果が、一定時間ごとに取得できれば、拡縮方法決定部１０４が拡縮率の調整を開始するスイッチの代わりに使うこともできる。ユーザは、化粧などの作業開始時に、特に眼鏡の場合は視力矯正具を外すことが多い。したがって、それまでは、拡縮率を調整せず、ある時点までは視力矯正具をつけていたが、ある時点から付けていない、といった状態が検出されれば、その時点から、拡縮方法決定部が視力に基づく拡縮率の調整を開始する、とすることで、よりユーザの作業を考慮した表示方法が実現できる。
【０１２７】
また、視力情報取得部は、必ずしも明視域の情報を外部より取得しなくともよい。たとえば、ＣＰＵ２０２がユーザの動作から推定するとしてもよい。具体的には、ユーザの初回利用時にキャリブレーションを行ってもよい。鏡画像を表示する前に、表示画面上にメッセージを表示し、ユーザに対し、メッセージを明視可能な最も近い位置と、最も遠い位置の間で移動してもらうようにすることで、事前の情報がなくとも、容易にユーザの明視域を取得できる。あるいは、ユーザごとに利用履歴、特にユーザ距離を蓄積すれば、ユーザが明視可能な領域がユーザ距離のデータの中で山として現れると仮定してよい。そこで、当初は予め機器側で定めた明視域で表示を制御するとし、一定期間／一定回数経過後からは、蓄積したユーザ距離のデータに基づいて推定した明視域を用いて表示を制御するようにする、としてもよい。さらには、一定期間ごとに自動的に明視域をアップデートするとしてもよい。最初に述べたとおり、年齢に応じて明視域は変化するため、外部から都度取得するよりも、機器側で明視域が自動的にアップデートされる方がユーザにとって手間がかからない。
【０１２８】
上述の実施の形態の説明では、カメラ２１０ａや表示装置２２０は、コンピュータ２００（または画像処理装置１００、８００）の外部に設けられた機器であるとして説明した。しかしながらこれは一例である。カメラ２１０ａおよび／または表示装置２２０は、コンピュータ２００（または画像処理装置１００、８００）に内蔵された機器であってもよい。
【０１２９】
（実施の形態３）
実施の形態１、２では、図１に示すような専用のハードウェアを用いて本開示を実現する例を説明した。本実施形態では、汎用のハードウェアを用いて本開示を実現する他の例を説明する。
【０１３０】
本実施形態のハードウェア構成例も、図３で示したコンピュータ２００を用いたものと同じである。そして、本開示の機能を実現するプログラムがＲＯＭ２０３やＨＤＤ２０５に格納され、必要に応じてＲＡＭ２０４に読み出され、実行される。
【０１３１】
コンピュータ２００としては、デスクトップ型ＰＣやノート型ＰＣ、タブレット型コンピュータ、スマートフォンや携帯電話を用いることができる。そして、これらの端末には表示装置２２０やユーザを正面から撮影するカメラ２１０ａや測距センサ２１０ｃ、あるいは、ユーザ視力情報を、通信などを通じて取得できるＩ／Ｆ２１０ａが搭載されている。
【０１３２】
このように、汎用のハードウェアで構成すれば、本開示の機能を実現するプログラムをダウンロードして実行するだけで、手軽に本開示のデジタルミラーシステムを実現することができる。
【０１３３】
さらには、持ち運び可能なデジタルミラーシステムも実現でき、例えばユーザが手に取ると、各ユーザの視力に合わせた表示をその場で行うことが可能である。
【０１３４】
また、マルチディスプレイによるシステムも実現することができる。
【０１３５】
なお、実施の形態１〜３において、マルチディスプレイとする場合は、別途ユーザ視線検出部を備え、いずれのディスプレイをユーザが見ているかに応じて異なるユーザ距離を取得することが望ましい。
【０１３６】
なお、本実施の形態１では、ユーザ視力情報１１１に含まれるユーザの視力は、ランドルト環を指標に用いて所定の方法で測定した数値であるとした。しかしながらこの記載は、視力を測定するための指標や測定方法、データ形式などを限定するものではない。ユーザの目の分解能を算出することができるのであれば、どのような指標、測定方法、データ形式を採用してもよい。例えば、米国や欧州では、アルファベットを用いるスネレン指標やＥ字型のみを用いるＥチャートを指標に用いて視力を測定する場合があり、これらをランドルト環を用いて測定した視力の代わりに用いても良い。スネレン指標やＥチャートを用いて測定した視力は、同じ指標を被験者と健常者（視力１．０の人）とがそれぞれ弁別できる距離の比を分数で表記する。例えば、「20/40」「6/60」のように分数で表記し、分子が検査距離を表し、分母が、健常者が弁別できる最も遠い距離を表す。被験者が２０フィート先の「20/40」の指標をようやく弁別できた場合、被験者の視力は「20/40」であり、健常者は同じ指標を４０フィートから弁別できることを意味する。この分数表記の視力は、そのまま小数に置き換えた値が、ランドルト環を指標に用いて測定した小数表記の視力に一致する。例えば、「２０／４０」は「０．５」に相当し、「６／６０」は「０．１」に相当する。そのため、スネレン指標やＥチャートを指標として測定した分数表記の視力であっても、小数表記に置き換えることで、本実施の形態１と同様にユーザの目の分解能を算出することができる。
【０１３７】
上述の実施の形態の説明では、ユーザ視力情報はユーザの裸眼視力の情報を含むとした。しかしながら、裸眼視力は一例に過ぎず、本発明の画像処理装置を使用する際のユーザの視力であれば、どのような視力であってもよい。たとえばユーザがコンタクトレンズを装着している場合には、ユーザ視力情報は、コンタクトレンズによる矯正後の視力の情報を含んでいればよい。その場合には、裸眼視力の情報は特に必要ない。上記内容を踏まえると、本開示における「裸眼視力」は、矯正視力をも包含し得る。
【産業上の利用可能性】
【０１３８】
本開示は、たとえばデジタルミラーなどの装置における画像処理技術に利用できる。また、本開示は、ユーザ画像の取得および閲覧が可能なタブレットＰＣ、スマートフォン、ＰＣ、カーナビゲーションシステム、ビデオカメラまたはＴＶ等のＡＶ機器に内蔵させる装置としても利用することができる。
【符号の説明】
【０１３９】
１００    画像処理装置
１０１    動画取得部
１０２    ユーザ視力情報取得部
１０３    ユーザ距離取得部
１０４    拡縮方法決定部
１０５    画像生成部
１０６    出力部
１１０    動画像
１１１    ユーザ視力情報
１１２    ユーザ距離
１２０    表示装置
２００    コンピュータ
２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ    Ｉ／Ｆ
２０２    ＣＰＵ
２０３    ＲＯＭ
２０４    ＲＡＭ
２０５    ＨＤＤ
２１０ａ  カメラ
２１０ｂ  記憶装置
２１０ｃ  測距センサ
２１０ｄ  表示装置
【図１】
2015103991.tif 000003
【図２】
2015103991.tif 000004
【図３】
2015103991.tif 000005
【図４】
2015103991.tif 000006
【図５】
2015103991.tif 000007
【図６】
2015103991.tif 000008
【図７】
2015103991.tif 000009
【図８】
2015103991.tif 000010
【図９】
2015103991.tif 000011