(57)【特許請求の範囲】
【請求項１】
利用者の視野に画像を重畳表示することで前記利用者が前記視野内の被写体を明視できるようにする頭部装着型または眼鏡型の画像表示装置であって、
前記利用者の前記視野の画像である視野画像を撮影して出力する視野撮像部と、
前記視野画像を入力し、前記視野画像内の前記被写体と前記視野撮像部との距離を算出して距離情報として出力する距離算出部と、
前記利用者の視力に関する情報である視力情報を取得する視力情報取得部と、
前記視野画像、前記距離情報および前記視力情報に基づいて矯正画像を生成して出力する矯正画像生成部と、
前記矯正画像を入力し、前記利用者の前記視野内に前記被写体の前記矯正画像を重畳表示する表示部と
を備える画像表示装置。
【請求項２】
前記視野画像と、前記距離情報と、前記視力情報とを入力して、前記利用者が前記被写体を見た場合の像である裸眼像を生成して出力する裸眼像生成部を含み、
前記矯正画像生成部は、前記視野画像と前記裸眼像とを入力して、前記視野画像と前記裸眼像とに基づいて前記矯正画像を生成して出力する、
請求項１に記載の画像表示装置。
【請求項３】
前記矯正画像生成部は、前記視野画像と前記裸眼像の差分画像に定数値を加算した画像に基づいて前記矯正画像を生成して出力する、
請求項２に記載の画像表示装置。
【請求項４】
前記利用者の視線を含む眼の位置、姿勢を算出して眼位置情報として出力する眼位置算出部を含み、
前記裸眼像生成部は、前記視野画像と、前記距離情報と、前記視力情報と、前記眼位置情報とを入力し、前記利用者の前記視線上の前記被写体の注視点と前記利用者の眼との距離である注視点距離を算出し、前記利用者が前記注視点を見た場合の前記裸眼像を生成して出力する、
請求項２記載の画像表示装置。
【請求項５】
前記表示部は、前記利用者の前記視野の所定距離に画像を重畳表示する投射光学系を含み、
前記裸眼像生成部は、前記注視点距離を出力し、
前記矯正画像生成部は、前記視野画像と前記裸眼像と前記注視点距離に基づいて前記矯正画像を生成して出力し、
前記投射光学系は、前記矯正画像が前記注視点距離にある前記被写体に重畳表示されるよう光学系を制御する、
請求項４記載の画像表示装置。
【請求項６】
前記視野撮像部は、その実空間上での光軸が、前記利用者が正面を向いた場合の視線と一致するように配置される、
請求項１記載の画像表示装置。
【請求項７】
前記視野撮像部は、多視点画像を撮影して任意の視点からの画像を再構成できるライトフィールドカメラであり、前記利用者が正面を向いた場合の視線と一致するように配置されており、前記眼位置算出部が算出した前記利用者の視線情報を入力として、前記利用者の視線の画像を再構成して前記視野画像として出力する、
請求項４記載の画像表示装置。
【請求項８】
前記矯正画像生成部は、前記利用者の前記視野が暗い場合に、前記矯正画像を明るくする、
請求項１記載の画像表示装置。
【請求項９】
前記視力情報は、前記利用者の視力の時間的な変化に関する情報を含む、
請求項１記載の画像表示装置。
【請求項１０】
前記視力情報は、前記利用者が所定の距離の前記被写体を注視し始めてからの経過時間と焦点ボケの度合いの変化の関係の情報を含み、
前記裸眼像生成部は、前記視力情報と注視点距離の変化に基づいて、前記裸眼像を生成する、
請求項９記載の画像表示装置。
【請求項１１】
前記視力情報は、前記利用者の前記視野が明るい状態から暗い状態に変化してからの経過時間と前記利用者が視認する像の明るさの変化の関係の情報を含み、
前記裸眼像生成部は、前記視力情報と前記視野内の前記像の明るさの変化に基づいて、前記裸眼像を生成する、
請求項９記載の画像表示装置。
【請求項１２】
利用者の視野に画像を重畳表示することで前記利用者が前記視野内の被写体を明視できるようにする画像表示方法であって、
前記利用者の前記視野の画像である視野画像を撮影して出力する視野撮像ステップと、
前記視野画像を入力し、視野画像内の被写体と前記撮像部との距離を算出して距離情報として出力する距離算出ステップと、
前記利用者の視力に関する情報である視力情報を取得する視力情報取得ステップと、
前記視野画像、前記距離情報および前記視力情報に基づいて矯正画像を生成して出力する矯正画像生成ステップと、
前記矯正画像を入力し、前記利用者の前記視野内に前記被写体の前記矯正画像を重畳表示する表示ステップと
を含む画像表示方法。
【請求項１３】
請求項１２に記載の画像表示方法に含まれる各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関し、特に老視や遠視、近視などの屈折異常によりものを明視できない人を対象として、利用者の頭部などに装着した表示部に表示した画像を、利用者の視野に重畳することで、ものを明視できるようにする、頭部装着型もしくは眼鏡型の画像表示装置に関する。
【背景技術】
【０００２】
水晶体の屈折率の異常や調整力の低下、眼球の形の異常などにより、老視や遠視、近視などの目の屈折異常が生じる。このうち老視とは、加齢により水晶体の調整力が弱まり、近くのものに焦点を合わせることができなくなった状態である。老視の矯正には、主に、凸レンズでできた老眼鏡が使用される。老眼鏡を用いると近くのものは明視できるが、遠くのものは見えづらくなるという課題があった。また、これを避けるためには、近くのものを見る時は老眼鏡をかけ、遠くのものを見る時は老眼鏡を外さなくてはならず、手間がかかるという課題があった。【０００３】
このような課題に対し、老視を矯正しつつ遠くのものも明視できる眼鏡として、遠方視用と近方視用とで度数の異なるレンズを組み合わせた、所謂、遠近両用眼鏡がある。例えば、特許文献１では、レンズ全体は遠方視用の度数に、レンズの下方の一部を近方視用の度数にした、２焦点の眼鏡を開示している。この眼鏡を用いると、一つの眼鏡で近くのものと遠くのものが明視できる。しかしながら、遠方視用と近方視用との境界部の度数が不連続であるため、境界付近のものが重なって見えるという課題があった。【０００４】
これに対し、特許文献２では、レンズの下へ行くにしたがって度数が徐々に変化する、多重累進焦点の眼鏡を開示している。この眼鏡は、遠方視用と近方視用との境界部の度数が連続的に変わるため、境界部が不連続にならない。【０００５】
さらに、特許文献３および特許文献４では、度数（屈折率）を変えることができるレンズと、度数を変えるための制御部を備えた、可変焦点の眼鏡を開示している。この眼鏡を用いると、一つの眼鏡で近くのものと遠くのものが明視できる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特公昭５８−４８８８５号（特許第１２１７０７８号）
【特許文献２】特開昭６２−９０６０１号
【特許文献３】特開２００７−０５２１１６号
【特許文献４】特開２００９−０９８６４９号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した遠近両用眼鏡は、見る方向でレンズの度数が異なる、または、時間にともなってレンズの度数が変わるため、ものが歪んで見えるという課題があった。例えば、２焦点の眼鏡では、境界付近のものが重なって見える。多重累進焦点の眼鏡では、例えば直線が場所によって曲率が異なる曲線に見えるなど、ものが非均一に歪んで見える。また、可変焦点の眼鏡では、度数が変わる際に、ものの大きさ、位置、形が時間にともなって変化するように歪んで見える。そのため、使用者は視野が揺れて感じたり、目が疲れやすく感じたりするなどの弊害があった。【０００８】
本発明は、老視などの目の屈折異常の人が利用すると、近くのものも遠くのものも明視することができ、かつ、ものを歪なく見ることができる、画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は上述の課題を解決するためになされたものである。
本願の第１の発明は、以下の発明である。なお、本項において、発明とは出願時の明細書に記載した発明をいう。
利用者の視野に画像を重畳表示することで前記利用者が前記視野内の被写体を明視できるようにする頭部装着型または眼鏡型の画像表示装置であって、
前記利用者の前記視野の画像である視野画像を撮影して出力する視野撮像部と、
前記視野画像を入力し、前記視野画像内の前記被写体と前記視野撮像部との距離を算出して距離情報として出力する距離算出部と、
前記利用者の視力に関する情報である視力情報を取得する視力情報取得部と、
前記視野画像、前記距離情報および前記視力情報に基づいて前記矯正画像を生成して出力する矯正画像生成部と、
前記矯正画像を入力し、利用者の視野内に前記被写体の矯正画像を重畳表示する表示部と
を備える画像表示装置。【００１０】
この構成によると、利用者はレンズを通さないでものを見るため、ものを歪なく見ることができる。さらに、老視により眼鏡無しでは明視することができない近くのものについては、矯正画像を重畳して観察することにより、明視することができる。【００１１】
「視野」とは、利用者が自身の眼によって視認可能な範囲をいう。
「被写体」とは、利用者の眼が焦点を合わせようとする対象物をいう。
「明視できる」とは、画像表示装置を装着しない場合よりも、利用者が対象物をはっきりと見ることが可能なことをいう。
「視力情報」とは、利用者の視力に関する情報をいい、ある条件下での視力の情報および時間経過に伴う視力変化に関する情報が含まれる。
「視野画像、距離情報および視力情報に基づいて矯正画像を生成する」とは、これらを用いて直接的に矯正画像を生成する場合に限らず、これらを用いて生成した他の画像を用いて矯正画像を生成する場合をも含む。
「重畳表示する」とは、直接視した被写体の像に矯正画像が重なった状態で、利用者が被写体を視認可能となるように表示することをいう。これにより、利用者は、直接視した被写体の像と矯正画像の像とが重なって網膜に投影されたものを、網膜像として認識することが可能となる。【００１２】
本願の第２の発明は、以下の発明である。
第１の発明において、前記視野画像と、前記距離情報と、前記視力情報とを入力して、前記利用者が前記被写体を見た場合の像である裸眼像を生成して出力する裸眼像生成部を含み、
前記矯正画像生成部は、前記視野画像と前記裸眼像とを入力して、前記視野画像と前記裸眼像とに基づいて前記矯正画像を生成して出力する画像表示装置。
「裸眼像」とは、利用者が自身の眼によって見た被写体の像（網膜像）をいう。【００１３】
本願の第３の発明は、以下の発明である。
第２の発明において、前記矯正画像生成部は、前記視野画像と前記裸眼像の差分画像に定数値を加算した画像に基づいて前記矯正画像を生成して出力する画像表示装置。【００１４】
本願の第４の発明は、以下の発明である。
第２の発明において、前記利用者の視線を含む眼の位置、姿勢を算出して眼位置情報として出力する眼位置算出部を含み、
前記裸眼像生成部は、前記視野画像と、前記距離情報と、前記視力情報と、前記眼位置情報とを入力し、前記利用者の前記視線上の前記被写体の注視点と前記利用者の眼との距離である注視点距離を算出し、前記利用者が前記注視点を見た場合の前記裸眼像を生成して出力する画像表示装置。
「注視点」とは、利用者の視線と被写体との交点をいう。【００１５】
本願の第５の発明は、以下の発明である。
第４の発明において、前記表示部は、前記利用者の前記視野の所定距離に画像を重畳表示する投射光学系を含み、
前記裸眼像生成部は、前記注視点距離を出力し、
前記矯正画像生成部は、前記視野画像と前記裸眼像と前記注視点距離に基づいて前記矯正画像を生成して出力し、
前記投射光学系は、前記矯正画像が前記注視点距離にある前記被写体に重畳表示されるよう光学系を制御する画像表示装置。【００１６】
本願の第６の発明は、以下の発明である。
第１の発明において、前記視野撮像部は、その実空間上での光軸が、前記利用者が正面を向いた場合の視線と一致するように配置されることを特徴とする画像表示装置。【００１７】
本願の第７の発明は、以下の発明である。
第４の発明において、前記視野撮像部は、多視点画像を撮影して任意の視点からの画像を再構成できるライトフィールドカメラであり、前記利用者が正面を向いた場合の視線と一致するように配置されており、前記眼位置算出部が算出した前記利用者の視線情報を入力として、前記利用者の視線の画像を再構成して前記視野画像として出力する画像表示装置。【００１８】
本願の第８の発明は、以下の発明である。
第１の発明において、前記矯正画像生成部は、前記利用者の前記視野が暗い場合に、前記矯正画像を明るくする画像表示装置。【００１９】
本願の第９の発明は、以下の発明である。
第１の発明において、前記視力情報は、前記利用者の視力の時間的な変化に関する情報を含む画像表示装置。【００２０】
本願の第１０の発明は、以下の発明である。
第９の発明において、前記視力情報は、前記利用者が所定の距離の前記被写体を注視し始めてからの経過時間と焦点ボケの度合いの変化の関係の情報を含み、
前記裸眼像生成部は、前記視力情報と注視点距離の変化に基づいて、前記裸眼像を生成する画像表示装置。【００２１】
本願の第１１の発明は、以下の発明である。
第９の発明において、
前記視力情報は、前記利用者の前記視野が明るい状態から暗い状態に変化してからの経過時間と前記利用者が視認する像の明るさの変化の関係の情報を含み、
前記裸眼像生成部は、前記視力情報と前記視野内の前記像の明るさの変化に基づいて、前記裸眼像を生成する、画像表示装置。【００２２】
なお、本発明は、このような特徴的な処理部を備える画像表示装置として実現することができるだけでなく、画像表示装置に含まれる特徴的な処理部をステップとする画像表示方法として実現することができる。【００２３】
本願の第１２の発明は、以下の発明である。
利用者の視野に画像を重畳表示することで前記利用者が前記視野内の被写体を明視できるようにする画像表示方法であって、
前記利用者の前記視野の画像である視野画像を撮影して出力する視野撮像ステップと、
前記視野画像を入力し、視野画像内の被写体と前記撮像部との距離を算出して距離情報として出力する距離算出ステップと、
前記利用者の視力に関する情報である視力情報を取得する視力情報取得ステップと、
前記視野画像、前記距離情報および前記視力情報に基づいて矯正画像を生成して出力する矯正画像生成ステップと、
前記矯正画像を入力し、前記利用者の前記視野内に前記被写体の前記矯正画像を重畳表示する表示ステップと
を含む画像表示方法。【００２４】
また、画像表示方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。【００２５】
本願の第１３の発明は、以下の発明である。
第１２の発明の画像表示方法に含まれる各ステップをコンピュータに実行させるためのプログラム。
【発明の効果】
【００２６】
本発明によると、老視などの目の屈折異常により明視できなかった近くのものは、老視によるぼけを矯正する矯正像を重畳して観察することで、明視できるようになる。さらに、利用者はレンズを通さないでものを見るため、ものを歪なく見ることができる。その結果、老視の人が、近くのものも遠くのものも明視することができ、かつ、ものを歪なく見ることができる、
【図面の簡単な説明】
【００２７】
【図１】実施の形態１における画像表示装置の構成を示すブロック図
【図２】実施の形態１における画像表示装置の光学系の構造を示す模式図
【図３】コンピュータによって構成した画像生成部を備えた画像表示装置の構成を示すブロック図
【図４】実施の形態１の画像生成部の動作の手順を示すフローチャート
【図５】実施の形態１における（ａ）使用状況の例を示す模式図、（ｂ）利用者の視野を示す模式図、（ｃ）視野撮像部で撮影した視野画像を示す模式図
【図６】実施の形態１における視野画像に対応する距離画像の例を示す模式図
【図７】実施の形態１における眼画像と眼位置情報の例を示す（ａ）左右の眼画像の模式図、（ｂ）光彩位置の推定結果の模式図、（ｃ）視野画像上の注視点位置の推定結果を示す模式図
【図８】利用者が老視である場合の視力情報の例を示す図
【図９】視野画像および裸眼像の例を示す図（ａ）視野画像（左）、（ｂ）裸眼像（左）
【図１０】表示する画像の例を示す図（ａ）差分画像、（ｂ）矯正画像
【図１１】利用者が観測する画像の例を示す図（ａ）利用者から観測される表示装置上の矯正画像、（ｂ）利用者から観測される合成像
【図１２】実施の形態２における画像表示装置の構成を示すブロック図
【図１３】実施の形態２における画像表示装置の光学系の構造を示す模式図
【図１４】実施の形態２における画像生成部の動作の手順を示すフローチャート
【図１５】実施の形態３における画像表示装置の構成を示すブロック図
【図１６】実施の形態３における画像表示装置の光学系の構造を示す模式図
【図１７】実施の形態３における画像生成部の動作の手順を示すフローチャート
【図１８】実施の形態４における利用者の視力情報の例を示す図
【図１９】利用者が近視である場合の視力情報の例を示す図
【発明を実施するための形態】
【００２８】
（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。
図１は、実施の形態１における画像表示装置１の構成を示すブロック図である。図１に示されるように、実施の形態１における画像表示装置１は、撮像部１１０、画像生成部１００、表示部１２０を備える。撮像部１１０は、左右２台の視野撮像部１１１ａ、１１１ｂ、左右２台の眼撮像部１１２ａ、１１２ｂを備え、画像生成部１００は、距離算出部１０１、眼位置算出部１０２、視力情報取得部１０３、裸眼像生成部１０４、矯正画像生成部１０５を備え、表示部１２０は、左右２台の画像表示部１２１ａ、１２１ｂ、投射光学系１２２ａ、１２２ｂを備える。なお、同一部材を区別するために添え字ａ〜ｄを用いるが、以下では、これらを特に区別しない場合には、添え字を除いて部材番号のみを用いる。
【００２９】
図２は、実施の形態１における画像表示装置１の光学系の配置を示す模式図である。同図は、利用者が眼鏡様形状の本装置を装着した状態を上方から見たものであり、利用者の眼２００と画像表示装置１の光学系の配置を示している。２つの視野撮像部１１１ａ、１１１ｂは各々、ハーフミラー１２３ａ、１２３ｂを介して、視野撮像部１１１の撮影する範囲が、利用者の視野の一部を含むように配置される。また、２つの眼撮像部１１２ａ、１１２ｂは各々、ハーフミラー１２３ｃ、１２３ｄを介して、眼撮像部１１２ａ、１１２ｂの撮影範囲が利用者の左右の眼２００ａ、２００ｂを含むように配置する。また、２つの画像表示部１２１ａ、１２１ｂは各々、投射光学系１２２ａ、１２２ｂおよびハーフミラー１２３ａ・１２３ｃ、１２３ｂ・１２３ｄを介して、利用者の視野に画像表示部１２１が含まれるように配置する。視野撮像部１１１の光軸と、眼撮像部１１２の光軸と、投射表示系制御部１２２の光軸とが一致するように各部を配置した構成である。
【００３０】
視野撮像部１１１ａ、１１１ｂは、その実空間上での光軸Ｃａ、Ｃｂが、利用者が正面を向いた場合の眼２００ａ、２００ｂの視線Ｌａ、Ｌｂと一致するように配置されている。ここで、利用者が正面を向いた場合の眼２００の視線とは、正面方向の十分に遠い位置にある被写体を見た場合における視線をいう。
【００３１】
視野を撮像する視野撮像部１１１は、多視点画像を撮影して任意の視点からの画像を再構成できるライトフィールドカメラを用いることもできる。この場合、ライトフィールドカメラは、利用者が正面を向いた場合の視線と一致するように配置されており、眼位置算出部１０２が算出した利用者の視線情報を入力として、利用者の視線の画像を再構成して視野画像として出力することができる。
【００３２】
図２において、左右の視野撮像部１１１ａおよび１１１ｂは、利用者の左眼および右眼とそれぞれ光学的に同一の位置に配置されているものとする。ここで視野撮像部１１１および眼撮像部１１２を備えた撮像部１１０（カメラ、図１参照）および眼２００の光学的な位置やそれらの間の距離とは、それぞれの焦点位置を基準とした位置や距離を指す。言い換えると、撮像部１１０と眼２００とが光学的に同一の位置に配置されているとは、両者の焦点位置と光軸の向きが一致していることを意味する。また、利用者が画像撮像装置１を装着した状態である被写体を注視した場合、利用者の視線と、視野撮像部１１１の撮影方向は、おおむね一致するように配置されているものと仮定する。
【００３３】
実施の形態１における画像表示装置１は、撮像部１１０で利用者の視野の画像を撮影し、画像生成部１００で撮影した画像から矯正画像を生成し、表示部１２０で利用者の視野に矯正画像を重畳表示する。
【００３４】
最初に、左右２台の視野撮像部１１１は、ハーフミラー１２３を介して、利用者の視野範囲を含むように撮影し、左右２つの画像を出力する（以降、この画像を視野画像と呼ぶ）。
左右２台の眼撮像部１１２は、ハーフミラー１２３を介して、利用者の左右の眼の周辺をそれぞれ撮影して、左右２つの画像を出力する（以降、この画像を眼画像と呼ぶ）。
【００３５】
次に、距離算出部１０１は、視野撮像部１１１から出力された左右２つの視野画像を入力して、視野画像間の視差を推定する。そして、この推定した視差とあらかじめ求めておいた２台の視野撮像部１１１の位置情報（両者の間の距離など）に基づいて、視野画像中の被写体と視野撮像部１１１との距離を算出し、距離情報として出力する。
【００３６】
眼位置算出部１０２は、眼撮像部１１２から出力された左右２つの眼画像を入力し、それぞれの眼画像から利用者の左右の眼の位置・姿勢を推定し、眼位置情報として出力する。この出力に基づいて、利用者の視線を検出することができる。視力情報取得部１０３は、利用者の視力に関する情報である視力情報をあらかじめ記憶しておく。なお、視力情報取得部１０３は、予め視力情報を記憶しておくのではなく、通信回線などを介して視力情報を取得する構成としてもよい。
【００３７】
次に、裸眼像生成部１０４は、視野撮像部１１１から出力された視野画像と、距離算出部１０１が算出した距離情報と、眼位置算出部１０２から出力された眼位置情報と、視力情報取得部１０３が取得した視力情報とを入力して、距離情報と眼位置情報から利用者の注視点位置を算出する。さらに、裸眼像生成部１０４は、算出した注視点位置に基づいて注視点と眼との距離である注視点距離を算出する。そして、注視点距離と視野画像と距離情報と視力情報から、利用者が視野画像中の被写体を直接観察した場合に利用者の網膜に投影される像の予測値である、裸眼像を生成して出力する。これにより、注視点距離に応じた裸眼像を生成することができる。
【００３８】
次に、矯正画像生成部１０５は、裸眼像生成部１０４から出力された裸眼像と注視点位置と、視野撮像部１１１から出力された視野画像とを入力して、視野画像と視力情報から、利用者が注視点上の被写体を明視できるように視力を矯正した場合に網膜に投影される像の予測値である明視像と、裸眼像との差分に基づいて、矯正像を生成する。
【００３９】
本実施の形態では、矯正画像生成部１０５が、裸眼像生成部１０４において生成した裸眼像を用いる場合を説明した。しかし、矯正画像生成部１０５が、視野画像、距離情報および視力情報を用いて画像データを作成し、矯正画像を生成する構成としてもよい。
【００４０】
さらに、矯正画像生成部１０５は、あらかじめ求めておいた投射光学系１２２と画像表示部１２１の位置情報に基づいて、利用者の眼２００から注視点の被写体までの注視点距離と、画像表示部１２１の投影距離が一致するように、投射光学系１２２を制御する制御情報を算出して出力する。
【００４１】
次に、投射光学系１２２は、利用者の眼２００と着目点である注視点との距離である注視点距離が、利用者の眼２００と画像表示部１２１との光学的な距離と一致するよう、投射光学系制御部（図示せず）により制御される。このように、眼位置算出部１０２により眼位置を検出することにより、注視点距離に応じて矯正画像を生成し、投射光学系１２２を制御することが可能となる。
最後に、左右２つの画像表示部１２１は、矯正画像生成部１０５から出力された左右２つの矯正画像を表示する。  矯正画像生成部１０５は、利用者の視野が暗い場合に、矯正画像を明るくすることとしてもよい。これにより、利用者は周囲が暗い場合でも被写体を明視することができる。
【００４２】
図１の画像生成部１００を構成する各構成要素は、電子回路または集積回路等のハードウェアで実現されてもよいし、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよい。
【００４３】
図３は、コンピュータによって構成された本実施の形態１における画像表示装置１のハードウェア構成を示す図である。図３において、視野撮像部１１１は視野画像を、眼撮像部１１２は眼画像をそれぞれ撮影して出力し、コンピュータ３００は視野画像と眼画像を取得して、矯正画像と制御情報を生成算出して出力する。ディスプレイ１２０はコンピュータ３００で生成された矯正画像を表示する。視野撮像部１１１および眼撮像部１１２には、カメラが用いられる。
【００４４】
コンピュータ３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、ビデオ入力インタフェース（Ｉ／Ｆ）３０５、ビデオカード３０６およびインターフェース（Ｉ／Ｆ）３０７を含む。コンピュータ３００を動作させるプログラムは、ＲＯＭ３０２またはＨＤＤ３０４にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ３０１によって、ＲＯＭ３０２またはＨＤＤ３０４からＲＡＭ３０３に読み出されて展開される。ＣＰＵ３０１はＲＡＭ３０３に展開されたプログラム中のコード化された各命令を実行する。ビデオ入力Ｉ／Ｆ３０５は、プログラムの実行に応じて、撮像部１１０で撮影された画像を、ＲＡＭ３０３へ取り込む。ビデオカード３０６は、プログラムの実行に応じて生成された画像を出力し、表示部１２０がその画像を表示する。ＣＰＵ３０１は、Ｉ／Ｆ３０７を介して、プログラムの実行に応じて、投射光学系１２２を制御する。
【００４５】
なお、コンピュータプログラムは、半導体であるＲＯＭ３０２またはＨＤＤ３０４に限られず、例えばＣＤ―ＲＯＭに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータ３００のＲＡＭ３０３に取り込まれてもよい。
【００４６】
以下、本実施の形態１における画像表示装置１の動作を、図４を用いて説明する。
図４は、本実施の形態における画像表示装置の画像生成部１００の動作を表すフローチャートである。図４において、７つのステップＳ４００〜Ｓ４０６は、図３のコンピュータ３００で実行される。
なお、図４の各ステップは、図１の画像生成部１００を構成する５つの各処理部で実行してもよい。すなわち、視野撮像部１１１では視野撮像ステップＳ４００、距離算出部１０１では距離算出ステップＳ４０１、眼位置算出部１０２では眼位置算出ステップＳ４０２、視力情報取得部１０３では視力情報取得ステップＳ４０３、裸眼像生成部１０４では裸眼像生成ステップＳ４０４、矯正画像生成部１０５では矯正画像生成ステップＳ４０５、表示部１２０では表示ステップＳ４０６の各動作を実行する。
【００４７】
撮像部１１０において、２つの視野撮像部１１１は、それぞれ利用者の左右の視野を含む領域を撮影した動画像を視野画像として出力する（Ｓ４００）。２つの眼撮像部１１２は、それぞれ利用者の左右の眼２００を含む領域を撮影した動画像を出力する。本実施の形態１では、視野撮像部１１１および眼撮像部１１２の各２つ（合計４つ）の撮像部が出力する動画像は、同期して一定間隔で撮影した画像で構成されているものとする。また、各撮像部（視野撮像部１１１、眼撮像部１１２）が出力する動画像は、縦１０８０画素×横１９２０画素×６０フレーム／秒とし、特に断りが無い限り、画像とは動画像を構成するある１フレームの画像を指す。また、各処理部で同時に取り扱う複数の画像は、同時に撮影されているものとする。
【００４８】
本実施の形態１では、利用者は老視であり、画像表示装置１によって老視を矯正する場合を例に説明する。図５（ａ）は、本実施の形態１における使用状況の例を示す図である。眼鏡様形状の本画像表示装置１を装着した利用者が、椅子に座って書籍を読んでいる例を示している。書籍と利用者の眼との距離は約０．５ｍであるものとし、利用者は老視のため裸眼では０．５ｍ先の物を明視できないものとする。
【００４９】
図５（ｂ）は、利用者の左右それぞれの眼の視野を示す図である。向かって左側が左目の視野を示しており、右側が右目の視野を示している。これらの図は、本と机を含む広い範囲が利用者の視野に入っていることを示している。図５（ｃ）は、左右２つの視野撮像部１１１でそれぞれ撮影した視野画像の例である。左側が視野撮像部１１１ａで撮影した左の視野画像を示しており、右側が視野撮像部１１１ｂで撮影した右の視野画像を示している。視野画像は、ハーフミラー１２３を介して視野が撮影されたものであるため、実際には図５（ｂ）に示す画像の鏡像になるが、ここでは説明のために左右を反転した正像として示す。以降、特に断りが無い限り、ハーフミラー１２３の影響で鏡像になる画像に関しては、正像に変換したと仮定して図示する。図５（ｃ）の視野画像は、図５（ｂ）の視野の画像よりも狭い範囲の画像となっている。これは、視野画像として、図５（ｂ）の利用者の視野範囲の中央部分の一部を撮影していることを示している。
【００５０】
撮像部１１０が上記の動作により画像を撮像して出力するのと並行して、コンピュータ３００では、あらかじめ定められたプログラムを実行することで、図４のＳ４００〜Ｓ４０６の動作を行う。
以降、コンピュータ３００で実行されるステップＳ４００〜Ｓ４０６の詳細な動作を、図４〜図１０を用いて説明する。
【００５１】
視野撮像ステップＳ４００では、撮像部１１０の視野撮像部１１１が、利用者の視野の画像である視野画像を撮影して出力する。
距離算出ステップＳ４０１では、左右２つの視野画像を入力して、２眼ステレオ法により被写体の３次元位置を算出し、距離画像として出力する。すなわち、視野撮像部１１１が出力する左右２つの視野画像Ｉｅｌ、Ｉｅｒを入力して、２眼ステレオ法により視野画像中の被写体の３次元位置を算出し、左右２つの視野画像にそれぞれ対応する２つの距離画像Ｄｌ、Ｄｒとして出力する（図６参照）。
【００５２】
具体的には、左の視野画像のＮ個の画素ｐｌｎの画素座標（ｕｌｎ，ｖｌｎ）を基準として、右の視野画像上の対応点の画素座標（ｕｒｎ，ｖｒｎ）を検出する。そして、あらかじめ求めておいた２つの視野撮像部の３次元位置と視野撮像部１１１ａ（カメラ）の内部パラメタを用いて、画素ｐｌｎに対応する左の視野撮像部１１１ａの焦点を座標原点とする３次元位置（ｘｌｎ，ｙｌｎ，ｚｌｎ）を算出する。右の視野画像についても同様に、Ｍ個の画素ｐｒｍに対応する、右の視野撮像１１１ｂの焦点を原点とする３次元位置（ｘｒｍ，ｙｒｍ，ｚｒｍ）を算出する。そして、算出した各視野画像の画素座標値（ｕ，ｖ）に対応する３次元位置までの距離を、距離画像Ｄ＝｛ｄ（ｕ，ｖ）｝として出力する。
【００５３】
２画像間の対応する画素を算出する対応点探索手法や動き推定手法は、非特許文献１もしくは非特許文献２などに詳しく記載されているため、ここでは詳細な説明を省略する。同様に、２画像間の対応点と２つのカメラ位置から３次元位置を算出する２眼ステレオ手法は、非特許文献３などに詳しく記載されているため、ここでは詳細な説明を省略する。
（非特許文献１）Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， “Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１
（非特許文献２）Ｐ．Ａｎａｎｄａｎ，“Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９
（非特許文献３）松山隆司、ほか編、“コンピュータビジョン”、株式会社新技術コミュニケーションズ、ｐｐ１２３〜１３７．
【００５４】
図６は、視野画像に対応する距離画像の例を示す模式図である。左側が左の視野画像に対応した距離画像Ｄｌ、右側が右の視野画像に対応した距離画像Ｄｒである。この例では、画素ｐｌｎの画素座標（ｕｌｎ，ｖｌｎ）に対応する３次元位置（ｘｌｎ，ｙｌｎ，ｚｌｎ）に基づいて、左の視野撮像部からの距離ｄ（ｕｌｎ，ｖｌｎ）を（式１）により算出し、距離が大きいほど輝度値が大きくなる画像として示した。
【数１】
0005967597.tif 000002
【００５５】
例えば、図６では、視野撮像部１１１から被写体までの距離は、書籍が０.５［ｍ］、テーブルが０．８［ｍ］であることを示している。
なお、図６は、説明のため、３次元位置の情報を距離画像で示したが、画素に対応する３次元位置の情報を表すデータ形式を距離画像に限定するものではなく、３次元位置の情報を表すことができればどのようなデータ形式であってもよい。
【００５６】
次に、眼位置算出ステップＳ４０２では、２つの眼撮像部１１２で撮像された左右２つの眼画像を入力し、それぞれの眼画像から利用者の眼の位置・姿勢を推定して、眼位置情報として出力する。
具体的には、眼位置算出ステップＳ４０２では、左右それぞれの眼画像から、画像中のエッジ特徴を利用して虹彩位置を推定し、推定した虹彩位置において楕円モデルを当てはめることで、楕円パラメタを算出する。そして、左右それぞれの眼２００について、あらかじめ取得しておいた、ある視野画像の点（ｕ，ｖ）に対応する実空間上の点を注視した場合の虹彩の楕円パラメタとの関係に基づいて、眼画像から算出した楕円パラメタから、注視点の視野画像における画素座標値（ｕｅ，ｖｅ）を得て、これを眼位置情報として出力する。
上述した虹彩を含む眼画像から、視野画像上の注視点を推定する手法は、非特許文献４などに詳しく記載されているため、ここでは詳細な説明を省略する。
（非特許文献４）Ｔａｋｅｏ  Ｋａｎａｄｅ，ａｎｄ，Ｍａｒｔｉａｌ  Ｈｅｂｅｒｔ，“Ｆｉｒｓｔ−Ｐｅｒｓｏｎ  Ｖｉｓｉｏｎ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＴＨＥ  ＩＥＥＥ， Ｖｏｌ．１００，Ｎｏ．８， ｐｐ．２４４２−２４５３，Ａｕｇ．２０１２
【００５７】
図７は、眼画像と眼位置情報の例、より具体的には、眼画像と推定した虹彩位置（眼位置情報）および視野画像中の注視点位置の例を示す。図７（ａ）は、左右の眼画像の例を示す模式図であり、向かって左側が左目の眼画像、右側が右目の眼画像を示している。図７（ｂ）は、眼画像から抽出したエッジ特徴に基づいて虹彩位置を推定し、さらに推定した虹彩位置に楕円モデル（実太線）をあてはめた結果の例を示す模式図である。図７（ｃ）は、視野画像上の注視点位置の推定結果を示す模式図であり、あらかじめ求めておいた虹彩の楕円モデルのパラメタと利用者の注視点の対応関係と、眼画像から推定した虹彩位置から求めた注視点位置を示している。この例では、左右の視野画像の画素座標（ｕｌｅ，ｖｌｅ）、（ｕｒｅ，ｖｒｅ）にある、書籍を注視している例を示している。
【００５８】
次に、視力情報取得ステップＳ４０３では、利用者の視力に関する情報である視力情報をあらかじめ記憶しておき、その情報を読み出して出力する。なお、視力情報は、あらかじめ記憶しておく代わりに、必要に応じて、通信回線などを介して取得してもよい。
【００５９】
本実施の形態１では、利用者の視力情報を、被写体までの距離ｄに対応する、ボケを表す点広がり関数のパラメタσと、距離ｄの被写体を明視するためのレンズのディオプタｓとの組で表す。一般に明視できる最も近い距離を近点と呼ぶ。老視とは、老化によって目の調整機能が弱くなったために近点が遠くなり、近くの物がボケて見える症状である。老視の人が近点より近い被写体を見た場合、結像位置が網膜よりも後方になり、網膜上で結像しないため、被写体がボケて見える。このとき、眼と被写体との距離ｄ［ｍ］が小さくなるほど、結像位置が網膜よりもより後方になり、ボケの度合いが大きくなる。この結像位置が投影面とずれることで生じるボケは、点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ：ＰＳＦ）で表すことができる。そこで本実施の形態１では、利用者の視力に関する情報を、被写体までの距離ｄ［ｍ］と、視野画像を基準にしたボケの度合いであるＰＳＦとの関係によって表す。
【００６０】
本実施の形態１では、ボケのＰＳＦを（式２）の２次元正規分布関数によって表す。
【数２】
0005967597.tif 000003
（式２）は、平均（０，０）分散σ２の２次元正規分布の関数である。（ｄｕ，ｄｖ）は像上の２次元座標を、δはボケの広がり度合いをそれぞれ表し、δが大きいほどボケが強いことを意味する。
【００６１】
なお、結像位置のずれによるボケのＰＳＦは、（式２）で表すものとしたが、これに限定するものではなく、利用者の眼のボケに近いＰＳＦであれば、どのようなＰＳＦを用いてもよい。例えば、（式３）の強度が均一な円形開口を表すＰＳＦを用いてもよい。
【数３】
0005967597.tif 000004
【００６２】
（式３）において、（ｕ，ｖ）は像上の２次元座標を、Ｒはボケの広がり半径をそれぞれ表す。（式２）のＰＳＦではボケの度合いを表すパラメタがσであるのに対し、（式３）のＰＳＦではボケの度合いを表すパラメタはＲであり、Ｒが大きいほどボケが強い。
【００６３】
図８に利用者が老視である場合の視力情報の例を示す。本実施の形態１では、説明を容易にするため、利用者の左右の視力は同じであるものと仮定する。同図は、利用者の眼からの距離ｄ［ｍ］と、（数２）のσ［ｐｉｘｅｌ］、および距離ｄの被写体を明視するための矯正レンズのディオプタｓ［Ｄ］との関係を示している。例えば、ｄ＝０．５［ｍ］、すなわち０．５ｍ先の被写体を見た場合、利用者の眼に投影される画像は、視野画像に対してσ＝２［ｐｉｘｅｌ］として（式２）を用いて畳み込み処理を行ったのと同等のボケになる、ことを示している。距離が０．７［ｍ］より大きい場合はσ＝０であり、ボケが発生しないことを表す（ＰＳＦ自身がデルタ応答になる）。また、ＳＰＨとは、球面レンズのディオプタであり、焦点距離をメートルで表した値の逆数である。利用者は、０．５ｍ先の被写体を見る際に、ディオプタ２．０すなわち焦点距離０．５［ｍ］のレンズを通して見ると明視できる、ことを意味する。
【００６４】
図８に示した利用者の眼からの距離ｄと視野画像のボケの度合いを表すσとの関係は、利用者による主観評価実験によって事前に取得しておく。例えば、本実施形態の画像表示装置１（図２）を利用者が装着し、図５で示した大きさの異なる文字を含む書籍のような被写体を、所定の距離ｄｉで観察すると同時に、視野撮像部１１１で視野画像を取得する。そして視野画像にσを１〜１０まで変えた（式２）のボケを加えた複数の画像を生成し、眼で見たボケと最も近いボケ画像のσｉを、距離ｄｉに対応するσｉとして決定する。上述した処理をボケが発生する距離ｄの範囲で複数回実行する（図８の例では、０．３、０．４、０．５、０．６、０．７の５回）ことで、視力情報を得ることができる。
【００６５】
なお、本実施の形態１では、視力情報は主観評価によりあらかじめ取得するものとして説明したが、視力情報を得る方法をこれに限るものではなく、他の方法であってもよい。例えば、度が異なる老眼鏡を複数用意し、ある距離ｄにおいた被写体を明視でき、かつ、最も度が弱い凸レンズを選択する。そして、このときの凸レンズの度（焦点距離の逆数）から、利用者の眼におけるボケの程度、および視野画像におけるボケの程度σを求める。これを複数の距離ｄで繰り返すことで、図８の視力情報を得ることができる。
【００６６】
次に、裸眼像生成ステップＳ４０４は、利用者の眼の位置や眼の姿勢と距離画像に基づいて、利用者の注視点位置を推定し、推定した注視点位置と利用者の視力情報、視野画像に基づいて、利用者が直接に注視点を見た場合に、網膜に投影される像である裸眼画像を生成して出力する。すなわち、利用者の注視点（ｕｌｅ，ｖｌｅ）、（ｕｒｅ，ｖｒｅ）と、距離画像Ｄｌ、Ｄｒに基づいて、注視点までの距離ｄｅｌ、ｄｅｒを得る。そして注視点距離ｄｅｌ、ｄｅｒに対応する利用者の視力情報に含まれるＰＳＦのパラメタに基づいて、利用者が視野画像Ｉｅｌ、Ｉｅｒを直接観測した場合に生じるボケの影響を加えた画像である裸眼像Ｉｎｌ、Ｉｎｒを生成して出力する。 
【００６７】
視野画像Ｉｅと(式２)または（式３）のＰＳＦから、裸眼像Ｉｎを生成する方法を（式４）に示す。
【数４】
0005967597.tif 000005
【００６８】
裸眼像生成ステップＳ４０４の処理の例を、図６〜図９を用いて説明する。図７（ｃ）は利用者の注視点が書籍上の座標（ｕｌｅ，ｖｌｅ）、（ｕｒｅ，ｖｒｅ）であることを示している。また、図６は、注視点を含む書籍の距離が０．５［ｍ］であることを示している。その結果、裸眼像生成ステップＳ４０４は、注視点座標に対応する距離画像から、書籍（被写体）上の注視点までの距離ｄが左右ともに０．５［ｍ］であると推定する。さらに、図８の利用者の視力情報から、距離ｄ＝０．５［ｍ］における、ＰＳＦのパラメタσ＝２［ｐｉｘｅｌ］を得る。そして、図７（ｃ）の視野画像のうち、注視点の距離ｄ＝０．５［ｍ］と同じ距離の画素に対し、（式４）によってのＰＳＦを畳み込み演算を行うことで、視野画像に利用者の視力と同等のＰＳＦを加えた画像である、裸眼像を生成する。
【００６９】
図９に視野画像および裸眼像生成ステップＳ４０４で生成した裸眼像の例を示す。図９（ａ）は、視野撮像部１１１ａで撮影した左の視野画像であり、図９（ｂ）は、視野画像の各画素に対応する距離画像のうち距離が０．５［ｍ］の画素（０．５[ｍ]の距離画像を構成する画素）に対して、σ＝２のＰＳＦ(式２)を畳み込んで生成した左の裸眼像である。この裸眼像は利用者が注視している距離０．５［ｍ］にある書籍の距離画像について、利用者の老視によるボケと同等なボケを加えたものになっている。
【００７０】
最後に、矯正画像生成ステップＳ４０５は、裸眼像と視野画像との差分画像に基づいて、矯正画像を算出する。さらに、利用者の視力情報に基づいて、表示部の画像が注視点位置で明視されるように、投射光学系１２２を制御する信号を出力するとともに、投射光学系による歪を算出してその歪を補償する変換を矯正画像にかけて出力する。すなわち、裸眼像Ｉｎｌ、Ｉｎｒと視野画像Ｉｅｌ、Ｉｅｒとの差分に基づいて、矯正画像Ｉｃｌ、Ｉｃｒを生成する。そして、利用者が、画像表示部１２１に表示される矯正画像を、注視点と同じ位置・大きさで、かつ、明視できるようにするために、利用者の視力情報に基づいて投射光学系１２２へ制御信号を出力する。
【００７１】
矯正画像生成ステップＳ４０５において、差分画像Ｉｄ＝｛ｉｄ（ｕ，ｖ）｝は、視野画像をＩｅ＝｛ｉｅ（ｕ，ｖ）｝と、裸眼像Ｉｎ＝｛ｉｎ（ｕ，ｖ）｝から、（式５）により算出する。
【数５】
0005967597.tif 000006
（式５）においてＣｏｆｆは、差分像が負の値にならないようにするために加えた定数であり、あらかじめ定められているものとする。
【００７２】
また、矯正画像生成ステップＳ４０５において、矯正画像Ｉｃ＝｛ｉｃ（ｕ，ｖ）｝は、差分画像Ｉｄと、あらかじめ求めておいた幾何変換Ｆを用いて（式６）により生成する。
【数６】
0005967597.tif 000007
【００７３】
（式６）のＦ（ｄ，ｓ，ｕ，ｖ）は、画素座標（ｕ，ｖ）を（ｕ’，ｖ’）に変換する２次元幾何変換の関数であり、投射光学系における画像歪の逆変換に相当する。ｄは注視点までの距離であり、ｓは距離ｄに対応する利用者の視力情報に含まれるディオプタｓである。利用者は画像表示部１２１に表示された矯正画像を、投射光学系１２２を介して観測する。その際、画像表示部１２１の像は、位置、大きさ、歪などの変形が生じる。そこで、投射光学系１２２による変形の逆変換である２次元幾何変換Ｆをあらかじめ求めておき、（式６）によって差分画像に対して幾何変換Ｆをかけることで、矯正画像を生成する。 
【００７４】
また、矯正画像生成ステップＳ４０５は、画像表示部１２１に表示した矯正画像が、投射光学系１２２を通して、注視点距離ｄ＝０．５［ｍ］と光学的に同じ距離に表示され、かつ、ディオプタｓ＝２．０（焦点距離０．５ｍ）の凸レンズを通すことで利用者が明視できるように、投射光学系１２２を制御する。ここでは注視点の距離ｄ＝０．５［ｍ］と、ディオプタｓ＝２．０［Ｄ］を出力する。
【００７５】
図１０に矯正画像生成ステップＳ４０５で算出される差分画像と、生成される矯正画像の例を示す。視野画像が図９（ａ）、裸眼像が図９（ｂ）であるとき、視野画像から裸眼像を引いた差分の差分画像が図１０（ａ）である。画像では負の輝度値を取り扱うことができないため、視野画像と裸眼像との差分が負の値にならないよう、オフセット値Ｃｏｆｆを加算する。図１０（ａ）の例では、Ｃｉ＝１２８とした。さらに差分画像を（式６）によって幾何変換した矯正画像の例を図１０（ｂ）に示す。
以上のように、コンピュータ３００は、ステップＳ４００〜Ｓ４０５の動作によって、視野画像、距離情報および視力情報から矯正画像を生成して出力する。
【００７６】
次に、表示ステップＳ４０６において、表示部１２０は、画像生成部１００から出力された矯正画像Ｉｃｌ、Ｉｃｒを、左右２つの画像表示部１２１ａ、１２１ｂに表示する。そして投射光学系１２２は、画像表示部に表示された矯正画像Ｉｃｌ、Ｉｃｒが、利用者から距離ｄに相当する位置に見え、かつ、矯正画像を明視できるように、制御される。
本実施の形態１では、投射光学系１２２は、画像表示部１２１が眼２００から距離ｄにあるように見せるために、虫眼鏡と同じ原理で凸レンズを介して画像表示部１２１を見ることでＭ倍に拡大して表示する。また、距離ｄに応じて拡大率Ｍを変えるために凸レンズと眼２００の位置を可変にした構成をとる。さらに、利用者が画像表示部１２１を明視できるようにするため、ディオプタｓに相当する焦点距離１／ｓのレンズを加えた構成とする。ディオプタｓに応じて焦点距離１／ｓを変えるために、２つのレンズとその間隔を可変にした構成をとる。このようなレンズの配置や拡大率Ｍ、焦点距離ｆを可変にする方法は、非特許文献５に開示されているので、ここでは詳細な説明は省略する。
（非特許文献５）永田信一、“図解レンズがわかる本”、ISBN4-534-03491-1、日本実業出版社、pp.98-99, pp.120-129。
【００７７】
図１１に、表示部１２０で利用者が観測する画像の例を示す。画像表示部１２１は、図１０（ｂ）の矯正画像を表示し、この矯正画像のみの投射光学系１２２を介して観測者が見た場合の像を図１１（ａ）に示す。図１１（ａ）は、図１０（ａ）の差分画像と同じ像となる。これは差分画像に対して投射光学系における変形の逆変換を掛けた矯正画像（図１１（ｂ））を、投射光学系を通して観察する際に変形するため、元の補正画像と同じ像になる。さらに、利用者は、ハーフミラー１２３を介して、画像表示部１２１に表示された図１１（ａ）の矯正画像と、被写体を直接見た像（図９（ｂ）と同じ）とを重畳して観察することとなる。この場合の合成像の例を、図１１（ｂ）に示す。図１１（ａ）の矯正画像は、老視によるボケ、すなわち、視野画像と裸眼画像の差分であり、これを被写体の像に重畳することは、老視によるボケの逆変換に相当する。そのため、図１１（ｂ）のようにボケのない像を観測することができる。
【００７８】
言い換えると、本実施の形態１の画像表示装置１を使わない場合、利用者は注視点距離ｄ＝０．５［ｍ］の書籍を直接見ると、老視により図９（ｂ）のようにボケてしまい、明視できない。これに対し、本実施の形態１の画像表示装置１を使うと、注視点距離ｄ＝０．５［ｍ］の書籍を明視することができるようになる。
以上のように、撮像部１１０、画像生成部１００、および表示部１２０の動作の結果、利用者は、距離ｄ＝０．５［ｍ］にある書籍を明視できるようになる。
【００７９】
利用者が、異なる被写体を注視した場合も、本実施の形態１の画像表示装置１は同じ動作を繰り返す。すなわち、注視点までの距離ｄに応じた、ＰＳＦのパラメタσとディオプタｓを用いることで、距離ｄが変化した場合でも、注視点の被写体を明視することができる。また距離ｄ＞０．７［ｍ］の場合、ＰＳＦによるボケが生じないため、裸眼像は視野画像と同じになり、差分画像および矯正画像は一定の色Ｃｏｆｆのみが表示される。このとき利用者はｄ＞０．７［ｍ］の被写体は明視できるため、結果として遠方の被写体についても明視できることとなる。
【００８０】
以上のように、本実施の形態１の画像表示装置１の撮像部１１０、コンピュータ３００で実現された画像生成部１００、および表示部１２０の動作の結果、利用者は、被写体から利用者の眼に入る像（図９（ｂ））に加えて、矯正画像（図１１（ａ））を重畳して見ることで、被写体を明視することができる（図１１（ｂ））。その結果、近くのものも遠くのものも明視することができる。さらに、本実施の形態１の画像表示装置１は、利用者から被写体までの間にレンズが無いため、被写体の像が空間的に歪んだり、時間的に歪が変化したりしないという、本発明特有の効果を得ることができる。
【００８１】
なお、本実施の形態１では、投射光学系１２２は、複数のレンズとレンズ間の距離を可変にした構成で、注視点の距離ｄとディオプタｓの入力に応じて、レンズ間の位置を制御することで、画像表示部１２１を距離ｄ相当に拡大し、かつ、明視できるようにするものとしたが、投射光学系１２２の構成をこれに限定するものではなく、他の構成としてもよい。例えば、レンズの代わりに凹面鏡や凸面鏡を使ってもよい。また、拡大率や焦点距離を可変にするためにレンズ間の位置を変える代わりに、液晶を用いて屈折率を変えることができるレンズや、レンズ内への液体の注入、排出によりレンズの厚みを変えて屈折率を変えることができるレンズを使ってもよい。このような屈折率が可変のレンズを用いると、レンズ間の位置を変えなくてもよい、または、位置の変化の幅を小さくできるため、投射光学系１２２の体積を小さくできる、または、可動機構が少ないため耐久性が上がるなどの効果がある。
【００８２】
なお、本実施の形態１では、表示部１２０は、画像表示部１２１と投射光学系１２２で構成され、投射光学系１２２は、利用者が画像表示部１２１を明視できるようにするために、ディオプタｓに相当する焦点距離１／ｓのレンズを有する構成であるとしたが、表示部１２０の構成をこれに限るものではなく、目の屈折異常の利用者が明視できる構成であれば、どのような構成であってもよい。
例えば、投射光学系１２２に画像表示部１２１を明視するためのレンズを有する代わりに、網膜走査型の表示装置を表示部１２０として用いることとしても良い。網膜走査型の表示装置は、特許文献５などに開示されているので、ここでは詳しい説明は省略する。
（特許文献５）特許第４０５７５３３号
【００８３】
網膜走査型の表示装置は、マクスウェル視光学系を構成することで、老視や近視などの目の屈折異常をもつ利用者であっても、利用者の視力に応じたレンズを用いることなく、画像を明視することができる。そのため、表示部１２０に、このような網膜走査型の表示装置を用いることで、視力が異なる利用者に対応するための光学系やその調整機構、および、被写体までの距離に応じて明視させるための光学系の制御機構や処理が、不要になるという、別の効果がある。
【００８４】
なお、本実施の形態１では、左右の視野撮像部１１１ａ、１１１ｂは、利用者の左眼と右眼とそれぞれ光学的に同一の位置に配置されているものと仮定して説明したが、視野撮像部１１１の位置と利用者の眼２００の位置とは、必ずしも一致しなくてもよい。
【００８５】
例えば、視野撮像部１１１が利用者の眼２００の位置とずれて設置されている場合であっても、裸眼像生成部１０４において、位置のずれを補正した裸眼像を生成することで、本実施の形態１と同等の効果を得ることができる。視野撮像部１１１が利用者の眼２００の位置とずれている場合に、位置ずれを補正した裸眼像を生成する方法を以下に示す。
【００８６】
事前に、利用者の眼２００の位置と視野撮像部１１１との３次元位置のずれを計測しておく。次に、事前に計測した３次元位置のずれと、視野撮像部１１１で撮影した視野画像と、距離算出部１０１で算出した距離画像とを用いて、コンピュータグラフィックの手法を用いて、仮想的に、視野撮像部１１１を利用者の眼２００の位置に移動させた場合の画像である補正視野画像を生成する。画像と画像に対応した距離画像から、視点を変えた画像を生成する手法は、コンピュータグラフィックスの基本的な技術として広く知られた手法なので、ここでは詳細な説明を省略する。最後に、裸眼像生成部１０４は、本実施の形態１と同じ動作により、生成した補正視野画像から裸眼像を生成する。さらに、他の処理部は本実施の形態１と同じ動作をすることで、本実施の形態１と同等の効果を得ることができる。
【００８７】
視野撮像部１１１の位置と利用者の眼の位置がずれる別の例として、利用者が正面を向いた場合は、視野撮像部１１１が利用者の眼２００の位置と同一の位置であっても、利用者が正面以外を注視した場合に、眼球が回転することで瞳孔位置が視野撮像部１１１の光軸から離れるため、視野撮像部１１１が利用者の眼２００の位置とずれることが挙げられる。このような場合でも、利用者の注視点位置と、利用者の眼２００の位置と視野撮像部１１１との３次元位置のずれとの関係を、事前に計測しておくことで、上述と同様な手法により、ずれを補正した補正視野画像を生成することができる。その結果、利用者が正面以外を注視した場合でも、本実施の形態１と同等の効果を得ることができる。
【００８８】
視野撮像部１１１と利用者の眼２００の位置がずれている場合に、利用者の眼２００の位置と一致した視野画像を得る別の手法として、視野撮像部１１１に通常のカメラを用いる代わりに、ライトフィールドカメラを用いても良い。ライトフィールドカメラは、多重結像光学系を用いて多視点画像を同時に撮影することができ、得られた多視点画像から、視点を移動した画像や、焦点位置を変えた画像を生成することができる。そのため、視野撮像部１１１にライトフィールドカメラを用いることで、視野撮像部１１１が利用者の眼２００の位置とずれた場所に設置された場合や、利用者が正面以外を注視した場合でも、利用者の眼２００の位置から撮影した補正視野画像を生成することができ、本実施の形態１と同等の効果を得ることができる。
【００８９】
（実施の形態２）
上記した本発明の実施の形態１では、画像表示装置１が左右両眼に対して撮像部１１０と表示部１２０を有する構成であった。これに対して本実施の形態２では、左右いずれか一方の視野撮像部１１１、眼撮像部１１２、画像表示部１２１、投射光学系１２２を外した構成の画像表示装置２について説明する。
【００９０】
図１２に、本実施の形態２の画像表示装置２の構成を示すブロック図を、図１３に本実施の形態２における画像表示装置２の光学系の配置を示す模式図を、図１４に画像生成部の動作の手順を示すフローチャートを示す。
実施の形態１の距離算出部１０１（距離算出ステップＳ４０１を行う部分）は、左右１つの視野撮像部１１１によって撮影した２つの視野画像を入力して、２眼ステレオ法を用いて３次元位置を推定して距離画像を算出するものとした（図１〜図３参照）。これに対し、本実施の形態２では、視野撮像部１１１はフォーカスを変えた複数の画像（多重フォーカス画像）を撮影し、距離画像算出部１０１’（距離画像算出ステップＳ４０１’）は、多重フォーカス画像からの距離推定手法を用いて距離画像を算出する。
【００９１】
以下、本実施の形態２の画像表示装置２の動作を、図１２〜図１４を用いて説明する。
本実施の形態２の画像表示装置２の動作が、実施の形態１と異なる点は、距離算出ステップＳ４０１’（または距離算出部１０１’）の動作だけであり（図１２、図１４参照）、他の処理ステップおよび処理部は、実施の形態１と同じ動作を行う。
【００９２】
図１３に示すように、画像表示装置２は、視野撮像部１１１、眼撮像部１１２、画像表示部１２１および投射表示系制御部１２２を備えており、左右いずれか一方の眼２００に装着される。このため、図１２の撮像部１１０では、視野撮像部１１１はフォーカスを変えて撮像した複数の視野画像（多重フォーカス視野画像）を繰り返し撮影し画像を出力する、眼撮像部１１２は眼画像を撮影して出力する。
【００９３】
本実施の形態２では、画像生成部１００を構成する各構成要素は、コンピュータ上で実行されるプログラム等のソフトウェアで実現される。
距離画像算出ステップＳ４０１’は、多重フォーカス視野画像からの距離推定手法を用いて距離画像を算出する。そして複数の多重フォーカス画像から、合焦している画像を実施の形態１の視野画像と同じものとして取り扱う。すなわち、多重フォーカス画像の視野画像を入力して、多重フォーカス画像からの距離推定方法により被写体の３次元位置を算出し、距離画像として出力する。多重フォーカス画像からの距離推定手法は、非特許文献７などに開示されているので、ここでは詳しい説明は省略する。
（非特許文献７）浅田尚紀、藤原久永、松山隆司、“多重フォーカス画像を用いたエッジ検出と距離計測"、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−ＤＩＩ、Ｎｏ．６、ｐｐ１０４８−１０５８、１９９４年６月
【００９４】
図１４に示す、視野撮像ステップＳ４００、眼位置算出ステップＳ４０２、視力情報取得ステップＳ４０３、裸眼像生成ステップＳ４０４、矯正画像生成ステップＳ４０５および表示ステップＳ４０６は、実施の形態１と同じ動作を実行する。
表示部１２０では、実施の形態１と同様に、画像表示部１２１は矯正画像を表示し、投射光学系１２２は距離ｄ、ディオプタｓに合わせることにより、利用者が矯正画像を明視できるようにする。
【００９５】
以上の本実施の形態２の動作によって、実施の形態１と同様に、利用者は、被写体から利用者の眼に入る像（図９（ｂ））に加えて、矯正画像（図１１（ａ））を重畳して見ることで、被写体を明視することができる（図１１（ｂ））。その結果、近くのものも遠くのものも明視することができる。さらに、本実施の形態２の画像表示装置２は、利用者から被写体までの間にレンズが無いため、被写体の像が空間的に歪んだり、時間的に歪が変化したりしないという、本発明特有の効果を得ることができる。
【００９６】
距離画像算出の方法として多重フォーカス画像からの距離推定手法を用いると、１台の視野撮像部１１１で撮影した画像から、距離画像を生成できる。その結果、視野撮像部１１１が１つであっても、本実施の形態１と同様な動作することができ、その結果本実施の形態１と同様の効果を得ることができる。
以上のように、本実施の形態２は、本実施の形態１の画像表示装置と同様に、利用者はレンズを通さないでものを見るため、ものを歪なく見ることができる。さらに、老視により眼鏡無しでは明視することができない近くのものは、矯正画像を重畳して観察することで、近くのものを明視できる。また遠くのものも歪なく明視することができる。
【００９７】
また、本実施の形態２の画像表示装置２では、本実施の形態１の画像表示装置１と比較して、視野撮像部１１１、眼撮像部１１２、画像表示装置１２１および投射光学系１２２が半数になるため、装置を小さく、安価に作成できるという効果がある。
【００９８】
（実施の形態３）
上記した本実施の形態１および２では、利用者の注視点は変化すると仮定し、画像生成部１００では利用者の注視点を推定して推定した値に基づいて矯正画像を生成し、投射光学系の距離を制御していた。
一方、従来の老眼鏡の利用方法として、ある利用者が書籍を読む際の距離や、ＰＣなどの作業をする場合のディスプレイまでの距離が一定と仮定し、その距離に合わせた度の眼鏡を用いる、という利用方法が一般的であった。そこで本実施の形態３では、老視の補正を行う距離が一定であるとした場合の、画像表示装置の構成を示す。
【００９９】
実施形態１および２では、画像表示装置１、２が、眼撮像部１１２、および、眼位置算出部１０２を有していたのに対し、本実施の形態３の画像表示装置３では、眼撮像部１１２、および、眼位置算出部１０２が無い構成となる。また、投射光学系１２２は、画像表示部１２１を表示する距離ｄおよびディオプタｓが一定のため、画像生成部１００からの制御信号の入力がない構成である。
以下、本実施の形態３の画像表示装置３の動作を、図１５〜図１７を用いて説明する。本実施の形態３の動作の説明においては、注視点は、視野の中心部（ｕｌｃ、ｖｌｃ）、被写体との距離ｄ０＝０．５［ｍ］で一定とする。
【０１００】
撮像部１１０では、視野撮像部１１１はフォーカスを変えて撮像した複数の視野画像（多重フォーカス視野画像）を撮影して出力する。
本実施の形態３では、画像生成部１００を構成する各構成要素は、コンピュータ上で実行されるプログラム等のソフトウェアで実現される。
図１７は、実施の形態３における画像生成部の動作の手順を示すフローチャートである。同図に示すように、眼位置算出ステップＳ４０２’は、利用者があらかじめ定められた注視点、距離を見ているという仮定に基づいて、眼位置を算出する。すなわち、注視点の距離ｄ＝ｄ０で一定であると仮定する点において、実施の形態２における眼位置算出ステップＳ４０２とは異なっている。眼位置算出ステップＳ４０２’以外の視野撮像ステップＳ４００、距離算出ステップ部Ｓ４０１’、視力情報取得ステップＳ４０３、裸眼像生成ステップＳ４０４、矯正画像生成ステップＳ４０５および表示ステップＳ４０６は、実施の形態２と同じ動作を実行する。
【０１０１】
表示部１２０では、実施の形態２と同様に、画像表示部１２１は矯正画像を表示し、投射光学１２２は、距離ｄ＝ｄ０と、利用者の視力情報のｄ０に対応するディオプタｓ０に合わせた一定の配置で、利用者が矯正画像を明視できるようにする。
【０１０２】
以上の本実施の形態３の動作によって、実施の形態１および２と同様に、利用者は、被写体から利用者の眼に入る像（図９（ｂ））に加えて、矯正画像（図１１（ａ））を重畳して見ることで、距離ｄ０にある被写体を明視することができる（図１１（ｂ））。その結果、ｄ０にあるものも遠くのものも明視することができる。一方、ｄ０以外の距離ｄで近くにある被写体を見た場合、被写体のボケを矯正することはできない。しかしながら、従来の老眼鏡の利用方法と同様に、例えば、読書やＰＣでの作業など、一定の距離ｄ０以外の場所に被写体が存在しないことが期待できる場合、実用上問題はない。
【０１０３】
さらに、本実施の形態３の画像表示装置３は、利用者から被写体までの間にレンズが無いため、被写体の像が空間的に歪んだり、時間的に歪が変化したりしないという、本発明特有の効果を得ることができる。
以上のように、本実施の形態３の画像表示装置３は、本実施の形態１および２の画像表示装置１および２と同様に、利用者はレンズを通さないでものを見るため、ものを歪なく見ることができる。さらに、老視により眼鏡無しでは明視することができない近くのものについては、矯正画像を重畳して観察することでより、明視することができる。また遠くの物も歪なく明視することができる。
【０１０４】
さらに、本実施の形態３では、本実施の形態２と比較して、眼撮像部１１２、眼位置算出部１０２が不要であり、かつ、投射光学系１２２が固定で良い。このことから、装置を小さく、安価に作成できるという効果がある。
【０１０５】
（実施の形態４）
本発明の実施の形態１〜３では、利用者の視力情報は、図８に示したように被写体までの距離ｄに対応する、ボケを表す点広がり関数のパラメタσと、距離ｄの被写体を明視するためのレンズのディオプタｓとの組で表すものとしたが、これに限るものではなく、他の条件を加えてもよい。
【０１０６】
眼が被写体を明視するために焦点を調整する力は、一定ではなく時間に応じて変化する場合がある。例えば、書籍を読み始めた直後は文字が少しボケていても、しばらく経つとはっきりみえるようになる場合がある。このような利用者の視力の時間的な変化に対応するために、実施の形態１〜３において用いた時間と関係なく一定とした利用者の視力情報の代わりに、時間に応じて変化する視力情報を用いてもよい。
【０１０７】
本実施の形態４では、このような利用者の視力の時間的な変化に関する情報を含む視力情報を用いる。各処理部の動作は実施の形態１と同じである。
時間に応じて変化する視力情報の例を図１８に示す。図１８の視力情報は、利用者がある距離ｄの被写体を注視し始めてからの時間をｔｆ［秒］として、時間ｔｆに応じて、ＰＳＦのパラメタσとディオプタｓが変化することを示している。
【０１０８】
例えば、実施の形態１では、距離ｄ＝０．５［ｍ］の場合、σ＝３．０、ｓ＝２．０で一定であった。これに対して、本実施の形態４では、視力情報取得部１０３により取得された利用者の視力情報は、ｄ＝０．５［ｍ］を注視し始めてからの時間ｔｆ[秒]が６０秒未満の場合、σ＝３．０、ｓ＝２．０であるが、ｔｆが６０秒以上になると、σ＝２．０、ｓ＝１．５であり、時間経過に伴って変化する。言い換えると、利用者は、距離ｄ＝０．５にあるものを見た直後は、明視するための矯正に必要な度数である球面レンズのディオプタｓ[Ｄ]が２．０であり、注視してから６０秒後には、明視するための矯正に必要な度ｓ[Ｄ]が１．５に変化する、ことを意味する。そこで本実施の形態４の画像表示装置は、時間変化を含む利用者の視力情報を用いることで、利用者の視力の時間変化に応じた矯正を行うことができる。
【０１０９】
この、視力情報取得部１０３により取得された視力情報は、利用者が所定の距離の被写体を注視し始めてからの経過時間と焦点ボケの度合いの変化の関係の情報を含んでいる。したがって、裸眼像生成部１０４は、視力情報と注視点距離の変化に基づいて、裸眼像を生成することが可能となる。
【０１１０】
利用者の視野が明るい状態から暗い状態に変化してからの経過時間と利用者が視認する像の明るさの変化の関係の情報を含んでいる視力情報を用いることもできる。このような視力情報を用いた場合、裸眼像生成部１０４は、視力情報と視野内の明るさの変化に基づいて、裸眼像を生成することが可能となるから、明るさが変化した場合においても、利用者は視野内の被写体を明視することが可能となる。
【０１１１】
本実施の形態４の画像表示装置は、利用者から被写体までの間にレンズが無いため、被写体の像が空間的に歪んだり、時間的に歪が変化したりしないという、本実施の形態１〜３と同等の効果を得ることができる。遠くの物も歪なく明視することができる。
さらに、本実施の形態４では、利用者の視力が時間的に変化する場合であっても、これに対応して、利用者の視力の時間変化に応じた矯正を行うことができる、という特有の効果を有する。
【０１１２】
なお、本発明の実施の形態１〜４において、矯正画像生成ステップＳ４０５は、視野画像をＩｅと裸眼像Ｉｎから、（式５）によって、差分画像Ｉｄを生成するものとしたが、差分画像を生成する式をこれに限定するものではなく、裸眼像におけるボケの成分を補正する像を算出する式であれば、他の式でもよい。このような差分画像の算出式の例を、（式７）に示す。
【数７】
0005967597.tif 000008
【０１１３】
（式７）において、ｋは視野画像のゲイン係数であり、ｋを１以上にすることで、実施の形態１〜４で示した差分画像に、視野画像Ｉｅの成分が加算されることになる。
このとき矯正画像生成ステップＳ４０５（図４、図１４および図１７参照）は、視野画像Ｉｅの注視点およびその近傍の平均輝度を、注視点の明るさを表す代表値とし、注視点が暗いほどｋを大きくすることで、差分画像および矯正画像はより明るくなる。
以上の矯正画像生成ステップＳ４０５の動作により、注視している被写体が暗い場合に、被写体を明るくして表示することで、利用者は被写体を見やすくすることができる、という効果がある。
【０１１４】
なお、本発明の実施の形態１では、説明を容易にするため、利用者の視力は左右の眼で同じと仮定して説明したが、一般的には左右の眼で視力は異なる。その場合、視力情報取得ステップＳ４０３において取得した左右のそれぞれの視力情報をＨＤＤ３０４（図３参照）に記憶しておく。そして、裸眼像生成ステップＳ４０４、および、矯正画像生成ステップＳ４０５では、左右２つの視力情報を用いて、それぞれ同じ処理を二回繰り返すことで、左右２つの矯正画像を生成することができる。
【０１１５】
なお、本発明の実施の形態１において、コンピュータ３００は、視野撮像ステップＳ４００、距離算出ステップＳ４０１、眼位置算出ステップＳ４０２、視力情報取得ステップＳ４０３の順に、４つのステップを実行するものとして説明したが（図４参照）、この４つのステップは相互に依存関係はないことから、処理の順番をこれに限るものではない。例えば、４つのステップは任意の順番で実行してもよいし、任意の２つ、３つまたは４つのステップを並列に実行してもよい。このことは、実施の形態２における視野撮像ステップＳ４００、距離算出ステップＳ４０１’、眼位置算出ステップＳ４０２および視力情報取得ステップＳ４０３（図１４参照）、ならびに実施の形態３における視野撮像ステップＳ４００、距離算出ステップＳ４０１’、眼位置算出ステップＳ４０２’および視力情報取得ステップＳ４０３（図１７参照）についても同様である。
【０１１６】
なお、本発明の実施の形態１〜２では、撮像部１１０および表示部１２０の光学系の構成は、２枚のハーフミラー１２３を用いて、表示装置から利用者視線への光を２回の反射によって導光する図２、図１３の構成であるとし、実施の形態３では、１枚のハーフミラー１２３を用いて、表示装置から利用者視線への光を１回の反射によって導光する図１５の構成としたが、本発明は光学系の構成を上記に限るものではない。
例えば、２枚のハーフミラーを用いる代わりに、表示装置から利用者視線への光を３回以上の反射によって導光する、多重反射光学系を用いた構成でもよい。多重反射光学系の構成は、特許文献６などに開示されているので、ここでは詳しい説明は省略する。
（特許文献６）特開２０１２−１６３６５６号
【０１１７】
表示装置から利用者視線への導光に多重反射光学系を用いると、本発明の実施の形態１〜４と同等の効果を得ることができる。さらに、多重反射光学系を用いることで、光学系の体積を小さくできる。そのため、画像表示装置を構成した場合に、装置を小さくできるという効果がある。
【０１１８】
なお、本実施の形態１〜４では、利用者は老視であるものとして説明したが、老視に限定するものではなく、目の屈折異常であれば近視や遠視であってもよい。利用者が近視である場合、利用者が老視である場合と異なる点は、利用者に応じた視力情報である。図１９に利用者が近視である場合の視力情報の例を示す。利用者が近視の場合、眼鏡をかけない状態では、近くのものは明視できるが、遠くのものはボケる。図１９の例では、被写体までの距離ｄが０．５ｍ以下では、点広がり関数のパラメタσが「０」、すなわち、ボケが無く。距離ｄが大きくなるほど、ボケが強くなることを表している。また、距離０．７ｍの被写体を見た場合に、明視できるようにするためのレンズのディオプタｓは−１．０である。投射光学系１２２は、利用者が画像表示部１２１を明視できるようにするために、ディオプタｓに相当する焦点距離１／ｓのレンズを有する構成は、老視や近視に関わらず共通である。一方、老視の場合はｓが正であるのに対し、近視の場合はｓが負となる。このため、老視の補正には凸レンズを用いるのに対し、近視の場合は凹レンズを用いる点において異なることとなる。
【０１１９】
利用者が近視の場合、利用者の眼に映る像は遠くのものほどボケた像になる。これに対し、本実施の形態１〜４の画像表示装置の撮像部１１０、コンピュータ３００で実現された画像生成部１００、および表示部１２０の動作の結果、利用者は、被写体から利用者の眼に入る像に加えて、矯正画像を重畳して見ることで、遠くのものも明視することができる。その結果、近くのものも遠くのものも明視することができる。さらに、利用者から被写体までの間にレンズが無いため、被写体の像が空間的に歪んだり、時間的に歪が変化したりしないという、本発明特有の効果を得ることができる。
【産業上の利用可能性】
【０１２０】
本発明は、目の屈折異常のある人がものを明視できる画像表示装置であり、例えば、通常の眼鏡に代わる頭部装着型画像表示装置、暗視用ゴーグル、拡張現実表示装置（バーチャルリアリティー表示装置）などに、幅広く利用できる。
【符号の説明】
【０１２１】
１、２、３    画像表示装置
１００    画像生成部
１０１    距離算出部
１０２    眼位置算出部
１０３    視力情報取得部
１０４    裸眼像生成部
１０５    矯正画像生成部
１１０  撮像部
１１１、１１１ａ、１１１ｂ    視野撮像部（カメラ）
１１２、１１２ａ、１１２ｂ    眼撮像部（カメラ）
１２０  表示部
１２１、１２１ａ、１２１ｂ    画像表示部
１２２、１２２ａ、１２２ｂ    投射光学系
２００、２００ａ、２００ｂ    眼
３００  コンピュータ（画像生成部）
３０１    ＣＰＵ（Central Processing Unit）
３０２    ＲＯＭ（Read Only Memory）
３０３    ＲＡＭ（Random Access Memory）
３０４    ＨＤＤ（Hard disk drive）
３０５    ビデオ入力インターフェース（Ｉ／Ｆ）
３０６    ビデオカード
３０７    インターフェース（Ｉ／Ｆ）
【図１】
0005967597.tif 000009
【図２】
0005967597.tif 000010
【図３】
0005967597.tif 000011
【図４】
0005967597.tif 000012
【図５】
0005967597.tif 000013
【図６】
0005967597.tif 000014
【図７】
0005967597.tif 000015
【図８】
0005967597.tif 000016
【図９】
0005967597.tif 000017
【図１０】
0005967597.tif 000018
【図１１】
0005967597.tif 000019
【図１２】
0005967597.tif 000020
【図１３】
0005967597.tif 000021
【図１４】
0005967597.tif 000022
【図１５】
0005967597.tif 000023
【図１６】
0005967597.tif 000024
【図１７】
0005967597.tif 000025
【図１８】
0005967597.tif 000026
【図１９】
0005967597.tif 000027