(57)【要約】【課題】見易い像を提供可能な画像表示装置及び画像処理装置を提供する。【解決手段】実施形態によれば、光学部と反射部と画像処理部とを含む画像表示装置が提供される。前記光学部は、表示画像の画像情報を含む光を出射する。前記反射部は、前記光学部から出射される前記光の少なくとも一部を観視者の瞳孔へ向けて反射させる。前記画像処理部は、前記反射部と前記瞳孔との位置関係に基づいて、前記対象画像の少なくとも一部の対象領域の大きさ及び形状の少なくとも一方を変更して前記表示画像を生成する。【選択図】図１
2017026943.tif 000002
【特許請求の範囲】
【請求項１】
表示画像の画像情報を含む光を出射する光学部と、
前記光学部から出射される前記光の少なくとも一部を観視者の瞳孔へ向けて反射させる反射部と、
前記反射部と前記瞳孔との位置関係に基づいて、対象画像の少なくとも一部の対象領域の大きさ及び形状の少なくとも一方を変更して前記表示画像を生成する画像処理部と、
を備えた画像表示装置。
【請求項２】
前記画像処理部は、前記位置関係と、前記対象画像のサイズ情報と、に基づいて前記対象領域の大きさ及び形状の前記少なくとも一方を変更して前記表示画像を生成する請求項１記載の画像表示装置。
【請求項３】
前記画像処理部は、前記対象領域の画像情報が、前記位置関係に基づいて定まる前記表示画像の第１画像領域内に表示されるよう前記表示画像を生成する請求項１または２に記載の画像表示装置。
【請求項４】
前記観視者によって観視される観視像は、前記対象画像の前記対象領域に基づいて形成された第１像を含み、
前記画像処理部は、前記対象領域のアスペクト比が、前記第１像のアスペクト比と等しくなるよう前記表示画像を生成する請求項１〜３のいずれか１つに記載の画像表示装置。
【請求項５】
前記画像処理部は、前記位置関係に対応した補正係数を用いて前記対象画像に含まれる複数の画素の座標を変換して前記表示画像を生成する請求項１〜４のいずれか１つに記載の画像表示装置。
【請求項６】
前記複数の画素のそれぞれは、複数の色成分を有し、
前記画像処理部は、前記色成分ごとに座標変換を行う請求項５記載の画像表示装置。
【請求項７】
前記画像処理部は、前記反射部と前記瞳孔との複数の位置関係に対応する複数の補正係数を記憶し、前記位置関係に基づいて前記複数の補正係数から補正に用いる前記補正係数を選択する請求項５または６に記載の画像表示装置。
【請求項８】
前記光学部と前記反射部との相対的配置を制御する位置制御部をさらに備え、
前記光学部と前記反射部との間の距離が可変である請求項５〜７のいずれか１つに記載の画像表示装置。
【請求項９】
対象画像を取得する取得部と、
前記対象画像の少なくとも一部の対象領域の大きさ及び形状の少なくとも一方を変更して表示画像を生成する画像処理部であって、前記表示画像は、光学部から出射される前記表示画像の画像情報を含む光の少なくとも一部を観視者の瞳孔へ向けて反射させる反射部と前記瞳孔との位置関係に基づいて生成される、前記画像処理部と、
を備えた画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像表示装置及び画像処理装置に関する。
【背景技術】
【０００２】
映像を表示する表示部と、レンズなどの光学素子を用いて表示部に表示された画像を投影する光学部と、光学部から投影された映像を観視者の眼へ向けて反射する反射部（コンバイナ）とを有する画像表示装置がある。このような画像表示装置では、観視者の瞳孔位置に応じて、観視者が見る像に光学歪みや欠けが発生することがある。瞳孔位置が変化しても、歪み等の少ない見易い像を表示することが望まれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６５８９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、見易い像を提供可能な画像表示装置及び画像処理装置を提供する。
【課題を解決するための手段】
【０００５】
本発明の実施形態によれば、光学部と反射部と画像処理部とを含む画像表示装置が提供される。前記光学部は、表示画像の画像情報を含む光を出射する。前記反射部は、前記光学部から出射される前記光の少なくとも一部を観視者の瞳孔へ向けて反射させる。前記画像処理部は、前記反射部と前記瞳孔との位置関係に基づいて、前記対象画像の少なくとも一部の対象領域の大きさ及び形状の少なくとも一方を変更して前記表示画像を生成する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る画像表示装置を例示する模式図である。
【図２】第１の実施形態に係る画像表示装置を例示するブロック図である。
【図３】図３（ａ）〜図３（ｃ）は、第１の実施形態に係る画像表示装置に関する画像を例示する模式図である。
【図４】参考例に係る画像表示装置を例示する模式図である。
【図５】図５（ａ）〜（ｄ）は、参考例に係る画像表示装置を例示する模式図である。
【図６】第１の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。
【図７】図７（ａ）及び図７（ｂ）は、第１の実施形態に係る画像表示装置における画像処理を例示する模式図である。
【図８】図８（ａ）〜図８（ｇ）は、第１の実施形態に係る画像表示装置に用いられる補正係数を例示する模式図である。
【図９】第１の実施形態に係る画像表示装置の処理を例示するフローチャートである。
【図１０】図１０（ａ）〜図１０（ｆ）は、第１の実施形態に係る画像表示装置の処理を例示する模式図である。
【図１１】第２の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。
【図１２】第２の実施形態に係る画像表示装置の画像補正部における処理を例示するフローチャートである。
【図１３】第３の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。
【図１４】第３の実施形態に係る画像処理装置の画像補正部における処理を例示するフローチャートである。
【図１５】図１５（ａ）〜図１５（ｃ）は、第３の実施形態に係る画像処理装置の画像補正部における処理を例示する模式図である。
【図１６】第４の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。
【図１７】第４の実施形態に係る画像表示装置の画像補正部における処理を例示するフローチャートである。
【図１８】図１８（ａ）〜図１８（ｃ）は、第４の実施形態に係る画像処理装置の画像補正部における処理を例示する模式図である。
【図１９】図１９（ａ）及び図１９（ｂ）は、第５の実施形態に係る画像表示装置を例示する模式図である。
【図２０】図２０（ａ）及び図２０（ｂ）は、第５の実施形態に係る画像表示装置を例示する模式図である。
【図２１】図２１（ａ）及び図２１（ｂ）は、第５の実施形態に係る画像表示装置を例示する模式図である。
【図２２】図２２（ａ）及び図２２（ｂ）は、第５の実施形態に係る画像表示装置を例示する模式図である。
【図２３】図２３（ａ）及び図２３（ｂ）は、位置制御部を例示する模式図である。
【図２４】図２４は、第５の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。
【図２５】第５の実施形態に係る画像表示装置の画像補正部における処理を例示するフローチャートである。
【図２６】図２６（ａ）及び図２６（ｂ）は、実施形態に係る画像表示装置を例示するブロック図である。
【図２７】実施形態に係る画像表示装置を例示する模式図である。
【発明を実施するための形態】
【０００７】
以下に、各実施の形態について図面を参照しつつ説明する。  
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。  
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
（第１の実施形態）  
図１は、第１の実施形態に係る画像表示装置を例示する模式図である。  
図２は、第１の実施形態に係る画像表示装置を例示するブロック図である。  
図１及び図２に表したように、本実施形態に係る画像表示装置１０１は、投影部１２５（表示部１１０および光学部１２０）と、反射部１３０と、画像処理装置２００と、を含む。
【０００９】
画像表示装置１０１は、例えば、眼鏡型のヘッドマウントディスプレイである。投影部１２５は、画像処理装置２００から画像情報を取得し、当該画像情報を含む光を出射する。光は、反射部１３０を介して観視者６０（使用者）の眼（瞳孔１５０）に投影される。これにより、観視者６０に画像情報に対応した虚像を表示する。
【００１０】
画像処理装置２００は、画像処理部１４０（回路部）を含む。画像処理部１４０は、表示の対象である対象画像のデータと、観視者６０の瞳孔位置（眼球位置）の情報と、を取得する。例えば、画像処理部１４０は、外部の記憶媒体やネットワークなどに有線あるいは無線で接続され、対象画像（入力画像）のデータを受け取る。画像処理部１４０は、観視者６０の瞳孔位置に基づいて、対象画像に対して補正処理を行い、表示画像(補正画像)を生成する。補正処理については後述する。
【００１１】
画像処理部１４０は、例えば、屈曲可能なケーブル１４５によって表示部１１０と電気的に接続されている。これにより、画像処理部１４０によって生成された表示画像は、表示部１１０に入力される。
【００１２】
表示部１１０は、例えば、映像や画像を表示するディスプレイである。ディスプレイには、例えば、液晶、有機ＥＬまたはリキッドクリスタルオンシリコン（Liquid Crystal On Silicon）などが用いられる。但し、実施形態は、これらに限定されない。表示部１１０は、平面上に並べられた複数の画素１１０ｅを含む。
【００１３】
表示部１１０は、表示画像を表示する。すなわち、表示部１１０は、表示画像の画像情報を含む光Ｌ１（画像光）を出射する。光Ｌ１は、複数の画素１１０ｅから光学部１２０へ向けて出射される。
【００１４】
光学部１２０は、複数の画素１１０ｅから出射された光Ｌ１の光路上において、表示部１１０と反射部１３０との間に設けられる。光学部１２０は、少なくとも１つ以上の光学素子を含む。光学部１２０は、入射した光Ｌ１を投影する。光学素子には、レンズ、プリズム、またはミラーなどを用いることができる。光学部１２０は、例えば、光Ｌ１の少なくとも一部の進行方向を変化させる。このようにして、光学部１２０（投影部１２５）は、画像情報を含む光（補正光）を反射部１３０へ向けて出射する。なお、複数の光学素子を用いた場合、それらは直線上に配置されていなくてもよい。
【００１５】
反射部１３０は、第１面１１ｐに沿って設けられた反射面を含む。例えば、第１面１１ｐに複数の微細な反射面を並列に配置して、反射部１３０とすることができる。第１面１１ｐは、平面であっても曲面であってもよい。反射面のそれぞれは、例えばハーフミラーであり、入射した光の少なくとも一部を反射させる。反射面のそれぞれは、第１面１１ｐに対して傾斜しており、反射面同士の間には、段差が形成される。反射部１３０は、例えば、複数の反射面及び複数の段差によって形成されたフレネル形状を有する。反射面のそれぞれと第１面１１ｐとのなす角は、光学部１２０の光軸と、想定される瞳孔１５０と、の位置関係によって定まる。反射面のそれぞれと第１面１１ｐとのなす角を調整することにより、例えば、光の反射角度を調整することができる。
【００１６】
但し、実施形態においては、反射部１３０は、このようなハーフミラーに限られない。反射部１３０として、通常のハーフミラーを用いてもよいし、同様に反射角度を調整できる他の部材を用いてもよい。また、一例として、反射率と透過率とが同率であるハーフミラーを適用する例を説明しているが、実施形態は、同率である例に限られない。反射面に用いられる材料は、一部の光を透過し一部の光を反射する材料であれば、どのようなものでも構わない。
【００１７】
反射部１３０は、光学部１２０から出射された光Ｌ１の少なくとも一部を反射する。例えば、反射部１３０は、画像表示装置１０１の観視者６０の瞳孔１５０に向けて、光学部１２０を通過した光を反射する。反射部１３０によって反射された光Ｌ１の一部は、像（以下「観視像」と称する）を形成する。例えば、光Ｌ１の一部は、瞳孔１５０から見て、虚像として観視像１７０を形成する。このようにして、観視者６０は、対象画像（及び表示画像）に対応した観視像（観測画像）を見ることができる。なお、この例では、虚像として観視像を表示しているが、反射部１３０を瞳孔１５０から離して実像として像を表示してもよい。
【００１８】
また、反射部１３０には例えばハーフミラーが用いられるため、反射部１３０は、外界から反射部１３０へ入射した光の一部を透過させる。これにより、観視者６０は、反射部１３０を通して外界を観視することができる。この例では、瞳孔１５０の正面に観視像１７０を表示しているが、観視像１７１のように観視者６０の視界の端に像を表示してもよい。これにより、観視者６０の視界が遮られない。
【００１９】
例えば、投影部１２５内において、表示部１１０と光学部１２０との相対的配置は固定されている。なお、表示部１１０と光学部１２０との相対的配置は、画像を投影する機能を損なわない程度に可変であってもよい。例えば、投影部１２５内において表示部１１０と光学部１２０とがネジで取り付けられている。ネジの締め具合を調整することで、表示部１１０と光学部１２０との相対的な距離や、互いになす角を調整することができる。表示部１１０と光学部１２０との間の距離を調整することで、観視者６０から見た虚像までの距離を変化させることができる。例えば、顔の１ｍ先に見えていた像を２ｍ先に移動させることができる。
【００２０】
なお、図２に示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部が画像表示装置とは別に設けられていてもよい。
【００２１】
図１を参照して、画像表示装置１０１の具体例についてさらに説明する。画像表示装置１０１は、例えば眼鏡型の画像表示装置であり、保持部３２０および眼鏡レンズ１６０をさらに含む。
【００２２】
保持部３２０は、例えば、眼鏡フレーム（テンプル、つる）である。画像表示装置１０１は、保持部３２０によって、観視者６０の頭部に装着可能である。保持部３２０は、ノーズパッド３２１と、ブリッジ３２２と、をさらに含む。ブリッジ３２２は、一方の眼鏡レンズ１６０と他方の眼鏡レンズ１６０とを接続する。必要に応じて眼鏡レンズ１６０のリム（眼鏡レンズ１６０を保持する枠）等が設けられてもよい。なお、本願では通常の矯正用眼鏡と同様の構成について述べるが、左右のレンズが一体化したような構成であってもよい。
【００２３】
眼鏡レンズ１６０（反射部１３０）は、保持部３２０に保持される。例えば、通常の眼鏡フレームと同様に、保持部３２０と眼鏡レンズ１６０との間の角度は、可変であってもよい。
【００２４】
例えば、ノーズパッド３２１と眼鏡レンズ１６０との相対的配置は、固定されている。反射部１３０は、眼鏡レンズ１６０に内包されている（眼鏡レンズ１６０と一体に設けられている）。すなわち、コンバイナ一体型の眼鏡レンズ１６０が用いられており、反射部１３０と眼鏡レンズ１６０との相対的位置関係は、固定されている。  
眼鏡レンズ１６０は、第１表面１６１と、第２表面１６２と、を有する。第２表面１６２は、第１表面１６１と離間する。反射部１３０は、第１表面１６１と第２表面１６２との間に設けられる。なお、反射部１３０の位置は、上記に限定されず、例えば第２表面１６２上に反射部１３０を配す構成であっても良い。
【００２５】
観視者６０は、画像表示装置１０１の使用時において、ノーズパッド３２１を鼻に載せ、保持部３２０の一端３２０ｅを耳に載せる。このようにして、観視者６０の鼻及び耳の位置に応じて、保持部３２０の位置と眼鏡レンズ１６０（及び反射部１３０）の相対的位置が規定される。画像表示装置１０１の使用時において、保持部３２０に対する反射部１３０の相対的配置は、実質的に固定されている。また、瞳孔１５０の反射部１３０に対する位置は、眼球運動に伴って移動する。
【００２６】
ノーズパッド３２１は、付け替え可能であってもよい。すなわち、保持部３２０が、ノーズパッドを取り替えられるような構造を有していてもよい。例えば、ノーズパッド３２１は、ノーズパッド３２１とは異なる形状を有する別のノーズパッドに付け替えられる。これにより、例えば、図１に示すＺ軸方向において、瞳孔位置と反射部１３０との相対的配置が調整可能である。
【００２７】
なお、図１では、２つの画像表示装置１０１を用いた両眼ヘッドマウントディスプレイ（ＨＭＤ）が例示されている。一方の画像表示装置は、観視者６０の右目に対して画像を表示し、他方の表示装置は、左目に対して画像を表示する。実施形態は、１つの画像表示装置１０１を用い、片方の眼に対して画像を表示する単眼ＨＭＤであってもよい。  
この例では、１つの画像表示装置１０１に対して回路部が一つずつ設けられている。２つの画像表示装置１０１を用いる場合、可能な範囲で画像処理部１４０（回路部）を統合してもよい。
【００２８】
図３（ａ）〜図３（ｃ）は、第１の実施形態に係る画像表示装置に関する画像を例示する模式図である。  
図３（ａ）は、画像表示装置１０１における対象画像Ａ１を例示している。画像処理部１４０は、観視者６０の瞳孔位置、すなわち反射部１３０と瞳孔１５０との位置関係に基づいて、対象画像Ａ１を補正する。  
図３（ｂ）は、対象画像Ａ１から補正処理によって生成された表示画像Ａ２を例示している。表示画像Ａ２は、表示部１１０に表示される画像である。  
図３（ｃ）は、表示画像Ａ２の情報を含む光によって形成され、観視者６０によって観視される観視像Ａ３を例示している。
【００２９】
例えば、対象画像Ａ１は、カラー画像である。すなわち、対象画像Ａ１は、複数の画素を含み、各画素は、複数の色成分を含む。複数の色成分は、例えば、互いに異なる３つの色（第１〜第３色）に関する情報である。例えば、第１色、第２色、第３色は、それぞれ、赤、青、緑である。表示部１１０の各画素１１０ｅは、対象画像の各画素に対応する光を出射する。例えば、各画素１１０ｅは第１〜第３サブ画素を含み、第１〜第３サブ画素は、それぞれ、第１〜第３色の光を出射する。３色の光の重ね合わせにより、カラー画像が表示される。換言すると、対象画像の各画素は、第１色に対応した第１色画素と、第２色に対応した第２色画素と、第３色に対応した第３色画素と、によって表される。
【００３０】
画像処理部１４０は、反射部１３０と瞳孔１５０との位置関係に基づいて、対象画像Ａ１の少なくとも一部の対象領域（第１領域Ｒ１）のスケール（サイズ）を変更する補正処理を行う。第１領域Ｒ１は、対象画像Ａ１の全体または一部である。  
この例では、第１領域Ｒ１は、対象画像Ａ１のうち、特定の表示オブジェクト８０を表示する部分である。第１領域Ｒ１は、例えば矩形である。表示オブジェクトは、例えば、画像中の特定の文字、文字列、図形および写真の少なくともいずれかの情報である。この例では、表示オブジェクト８０は、「０１２３４５６７８９ＡＢＣＤＥ」の文字列の情報である。なお、１つの画像中に複数の表示オブジェクトが配置されていてもよい。
【００３１】
例えば、画像処理部１４０は、第１領域Ｒ１の対象画像Ａ１における大きさ、および第１領域Ｒ１の形状の少なくともいずれかを変更して表示画像Ａ２を生成する。形状の変更は、ある方向に沿った幅の変更またはアスペクト比の変更を含む。
【００３２】
例えば、画像処理部１４０は、第１領域Ｒ１の横方向における幅を変更する。ここで、画像の幅の変更に関する方向や比率は、後述する「光学歪み」や画面の「欠け」に応じて定められる。具体的には、画像の幅の変更に関する方向や比率は、観視者６０の瞳孔位置、光学部１２０の位置、反射部１３０の位置などに基づいて定められる。これにより、例えば、光学歪みや画面欠け等を抑制することができる。
【００３３】
画像処理部１４０は、対象画像がカラー画像である場合には、光の色（第１〜第３色）ごとに、補正処理を行う。また、補正処理では、対象画像のサイズ情報（縦幅及び横幅）が考慮される。これにより、例えば、観視像Ａ３において対象画像のアスペクト比が維持される。
【００３４】
なお、画像（又はその一部）の大きさとは、当該画像（又は当該一部）を表示する画素の数に対応する。また、画像（又はその一部）のある方向に沿った幅（長さ）とは、当該画像（又は当該一部）の当該方向に沿った画素の数に対応する。
【００３５】
このようにして生成された表示画像Ａ２は、第１領域Ｒ１（対象領域）に基づいて生成された第２領域Ｒ２を含む。第２領域Ｒ２は、例えば矩形である。この例では、第２領域Ｒ２は、表示画像Ａ２のうち、前述の表示オブジェクト８０を表示する部分である。
【００３６】
例えば、表示画像Ａ２のアスペクト比は、対象画像Ａ１のアスペクト比と異なる。  
ここで、対象画像Ａ１のアスペクト比は、対象画像Ａ１の第１方向Ｄ１（横方向）に沿った長さＬｎ１に対する、対象画像Ａ１の第２方向Ｄ２（縦方向）に沿った長さＬｎ２の比率である。同様に、表示画像Ａ２のアスペクト比は、表示画像Ａ２の第１方向Ｄ１に沿った長さＬｎ３に対する、表示画像Ａ２の第２方向Ｄ２に沿った長さＬｎ４の比率である。
【００３７】
例えば、第２領域Ｒ２の大きさは、第１領域Ｒ１の大きさと異なる。また、例えば、第２領域Ｒ２のアスペクト比は、第１領域Ｒ１のアスペクト比と異なる。  
ここで、第１領域Ｒ１のアスペクト比は、第１領域Ｒ１の第１方向Ｄ１に沿った長さＬｎ５に対する、第１領域Ｒ１の第２方向Ｄ２に沿った長さＬｎ６の比率である。同様に、第２領域Ｒ２のアスペクト比は、第２領域Ｒ２の第１方向Ｄ１に沿った長さＬｎ７に対する、第２領域Ｒ２の第２方向Ｄ２に沿った長さＬｎ８の比率である。
【００３８】
表示画像Ａ２は、さらに、第１画像領域Ｓ１と、第２画像領域Ｓ２と、を含む。第１画像領域Ｓ１は、対象画像Ａ１の対象領域の画像情報を表示する領域である。すなわち、第２領域Ｒ２は、第１画像領域Ｓ１内に配置される。第２画像領域Ｓ２は、表示画像Ａ２のうち対象画像Ａ１の表示に用いられない領域である。第１画像領域Ｓ１および第２画像領域Ｓ２は、観視者６０の瞳孔と反射部１３０との位置関係、光学部１２０の位置、などに基づいて定められる。このような第１画像領域Ｓ１および第２画像領域Ｓ２を設けることにより、後述の画面欠けを抑制することができる。
【００３９】
第２画像領域Ｓ２が設けられたことによって、第１領域Ｒ１の対象画像Ａ１中の位置は、第２領域Ｒ２の表示画像Ａ２中の位置とは異なる。この例では、表示画像Ａ２（または表示部１１０の表示画面）における第２領域Ｒ２の中心位置は、対象画像Ａ１における第１領域Ｒ１の中心位置に比べて偏心している。なお、実施形態において表示画像Ａ２は、第２画像領域Ｓ２を含んでいなくてもよい。
【００４０】
表示画像Ａ２に基づいて表示部１１０から出射された光によって、観視像Ａ３が形成される。観視像Ａ３は、第１領域Ｒ１および第２領域Ｒ２に基づいて形成された第１像Ｑ１を含む。この例では、第１像Ｑ１は、前述の表示オブジェクト８０を表示する部分である。第１像Ｑ１は、例えば矩形である。
【００４１】
第１像Ｑ１のアスペクト比は、第１領域Ｒ１のアスペクト比と実質的に等しい。ここで、第１像Ｑ１のアスペクト比は、第１像Ｑ１の第１方向Ｄ１に沿った長さＬｎ９に対する、第１像Ｑ１の第２方向Ｄ２に沿った長さＬｎ１０の比率である。
【００４２】
次に画像表示装置において生じる、光学歪み、色割れ及び画面欠けについて説明する。  図４は、参考例に係る画像表示装置を例示する模式図である。  
参考例に係る画像表示装置１０９は、反射部１３０ｂと、投影部１２５ｂと、を含む。反射部１３０ｂには反射部１３０と同様の構成を適用することができ、投影部１２５ｂには、投影部１２５と同様の構成を適用することができる。画像表示装置１０９は、画像処理部１４０を含まない点において、実施形態に係る画像表示装置１０１と異なる。すなわち、画像表示装置１０９では、前述した対象画像の補正処理が行われない。
【００４３】
投影部１２５ｂから出射された光によって観視像１７０ｂが形成される。例えば、画像表示装置では、観察者の瞳孔が一定の範囲内に位置することを前提に光学設計がなされている。図４は、観視像１７０ｂを観測可能な瞳孔位置の範囲が存在することを例示している。この範囲は、アイレンジ１８０と呼ばれ、直径数ミリメートル程度の円形の領域である。
【００４４】
このような眼鏡型の画像表示装置においては、観視者６０の耳、鼻及び眼の配置に応じて、眼の位置に対する反射部１３０の位置が定まる。例えば観視者６０が変わると、眼に対する反射部１３０の位置が変化する。このため、観視者６０が変わると、観視者６０から見える像の位置が変化し、適切な位置に像が表示されない場合がある。瞳孔１５０がアイレンジ１８０内にある場合は、観視者は像１７０の全体を見ることができる。しかし、瞳孔１５０がアイレンジ１８０外にある場合は、画面の欠けが生じる。
【００４５】
画像表示装置１０９で発生する光学歪みと色割れについて説明する。表示部から出射された画像情報を含む光は、光学部や反射部１３０ｂを構成するレンズやハーフミラーなどの光学素子を経由して瞳孔へ向かう。例えば、光が光学素子を通過するごとに、または光学素子において反射されるごとに、収差が発生する。このため、観視像１７０ｂに光学歪みや色割れなどの劣化が生じる。
【００４６】
光学歪みは、表示部から出射された光が光学素子を経由する際の収差である。光学歪みは、光学素子を経由した光の像が、表示部から出射された光の像に対する相似性を失うことで生じる。
【００４７】
カラー画像の表示において、色割れは、光の波長の違いにより生じる収差である。光学素子を経由した後の光の像の大きさは、光の波長に依存する。例えば、波長が短いほどレンズ等による屈折が生じやすく、アイレンジが狭くなり易い。また、例えば、像の中心位置は、光の波長に依存し、色によって異なる。
【００４８】
図５（ａ）〜（ｄ）は、参考例に係る画像表示装置を例示する模式図である。  
図５（ａ）は、投影部１２５ｂから出射された光が、異なる位置にある瞳孔１５０ａ（位置ＰＡ）、または、瞳孔１５０ｂ（位置ＰＢ）に到達する様子を示す。瞳孔位置の違いは、例えば、観視者６０の個人差によって生じる。
【００４９】
図５（ｂ）は、画像表示装置１０９の表示部において表示される画像ＰＩの例である。画像ＰＩは、白い正方格子の画像Ｐｗを含む。白色は、赤色、青色および緑色の重ね合わせによって表示される。
【００５０】
図５（ｃ）は、表示部で画像ＰＩを表示した場合に瞳孔１５０ａ（位置ＰＡ）から見える虚像の例である。図５（ｄ）は、表示部で画像ＰＩを表示した場合に瞳孔１５０ｂ（位置ＰＢ）から見える虚像の例である。
【００５１】
図５（ｃ）及び図５（ｄ）に表したように、画像ＰＩの形状に対して、表示される虚像の形状は、歪んでいる。これは、上述した光学歪みや色割れによる生じる現象に起因するものである。さらに、色割れにより、青色が表示される領域Ｐｂ、緑色が表示される領域Ｐｇ、赤色が表示される領域Ｐｒの大きさや位置が互いに異なっており、色毎に表示可能な領域が異なることが確認できる。図５（ｃ）では、左端の虚像の一部が欠けている。これは、位置ＰＢが画像表示装置１０９のアイレンジ１８０外に存在する場合に生じる現象である。
【００５２】
このように、瞳孔と投影部との相対的配置に応じて、表示される画像に歪みが生じる。さらに、アイレンジ外に瞳孔が存在する場合は、画面欠けが生じる。  
これに対して、例えば、画像表示装置の個体差を示す固有情報（例えば、歪み補正係数など）を複数用意する方法が考えられる。この方法では、複数の歪み補正係数から各個体に対応した歪み補正係数を選択し、対象画像を補正した表示画像を生成する。これにより、前述の光学歪み等を抑制することができる。しかし、前述のように、光学歪み、色割れ、画面欠け等は、観視者の瞳孔位置にも依存する。このため、上記の方法では、観視者６０によっては光学歪みや色割れが発生する場合がある。また、アイレンジ外に瞳孔が存在する場合は、画面欠けが発生する。さらに、色割れにより色毎に表示可能な領域が異なるため、一部の色が表示されない領域が発生する場合がある。
【００５３】
これに対して、実施形態に係る画像表示装置１０１においては、画像処理部１４０は、観視者６０の瞳孔位置（瞳孔１５０と反射部１３０との位置関係）に基づいて、対象画像の少なくとも一部（第１領域）の大きさや形状などを変更する。さらに、対象画像がカラー画像である場合には、第１〜第３色画素のそれぞれについて、補正処理を行う。これにより、観視者６０の瞳孔位置が変化しても、光学歪みや色割れを抑制することができる。また、対象画像の少なくとも一部の変更は、対象画像のサイズ情報（アスペクト比）に基づいて行われる。これにより、観視像において、アスペクト比を保持することができる。さらに、画像処理部１４０は、観視者６０の瞳孔位置に基づいて、前述の第１画像領域Ｓ１および第２画像領域Ｓ２を設定する。第２画像領域Ｓ２は、瞳孔位置がアイレンジ外にある時に、観視者６０から画像を見ることができない領域に対応する。これにより、例えば、観視者６０の瞳孔位置が変化しても、画面欠けを回避することができる。なお、Ｚ軸方向については、ノーズパッド３２１を付け替えて反射部１３０の高さを調整してもよい。これにより、Ｚ軸方向における画面欠けを抑制してもよい。
【００５４】
以上説明したように、画像処理部１４０は、瞳孔位置に基づいて適応的に対象画像に補正処理を行う。これにより、画像の歪み、色割れ及び画面欠けが少なく、見やすい虚像を表示することができる。
【００５５】
以下、画像処理部１４０の具体例について、さらに説明する。  
図２に表したように、画像処理部１４０は、画像補正部１４１と、設定部１４２と、を含む。画像補正部１４１及び設定部１４２は、例えば、画像処理部１４０（回路部）に組み込まれている。
【００５６】
設定部１４２は、瞳孔１５０と反射部１３０との位置関係（相対的配置）に関する瞳孔位置の情報を取得し、当該情報を画像補正部１４１へ出力する。
【００５７】
例えば、画像表示装置１０１は、瞳孔位置を検知する第１検知部１８２（図１参照）をさらに含む。第１検知部１８２は、例えば保持部３２０に設けられる。第１検知部１８２には、赤外線センサ、可視カメラなどの任意のセンサを用いることができる。センサから得られる画像などの情報に基づいて、瞳孔位置を計測（推定）することができる。瞳孔位置の計測には、眼電位等を利用してもよい。例えば、瞳孔１５０に光が入射したときの眼電位の変化を計測する。光の入射方向や眼電位の変化に基づいて、瞳孔位置に関する情報を得ることができる。
【００５８】
設定部１４２が設定する瞳孔位置の情報は、観視者６０によって入力された情報に基づいてもよい。例えば、観視者６０は、数値（例えば目盛の値）等の情報を、瞳孔１５０の位置に関する情報として、画像表示装置１０１に入力する。これにより、例えば、観視者６０によって、画像補正部１４１における補正を変更することができる。例えば、コンピュータや携帯端末にソフト（アプリケーション）がインストールされ、コンピュータ又は携帯端末などを介して、観視者６０から設定部１４２に情報が入力される。
【００５９】
画像補正部１４１は、設定部１４２から出力された瞳孔位置の情報に基づき、対象画像に対して歪み補正を行う。画像補正部１４１は、歪み補正によって生成された表示画像（補正画像）を表示部１１０へ出力する。
【００６０】
図６は、第１の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。  
図７（ａ）及び図７（ｂ）は、第１の実施形態に係る画像表示装置における画像処理を例示する模式図である。  
図６に表したように、画像補正部１４１は、座標変換部４１０と、スケール更新部４２０と、補正係数出力部４３０と、を含む。この例では、補正係数出力部４３０は、補正係数選択部４３１と、補正係数記憶部４３５と、をさらに含む。なお、図６において示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部（例えば補正係数記憶部４３５など）が画像表示装置とは別に設けられてもよい。
【００６１】
補正係数記憶部４３５は、予め定められた複数の補正係数を記憶している。複数の補正係数のそれぞれは、複数の瞳孔位置のそれぞれに対応する。  
この例では、複数の補正係数は、反射部１３０と瞳孔１５０との第１位置関係に対応した第１補正係数Ｃ１と、反射部１３０と瞳孔１５０との第２位置関係に対応した第２補正係数Ｃ２と、を含む。図６には、第１補正係数Ｃ１として、瞳孔が位置ＰＡに配置された場合の係数（位置ＰＡ補正係数４３６）を示す。第２補正係数Ｃ２として、瞳孔が位置ＰＢに配置された場合の係数（位置ＰＢ補正係数４３７）を示す。
【００６２】
歪み補正では、補正係数を用いて、対象画像を補正して表示画像を生成する。既に述べたように、対象画像は複数の画素によって表される。各画素の画像中の位置は、座標系（画像座標系）における座標によって表される。例えば、画像補正部１４１は、第１補正係数Ｃ１を用いて、複数の画素の座標を変換して表示画像を生成する。
【００６３】
図７（ａ）に示すように、補正係数には、表示画像の各画素と対象画像の各画素との対応関係が保存されている。画像補正部１４１は、この対応関係を参照することで、表示画像に対応する対象画像の各画素の位置を取得し、表示画像を生成する。
【００６４】
対象画像が例えば赤、緑、青などの３原色で表される画像の場合は、図５（ｃ）及び図５（ｄ）に関して説明したように色毎に歪みが異なる。この場合は、色ごとに設定された３つの補正係数を用いて表示画像を生成する。  
例えば、第１補正係数Ｃ１は、第１色画素用の第１色係数、第２色画素用の第２色係数、第３色画素用の第３色係数を含む。画像補正部１４１は、第１色係数に基づいて第１色画素の画像座標系における座標を変換し、第２色係数に基づいて第２色画素の画像座標系における座標を変換し、第３色係数に基づいて第３色画素の画像座標系における座標を変換する。
【００６５】
図７（ａ）では、対象画像の表示オブジェクトは、白色画像Ｉｗによって表されている。白色画像Ｉｗは、赤色画像Ｉｒ、青色画像Ｉｂ及び緑色画像Ｉｇの重ね合わせである。対象画像では、赤色画像Ｉｒ、青色画像Ｉｂ及び緑色画像Ｉｇのそれぞれの位置は、互いに同じである。一方、表示画像では、赤色画像Ｉｒ、青色画像Ｉｂ及び緑色画像Ｉｇのそれぞれの位置は、互いに異なり、ずれている。このように色成分毎に座標変換が行われる。
【００６６】
アイレンジ外に瞳孔位置がある場合は、画面が欠けないような補正係数を使用する。図７（ｂ）は、アイレンジ外に瞳孔が位置する場合に、補正係数を用いて表示画像を生成した様子を示す。この場合に用いられる補正係数は、観視者６０が見ることができない表示画像中の領域に関する情報を含む。すなわち、この場合に用いられる補正係数は、図３（ｂ）に関して説明した第１画像領域Ｓ１および第２画像領域Ｓ２の情報を含む。図７（ａ）では、画像全体の画素の対応が保存された補正係数を用いて、対象画像の歪み補正を適用している。これに対して、図７（ｂ）では、表示画像の左端の領域を使用せずに表示画像を生成する。これにより、図５（ｃ）のように、左端の表示画像が欠けるような位置に瞳孔位置がある場合、画面欠けを回避することができる。
【００６７】
図８（ａ）〜図８（ｇ）は、第１の実施形態に係る画像表示装置に用いられる補正係数を例示する模式図である。  
補正係数の設定の際には、例えば、観視像をカメラを用いて撮像する。観視像の画像の各画素と表示画像の各画素との対応関係から、補正係数を定めることができる。表示画像及び対象画像が赤、緑、青などの３原色で表される画像の場合は、画素の対応関係を色毎に保存する。
【００６８】
図８（ａ）は、表示画像のうち第１色（この例では赤色「Ｒ」）によって表される画像Ｒａを示す。この画像は、例えば、対象画像の第１色画素から生成される。  
図８（ｂ）は、表示画像のうち第２色（この例では緑色「Ｇ」）によって表される画像Ｇａを示す。この画像は、例えば、対象画像の第２色画素から生成される。  
図８（ｃ）は、表示画像のうち第３色（この例では青色「Ｂ」）によって表される画像Ｂａを示す。この画像は、例えば、対象画像の第３色画素から生成される。
【００６９】
観視者６０が見る観視像は、複数の色成分に対応する複数の色像を含む。例えば、観視像は、第１色画素に対応した第１色像と、第２色画素に対応した第２色像と、第３色画素に対応した第３色像と、の重ね合わせである。  
図８（ｄ）は、図８（ａ）の画像Ｒａの情報を含む赤色光によって形成される第１色像Ｒｂを示す。  
図８（ｅ）は、図８（ｂ）の画像Ｇａの情報を含む緑色光によって形成される第２色像Ｇｂを示す。  
図８（ｆ）は、図８（ｃ）の画像Ｂａの情報を含む青色光によって形成される第３色像Ｂｂを示す。
【００７０】
上述したとおり、色割れの影響により、色毎に観視像と表示画像との対応関係が異なる。例えば、図８（ｄ）〜図８（ｆ）に表したように、第１〜第３色像が表示される領域は、互いに異なる。観視像において、第１〜第３色像が互いに重なる領域では、カラー表示が可能であるが、それ以外の領域ではカラー表示ができない。そこで、３原色の表示領域を、カラー表示可能な領域へ統合する。図８（ｄ）〜図８（ｆ）に示すように、各色の参照位置領域の内接矩形Ｒｃ、Ｇｃ、Ｂｃを求める。そして、図８（ｇ）に示すように、各内接矩形の積領域を求める。その積領域の大きさによって各色の参照位置を正規化する。これにより、カラー表示可能な領域（アスペクト比ａ：１）を参照することができる補正係数を生成する。
【００７１】
アスペクト比ａ：１は、補正係数に保存されているものとする。例えば、第１補正係数Ｃ１は、複数の色像（第１〜第３色像）が互いに重なる観視像中の重複領域Ｓａ（積領域）に関する情報を含む。具体的には、第１補正係数Ｃ１は、重複領域Ｓａの横方向に沿った長さと、重複領域Ｓａの縦方向に沿った長さと、の比（ａ：１）の情報を含む。これにより、例えば、後述する処理によって歪み補正時に対象画像のアスペクト比を維持することができる。
【００７２】
以上の処理により、ＲＧＢの３色のそれぞれに関して、表示画像上の座標位置と正規化座標上の位置との対応関係が得られる。
【００７３】
なお、カラー表示可能な領域以外において、三色同時に表現できない領域は、単色または２色を表示可能な領域として定義されてもよい。補正係数は、単色もしくは二色表示可能な領域の情報を含んでいてもよい。すなわち、例えば、第１補正係数Ｃ１は、複数の色像（第１色像と第２色像）が互いに重ならない観視像中の非重複領域Ｓｂに関する情報をさらに含んでいてもよい。
【００７４】
例えば、赤色の場合、図８（ｄ）に示すように、カラー表示可能な領域とは別に、単色の表示が可能な領域Ｒｄの情報が補正係数に保存されていても良い。補正係数は、赤以外の単色を表示可能な領域の情報、または、２色の組合せを表示可能な領域の情報を含んでいてもよい。
【００７５】
補正係数は、曲線表現のパラメータを含んでもよい。これにより、補正画像の画素と観測画像の画素との対応を計算することができる。
【００７６】
図６において、補正係数選択部４３１は、設定部１４２から、瞳孔と反射部１３０との相対的配置に関する位置情報を取得する。補正係数選択部４３１は、取得した位置情報に応じた補正係数を選択する。
【００７７】
スケール更新部４２０は、補正係数出力部４３０から選択された補正係数を取得する。スケール更新部４２０は、対象画像の大きさと、取得された補正係数の参照先座標領域のアスペクト比と、に基づいて、対象画像のアスペクト比が維持された状態で、補正係数をスケーリングする。そして、スケール更新部４２０は、スケールが更新された補正係数を座標変換部４１０に出力する。スケール更新部４２０の処理の詳細については、後述する。座標変換部４１０は、対象画像と、スケール更新部４２０から得られた補正係数と、を用いて補正画像を生成する。
【００７８】
例えば、補正係数出力部４３０は、反射部１３０と瞳孔１５０との第１位置関係に基づいて、複数の補正係数から第１補正係数Ｃ１を選択し、出力する。スケール更新部４２０は、対象画像の大きさ（サイズ情報）に基づいて第１補正係数Ｃ１を更新する。座標変換部４１０は、更新後の第１補正係数Ｃ１を用いて、対象画像の各画素の座標を変換する。
【００７９】
図９は、第１の実施形態に係る画像表示装置の処理を例示するフローチャートである。  ステップＳ５１０では、設定部１４２に瞳孔位置に関する情報が入力される。設定部１４２は、入力された情報を瞳孔位置の情報として画像補正部１４１に出力する。瞳孔位置は、例えば、人種、地域、年齢等によって異なる。瞳孔位置の情報は、例えば、ノーズパットなど一意に位置が定まる基準位置に対する相対的配置で表現される。相対的配置は、３次元座標によって表現されてもよい。また、瞳孔位置の情報は、瞳孔の位置だけでなく姿勢を含んでもよい。
【００８０】
ステップＳ５１１では、対象画像が入力される。画像の形式やフォーマットの種類は任意である。例えば、画像は、ビットマップ画像である。画像は、カラー画像及びグレースケール画像のいずれでもよい。
【００８１】
ステップＳ５２０では、補正係数選択部４３１は、瞳孔位置の情報に応じて、補正係数記憶部４３５に登録されている補正係数を選択する。補正係数選択部４３１は、選択した補正係数をスケール更新部４２０へ出力する。  
例えば、位置ＰＡの補正係数と位置ＰＢの補正係数とが補正係数記憶部に登録されている。観視者６０の瞳孔位置がＰＡの場合、位置ＰＡの補正係数が選択される。もし、観視者６０の瞳孔位置に対応した補正係数が補正係数記憶部に登録されていない場合、補正係数選択部４３１は、ユークリッド距離のような評価値を用いて、当該瞳孔位置に最も近い位置に対応した補正係数を選択する。
【００８２】
ステップＳ５３０では、スケール更新部４２０は、対象画像の画像サイズを用いて、座標変換部４１０で使用するスケールを計算し、補正係数を更新する。補正係数は、矩形領域で正規化されている。そこで、対象画像に歪み補正を適用する場合は、正規化座標系から画像座標系へのスケールを求める。このとき、補正係数のカラー表示可能な矩形領域に対象画像が収まるようにスケールを計算する。これにより、対象画像におけるアスペクト比を維持した状態で、画像を表示することができる。
【００８３】
図１０（ａ）〜図１０（ｆ）は、第１の実施形態に係る画像表示装置の処理を例示する模式図である。  
図１０（ａ）は、対象画像Ａ４を例示している。対象画像Ａ４の幅（横方向に沿った長さ）は、ＷＩＮであり、対象画像Ａ４の高さ（縦方向に沿った長さ）は、ＨＩＮである。このとき、補正係数の正規化座標系から画像座標系へのスケールｓは、次の式（１）により計算できる。  
ｓ＝ｍａｘ（ＷＩＮ／ａ，ＨＩＮ）  ・・・（１）  
ａは、前述のカラー表示可能な矩形領域のアスペクト比である。ｍａｘは、複数の引数のうちの最大値を表す。得られたスケールｓを用いて補正係数の正規化座標をスケーリングして、補正係数を更新する。
【００８４】
図１０（ｂ）は、得られたスケールｓを用いて更新された補正係数Ｃａを例示する。図１０（ｂ）に示すように、補正係数は、アスペクト比を維持した状態でスケーリングされる。図１０（ｂ）の例では、対象画像のアスペクト比とカラー表示可能領域のアスペクト比との違いにより、補正係数のスケーリング時に、歪み補正に使用されない領域が発生する。歪み補正に使用されない領域は、例えば、上部の矩形領域９２０及び下部の矩形領域９３０である。歪み補正に使用されない領域には、対象画像とは異なる情報を提示しても良い。例えば、現在時刻や日時などを含む情報が提示される。
【００８５】
その後、ステップＳ５４０において、座標変換部４１０は、対象画像と更新された補正係数とを用いて、対象画像を補正した表示画像を算出する。図１０（ｃ）は、更新された補正係数Ｃａを用いて図１０（ａ）の対象画像Ａ４の画素の座標を変換することによって得られる表示画像Ａ５を例示している。
【００８６】
図１０（ｄ）は、図１０（ａ）と同様の対象画像Ａ４を例示している。図１０（ｅ）は、図１０（ｂ）に関する説明と同様のスケーリングによって更新された補正係数Ｃｂを例示する。補正係数Ｃｂに対応する瞳孔位置は、補正係数Ｃａに対応する瞳孔位置と異なる。補正係数Ｃａに対応する瞳孔位置は、アイレンジ内に存在し、補正係数Ｃｂに対応する瞳孔位置は、アイレンジ外に存在する。
【００８７】
図１０（ｆ）は、更新された補正係数Ｃｂを用いて、図１０（ｄ）の対象画像Ａ４の画素の座標を変換することによって得られる表示画像Ａ６を例示している。表示画像Ａ６は、図１０（ｃ）の表示画像Ａ５とは異なり、領域９４０を含む。領域９４０は、例えば表示画像上の使用しない領域であり、図３（ｂ）に関して説明した第２画像領域Ｓ２に相当する。領域９４０に関する情報は、補正係数Ｃｂが保持している。このため、補正係数Ｃｂを用いた処理は、ステップＳ５３０においてもステップＳ５４０においても、補正係数Ｃａを用いた処理と同様である。
【００８８】
以上の第１の実施形態によれば、画像表示装置１０１は、画面欠け、及び、瞳孔位置に応じて生じる収差による影響を抑制するように、画像補正部１４１によって対象画像を補正する。これにより、画像の歪み、色割れ、画面欠けが少なく、見やすい虚像を表示することができる。
【００８９】
（第２の実施形態）  
図１１は、第２の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。  
本実施形態に係る画像表示装置１０２は、第１の実施形態に係る画像表示装置１０１と同様に、表示部１１０、光学部１２０及び反射部１３０等を含む。これらは、第１の実施形態と同様である。第２の実施形態は、画像処理部において第１の実施形態と異なる。
【００９０】
画像表示装置１０２の画像処理部は、画像補正部１４１ｂ及び設定部１４２を含む。図１１に表したように画像補正部１４１ｂは、座標変換部４１０と、スケール更新部４２０と、補正係数出力部４３０ｂと、を含む。補正係数出力部４３０ｂは、補正係数計算部４３２と、補正係数選択部４３３と、補正係数記憶部４３５と、含む。座標変換部４１０、スケール更新部４２０及び補正係数記憶部４３５には、第１の実施形態と同様の説明を適用できる。なお、図１１に示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。
【００９１】
図１２は、第２の実施形態に係る画像表示装置の画像補正部における処理を例示するフローチャートである。  
ステップＳ５１０において、第１の実施形態と同様に、画像補正部１４１ｂは、瞳孔位置の情報を取得する。  
ステップＳ５１１において、第１の実施形態と同様に、画像補正部１４１ｂは対象画像を取得する。
【００９２】
ステップＳ５２１において、補正係数選択部４３３は、瞳孔位置に応じて補正係数記憶部４３５から複数の補正係数を選択する。例えば、補正係数選択部は、瞳孔位置に関する評価値に基づいて、補正係数を選択する。瞳孔位置が３次元座標で表現される場合、評価値にはユークリッド距離を用いることができる。補正係数選択部４３３は、複数の補正係数の中から、ステップＳ５１０において取得された瞳孔位置に近い位置に対応した補正係数を取得する。例えば、補正係数選択部４３３は、ユークリッド距離が近い順に、複数の補正係数を選択する。選択される補正係数の数は、２以上の任意の数でよい。
【００９３】
ステップＳ５２５において、補正係数計算部４３２は、補正係数選択部４３３によって選択された複数の補正係数に基づき、バイリニア補間などの線形補間手法によって、瞳孔位置での補正係数を生成する。生成された補正係数は、スケール更新部４２０へ出力される。
【００９４】
その後、ステップＳ５３０において、第１の実施形態と同様に、スケール更新部４２０は、補正係数を更新する。ステップＳ５４０において、第１の実施形態と同様に、座標変換部４１０は、対象画像の画素の座標を変換して、表示画像を生成する。
【００９５】
以上の処理について、瞳孔１５０が第１位置にある場合を例として説明する。このとき、瞳孔１５０と反射部１３０との位置関係は、第１位置関係であるとする。  
補正係数記憶部４３５は、例えば、第２補正係数と、第３補正係数と、を含む。第２補正係数は、瞳孔１５０の第２位置に対応し、瞳孔１５０と反射部１３０との第２位置関係に対応する。第３補正係数は、瞳孔１５０の第３位置に対応し、瞳孔１５０と反射部１３０との第３位置関係に対応する。例えば、補正係数記憶部４３５に記憶された各補正係数が対応する瞳孔位置のうち、第２位置は、第１位置に最も近い位置であり、第３位置は、第１位置に２番目に近い位置である。
【００９６】
このとき、補正係数選択部４３３は、第１位置関係に基づいて、補正係数記憶部４３５から第２補正係数及び第３補正係数を選択する。そして、補正係数計算部４３２は、第２補正係数及び第３補正係数を用いて、第１位置関係に対応した第１補正係数を算出する。その後、スケール更新部４２０は、算出された第１補正係数を更新し、座標変換部４１０は、更新された第１補正係数を用いて、対象画像の座標変換を行う。
【００９７】
以上説明したように、予め定められた複数の補正係数に基づいて、瞳孔位置に対応した補正係数を計算してもよい。これにより、第１の実施形態と同様に、画像の歪み、色割れ、画面欠けが少なく、見やすい虚像を表示することができる。
【００９８】
（第３の実施形態）  
図１３は、第３の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。  
本実施形態に係る画像表示装置１０３は、第１の実施形態に係る画像表示装置１０１と同様に、表示部１１０、光学部１２０及び反射部１３０等を含む。これらは、第１の実施形態と同様である。第３の実施形態は、画像処理部において第１の実施形態と異なる。
【００９９】
画像表示装置１０３の画像処理部は、画像補正部１４１ｃと設定部１４２とを含む。図１３に表したように、画像補正部１４１ｃは、座標変換部４１０と、スケール更新部４２１と、補正係数出力部４３０ｃと、を含む。座標変換部４１０は、第１の実施形態と同様である。補正係数出力部４３０ｃは、前述の補正係数出力部４３０または４３０ｂと同様である。なお、図１３に示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。
【０１００】
図１４は、第３の実施形態に係る画像処理装置の画像補正部における処理を例示するフローチャートである。  
ステップＳ５１０において、第１の実施形態と同様に、画像補正部１４１ｃは、瞳孔位置の情報を取得する。  
ステップＳ５１１において、第１の実施形態と同様に、画像補正部１４１ｃは、対象画像を取得する。
【０１０１】
本実施形態においては、設定部１４２は、第１の実施形態で述べた瞳孔位置情報の他に、表示領域に関する情報を設定する。表示領域は、表示画像（補正画像）中において、対象画像の情報が表示される領域である。ステップＳ５１２において、画像補正部１４１ｃは、設定された表示領域に関する情報（表示領域情報）を取得する。
【０１０２】
ステップＳ５２６において、第１または２の実施形態と同様に、補正係数出力部４３０ｃは、補正係数をスケール更新部４２１へ出力する。
【０１０３】
ステップＳ５３１において、スケール更新部４２１は、対象画像のサイズ情報（幅、高さ）と表示領域情報とに基づいて、補正係数出力部４３０ｃから出力された補正係数をスケーリングする。ステップＳ５４０において、第１の実施形態と同様に、座標変換が行われ表示画像（補正画像）が生成される。
【０１０４】
ステップＳ５３１及びＳ５４０の処理の例について、さらに説明する。  
図１５（ａ）〜図１５（ｃ）は、第３の実施形態に係る画像処理装置の画像補正部における処理を例示する模式図である。  
図１５（ａ）〜図１５（ｃ）は、補正係数のカラー表示可能領域へ対象画像を配置する方法を例示している。  
図１５（ａ）は、対象画像Ａ７を例示する。図１５（ｂ）は、スケール更新部４２１によって画像座標系にスケーリングされた補正係数Ｃｃを例示する。図１５（ｃ）は、補正係数Ｃｃを用いて、対象画像Ａ７の画素の座標を変換することによって得られる表示画像Ａ８（補正画像）を例示する。
【０１０５】
ステップＳ５３１では、ステップＳ５１２で取得した表示領域情報に応じて、表示領域として使用される領域が設定され、その情報が座標変換部４１０へ出力される。表示領域情報は、具体的には、例えば、対象画像のサイズの拡大率（又は縮小率）、及び、オフセット（カラー表示可能な領域における表示開始位置など）である。図１５（ａ）〜図１５（ｃ）は、事前に設定された拡大率とオフセットに基づいて、スケーリングされた補正係数の座標系に対象画像を対応付ける様子を示す。
【０１０６】
第１の実施例におけるスケール更新部４２０と同様に、補正係数は、定数ｓによってスケーリングされる。さらに、拡大率とオフセットとに基づいて、対象画像が補正係数に対応付けられる。図１５（ａ）〜図１５（ｃ）の例では、対象画像を０．５倍に縮小し、補正係数の画像座標系において、表示開始位置を（０，０）の位置に対応付けしている。これにより、図１５（ｃ）に表したように、表示画像Ａ８は、対象画像の情報を含む表示領域１４１０と、非表示領域１４１１と、を含む。非表示領域１４１１は、表示画像Ａ８中の、表示領域１４１０以外の領域である。非表示領域１４１１では、対象画像の情報は表示されない。表示領域を設定した上で、歪み補正を適用することにより、画面上部に映像を提示することができる。
【０１０７】
なお、表示領域に関する情報が何も設定されない場合は、スケール更新部４２１は、第１の実施形態のスケール更新部４２０と同様の処理を行う。
【０１０８】
表示領域情報（対象画像の拡大率およびオフセット）を変化させることによって、表示画像Ａ８の大きさに対する表示領域１４１０の大きさ、及び、表示画像Ａ８における表示領域１４１０の位置を変化させることができる。
【０１０９】
第１の実施形態で述べたとおり、瞳孔位置に応じて歪み補正を適用した画像を表示することが望まれる。観視者６０にとっての適切な表示位置は様々であり、目的に応じて適切な表示位置が異なる場合がある。例えば、使用者が虚像を見ながら作業を行う場合、画面中央（例えば、使用者の視界の中央）に映像が表示されると、手元が見えにくい状態となることがある。このため、作業効率が低下する可能性がある。
【０１１０】
これに対して、本実施形態では、対象画像の表示に使用される表示領域の位置及び大きさは、表示領域情報によって可変である。これにより、例えば、映像の表示位置が適切に設定された上で、画像補正部１４１により画面が制御され、使用者に所望の画像を表示することができる。
【０１１１】
設定部１４２が設定する表示領域情報は、観視者６０によって入力された情報に基づいてもよい。例えば、観視者６０が表示領域を示す情報（例えば目盛の値等）を画像表示装置１０３に入力する。これにより、例えば、観視者６０によって、画像補正部１４１ｃにおける画像の表示位置を変更することができる。例えば、コンピュータや携帯端末にソフト（アプリケーション）がインストールされ、コンピュータ又は携帯端末などを介して、観視者６０から画像処理部（回路部）に情報が入力される。また、予め複数の表示方法がメモリに保存され、観視者６０が、保存された表示方法から１つを選択してもよい。例えば、選択した表示方法に対応して、設定値が入力される。表示方法としては、例えば、右端のみに表示を行う方法、下端のみに表示を行う方法などがある。以上により、観視者６０は、表示領域の大きさや位置を適宜設定することができる。
【０１１２】
第３の実施形態によれば、第１の実施形態と同様に、画像の歪み、色割れ、画面欠けが少なく、見やすい虚像を表示することができる。さらに、目的に応じて適切な位置に画像（虚像）を表示することができる。
【０１１３】
（第４の実施形態）  
図１６は、第４の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。  
本実施形態に係る画像表示装置１０４は、第１の実施形態に係る画像表示装置１０１と同様に、表示部１１０、光学部１２０及び反射部１３０を含む。これらは、第１の実施形態と同様である。第４の実施形態は、画像処理部において第１の実施形態と異なる。
【０１１４】
画像表示装置１０４の画像処理部は、画像補正部１４１ｄと設定部１４２とを含む。図１６に表したように、画像補正部１４１ｄは、座標変換部４１０と、スケール更新部４２２と、補正係数出力部４３０ｄと、を含む。座標変換部４１０は、第１の実施形態と同様である。補正係数出力部４３０ｄは、前述の補正係数出力部４３０または４３０ｂと同様である。なお、図１６に示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。
【０１１５】
図１７は、第４の実施形態に係る画像表示装置の画像補正部における処理を例示するフローチャートである。  
ステップＳ５１０において、第１の実施形態と同様に、画像補正部１４１ｄは、瞳孔位置の情報を取得する。  
ステップＳ５１１において、画像処理部（画像補正部１４１ｄ）は、対象画像を取得する。
【０１１６】
本実施形態においては、設定部１４２は、第１の実施形態で述べた瞳孔位置情報の他に、使用領域に関する情報を設定する。使用領域は、画像補正部１４１ｄが取得した対象画像のうち、補正及び表示の対象として使用する領域である。すなわち、本実施形態においては、補正及び表示の対象は、例えば対象画像の一部（使用領域）である。ステップＳ５１３において、画像補正部１４１ｄは、使用領域に関する情報（使用領域情報）を取得する。
【０１１７】
ステップＳ５２６において、第１または２の実施形態と同様に、補正係数出力部４３０ｄは、補正係数をスケール更新部４２２へ出力する。
【０１１８】
ステップＳ５３２において、ステップＳ５１３で取得された使用領域情報に応じて、対象画像中の使用領域の範囲が設定される。そして、スケール更新部４２２は、設定された使用領域に基づいて、補正係数出力部４３０ｄから出力された補正係数をスケーリングする。ステップＳ５４０において、第１の実施形態と同様に、座標変換が行われ、表示画像（補正画像）が生成される。
【０１１９】
ステップＳ５４２及びＳ５４０の処理の例について、さらに説明する。  
図１８（ａ）〜図１８（ｃ）は、第４の実施形態に係る画像処理装置の画像補正部における処理を例示する模式図である。  
図１８（ａ）〜図１８（ｃ）は、対象画像のクリッピングによって、使用領域を設定する方法を例示している。
【０１２０】
スケール更新部４２２では、取得された使用領域情報に応じて、対象画像のうちの使用領域が設定される。使用領域情報は、対象画像における使用領域を示す情報であり、具体的には、例えば、対象画像における使用領域の画像サイズ、及び、オフセットである。使用領域情報は、例えば、矩形領域の４つの各頂点の座標値等であってもよい。使用領域情報によって、例えば、図１８（ａ）に示したように、対象画像Ａ９中の使用領域１７１０が指定される。
【０１２１】
この例では、対象画像を補正して表示画像を生成する際に、対象画像のうちの使用領域のサイズ情報（幅及び高さ）が考慮される。使用領域のサイズ情報（幅及び高さ）に基づいて補正係数が更新され、更新後の補正係数によって補正処理（座標変換）が行われる。
例えば、図１８（ａ）に表したように、使用領域情報に基づいて得られる使用領域の幅をＷ’ＩＮとし、使用領域の高さをＨ’ＩＮとする。このとき、補正係数の正規化座標系から画像座標系へのスケールｓ’は、式（２）によって計算できる。  
ｓ’＝ｍａｘ（Ｗ’ＩＮ／ａ，Ｈ’ＩＮ）  ・・・（２）  
ａは、前述のカラー表示可能な矩形領域のアスペクト比である。得られたスケールｓ’を用いて補正係数の正規化座標をスケーリングして、補正係数を更新する。これにより、図１８（ｂ）に示したように、更新された補正係数Ｃｄが得られる。そして、更新された補正係数Ｃｄを用いて、対象画像Ａ９の画素の座標を変換することによって、図１８（ｃ）に示したような表示画像Ａ１０（補正画像）が得られる。
【０１２２】
なお、使用領域に関する情報が何も設定されない場合は、スケール更新部４２２は、第１の実施形態のスケール更新部４２０と同様の処理を行う。
【０１２３】
対象画像Ａ９は、前述の使用領域１７１０と、非使用領域１７１１と、を含む。非使用領域１７１１は、対象画像Ａ９中の、使用領域１７１０以外の領域である。図９（ｃ）に示した表示画像Ａ１０は、使用領域１７１０に基づく情報を含むが、非使用領域１７１１に基づく情報を含まない。このように、使用領域を設定した上で、歪み補正を適用することにより、不要な領域を除き、設定した領域に含まれる映像を観視者６０に提示することができる。
【０１２４】
第１の実施形態で述べたとおり、瞳孔位置に応じた歪み補正を適用した画像を表示することが望まれる。入力される画像データは、標準規格に従った画像データであることが多い。例えば、標準規格に従った通信インターフェースを介して画像データが入力される場合、画像サイズは、１２８０×７２０に制限されることがある。このため、任意の画像に対して歪み補正を適用することができない場合がある。
【０１２５】
これに対して本実施形態においては、対象画像に使用領域が設定された上で、画像補正部１４１ｄによって歪み補正が適用される。これにより、例えば、対象画像の所望の領域に対して歪み補正を適用した画像を生成することができる。
【０１２６】
設定部１４２が設定する使用領域情報は、観視者６０によって入力された情報に基づいてもよい。例えば、観視者６０が使用領域を示す情報（例えば、矩形領域の角４点の座標値等）を画像表示装置１０４に入力する。これにより、観視者６０によって、画像補正部１４１ｄにおける対象画像の使用領域を変更することができる。例えば、コンピュータや携帯端末にソフト（アプリケーション）がインストールされ、コンピュータ又は携帯端末などを介して、観視者６０から画像処理部（回路部）に情報が入力される。また、予め複数の使用領域がメモリに保存され、観視者６０が、保存された使用領域から１つを選択してもよい。例えば、選択した使用領域が設定値となる。使用領域の設定方法には、例えば、対象画像の座標の原点に対して幅及び高さを指定する方法や、対象画像の中心に対して幅及び高さを指定する方法などがある。以上により、観視者６０は、使用領域を適宜設定することができる。
【０１２７】
第４の実施形態によれば、第１の実施形態と同様に、画像の歪み、色割れ、画面欠けが少なく、見やすい虚像を表示することができる。さらに、標準規格に影響を受けることなく所望の画像を表示することができる。
【０１２８】
（第５の実施形態）  
本実施形態に係る画像表示装置１０５においても、第１の実施形態に係る画像表示装置１０１と同様に、表示部１１０、光学部１２０、反射部１３０及び保持部３２０等が設けられる。これらについては、第１の実施形態についての説明と同様の説明を適用できる。
【０１２９】
本実施形態に係る画像表示装置は、位置制御部１２６（図１を参照）をさらに含む。第５の実施形態は、位置制御部１２６及び画像処理部において第１の実施形態と異なる。  
以下では、まず、位置制御部１２６について説明する。
【０１３０】
投影部１２５（表示部１１０及び光学部１２０）は、位置制御部１２６を介して、保持部３２０に保持される。位置制御部１２６は、保持部３２０に固定されている。位置制御部１２６によって、投影部１２５と反射部１３０との相対的配置が可変である。
【０１３１】
図１において、保持部３２０の延在する方向をＹ軸方向とする。Ｙ軸方向に対して垂直な１つの方向をＸ軸方向とする。Ｘ軸方向に対して垂直でＹ軸方向に対して垂直な方向をＺ軸方向とする。例えば、Ｘ軸方向は、観視者６０の左右方向（横方向）に対応し、Ｙ軸方向は、観視者６０の前後方向に対応し、Ｚ軸方向は、観視者６０の上下方向（縦方向）に対応する。なお、図１において、保持部３２０は、Ｙ軸方向において直線状に延在する辺を有するが、実施形態は、保持部３２０の形状が緩やかに彎曲した場合も含む。保持部３２０の形状は、デザイン性や使用上の利便性を考慮して適宜変更される。
【０１３２】
図１９（ａ）及び図１９（ｂ）は、第５の実施形態に係る画像表示装置を例示する模式図である。  
図１９（ａ）及び図１９（ｂ）においては、位置制御部１２６の一例として位置制御部１２６ａを用いている。図１９（ａ）及び図１９（ｂ）に表した例では、位置制御部１２６ａによって、投影部１２５と反射部１３０との間の距離が可変である。例えば、光学部１２０の光軸上に沿って、距離が可変である。
【０１３３】
この例では、位置制御部１２６ａには、光学部１２０の光軸に沿って、長孔３１が設けられている。投影部１２５には可動軸５１が設けられている。可動軸５１は、投影部１２５に固定されている。可動軸５１は、長孔３１を通り、長孔３１内を滑って動くことができる。これにより、投影部の位置を調整することができる。
【０１３４】
図１９（ａ）は、投影部１２５と反射部１３０との間の距離が長い状態を示し、図１９（ｂ）は、投影部１２５と反射部１３０との間の距離が短い状態を示している。図１９（ａ）及び図１９（ｂ）において、投影部１２５の一端から出射された光Ｌ２の光路と、投影部１２５の別の端から出射された光Ｌ３の光路と、を示す。
【０１３５】
図１９（ａ）の例では、光Ｌ３は、反射部１３０において反射され、瞳孔１５０へ入射する。一方、反射部１３０において反射された光Ｌ２の一部は、瞳孔１５０へ入射していない。このため、観視者６０は、例えば像の右端を見ることができない。これに対して図１９（ｂ）のように、反射部１３０と投影部１２５との間の距離を短くする。これにより、光Ｌ２の反射部１３０における拡がりが抑制される。投影部の端から出射された光が瞳孔に入射するため正しい虚像を見ることができる。
【０１３６】
図２０（ａ）及び図２０（ｂ）は、第５の実施形態に係る画像表示装置を例示する模式図である。  
図２０（ａ）及び図２０（ｂ）においては、位置制御部１２６の一例として位置制御部１２６ｂを用いている。図２０（ａ）及び図２０（ｂ）に表した例では、位置制御部１２６ｂによって、投影部１２５と反射部１３０と相対的配置が可変である。
【０１３７】
例えば、反射部１３０は、第１面１１ｐに沿って設けられている。第１面１１ｐに沿った方向Ｄ５において、投影部１２５の配置が可変である。例えば、方向Ｄ５は、投影部１２５（表示部１１０）から出射された光の反射部１３０における入射方向（例えばＤＬ１）と反射方向（ＤＬ２）とを含む平面に対して平行である。この例では、方向Ｄ５は、Ｘ軸方向に対して平行である。観視者６０の左右方向において、投影部１２５と反射部１３０との相対的配置が可変である。
【０１３８】
位置制御部１２６ｂには、Ｘ軸方向に沿った長孔３２が設けられている。投影部１２５に固定された可動軸５２は、長孔３２を通り、長孔３２内を滑って動くことができる。これにより、観視者６０の左右方向において、投影部１２５の位置を調整することができる。
【０１３９】
図２０（ａ）は、投影部１２５を右側に配置した状態を示し、図２０（ｂ）は、投影部１２５を左側に配置した状態を示す。例えば、図２０（ａ）における投影部１２５と保持部３２０との間の距離は、図２０（ｂ）における投影部１２５と保持部３２０との間の距離よりも短い。
【０１４０】
図２０（ａ）に表したように、この例では、投影部１２５から出射された光Ｌ２の一部が瞳孔１５０へ入射していない。このため、観視者６０は、例えば、像の右端を見ることができない。これに対して、図２０（ｂ）のように、投影部１２５を左側へ移動させる。これにより、光Ｌ２は瞳孔１５０へ入射する。投影部の端から出射された光が瞳孔に入射するため正しい虚像を見ることができる。投影部１２５の左右方向の移動に伴って、観視者６０から見た像も左右方向に移動する。
【０１４１】
図２１（ａ）及び図２１（ｂ）は、第５の実施形態に係る画像表示装置を例示する模式図である。図２１（ａ）及び図２１（ｂ）は、観視者６０の横方向から見た側面図である。  
図２１（ａ）及び図２１（ｂ）においては、位置制御部１２６の一例として位置制御部１２６ｃを用いている。図２１（ａ）及び図２１（ｂ）に表した例では、位置制御部１２６ｃによって、投影部１２５と反射部１３０と相対的配置が可変である。
【０１４２】
例えば、反射部１３０は、第１面１１ｐに沿って設けられている。第１面１１ｐに沿った方向Ｄ６において、投影部１２５の配置が可変である。方向Ｄ６は、図２０（ａ）において説明した方向Ｄ５に対して垂直な方向である。この例では、方向Ｄ６は、Ｚ軸方向に対して平行である。観視者６０の上下方向において、投影部１２５と反射部１３０との相対的配置が可変である。
【０１４３】
位置制御部１２６ｃには、Ｚ軸方向に沿った長孔３３が設けられている。投影部１２５に固定された可動軸５３は、長孔３３を通り、長孔３３内を滑って動くことができる。これにより、観視者６０の上下方向において、投影部１２５の位置を調整することができる。
【０１４４】
図２１（ａ）は、投影部１２５を下側に配置した状態を示し、図２１（ｂ）は、投影部１２５を上側に配置した状態を示す。
【０１４５】
図２１（ａ）に表したように、この例では、投影部１２５から出射された光Ｌ２の一部が瞳孔１５０へ入射していない。このため、観視者６０は、例えば、像の下端を見ることができない。これに対して、図２１（ｂ）のように、投影部１２５を上側へ移動させる。これにより、光Ｌ２は瞳孔１５０へ入射する。投影部１２５の端から出射された光が瞳孔に入射するため正しい虚像を見ることができる。投影部１２５の上下方向の移動に伴って、観視者６０から見た像も上下方向に移動する。
【０１４６】
図２２（ａ）及び図２２（ｂ）は、第５の実施形態に係る画像表示装置を例示する模式図である。図２２（ａ）及び図２２（ｂ）においては、位置制御部１２６の一例として位置制御部１２６ｄを用いている。位置制御部１２６ｄによって、投影部１２５と反射部１３０と相対的配置が可変である。
【０１４７】
例えば、光学部１２０は、光軸１２０ａを有する。位置制御部１２６ｄによって、光軸１２０ａと第１面１１ｐとの間の角度が可変である。すなわち、位置制御部１２６ｄによって、画像情報を含む光Ｌ１の反射部１３０における入射方向ＤＬａが可変である。
【０１４８】
この例では、位置制御部１２６ｄは、回転軸部５４を有する。投影部１２５は、回転軸部５４によって保持されている。回転軸部５４を中心に投影部１２５を回転させることができる。例えば、Ｘ−Ｙ平面内において投影部１２５を回転させることができる。図２２（ａ）は、光Ｌ１の反射部１３０への入射角が大きい状態を示し、図２２（ｂ）は、光Ｌ１の反射部１３０への入射角が小さい状態を示す。このように、投影部１２５を回転させることで、反射部１３０における光Ｌ１の入射方向ＤＬａと反射方向ＤＬｂとを調整することができる。これにより、像が見える方向を調整することができる。
【０１４９】
図２３（ａ）及び図２３（ｂ）は、位置制御部を例示する模式図である。  
図２３（ａ）に表した例においては、位置制御部１２６ｄによって、画像情報を含む光Ｌ１の反射部１３０における入射方向ＤＬａが可変である。投影部１２５には、取付部５５が設けられている。例えば、取付部５５は、球の一部の形状を有する。位置制御部１２６ｄには、開口部３５が設けられている。例えば、開口部３５は、取付部５５の少なくとも一部を覆っている。位置制御部１２６ｄによって取付部５５が保持され、開口部３５内で取付部５５を回転させることができる。これにより、上下方向及び左右方向において投影部１２５を回転させることができ、像が見える方向を調整することができる。
【０１５０】
例えば、投影部１２５の配置を変更せずに、反射部１３０の位置を変更することで、虚像の位置を調整する参考例の方法がある。しかし、眼鏡型の画像表示装置では、使用時において、眼鏡フレームと眼鏡レンズ（反射部１３０）との相対的配置は実質的に固定されている。このため、前述のように、観視者６０の瞳孔１５０と反射部１３０との相対的配置は実質的に固定されており、反射部１３０の位置を変更することが困難な場合がある。これに対して、実施形態においては、位置制御部１２６によって、投影部１２５の配置を変更する。これにより、例えば、反射部１３０と投影部１２５との相対的配置の調整において自由度が高まる。
【０１５１】
以上説明した位置制御部１２６の機構は一例であり、実施形態は、同様に投影部の位置を調整することができる任意の形態を含む。さらに、以上説明した位置制御部１２６の機構を複数組み合わせてもよい。例えば、図２３（ｂ）に表した位置制御部１２６ｅは、Ｘ−Ｙ平面内における回転機構と、左右方向における位置調整機構と、を組み合わせた例である。実施形態においては、組み合わせに用いる機構及び機構の数は、任意である。これにより、投影部１２５を適切な位置に配置し、像の位置を調整することができ、見易い表示を得ることができる。
【０１５２】
次に、画像表示装置１０５の画像処理部について説明する。  
図２４は、第５の実施形態に係る画像表示装置の画像補正部を例示するブロック図である。  
本実施形態に係る画像表示装置１０５は、画像補正部１４１ｅを含む。画像補正部１４１ｅは、座標変換部４１０とスケール更新部４２０と補正係数出力部４３０ｅとを含む。座標変換部４１０及びスケール更新部４２０については、第１の実施形態と同様である。なお、図２４に示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。
【０１５３】
補正係数出力部４３０ｅは、第１または第２の実施形態と同様に、予め定められた複数の補正係数を記憶している。複数の補正係数のそれぞれは、複数の瞳孔位置のそれぞれに対応している。さらに、本実施形態においては、複数の補正係数のそれぞれは、複数の投影部位置のそれぞれに対応している。つまり、本実施形態の補正係数は、瞳孔位置の情報及び投影部位置の情報の少なくとも２つの情報に応じて、生成される。補正係数の構造や生成方法については、第１の実施形態と同様である。なお、投影部位置は、例えば、光学部１２０（投影部１２５）と反射部１３０との相対的配置によって表される。すなわち、各補正係数は、反射部１３０と瞳孔１５０との位置関係と、光学部１２０と反射部１３０との相対的配置と、に基づいて定められる。
【０１５４】
図２５は、第５の実施形態に係る画像表示装置の画像補正部における処理を例示するフローチャートである。  
設定部１４２は、第１の実施形態と同様に、瞳孔位置情報を設定する。  
ステップＳ５１０において、画像補正部１４１ｅは、第１の実施形態と同様に瞳孔位置の情報を取得する。  
ステップＳ５１１において、画像補正部１４１ｅは、第１の実施形態と同様に対象画像を取得する。
【０１５５】
本実施形態においては、設定部１４２は、第１の実施形態で述べた瞳孔位置情報の他に、投影部位置の情報を設定する。そして、ステップＳ５１４において、画像補正部１４１ｅは、投影部位置の情報を取得する。
【０１５６】
設定部１４２は、反射部と投影部が可変のとき、瞳孔位置情報とは別に、投影部１２５（光学部１２０）と反射部１３０との相対的配置に関する投影部位置情報を取得（設定）し、画像補正部１４１ｅへ出力する。投影部位置の検出には、カメラやポテンショメータなどの任意のセンサを用いることができる。センサは、例えば、投影部１２５、位置制御部１２６又は回路部等に設けられる。例えば、光学部１２０と反射部１３０との相対的配置は、無段階に調整することができる。
【０１５７】
なお、観視者の瞳孔位置の推定に、投影部位置情報を用いてもよい。例えば、眼鏡型の表示装置においては、観視者６０の耳、鼻、眼などの配置に応じて、反射部１３０と光学部１２０との相対的配置は変化する。このため、光学部１２０と反射部１３０との相対的配置の情報に基づいて、観視者６０の瞳孔位置をある程度推定することも可能である。
【０１５８】
位置制御部１２６には、段階的に投影部１２５の位置を調整する機械的な機構を用いてもよい。例えば、位置情報を示すダイヤルなどの目盛を設け、段階的に投影部１２５の位置を調整する。設定部１４２は、目盛の値に応じた情報を画像補正部１４１ｅへ出力する。
【０１５９】
設定部１４２が設定する投影部位置情報は、観視者６０によって入力された情報に基づいてもよい。例えば、観視者６０が投影部１２５の位置を示す情報（例えば目盛の値等）を画像表示装置１０５に入力する。これにより、例えば、観視者６０によって、画像補正部１４１ｅにおける補正を変更することができる。例えば、コンピュータや携帯端末にソフト（アプリケーション）がインストールされ、コンピュータ又は携帯端末などを介して、観視者６０から画像制御部（画像補正部１４１ｅ及び設定部１４２）に情報が入力される。画像制御部に位置情報が直接入力されても良い。
【０１６０】
ステップＳ５２７において、補正係数出力部４３０ｅは、瞳孔位置情報及び投影部位置情報に基づいて、複数の補正係数の中から、補正係数を選択する。そして、選択された補正係数がスケール更新部４２０へ出力される。
【０１６１】
ステップＳ５３０及びステップＳ５４０は、第１の実施形態と同様である。以上により、画像補正部１４１ｅは、対象画像を補正して表示画像を生成する。表示部１１０は、生成された表示画像の画像情報に基づいて光を出射する。これにより、例えば、適切な像を表示することができる。
【０１６２】
例えば、投影部１２５の位置が変化すると、表示部１１０から瞳孔１５０への光路長が画素毎に変化する。このため、投影部１２５の位置によっては、光学歪みや色割れが発生する場合がある。これに対して、本実施形態では、対象画像の補正処理は、瞳孔位置情報と投影部位置情報とに基づいて行われる。すなわち、瞳孔１５０の位置及び投影部１２５の位置に基づいて、適応的に歪み補正が適用される。このため、瞳孔位置及び投影部の位置に応じて生じる収差による影響を抑制することができる。これにより、画像の歪み、色割れ、画面欠けが少なく、見やすい虚像を表示することできる。
【０１６３】
以上、第１〜第５の実施形態に係る画像表示装置及び画像処理装置について説明した。但し、実施形態は、上記の例には限定されず、例えば、第１〜第５の実施形態を適宜組み合わせて実施してもよい。例えば、実施形態は、以下の図２６（ａ）及び図２６（ｂ）に関する説明の如くであってもよい。
【０１６４】
図２６（ａ）及び図２６（ｂ）は、実施形態に係る画像表示装置を例示するブロック図である。  
図２６（ａ）に表した画像表示装置１０６の画像補正部１４１ｆは、座標変換部４１０、スケール更新部４２６及び補正係数出力部４３０ｆを含む。これ以外は、画像表示装置１０６は、第１の実施形態と同様である。
【０１６５】
補正係数出力部４３０ｆには、前述の色割れや光学歪みを補正するための複数の補正係数が記憶されている。例えば、複数の補正係数は、画像表示装置の個体差を示す固有情報に対応しており、補正係数出力部４３０ｆは、固有情報に応じて補正係数を選択する。これにより、色割れや光学歪みを補正することができる。補正係数の構造や生成方法は、第１の実施形態と同様である。
【０１６６】
本具体例では、センサや使用者によって、瞳孔位置情報がスケール更新部４２６へ入力される。スケール更新部４２６は、瞳孔位置情報及び対象画像のサイズ情報に基づいて補正係数を更新する。この際、例えば、スケール更新部４２６は、第３の実施形態において説明した表示領域情報と同様の情報を瞳孔位置情報に基づいて生成し、生成された情報に基づいて、第３の実施形態と同様に補正係数をスケーリングする。そして、座標変換部４１０は、スケーリングされた補正係数を用いて、対象画像から表示画像を生成する。これにより、画像欠けも補正することができる。
【０１６７】
図２６（ｂ）に表した画像表示装置１０７の画像補正部１４１ｇは、座標変換部４１０、スケール更新部４２７及び補正係数出力部４３０ｇを含む。これ以外は、画像表示装置１０７は、第５の実施形態と同様である。
【０１６８】
補正係数出力部４３０ｇには、前述の色割れや光学歪みを補正するための複数の補正係数が記憶されている。例えば、各補正係数は、各投影部位置情報に対応している。補正係数の構造や生成方法は、第１の実施形態と同様である。センサや使用者によって、投影部位置情報が補正係数出力部４３０ｇに入力される。補正係数出力部４３０ｇは、投影部位置情報に応じて補正係数を選択する。これにより、例えば、投影部位置に起因した色割れや光学歪みを補正することができる。
【０１６９】
本実施例では、センサや使用者によって、瞳孔位置情報がスケール更新部４２７へ入力される。これにより、図２６（ａ）に関する説明と同様にして、画面欠けを補正することができる。例えば、投影部位置に起因した歪みは、センサ等からの情報に基づいて自動で補正され、表示像の大きさや位置は、使用者の入力に基づいて補正される。
【０１７０】
図２７は、実施形態に係る画像表示装置を例示する模式図である。  
図２７は、実施形態に係る画像表示装置のシステムの一例を例示している。  
図２７に表したように、画像処理部１４０（回路部）は、例えば、インターフェース４２（取得部）、処理回路（プロセッサ）４３、及びメモリ４４を含む。
【０１７１】
例えば、画像処理部１４０は、インターフェース４２を介して、外部の記憶媒体やネットワークと接続され、入力画像（対象画像）を取得する。外部との接続には、有線及び無線のいずれの方法を用いてもよい。取得部は、例えば、入出力端子などでもよい。
【０１７２】
メモリ４４には、例えば取得した対象画像を処理するプログラム４５が記憶されている。例えばプログラム４５に基づいて対象画像が適宜変換され、これにより、表示部１１０において適切な表示が行われる。メモリ４４において、画像情報が保持されていてもよい。プログラム４５は、予めメモリ４４に記憶された状態で提供されてもよいし、ＣＤ−ＲＯＭ等の記憶媒体やネットワークを介して提供され、適宜インストールされてもよい。
【０１７３】
画像処理部１４０は、センサ４６を含んでもよい。センサ４６には、例えば、カメラ、マイク、位置センサ又は加速度センサなどの任意のセンサを用いることができる。例えば、センサ４６から得られる情報に基づいて、表示部１１０に表示される画像を適宜変更する。これにより、画像表示装置の利便性や見易さを向上させることができる。例えば、処理回路４３において、センサ４６から得られる情報や画像情報などが、プログラム４５に基づいて処理される。このようにして得られた画像情報が、画像処理部１４０から表示部１１０に入力され、画像表示装置において表示が行われる。
【０１７４】
例えば、投影部１２５と反射部１３０との相対的配置に関する位置情報は、センサ４６によって検出される。画像補正部１４１における補正に用いられる補正係数は、例えばメモリ４４に記憶される。また、例えば、座標変換部４１０や、スケール更新部４２０や、補正係数出力部４３０における処理は、プログラム４５に基づいて、処理回路４３において行われる。
【０１７５】
画像処理部１４０（画像処理装置２００）の各ブロックの一部、又は全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【０１７６】
以上、実施形態として、画像表示装置及び画像処理装置について説明した。但し、実施形態は、画像処理装置における処理をコンピュータに実行させるためのプログラムの形態、または、このプログラムを記録したコンピュータ読み取り可能な記録媒体の形態、であってもよい。上記の記録媒体としては、具体的には、ＣＤ-ＲＯＭ（-Ｒ／-ＲＷ）、光磁気ディスク、ＨＤ（ハードディスク）、ＤＶＤ-ＲＯＭ（-Ｒ／-ＲＷ／-ＲＡＭ）、ＦＤ（フレキシブルディスク）、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ＲＯＭやＲＡＭ等が想定できる。これら記録媒体に上述した実施形態に係る画像処理装置の処理をコンピュータに実行させるための画像処理プログラムを記録して流通させてもよい。これにより、画像処理の実現が容易となる。そして、コンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置により画像処理プログラムを読み出すか、または、情報処理装置が備えている記憶媒体に当該プログラムを記憶させ、必要に応じて読み出す。これにより、実施形態に係る画像処理を実行することができる。
【０１７７】
実施形態によれば、見易い像を提供可能な画像表示装置及び画像処理装置が提供できる。
【０１７８】
なお、本願明細書において、「垂直」及び「平行」は、厳密な垂直及び厳密な平行だけではなく、例えば製造工程におけるばらつきなどを含むものであり、実質的に垂直及び実質的に平行であれば良い。
【０１７９】
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、投影部、光学部、表示部、反射部、画像処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。  
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【０１８０】
その他、本発明の実施の形態として上述した画像表示装置及び画像処理装置を基にして、当業者が適宜設計変更して実施し得る全ての画像表示装置及び画像処理装置も、本発明の要旨を包含する限り、本発明の範囲に属する。
【０１８１】
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【０１８２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１８３】
１１ｐ…第１面、  ３１、３２、３３…長孔、  ３５…開口部、  ４２…インターフェース、  ４３…処理回路、  ４４…メモリ、  ４５…プログラム、  ４６…センサ、  ５１、５２、５３…可動軸、  ５４…回転軸部、  ５５…取付部、  ６０…観視者、  ８０…表示オブジェクト、  １０１〜１０５、１０９…画像表示装置、  １１０…表示部、  １１０ｅ…画素、  １２０…光学部、  １２０ａ…光軸、  １２５、１２５ｂ…投影部、  １２６、１２６ａ、１２６ｂ、１２６ｃ、１２６ｄ、１２６ｅ…位置制御部、  １３０、１３０ｂ…反射部、  １４０…画像処理部、  １４１…画像補正部、  １４１０…表示領域、  １４１１…非表示領域、  １４１ｂ、１４１ｃ、１４１ｄ、１４１ｅ…画像補正部、  １４２…設定部、  １４５…ケーブル、  １５０、１５０ａ、１５０ｂ…瞳孔、  １６０…眼鏡レンズ、  １６１…第１表面、  １６２…第２表面、  １７０、１７０ｂ、１７１…観視像、  １７１０…使用領域、  １７１１…非使用領域、  １８０…アイレンジ、  １８２…検知部、  ２００…画像処理装置、  ３２０…保持部、  ３２０ｅ…一端、  ３２１…ノーズパッド、  ３２２…ブリッジ、  ４１０…座標変換部、  ４２０、４２１、４２２、４２６…スケール更新部、  ４３０、４３０ｂ、４３０ｃ、４３０ｄ、４３０ｅ…補正係数出力部、  ４３１…補正係数選択部、  ４３２…補正係数計算部、  ４３３…補正係数選択部、  ４３５…補正係数記憶部、  ４３６、４３７…補正係数、  ９２０、９３０…矩形領域、  ９４０…領域、  Ａ１…対象画像、  Ａ２…表示画像、  Ａ３…観視像、  Ａ４…対象画像、  Ａ５、Ａ６…表示画像、  Ａ７…対象画像、  Ａ８…表示画像、  Ａ９…対象画像、  Ａ１０…表示画像、  Ｂａ…画像、  Ｂｂ…第３色像、  Ｂｃ…内接矩形、  Ｃ１…第１補正係数、  Ｃ２…第２補正係数、  Ｃａ、Ｃｂ、Ｃｃ、Ｃｄ…補正係数、  Ｄ１…第１方向、  Ｄ２…第２方向、  Ｄ５、Ｄ６…方向、  ＤＬａ…入射方向、  ＤＬｂ…反射方向、  Ｇａ…画像、  Ｇｂ…第２色像、  Ｇｃ…内接矩形、  Ｌ１、Ｌ２、Ｌ３…光、  Ｌｎ１〜Ｌｎ１０…長さ、  ＰＡ、ＰＢ…位置、  ＰＩ…画像、  Ｐａ、Ｐｂ、Ｐｒ…領域、  Ｐｗ…画像、  Ｑ１…第１像、  Ｒ１…第１領域（対象領域）、  Ｒ２…第２領域、  Ｒａ…画像、  Ｒｂ…第１色像、  Ｒｃ…内接矩形、  Ｒｄ…領域、  Ｓ１…第１画像領域、  Ｓ２…第２画像領域、  Ｓａ…重複領域、  Ｓｂ…非重複領域、  Ｓ５１０〜Ｓ５１４、Ｓ５２０、Ｓ５２１、Ｓ５２５〜Ｓ５２７、Ｓ５３０〜Ｓ５３２、Ｓ５４０、Ｓ５４２…ステップ
【図１】
2017026943.tif 000003
【図２】
2017026943.tif 000004
【図４】
2017026943.tif 000005
【図６】
2017026943.tif 000006
【図９】
2017026943.tif 000007
【図１１】
2017026943.tif 000008
【図１２】
2017026943.tif 000009
【図１３】
2017026943.tif 000010
【図１４】
2017026943.tif 000011
【図１６】
2017026943.tif 000012
【図１７】
2017026943.tif 000013
【図１９】
2017026943.tif 000014
【図２０】
2017026943.tif 000015
【図２１】
2017026943.tif 000016
【図２２】
2017026943.tif 000017
【図２３】
2017026943.tif 000018
【図２４】
2017026943.tif 000019
【図２５】
2017026943.tif 000020
【図２６】
2017026943.tif 000021
【図２７】
2017026943.tif 000022
【図３】
2017026943.tif 000023
【図５】
2017026943.tif 000024
【図７】
2017026943.tif 000025
【図８】
2017026943.tif 000026
【図１０】
2017026943.tif 000027
【図１５】
2017026943.tif 000028
【図１８】
2017026943.tif 000029