(57)【要約】      （修正有）【課題】大規模な通信装置やサーバーを用いることなく、可視光像だけでは判別しにくい温度の異なる物体を、素早く認識できる画像表示装置を提供する。【解決手段】第１撮像部としてのカメラ３２０ａと、第２撮像部としてのカメラ３２０ｂと、第１表示部としての左眼用の電気光学装置と、第２表示部としての右眼用の電気光学装置と、カメラ３２０ａからの画像の中心位置を中心に、可視光領域に係る第１画像と、カメラ３２０ｂからの画像の中心位置を中心に、赤外領域に係る第２画像とを生成し、第１画像を左眼用の電気光学装置に、かつ、第２画像を右眼用の電気光学装置に表示させる。【選択図】図１
2017102221.tif 000002
【特許請求の範囲】
【請求項１】
可視光領域の撮像を行う第１撮像部と、
赤外領域の撮像を行う第２撮像部と、
第１表示部と、
第２表示部と、
前記第１撮像部からの画像の指示された所定の位置を中心に、可視光領域に係る第１画像と、前記第２撮像部からの画像の指示された所定の位置を中心に、赤外領域に係る第２画像とを生成し、前記第１画像を前記第１表示部に、かつ、前記第２画像を前記第２表示部に表示させる表示制御部と、を備える、
ことを特徴とする画像表示装置。
【請求項２】
前記第１表示部及び前記第２表示部の一方は左眼用の表示部であり、前記第１表示部及び前記第２表示部の他方は右眼用の表示部である、
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記表示制御部は、前記第１画像と前記第２画像の拡大倍率を同一の拡大倍率とする、
ことを特徴とする請求項１または請求項２に記載の画像表示装置。
【請求項４】
前記表示制御部は、操作指示に応じて、前記第１画像を前記第１表示部および前記第２表示部に表示させ、または、前記第２画像を前記第１表示部および前記第２表示部に表示させる、
ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の画像表示装置。
【請求項５】
前記表示制御部は、前記第１画像を前記第１表示部に、かつ、前記第２画像を前記第２表示部に表示させる際には、前記第１表示部の平均輝度と、前記第２表示部の平均輝度との差を、１０％以下に抑えるように設定されている、
ことを特徴とする請求項１ないし請求項４のいずれか一項に記載の画像表示装置。
【請求項６】
外光照度検知部をさらに備え、
前記表示制御部は、前記第１表示部の輝度と、前記第２表示部の輝度とを、前記外光照度検知部により検知した前記外光照度に応じて調整する、
ことを特徴とする請求項１ないし請求項５のいずれか一項に記載の画像表示装置。
【請求項７】
加速度検知部をさらに備え、
前記表示制御部は、前記加速度検知部に基づいて画像表示装置本体が所定の速さ以上で動いたと判定した場合には、少なくとも前記第１表示部及び前記第２表示部のいずれか一方の表示を停止し、前記加速度検知部に基づいて画像表示装置本体が静止したと判定した場合に、前記停止した表示を再開する、
ことを特徴とする請求項１ないし請求項６のいずれか一項に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ等の画像表示装置に関する。
【背景技術】
【０００２】
従来から、ヘッドマウントディスプレイに赤外カメラと可視光カメラを搭載して、視認物の温度分布画像を取得する技術が知られている（例えば、特許文献１および特許文献２参照）。特許文献１では、赤外カメラ画像と可視光カメラ画像を比較して、可視光で視認している視野画像の中で異常な温度であるものを特定し、ヘッドマウントディスプレイの装着者に報知する技術が開示されている。
【０００３】
また、特許文献２においては、ヘッドマウントディスプレイに赤外撮イメージセンサーを備え、赤外映像と可視映像とを視点を殆ど変えずに視認可能にする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１９７１５３号公報
【特許文献２】特開２００２−２３０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、可視光画像を画像処理して視認物としての部品を検出する際に、予め対象機種を入力したり、画像処理の過程で識別可能な文字列を抽出して前記部品を特定するなど複雑な処理を必要としている。
【０００６】
また、特許文献１では、部品検出とは別に適正温度データベースを有し、可視光画像の分析により検出した部品と、赤外カメラによる温度分布画像を比較して、異常温度の部品を特定する複雑な処理を行っている。このような処理はヘッドマウントディスプレイ単体の処理としては負荷が重いため、特許文献１では、撮影画像をネットワークを介してサーバーへ送信し、サーバー側で処理している。
【０００７】
したがって、特許文献１では、ヘッドマウントディスプレイ以外にも通信装置や、ネットワークに接続されたサーバーシステムが必要になるという課題がある。また、特許文献１のような技術では、特定の作業や対象物に適用が限定されてしまうという課題がある。
【０００８】
特許文献２では、可視光像はハーフミラーを透過するシースルー像であり、そこに赤外画像を拡張現実表示している。この場合、赤外像は可視画像に変換されて表示されるので、当該赤外像の背景に相当するシースルー像は、変換された可視画像の輝度表示部分により視認困難になる。したがって、実際には重畳表示とは程遠いものとなってしまうという課題がある。また、特許文献２では、その原理上、赤外像と可視光像を拡大して重畳表示することはできないという課題がある。
【０００９】
本発明は上述した事情に鑑みてなされたものであり、その目的は、大規模な通信装置やサーバーを用いず、可視光像と赤外像を重畳表示し、可視光像だけでは判別し難い温度の異なる物体を素早く認識可能な画像表示装置を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の一態様に係る画像表示装置は、可視光領域の撮像を行う第１撮像部と、赤外領域の撮像を行う第２撮像部と、第１表示部と、第２表示部と、表示制御部とを備える。表示制御部は、前記第１撮像部からの画像の指示された所定の位置を中心に、可視光領域に係る第１画像と、前記第２撮像部からの画像の指示された所定の位置を中心に、赤外領域に係る第２画像とを生成する。そして、前記第１画像を前記第１表示部に、かつ、前記第２画像を前記第２表示部に表示させることを特徴とする。
【００１１】
この態様によれば、複雑な画像解析や画像合成を行わずに、可視光画像と赤外光画像を重畳して視認させることができる。また、可視光画像あるいは赤外光画像のどちらかを注視したい場合は、使用者が片目をつぶるだけで、どちらかの画像の注視が可能となる。
【００１２】
本発明の他の態様に係る画像表示装置は、前記第１表示部及び前記第２表示部の一方は左眼用の表示部であり、前記第１表示部及び前記第２表示部の他方は右眼用の表示部である、ことを特徴とする。この態様によれば、使用者の左眼では第１画像が認識され、右眼では第２画像が認識されるため、複雑な画像解析や画像合成を行わずに、可視光画像と赤外光画像を重畳して視認させることができる。
【００１３】
本発明の他の態様に係る画像表示装置は、前記表示制御部は、前記第１画像と前記第２画像の拡大倍率を同一の拡大倍率とする、ことを特徴とする。この態様によれば、複雑な画像解析や画像合成を行わずに、可視光画像と赤外光画像を重畳して視認させることができる。
【００１４】
本発明の他の態様に係る画像表示装置は、前記表示制御部は、操作指示に応じて、前記第１画像を前記第１表示部および前記第２表示部に表示させ、または、前記第２画像を前記第１表示部および前記第２表示部に表示させる、ことを特徴とする。この態様によれば、可視光画像あるいは赤外光画像のいずれかのうち、選択した画像のみを表示させるので、使用者が所望の画像を注視することができる。
【００１５】
本発明の他の態様に係る画像表示装置は、前記表示制御部は、前記第１画像を前記第１表示部に、かつ、前記第２画像を前記第２表示部に表示させる際には、前記第１表示部の平均輝度と、前記第２表示部の平均輝度との差を、次のように設定する。本態様では、平均輝度差を１０％以下に抑えるように設定されている、ことを特徴とする。この態様によれば、左右で異なる映像を見る時の違和感を軽減することができる。
【００１６】
本発明の他の態様に係る画像表示装置は、外光照度検知部をさらに備え、前記表示制御部は、前記第１表示部の輝度と、前記第２表示部の輝度とを、前記外光照度検知部により検知した前記外光照度に応じて調整する、ことを特徴とする。この態様によれば、シースルー像と虚像を見たときの明るさ調整（瞳孔開き具合）の違和感を軽減することができる。
【００１７】
本発明の他の態様に係る画像表示装置は、加速度検知部を更に備え、前記表示制御部は、前記加速度検知部に基づいて画像表示装置本体が所定の速さ以上で動いたと判定した際には、少なくとも前記第１表示部及び前記第２表示部のいずれか一方の表示を停止する。そして、前記加速度検知部に基づいて画像表示装置本体が静止したと判定した場合に、前記停止した表示を再開する、ことを特徴とする。この態様によれば、左右で角速度の異なる映像を見る時の違和感を軽減することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る画像表示装置の構成を示す斜視図である。
【図２】同画像表示装置の光学的構成を示す図である。
【図３】同画像表示装置の制御回路の構成を示すブロック図である。
【図４】同画像表示装置の動作を示すフローチャートである。
【図５】シースルー像の画像例を示す図である。
【図６】シースルー像の画像例を示す図である。
【図７】可視光領域に係る第１画像の例を示す図である。
【図８】赤外領域に係る第２画像の例を示す図である。
【図９】第１画像に第２画像を重畳させた拡張現実画像をシースルー像上に表示させた例を示す図である。
【図１０】第１表示部による虚像の結像距離と、前記第２表示部による虚像の結像距離と違いを説明する図である。
【発明を実施するための形態】
【００１９】
図１は、本発明の一実施形態に係る画像表示装置としてのヘッドマウントディスプレイの外観を示す斜視図である。
【００２０】
図１に示されるように、ヘッドマウントディスプレイ３００は、外観的には、一般的な眼鏡と同様にテンプル３１０や、ブリッジ３２１、投射光学系３０１Ｌ、３０１Ｒを有する。また、ブリッジ３２１には、第１撮像部としての可視光用のカメラ３２０ａと、第２撮像部としての赤外線用のカメラ３２０ｂとが取付けられている。本実施形態においては、可視光用のカメラ３２０ａと、赤外線用のカメラ３２０ｂの撮影倍率および視野角は同一である。図示を省略するが、ブリッジ３２１近傍であって投射光学系３０１Ｌ，３０１Ｒの奥側には、第１表示部としての左眼用の電気光学装置１０Ｌと、第２表示部としての右眼用の電気光学装置１０Ｒとが設けられる。なお、左眼用の電気光学装置１０Ｌを第２表示部とし、右眼用の電気光学装置１０Ｒを第１表示部としてもよい。
【００２１】
図２は、ヘッドマウントディスプレイ３００の光学的構成を示す図である。図中で、電気光学装置１０Ｌで発せられた画像光ＧＬ、及び外界光ＯＬは、一点鎖線の矢印で示されている。
【００２２】
ヘッドマウントディスプレイ３００の光学系は、第１光軸ＡＸ１と、第２光軸ＡＸ２と、第３光軸ＡＸ３とを有している。図２では、第１光軸ＡＸ１と第３光軸ＡＸ３とは平行であり、第２光軸ＡＸ２は、第１光軸ＡＸ１及び第３光軸ＡＸ３に直交する。
【００２３】
第１光軸ＡＸ１と第３光軸ＡＸ３とは平行でなくてもよく、第２光軸ＡＸ２は、第１光軸ＡＸ１及び第３光軸ＡＸ３に直交しなくてもよい。装着者Ｍがヘッドマウントディスプレイ３００を装着したときに、電気光学装置１０Ｌからの光が装着者Ｍの眼ＥＹに至るように配置されていればよい。
【００２４】
テンプル３１０の内側には、外装ケース１３が備えられており、外装ケース１３の内部に、電気光学装置１０Ｌ、投射光学系３０２Ｌが配置されている。電気光学装置１０Ｌは、画像光ＧＬを投射光学系３０２Ｌの側に向けて出力（射出）する。投射光学系３０２Ｌは、電気光学装置１０Ｌから出力された画像光ＧＬを平行状態の光束に変換するコリメートレンズである。
【００２５】
導光装置２０は、導光部材２１と光透過部材１００とを接合したものであり、全体として平行に延びる平板状の光学部材である。導光部材２１及び光透過部材１００は、可視域で高い光透過性を示す樹脂材料で形成されている。
【００２６】
導光部材２１は、平面視において台形のプリズムであり、側面として、第１反射面２１ａと、第２反射面２１ｂと、第３反射面２１ｃと、第４反射面２１ｄとを有する。第１反射面２１ａと、第２反射面２１ｂと、第３反射面２１ｃとは、屈折率差を利用した全反射面である。第４反射面２１ｄは、光透過性と光反射性とを有するハーフミラー３０３Ｌの面である。ハーフミラー３０３Ｌは、例えば銀などによる金属反射膜や誘電体多層膜を成膜することにより形成される。
【００２７】
第１反射面２１ａ及び第２反射面２１ｂは、互いに対向し、台形のプリズムの長辺部に相当し、第２光軸ＡＸ２の方向に長くなっている。第３反射面２１ｃ及び第４反射面２１ｄは、台形のプリズムの斜面（短辺部）に相当し、共に第２光軸ＡＸ２に対して４５°以下の鋭角で傾斜している。
【００２８】
電気光学装置１０Ｌで発せられた画像光ＧＬは、導光装置２０に入射し、第３反射面２１ｃで第２光軸ＡＸ２の方向に反射され、第４反射面２１ｄに向かう。
【００２９】
つまり、電気光学装置１０Ｌで発せられた画像光ＧＬは、導光部材２１を通過し、第４反射面２１ｄで反射され、装着者Ｍの眼ＥＹに入射する。さらに、外界光ＯＬは、光透過部材１００、第４反射面２１ｄ、及び導光部材２１を通過し、装着者Ｍの眼ＥＹに入射する。その結果、装着者Ｍは、虚像と外界像とを重畳させて認識することができる。
【００３０】
以降の説明では、第２光軸ＡＸ２に平行であって、第４反射面２１ｄから第３反射面２１ｃに向かう方向をＸ方向とする。第１光軸ＡＸ１及び第３光軸ＡＸ３に平行であって、第３反射面２１ｃから画像表示装置１１に向かう方向をＺ方向とする。さらに、Ｘ方向及びＺ方向に直交する方向をＹ方向とする。
【００３１】
図示を省略するが、電気光学装置１０Ｒの画像表示面は、電気光学装置１０Ｌとは反対の右側となるように配置している。これによって電気光学装置１０Ｒによる表示画像は、投射光学系３０２Ｒ、導光装置２０、およびハーフミラー３０３Ｒの第４反射面２１ｄで反射され、装着者Ｍの眼ＥＹに入射する。さらに、外界光ＯＬは、光透過部材１００、ハーフミラー３０３Ｒの第４反射面２１ｄ、及び導光部材２１を通過し、装着者Ｍの眼ＥＹに入射する。その結果、装着者Ｍは、虚像と外界像とを重畳させて認識することができる。
【００３２】
以上のように、本実施形態のヘッドマウントディスプレイ３００の使用者は、外の様子をシースルー像として観察できると共に、電気光学装置１０Ｌ，１０Ｒによる表示画像を前記シースルー像に重ね合わせた状態で観察することができる。
【００３３】
電気光学装置１０Ｌ，１０Ｒは、一例として、複数の画素回路や当該画素回路を駆動する駆動回路などが例えばシリコン基板に形成された有機ＥＬ装置であり、画素回路には、発光素子の一例であるＯＬＥＤが用いられている。
【００３４】
電気光学装置には、例えば、図示を省略するＦＰＣ（Flexible Printed Circuits）基板を介して、図３に示すような表示制御部としての制御回路５が接続されている。制御回路５からは、画像データが同期信号に同期して電気光学装置に供給される。同期信号には、垂直同期信号や、水平同期信号、ドットクロック信号が含まれる。また、画像データは、表示すべき画像の画素の階調レベルを例えば８ビットで規定する。
【００３５】
制御回路５は、図３に示すように、ＣＰＵ４０、ＲＡＭ４１、ＲＯＭ４２、ビデオ入力部２３、ビデオ出力部２４，２５、及びインターフェース（Ｉ／Ｆ）２６を備えている。ＣＰＵ４０は、ＲＯＭ４２に格納されたプログラムに基づいて、ビデオ入力部２３を介して入力される画像データを、ＲＡＭ４１によるメモリー空間を使用して処理し、拡張現実画像の表示処理を行う。さらに、ＣＰＵ４０は、表示処理を行った画像データをビデオ出力部２４，２５に出力し、当該画像データはビデオ出力部２４，２５を介して電気光学装置に供給される。本実施形態では、画像の拡大倍率は、左眼表示用と右眼表示用とで同じ倍率に設定されている。これにより、左眼表示用の可視光画像と右眼表示用の赤外線画像とが、使用者の脳内で合成され、可視光画像に赤外線画像が重畳した画像が認識されることになる。詳しくは後述する。
【００３６】
ＣＰＵ４０は、インターフェース（Ｉ／Ｆ）２６を介して、例えばＷｉ−Ｆｉ（登録商標）等により、コントローラー６と通信可能に構成されている。使用者が、コントローラー６を操作することにより、可視光画像に赤外線画像が重畳した画像を実像上に重畳させる拡張現実画像の表示処理を選択する。その結果、その処理内容を示す信号がコントローラー６から送信され、インターフェース（Ｉ／Ｆ）２６を介してＣＰＵ４０に受信される。ＣＰＵ４０は、受信した信号に基づいて、拡張現実画像の表示処理を実行する。
【００３７】
以下、図４のフローチャートに基づいて、本実施形態における拡張現実画像の表示処理について説明する。まず、使用者がヘッドマウントディスプレイ３００を装着し、使用を開始した当初においては、制御回路５は電気光学装置にカーソルの画像を表示させる。そのため、使用者の左眼及び右眼には、外界の情報（シースルー像、実像）がハーフミラーを介して結像すると共に、カーソルの画像が結像する（Ｓ１０）。例えば、使用者の左眼及び右眼には、図５に示すような実像（缶およびテーブルの像）と、実像の中心位置に表示されるカーソル画像３０が認識されることになる。
【００３８】
次に、使用者が、実像のうちの一部を拡張現実表示させたい場合には、コントローラー６を操作することにより、カーソル画像３０を前記一部の近くに移動させる。例えば、図５に示す実像のうち、真ん中奥の缶の部分を中心にして拡張現実表示させたい場合には、カーソル画像３０を当該缶の近くに移動させるようにコントローラー６を操作する。制御回路５がこの操作を検出すると（Ｓ１１：ＹＥＳ）、カーソル画像３０を該当位置に移動させる（Ｓ１２）。その結果、使用者の左眼及び右眼には、図６に示すように、前記缶の像の近くにカーソル画像３０が移動した画像が認識されることになる。
【００３９】
カーソル画像３０を所望の位置に移動させた後、使用者がコントローラー６を操作することにより、例えば決定ボタンを操作する。制御回路５がこの操作を検出すると（Ｓ１３：ＹＥＳ）、制御回路５は、可視光用のカメラ３２０ａで撮影した画像に基づいて、左眼用に所定の拡大率で拡大した可視光画像である第１画像を生成する（Ｓ１４）。また、制御回路５は、赤外線用のカメラ３２０ｂで撮影した画像に基づいて、右眼用に、左眼用と同じ拡大率で拡大した赤外線画像である第２画像を生成する（Ｓ１５）。
【００４０】
図７は、拡大した可視光画像である第１画像の一例である。図７に示す第１画像は、図６に示すカーソル画像３０の位置を中心位置として、可視光用のカメラ３２０ａで撮影した画像を所定の倍率で拡大した画像である。
【００４１】
図８は、拡大した赤外線画像である第２画像の一例である。図８に示す第２画像は、図７と同じ中心位置を中心として、赤外線用のカメラ３２０ｂで撮影した画像を、第１画像と同じ倍率で拡大した画像である。図８においては、白く表示されている部分３１が、例えば他の部分よりも温度が高いことを表している。
【００４２】
そして、制御回路５は、第１画像を左眼用の電気光学装置に表示させると共に、第２画像を右眼用の電気光学装置に表示させる（Ｓ１６）。その結果、使用者の左眼には、図７に示すような可視光画像の第１画像が認識され、かつ、使用者の右眼には、図８に示すような赤外線画像であって、第１画像と同倍率の第２画像が認識されることになる。その結果、使用者の脳内では、第１画像と第２画像が合成され、図９に示すような拡張現実画像３２が、シースルー画像（実像）に重畳して表示されるように認識される。図９の例では、白く表示されている部分３１が、例えば他の部分よりも温度が高いことを表している。
【００４３】
この状態で、使用者がコントローラー６を操作して拡張現実画像の表示処理を終了させると、制御回路５がこの操作を検出し（Ｓ１７：ＹＥＳ）、拡張現実画像の表示処理を中止して、カーソル画像及び実像の表示を実行する（Ｓ１０）。
【００４４】
したがって、本発明によれば、複雑な処理を行うことなく、かつ、大規模な通信装置やサーバーを用いることなく、ヘッドマウントディスプレイ３００単体で、可視光画像と赤外線画像を重畳表示する。その結果、可視光像だけでは判別しにくい温度の異なる物体を、素早く認識させることができる。
【００４５】
なお、図９に示すような表示状態において、拡張現実画像３２内にカーソル画像を表示させ、コントローラー６の操作によってカーソル画像させることにより、拡張現実画像の表示を行う領域を移動させるようにしてもよい。
【００４６】
なお、図４に示すステップＳ１７において拡張現実画像の表示終了を判断する方法としては、コントローラー６による操作を行って終了させる方法がある。その他、ヘッドマウントディスプレイ３００に加速度センター等を設置して、ヘッドマウントディスプレイ３００が所定速度以上の速度で移動した場合に、拡大表示の終了と判断するようにしてもよい。
【００４７】
また、上述した例では、コントローラー６の操作によってカーソル画像３０を移動させるようにした。しかし、カーソル画像３０は表示領域の中心に固定表示させ、カーソル画像３０に合わせて使用者の顔を移動させ、つまりヘッドマウントディスプレイ３００を移動させて、所望の位置にカーソル画像３０を合わせるようにしてもよい。
【００４８】
＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば次に述べるような各種の変形が可能である。また、次に述べる変形の態様は、任意に選択された一または複数を、適宜に組み合わせることもできる。
【００４９】
＜変形例１＞
上述した実施形態では、可視光用のカメラ３２０ａと赤外線用のカメラ３２０ｂを一つずつ用いたが、左眼用に可視光用のカメラと赤外線用のカメラを用意すると共に、右眼用にも可視光用のカメラと赤外線用のカメラを用意してもよい。そして、それぞれのカメラの拡大率を予め異なるように設定してもよい。可視光用のカメラ３２０ａと赤外線用のカメラ３２０ｂを一つずつ用いる場合には、可視光用のカメラ３２０ａと赤外線用のカメラ３２０ｂで撮影した画像を左眼用と右眼用に分けてデジタルズーム処理を行うために画像の劣化が生じる。しかし、左眼用と右眼用とで拡大率の異なるカメラを用いる場合には、このようなデジタルズームによる画像の劣化を抑えることができる。
【００５０】
＜変形例２＞
左右眼の虚像の結像距離が異なるように設定してもよい。例えば、図１０に示すように、電気光学装置１０Ｒによって表示された画像は、投射光学系３０２Ｒ及び導光装置２０を介して、使用者の右眼に入射する。電気光学装置１０Ｒを図１０の矢印Ａに示すように投射光学系３０２Ｒに近づけた場合には、虚像の位置は図１０の矢印Ｂに示すようにシフトする。したがって、左眼用と右眼用とで、電気光学装置と投射光学系との間隔を調整することにより、左右眼の虚像の結像距離を異なるように設定することが可能である。このように設定することにより、左右の虚像のピントがずれるため、上述した第１画像と第２画像のように左右で異なる映像を見る時の違和感を軽減することができる。
【００５１】
＜変形例３＞
倍率の異なる第１画像と第２画像を表示する場合には、左右の画像の平均輝度を調整して輝度差を１０％（ＩＳＯ規格）以下に抑えるようにしてもよい。この場合には、左右で異なる映像を見る時の違和感を軽減することができる。
【００５２】
＜変形例４＞
ヘッドマウントディスプレイ３００に外光照度検知部としてのセンサーを配置して、外光照度をセンシングすることにより、表示輝度を外光に合わせて調整するようにしてもよい。この場合には、シースルー像と、拡大された可視光画像と赤外線画像を見たときの明るさ調整（瞳孔開き具合）の違和感を軽減することができる。
【００５３】
＜変形例５＞
ヘッドマウントディスプレイ３００に加速度検知部としての加速度センサーを配置し、ヘッドマウントディスプレイ３００の動き検出を行ってもよい。そして、ヘッドマウントディスプレイ３００の動きが一定の速さ以上を超える場合は、少なくとも片眼の表示を消し、静止状態になってから再表示するようにしてもよい。この場合には、左右で角速度の異なる映像を見る時の違和感を軽減することができる。
【００５４】
＜変形例６＞
上述した実施形態では、可視光画像と赤外線画像の拡大倍率を固定としたが、コントローラー６の操作に応じて、撮影倍率を選択するようにしてもよい。また、本発明は拡大する場合に限定される訳ではなく、撮影倍率は、１倍であってもよい。
【００５５】
＜変形例７＞
ヘッドマウントディスプレイ３００の内側にもカメラを配置し、当該カメラにより使用者のまばたき、目の開き具合などを撮影し、まばたき、目の開き具合などに応じて拡大率変更、表示オンオフなどの操作を行うようにしてもよい。この場合には、コントローラー６による操作を省略することができる。
【００５６】
＜変形例８＞
また、コントローラー等の操作に応じて、可視光画像である第１画像を右眼用の電気光学装置と左眼用の電気光学装置の両方に表示させてもよい。あるいは、赤外線画像である第２画像を右眼用の電気光学装置と左眼用の電気光学装置の両方に表示させるようにしてもよい。この場合には、使用者が可視光画像のみを注視したい場合、あるいは、赤外線画像のみを注視したい場合に、より鮮明にそれぞれの画像を表示させることができる。
【００５７】
＜変形例９＞
本発明は、以上のようなシースルー型のヘッドマウントディスプレイだけでなく、電子双眼鏡、ビデオシースルーと呼ばれるクローズド型ヘッドマウントディスプレイにも応用可能である。
【符号の説明】
【００５８】
５…制御回路、６…コントローラー、１０Ｌ，１０Ｒ…電気光学装置、２３…ビデオ入力部、２４，２５…ビデオ出力部、３０…カーソル画像、３２…拡張現実画像、１００…導光板、３００…ヘッドマウントディスプレイ、３１０…テンプル、３２０ａ…可視光用のカメラ、３２０ｂ…赤外線用のカメラ、３２１…ブリッジ。
【図１】
2017102221.tif 000003
【図２】
2017102221.tif 000004
【図３】
2017102221.tif 000005
【図４】
2017102221.tif 000006
【図５】
2017102221.tif 000007
【図６】
2017102221.tif 000008
【図７】
2017102221.tif 000009
【図８】
2017102221.tif 000010
【図９】
2017102221.tif 000011
【図１０】
2017102221.tif 000012