(57)【要約】【課題】小型かつ軽量でありながらも、広画角で幾何学的再現性が高い外界画像を観察者に提示する。【解決手段】画像観察装置は、外界を撮像する撮像系と、該撮像系により取得した外界画像を表示する画像表示手段１０２と、該画像表示手段からの表示光束を射出瞳２０１に導く表示光学系１０１とを有する。撮像系は、それぞれ撮像光学系１０５，１０７により形成された光学像を撮像素子１０４，１０６により撮像する複数のカメラと、外界からの入射光束を反射して複数のカメラに導く反射光学系１１０とを有する。複数のカメラのそれぞれの撮像光学系の入射瞳２００は、互いに同一の空間位置２０１′から反射光学系の反射によって移動された位置にある。反射光学系は、外界のうち複数の画角領域からの入射光束を反射して複数のカメラに導く複数の反射面１１０ｓを有する。【選択図】図２
2018189784.tif 000002
【特許請求の範囲】
【請求項１】
外界を撮像する撮像系と、該撮像系により取得した外界画像を表示する画像表示手段と、該画像表示手段からの表示光束を射出瞳に導く表示光学系とを有する画像観察装置であって、
前記撮像系は、それぞれ撮像光学系により形成された光学像を撮像素子により撮像する複数のカメラと、前記外界からの入射光束を反射して前記複数のカメラに導く反射光学系とを有し、
前記複数のカメラのそれぞれの前記撮像光学系の入射瞳は、互いに同一の空間位置から前記反射光学系の反射によって移動された位置にあり、
前記反射光学系は、前記外界のうち複数の画角領域からの入射光束を反射して前記複数のカメラに導く複数の反射面を有することを特徴とする画像観察装置。
【請求項２】
前記反射光学系は、前記入射光束を互いに反対方向に反射することを特徴とする請求項１に記載の画像観察装置。
【請求項３】
前記複数のカメラのそれぞれに対して、最も前記外界側に配置された第１の反射面を含む１面以上の前記反射面を有することを特徴とする請求項１または２に記載の画像観察装置。
【請求項４】
前記反射面での反射により前記入射光束の光路が折り曲げられる偏心断面における前記表示光学系の半画角をω１（ｄｅｇ）とし、前記偏心断面における前記複数のカメラのそれぞれの画角をω２（ｄｅｇ）とするとき、
ω１≦ω２
なる条件を満足することを特徴とする請求項１から３のいずれか一項に記載の画像観察装置。
【請求項５】
前記反射面での反射により前記入射光束の光路が折り曲げられる偏心断面における前記複数のカメラのそれぞれの画角をω２（ｄｅｇ）とし、前記複数のカメラのそれぞれに入射する中心画角主光線に対する前記第１の反射面の偏心角をθ（ｄｅｇ）とし、前記中心画角主光線上における前記第１の反射面から前記入射瞳までの距離をＬ（ｍｍ）とし、前記入射瞳の半径をｒ（ｍｍ）とし、前記撮像光学系のうち最も前記反射光学系側の第１面から前記入射瞳までの距離をｅ（ｍｍ）とするととき、
【数１】
2018189784.tif 000006
なる条件を満足することを特徴とする請求項１から４のいずれか一項に記載の画像観察装置。
【請求項６】
前記撮像素子が、前記複数の反射面の光学有効領域よりも前記射出瞳側に位置することを特徴とする請求項１から５のいずれか一項に記載の画像観察装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界を撮像するカメラとそのカメラにより取得された画像を表示光学系を通して観察者の眼に提示する画像観察装置に関する。
【背景技術】
【０００２】
現実世界（外界）と仮想世界とをリアルタイムに融合させる技術として、複合現実（ＭＲ：Mixed Reality）技術や拡張現実（ＡＲ：Augmented Reality）技術が知られている。これらＭＲ技術やＡＲ技術は、ビデオシースルー型ＨＭＤ（Head-Mounted Display）を利用する。このビデオシースルー型ＨＭＤは、特許文献１にて開示されているように、現実世界の映像をビデオカメラで取得し、その映像に仮想空間の映像（ＣＧ映像等）を重畳させ、その重畳映像を表示光学系を通して観察者に提示する。このようなビデオシースルー型ＨＭＤでは、観察者が観察する映像の幾何学的再現性を高めるために、カメラの入射瞳の位置と観察者の瞳（表示光学系の射出瞳）の位置のずれが極力少ないことが望ましい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６０４９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ビデオシースルー型ＨＭＤでは、観察者の眼前にある表示光学系よりも外界側にビデオカメラを配置する必要がある場合が多い。この場合に、ビデオカメラの入射瞳の位置と観察者の瞳の位置とのずれを少なくするためには、反射面を含む反射光学系によって撮像光学系の光路を折り曲げる必要がある。
【０００５】
しかしながら、表示光学系が大きい場合やビデオカメラの入射瞳の位置を観察者の瞳の位置に近づけるほど折り曲げた光路を長くする必要がある。この結果、反射光学系が大型化して、ＨＭＤ全体サイズや重量や増大する。
【０００６】
本発明は、小型かつ軽量でありながらも、広画角で幾何学的再現性が高い外界画像を観察者に提示可能な画像観察装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像観察装置は、外界を撮像する撮像系と、該撮像系により取得した外界画像を表示する画像表示手段と、該画像表示手段からの表示光束を射出瞳に導く表示光学系とを有する。撮像系は、それぞれ撮像光学系により形成された光学像を撮像素子により撮像する複数のカメラと、外界からの入射光束を反射して複数のカメラに導く反射光学系とを有する。複数のカメラのそれぞれの撮像光学系の入射瞳は、互いに同一の空間位置から反射光学系の反射によって移動された位置にある。反射光学系は、外界のうち複数の画角領域からの入射光束を反射して複数のカメラに導く複数の反射面を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、広画角で幾何学的再現性が高い外界画像を観察者に提示可能な小型かつ軽量な画像観察装置を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１であるビデオシースルー型ＨＭＤの構成を示す図。
【図２】実施例１のＨＭＤの構成を示す別の図。
【図３】屈曲光学系を用いないビデオシースルーＨＭＤを示す図。
【図４】１つのミラーのみを用いたビデオシースルーＨＭＤを示す図。
【図５】実施例１における数値条件を説明するための図。
【図６】本発明の実施例２であるビデオシースルー型ＨＭＤの構成を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１１】
図１は、本発明の実施例１である画像観察装置としてのビデオシースルー型ＨＭＤの構成を示している。この図は、観察者の眼球１０３の中心を通る垂直断面を示している。つまり、図１の紙に垂直な方向に観察者の両眼が配置されており、それぞれの眼に対して図１に示す構成が設けられている。図１において、観察者の眼球１０３の視軸方向を＋Ｚ方向とし、＋Ｚ方向に対して直交する水平方向および垂直方向にそれぞれ＋Ｘ方向（図１の紙面の手前方向）および＋Ｙ方向（上方向）とする。
【００１２】
１０１は表示光学系であり、それぞれパワーを有する３つの光学面で構成されるプリズムであり、観察者に対して後述する画像表示素子に表示された画像の拡大虚像を提示する。本実施例における表示光学系１０１は偏心光学系であり、図１に示す垂直断面内で偏心している。ただし、この表示光学系１０１は例に過ぎず、観察者に拡大虚像を提示できる光学系であればどのような構成を有していてもよい。
【００１３】
画像表示素子（画像表示手段）１０２は、液晶パネルや有機ＥＬパネルにより構成される。ただし、画像表示素子に代えて、レーザ光源と走査デバイスとを組み合わせて観察者に対して画像を表示するデバイスを用いてもよい。
【００１４】
図１は、画像表示素子１０２から出射し、表示光学系１０１を通って観察者１０３の瞳に至る表示光束のうち複数の主光線のみを示している。観察者は、眼球１０３の瞳をこれらの主光線が交わる点、すなわち表示光学系１０１の射出瞳の位置に配置することで画像表示素子１０２に表示された画像（映像）の拡大虚像を視認することができる。
【００１５】
１０５は第１の撮像光学系であり、被写体が現実に存在する外界のうち第１の画角領域（上側の画角領域）からの入射光束を第１の撮像素子１０４の撮像面上に結像させる。１０７は第２の撮像光学系であり、外界のうち第２の画角領域（下側の画角領域）からの入射光束を第２の撮像素子１０６の撮像面上に結像させる。第１および第２の撮像光学系１０５，１０７は互いに同一構成の光学系である。第１および第２の撮像素子１０４，１０６は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成され、第１および第２の撮像光学系１０５，１０７により形成された第１および第２の画角領域の光学像を光電変換（撮像）する。
【００１６】
第１および第２の撮像光学系１０５，１０７と第１および第２の撮像素子１０４，１０６により撮像系が構成される。また、第１の撮像光学系１０５と第１の撮像素子１０４により第１のカメラが構成され、第２の撮像光学系１０７と第１の撮像素子１０６により第２のカメラが構成される。なお、本実施例では２つのカメラを用いるが、３つ以上の複数のカメラを用いてもよい。
【００１７】
１１０は、Ｖ形状に配置された２つの反射面１１０ｓを有する主ミラーであり、外界を第１および第２の画角領域に分割する屈曲光学系（反射光学系）を構成する。２つの反射面１１０ｓは、屈曲光学系のうち最も外界側（被写体側）に配置された第１の反射面に相当する。これら反射面１１０ｓは、外界のうち上記第１および第２の画角領域からの入射光束を互いに反対方向（上方向と下方向）に反射する。なお、主ミラー１１０は、２つの反射面を有していれば、一体型でも２つのミラー部材を組み合わせたものであってもよい。第１および第２のカメラと主ミラー１１０とにより撮像系が構成される。
【００１８】
１０８は入射光束のうち第１および第２のカメラによって撮像される外界画角の中心を通って第１および第２の撮像素子１０４，１０６の撮像面の中心に至る中心画角主光線である。第１および第２のカメラと主ミラー１１０の２つの反射面は、外界から入射してくる中心画角主光線１０８を挟んで上下対称となるように配置されており、これらの焦点距離等の光学仕様は互いに同じである。このため、主ミラー１１０を介して第１および第２のカメラがそれぞれ撮像する第１および第２の画角領域の画角は互いに同じである。また、外界から主ミラー１１０に向かう中心画角主光線１０８の方向は、表示光学系１０１から観察者の眼球１０３に向かう中心画角主光線（画像表示素子１０２の表示面の中心から表示光学系１０１を介して射出瞳の中心に至る光線）１０９の方向と同じである。そして、第１および第２のカメラが撮像により取得した第１の映像と第２の映像を上下に合成して（繋ぎ合わせて）画像表示素子１０２に表示する。これにより、後述する仮想入射瞳２００′の位置から見た外界に相当する広画角の合成画像としての外界映像（外界画像）を観察者に提示することができる。
【００１９】
なお、外界のうち第１および第２の画角領域の合計画角は、少なくとも表示光学系の画角以上であることが望ましい。すなわち、図１に示す表示光学系１０１の偏心方向での半画角をω１とし、第１および第２のカメラのそれぞれの画角をω２とするとき、ω１≦ω２である（より好ましくはω１＜ω２である、更に好ましくはω１×１．１＜ω２である）ことが望ましい。これにより、撮像される外界画角を適宜調整することで、観察者は適切な大きさ感で外界映像を見ることができる。ＭＲ技術やＡＲ技術においては、この現実映像としての外界映像に対してＣＧ映像等の仮想映像を重畳した映像を観察者に提示する。
【００２０】
図２は、図１と同じ偏心断面における第１および第２のカメラ（第１および第２の撮像光学系１０５，１０７）の実効的な視点である仮想入射瞳２００′の位置を示している。第１および第２のカメラは、互いに同一の空間位置に仮想入射瞳２００′を有する。言い換えれば、第１および第２の撮像光学系１０５，１０７のそれぞれの実際の入射瞳２００は、互いに同一の空間位置（仮想入射瞳２００′）から屈曲光学系の反射によって移動された位置にある。なお、互いに同一の空間位置とは、それらに製造誤差等の誤差分のずれがある場合も含む。
【００２１】
観察者の眼球１０３の瞳が位置する表示光学系１０１の射出瞳２０１の位置と第１および第２の撮像光学系１０５，１０７の仮想入射瞳２００′の位置との差である瞳ずれ量Ｄは極力小さいほうが望ましい。図２における仮想入射瞳２００′は、第１および第２のカメラが表示光学系１０１よりも外界側（被写体側）に配置されているにも関わらず、表示光学系１０１よりも射出瞳（２０１）側に位置している。これにより、観察者は幾何学的な再現性の高い外界映像を観察することができる。
【００２２】
本実施例のような屈曲光学系を使用しない場合には、図３に示すように、カメラを表示光学系１０１の正面に配置することになるが、この場合はカメラの撮像光学系の入射瞳２０２は表示光学系１０１よりも外界側に位置する。したがって、瞳ずれ量Ｄ′は本実施例の瞳ずれ量Ｄよりも大きくなる。
【００２３】
また、図４は、１つのミラー３０１のみで本実施例と同等の瞳ずれ量Ｄ″を実現する場合の構成例を示す。この場合、ミラー３０１の大型化によってＨＭＤ全体が大型化し、全体の重量も増加する。ＨＭＤは観察者が頭部に装着するため、ＨＭＤとしてのサイズや重量はできるだけ小さいことが望ましい。
【００２４】
これらのことから分かるように、本実施例によれば、小型かつ軽量でありながらも、広画角の外界映像を観察者に提示可能なビデオシースルー型ＨＭＤを実現することができる。
【００２５】
以下、図５を用いて、第１および第２のカメラと主ミラー１１０の配置に関して満足することが望ましい条件について説明する。図５は、図１に示した第１および第２のカメラのうち一方のカメラの撮像光学系（１０５，１０７）および撮像素子１０４，０１６と主ミラー１１０のうち１つの反射面１１０ｓを示している。
【００２６】
図５において、反射面１１０ｓでの反射により入射光束の光路が折り曲げられる偏心断面（ＹＺ断面）におけるカメラ（撮像光学系）の画角をω２（ｄｅｇ）とし、該偏心断面における反射面１１０ｓの偏心角をθ（ｄｅｇ）とする。また、カメラに入射する中心画角主光線１０８上における反射面１１０ｓから撮像光学系の実際の入射瞳２００までの距離をＬ（ｍｍ）とし、該入射瞳２００の半径をｒ（ｍｍ）とする。さらに、撮像光学系のうち最も屈曲光学系側（反射光学系側）の第１面から入射瞳２００までの距離をｅ（ｍｍ）とする。このとき、少なくとも画角ω２の方向からの入射光線１４０が、反射面１１０ｓで反射した後の撮像光学系に干渉しないためには、以下の式（１）で示す条件を満足する必要がある。
【００２７】
【数１】
2018189784.tif 000003
【００２８】
本実施例の数値例を以下に示す。
ω１＝２０（ｄｅｇ）
ω２＝２５（ｄｅｇ）
Ｌ＝４０（ｍｍ）
θ＝４５（ｄｅｇ）
ｒ＝０．５（ｍｍ）
ｅ＝０．０（ｍｍ）。
この数値例では、式（１）は、
【００２９】
【数２】
2018189784.tif 000004
【００３０】
となり、式（１）の条件を満足する。これにより、光路の干渉（ケラレ）のない配置を実現することができる。
【実施例２】
【００３１】
図６は、本発明の実施例２であるビデオシースルー型ＨＭＤの構成を示している。この図も、図２と同様に偏心断面を示している。＋Ｚ方向、＋Ｘ方向および＋Ｙ方向の意味は実施例１と同じである。本実施例のＨＭＤも、実施例１と同様に、画像表示素子４０２、表示光学系４０１、第１のカメラ（第１の撮像光学系４０５および第１の撮像素子４０４）、第２のカメラ（第２の撮像光学系４０７および第２の撮像素子４０６）および屈曲光学系４１０を有する。
【００３２】
ただし、本実施例では、上述した瞳ずれ量Ｄを０にするため、屈曲光学系によって折り曲げる光路の長さを実施例１よりも長くしている。すなわち、第１および第２のカメラのそれぞれに入射する中心画角主光線１０８上における反射面（第１の反射面）４１０ｓからそのカメラの撮像光学系の実際の入射瞳４００までの距離Ｌ（ｍｍ）を長くしている。そして、これをコンパクトな構成で実現するために、屈曲光学系に２つの反射面４１０ｓを有する主ミラーだけでなく、さらにもう一度反射して光路を折り曲げるための副ミラーとしての２つの反射面（第２の反射面）４３１，４３２を設けている。つまり、第１および第２のメラのそれぞれに対して複数（本実施例では２つ）の反射面を設けている。これにより、屈曲光学系に入射してから第１および第２のカメラのそれぞれの入射瞳４００までの光路長を長くしつつコンパクトなＨＭＤを実現している。しかも、表示光学系４０１の射出瞳５０１の位置と第１および第２の撮像光学系４０５，４０７の仮想入射瞳４００′の位置とが一致しているため、観察者は幾何学的な再現性が実施例１より高い外界映像を観察することができる。
【００３３】
また、本実施例では、反射面４３１，４３２による光路の折り曲げによって、撮像素子４０６が屈曲光学系の光学有効領域のうち最も射出瞳（５０１）側の端４１０ｅよりも射出瞳側に位置している。これにより、ＨＭＤ全体のサイズをより小さくすることができる。
本実施例の数値例を以下に示す。
ω１＝２０（ｄｅｇ）
ω２＝２２（ｄｅｇ）
Ｌ＝７０（ｍｍ）
θ＝５５（ｄｅｇ）
ｒ＝０．５（ｍｍ）
ｅ＝１．０（ｍｍ）
この数値例では、式（１）の値は、
【００３４】
【数３】
2018189784.tif 000005
【００３５】
となり、式（１）の条件を満足する。これにより、光路の干渉（ケラレ）のない配置を実現することができる。
【００３６】
なお、本実施例では、各カメラに向かう光路を２面の反射面を用いて折り曲げる場合について説明したが、３面以上の反射面を用いてもよい。すなわち、各カメラに対して１面以上の反射面を有すれば、その数は問わない。
【００３７】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００３８】
１０１，４０１  表示光学系
１０２，４０２  画像表示素子
１０４，１０６，４０４，４０６  撮像素子
１０５，１０７，４０５，４０７  撮像光学系
１１０，４１０  主ミラー
２００，４００  （撮像光学系の）入射瞳
２０１，５０１  （表示光学系の）射出瞳
４３１，４３２  副ミラー
【図１】
2018189784.tif 000007
【図２】
2018189784.tif 000008
【図３】
2018189784.tif 000009
【図４】
2018189784.tif 000010
【図５】
2018189784.tif 000011
【図６】
2018189784.tif 000012