(57)【要約】【課題】任意の位置に画像を表示可能な光学イメージング装置の小型化、及び、画像の歪の抑制を両立する。【解決手段】光イメージング装置は、元画像に対応する光を屈折させる対物レンズを備え、負の屈折率を有する透過型ミラーを備え、透過型ミラーは、対物レンズで屈折した光を負の屈折率に応じて屈折させて透過させ、透過型ミラーを対称軸として対物レンズに対して対称となる結像点に、透過型ミラーの透過光を結像することにより、元画像に対応する空中画像を表示する。【選択図】図５
2019012251.tif 000002
【特許請求の範囲】
【請求項１】
元画像に対応する光を屈折させる対物レンズを備え、
負の屈折率を有する透過型ミラーを備え、
前記透過型ミラーは、
前記対物レンズで屈折した光を前記負の屈折率に応じて屈折させて透過させ、
前記透過型ミラーを対称軸として前記対物レンズに対して対称となる結像点に、前記透過型ミラーの透過光を結像することにより、前記元画像に対応する空中画像を表示する、
光学イメージング装置。
【請求項２】
前記対物レンズは、複数のマイクロレンズから構成されるマイクロレンズアレイであり、
前記マイクロレンズアレイは、前記元画像に対応する光を分散させる、
請求項１に記載の光学イメージング装置。
【請求項３】
前記元画像に対して仮想カメラ処理を実行することにより、複数の多視点元画像を生成する画像処理部を備え、
前記マイクロレンズアレイは、前記画像処理部によって生成された複数の多視点元画像に対応する光を分散させる、
請求項２に記載の光学イメージング装置。
【請求項４】
元画像に対応する光を屈折させる対物レンズを備え、
負の屈折率を有する透過型ミラーを備え、
前記透過型ミラーは、前記対物レンズで屈折した光を前記負の屈折率に応じて屈折させて透過させることにより、前記透過型ミラーを対称軸として前記対物レンズに対して対称となる結像点にバーチャル接眼レンズを形成する、
光学イメージング装置。
【請求項５】
前記バーチャル接眼レンズは、複数の仮想的なマイクロレンズから構成されるバーチャルマイクロレンズアレイである、
請求項４に記載の光学イメージング装置。
【請求項６】
前記透過型ミラーは、
前記対物レンズ側を向く第１面と、前記第１面の反対側を向く第２面と、を有し、
前記対物レンズの光軸に対して傾斜し、
前記対物レンズで屈折した光を前記第１面で受け、
前記第１面で受けた光を前記第２面から透過させる、
請求項１〜５の何れかに記載の光学イメージング装置。
【請求項７】
前記対物レンズは、前記対物レンズの光軸に沿って移動可能である、
請求項１〜６の何れかに記載の光学イメージング装置。
【請求項８】
元画像に対応する光を変調する空間光変調器を備え、
負の屈折率を有する透過型ミラーを備え、
前記透過型ミラーは、
前記空間光変調器によって変調された光を前記負の屈折率に応じて屈折させて透過させ、
前記透過型ミラーを対称軸として前記空間光変調器に対して対称となる結像点に、前記透過型ミラーの透過光を結像することにより、前記元画像に対応する空中画像を表示する、
光学イメージング装置。
【請求項９】
前記透過型ミラーは、
前記空間光変調器側を向く第１面と、前記第１面の反対側を向く第２面と、を有し、
前記空間光変調器の光軸に対して傾斜し、
前記空間光変調器によって変調された光を前記第１面で受け、
前記第１面で受けた光を前記第２面から透過させる、
請求項８に記載の光学イメージング装置。
【請求項１０】
前記空間光変調器は、前記空間光変調器の光軸に沿って移動可能である、
請求項８又は９に記載の光学イメージング装置。
【請求項１１】
前記元画像に対応する光を発光する光源を備える、
請求項１〜１０の何れかに記載の光学イメージング装置。
【請求項１２】
前記透過型ミラーの透過光の方向を制約する光フィルタを備える、
請求項１〜１１の何れかに記載の光学イメージング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学イメージング装置に関する。
【背景技術】
【０００２】
近年、ユーザに没入感を与える手法として、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）が注目されている。ＡＲやＭＲの中には、空中に画像を表示する技術を用いるものがある。
【０００３】
例えば、特許文献１は、空中に画像を表示するヘッドマウントディスプレイを開示している。特許文献１のヘッドマウントディスプレイは、レンズと、再帰性反射型ミラーと、を備える。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許８８３７０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の技術では、再帰性反射型ミラーと光源との距離が短くなるほど、再帰性反射型ミラーの屈折率が高くなる。従って、再帰性反射型ミラーで反射した光の結像（つまり、空中に表示される画像）が歪む。換言すると、特許文献１の技術は、空中に表示される画像の歪を防ぐために、再帰性反射型ミラーと光源との距離が十分に長いことが必要である。
従って、特許文献１のヘッドマウントディスプレイでは、小型化に制限がある。
【０００６】
つまり、従来、任意の位置に画像を表示可能な光学イメージング装置の小型化、及び、画像の歪の抑制を両立することは難しい。
【０００７】
本発明の目的は、任意の位置に画像を表示可能な光学イメージング装置の小型化、及び、画像の歪の抑制を両立することである。
【課題を解決するための手段】
【０００８】
本発明の一態様は、
元画像に対応する光を屈折させる対物レンズを備え、
負の屈折率を有する透過型ミラーを備え、
前記透過型ミラーは、
前記対物レンズで屈折した光を前記負の屈折率に応じて屈折させて透過させ、
前記透過型ミラーを対称軸として前記対物レンズに対して対称となる結像点に、前記透過型ミラーの透過光を結像することにより、前記元画像に対応する画像を表示する、
光学イメージング装置である。
【発明の効果】
【０００９】
本発明によれば、任意の位置に画像を表示可能な光学イメージング装置の小型化、及び、画像の歪の抑制を両立することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態のエアマウントディスプレイの模式図。
【図２】図１のエアマウントディスプレイのユーザビューを示す図。
【図３】図１のエアマウントディスプレイの構成を示す図。
【図４】図３の透過型ミラーの一例である透過型二面コーナーリフレクタアレイミラーの模式図。
【図５】図３のエアマウントディスプレイの動作原理の説明図。
【図６】本実施形態の変形例１の説明図。
【図７】本実施形態の変形例２のエアマウントディスプレイの動作原理の説明図。
【図８】本実施形態の変形例４のエアマウントディスプレイの動作原理の説明図。
【図９】変形例４の仮想カメラ処理の概略図。
【図１０】図８のエアマウントディスプレイにより表示される空中画像の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１２】
（１）エアマウントディスプレイの概要
本実施形態のエアマウントディスプレイの概要について説明する。図１は、本実施形態のエアマウントディスプレイの模式図である。図２は、図１のエアマウントディスプレイのユーザビューを示す図である。
【００１３】
図１のエアマウントディスプレイ１０は、任意の位置（例えば、空中）に画像を表示可能な光学イメージング装置の一例である。
エアマウントディスプレイ１０は、透過型ミラー１１を備える。
【００１４】
エアマウントディスプレイ１０は、透過型ミラー１１に対してユーザＵ側の空間（以下「第１空間」という）ＳＰ１と、透過型ミラー１１に対してユーザＵと反対側の空間（以下「第２空間」という）ＳＰ２と、を分離する。
【００１５】
エアマウントディスプレイ１０は、透過型ミラー１１を介して光ＯＰを第１空間ＳＰ１に結像することにより、任意の位置（例えば、空中）に空中画像ＩＭＧ１を表示する。
エアマウントディスプレイ１０は、第２空間ＳＰ２に配置された物理オブジェクトＯＢＪ１の反射光ＲＯＰを第２空間ＳＰ２から第１空間ＳＰ１に透過させることにより、ユーザＵの網膜に結像する。
【００１６】
ユーザＵは、物理オブジェクトＯＢＪ１と、空中画像ＩＭＧ１と、を同時に観察することができる。図２に示すように、ユーザＵには、空中画像ＩＭＧ１が物理オブジェクトＯＢＪ１に重畳して見える。
【００１７】
（２）エアマウントディスプレイの構成
本実施形態のエアマウントディスプレイの構成について説明する。図３は、図１のエアマウントディスプレイの構成を示す図である。
【００１８】
図３に示すように、エアマウントディスプレイ１０は、筐体１０ａと、透過型ミラー１１と、対物レンズ１２と、光源１３と、を備える。
【００１９】
筐体１０ａは、透過型ミラー１１と、対物レンズ１２と、光源１３と、を収容する。
【００２０】
透過型ミラー１１は、第１面１１ａと、第２面と１１ｂと、を有する。
第１面１１ａは、対物レンズ１２側（つまり、第２空間ＳＰ２）を向いている。
第２面１１ｂは、第１面１１ａの反対側（つまり、第１空間ＳＰ１）を向いている。
【００２１】
透過型ミラー１１は、筐体１０ａに回動可能に軸支されている。筐体１０ａに収容された透過型ミラー１１が回動すると、透過型ミラー１１は、筐体１０ａの外部において、対物レンズ１２の光軸に対して傾斜角θ（０＜θ≦９０°）を形成する（つまり、対物レンズ１２の光軸に対して傾斜する）。
透過型ミラー１１は、負の屈折率を有する。
【００２２】
透過型ミラー１１は、例えば、以下のものを含む。
・オプティカルメタマテリアルミラー
・透過型二面コーナーリフレクタアレイミラー（Transmission Type Dihedral Corner Reflector Array Mirror）
【００２３】
図３の対物レンズ１２は、光源１３の光（つまり、元画像ＩＭＧ０に対応する光）を屈折させるように構成される。
対物レンズ１２は、例えば、以下のものを含む。
・両凸レンズ
・平凸レンズ
・球面レンズ
・非球面レンズ
【００２４】
光源１３は、例えば、以下のものを含む。
・元画像を表示する液晶ディスプレイ
・元画像を表示する有機ＥＬ（Electro Luminescence）ディスプレイ
・元画像に対応する光を発光するプロジェクタ
【００２５】
仮想線ＶＬ１１は、対物レンズ１２の光軸である。
仮想線ＶＬ１２は、透過型ミラー１１と仮想線ＶＬ１１との交点１１ｃを通り、且つ、仮想線ＶＬ１１に直交する線である。
【００２６】
透過型ミラー１１は、仮想線ＶＬ１１に対して傾斜角θを形成する。
結像点ＩＰは、透過型ミラー１１を対称軸として対物レンズ１２に対して対称となる位置である。結像点ＩＰと交点１１ｃとの焦点距離ｄは、対物レンズ１２と交点１１ｃとの焦点距離ｄと等しい。
透過型ミラー１１を回動させると、傾斜角θが変化する。傾斜角θが変化すると、結像点ＩＰの位置が変わる。
【００２７】
ｆは、ユーザＵの目ＵＥの角膜と結像点ＩＰとの距離である。
ｌは、ユーザＵの目ＵＥの角膜と網膜との距離である。
ｆ＝ｌの場合、ユーザＵの目ＵＥと結像点ＩＰとのピントが合うので、空中画像ＩＭＧ１が鮮明に見える。
【００２８】
（２−１）透過型ミラーの構成
本実施形態の透過型ミラーの構成を説明する。図４は、図３の透過型ミラーの一例である透過型二面コーナーリフレクタアレイミラーの模式図である。
【００２９】
図４Ａは、透過型ミラー１１の一例である透過型二面コーナーリフレクタアレイミラーの外観を示している。
図４Ａに示すように、透過型ミラー１１は、第１面１１ａを含む第１層１１ｅと、第２面１１ｂを含む第２層１１ｆと、を有する。第１層１１ｅ及び第２層１１ｆは、Ｙ方向に積層されている。第１面１１ａは、第１層１１ｅ及び第２層１１ｆの積層方向（Ｙ方向）について、第２面１１ｂと反対方向を向く。
【００３０】
図４Ｂは、図４Ａの領域Ｉの拡大図である。
図４Ｂに示すように、透過型ミラー１１は、複数の第１マイクロミラーシート１１ｈａと、複数の第２マイクロミラーシート１１ｈｂと、を有する。
【００３１】
第１層１１ｅの複数の第１マイクロミラーシート１１ｈａは、ピッチｐでＸ方向に沿って配列されている。各第１マイクロミラーシート１１ｈａの反射面１１ｈａａは、第１マイクロミラーシート１１ｈａの配列方向（Ｘ方向）を向く。
第１層１１ｅに入射した光は、Ｘ方向に反射しながら進む。
【００３２】
第２層１１ｆの複数の第２マイクロミラーシート１１ｈｂは、ピッチｐでＺ方向に沿って配列されている。各第２マイクロミラーシート１１ｈｂの反射面１１ｈｂａは、第２マイクロミラーシート１１ｈｂの配列方向（Ｚ方向）を向く。
第２層１１ｆに入射した光は、Ｚ方向に反射しながら進む。
【００３３】
（３）エアマウントディスプレイの動作原理
本実施形態のエアマウントディスプレイの動作原理を説明する。図５は、図３のエアマウントディスプレイの動作原理の説明図である。
【００３４】
図５Ａに示すように、光源１３は、元画像ＩＭＧ０に対応する光ＯＰ０を発光する。
【００３５】
光ＯＰ０は、対物レンズ１２に入射する。対物レンズ１２は、光ＯＰ０を屈折させる。
【００３６】
透過型ミラー１１は、対物レンズ１２で屈折した光ＯＰ１を第１面１１ａで受ける。
透過型ミラー１１は、第１面１１ａで受けた光ＯＰ１を、負の屈折率に応じて屈折させて、第２面１１ｂから透過させる。
【００３７】
透過型ミラー１１の透過光ＯＰ２は、第１空間ＳＰ１内の結像点ＩＰで結像する。
これにより、結像点ＩＰに、透過光ＯＰ２に対応する空中画像ＩＭＧ１が表示される。空中画像ＩＭＧ１は、元画像ＩＭＧ０が拡大された実像である。ピッチｐ（図４）が小さいほど、空中画像ＩＭＧ１のノイズは小さくなる。
【００３８】
換言すると、図５Ｂに示すように、エアマウントディスプレイ１０は、結像点ＩＰに、バーチャル接眼レンズＶＬＥを形成する。バーチャル接眼レンズＶＬＥは、人間には見えないが、対物レンズ１２を実際に装着することなく、対物レンズ１２を介して元画像ＩＭＧ０に対応する実像を観察している感覚をユーザＵに与える。
【００３９】
（４）エアマウントディスプレイの使用例
本実施形態のエアマウントディスプレイの使用例について説明する。
【００４０】
（４−１）使用例１
使用例１について説明する。使用例１は、ユーザＵがエアマウントディスプレイ１０を装着して使用する例である。
【００４１】
ユーザＵは、自身の頭部にエアマウントディスプレイ１０を装着する。つまり、ユーザＵは、エアマウントディスプレイ１０を、ヘッドマウントディスプレイとして使用する
【００４２】
元画像ＩＭＧ０のコンテンツは、例えば、以下のものを含む。
・ビデオゲーム
・映画
・３Ｄコンテンツ
【００４３】
一般的なヘッドマウントディスプレイは、ユーザＵの視界を閉鎖する。従って、ユーザＵに違和感を与え、且つ、視野角ｖを制限する。
しかし、エアマウントディスプレイ１０は、ユーザＵの視界を閉鎖しない。従って、ユーザＵに違和感を与えることがなく、且つ、視野角ｖを制限することもない。
【００４４】
（４−２）使用例２
使用例２について説明する。使用例２は、ユーザＵがエアマウントディスプレイ１０から離れた位置でエアマウントディスプレイ１０を使用する例である。
【００４５】
一例として、エアマウントディスプレイ１０は、自動車の内装（例えば、サンバイザ、又は、ダッシュボード）に着脱可能に取り付けられる。
【００４６】
元画像ＩＭＧ０のコンテンツは、例えば、以下のものを含む。
・計器情報（一例として、速度、燃料の残量、バッテリの残量、及び、走行距離）
・ナビゲーション情報（一例として、目的地迄の経路を示す情報）
・映画
【００４７】
一般的なヘッドマウントディスプレイは、ユーザＵの視界を閉鎖するので、運転中に使用することはできない。
しかし、エアマウントディスプレイ１０は、ユーザＵの視界を閉鎖しない。従って、ユーザＵは、運転中であっても、エアマウントディスプレイ１０を安全に使用することができる。
【００４８】
別の例として、エアマウントディスプレイ１０は、机に着脱可能に取り付けられる。
【００４９】
元画像ＩＭＧ０のコンテンツは、例えば、コンピュータにインストールされたアプリケーション（一例として、ワープロアプリケーション）の画面を含む。
【００５０】
一般的なヘッドマウントディスプレイは、ユーザＵの視界を閉鎖する。従って、ユーザＵに違和感を与え、且つ、視野角ｖを制限する。
しかし、エアマウントディスプレイ１０は、ユーザＵの視界を閉鎖しない。従って、ユーザＵに違和感を与えることがなく、且つ、視野角ｖを制限することもない。
【００５１】
ユーザＵは、エアマウントディスプレイ１０を装着する必要がないので、エアマウントディスプレイ１０の重さを気にすることなく、元画像ＩＭＧ０のコンテンツを体験することができる。
特に、一般的なヘッドマウントディスプレイは、エアマウントディスプレイ１０に比べて重いので、長時間の使用には適していない。エアマウントディスプレイ１０は、長時間の使用であっても、ユーザＵに与える疲労を軽減することができる。
【００５２】
（５）小括
本実施形態について小括する。
【００５３】
本実施形態によれば、空中画像ＩＭＧ１は、透過型ミラー１１の透過光ＯＰ２の結像である。従って、空中画像ＩＭＧ１の形状は、光源１３と対物レンズ１２との物体距離ｓ（図３）には依存しない。従って、物体距離ｓに関わらず、空中画像ＩＭＧ１の歪を抑制することができる。
これにより、エアマウントディスプレイ１０の小型化、及び、空中画像ＩＭＧ１の歪の抑制を両立することができる。
【００５４】
本実施形態によれば、距離ｆが小さくなるほど、ユーザＵの視野角ｖは大きくなる。従って、空中画像ＩＭＧ１の歪の抑制しながら、空中画像ＩＭＧ１を観察するユーザＵの視野角ｖを拡げることができる。
【００５５】
一般に、人間は、物理的なレンズを介して対象物を観察すると、違和感を覚える。特に、従来のヘッドマウントディスプレイは、ユーザの視界を閉鎖するため、ユーザに大きな違和感を与える。
これに対して、本実施形態では、結像点ＩＰにバーチャル接眼レンズＶＬＥが形成されるので、ユーザＵは、物理的なレンズ（例えば、対物レンズ１２）を介さずに（つまり、裸眼で）、ピントの合った空中画像ＩＭＧ１を観察することができる。つまり、エアマウントディスプレイ１０は、ユーザＵに違和感を与えることなく、空中画像ＩＭＧ１を観察させることができる。その結果、ユーザＵの没入感を向上させることができる。
【００５６】
（６）変形例
本実施形態の変形例について説明する。
【００５７】
（６−１）変形例１
本実施形態の変形例１について説明する。図６は、本実施形態の変形例の説明図である。
【００５８】
図６Ａに示すように、対物レンズ１２は、仮想線ＶＬ１１に沿って、移動可能である。
対物レンズ１２が移動すると、焦点距離ｄが変化する。
【００５９】
例えば、対物レンズ１２がＬＯ方向（つまり、光源１３から離れる方向）に移動すると、焦点距離ｄが小さくなるので、結像点ＩＰは、ＲＲ方向（つまり、透過型ミラー１１に近づく方向）に移動する。
この場合、図６Ｂに示すように、空中画像ＩＭＧ１は、ＲＲ方向に移動する。
【００６０】
変形例１によれば、対物レンズ１２を移動させることにより、結像点ＩＰ（つまり、空中画像ＩＭＧ１の位置、又は、バーチャル接眼レンズＶＬＥの位置）を移動させることができる。
【００６１】
（６−２）変形例２
本実施形態の変形例２について説明する。図７は、本実施形態の変形例２のエアマウントディスプレイの動作原理の説明図である。
【００６２】
図７に示すように、変形例２のエアマウントディスプレイ１０は、対物レンズ１２（図３）に代えて、空間光変調器２０を備える。
【００６３】
図７Ａに示すように、空間光変調器２０は、光源１３の光（つまり、元画像ＩＭＧ０に対応する光）を変調するように構成される。
【００６４】
透過型ミラー１１は、空間光変調器２０によって変調された光ＯＰ１ａを第１面１１ａで受ける。
透過型ミラー１１は、第１面１１ａで受けた光ＯＰ１ａを、負の屈折率に応じて屈折させて、第２面１１ｂから透過させる。
【００６５】
換言すると、図７Ｂに示すように、エアマウントディスプレイ１０は、結像点ＩＰに、バーチャル空間光変調器ＶＳＬＭを形成する。バーチャル空間光変調器ＶＳＬＭは、ユーザＵには見えないが、対物レンズ１２を実際に装着することなく、元画像ＩＭＧ０に対応する実像を観察している感覚をユーザＵに与えることができる。
【００６６】
空間光変調器２０は、変形例１の対物レンズ１２と同様に、仮想線ＶＬ１１に沿って、移動可能である。
空間光変調器２０が移動すると、焦点距離ｄ（図７Ｂ）が変化する。
この場合、空間光変調器２０を移動させることにより、結像点ＩＰ（つまり、空中画像ＩＭＧ１の位置、又は、バーチャル空間光変調器ＶＳＬＭの位置）を移動させることができる。
【００６７】
更に、光源１３と透過型ミラー１１との間に、空間光変調器２０に代えて、第２透過型ミラーが配置されてもよい。第２透過型ミラーの構成は、透過型ミラー１１と同様である。
【００６８】
（６−３）変形例３
本実施形態の変形例３について説明する。変形例３は、透過型ミラー１１の映り込みを防ぐ例である。
【００６９】
透過型ミラー１１への映り込み（例えば、物理オブジェクトＯＢＪ１や目ＵＥの像の映り込み）を防ぐためには、透過型ミラー１１の透過光の方向を制約することが好ましい。
【００７０】
第１例として、光源１３の光の方向を制約することにより、透過型ミラー１１の透過光（第２空間ＳＰ２から第１空間ＳＰ１に透過する光）の方向を制約することができる。光源１３の光の方向を制約する方法は、以下の何れか、又は、それらの組合せである。
・光源１３の角度を調整する。
・光源１３の発光面を曲面にする。
【００７１】
第２例として、光源１３と透過型ミラー１１との間の第２空間ＳＰ２上に、光の方向を制約するように構成された光フィルタを設けることにより、透過型ミラー１１の透過光（第２空間ＳＰ２から第１空間ＳＰ１に透過する光）の方向を制約することができる。
【００７２】
第３例として、透過型ミラー１１の第１面１１ａに、光フィルタを設けることにより、透過型ミラー１１の透過光（第２空間ＳＰ２から第１空間ＳＰ１に透過する光）の方向を制約することができる。
【００７３】
第４例として、透過型ミラー１１の第２面１１ｂに、光フィルタを設けることにより、透過型ミラー１１の透過光（第１空間ＳＰ１から第２空間ＳＰ２に透過する光）の方向を制約することができる。
【００７４】
第５例として、透過型ミラー１１と目ＵＥとの間の第１空間ＳＰ１上に、光フィルタを設けることにより、透過型ミラー１１の透過光（第１空間ＳＰ１から第２空間ＳＰ２に透過する光）の方向を制約することができる。
【００７５】
変形例３によれば、透過型ミラー１１の透過光の方向が制約されるので、透過型ミラー１１への映り込みを防ぐことができる。
【００７６】
（６−４）変形例４
本実施形態の変形例４について説明する。変形例４は、ライトフィールドを利用する光学イメージングデバイスの例である。
【００７７】
（６−４−１）エアマウントディスプレイの動作原理
変形例４のエアマウントディスプレイ１０の動作原理を説明する。図８は、本実施形態の変形例４のエアマウントディスプレイの動作原理の説明図である。
【００７８】
図８Ａに示すように、変形例４のエアマウントディスプレイ１０は、対物レンズ１２（図３）に代えて、マイクロレンズアレイ４０を備える。また、エアマウントディスプレイ１０は、画像処理部４１を備える。
【００７９】
画像処理部４１は、エアマウントディスプレイ１０に接続された画像生成装置から元画像ＩＭＧ０を取得すると、元画像ＩＭＧ０に対する仮想カメラ処理を実行することにより、複数の多視点元画像ＩＭＧ０ａを生成するように構成される。
この場合、光源１３は、仮想カメラ処理によって生成された複数の多視点元画像ＩＭＧ０ａに対応する光を発光する。
【００８０】
マイクロレンズアレイ４０は、光源１３の光（つまり、複数の多視点元画像ＩＭＧ０ａに対応する光）ＯＰ４０を分散させるように構成される。マイクロレンズアレイ４０は、複数のマイクロレンズから構成される。
各マイクロレンズは、光源１３の光ＯＰ４０を屈折させるように構成される。各マイクロレンズは、例えば、正六角形状を有する。複数のマイクロレンズは、例えば、格子状に配列される。複数のマイクロレンズの配列は、各マイクロレンズの物理的な位置を示すレンズ座標により定義される。レンズ座標は、マイクロレンズアレイ４０の中心に対する各マイクロレンズの相対的な位置を示す。
【００８１】
透過型ミラー１１は、マイクロレンズアレイ４０によって分散された光ＯＰ４１を第１面１１ａで受ける。
透過型ミラー１１は、第１面１１ａで受けた光ＯＰ４１を、負の屈折率に応じて屈折させて、第２面１１ｂから透過させる。
【００８２】
透過型ミラー１１の透過光ＯＰ４２は、第１空間ＳＰ１内の結像点ＩＰで結像する。
これにより、結像点ＩＰに、透過光ＯＰ４２に対応する空中画像ＩＭＧ４が表示される。空中画像ＩＭＧ４は、元画像ＩＭＧ０が拡大された実像であって、且つ、元画像ＩＭＧ０のライトフィールドを有する。ピッチｐ（図４）が小さいほど、空中画像ＩＭＧ４のノイズは小さくなる。
【００８３】
換言すると、図８Ｂに示すように、エアマウントディスプレイ１０は、結像点ＩＰ４に、バーチャルマイクロレンズアレイＶＭＬＡを形成する。バーチャルマイクロレンズアレイＶＭＬＡは、複数の仮想的なマイクロレンズから構成される。バーチャルマイクロレンズアレイＶＭＬＡは、ユーザＵには見えないが、マイクロレンズアレイ４０を実際に装着することなく、マイクロレンズアレイ４０を通して元画像ＩＭＧ０に対応する実像を観察している感覚をユーザＵに与えることができる。
【００８４】
（６−４−２）仮想カメラ処理
変形例４の仮想カメラ処理について説明する。図９は、変形例４の仮想カメラ処理の概略図である。
【００８５】
図９Ａに示すように、画像処理部４１は、仮想空間ＶＳ上に、画像生成装置から取得した元画像ＩＭＧ０と、複数の仮想カメラＶＣと、を配置する。
仮想カメラＶＣの数は、マイクロレンズアレイ４０を構成するマイクロレンズの数と同数である。
複数の仮想カメラＶＣの仮想空間ＶＳ上の配列は、各仮想カメラＶＣの位置を示すカメラ座標により定義される。各カメラ座標は、各レンズ座標に対応する。
つまり、各仮想カメラＶＣは、各マイクロレンズと１対１に対応する。
【００８６】
図９Ｂに示すように、画像処理部４１は、画像生成装置から取得した元画像ＩＭＧ０から、複数の多視点元画像ＩＭＧ０ａを生成する。各多視点元画像ＩＭＧ０ａは、仮想空間に配置された仮想カメラによって撮像された像に相当する。
【００８７】
換言すると、複数の仮想カメラＶＣは、複数のマイクロレンズの配列に対応する複数の角度から、元画像ＩＭＧ０を撮像するように構成される。画像処理部４１は、画像生成装置から取得した元画像ＩＭＧ０を、異なる視点から見た多視点元画像ＩＭＧ０ａの集合に変換する。
【００８８】
（６−４−３）空中画像
変形例４の空中画像について説明する。図１０は、図８のエアマウントディスプレイにより表示される空中画像の一例を示す図である。
【００８９】
図８Ｂにおいて、ｆ≠ｌの位置にユーザの目ＵＥが位置する場合、目ＵＥと結像点ＩＰとのピントがずれる。この場合、図１０Ａに示すように、空中画像ＩＭＧ４は、複数の画像ＩＭＧ４ａの集合に見える。
【００９０】
図８Ｂにおいて、ｆ＝ｌの位置にユーザの目ＵＥが位置する場合、目ＵＥと結像点ＩＰとのピントが合う。この場合、空中画像ＩＭＧ４は、立体画像ＩＭＧ４ｂに見える。
これは、光源１３が発光する光（つまり、複数の多視点元画像ＩＭＧ０ａに対応する光）が、マイクロレンズアレイ４０によって、ライトフィールドが保持されたまま、透過型ミラー１１に入射するためである。
空中画像ＩＭＧ４のライトフィールドは、ユーザＵの目ＵＥが特定の位置に位置する場合、視差を生じさせる。つまり、空中画像ＩＭＧ４は、特定の位置に位置する目ＵＥにとって、視差画像となる。
その結果、ユーザＵには、多視点元画像ＩＭＧ０ａの空中画像ＩＭＧ４が立体画像ＩＭＧ４ｂに見える。
【００９１】
マイクロレンズアレイ４０は、変形例１の対物レンズ１２と同様に、仮想線ＶＬ４１に沿って、移動可能である。
マイクロレンズアレイ４０が移動すると、焦点距離ｄ（図８Ｂ）が変化する。
【００９２】
一例として、マイクロレンズアレイ４０が光源１３に近づく方向に移動すると、焦点距離ｄが大きくなるので、結像点ＩＰは、透過型ミラー１１から離れる方向に移動する。この場合、空中画像ＩＭＧ４は、焦点距離ｄに応じて拡大される。
別の例として、マイクロレンズアレイ４０が光源１３から離れる方向に移動すると、焦点距離ｄが小さくなるので、結像点ＩＰは、透過型ミラー１１に近づく方向に移動する。この場合、空中画像ＩＭＧ４は、目ＵＥと結像点ＩＰとの距離にかかわらず、ぼけがない像として結像される。従って、ユーザＵに目ＵＥの位置を変えさせることなく、目ＵＥと結像点ＩＰとのピントを合わせることができる。特に、目ＵＥの近い位置に鮮明な空中画像ＩＭＧ４を提供することができる。
別の例として、元画像ＩＭＧ０に応じてマイクロレンズアレイ４０を移動させることにより、マイクロレンズアレイ４０と光源１３との距離を動的に変化させる。この場合、元画像ＩＭＧ０に応じて被写界深度を調整することができる。従って、ユーザＵに対して、元画像ＩＭＧ０に応じてぼかされた空中画像ＩＭＧ４を提供することができる。
【００９３】
光源１３は、１対の光源であってもよい。
透過型ミラー１１は、中央で仕切られる（つまり、一対の透過型ミラーから構成される）。
この場合、左目用の空中画像ＩＭＧ４と、右目用の空中画像ＩＭＧ４と、が形成される。この２つの空中画像ＩＭＧ４は、ユーザＵの目ＵＥにとって視差画像となる。
その結果、ユーザＵには、多視点元画像ＩＭＧ０ａの空中画像ＩＭＧ４が立体画像ＩＭＧ４ｂに見える。
【００９４】
画像処理部４１は、省略可能である。
この場合、エアマウントディスプレイ１０は、画像処理部４１を備える画像生成装置から、複数の多視点元画像ＩＭＧ０ａを取得する。
光源１３は、取得された複数の多視点元画像ＩＭＧ０ａに対応する光を発光する。
【００９５】
変形例４によれば、多視点元画像ＩＭＧ０ａに対応する空中画像ＩＭＧ４を形成することにより、立体画像を観察するためのレンズ（例えば、ヘッドマウントディスプレイ）を装着していないユーザＵに立体画像ＩＭＧ４ｂを観察させることができる。
これにより、立体画像を観察するユーザＵの視野角を拡げることができる。
【００９６】
また、変形例４によれば、ライトフィールドが保持したまま空中画像ＩＭＧ４を形成することにより、本実施形態に比べて、元画像ＩＭＧ０に対する空中画像ＩＭＧ４の歪みを抑制することができる。その結果、ユーザＵにとって、より自然に見える空中画像ＩＭＧ４を提供することができる。
【００９７】
（７）その他の変形例
【００９８】
上記実施形態では、エアマウントディスプレイ１０が光源１３を備える例を示したが、光源１３は、エアマウントディスプレイ１０の外部に設けられてもよい。
図３の光源１３がエアマウントディスプレイ１０の外部に設けられる場合、筐体１０ａは、開口部を有する。光源１３の光は、開口部を介して対物レンズ１２に入射する。対物レンズ１２は、開口部から入射した光を屈折させるように構成される。
図７Ａの光源１３がエアマウントディスプレイ１０の外部に設けられる場合、筐体１０ａは、開口部を有する。光源１３の光は、開口部を介して空間光変調器２０に入射する。空間光変調器２０は、開口部から入射した光を変調するように構成される。
【００９９】
光源１３は、エアマウントディスプレイ１０に接続された外部装置によって生成された元画像ＩＭＧ０に対応する光を発光しても良い。外部装置は、例えば、以下のものを含む。
・据え置き型ゲーム機
・携帯型ゲーム機
・パーソナルコンピュータ
・タブレット端末
・スマートフォン
・ファブレット
・ビデオプレイヤ
・テレビ
【０１００】
エアマウントディスプレイ１０は、空中以外の場所（例えば、水中）の結像点ＩＰに空中画像ＩＭＧ１を表示してもよい。
【０１０１】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【０１０２】
１０        ：エアマウントディスプレイ
１０ａ      ：筐体
１１        ：透過型ミラー
１１ａ      ：第１面
１１ｂ      ：第２面
１１ｃ      ：交点
１１ｄ      ：回動軸
１１ｅ      ：第１層
１１ｆ      ：第２層
１１ｈａ    ：第１マイクロミラーシート
１１ｈａａ  ：反射面
１１ｈｂ    ：第２マイクロミラーシート
１１ｈｂａ  ：反射面
１２        ：レンズ
１３        ：光源
２０        ：空間光変調器
４０        ：マイクロレンズアレイ
４１        ：画像処理部
【図１】
2019012251.tif 000003
【図２】
2019012251.tif 000004
【図３】
2019012251.tif 000005
【図４】
2019012251.tif 000006
【図５】
2019012251.tif 000007
【図６】
2019012251.tif 000008
【図７】
2019012251.tif 000009
【図８】
2019012251.tif 000010
【図９】
2019012251.tif 000011
【図１０】
2019012251.tif 000012
【手続補正書】
【提出日】平成30年3月7日(2018.3.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
元画像に対して仮想カメラ処理を実行することにより、複数の多視点元画像を生成する画像処理部を備え、
複数のマイクロレンズを有するマイクロレンズアレイを備え、
前記マイクロレンズアレイは、前記画像処理部によって生成された複数の多視点元画像に対応する光を分散させ、
負の屈折率を有する透過型ミラーを備え、
前記透過型ミラーは、
前記マイクロレンズアレイで分散した光を前記負の屈折率に応じて屈折させて透過させ、
前記透過型ミラーを対称軸として前記マイクロレンズアレイに対して対称となる結像点に、前記透過型ミラーの透過光を結像することにより、前記多視点元画像に対応する空中画像を表示する、
光学イメージング装置。
【請求項２】
元画像に対して仮想カメラ処理を実行することにより、複数の多視点元画像を生成する画像処理部を備え、
複数のマイクロレンズを有するマイクロレンズアレイを備え、
前記マイクロレンズアレイは、前記画像処理部によって生成された複数の多視点元画像に対応する光を分散させ、
負の屈折率を有する透過型ミラーを備え、
前記透過型ミラーは、前記マイクロレンズアレイで分散した光を前記負の屈折率に応じて屈折させて透過させることにより、前記透過型ミラーを対称軸として前記マイクロレンズアレイに対して対称となる結像点にバーチャルマイクロレンズアレイを形成する、
光学イメージング装置。
【請求項３】
前記透過型ミラーは、
前記マイクロレンズアレイ側を向く第１面と、前記第１面の反対側を向く第２面と、を有し、
前記マイクロレンズアレイの光軸に対して傾斜し、
前記マイクロレンズアレイで分散した光を前記第１面で受け、
前記第１面で受けた光を前記第２面から透過させる、
請求項１又は２に記載の光学イメージング装置。
【請求項４】
前記マイクロレンズアレイは、前記マイクロレンズアレイの光軸に沿って移動可能である、
請求項１〜３の何れかに記載の光学イメージング装置。
【請求項５】
前記多視点元画像に対応する光を発光する光源を備える、
請求項１〜４の何れかに記載の光学イメージング装置。
【請求項６】
前記透過型ミラーの透過光の方向を制約する光フィルタを備える、
請求項１〜５の何れかに記載の光学イメージング装置。