(57)【要約】【課題】シースルー方式を採用する網膜投影装置を装着する観察者の疲労を軽減する。【解決手段】  観察者の網膜に画像を投影する網膜投影装置と接続された画像処理装置は、網膜投影装置を装着したユーザが注視している注視点と観察者との間の距離を示す注視距離を計算する手段を備え、３次元データの頂点情報を２次元空間の画素情報に変換する手段を備え、注視距離に基づいて、画素情報に対して、注視点を含む注視領域と、注視領域以外の非注視領域と、を設定する手段を備え、非注視領域の非注視画素の画素情報に対して、ブラー処理を実行する手段を備え、ブラー処理が実行された後の画素情報を網膜投影装置に出力する手段を備える。【選択図】図１０
2020021012.tif 000002
【特許請求の範囲】
【請求項１】
観察者の網膜に画像を投影する網膜投影装置と接続された画像処理装置であって、
前記網膜投影装置を装着したユーザが注視している注視点と前記観察者との間の距離を示す注視距離を計算する手段を備え、
３次元データの頂点情報を２次元空間の画素情報に変換する手段を備え、
前記注視距離に基づいて、前記画素情報に対して、前記注視点を含む注視領域と、前記注視領域以外の非注視領域と、を設定する手段を備え、
前記非注視領域の非注視画素の画素情報に対して、ブラー処理を実行する手段を備え、
前記ブラー処理が実行された後の画素情報を前記網膜投影装置に出力する手段を備える、
画像処理装置。
【請求項２】
前記ブラー処理を実行する手段は、
前記注視点の注視座標と、前記非注視領域の各非注視画素の座標と、に基づいて、前記注視点と各非注視画素との間の非注視距離を計算し、
各非注視画素の画素情報に対して、前記注視距離及び前記非注視距離の組合せに応じたブラーレベルのブラー処理を実行する、
請求項１に記載の画像処理装置。
【請求項３】
前記計算する手段は、前記観察者の角膜屈折率に基づいて前記注視距離と、前記注視点の注視座標と、を計算し、
前記設定する手段は、前記注視座標に基づいて、前記注視領域及び前記非注視領域を設定する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記計算する手段は、前記観察者の視界の深度画像データの深度情報に基づいて、前記注視距離を計算する、
請求項１〜３の何れかに記載の画像処理装置。
【請求項５】
前記計算する手段は、前記観察者の視界の画像データの特徴量に基づいて、前記注視距離を計算する、
請求項１〜４の何れかに記載の画像処理装置。
【請求項６】
前記計算する手段は、前記観察者の視線に関するアイトラック情報に基づいて、前記注視距離を計算する、
請求項５に記載の画像処理装置。
【請求項７】
前記計算する手段は、前記アイトラック情報に基づいて、前記注視点の注視座標を計算し、
前記設定する手段は、前記注視座標に基づいて、前記注視領域及び前記非注視領域を設定する、
請求項６に記載の画像処理装置。
【請求項８】
前記計算する手段は、前記観察者の両目の視線に関するアイトラック情報に基づいて、前記注視距離を計算する、
請求項１〜７の何れかに記載の画像処理装置。
【請求項９】
コンピュータを、請求項１〜８の何れかに記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、観察者の網膜に像を投影する網膜投影装置が注目されている。
例えば、特許文献１は、画像処理装置によって生成された像を網膜に投影する眼鏡型ディスプレイを開示している。特許文献１の眼鏡型ディスプレイのユーザは、眼球を動かしても網膜に投影された像を観察することができる。
【０００３】
特に、現実空間の像と、画像処理装置によって生成された像と、を同時に観察させるためのシースルー方式を採用する網膜投影装置は、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality））への応用が期待されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１６９９２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、人間は、現実空間を観察するときに、特定の注視点に視線を向ける。そのため、現実空間の像のうち注視点の周辺から離れた位置の像はボケたように見える。
【０００６】
しかし、特許文献１では、観察者の注視点を考慮していないので、画像処理装置がブラー処理を実行したとしても、画像処理装置によって生成される像のボケと、観察者が観察する現実空間の像のボケとが一致しない。このボケの差は、観察者の疲労の原因になる。
【０００７】
つまり、従来技術では、シースルー方式を採用する網膜投影装置において、現実空間の像のボケと画像処理装置によって生成された像のボケとの不一致に起因する疲労が大きい。
【０００８】
本発明の目的は、シースルー方式を採用する網膜投影装置を装着する観察者の疲労を軽減することである。
【課題を解決するための手段】
【０００９】
本発明の一態様は、
観察者の網膜に画像を投影する網膜投影装置と接続された画像処理装置であって、
前記網膜投影装置を装着したユーザが注視している注視点と前記観察者との間の距離を示す注視距離を計算する手段を備え、
３次元データの頂点情報を２次元空間の画素情報に変換する手段を備え、
前記注視距離に基づいて、前記画素情報に対して、前記注視点を含む注視領域と、前記注視領域以外の非注視領域と、を設定する手段を備え、
前記非注視領域の非注視画素の画素情報に対して、ブラー処理を実行する手段を備え、
前記ブラー処理が実行された後の画素情報を前記網膜投影装置に出力する手段を備える、
画像処理装置である。
【発明の効果】
【００１０】
本発明によれば、シースルー方式を採用する網膜投影装置を装着する観察者の疲労を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の網膜投影装置の外観を示す図である。
【図２】図１の網膜投影装置のユーザビューを示す図である。
【図３】図１の網膜投影装置の構成を示す図である。
【図４】図３の光源の一例を示す模式図である。
【図５】図３の透過型ミラーの一例である透過型二面コーナーリフレクタアレイミラーの模式図である。
【図６】図３の透過型ミラーの動作原理の説明図である。
【図７】図３の透過型ミラーの動作原理の第１観点の説明図である。
【図８】図３の透過型ミラーの動作原理の第２観点の説明図である。
【図９】図３の透過型ミラーの動作原理の第３観点の説明図である。
【図１０】本実施形態の画像処理のフローチャートである。
【図１１】図１０の注視点の特定の処理の説明図である。
【図１２】図１０の領域設定及びブラー処理の説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１３】
以下の説明では、「光透過性」とは、光（特に、光源１３（図１）から出射される光）を透過する性質を意味するが、透過度の大小は問わない。
【００１４】
（１）網膜投影装置の概要
本実施形態の網膜投影装置の概要について説明する。図１は、本実施形態の網膜投影装置の外観を示す図である。図２は、図１の網膜投影装置のユーザビューを示す図である。
【００１５】
図１の網膜投影装置１０は、観察者Ｕ（図２）の網膜に画像を投影するように構成される。
図１に示すように、網膜投影装置１０は、フレーム１０ａと、透過型ミラー１１と、接眼ミラー１２と、光源１３と、光透過プレート１４と、を備える。
【００１６】
左右のフレーム１０ａ内には、それぞれ、一対の光源１３と、一対の透過型ミラー１１と、が埋め込まれている。
光透過プレート１４は、光透過性を有する材料（例えば、プラスチック又はガラス）である。一対の光透過プレート１４内には、それぞれ、接眼ミラー１２が埋め込まれている。
【００１７】
網膜投影装置１０の光学系は、光源１３と、透過型ミラー１１と、接眼ミラー１２と、を含む。この光学系によって、光源１３の光の像が観察者Ｕの網膜に投影される。
【００１８】
図２に示すように、網膜投影装置１０は、画像処理装置３０と接続可能である。例えば、画像処理装置３０は、３次元画像ＩＭＧの画像データを生成し、且つ、当該画像データを網膜投影装置１０に送信するように構成されたコンピュータである。光源１３は、画像処理装置３０から送信された画像に対応する光を出射する。この場合、網膜投影装置１０を装着した観察者Ｕのビュー（以下「観察者ビュー」という）ＵＶには、３次元画像ＩＭＧが空中に表示されたように見える。
また、光透過プレート１４は、観察者Ｕの周囲に実在する物理オブジェクトに反射した光を透過するので、観察者Ｕには、３次元画像ＩＭＧと、物理オブジェクトの像と、が重畳して見える。
【００１９】
このように、網膜投影装置１０は、空中に投影した３次元画像ＩＭＧを観察させる機能（いわゆる空中ディスプレイとしての機能）と、３次元画像ＩＭＧと物理オブジェクトの像とを重畳して観察させる機能（いわゆる、ＡＲやＭＲのためのディスプレイとしての機能）と、を有するシースルー方式を採用する。
【００２０】
以下の説明では、図２に示すように、網膜投影装置１０を装着したときの観察者Ｕの頭頂部側Ｕｈｔの方向を「上方ＵＰ」といい、上方ＵＰに対して反対方向を「下方ＬＯ」といい、観察者Ｕにとって右側方向を「右側方Ｒ」といい、観察者にとって左側方向を「左側方ＨＬ」といい、観察者にとって前方方向を「前方ＦＲ」といい、観察者にとって後方方向を「後方ＲＲ」という。
【００２１】
（２）網膜投影装置の構成
本実施形態の網膜投影装置の構成について説明する。図３は、図１の網膜投影装置の構成を示す図である。
【００２２】
図３に示すように、網膜投影装置１０は、画像処理装置３０と接続可能である。網膜投影装置１０は、透過型ミラー１１と、接眼ミラー１２と、光源１３と、を備える。
【００２３】
光源１３は、放射状に直進する光ＯＰ０（例えば、平行光）を出射するように構成される。光源１３から出射された光ＯＰ０は元画像に対応する。元画像は、網膜投影装置１０に接続された画像処理装置３０によって生成される。
【００２４】
透過型ミラー１１は、第１面１１ａと、第２面と１１ｂと、を有する。
第１面１１ａは、光源１３側の空間（つまり、第２空間ＳＰ２）を向いている。
第２面１１ｂは、第１面１１ａの反対側の空間（つまり、第１空間ＳＰ１）を向いている。
【００２５】
透過型ミラー１１は、接眼ミラー１２に対して光源１３側に配置される。つまり、透過型ミラー１１は、網膜投影装置１０の光学系において、光源１３と接眼ミラー１２との間に位置する。
透過型ミラー１１は、透過型ミラー１１に入射する放射状の入射光ＯＰ０を反射させながら、逆放射状に透過させることにより、光の波面を歪ませることなく、透過光ＯＰ１を生成するように構成される。透過光ＯＰ１は、透過型ミラー１１を起点として逆放射状に直進し、透過型ミラー１１を対称軸として光源１３に対して対象となる位置の焦点ＦＰで集束する。
【００２６】
透過型ミラー１１は、例えば、以下のものを含む。
・オプティカルメタマテリアルミラー
・透過型二面コーナーリフレクタアレイミラー（Transmission Type Dihedral Corner Reflector Array Mirror）
【００２７】
接眼ミラー１２は、透過型ミラー１１に対して観察者Ｕの眼球ＵＥ側に配置される。つまり、接眼ミラー１２は、網膜投影装置１０の光学系において、透過型ミラー１１と眼球ＵＥとの間に位置する。
図３Ａに示すように、接眼ミラー１２は、透過型ミラー１１の透過光を観察者Ｕに向かって反射させることにより、光源１３から出射された光ＯＰ０に対応する像を、観察者Ｕの網膜に投影するように構成される。
換言すると、図３Ｂに示すように、接眼ミラー１２は、透過型ミラー１１の透過光を反射させることにより、光源１３と等価な仮想光源を空間上の焦点ＦＰに転写するように構成される。
【００２８】
画像処理装置３０は、画像を生成し、且つ、生成した画像を網膜投影装置１０に送信するように構成される。
【００２９】
（２−１）光源の構成
本実施形態の光源の構成を説明する。図４は、図３の光源の一例を示す模式図である。
【００３０】
図４Ａは、光源１３の第１例の模式図である。
図４Ａに示すように、光源１３の第１例は、放射状に直進する光を出射するレーザプロジェクタ１３１である。
レーザプロジェクタ１３１は、可視光レーザＯＰ０を出射するように構成される。レーザプロジェクタ１３１は、例えば、任意の色（例えば、赤色、緑色、及び、青色の少なくとも１色）の可視光レーザＯＰ０を出射する半導体レーザを備える。
レーザプロジェクタ１３１から出射された可視光レーザＯＰ０は、レーザプロジェクタ１３１を起点として、放射状に直進する。
【００３１】
図４Ｂは、光源１３の第２例の模式図である。
図４Ｂに示すように、光源１３の第２例は、ディスプレイ１３２ａと、ピンホール１３２ｂと、を備える。
【００３２】
ディスプレイ１３２ａは、元画像に対応する光を発光するように構成される。ディスプレイ１３２ａは、例えば、以下の何れかである。
・液晶ディスプレイ
・有機ＥＬ（Electro Luminescence）ディスプレイである。
【００３３】
ディスプレイ１３２ａの光ＯＰ０は、ピンホール１３２ｂで集束する。
ピンホール１３２ｂで集束した光ＯＰ０は、ピンホール１３２ｂを起点として、放射状に直進する。
【００３４】
図４Ｃは、光源１３の第３例の模式図である。
図４Ｃに示すように、光源１３の第３例は、逆放射状に直進する光を出射するレーザプロジェクタ１３３である。
レーザプロジェクタ１３３は、可視光レーザＯＰ０を出射するように構成される。レーザプロジェクタ１３１は、例えば、任意の色（例えば、赤色、緑色、及び、青色の少なくとも１色）の可視光レーザＯＰ０を出射する半導体レーザを備える。
レーザプロジェクタ１３３から出射された可視光レーザＯＰ０は、レーザプロジェクタ１３３を起点として、逆放射状に直進する。
レーザプロジェクタ１３３は、ＳＬＭ型であっても良いし、レーザスキャン型であっても良い。
【００３５】
このように、光源１３は、発光源（例えば、図４Ａのレーザプロジェクタ１３１）が放射状に直進する光を発光するものであっても良いし、発光源（例えば、図４Ｂのディスプレイ１３２ａ）の先に配置された光学素子（例えば、図４Ｂのピンホール１３２ｂ）が放射状に直進する光を生成するものであっても良いし、発光源（例えば、図４Ｃのレーザプロジェクタ１３３）が逆放射状に直進する光を発光するものであっても良い。
【００３６】
（２−２）透過型ミラーの構成
本実施形態の透過型ミラーの構成を説明する。図５は、図３の透過型ミラーの一例である透過型二面コーナーリフレクタアレイミラーの模式図である。
【００３７】
図５Ａは、透過型ミラー１１の一例である透過型二面コーナーリフレクタアレイミラーの外観を示している。
図５Ａに示すように、透過型ミラー１１は、第１面１１ａを含む第１層１１ｅと、第２面１１ｂを含む第２層１１ｆと、を有する。第１層１１ｅ及び第２層１１ｆは、Ｙ方向に積層されている。第１面１１ａは、第１層１１ｅ及び第２層１１ｆの積層方向（Ｙ方向）について、第２面１１ｂと反対方向を向く。
【００３８】
図５Ｂは、図５Ａの領域Ｉの拡大図である。
図５Ｂに示すように、透過型ミラー１１は、複数の第１マイクロミラーシート１１ｈａと、複数の第２マイクロミラーシート１１ｈｂと、を有する。
【００３９】
第１層１１ｅの複数の第１マイクロミラーシート１１ｈａは、ピッチｐでＸ方向に沿って配列されている。各第１マイクロミラーシート１１ｈａの反射面１１ｈａａは、第１マイクロミラーシート１１ｈａの配列方向（Ｘ方向）を向く。
第１層１１ｅに入射した光は、Ｘ方向に反射しながら進む。
【００４０】
第２層１１ｆの複数の第２マイクロミラーシート１１ｈｂは、ピッチｐでＺ方向に沿って配列されている。各第２マイクロミラーシート１１ｈｂの反射面１１ｈｂａは、第２マイクロミラーシート１１ｈｂの配列方向（Ｚ方向）を向く。
第２層１１ｆに入射した光は、Ｚ方向に反射しながら進む。
【００４１】
つまり、透過型ミラー１１は、入射光をＸ方向及びＺ方向に反射させながら、Ｙ方向に透過させるように構成される。換言すると、透過型ミラー１１は、入射光に対して、Ｘ方向及びＺ方向に再帰性させ、且つ、Ｙ方向に正反射させる光学素子として機能する。
【００４２】
接眼ミラー１２が透過型二面コーナーリフレクタアレイミラーである場合、接眼ミラー１２の構成は、図５の構成と同様である。
【００４３】
（３）網膜投影装置の動作原理
本実施形態の網膜投影装置の動作原理を説明する。
【００４４】
（３−１）透過型ミラーの動作原理
本実施形態の透過型ミラーの動作原理を説明する。図６は、図３の透過型ミラーの動作原理の説明図である。
【００４５】
図６に示すように、透過型ミラー１１の平面に沿ったＸＺ平面によって、第１空間ＳＰ１と、第２空間ＳＰ２と、に分割される。
また、ＸＺ平面と、透過型ミラー１１の法線に沿ったＹ軸と、によって、第１空間ＳＰ１及び第２空間ＳＰ２は、４つの象限（第１象限Ｑ１〜第４象限Ｑ４）に分割される。
【００４６】
第２空間ＳＰ２は、第１象限Ｑ１及び第４象限Ｑ４を含む。
第１象限Ｑ１は、入射光ＯＰ０が進行する空間（つまり、光源１３が配置される空間）である。第１象限Ｑ１は、Ｙ軸（つまり、透過型ミラー１１の光軸）を含む。
第４象限Ｑ４は、Ｙ軸に対して第１象限Ｑ１と反対側の空間である。
【００４７】
第１空間ＳＰ１は、第２象限Ｑ２及び第３象限Ｑ３を含む。
第２象限Ｑ２は、透過光ＯＰ１が進行する空間（つまり、観察者Ｕの眼球ＵＥを含む空間）である。第２象限Ｑ２は、Ｙ軸（つまり、透過型ミラー１１の光軸）を含む。
第３象限Ｑ３は、Ｙ軸に対して第２象限Ｑ２と反対側の空間である。
【００４８】
第１象限Ｑ１及び第２象限Ｑ２は、透過型ミラー１１（ＸＺ平面）を基準として互いに反対側に位置し、且つ、透過型ミラー１１の法線（Ｙ軸）を基準として同じ側に位置する。
【００４９】
光源１３から出射された光が透過型ミラー１１に直接入射する場合、光源１３は、第１象限Ｑ１に配置される。
【００５０】
（３−１−１）透過型ミラーの動作原理の第１観点
第１観点では、透過型ミラー１１が入射光ＯＰ０の進行方向を変えるように構成されるという観点で、透過型ミラー１１の動作原理を説明する。図７は、図３の透過型ミラーの動作原理の第１観点の説明図である。
【００５１】
図７に示すように、光源１３から出射された光ＯＰ０は、透過型ミラー１１に向かって拡がり角度θ０で放射状に直進し、第１象限Ｑ１から透過型ミラー１１に入射する。
【００５２】
透過型ミラー１１は、入射光ＯＰ０をＸＺ方向に反射しながらＹ方向に透過することによって、第２象限Ｑ２に、出射角θ０で逆放射状に直進する透過光ＯＰ１を出射する。透過光ＯＰ１は、透過型ミラー１１を起点として逆放射状に直進し、第２象限Ｑ２内の焦点ＦＰで集束する。
【００５３】
このように、透過型ミラー１１は、第１象限Ｑ１から放射状に入射する入射光ＯＰ０を、第２象限Ｑ２に逆放射状に進行する透過光ＯＰ１に変える光学素子として機能する。
【００５４】
透過型ミラー１１が透過型二面コーナーリフレクタアレイミラーである場合、焦点ＦＰは、透過型ミラー１１に関して、光源１３に対して面対称の関係にある。この場合、透過型ミラー１１は、光源１３に対して面対称の位置に入射光を結像するように構成された面対称結像素子として機能する。
【００５５】
（３−１−２）透過型ミラーの動作原理の第２観点
第２観点では、透過型ミラー１１が光源１３を転写するように構成されるという観点で、透過型ミラー１１の動作原理を説明する。図８は、図３の透過型ミラーの動作原理の第２観点の説明図である。
【００５６】
図８に示すように、光源１３から出射された光ＯＰ０は、透過型ミラー１１に向かって拡がり角θ０で放射状に直進し、第１象限Ｑ１から透過型ミラー１１に入射する。
【００５７】
透過型ミラー１１は、入射光ＯＰ０をＸＺ方向に反射しながらＹ方向に透過することによって、第２象限Ｑ２に、拡がり角θ０で逆放射状に直進する透過光ＯＰ１を出射する。透過光ＯＰ１は、透過型ミラー１１を起点として逆放射状に直進し、第２象限Ｑ２内の焦点ＦＰで集束する。焦点ＦＰで集束した透過光ＯＰ１は、光源１３の実像を形成する。この現象は、光源１３に対応する仮想光源ＶＯＳが形成されたことと等価である。
【００５８】
このように、透過型ミラー１１は、第２空間ＳＰ２（第１象限Ｑ１）に配置された光源１３の実像であり、且つ、光源１３と等価な仮想光源ＶＯＳを第１空間ＳＰ１（第２象限Ｑ２）に転写する光学素子として機能する。
【００５９】
透過型ミラー１１が透過型二面コーナーリフレクタアレイミラーである場合、焦点ＦＰは、透過型ミラー１１に関して、光源１３に対して面対称の関係にある。この場合、透過型ミラー１１は、光源１３に対して面対称の位置に仮想光源ＶＯＳを転写するように構成された面対称転写素子として機能する。
【００６０】
（３−１−３）透過型ミラーの動作原理の第３観点
第３観点では、透過型ミラー１１の光学特性の観点で、透過型ミラー１１の動作原理を説明する。図９は、図３の透過型ミラーの動作原理の第３観点の説明図である。
【００６１】
図９に示すように、透過型ミラー１１は、第１空間ＳＰ１と第２空間ＳＰ２との間の界面として振る舞う。透過型ミラー１１は、光源１３の光軸に対して角度α０（０°＜α０＜３６０°）を成すように、傾斜している。
【００６２】
第２空間ＳＰの第１象限Ｑ１内の光源１３から出射された光ＯＰ０は、透過型ミラー１１に向かって放射状に直進し、第１象限Ｑ１から透過型ミラー１１（つまり、第１空間ＳＰ１と第２空間ＳＰ２の界面）に入射角α０で入射する。
【００６３】
透過型ミラー１１は、入射光ＯＰ０をＸＺ方向に反射しながらＹ方向に透過することによって、第２象限Ｑ２に透過光ＯＰ１を出射する。透過光ＯＰ１は、出射角α１（０°＜α1＜３６０°）で透過型ミラー１１を起点として逆放射状に直進し、第２象限Ｑ２内の
焦点ＦＰで集束する。
なお、透過型ミラー１１が透過型二面コーナーリフレクタアレイミラーである場合、α０＝α１である。
【００６４】
第１空間ＳＰ１の及び第２空間ＳＰ２は、何れも、空気で満たされている。したがって、第１空間ＳＰ１の物性としての屈折率（つまり、第１空間ＳＰ１の実際の屈折率）は、第２空間ＳＰ２の物性としての屈折率（つまり、第２空間ＳＰ２の実際の屈折率）と等しい。
【００６５】
しかし、透過型ミラー１１は、第１空間ＳＰ１と第２空間ＳＰ２の界面として振る舞うことにより、第１空間ＳＰ１に見かけ上の屈折率ｎ１を付与する。屈折率ｎ１は、スネルの法則により、式１で表される。
【数１】
2020021012.tif 000003
・ｎ１・・・第１空間ＳＰ１の見かけ上の屈折率
・ｎ２・・・第２空間ＳＰ２の物性としての屈折率
・α０・・・光ＯＰ０の入射角
・α１・・・光ＯＰ１の出射角
【００６６】
透過型ミラー１１を透過しない光が第１空間ＳＰ１を進行する場合、当該光には、第１空間ＳＰ１の物性としての屈折率が作用する。物性としての屈折率は、一般に、正の値である。
一方、透過型ミラー１１によって生成された透過光ＯＰ１が第１空間ＳＰ１を進行する場合、透過光ＯＰ１には、見かけ上の屈折率ｎ１が作用する。透過光ＯＰ１は、第１象限Ｑ１から透過型ミラー１１に入射した入射光ＯＰ０が第２象限Ｑ２に向かって屈折した光としてみなすことができるので、見かけ上の屈折率ｎ１は、負の値である。
【００６７】
このように、透過型ミラー１１は、透過光ＯＰ１が進行する第１空間ＳＰ１を、負の屈折率ｎ１を有する媒質として振る舞わせる界面として機能するように構成される。
【００６８】
透過型ミラー１１は、上記動作原理の第１観点〜第３観点の何れかで説明された光学特性を有するので、透過型ミラー１１では、波面の歪みは生じない。従って、眼球ＵＥには、波面の歪がない光が入射する。
これにより、網膜投影装置１０の光学系に起因する波面の歪みを防ぐことができる。その結果、観察者Ｕが３次元画像ＩＭＧを鮮明に観察可能な領域が拡がる。
【００６９】
焦点ＦＰが眼球ＵＥの水晶体の中心と合う場合、仮想光源ＶＯＳが眼球ＵＥの中に形成される。その結果、網膜と光源１３との実質的な距離が極めて短くなる。これにより、網膜投影装置１０のサイズを増大させることなく、且つ、波面を歪ませることなく、視野角を拡げることができる。
【００７０】
（４）画像処理
本実施形態の画像処理について説明する。図１０は、本実施形態の画像処理のフローチャートである。図１１は、図１０の注視点の特定の処理の説明図である。図１２は、図１０の領域設定及びブラー処理の説明図である。
【００７１】
図１０に示すように、画像処理装置３０は、注視点の特定（Ｓ１００）を実行する。
【００７２】
ステップＳ１００の第１例として、画像処理装置３０は、屈折率測定装置と接続される。屈折率測定装置は、網膜投影装置１０を装着した観察者の眼球ＵＥの角膜屈折率を測定するように構成される（図１１Ａを参照）。
画像処理装置３０は、屈折率測定装置によって測定された角膜屈折率に基づいて、注視点情報を計算する。注視点情報は、以下の情報を含む。
・眼球ＵＥの位置を基準とする注視点ＮＰの３次元座標（以下「注視座標」という）｛ｘｎｐ，ｙｎｐ，ｚｎｐ｝
・眼球ＵＥから注視点ＮＰまでの距離（以下「注視距離」という）ｆｎｐ
ステップＳ１００の第１例では、注視座標及び注視距離の組合せにより、注視点が特定される。
【００７３】
ステップＳ１００の第２例として、画像処理装置３０は、深度センサと接続される。深度センサは、網膜投影装置１０を装着した観察者の注視方向（図１１ＡのＶ方向）の深度画像データを取得するように構成される。深度画像データは、深度画像データの画像空間における各画素の深度に関する深度情報Ｄ１１〜Ｄ３３（図１１Ｂ）を含む。
画像処理装置３０は、深度センサによって取得された深度画像データの中心画素の深度情報Ｄ２２を、注視距離ｆｎｐとして計算する。
ステップＳ１００の第２例では、注視距離により、注視点が特定される。
【００７４】
ステップＳ１００の第３例として、画像処理装置３０は、カメラと接続される。カメラは、網膜投影装置１０を装着した観察者の注視方向の画像データを取得するように構成される。
画像処理装置３０は、カメラによって取得された画像データの特徴量を抽出する。
画像処理装置３０は、抽出した特徴量に基づいて、画像データに含まれる画像オブジェクトのうち、観察者が注視する画像オブジェクト（以下「注視画像オブジェクト」という）を推定する。
画像処理装置３０は、注視画像オブジェクトの奥行きの推定値を、注視距離ｆｎｐとして計算する。
画像処理装置３０は、注視画像オブジェクトの座標を、注視座標｛ｘｎｐ、ｙｎｐ、ｚｎｐ｝として計算する。
ステップＳ１００の第３例では、注視座標及び注視距離の組合せにより、注視点が特定される。
【００７５】
ステップＳ１００の第４例として、画像処理装置３０は、複数のアイトラッカと接続される。図１１Ｃに示すように、複数のアイトラッカは、例えば、一対のアイトラッカ（一例として、左目ＬＥＹＥの視線に関するアイトラック情報を計測するアイトラッカ、及び、右目ＲＥＹＥの視線に関するアイトラック情報を計測するアイトラッカ）である。
画像処理装置３０は、複数のアイトラッカによって計測された複数のアイトラック情報に基づいて、複数の視線方向が交わる注視点ＮＰの注視座標｛ｘｎｐ，ｙｎｐ，ｚｎｐ｝及び注視距離ｆｎｐを計算する。
ステップＳ１００の第４例では、注視座標及び注視距離の組合せにより、注視点が特定される。
【００７６】
ステップＳ１００の後、画像処理装置３０は、ラスタライズ（Ｓ１０１）を実行する。
具体的には、画像処理装置３０は、画像処理装置３０に内蔵されたメモリ、又は、画像処理装置３０に接続された装置から３次元データを取得する。３次元データは、例えば、以下の情報を含む。
・３次元空間におけるオブジェクト（以下「３次元オブジェクト」という）の頂点に関する頂点情報を含む。
・頂点を結ぶ線に関する線情報
・３次元オブジェクトの面に関する面情報
画像処理装置３０は、３次元オブジェクトの各頂点の頂点情報を画素情報に変換する。
【００７７】
ステップＳ１０１の後、画像処理装置３０は、領域設定（Ｓ１０２）を実行する。
【００７８】
ステップＳ１０２の第１例として、ステップＳ１００の第１例又は第４例が実行された場合、画像処理装置３０は、画像空間において、注視座標｛ｘｎｐ，ｙｎｐ，ｚｎｐ｝に対応する注視点画素を決定する。
画像処理装置３０は、注視点画素から所定範囲の領域を注視領域として設定し、且つ、注視領域以外の領域を非注視領域として設定する。
【００７９】
ステップＳ１０２の第２例として、ステップＳ１００の第２例又は第３例が実行された場合、画像処理装置３０は、画像空間における中心画素を注視点画素として決定する。
図１２Ａに示すように、画像処理装置３０は、注視点画素から所定範囲の領域を注視領域ＮＡとして設定し、且つ、注視領域以外の領域を非注視領域ＮＮＡとして設定する。
【００８０】
ステップＳ１０２の後、画像処理装置３０は、ブラー処理（Ｓ１０３）を実行する。
具体的には、画像処理装置３０は、画像空間において、注視点画素と非注視点画素との間の非注視距離を計算する。
画像処理装置３０は、注視距離ｆｎｐ及び非注視距離の組合せに基づいて、ブラーのレベルを示すブラー係数を非注視点画素毎に決定する。
画像処理装置３０は、決定したブラー係数を有するブラーフィルタを各非注視点画素の画素情報に適用する。
つまり、画像処理装置３０は、非注視領域の画素情報に対して、ブラー処理を実行する。
【００８１】
ステップＳ１０３の結果、注視距離ｆｎｐ及び非注視距離の組合せに応じたブラーが施された２次元画像（図１２Ｂ）が得られる。
【００８２】
図１２Ｂに示すように、注視点ＮＰに基づく注視領域ＮＡに含まれる画像オブジェクトＩＭＧ１には、ブラーフィルタは適用されない。一方、非注視領域ＮＮＡに含まれる画像オブジェクトＩＭＧ２〜ＩＭＧ３には、非注視距離に応じたブラーフィルタが適用される。具体的には、画像オブジェクトＩＭＧ２の非注視距離は、画像オブジェクトＩＭＧ３の非注視距離より短いので、画像オブジェクトＩＭＧ２に適用されるブラーフィルタのブラーレベルは、画像オブジェクトＩＭＧ３に適用されるブラーフィルタのブラーレベルより低い。
【００８３】
図１２Ｂの画像オブジェクトＩＭＧ１は、ステップＳ１０２で得られた画像である。
画像オブジェクトＩＭＧ２は、ステップＳ１０２で得られた画像に相対的に低レベルのブラーフィルタを適用することにより得られた画像である。
画像オブジェクトＩＭＧ３は、ステップＳ１０２で得られた画像に相対的に高レベルのブラーフィルタを適用することにより得られた画像である。
【００８４】
ステップＳ１０３の後、画像処理装置３０は、画像データの出力（Ｓ１０４）を実行する。
具体的には、画像処理装置３０は、ステップＳ１０３で得られた２次元画像の画像データを光源１３に出力する。
【００８５】
光源１３は、画像処理装置３０から出力された画像データに対応する光を発光する。
その結果、網膜投影装置１０を装着した観察者は、ステップＳ１０３で得られた２次元画像を観察することができる。
【００８６】
本実施形態によれば、ステップＳ１０３において、注視距離ｆｎｐを考慮したブラー処理が実行される。したがって、網膜投影装置１０を装着する観察者は、現実空間の像のボケと、網膜投影装置１０によって投影される画像のボケとが略一致する。これにより、観察者の疲労を軽減することができる。
【００８７】
また、本実施形態によれば、現実空間の像の奥行きと、網膜投影装置１０によって投影される画像の奥行きと、が略一致する。これにより、三次元空間における現実空間の像と画像の位置関係を正確に表現することができる。
【００８８】
（５）変形例
本実施形態の変形例について説明する。変形例は、図１０の注視点の特定（Ｓ１００）に関する変形例である。
【００８９】
変形例では、ステップＳ１００の第２例において、画像処理装置３０は、深度センサ及びアイトラッカと接続される。
アイトラッカは、観察者の視線に関するアイトラック情報を計測するように構成される。
画像処理装置３０は、アイトラッカによって計測されたアイトラック情報に基づいて、注視座標｛ｘｎｐ、ｙｎｐ、ｚｎｐ｝を計算する。
【００９０】
ステップＳ１０１の後、ステップＳ１０２の第１例と同様に、画像処理装置３０は、注視座標｛ｘｎｐ、ｙｎｐ、ｚｎｐ｝に対応する注視点画素を決定する。
【００９１】
変形例によれば、深度センサの計測結果に基づいて注視点を特定する場合において、注視点画素をより高精度に決定することができる。
【００９２】
（６）小括
本実施形態について小括する。
【００９３】
本実施形態の第１態様は、
観察者の網膜に画像を投影する網膜投影装置１０と接続された画像処理装置３０であって、
網膜投影装置１０を装着したユーザが注視している注視点と観察者との間の距離を示す注視距離を計算する手段（例えば、ステップＳ１００の処理を実行するコンピュータ）を備え、
３次元データの頂点情報を２次元空間の画素情報に変換する手段（例えば、ステップＳ１０１の処理を実行するコンピュータ）を備え、
注視距離に基づいて、画素情報に対して、注視点を含む注視領域と、注視領域以外の非注視領域と、を設定する手段（例えば、ステップＳ１０２の処理を実行するコンピュータ）を備え、
非注視領域の非注視画素の画素情報に対して、ブラー処理を実行する手段（例えば、ステップＳ１０３の処理を実行するコンピュータ）を備え、
ブラー処理が実行された後の画素情報を網膜投影装置１０に出力する手段（例えば、ステップＳ１０４の処理を実行するコンピュータ）を備える、
画像処理装置３０である。
【００９４】
第１態様によれば、画素情報の２次元空間において、観察者が注視していない領域の画素に対してブラー処理を実行する。これにより、シースルー方式を採用する網膜投影装置を装着する観察者の疲労を軽減することができる。
【００９５】
また、第１態様によれば、現実空間の像の奥行きと、網膜投影装置１０によって投影される画像の奥行きと、が略一致する。これにより、三次元空間における現実空間の像と画像の位置関係を正確に表現することができる。
【００９６】
本実施形態の第２態様は、
ブラー処理を実行する手段は、
注視点の注視座標と、非注視領域の各非注視画素の座標と、に基づいて、注視点と各非注視画素との間の非注視距離を計算し、
各非注視画素の画素情報に対して、注視距離及び非注視距離の組合せに応じたブラーレベルのブラー処理を実行する、
画像処理装置３０である。
【００９７】
第２態様によれば、観察者が注視している領域からの距離に応じたブラーレベルのブラー処理を実行する。これにより、シースルー方式を採用する網膜投影装置を装着する観察者の疲労をより軽減することができる。
【００９８】
本実施形態の第３態様は、
計算する手段は、観察者の角膜屈折率に基づいて注視距離と、注視点の注視座標と、を計算し、
設定する手段は、注視座標に基づいて、注視領域及び非注視領域を設定する、
画像処理装置３０である。
【００９９】
第３態様によれば、角膜屈折率に基づいて注視座標が計算される。これにより、注視領域と、観察者が実際に注視している領域との誤差を低減することができる。その結果、シースルー方式を採用する網膜投影装置を装着する観察者の疲労をより軽減することができる。
【０１００】
本実施形態の第４態様は、
計算する手段は、観察者の視界の深度画像データの深度情報に基づいて、注視距離を計算する、
画像処理装置３０である。
【０１０１】
第４態様によれば、深度情報に基づいて注視距離が計算される。これにより、比較的安価な深度センサを用いた場合にも、上記の画像処理装置３０を実現することができる。
【０１０２】
本実施形態の第５態様は、
計算する手段は、観察者の視界の画像データの特徴量に基づいて、注視距離を計算する、
画像処理装置３０である。
【０１０３】
第５態様によれば、比較的安価なイメージセンサを用いた場合にも、上記の画像処理装置３０を実現することができる。
【０１０４】
本実施形態の第６態様は、
計算する手段は、観察者の視線に関するアイトラック情報に基づいて、注視距離を計算する、
画像処理装置３０である。
【０１０５】
第６態様によれば、アイトラック情報に基づいて、注視距離が計算される。これにより、比較的安価なアイトラッカを用いた場合にも、上記の画像処理装置３０を実現することができる。
【０１０６】
本実施形態の第７態様は、
計算する手段は、アイトラック情報に基づいて、注視点の注視座標を計算し、
設定する手段は、注視座標に基づいて、注視領域及び非注視領域を設定する、
画像処理装置３０である。
【０１０７】
第７態様によれば、アイトラック情報に基づいて注視座標が計算される。これにより、注視領域と、観察者が実際に注視している領域との誤差を低減することができる。その結果、シースルー方式を採用する網膜投影装置を装着する観察者の疲労をより軽減することができる。
【０１０８】
本実施形態の第８態様は、 
計算する手段は、観察者の両目の視線に関するアイトラック情報に基づいて、注視距離を計算する、
画像処理装置３０である。
【０１０９】
第８態様によれば、両目の視線に基づいて、注視距離が計算される。これにより、注視領域と、観察者が実際に注視している領域との誤差を低減することができる。その結果、シースルー方式を採用する網膜投影装置を装着する観察者の疲労をより軽減することができる。
【０１１０】
本実施形態の第９態様は、
コンピュータを上記の何れかに記載の各手段として機能させるためのプログラムである。
【０１１１】
（７）その他の変形例
その他の変形例について説明する。
【０１１２】
本実施形態では、光源１３の一例として、レーザプロジェクタ１３１及び１３３（図４Ａ及び図４Ｃ）と、ディスプレイ１３２ａ及びピンホール１３２ｂの組合せ（図４Ｂ）と、を例示した。しかし、光源１３は、放射状に直進する光を出力するものであれば、これらに限られるものではない。
【０１１３】
上記アプリケーションの例では、網膜投影装置１０が画像処理装置３０と接続される例を示した。本実施形態はこれに限られない。画像処理装置３０は、網膜投影装置１０に内蔵されてもよい。
【０１１４】
一対の光源１３は、視差画像に対応する光ＯＰを出射しても良い。この場合、観察者Ｕの網膜には、視差画像が投影される。これにより、観察者Ｕは、光源１３から出射される光ＯＰ０に対応する画像を立体視することができる。
【０１１５】
光源１３がレーザプロジェクタ１３１又は１３３である場合、レーザプロジェクタは、ＳＬＭ（Spatial Light Modulator）型であっても良いし、レーザスキャン型であっても良い。
【０１１６】
本実施形態では、１つの光源１３は、１つのレーザプロジェクタ１３１（図４Ａ）、又は、１つのディスプレイ１３２ａ（図４Ｂ）を有する例を示した。しかし、本実施形態は、これに限られるものではない。１つの光源１３が、複数のレーザプロジェクタ１３１、又は、複数のディスプレイ１３２ａ（つまり、複数の発光素子）を有しても良い。この場合、観察者Ｕの視野角を拡大することができる。
【０１１７】
本実施形態では、図７に示すように、透過型ミラー１１は、透過型ミラー１１に関して、入射光ＯＰ０に対して面対称となる位置の焦点ＦＰに透過光ＯＰ１を結像させる例を示した。しかし、本実施形態の透過型ミラー１１は、これに限られるものではない。透過型ミラー１１は、第２象限Ｑ２（透過型ミラー１１の光軸を含む）のうち、透過型ミラー１１に関して面対称ではない位置の焦点ＦＰに透過光ＯＰ１を結像させてもよい。
【０１１８】
本実施形態では、網膜投影装置１０の原理として、第１観点〜第３観点に基づいて説明した。しかし、本実施形態の網膜投影装置１０の原理はこれに限られるものではない。例えば、網膜投影装置１０は、透過型ミラー１１に代えて、ルーフミラーアレイを備えてもよい。
一例として、図６の第１象限Ｑ１に光源１３が配置された場合、入射光ＯＰ０は、第４象限Ｑ４に反射する。このように、ルーフミラーアレイは、第１象限Ｑ１から放射状に入射する入射光ＯＰ０を、第４象限Ｑ４に逆放射状に再帰性反射させる光学素子として機能する。
【０１１９】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【０１２０】
１０        ：網膜投影装置
１０ａ      ：フレーム
１１        ：透過型ミラー
１２        ：接眼ミラー
１３        ：光源
１４        ：光透過プレート
３０        ：コンピュータ３０画像処理装置
３０        ：画像処理装置
１３１      ：レーザプロジェクタ
１３２ａ    ：ディスプレイ
１３２ｂ    ：ピンホール
１３３      ：レーザプロジェクタ
【図１】
2020021012.tif 000004
【図２】
2020021012.tif 000005
【図３】
2020021012.tif 000006
【図４】
2020021012.tif 000007
【図５】
2020021012.tif 000008
【図６】
2020021012.tif 000009
【図７】
2020021012.tif 000010
【図８】
2020021012.tif 000011
【図９】
2020021012.tif 000012
【図１０】
2020021012.tif 000013
【図１１】
2020021012.tif 000014
【図１２】
2020021012.tif 000015