(57)【要約】【課題】 光学的手法を用いて、観察者の視線に依存して点映像を重畳することができる視線方向依存型の網膜ディスプレイ装置を提供する。
【解決手段】 この発明に係る網膜ディスプレイ装置
は，網膜に投影される現実世界の映像にコンピュータにより生成された映像や情報等の仮想映像を重畳させる場
合において、前記光学系の射出瞳位置を眼球回転の略中心部に設定して映像の視野角を瞳孔の大きさにより制限させることにより、利用者が視線を向けた方向にのみ前記表示装置の映像を表示する。このことにより，利用者が積極的に仮想映像から情報を得ようと意識したときのみ、利用者は当該仮想映像を見ることができる。

(2)1【特許請求の範囲】【請求項１】 仮想映像及び／又は付加情報を表示する表示装置と、前記表示装置の映像を利用者の眼球の網膜に導いて網膜上に直接映像を表示させる光学系と、前記表示装置と前記光学系の間に配置されて前記表示装置の映像を絞り込む小絞りとを備える網膜ディスプレイ装置
において、前記光学系の射出瞳位置を眼球回転の略中心部に設定して映像の視野角を瞳孔の大きさにより制限させることにより、利用者が視線を向けた方向にのみ前記表示装置の映像を表示することを特徴とする視線方向依存型の網膜ディスプレイ装置。
【請求項２】 仮想映像及び／又は付加情報を表示する表示装置と、前記表示装置の映像を利用者の眼球の網膜に導いて網膜上に直接映像を表示させる光学系と、前記表示装置と前記光学系の間に配置されて前記表示装置の映像を絞り込む小絞りとを備える網膜ディスプレイ装置
において、前記光学系の射出方向を眼球の正面からずらして設定することにより、利用者が前記光学系 フ方向に視線を向けたときにのみ前記表示装置の映像を表示することを特徴とする視線方向依存型の網膜ディスプレイ装置。
【請求項３】 前記光学系は、前記小絞りから出射された光を反射する球面鏡と、眼球の前に配置され、前記小絞りから出射された光を透過するとともに前記球面鏡で反射された光を反射して眼球に導くハーフミラーとを備え、前記ハーフミラーを通じて現実世界を見ることができる、マックスウエル光学系であることを特徴とする請求項１又は請求項２に記載の視線方向依存型の網膜ディスプレイ装置。
【請求項４】 前記球面鏡に代えて、ホログラフィック素子又は回折格子を用いることを特徴とする請求項３記載の視線方向依存型の網膜ディスプレイ装置。
【請求項５】 前記光学系は、前記小絞りから出射された光を屈折させる凸レンズと、眼球の前に配置され、前記凸レンズで屈折された光を眼球に導くハーフミラーとを備え、前記ハーフミラーを通じて現実世界を見ることができる、マックスウエル光学系であることを特徴とす
る請求項１又は請求項２に記載の視線方向依存型の網膜ディスプレイ装置。
【請求項６】 前記凸レンズに代えて、ホログラフィック素子又は回折格子を用いることを特徴とする請求項５記載の視線方向依存型の網膜ディスプレイ装置。
【請求項７】 前記仮想映像及び／又は付加情報が現実世界に対応するものであるとき、前記表示装置は、前記仮想映像及び／又は付加情報を対応する現実世界の映像上に重畳するように、前記仮想映像及び／又は付加情報を所定の位置に表示することを特徴する請求項１又は請
求項２記載の視線方向依存型の網膜ディスプレイ装置。
【請求項８】 前記表示装置は、現実世界の映像を補足

1020304050

特開２００２−９０６８８2
する前記仮想映像及び／又は付加情報を表示することを特徴とする請求項１又は請求項２記載の視線方向依存型の網膜ディスプレイ装置。
【請求項９】 仮想映像及び／又は付加情報を表示するためのレーザー発信器と、前記レーザー発信器の映像を利用者の眼球の網膜に導いて網膜上に直接映像を表示させる光学系とを備える網膜ディスプレイ装置において、前記光学系の集光点を眼球回転の略中心部に設定して映像の視野角を瞳孔の大きさにより制限させることにより、利用者が視線を向けた方向にのみ前記表示装置の映像を表示することを特徴とする視線方向依存型の網膜ディスプレイ装置。
【請求項１０】 仮想映像及び／又は付加情報を表示するレーザー発信器と、前記レーザー発信器の映像を利用者の眼球の網膜に導いて網膜上に直接映像を表示させる光学系とを備える網膜ディスプレイ装置において、前記光学系の射出方向を眼球の正面からずらして設定することにより、利用者が前記光学系の方向に視線を向けたときにのみ前記表示装置の映像を表示することを特徴とする視線方向依存型の網膜ディスプレイ装置。
【発明の詳細な説明】【０００１】【発明の属する技術分野】この発明は、眼の網膜に直接像を書き込むことができる網膜ディスプレイ装置に関し、特に、観察者の視線の動きに応じて当該視線方向の点映像を重畳することができる視線方向依存型の網膜ディスプレイ装置に関する。
【０００２】【従来の技術】ヘッドアップディスプレイ(HUP)やシースルー型ヘッドマウンテッドディスプレイ(ST‑HMD)等を用いて，現実世界の映像にコンピュータにより生成された映像や情報を適切に重畳する技術が提案されている。
この種の現実世界での行動を支援する技術についての研究はAugmented Reality(AR)やMixed Reality(MR)として活発に行われている．
【０００３】AR/MRの分野で多用されているST‑HMDにおいて、現実空間とCGとを合成するための技術としてハーフミラーによる光学的な合成や頭部搭載カメラによる電子的な合成が適用されている。
【０００４】ディスプレイ自体を頭部に装着して映像を提示するHMDは，利用者の頭部周辺の映像空間を近似的に再構成するデバイスであると換言できる．よって提示される映像も一般的なデバイス構成の場合，必然的に利用者の頭部運動にのみ依存したものとなり，現実空間に「面」としてCGの映像を重畳することとなる．この面としての映像の重畳は、夜間時における赤外映像の重畳提示や診察時における身体への超音波映像の重畳提示等のバーチャルな映像空間自体を提示すること自体に意味のあるシチュエーションにおいては極めて有効な方法である．HMDにおいては、いかに多くの情報を正確にかつ精(3)3密に提示可能であるかが重要な設計ポイントとなるため、ディスプレイとしてはより広視野で高解像であることが求められることになる．
【０００５】【発明が解決しようとする課題】これに対し、本発明は、観察者の視線に依存した「点」としての映像の重畳を提供するものである。この点としての情報重畳ディスプレイにおいて、いかに情報を適切に削減した上で利用者に提示するかという点が重要な設計ポイントとなる。
【０００６】この視線方向依存の情報提示を実現するための方法として，ST‑HMDにアイトラッカーを装着し，利用者の視線方向を他覚的に計測し，そのデータに応じ，重畳映像を選択的に提示するという電子的な手法が考えられる．視線方向を検出可能なHMDはすでに各所で試作されている（福島省吾, 眼球画像撮像機能付きヘッドマ
ウントディスプレイの開発, 第39回ヒューマン・インタ
フェース研究会資料,vol.11, pp.197‑202, 1997、杉原，宮里，中津，焦点調節補償機能を有するHMD:3DDAC
Mk.4, 日本バーチャルリアリティ学会論文誌, Vol.4, No.1, pp.261‑288,1999）ので、キャリブレーション等の問題は残っているものの比較的容易に提案手法の実装は可能であると考えられる．
【０００７】これに対し、本発明は光学系を工夫することにより，アイトラッカー等を利用することなく視線方向依存の情報提示を可能にする装置を提供する。すなわ
ち、この発明は、光学的手法を用いて、観察者の視線に依存して点映像を重畳することができる視線方向依存型の網膜ディスプレイ装置を提供することを目的とする。
【０００８】【課題を解決するための手段】係る課題を解決するために、本発明に係る網膜ディスプレイ装置は，網膜に投影される現実世界の映像にコンピュータにより生成された映像や情報等の仮想映像を重畳させる場合において、前記仮想映像の領域を積極的に制限する点を特徴とする。
このことにより，利用者が積極的に仮想映像から情報を得ようと意識したときのみ、利用者は当該仮想映像を見ることができる。この発明は、いわば視線方向依存型の映像提示手法である。
【０００９】高倍率の顕微鏡や望遠鏡等利用時に少々視線方向を変えるだけで対象の映像が見えなくなる現象があり，これは「ケラレ」として知られている。これは接眼光学系から出てくる光束つまり射出瞳の大きさが目の可動域より狭い場合に起こり，HMDやカメラのファインダー等においてはいかに射出瞳を大きくするかということが設計上のポイントの一つとなっている。発明者らは従来の二眼式立体ディスプレイの奥行き認知の誤差や、疲労の原因と指摘されている輻輳と調節の不一致を低減する方法として、マクスウエル光学系を用いる手法をすでに提案している（稲見,川上,柳田,前田,舘,マクスウ
エル光学系による広視野立体ディスプレイ,日本バーチ

1020304050

特開２００２−９０６８８4ャルリアリティ学会論文誌, Vol.4, No.1, pp.287‑294,1999）。瞳孔によるケラレは、網膜直接投影型ディスプレイが本質的にかかえるデメリットとして従来から指摘されていた。
【００１０】このマクスウエル光学系は様々なメリットがある反面，原理的に射出瞳の大きさは極めて小さくなるため，瞳孔によるケラレは重要な課題となっていた。
しかし，マクスウエル光学系をはじめとする小射出瞳の光学系に起因するケラレを適切に利用することにより，容易に視線依存型の情報提示を実現することが可能となる。本発明は、係る着想に基づくものである。
【００１１】この発明においては、ケラレ、つまり瞳孔がいわばマスクの役割を果たす。通常の光学系の場合，ちょうど眼鏡のフレームが気にならないのと同様に瞳孔は光量の増減にのみ役割を果たすが、小絞りを通した光学系を用いることにより，瞳孔は明るさではなく空間的なマスクとしての役割を果たすようになる。
【００１２】この発明に係る視線方向依存型の網膜ディスプレイ装置は、仮想映像及び／又は付加情報を表示する表示装置と、前記表示装置の映像を利用者の眼球の網膜に導いて網膜上に直接映像を表示させる光学系と、前記表示装置と前記光学系の間に配置されて前記表示装置の映像を絞り込む小絞りとを備える網膜ディスプレイ装置において、前記光学系の射出瞳位置を眼球回転の略中心部に設定して映像の視野角を瞳孔の大きさにより制限させることにより、利用者が視線を向けた方向にのみ前記表示装置の映像を表示することを特徴とする。
【００１３】この発明に係る視線方向依存型の網膜ディスプレイ装置は、仮想映像及び／又は付加情報を表示する表示装置と、前記表示装置の映像を利用者の眼球の網膜に導いて網膜上に直接映像を表示させる光学系と、前記表示装置と前記光学系の間に配置されて前記表示装置の映像を絞り込む小絞りとを備える網膜ディスプレイ装置において、前記光学系の射出方向を眼球の正面からずらして設定することにより、利用者が前記光学系の方向に視線を向けたときにのみ前記表示装置の映像を表示することを特徴とする。
【００１４】好ましくは、前記光学系は、前記小絞りから出射された光を反射する球面鏡と、眼球の前に配置され、前記小絞りから出射された光を透過するとともに前記球面鏡で反射された光を反射して眼球に導くハーフミラーとを備え、前記ハーフミラーを通じて現実世界を見ることができる、マックスウエル光学系である。
【００１５】前記球面鏡に代えて、ホログラフィック素子又は回折格子を用いることもできる。
【００１６】好ましくは、前記光学系は、前記小絞りから出射された光を屈折させる凸レンズと、眼球の前に配置され、前記凸レンズで屈折された光を眼球に導くハーフミラーとを備え、前記ハーフミラーを通じて現実世界を見ることができる、マックスウエル光学系である。

(4)5【００１７】前記凸レンズに代えて、ホログラフィック素子又は回折格子を用いることもできる。
【００１８】好ましくは、前記仮想映像及び／又は付加情報が現実世界に対応するものであるとき、前記表示装置は、前記仮想映像及び／又は付加情報を対応する現実世界の映像上に重畳するように、前記仮想映像及び／又は付加情報を所定の位置に表示する。
【００１９】好ましくは、前記表示装置は、現実世界の映像を補足する前記仮想映像及び／又は付加情報を表示する。
【００２０】本発明に係る網膜ディスプレイ装置は、仮想映像及び／又は付加情報を表示するためのレーザー発信器と、前記レーザー発信器の映像を利用者の眼球の網膜に導いて網膜上に直接映像を表示させる光学系とを備える網膜ディスプレイ装置において、前記光学系の集光点を眼球回転の略中心部に設定して映像の視野角を瞳孔の大きさにより制限させることにより、利用者が視線を向けた方向にのみ前記表示装置の映像を表示することを特徴とする。
【００２１】本発明に係る網膜ディスプレイ装置は、仮想映像及び／又は付加情報を表示するレーザー発信器と、前記レーザー発信器の映像を利用者の眼球の網膜に導いて網膜上に直接映像を表示させる光学系とを備える網膜ディスプレイ装置において、前記光学系の射出方向を眼球の正面からずらして設定することにより、利用者が前記光学系の方向に視線を向けたときにのみ前記表示装置の映像を表示することを特徴とする。
【００２２】【発明の実施の形態】発明の実施の形態１．この発明の実施の形態１に係る装置について、図１に基づき説明する。図１（ａ）（ｂ）は、この発明の実施の形態１の概略構成を示す図である。ディスプレイ１に表示された映像は、小絞り２の開口部２ａ及びハーフミラー３を通って球面鏡４に達する。球面鏡４で反射された映像は、さらにハーフミラー３で反射されて眼球５に達する。ディ
スプレイ１で表示される映像の大部分は、眼球５の瞳孔６で遮られ、その一部が瞳孔６を通って網膜７に達する。これは図１の灰色で色づけされた領域Ｅに対応する。網膜７に達した一部の映像１０１が現実世界の像Ｒと重畳されて認識される。
【００２３】図１（ａ）（ｂ）において、眼球の中心Ｃと小絞り２による像の位置が一致していることに注意されたい。この位置関係は、ディスプレイ１、小絞り２、ハーフミラー３及び球面鏡４の位置関係、並びに球面鏡４の焦点距離を適当に選択することにより達成される。
【００２４】図１において実線で表示された範囲１００
は、ディスプレイ１に表示された映像全体を示す。範囲１００は、仮に瞳孔６で遮られないとしたら認識されたであろう範囲を意味する。これに対して、灰色で色づけされた範囲（図１（ａ）における１０１、図１（ｂ）に1020304050

特開２００２−９０６８８6
おける１０５）は、瞳孔６を通過して網膜７に達して認識される映像の一部を示す。以上の説明から明らかなよ
うに、発明の実施の形態１に係る装置において、ディスプレイ１の映像の一部のみが網膜７に達して認識される。網膜に達する映像の一部は、前述のように眼球の中心Ｃと小絞り２による像の位置が一致しているところから、映像のどの部分が網膜７に達するかは、瞳孔６の位置、すなわち利用者の視線方向に依存する。
【００２５】このことを図２を用いて具体的に説明する。ディスプレイ１の映像全体は図２（ｃ）に示すような表示１０１〜１０５を含んでいる。従来の網膜ディスプレイにおいては映像全体つまり表示１０１〜１０５の全部が認識され、これらが現実世界の映像と重畳されていた。そのため、直接必要のない情報も認識されて却って煩わしかった。それに対して、この発明の実施の形態の装置によれば、必要な情報、つまり視線方向の情報のみが表示される。例えば、図２（ａ）のように視線を上側に向ければ、その部分に表示されるべき表示１０１のみが表示され、図２（ｂ）のように下側に向ければ、その部分に表示されるべき表示１０５のみが表示される。
これらの表示は視線方向の現実世界の映像と対応づけられているので、利用者にとって必要な情報のみ表示されることになる。もっともこの点は必須ではない。例えば、上側あるいは下側に現在位置あるいは視線方向の情報を表示するようにしておき、必要なときに上側あるいは下側に視線を向けることにより情報を得ることができる。この場合、通常の視線方向では現実世界の映像が認識され、仮想映像あるいは付加情報は認識されない。必要なときに視線を動かすことにより仮想映像あるいは付加情報を得ることができる。これに適する装置について、発明の実施の形態２で説明する。
【００２６】このように、この発明の実施の形態１に係る装置は、光学系の射出瞳位置を眼球の回転中心部に設定することにより、重畳映像の視野角は瞳孔の大きさにより制限され、その結果、図２に示すように利用者が視線を向けた方向のみに映像を重畳することが可能となる。
【００２７】図２はその実現イメージを示すものである。従来の情報重畳は、図２（ｃ）のように視野全域に渡り増強情報が重畳される。この表現は、一覧性はあるものの実際に注視している場所以外の領域の情報も目に入る。したがって、例えば自動車の運転時や機械の操作時等瞬時の判断が求められるような場合においては余分な情報がかえって利用者の注意を逸らし，混乱をもたらすことが想定される．
【００２８】そこで、図２（ａ）（ｂ）に示すように示すように、利用者が注視しているポイントにのみ重畳映像を提示することにより，敢えて重畳情報を積極的に減らし、これにより利用者の本来目的としている対象への注意を妨げることのない情報の自然な提示を行うことが

(5)
7
できる。
【００２９】なお、本発明の実施の形態１及び２に係る装置の光学系による瞳孔によるケラレの影響と視線方向依存性を確認するための効果を確認するため，以下のような実験を行った。
【００３０】図３に示すように、点光源(φ0.2mm)の実像を焦点距離70mmのフレネル凸レンズを用い結像させる．次に眼球の回転中心と点光源像が一致するように調節し，被験者に瞳孔によりケラレていない明るい領域の範囲を答えさせた．実験は200lx程度の通常の屋内光の下で行い，実験時の被験者の瞳孔径は6mmであった．その結果，被験者が正面を注視したとき明域は円形に観察され，その径は25°となった．また．視線に依存して明域が移動することも確認することができた。
【００３１】なお、図１において球面鏡を用いたが、これに代えてホログラフィック光学素子や回折格子を用いることもできる。
【００３２】発明の実施の形態２．この発明の実施の形
態２に係る装置の概略構成を図４に示す。ディスプレイ
１、小絞り２、ハーフミラー３、眼球５、瞳孔６は、図１に示されたものと同一あるいは相当部分である。符号１０は凸レンズである。凸レンズ１０は、図１の球面鏡４に相当する。
【００３３】図４の装置において、予め眼球周囲に射出瞳位置が設定されている。これにより、特定の方向に視線を向けたとき（図４の場合、図４（ａ）のように下側に視線を向けたとき）のみ映像が提示される。この装置を用いることにより，利用者が正面を注視している状態
では余計な映像が全く映像が重畳されず，特定の方向を向いたときのみ映像を広画角提示することが可能となる。本発明の実施の形態２の装置は、バーチャルなコントロールパネルのような用途に応用可能である。
【００３４】なお、図４において凸レンズを用いたが、これに代えてホログラフィック光学素子や回折格子を用いることもできる。
【００３５】発明の実施の形態３．図５は、この発明の実施の形態３に係る装置の構成を示す。この装置は、レーザー発信器２０を備え、この出射光をミラースキャナー２１に動かして、凸レンズ（あるいは凹面鏡、ホログラフィック光学素子、回折格子）２２を介して眼球５の網膜に直接導く。スキャナー２１の動きに同期させてレーザー発信器２０の出力を変調すれば、網膜上に所望の文字や映像を直接表現することができる。この装置においては、小絞りは不要である。
【００３６】この発明の実施の形態３の装置においても、光学系の集光点を眼球の中心Ｃに一致させることにより、発明の実施の形態１の場合と同様の作用効果を奏する。

10203040

特開２００２−９０６８８8【００３７】発明の実施の形態４．図６は、この発明の実施の形態４に係る装置の構成を示す。この装置は、発明の実施の形態２のディスプレイ１、小絞り２の代わりに、発明の実施の形態３のレーザー発信器２０、ミラースキャナー２１を用いたものである。
【００３８】この発明の実施の形態４の装置においても、発明の実施の形態２の場合と同様の作用効果を奏する。
【００３９】本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００４０】本明細書において、一つの手段の機能が、二つ以上の物理的手段により実現されても、若しくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
【００４１】【発明の効果】この発明によれば、網膜に直接表示される情報のうちの一部を意図的に削減することにより，視線方向に依存した点としての情報提示を行うことができる。これにより、従来のAR/MRにおける問題点を解決し、利用者の本来目的としている対象への注意を妨げることのない情報の自然な提示を行うことができる。
【図面の簡単な説明】【図１】 この発明の実施の形態１に係る装置の概略構成を示す図である。
【図２】 この発明の実施の形態１に係る装置の動作説明図である。
【図３】 この発明の実施の形態１に係る装置の実証実
験の説明図である。
【図４】 この発明の実施の形態２に係る装置の概略構成を示す図である。
【図５】 この発明の実施の形態３に係る装置の実証実
験の説明図である。
【図６】 この発明の実施の形態４に係る装置の概略構成を示す図である。
【符号の説明】
１
ディスプレイ
２小絞り
３
ハーフミラー
４
球面鏡
５
眼球６
瞳孔
７
網膜
１０凸レンズ２０
レーザー発信器
２１ミラースキャナー
２２凸レンズ

(6)

【図１】

【図４】

特開２００２−９０６８８

【図２】

(7)

【図３】

特開２００２−９０６８８

【図５】

【図６】

─────────────────────────────────────────────────────
フロントページの続き(71)出願人 598072733
前田 太郎
東京都台東区谷中１丁目２番19号(71)出願人 596145318▲たち▼ ▲すすむ▼
茨城県つくば市梅園２−31−14(72)発明者 稲見 昌彦
東京都葛飾区水元３−13−16(72)発明者 川上 直樹
鳥取県鳥取市大工町頭９(72)発明者 柳田 康幸
東京都田無市緑町１丁目１番２―405号
東大多摩第２宿舎(72)発明者 前田 太郎
東京都台東区谷中１丁目２番19号(72)発明者 ▲たち▼ ▲すすむ▼
茨城県つくば市梅園２−31−14

(8)Ｆターム(参考） 2H049 AA08 AA14 AA55 AA64 CA05
CA08 CA09 CA11 CA17
5G435 AA01 BB19 DD02 GG01 GG02
GG08 GG09

特開２００２−９０６８８