(57)【特許請求の範囲】
【請求項１】
利用者の瞳孔に向けて、可視光の範囲で波長の異なる複数のレーザ光を射出する光学系を備えた網膜走査型表示装置であって、
前記波長の異なるレーザ光をそれぞれ射出する複数個の半導体レーザと、
前記複数個の半導体レーザが取り付けられ、前記複数個の半導体レーザから射出された前記波長の異なるレーザ光を個別に入力し、所定の光軸に対して同軸に合成して出力する光合波器と、
前記光合波器の出力側に設けられ、前記光合波器から出力される合成された前記レーザ光を、所定の拡がり角あるいは絞り角の光ビームに整形するビーム整形器と、
前記ビーム整形器を介して出力される合成された前記光ビームの射出方向を、形成しようとする画像に対応した画像信号により、少なくとも当該射出方向に交差する平面内で変更する射出方向変更器と、
利用者の瞳孔の位置を検出する検出器と、
前記検出された瞳孔の位置に応じて、前記半導体レーザ，前記光合波器，前記ビーム整形器および前記射出方向変更器を同一のベース上に搭載してなる光学エンジンを前記ベースごと一体的に移動して、前記射出方向変更器から射出される前記光ビームを、利用者の瞳孔の位置まで導く調整器と、
を備えた、網膜走査型表示装置。
【請求項２】
前記調整器は、前記検出した瞳孔の位置の光軸に垂直な平面内の変位に従って、前記光学エンジンから出力される光ビームの光軸に垂直な平面内のアライメントを調整する、請求項１記載の網膜走査型表示装置。
【請求項３】
前記光合波器は、平面光合波器である、請求項１または請求項２に記載の網膜走査型表示装置。
【請求項４】
前記複数個の半導体レーザは、赤色、緑色、青色のレーザ光をそれぞれ射出する、請求項１から請求項３のいずれか一項に記載の網膜走査型表示装置。
【請求項５】
前記光合波器は、
前記赤色用の導波路、前記緑色用の導波路、前記青色用の導波路を併設し、
前記青色用の導波路からの青色光を前記緑色用の導波路に伝搬する第１方向性結合器および第２方向性結合器を備え、
前記緑色用の前記導波路において、前記第１方向性結合器から前記第２方向性結合器に至る間に、前記赤色用の導波路からの赤色光を前記緑色用の導波路に伝搬する第３方向性結合器を備える、
請求項４に記載の網膜走査型表示装置。
【請求項６】
前記射出方向変更器は、ＭＥＭＳミラーを備える、請求項１から請求項５のいずれか一項に記載の網膜走査型表示装置。
【請求項７】
前記ビーム整形器は、前記光合波器の出力側に固定されたコリメートレンズである、請求項１から請求項６のいずれか一項に記載の網膜走査型表示装置。
【請求項８】
前記射出方向変更器は、入射する前記光ビームに対して角度を変えることで前記光ビームの反射方向を２方向に調整可能な単一のミラーを、前記光ビームが中心に入射するように備える、請求項１から請求項７のいずれか一項に記載の網膜走査型表示装置。
【請求項９】
利用者に対して、所定の画像を視認可能に表示する画像表示システムであって、
請求項１から請求項８のいずれか一項に記載の網膜走査型表示装置を両眼用に組み込んだ頭部装着型表示装置であって、前記利用者の両眼の網膜位置に光ビームを走査することにより、前記利用者の両眼の位置から第１距離だけ隔たった位置に合焦する第１画像を表示する頭部装着型表示装置と、
前記頭部装着型表示装置を装着した前記利用者の瞳孔孔位置および視線の方向を検出する視線検出部と、
前記利用者から、前記第１距離より短い第２距離だけ隔たった位置に設けられたパネルに、前記第１画像とは異なる第２画像を表示するパネル型表示装置と、
前記所定の画像から、前記検出した利用者の視線の方向に存在すると想定される部分を、前記第１画像として前記頭部装着型表示装置に前記画像信号として出力すると共に、前記所定の画像に対して前記第１画像と相補的な画像を、前記第２画像として前記パネル型表示装置に出力する画像出力部と
を備える画像表示システム。
【請求項１０】
前記パネル型表示装置は、前記利用者から見た画角が、水平方向で６０度以上１８０度以下、垂直方向で４０度以上１２０度以下となるパネルサイズを備える、請求項９に記載の画像表示システム。
【請求項１１】
前記画像出力部は、前記頭部装着型表示装置において前記利用者の前記両眼に前記光ビームを用いて表示する第１画像は、前記両眼に視差を生じさせる立体視用の画像である、請求項９または請求項１０に記載の画像表示システム。
【請求項１２】
前記パネル型表示装置は、
前記パネル表面に再帰性反射部材が設置されたスクリーンと、
前記スクリーンに向かって、前記利用者の頭部近傍から前記第２画像を投写するプロジェクタと、
を備える請求項９から請求項１１いずれか一項に記載に画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、網膜走査型表示装置を用いた画像の表示技術に関する。
【背景技術】
【０００２】
従来から人（以下、利用者という）の視野をできるだけ多くカバーすることにより、利用者の没入感を高める表示装置が種々提案されている。例えば、ヘッドマウントディスプレイのように表示装置を眼に近接させて配置して視野のカバー率を高めると共に、形成する像を虚像とすることで像の位置を利用者から離し、表示装置の小型化と没入感の醸成とを両立させようとする技術が、種々提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１１６６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、こうした従来の表示装置では、画像を形成するレーザ光を利用者の瞳孔に正確に入射させる必要があり、光学系の制御が困難であるという問題があった。レーザ光を利用者の瞳孔まで導くには、レーザダイオードなどの発光体の３軸方向の位置の制御、レンズや導光路などの位置の制御など、種々の制御が必要となるが、多数の光学素子を組み合わせた装置において、利用者の瞳孔の移動に対してレーザ光の入射位置を調整したり、またレーザ光の光学系上の焦点位置を調整したりすることは困難であった。
【課題を解決するための手段】
【０００５】
本開示は、こうした課題を踏まえたものであり、以下の態様で実現することが可能である。
【０００６】
一つの実施形態として、利用者の瞳孔に向けて、可視光の範囲で波長の異なる複数のレーザ光を射出する光学系を備えた網膜走査型表示装置が提供される。この網膜走査型表示装置は、前記波長の異なるレーザ光をそれぞれ射出する複数個の半導体レーザと、前記複数個の半導体レーザが取り付けられ、前記複数個の半導体レーザから射出された前記波長の異なるレーザ光を個別に入力し、所定の光軸に対して同軸に合成して出力する光合波器と、前記光合波器の出力側に設けられ、前記光合波器から出力される合成された前記レーザ光を、所定の拡がり角あるいは絞り角の光ビームに整形するビーム整形器と、前記ビーム整形器を介して出力される合成された前記光ビームの射出方向を、形成しようとする画像に対応した画像信号により、少なくとも当該射出方向に交差する平面内で変更する射出方向変更器と、利用者の瞳孔の位置を検出する検出器と、前記検出された瞳孔の位置に応じて、前記半導体レーザ，前記光合波器，前記ビーム整形器および前記射出方向変更器を同一のベース上に搭載してなる光学エンジンを前記ベースごと一体的に移動して、前記射出方向変更器から射出される前記光ビームを、利用者の瞳孔の位置まで導く調整器と、を備える。
【０００７】
この網膜走査型表示装置は、前記半導体レーザ，前記光合波器，および前記射出方向変更器からなる光学エンジンを一体的に移動できるので、検出された瞳孔の位置に応じて、光学エンジンを一体的に移動して、前記射出方向変更器から射出される前記光ビームを、利用者の瞳孔の位置まで容易に導くことができる。
【図面の簡単な説明】
【０００８】
【図１】網膜走査型表示装置の概略構成を示す概略構成図。
【図２】光学モジュールの構成を示す説明図。
【図３】光学エンジンの構成を示す斜視図。
【図４】平面光合波器を説明するための説明図。
【図５】図４のV−Ｖ断面図。
【図６】光学モジュールの電気的構成を示す説明図。
【図７】光学モジュールから眼球までの光学路を示す説明図。
【図８】眼球の動きに追従する光学モジュールの動作を示す説明図。
【図９】第１実施態様の画像表示システムの概略構成図。
【図１０】実施形態において、利用者から見た画像の一例を示す説明図。
【図１１】画像出力装置において実行される画像表示処理ルーチンを示すフローチャート。
【図１２】画像出力装置において実行される画像生成処理ルーチンを示すフローチャート。
【図１３】利用者からの見え方を模式的に示す説明図。
【図１４】利用者の視線の方向が移動した場合の利用者から見た画像の一例を示す説明図。
【図１５】第２実施態様を例示する説明図。
【図１６】第３実施態様を例示する説明図。
【発明を実施するための形態】
【０００９】
Ａ．網膜走査型表示装置：
（１）全体構成：
本開示の実施形態である網膜走査型表示装置２０の構成について説明する。図１は、網膜走査型表示装置２０の概略構成図である。図１には、この網膜走査型表示装置２０と画像信号等のやり取りを行なって、網膜走査型表示装置２０に画像を表示させる画像出力装置６０も描いた。網膜走査型表示装置２０は、いわゆるシースルータイプの表示部であり、利用者ＵＳＲは、網膜走査型表示装置２０を装着した状態でも外界を視認することができる。網膜走査型表示装置２０は、中心にビデオカメラ２４を備え、その左右に、表示用の構成を、左右対称に配置して備える。具体的には、網膜走査型表示装置２０では、透過型の透過表示部２１，２２、利用者ＵＳＲが頭部に装着するためのテンプル２８，２９のみならず、左右の眼球ＥＬ，ＥＲの方向を検出するアイカメラ２６，２７、透過表示部２１，２２内部に設けられたリレー光学路３１，３２，レーザ光を射出する光学モジュール４１，４２などが、左右対称に設けられている。
【００１０】
透過表示部２１，２２は、ハーフミラーやホログラフィック素子として構成され、網膜走査型表示装置２０を装着している利用者は外景を透過して視認可能である。したがって、利用者は、外景と共に、光学モジュール４１，４２が形成する画像を重ねて視認することができる。なお、後述するように、パネル型表示装置５０と組み合わせて利用する場合には、中心視野以外の部分について、外景が視認できればよく、中心視野については、透過型である必要は必ずしもない。中心視野については、透過型でも不透過型でもよく、更に透過の程度が低いもの（半透過型）でも差し支えない。
【００１１】
光学モジュール４１，４２の詳細構成は後述するが、光学モジュール４１，４２は、ＲＧＢの三色の光を発光する半導体レーザを内蔵し、半導体レーザからのＲＧＢの光を、合波器を用いて一つの導光路上に統合している。また、この導光路から射出する光を反射鏡に反射させて、リレー光学路３１，３２に導いている。反射鏡の角度をアクチュエータにより変化させることで、射出されるレーザ光を走査し、この走査に合せて半導体レーザの出力強度を制御することにより、利用者ＵＳＲの左右眼ＥＬ，ＥＲの網膜上に直接画像を形成し、これを利用者に視認させる。
【００１２】
網膜走査型表示装置２０の中心に設けられたビデオカメラ２４は、利用者ＵＳＲの前方の画像を撮像し、その映像信号を画像出力装置６０に出力する。また、アイカメラ２６，２７は、利用者ＵＳＲの左右の眼球ＥＬ，ＥＲを撮像し、その画像信号を、画像出力装置６０および光学モジュール４１，４２に出力する。アイカメラ２６，２７からの画像信号を、直接光学モジュール４１，４２にも入力しているのは、光学モジュール４１，４２の位置制御に要する処理時間を短縮するためである。もとより、アイカメラ２６，２７からの画像信号は、画像出力装置６０を介して光学モジュール４１，４２に出力する構成としてもよい。この場合、アイカメラ２６，２７からの画像信号を画像出力装置６０が処理し、瞳の位置（X，Y座標）として、光学モジュール４１，４２に出力してもよい。画像出力装置６０を画像出力装置６０が行なうこうした信号の処理、つまりビデオカメラ２４からの映像信号の処理や、アイカメラ２６，２７からの画像信号の処理については、画像表示システム１０として、後で詳しく説明する。
【００１３】
（２）光学モジュールの全体構成：
光学モジュール４１，４２の構成と働きについて説明する。光学モジュール４１および光学モジュール４２は、左右対称に設けられ、その構成は同一なので、以下、左眼用の光学モジュール４１について説明する。右眼用の光学モジュール４２についてもその構成や働きは同一である。
【００１４】
図２は、光学モジュール４１の全体構成を模式的に示す説明図である。図示する様に、この光学モジュール４１は、光学エンジン１００、光学エンジン１００を移動するための第１移動ユニット１４０、同じく第２移動ユニット１５０、光学制御部８０、移動制御部９０を備える。光学エンジン１００が第１移動ユニット１４０により移動させる方向をＸ軸方向、第２移動ユニット１５０により移動される方向をＹ軸方向、これらＸ軸およびＹ軸に直交する方向をＺ軸方向と呼ぶ。これらＸ，Ｙ，Ｚの各軸は、他の図においても示した。
【００１５】
第１，第２移動ユニット１４０，１５０は、バイモルフ型の圧電アクチュエータであり、印加する電圧に応じた伸張量を示す。第１移動ユニット１４０の一端は、光学エンジン１００の後述するベース１０１のＸ軸方向後端に固定され、他端は、光学モジュール４１の図示しないフレームに固定されている。同様に、第２移動ユニット１５０の一端は、ベース１０１のＹ軸方向後端に固定され、他端は光学モジュール４１のフレームに固定されている。第１，第２移動ユニット１４０，１５０は、移動制御部９０に電気的に接続されており、移動制御部９０が出力する電圧信号に応じて伸張あるいは縮退し、光学エンジン１００の各軸方向位置を変位させる。移動制御部９０には、アイカメラ２６からの画像信号が入力されている。移動制御部９０の構成と働きについては、後述する。
【００１６】
光学エンジン１００の構造を示す斜視図である図３も参照しつつ、光学エンジン１００の構成について説明する。光学エンジン１００には、ベース１０１上に、光源モジュール１１０、コリメートレンズ１１７およびＭＥＭＳミラーユニット（以下、単にミラーユニットという）１３０が設けられている。コリメートレンズ１１７は、光源モジュール１１０の出力側に設けられ、更にその外側に、ミラーユニット１３０が配置される。ベース１０１は本実施形態では、金属製である。光源モジュール１１０は、ＲＧＢ各色のレーザ光を射出する半導体レーザ１１１，１１２，１１３と、これらの半導体レーザからのレーザ光が入射する平面光合波器１２０とを備える。コリメートレンズ１１７は、焦点距離ｆ０であり、光源モジュール１１０の出力端から距離ｆ０だけ隔たった位置に設けられている。したがって、この実施形態では、ビーム整形器であるコリメートレンズ１１７により、レーザ光は平行光の光ビームに整形される。このため、リレー光学路３１，３２に入射する光ビームは平行光となり、リレー光学路３１，３２が後述（図７）するように、光学的対称構造であることから、虚像提示距離は無限遠となる。光学的対称構造でない光学系を採用したり、虚像提示位置を有限距離とする場合には、コリメートレンズ１１７の位置や焦点距離を変えて、コリメートレンズ１１７から射出される光ビームを平行光とはせず、利用者の瞳孔に入射する光ビームの拡がり角あるいは絞り角が、虚像提示距離に対応する角度となるように、コリメートレンズ１１７から射出する光ビームの拡がり角または絞り角を、調整すればよい。ここで言う拡がり角や絞り角は、角度０の場合、つまり平行光を含んでいることは勿論である。
【００１７】
コリメートレンズ１１７によって平行光とされた光ビームが入射するミラーユニット１３０は、反射用のミラー１３２と第１アクチュエータ１３４と第２アクチュエータ１３６とを備える。ミラー１３２は、第１軸の周りに回転可能に支持され、この第１軸を支持する枠体は、第１軸と直交する第２軸により支持されている。第１アクチュエータ１３４は、半導体プロセスを利用してミラー１３２の外周に形成されたコイル（図示省略）を備え、このコイルに流れる電流により生じるローレンツ力により、ミラー１３２を、第１軸を中心に回転させる。第２アクチュエータ１３６は、半導体プロセスを利用して枠体に作り込まれたコイル（図示省略）を備え、このコイルに流れる電流により生じるローレンツ力により、ミラー１３２を枠体ごと、第２軸を中心に回転させる。これらの第１アクチュエータ１３４および第２アクチュエータ１３６は、半導体レーザ１１１，１１２，１１３共々、光学制御部８０に電気的に接続されている。
【００１８】
図３に示した様に、光学エンジン１００の光源モジュール１１０は、ベース１０１上に搭載されたシリコン基板１０５を備え、平面光合波器１２０は、このシリコン基板１０５上に搭載されている。光源モジュール１１０を構成する半導体レーザ１１１〜１１３と平面光合波器１２０との構造や接続関係については、後で詳しく説明する。
【００１９】
図４は、平面光合波器１２０の動作を説明する説明図である。光源モジュール１１０の平面光合波器１２０が合波する３つの可視光は、それぞれ単色光であって、一つは、半導体レーザ１１１が出力する第１可視光（赤色光）である。第１可視光の波長が最も長い。もう一つは、半導体レーザ１１２が出力する第２可視光（緑色光）ある。第２可視光の波長は、第１可視光より短い。最後の一つは、半導体レーザ１１３が出力。第３可視光（青色光）である。第３可視光の波長が最も短く、かつ、前記第１可視光と前記第２可視光との間の波長間隔よりも前記第２可視光と前記第３可視光との間の波長間隔が短い。
【００２０】
本実施形態では、波長の異なる３つの可視光として、上述した赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）を用いる。一般に、赤色光の波長λＲは６２０〜７５０ｎｍ、緑色光の波長λＧは４９５〜５７０ｎｍ、青色光の波長λＢは４５０〜４９５ｎｍの範囲であり、ＲＧＢの３つの波長間には、λＢ＜λＧ＜λＲの関係が成立する。この波長範囲の中から、λＲ−λＧ＞λＧ−λＢなる関係を充たすように、例えば、本実施形態では、半導体レーザ１１１として、波長λＲ＝６４０ｎｍの赤色光を射出するレーザを、半導体レーザ１１２して、波長λＧ＝５２０ｎｍの緑色光を射出するレーザを、半導体レーザ１１３として、波長λＢ＝４５５ｎｍの青色光を射出するレーザを、それぞれ選択した。以下の説明では、半導体レーザ１１１〜１１３を区別するため、それぞれ、赤色レーザ１１１，緑色レーザ１１２，青色レーダ１１３と呼ぶ。これらのレーザは、レーザ光を射出する壁面が、平面光合波器１２０に設けられた導光口に、僅かなギャップを介して接合するように、シリコン基板１０５を構成部品として包含する平面光合波器１２０に搭載されている。半導体レーザ１１１〜１１３は、公知の位置決め装置を用いて、レーザ光を射出する壁面位置の光軸が、平面光合波器１２０の導光口と一致する様に位置決めされる。なお、半導体レーザと平面光合波器１２０とが、同一の半導体材料で構成可能であれば、両者を同じ半導体基板上に作り込んでも差し支えない。同じ半導体基板上に作り込めば、両者の光軸のアライメントを取ることは容易である。
【００２１】
光源モジュール１１０を構成する平面光合波器１２０は、シリコン基板１０５に上にＳｉＯ２  層により形成されたクラッド層１２５と、このクラッド層１２５の中に形成され、シリコン基板１０５と平行な平面内に配置された第１導波路１２１、第２導波路１２２及び第３導波路１２３とを備えている。したがって、各第１〜第３導波路１２１〜１２３の上下にクラッド層１２５が存在することになる。平面光合波器１２０は、半導体プロセスにより別途積層化され、シリコン基板１０５上に配置されたモノリシック構造である。この構造を、図４のＶ−Ｖ断面図である図５に示した。図５では、第２導波路１２２が示されているが、他の導波路も基本的な構造は同一である。第１導波路１２１，第２導波路１２２及び第３導波路１２３は、クラッド層１２５の一側面に端部が露出している。平面光合波器１２０の各第１〜第３導波路１２１〜１２３の端部には、エッチング加工により、半導体レーザ１１１〜１１３を搭載する構造が形成され、導光路の導光口が設けられる。第１導波路１２１，第２導波路１２２，第３導波路１２３の各導光口と、赤色レーザ１１１，緑色レーザ１１２，青色レーダ１１３の各射出部とは、わずかな距離を隔てて対向するよう位置決めされている。各半導体レーザからのシングルモードの赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）がこの導光口に入射され、ＲＧＢ色光のそれぞれが、第１導波路１２１，第２導波路１２２及び第３導波路１２３内を伝搬されつつ合波されて、クラッド層１２５の他面に露出する第２導波路１２２の射出口から射出される。
【００２２】
第１導波路１２１，第２導波路１２２及び第３導波路１２３は、光結合を生じない間隔で配置される。第２導波路１２２の可視光の伝搬経路上には、レーザ光の入射側から順に第１合波部１２６，第２合波部１２７及び第３合波部１２８が設けられている。第１合波部１２６，第２合波部１２７及び第３合波部１２８は方向性結合器として構成され、第１合波部１２６及び第３合波部１２８では第３導波路１２３が第２導波路１２２に接し、第２合波部１２７では第１導波路１２１が第２導波路１２２に接して、ＲＧＢ色光の合波が行われる。方向性結合器において一方の導波路に入射した光が、他方の導波路に、ほぼ１００％移るのに必要な結合部の長さを、結合長と呼ぶ。
【００２３】
この実施形態では、第１導波路１２１に入射した光は、第２合波部１２７によりほぼ１００％、第２導波路１２２に移るので、両導波路間の結合長は、第２合波部１２７における導波路の長さＬ２となる。第２合波部１２７の結合長Ｌ２は、第１可視光の波長のモード結合長と等しい。他方、第３導波路１２３に入射した光は、第１合波部１２６と第３合波部１２８とにより、ほぼ１００％、第２導波路１２２に移る。したがって、両導波路間の結合長は、第１合波部１２６の長Ｌ１と第３合波部１２８の長Ｌ３との合計となる。本実施形態では、第１合波部１２６の長さＬ１と、第３合波部１２８の長さＬ３とは、等しい。また、第２合波部１２７により実現される結合長Ｌ２は、第１合波部１２６及び第３合波部１２８の長さＬ１，Ｌ３のほぼ半分となるようにしている。３つの可視光がＲＧＢ色光である場合の長さＬ１，Ｌ２，Ｌ３の具体的寸法としては、例えば、長さＬ１，Ｌ３＝１８００μｍ程度、長さＬ２＝９００μｍ程度を挙げることができる。
【００２４】
第１合波部１２６では、第２導波路１２２の緑色光がモード結合により第３導波路１２３へ伝搬されるとともに、第３導波路１２３の青色光の半分がモード結合により第２導波路１２２へ伝搬される。なお、第１合波部１２６では、第２導波路１２２の緑色光のほぼ全部が第３導波路１２３へ伝搬されるのが好ましい。
第２合波部１２７では、第１導波路１２１の赤色光がモード結合により第２導波路１２２に伝搬される。なお、第２合波部１２７では、第１導波路１２１の赤色光のほぼ全てが第２導波路１２２に伝搬されるのが好ましい。また、第２導波路１２２に伝搬された青色光が可能な限り第１導波路１２１に伝搬されないことが好ましい。
【００２５】
第３合波部１２８では、第２導波路１２２に伝搬された赤色光がモード結合により第３導波路１２３に伝搬されたのち第２導波路１２２に伝搬される。また、第３導波路１２３に伝搬された緑色光がモード結合により第２導波路１２２へ伝搬され、第３導波路１２３の青色光と第２導波路１２２の青色光とが位相整合されて合波される。なお、第３合波部１２８では、第３導波路の赤色光，緑色光及び青色光のほぼ全部が第２導波路１２２に伝搬されるのが好ましい。
【００２６】
また、第３導波路１２３の第１合波部１２６から第３合波部１２８までの途中には、第１合波部１２６を経た後に第２導波路１２２と第３導波路１２３とを伝搬する青色光（Ｂ）の位相が一致するように長さが調整された位相制御部１２９が設けられている。
【００２７】
上記構成の平面光合波器１２０は、公知の化学気相成長法（ＣＶＤ）やスパッタリング法等で形成することができる。例えば、シリコン基板１０５上にクラッド層１２５となる低屈折率のシリコン酸化膜を化学気相成長法で成膜した後、コア層となる高屈折率のシリコン酸化膜を積層する。その後このコア層を、第１〜第３導波路１２１〜１２３の形状に応じたパターンを有するフォトマスクを用いて、フォトリソグラフィ法により一定幅の光導波路コアとしてパターニングする。
【００２８】
その後、この上にクラッド層１２５となる低屈折率のシリコン酸化膜を積層し、光導波路コア上を覆う。これにより、前記光導波路コアとその周囲のクラッド層１２５とで、シリコン基板１０５上に第１〜第３導波路１２１〜１２３が形成される。なお、クラッド層としては、例えば絶対屈折率が１．４６程度のものを用いることができ、コア層としては、コア径が２μｍ程度で前記クラッド層との屈折率差が０．５％程度のものを用いることができる。
【００２９】
最後に、シリコン基板１０５及びクラッド層１２５の両端面を研磨して第１〜第３導波路１２１〜１２３の入射口および第２導波路１２２の射出口を露出させることで、平面光合波器１２０が完成する。こうして形成された平面光合波器１２０において、第１導波路１２１に入射した赤色レーザ１１１からの赤色光が、第２導波路１２２に移り、第３導波路１２３に入射した青色レーダ１１３からの青色光が第２導波路１２２に移り、最終的にＲＧＢ各色がまとまって、第２導波路１２２の射出口から、射出される。こうした平面光合波器１２０の動作原理は、特開２０１３−１９５６０３号公報に示されているように、公知のものなので、その説明は省略する。
【００３０】
（３）瞳孔位置の追従制御：
次に、図６を参照して、光学モジュール４１における光学制御部８０，移動制御部９０の構成とその動作について説明する。図示する様に、光学制御部８０は、光源モジュール１１０の赤色レーザ１１１，緑色レーザ１１２，青色レーダ１１３をそれぞれドライブするＲレーザドライバ８１，Ｇレーザドライバ８２，Ｂレーザドライバ８３と、ミラーユニット１３０の第１，第２アクチュエータ１３４，１３６を駆動する第１，第２方向ドライバ８４，８６と、これらの各部に６０からの信号を受け渡す画像信号インタフェース（Ｉ／Ｆ）８８とを備える。したがって、画像出力装置６０は、第１，第２方向ドライバ８４，８６を介して第１，第２アクチュエータ１３４，１３６を駆動して、ミラー１３２の角度、つまりレーザ光の射出方向を２次元平面内で走査しつつ、Ｒ，Ｇ，Ｂレーザドライバ８１，８２，８３を介して、赤色，緑色，青色レーザ１１１，１１２，１１３を駆動することにより、光学エンジン１００からリレー光学路３１を介して出力するレーザ光の位置、色彩（ＲＧＢの混色の程度および明るさ）を制御して、画像を形成できる。
【００３１】
他方、光学モジュール４１に設けられた移動制御部９０は、図示する様に、アイカメラ２６接続され、アイカメラ２６からの画像信号を解析して、瞳孔のＸ軸方向の変位量を演算する第１変位量演算部９１、同様に瞳孔のＹ軸方向の変位量を演算する第２変位量演算部９２，第１変位量演算部９１が求めた瞳孔のＸ軸方向の変位量に基づいて第１移動ユニット１４０を駆動するＸ軸ドライバ９３，第２変位量演算部９２が求めた瞳孔のＹ軸方向の変位量に基づいて第２移動ユニット１５０を駆動するＹ軸ドライバ９４等を備える。
【００３２】
従って、瞳孔の位置が変位すると、移動制御部９０により、光学モジュール４１内の光学エンジン１００のＸ軸方向位置及びＹ軸方向位置は移動され、光学エンジン１００から射出されるレーザ光の位置は、瞳孔の位置に追従する。この様子を、図７，図８を用いて説明する。図７は、光学モジュール４１から出力されたレーザ光が、利用者の左眼ＥＬまで届く光学路を、模式的に示す。リレー光学路３１は、光学モジュール４１から利用者の左眼ＥＬまでの間に、二つのコリメートレンズ３５，３６を備えた光学路として構成されている。この実施形態では、コリメートレンズ３５とコリメートレンズ３６とは、それぞれの焦点距離ｆ１，ｆ２の総和の距離だけ隔てて配置されており、二つのコリメートレンズ３５，３６のそれぞれの焦点距離ｆ１，ｆ２は等しいものとされている。このため、レーザ光の出力側と結像側とが、共役の関係になるよう構成されている。実際のリレー光学路３１では、図１に例示したように、コリメートレンズ３６は、レンズではなく反射鏡として構成されているが、光学的には両者は等価である。図７、図８に示すリレー光学路３１では、虚像提示位置が無限遠であり、従って、瞳孔入射光ビームは平行光である。さらに、リレー光学路３１が光学的対称構造のため、光学モジュール４１から出力される光ビームも平行光としている。光学的対称構造でない光学系を採用したり、虚像提示位置を有限距離とする場合には、コリメートレンズ１１７の位置や焦点距離を変えて、コリメートレンズ１１７から射出される光ビームを平行光とはせず、利用者の瞳孔に入射する光ビームの拡がり角あるいは絞り角が、虚像提示距離に対応する角度となるように、コリメートレンズ１１７から射出する光ビームの拡がり角または絞り角を、調整すればよい。虚像提示距離とリレー光学系の構成に基づいて、光学エンジンから出射される光ビームに必要な拡がり角あるいは絞り角を求める手法は、公知のものなので説明は省略する。
【００３３】
図７では、網膜走査型表示装置２０を使用する利用者の左眼ＥＬの瞳孔の中心が、光学モジュール４１から射出されるレーザ光の光軸に一致しているものとする。このときの左眼を符号ＥＬ１として示した。平面光合波器１２０の出力端から射出した光は、焦点距離ｆ０だけ離れた場所に固定されたコリメートレンズ１１７に入り、集光されて、平行光の光ビームＬＢとなる。この光ビームＬＢは一定の幅を持つ平行光であるが、ビーム径は、１ｍｍ程度であり、図示は模式的なものである。各光ビームの光軸は、光学エンジン１００のミラーユニット１３０のミラー１３２の角度が変更されると、その角度に応じて変更される。図７，図８には、ミラー１３２の角度を変えることで、コリメートレンズ３５に対してＸ軸方向に異なる位置に入射する５本の光ビームの光線軸ＬＴ１〜ＬＴ５を例示した。利用者の網膜上に形成される画像は、このミラー１３２の角度をＸ軸方向，Ｙ軸方向に順次変えながら、半導体レーザ１１１〜１１３の出力を連続的に調整することにより形成される。ミラー１３２の角度を変えると、レーザ光の出力角度が変わり、左眼ＥＬ１の瞳孔の中心に入る光ビームの光軸の角度が変わって、左眼ＥＬ１の網膜上の結像位置が変化する。各位置において、つまり画素毎に、半導体レーザ１１１〜１１３の出力を変調することにより、カラー画像が形成される。半導体レーザ１１１〜１１３の変調としては、強度変調またはパルス幅変調などが採用可能である。
【００３４】
一つの光ビームに着目すると、図示するように、コリメートレンズ１１７で平行光とされた光ビームは、コリメートレンズ３５に入射し、その焦点距離ｆ１の位置に集光し結像する。この結像位置から射出した光は拡がりながら焦点距離ｆ２だけ隔たった位置に設けられたコリメートレンズ３６に入射し、平行光とされて、利用者の瞳孔に入射する。この関係は、光線軸ＴＬ１〜ＴＬ５、あるいはその間のいずれの位置においても同じである。
【００３５】
ところが、利用者の左眼ＥＬ１の位置が網膜走査型表示装置２０に対して相対的に変化し、例えばＸ軸方向とは反対側に距離ΔＸだけ変位し、図示符号ＥＬ２の位置まで移動したとすると、光学モジュール４１が射出するレーザ光の光軸の位置と利用者の左眼ＥＬ２の瞳孔の中心とは、距離ΔＸだけ、Ｘ軸方向とは反対側にずれた状態となってしまう。図では、これを距離−ΔＸとして示した。この場合、所望の位置に画像を形成することが困難になり、利用者からすると、画像の一部が欠けたり、右眼と協働する両眼視がうまく成立しないといった事態を生じる。
【００３６】
そこで、本実施形態の網膜走査型表示装置２０では、こうした利用者の左眼ＥＬの動きをアイカメラ２６より検出し、上述した移動制御部９０により、瞳孔がＸ軸に沿って距離−ΔＸだけ移動した場合、これを補償するように、光学エンジン１００をＸ軸方向に距離ΔＸだけ移動している。図８は、光学エンジン１００をＸ軸方向に距離ΔＸだけ移動した状態を示す。光学エンジン１００が移動しても、ミラー１３２の回転角度範囲は、何ら変更されないので、光学エンジン１００からコリメートレンズ３５までの光線軸ＴＬ１〜ＴＬ５は変化しないが、光学エンジン１００がｘ軸方向に距離ΔＸだけ移動しているので、光線軸ＴＬ１〜ＴＬ５がコリメートレンズ３５に入射する位置は変化する。この結果、コリメートレンズ３５の光ビームの入射位置とコリメートレンズ３５からの光線の射出方向は変化するが、光ビームＬＢの集光位置、つまり結像位置はコリメートレンズ３５の焦点の位置であって、変わらない。
【００３７】
この結像位置から射出した光は拡がりながら焦点距離ｆ２だけ隔たった位置に設けられたコリメートレンズ３６に入射するが、リレー光学路３１の入力側と出力側とは共役の関係になっているので、コリメートレンズ３６への入射角度と入射位置は、コリメートレンズ３５からの射出角度とコリメートレンズ３５への入射位置と対称的な関係になり、利用者の左眼への入射位置は、Ｘ軸に沿って−ΔＸだけ変位した位置、つまり移動した左眼ＥＬ２の瞳孔の位置となる。この関係は、光線軸ＴＬ１〜ＴＬ５、あるいはその間のいずれの位置においても同じである。
【００３８】
この実施形態では、二つのコリメートレンズ３５，３６の焦点距離ｆ１，ｆ２を同じとし、ミラー１３２の中心（レーザ光の反射位置）からコリメートレンズ３５までの距離とコリメートレンズ３６から瞳孔までの距離とを、各コリメートレンズ３５，３６の焦点距離と等しいものとしている。このため、左眼側のＸ軸方向、Ｙ軸方向の移動量と、光学エンジン１００のＸ軸方向，Ｙ軸方向の移動量の絶対値は同じ（方向は逆）となる。二つの各コリメートレンズ３５，３６の焦点距離ｆ１，ｆ２を等しくする必要は必ずしもなく、両各コリメートレンズ３５，３６の焦点距離ｆ１，ｆ２を異ならせて、瞳孔の位置の移動量に対応する光学エンジン１００の移動量（絶対値）を、異ならせることができる。両者の移動量（絶対値）は、リレー光学路３１の結像倍率で決まる比例関係となる。
【００３９】
以上、左眼ＥＬを例に挙げて説明したが、光学モジュール４１，４２は、左右対称に設けられており、右眼ＥＲについても、同様に、右眼ＥＲのＸ軸方向，Ｙ軸方向の位置の変化をアイカメラ２７により検出して、瞳孔の位置に追従するように、光学モジュール４２内に設けられた光学エンジン１００のＸ軸方向，Ｙ軸方向位置を変更している。
【００４０】
以上説明した網膜走査型表示装置２０は、画像出力装置６０から出力された左眼ＥＬ，右眼ＥＲ用の画像を、光学モジュール４１，４２によりレーザ光の出力に変えて、これを左眼ＥＬ，右眼ＥＲの瞳孔の中心に入射し、網膜上にレーザ光を走査して画像を形成する。この際、網膜走査型表示装置２０は、一旦、瞳孔の中心に光学モジュール４１，４２からのレーザ光の光軸を合せると、以後に、瞳孔の中心位置をアイカメラ２６，２７により検出し、瞳孔がＸ軸方向やＹ軸方向に移動した変位量だけ、光学モジュール４１，４２内の光学エンジン１００の位置をＸ軸方向やＹ軸方向に移動する。光学モジュール４１，４２内の光学エンジン１００は、三原色を発光する３つの半導体レーザ１１１〜１１３および平面光合波器１２０、更にはミラーユニット１３０が一体に構成されており、かつ光学エンジン１００全体が、光軸に垂直な平面内をＸ軸方向，Ｙ軸方向に変位可能に構成されている。従って、瞳孔の位置の変位に追従してレーザ光の焦点を瞳孔の中心に維持するための制御を容易に行なうことができる。このため、アイカメラ２６，２７から信号を移動制御部９０で直接処理して、光学エンジン１００を移動させるシンプルな構成を採用できる。仮に、例えばミラーユニット１３０だけを移動して、調整を行なおうとすると、三原色のレーザ光を同軸に合波して出力する平面光合波器１２０の出力軸に対するミラーユニット１３０の位置決めを行ないつつ、瞳孔の位置に対する追従制御を行なわねばならず、アライメントや制御が複雑化してしまう。本実施形態の網膜走査型表示装置２０では、極めてシンプルな構成で、瞳孔の位置の変化に対する追従制御を実現できる。従って、その応答性も十分に高めることができる。
【００４１】
また、本実施形態では、三原色の半導体レーザからの光を１つの軸に合波するのに、導波路を用いたソリッドな構成を採用している。このため、レーザ光の光軸を合せるのに、ダイクロイックミラーやプリズムの光軸合せなどの調整も必要なく、また構成全体の小型化、高効率化を実現できる。この結果、半導体レーザ１１１〜１１１３からミラーユニット１３０までの構成を小型化かつ軽量化できる。このため、これらを搭載した光学エンジン１００全体をＸ軸方向およびＹ軸方向に、一体に移動することが可能となった。
【００４２】
上記実施形態では、第１，第２移動ユニット１４０，１５０として、圧電アクチュエータを用いており、その応答性は極めて速い。瞳孔が１ミリメートル変位したとき、これに光学エンジン１００が追従するのに、０．１秒以下の応答性を実現している。圧電アクチュエータに変えて、例えばモータの回転をピニオンとラックにより直線運動に変換する機構を用いてもよい。この場合、応答速度が、０．１秒以上となっても差し支えない。また、瞳の移動については、左右方向（Ｘ軸方向）の方が上下方向（Ｙ軸方向）より高い応答性を要求されるので、第１移動ユニット１４０の側を圧電アクチュエータなどを用いた高速移動可能なユニットとして構成してもよい。モータを用いた移動ユニットにより低速だが大きな動きを実現し、その上に圧電アクチュエータを用いた移動ユニットを重ねてもよい。
【００４３】
更に、本実施形態では、光学モジュール４１，４２から瞳孔まで光を導く光学系として、２つのコリメートレンズ（１つは反射鏡）を用いたリレー光学路３１，３２を用いている。このため、光学エンジン１００における光学像の形成点、つまりミラー１３２上のレーザ射出点と瞳孔の中心との変位量を、容易に対応付けることができ、追従制御を大幅に簡略化可能としている。こうしたリレー光学路は、上記実施形態では、２枚の凸レンズ、ここではコリメートレンズにより構成したが、１枚のレンズで構成したり、ホログラムや回折光学素子、自由曲面ミラー、光導波板、等を単独でまたは組み合わせて実現することも可能である。
【００４４】
Ｂ．網膜走査型表示装置２０を用いた画像表示システム・第１実施態様：
（１）システム構成：
次に上述した網膜走査型表示装置２０を用いた画像表示システムについて説明する。第１実施態様の画像表示システム１０は、図９に示したように、利用者ＵＳＲの頭部に装着する前述の網膜走査型表示装置２０と、パネル型表示装置５０と、網膜走査型表示装置２０およびパネル型表示装置５０に表示すべき画像データを出力する画像出力装置６０と、画像出力装置６０が表示用に処理する元データである仮想空間データを記憶する外部記憶装置７０とを備える。
【００４５】
画像出力装置６０は、制御を統御するＣＰＵ６１、メモリ６２、画像処理を行なう専用チップであるＧＰＵ６５、操作部６７、網膜走査型表示装置２０との信号のやり取りを行なう網膜走査型表示部インタフェース７１、パネル型表示装置５０との信号のやり取りを行なうパネル型表示部インタフェース７２、外部記憶装置７０との信号のやり取りを行なうストレージインタフェース７５等を備える。画像出力装置６０は、画像出力部として機能するだけでなく、後述する様に、視線検出部としての機能の一部も分担する。
【００４６】
各部の動作等については後述するが、簡略に全体の画像処理について説明すると、この実施態様の画像表示システム１０は、外部記憶装置７０に記憶した仮想空間データから、利用者ＵＳＲにより指定された空間のデータを、ストレージインタフェース７５を介して取り出し、これを、ＧＰＵ６５の画像変換能力を利用して、利用者ＵＳＲの位置および視線の方向に基づいて利用者ＵＳＲから見えている画像に変換する。画像の変換は、利用者ＵＳＲによる操作部６７の操作や、利用者ＵＳＲの視線の方向により、リアルタイムに変換される。画像出力装置６０は、変換した画像を振り分け、その一部を、網膜走査型表示部インタフェース７１を介して網膜走査型表示装置２０に、また残部を、パネル型表示部インタフェース７２を介してパネル型表示装置５０に、それぞれ出力し、両表示装置２０，５０に表示させる。パネル型表示装置５０に表示される画像は、網膜走査型表示装置２０により表示される画像の残部なので、両画像は相補的な画像ということができる。
【００４７】
外部記憶装置７０に記憶された仮想空間データは、仮想的な３次元空間を表現したデータであり、画像表示の元となるデータである。こうした仮想空間データは、現実の地形や都市などに基づいたデータでもよいし、ゲームなどで用いる全く仮想的なデータでもよい。仮想空間データは、その仮想空間に存在する対象物の３次元データと座標関係を示すデータ、対象物の色彩や質感などを表わすデータなどを含んでよい。また、外部記憶装置７０は、画像出力装置６０に内蔵されていてもよいし、ネットワークを介して接続された他のサイトなどに設けられていてもよい。本実施態様では、仮想空間データは予め用意したが、空間の造形規則を与えて、リアルタイムに生成するようにしてもよいし、３次元カメラの撮像データを利用してもよい。
【００４８】
利用者ＵＳＲは、上述した仮想空間の内部にいるものとして、画像出力装置６０よる画像の生成と表示とが行なわれる。仮想空間内の最初の位置（デフォルトの位置）は、予め定めておいても良いし、利用者ＵＳＲが操作部６７を用いて指定するようにしてもよい。利用者の視線の方向は、後述するように、網膜走査型表示装置２０によって検出される。利用者の位置の変更、つまり仮想的な空間の中で進んだり、曲がったりといった位置の変更は、網膜走査型表示装置２０だけでは画像出力装置６０に与えることができない。このため、利用者ＵＳＲは、操作部６７を操作して、自己の位置の変化を入力する。例えば、操作部６７に前後左右の移動に対応された十字キーを設けたり、ジョイスティックを設けたり、あるいは２次元のタッチパッドを設けたりして、利用者ＵＳＲによる移動方向の入力を受け付ければよい。
【００４９】
網膜走査型表示装置２０において、光学モジュール４１，４２から射出されるレーザ光により画像が形成されるのは、左右の眼ＥＬ，ＥＲの網膜の中心視野領域である。中心視野領域は、人の少なくとも網膜中心窩を含む領域である。人の眼は、この中心視野領域において高い認識能力を持つ。したがって、光学モジュール４１，４２により形成される画像は、鮮明に認識される。利用者ＵＳＲの両眼の隔たりなどは人により異なるので、網膜走査型表示装置２０は、利用者ＵＳＲの頭部への装着時に、リレー光学路３１，３２に反射したレーザ光が網膜の中心視野領域に到達するように、光学系のアライメントが調整されている。また、既に説明したように、利用者が見る方向を変えるために眼球を動かして瞳孔の位置が変化すると、網膜走査型表示装置２０では、アイカメラ２６，２７を用いてこれを検出し、光学エンジン１００を変位させて、レーザ光の光軸を瞳孔の中心に合せている。また、後述するように、光学モジュール４１，４２により左右眼ＥＬ，ＥＲ用に生成される画像には、立体視のための視差が与えられているので、利用者ＵＳＲの眼のいわゆるピントは、左右の画像に含まれる視差情報に反応して、視差に対応した位置に調整される。このため、それ以外の位置に存在するもの、例えば透過表示部２１，２２をシースルーして見ているものについては、通常はピントが合わず、ぼけた状態となる。この点についても、後で詳しく説明する。
【００５０】
ビデオカメラ２４は、利用者ＵＳＲの前方におかれるパネル型表示装置５０に設けられた３つのマーカ５１〜５３を認識するために設けられている。マーカ５１〜５３は、図１０に示したように、パネル型表示装置５０の外縁を形成するフレームの３箇所に設けられている。３つのマーカの位置は、２つ以上が同じ位置に存在しないこと、３つのマーカが一直線上に並ばない位置であること、ビデオカメラ２４の撮像範囲に入ること、という条件を満たせば、その位置関係はどのようなものであっても差し支えない。本実施態様では、図１０に示したように、パネル型表示装置５０の左上、右上、左下にそれぞれ設けた。
【００５１】
画像出力装置６０は、このビデオカメラ２４からの映像に基づいて、マーカ５１〜５３の位置を解析し、網膜走査型表示装置２０、ひいては利用者ＵＳＲとパネル型表示装置５０の位置関係を特定することができる。ビデオカメラ２４を用いてマーカ５１〜５３を撮像する手法の場合、マーカ５１〜５３の位置（マーカ間の距離および配置）が分っていれば、１台のビデオカメラ２４が撮像したマーカ５１〜５３が含まれる映像を解析することで、網膜走査型表示装置２０とパネル型表示装置５０との位置関係（パネル型表示装置５０までの距離およびパネル型表示装置５０に対する網膜走査型表示装置２０の３方向の姿勢）を求めることができる。もとより、２台のビデオカメラを用意し撮像した画像の視差を利用すれば、マーカ５１〜５３の位置関係が予め分かっていなくても、網膜走査型表示装置２０とパネル型表示装置５０との位置関係を求めることができる。こうした位置関係を求める処理は、網膜走査型表示装置２０側で行なうものとすることも差し支えない。なお、ビデオカメラ２４に代えて、３軸のジャイロセンサを設け、利用者ＵＳＲの頭部の傾き、延いては網膜走査型表示装置２０の傾きを検出し、これを画像出力装置６０に出力するものとしてもよい。この場合、パネル型表示装置５０と網膜走査型表示装置２０との距離は求められないので、デフォルトの位置を定めておき、これを初期値として使用するようにすればよい。こうした位置関係は、ＸＹＺの直交座標系で表現してもよいし、利用者ＵＳＲの頭部のいずれかの位置を原点とする極座標系で表現してもよい。
【００５２】
（２）画像表示処理：
以上説明した構成を用いて、画像表示システム１０が行なう画像表示処理について、図１０，図１１，図１２を用いて説明する。図１０は、本実施態様において、利用者ＵＳＲから見た画像の一例を示す説明図、図１１，図１２は、画像出力装置６０において実行される処理ルーチンを示すフローチャートである。画像出力装置６０が実行する処理の説明に先立って、利用者ＵＳＲにどのような映像が見えるかについて説明する。網膜走査型表示装置２０を装着してパネル型表示装置５０の前に立った利用者ＵＳＲには、網膜走査型表示装置２０よる第１画像としての画像と、網膜走査型表示装置２０の透過表示部２１，２２を透して認識できるパネル型表示装置５０に表示された第２画像としての画像とが見える。網膜走査型表示装置２０により表示される画像と、パネル型表示装置５０に表示される画像とは、後述するように、別々に生成される。
【００５３】
このうち、網膜走査型表示装置２０に表示される画像は、図１０に示したように、利用者ＵＳＲからするとその中心視野に対応する領域（以下、中心領域という）ＣＳＡの画像である。網膜走査型表示装置２０には、この中心視野に対応する中心領域ＣＳＡの画像以外は出力されないから、中心領域ＣＳＡ以外には画像がなく、利用者ＵＳＲからすれば、中心領域ＣＳＡ以外は、シースルーの状態となっている。この中心領域ＣＳＡ以外の領域であって、パネル型表示装置５０の表示領域と重なる領域（以下、周辺領域という）ＢＳＡの画像は、パネル型表示装置５０に出力される。両方の画像は重なっていないので、相補的な関係にある。したがって、利用者ＵＳＲにとっては、網膜走査型表示装置２０に表示されている中心領域ＣＳＡの画像と、パネル型表示装置５０に表示されている周辺領域ＢＳＡの画像とが、一続きの画像として、矛盾や重複のない画像として視認される。
【００５４】
利用者ＵＳＲが画像を見ている間、網膜走査型表示装置２０に設けられたビデオカメラ２４は継続的に撮像を続けており、図１０に例示したマーカ５１〜５３を撮像している。したがって、撮像されたマーカ５１〜５３を認識することにより、画像出力装置６０は、パネル型表示装置５０を座標系の起点として、利用者ＵＳＲとパネル型表示装置５０との位置関係、つまり距離と網膜走査型表示装置２０の傾き（利用者ＵＳＲの頭部の姿勢）を知ることができる。また、網膜走査型表示装置２０に設けられたアイカメラ２６，２７からの信号は、光学モジュール４１，４２に直接入力されている他、画像出力装置６０に入力されており、画像出力装置６０は、利用者ＵＳＲの左右の眼ＥＬ，ＥＲの瞳孔の画像から利用者ＵＳＲの頭部を座標系の起点として、瞳孔の位置と視線の方向を知ることができる。このため、両方の認識結果を利用することで、画像出力装置６０は、利用者ＵＳＲがパネル型表示装置５０に対してどのような姿勢であり、どの方向を見ているかを知ることができる。なお、本実施態様では、視線検出部において、アイカメラ２６，２７が撮像した瞳孔の画像から、視線の方向を検出したが、瞳孔位置を専用のセンサ等により直接検出し、これから計算によって視線方向を求める方法で検出してもよい。
【００５５】
次に、画像出力装置６０が実行する画像表示処理ルーチンおよび画像生成処理ルーチンについて説明する。画像表示システム１０の画像出力装置６０は、電源が投入され、利用者ＵＳＲが網膜走査型表示装置２０を装着すると、図１１に示す画像表示処理ルーチンを実行する。この処理ルーチンを開始すると、画像出力装置６０のＣＰＵ６１は、まず初期化の処理を実行する（ステップＳ１００）。初期化の処理とは、画像処理に用いるメモリ空間の確保やＧＰＵ６５の設定、網膜走査型表示装置２０，パネル型表示装置５０および外部記憶装置７０との信号やデータのやり取りに必要な初期化処理などを言う。なお、利用者ＵＳＲが頭部に装着した網膜走査型表示装置２０の光学系のアライメントは済んでおり、利用者ＵＳＲの眼の適切な位置に網膜走査による画像が形成されるものとする。
【００５６】
初期化の処理を終えると、ＣＰＵ６１は、実空間と仮想空間との初期対応付けの処理を行なう（ステップＳ１１０）。この処理では、利用者ＵＳＲが仮想空間のどこに位置し、どの方向を向いているかを設定し、利用者ＵＳＲが網膜走査型表示装置２０を装着して存在している実空間と、外部記憶装置７０に記憶されている仮想空間との対応付けを行なう。仮想空間の中のどこに位置し、どの方向を向いているかは、予めデフォルトの位置と方向として決定しておいても良いし、利用者ＵＳＲが操作部６７を用いて、設定するものとしてもよい。その場合、最初の位置と方向は与えておき、そこから操作部６７を操作して対応付けを行なう。もとより、利用者ＵＳＲが画像表示システム１０の使用を開始する際に、「○○世界の××場所に東向きに立つ」といった形で仮想空間内の位置と方向とを指定し、その位置と方向とを、利用者ＵＳＲの実空間と対応付けるものとしてもよい。位置と方向の指定は、例えば音声認識を利用してもよいし、地図などを表示し、その地図上の一点および向きを指定するといった手法で指定してもよい。
【００５７】
続いて、画像出力装置６０は、網膜走査型表示装置２０と信号のやり取りをして、網膜走査型表示装置２０のビデオカメラ２４が撮像した映像からパネル型表示装置５０に設けられたマーカ５１〜５３を読み取る処理を行なう（ステップＳ１２０）。更に、網膜走査型表示装置２０のアイカメラ２６，２７からの信号を入力し、瞳孔孔の画像を読み取る処理を行なう（ステップＳ１３０）。この２つの映像から、画像出力装置６０は、利用者の実空間での位置と視線方向、つまりパネル型表示装置５０に対してどのくらい離れており、パネル型表示装置５０のどの辺りを見ているか、ということを知ることができるから、対応付けられた仮想空間の中で、どの位置からどの方向を見ているかを決定することができる（ステップＳ１４０）。
【００５８】
この対応付けに基づいて、画像出力装置６０は、次に画像生成処理（ステップＳ２００）と、両表示装置２０，５０への画像信号の出力処理（ステップＳ３００）とを行なう。その後、利用者ＵＳＲによる画像表示システム１０の利用が終了したか否かを判断し（ステップＳ１５０）、使用が終了していなければ、ステップＳ１２０に戻って、マーカ５１〜５３の読み取りから処理を繰り返す。従って、利用者ＵＳＲがパネル型表示装置５０に対する位置を変えたり、見ている方向を変えたりすれば、パネル型表示装置５０に対する位置の変更、例えば近接や離間により、画像の大きさを変えるなどの処理を継続する。画像表示システム１０の使用の開始や終了は、操作部６７に設けたスイッチなどにより、容易に実現できる。
【００５９】
図１１における画像生成処理（ステップＳ２００）について、図１２を用いて説明する。この画像生成処理ルーチンが開始されると、ＣＰＵ６１は、まず、利用者ＵＳＲの現在の仮想空間での位置と視線方向に基づいて、外部記憶装置７０に記憶された仮想空間の３次元データにアクセスし、これを読み出す処理を行なう（ステップＳ２１０）。続いて、読み出した３次元データと、利用者ＵＳＲの現在の視線方向に基づき、利用者ＵＳＲの中心視野に対応する中心領域ＣＳＡを演算する（ステップＳ２２０）。中心領域ＣＳＡの演算とは、中心領域ＣＳＡの中心位置と大きさを求めることに相当する。大きさは、本実施態様では、予め定めた楕円または長円形の形状を定義する、例えば短径と長径として定義される。
【００６０】
その後、求めた中心領域ＣＳＡについて、ＣＰＵ６１は、ＧＰＵ６５に指示して高解像度の画像を生成する（ステップＳ２３０）。利用者ＵＳＲの仮想空間での位置と視線方向とは、図１１のステップＳ１３０で求めているので、これに従い、中心領域ＣＳＡに対応した画像を生成することは容易である。このとき、ＧＰＵ６５は、仮想空間の３次元データに基づき、仮想空間内の３次元の奥行きを、両眼ＥＬ，ＥＲに形成される画像の視差に変換して、両眼ＥＬ，ＥＲ用の画像を別々に生成する。また、生成する画像の解像度は、画像の元となる３次元データをレンダリングする際のパラメータをＧＰＵ６５に与えることにより、設定する。中心領域ＣＳＡは、その周辺に広がる周辺領域ＢＳＡより狭いので、ＧＰＵ６５は、短時間のうちに、中心領域ＣＳＡに対応した両眼用の高解像度の画像を生成できる。この画像は、毎秒、６０フレーム程度で書き換えられるので、利用者ＵＳＲは、映像（動画）を見ていることになる。なお、画像の書き換え方法は、インタレースでもノンインタレースでもよい。
【００６１】
次に、ＣＰＵ６１は、利用者ＵＳＲの視線の移動量の大小について判断する（ステップＳ２４０）。視線の移動量とは、利用者ＵＳＲの視線方向の移動量を直前に高解像度の画像を生成した際の方向からの視線の角度の変化量θとして把握することができる。この角度θが大きい場合（初めて画像を生成する場合を含む）には、中心領域ＣＳＡ以外の周辺領域ＢＳＡについて、低解像度の画像を生成する処理を行なう（ステップＳ２５０）。更に、中心領域ＣＳＡと周辺領域ＢＳＡとの境界領域について画像を段階的に補正する処理を行なう（ステップＳ２６０）。この処理は、具体的には、中心領域ＣＳＡの周縁における解像度を、外側に向かって徐々に下げていく処理により実現できる。解像度を下げる処理は、ニアレストネイバー法、バイリニア法、ハイキュービック法など、各種の手法が知られている。これらの手法のいずれかを適用すればよい。単純に言えば、隣接する２以上の画素の階調値を、それらの画素の平均階調値に置き換えればよい。
【００６２】
他方、視線の移動量が小さいと判断した場合には（ステップＳ２４０）、周辺領域ＢＳＡについての新たな画像の生成を行なわず、境界領域に関する解像度の補正のみを行ない（ステップＳ２６０）、いずれの場合も、本処理ルーチンを終了する。
【００６３】
こうして、中心領域ＣＳＡに関する高解像度の画像の生成（ステップＳ２３０）と、周辺領域ＢＳＡに関する低解像度の画像の生成（ステップＳ２５０）とを行なった後、図１１に示したステップＳ３００の処理、即ち網膜走査型表示装置２０およびパネル型表示装置５０への画像信号の出力処理が行なわれる。したがって、利用者ＵＳＲは、図１０に示したように、中心領域ＣＳＡについては、網膜走査型表示装置２０が表示する高解像度の画像を視認することができる。しかもこのとき、左右の眼の網膜に生成される画像には、奥行きに応じた視差が設けられているから、利用者ＵＳＲは、中心領域ＣＳＡについては、奥行きのある画像、即ち仮想空間を３次元的に認識する。
【００６４】
この様子を図１３に例示した。今、仮想的な３次元空間には、対象物ＯＢＪ１〜ＯＢＪ５が存在しているものとする。パネル型表示装置５０から少し離れたところに位置する利用者ＵＳＲは、仮想空間の中では対象ＯＢＪ５の方を向いているとする。このとき、画像出力装置６０は、利用者ＵＳＲの位置と視線の方向とを認識し、網膜走査型表示装置２０に中心領域ＣＳＡに対応した画像を表示する。図１３では、中心領域ＣＳＡに対応する範囲であって、利用者ＵＳＲから見える範囲ＣＳＢをクロスハッチングで示した。
【００６５】
画像出力装置６０は、クロスハッチングした範囲ＣＳＢを利用者ＵＳＲが見ているとして、この範囲ＣＳＢを利用者ＵＳＲの側から見た画像を生成し、これを網膜走査型表示装置２０により表示する。この画像には視差情報が含まれているから、利用者ＵＳＲは、対象物ＯＢＪ５を利用者ＵＳＲ側から見た画像を視認し、画像に含まれる視差により、利用者ＵＳＲから隔たった位置ＤＡに対象物ＯＢＪ５が存在するよう視認する。このとき、パネル型表示装置５０には対象物ＯＢＪ５に対応する画像は、中心領域ＣＳＡから外れた左端の画像以外は形成されない。
【００６６】
パネル型表示装置５０には、中心領域ＣＳＡと相補的な関係にある周辺領域ＢＳＡの画像が形成される。この画像の形成位置は、各対象物ＯＢＪ１〜４を利用者ＵＳＲから見ているとして、これに対応するパネル型表示装置５０の位置ＤＥ１〜４である。パネル型表示装置５０のサイズが、例えばアスペクト比１６対９の４８インチの液晶表示装置であるとすると、利用者ＵＳＲがパネル型表示装置５０の中心において５０センチ離れた場所に立っていれば、利用者ＵＳＲは、水平方向左右にはそれぞれ４７度、合計９４度の範囲までをパネル型表示装置５０の画像として見ることができる。この範囲を図１３では、角度αとして示した。なお、垂直方向上下には、同様にそれぞれ３１度、合計６２度の範囲までを、パネル型表示装置５０の画像として見ることができる。利用者ＵＳＲは、網膜走査型表示装置２０の透過表示部２１，２２を透して、このパネル型表示装置５０上の画像を視認することができる。この画像は、パネル型表示装置５０に表示されているので、奥行きのない、しかも低解像度の画像であるが、利用者ＵＳＲは、その視線方向を注視しているから、この程度の角度αの範囲に画像があれば、利用者ＵＳＲの没入感は十分に高い。
【００６７】
利用者ＵＳＲの左右眼ＥＬ，ＥＲのピントは、網膜走査型表示装置２０によって網膜の中心視野に形成された画像に含まれる視差情報に応じて、仮想空間の奥行きに対応した場所に合わされるから、パネル型表示装置５０に表示された周辺領域ＢＳＡの画像にはピントは合っていない。即ち、周辺領域ＢＳＡの画像は、利用者ＵＳＲにとってはぼけた画像となる。人の視認特性においては、中心視野から外れると空間分解能（視力）が急速に低下する。したがって、このように中心領域ＣＳＡと比べて解像度の低い画像が表示された周辺領域ＢＳＡについては、ピントが合っていなくても、特に認識に関して違和感を覚えにくい。しかも、中心領域ＣＳＡと周辺領域ＢＳＡとの境界領域では、段階的に解像度が変化するよう、中心領域ＣＳＡの周縁の画像が補正されているので、利用者ＵＳＲは、更に中心領域ＣＳＡと周辺領域ＢＳＡと画像の違いに違和感を覚え難い。
【００６８】
この状態で、利用者ＵＳＲが見る方向を変えると、その視線方向の変更は、ビデオカメラ２４より検出されたマーカ５１〜５３の位置の変更と、アイカメラ２６，２７により検出された眼球ＥＬ，ＥＲの動きの変化として、画像出力装置６０よって直ちに認識される。視線方向とは、単に見ている方向だけであってもよいが、左右の眼ＥＬ，ＥＲの瞳孔孔の位置から焦点の位置、つまりどの程度離れているところを見ているかも認識するものとすることできる。焦点の位置を認識すれば、認識した焦点の位置に合せて、左右の眼ＥＬ，ＥＲの網膜に形成する像の視差を調整することができる。
【００６９】
利用者ＵＳＲの見ている方向が分れば、図１４に例示したように、網膜走査型表示装置２０に表示する中心領域ＣＳＡに表示する画像は、仮想空間に内で利用者ＵＳＲが見ている方向に移動する。また、この移動に合せて、周辺領域ＢＳＡに表示する画像も、中心領域ＣＳＡの画像と相補的なものとして形成される。中心領域ＣＳＡが移動する場合、その中心領域ＣＳＡに形成される画像は、常に高解像度の画像であり、周辺領域ＢＳＡに形成される画像は、常に低解像度の画像である。
【００７０】
以上説明したように、上記実施態様の画像表示システム１０によれば、網膜走査型表示装置２０は、利用者ＵＳＲの視線の方向である中心領域ＣＳＡに、高解像度の、しかも立体視される画像を表示し、パネル型表示装置５０は、この中心領域ＣＳＡと相補的な関係にある周辺領域ＢＳＡに低解像度の画像を表示する。中心領域ＣＳＡは利用者ＵＳＲの視線の方向に追従して設定され、その領域の画像はこれに追従して更新される。従って、利用者ＵＳＲの中心視野に形成される画像は常に高解像度に保たれるので、利用者ＵＳＲとしては、仮想空間の鮮明な画像を見続けることができ、広い視野に亘って歪みや不連続な箇所が気にならず、自然な立体視が可能となる。その結果、仮想空間への高い没入感を継続的に味わうことができ、大きな臨場感を感じることができる。
【００７１】
しかもこの例では、網膜走査型表示装置２０において、利用者ＵＳＲの瞳孔の位置が変わっても、光学的なアライメントを直ちに修正して、常に瞳孔の中心をレーザ光が通過するように追従しているので、網膜上の画像がずれることがない。このため両眼視の視差なども適正に保たれるので、この点でも利用者ＵＳＲの没入感が阻害されることが少ない。
【００７２】
また、本実施態様の画像表示システム１０によれば、利用者ＵＳＲの視野の大部分を、網膜走査型表示装置２０が表示する画像とパネル型表示装置５０に表示された画像で覆い、しかも網膜走査型表示装置２０により利用者ＵＳＲが視認する画像が、利用者ＵＳＲの視線の方向の変化に応じて変化すると、パネル型表示装置５０により表示される相補的な画像も変化する。このため、網膜走査型表示装置２０によって利用者の網膜に直接表示されている画像と、利用者が見るパネル型表示装置５０に表示されている画像との間に生じる違和感も抑制される。また、網膜走査型表示装置２０とパネル型表示装置５０とにより大量あるいは複雑な情報を提示することができる。
【００７３】
しかも、利用者ＵＳＲにとっての画像視認距離は、網膜走査型表示装置２０により表示される中心領域ＣＳＡの画像によって決定されるから、パネル型表示装置５０と利用者ＵＳＲとの距離を大きくする必要はない。パネル型表示装置５０によって表示されている画像は、利用者ＵＳＲからすれば、常に周辺領域ＢＳＡとしての画像であり、パネル型表示装置５０までの距離が短くて焦点が合っていなくても、没入感を妨げることはない。したがって、利用者ＵＳＲからパネル型表示装置５０まで距離としては、数十センチあれば足り、パネル型表示装置５０も含めた全体構成の小型化を図ることができる。
【００７４】
更に、網膜走査型表示装置２０で表示する画像は、中心領域ＣＳＡの画像のみにできるので、周辺領域ＢＳＡを含んだ全画像を形成する場合と比較すると、画像出力装置６０における高解像度の、かつ視差情報を含んだ画像の生成に要する時間を短縮することができる。また、網膜走査型表示装置２０自体の表示領域を中心領域ＣＳＡに合わせて小さくすることも可能なので、網膜走査型表示装置２０の光学モジュール４１，４２やリレー光学路３１，３２などを小型化することができる。この結果、省資源や製造コストの低減などを図ることも可能である。
【００７５】
パネル型表示装置５０により周辺領域ＢＳＡに表示される画像は、中心領域ＣＳＡに表示される画像とは相補的なものであり、かつ低解像度の画像である。従って、広い領域の画像の演算に要する時間を短縮することができる。しかも、このとき、図１２に示したように、視線の移動量が大きくなければ、周辺領域ＢＳＡについて、画像の更新処理を行なわない。このため、演算処理を更に少なくすることができる。視線の移動量が小さいときは、周辺領域ＢＳＡの画像の変化は小さく、しかも人の視覚上の認識能力は中心以外では低いので、更新しなくても、利用者ＵＳＲが違和感を覚えることはない。
【００７６】
また、本実施態様の画像表示システム１０で用いた網膜走査型表示装置２０は、シースルータイプなので、利用者ＵＳＲは、網膜走査型表示装置２０の透過表示部２１，２２を透過して、パネル型表示装置５０に表示された画像を見ている。従って、利用者ＵＳＲは、画像表示システム１０が表示する影像の世界に没入できる一方で、自分の身体を含む周辺現実世界の視認はほとんど阻害されないか、全く阻害されない。自然な視覚経験が可能なだけでなく、例えば緊急事態などが生じて、利用者ＵＳＲに何かを伝達しようとする人が視野に入れば、網膜走査型表示装置２０を介してこれを視認することは容易である。
【００７７】
Ｃ．第２実施態様：
第１実施態様では、パネル型表示部として、表示面が平坦な液晶ディスプレイを用いた。これに対して、第２実施態様の画像表示システム１０Ａは、に示すように、第１実施態様で用いたものと同じ網膜走査型表示装置２０と表示面を曲面としたパネル型表示装置５０Ａとを備える。こうした曲面のディスプレイとしては、例えば有機ＥＬのように可撓性の発光面を形成できるものを利用して実現しても良いが、第２実施態様では、投写型の表示装置を用いた。図１５に示した第２実施態様では、利用者ＵＳＲは、網膜走査型表示装置２０を装着して、ドーム形状をしたパネル型表示装置５０Ａの内部に位置する。この実施態様において、画像表示システム１０の基本的な構成は、上記実施態様と同様であり、網膜走査型表示装置２０およびパネル型表示装置５０Ａに表示すべき画像データを出力する画像出力装置と、画像出力装置が表示用に処理する元データである仮想空間データを記憶する外部記憶装置とが設けられている。また、網膜走査型表示装置２０も変わるところはない。パネル型表示装置５０Ａについては、投写型であること、および表示面がドーム形状をしている点で、相違する。
【００７８】
パネル型表示装置５０Ａは、複数台の投写型表示装置ＰＪ１，ＰＪ２、・・を備え、画像出力装置６０から出力される画像を、ドーム５９の外側から投写する。ドーム５９は、背面投射型のスクリーンであり、利用者ＵＳＲは、投写型表示装置ＰＪ１等により投影された画像を見ることができる。
【００７９】
この第２実施態様でも、利用者ＵＳＲの中心視野を含む中心領域ＣＳＡには、網膜走査型表示装置２０により高解像度の立体視用画像が利用者ＵＳＲの左右眼ＥＬ，ＥＲの網膜に形成され、パネル型表示装置５０Ａにより低解像度の画像が、中心領域とは相補的な領域（周辺領域ＢＳＡ）に形成される。このため、第１実施態様と同様の効果を奏する上、更にドーム５９を用いていることから、利用者ＵＳＲの全視野に近い領域を覆って画像を表示でき、利用者ＵＳＲの没入感を高めることができる。しかも、利用者ＵＳＲにとっての画像視認距離は、網膜走査型表示装置２０により表示される中心領域ＣＳＡの画像によって決定されるから、ドーム５９と利用者ＵＳＲとの距離を大きくする必要はない。パネル型表示装置５０Ａによってドーム５９に表示されている画像は、利用者ＵＳＲからすれば、常に周辺領域ＢＳＡとしての画像であり、ドーム５９までの距離が短くて焦点が合っていなくても、没入感を妨げることはない。したがって、利用者ＵＳＲからドーム５９まで距離としては、数十センチあれば足りる。こうしたドーム５９の小型化を図れば、投写型表示装置ＰＪ１，ＰＪ２、・・の設置台数の低減や表示輝度などの表示能力の抑制などを図ることもでき、こうした点も含めて、装置全体の簡略化や小型化を図ることができる。
【００８０】
Ｄ．第３実施態様：
次に第３実施態様について説明する。図１６は、第３実施態様の画像表示システム１０Ｂの概略構成を示す説明図である。この画像表示システム１０Ｂは、図１６に示したように、利用者ＵＳＲの頭部に装着される網膜走査型表示装置２０と、パネル型表示装置５０Ｂとを備える。第３実施態様でも、網膜走査型表示装置２０およびパネル型表示装置５０Ｂに表示すべき画像データを出力する画像出力装置と、画像出力装置が表示用に処理する元データである仮想空間データを記憶する外部記憶装置とが設けられていることは、第１，第２実施態様と同様である。
【００８１】
パネル型表示装置５０Ｂは、利用者ＵＳＲの頭部に、網膜走査型表示装置２０と共に設けられるプロジェクタ２００と、球形のドーム５８の内側に貼付された再帰性反射スクリーン２１０とから構成されている。再帰性反射スクリーン２１０は、表面に小さなガラスビーズを敷き詰めたスクリーンである。ガラスビーズは、屈折率と直径が、再帰正反射を起すように選択されている。こうしたガラスビーズを用いた再帰正反射材としては、露出レンズ型、封入レンズ型、カプセルレンズ型など、種々のものが知られている。本実施態様では、スクリーンをドーム５８の内側に貼付することから、柔軟性の高い露出レンズ型の再帰正反射材を用いた。もとより、ドーム５８と一体に製造するのであれば、露出レンズ型に限らず、封入レンズ型やカプセルレンズ型を用いることも可能である。あるいは、プリズム型の再帰正反射材を用いることも差し支えない。
【００８２】
網膜走査型表示装置２０を用いて表示される画像は、第１画像であり、既述したように、利用者ＵＳＲからするとその中心視野に対応する中心領域ＣＳＡ（図１０参照）の画像である。この画像は、利用者ＵＳＲの視線の方向Ａに常に表示される。図１６では、この表示範囲を、範囲Ｂとして示した。もとより、範囲Ｂは、３次元的な範囲である。網膜走査型表示装置２０には、この中心視野に対応する中心領域ＣＳＡの画像以外は出力されないから、中心領域ＣＳＡ以外には画像がなく、利用者ＵＳＲからすれば、中心領域ＣＳＡ以外は、シースルーの状態となっている。この中心領域ＣＳＡ以外の領域には、プロジェクタ２００から投影された第２画像としての画像が、再帰性反射スクリーン２１０に反射して、利用者ＵＳＲの視野に入る。つまり周辺領域ＢＳＡの画像は、プロジェクタ２００から投写された画像である。プロジェクタ２００から投写される画像の範囲を、図１６では、範囲Ｃとして示した。網膜走査型表示装置２０による画像と、プロジェクタ２００による画像は重なっておらず、相補的な関係にある。したがって、利用者ＵＳＲにとっては、網膜走査型表示装置２０に表示されている中心領域ＣＳＡの画像と、プロジェクタ２００から投写され再帰性反射スクリーン２１０に反射して視認される周辺領域ＢＳＡの画像とが、一続きの画像として、矛盾や重複のない画像として視認される。
【００８３】
第３実施態様の画像表示システム１０Ｂは、パネル型表示装置５０Ｂとして、再帰性反射スクリーン２１０を用いているので、プロジェクタ２００から投写された光の大部分が、利用者ＵＳＲの頭部周辺に戻ってくる。従って、出力の小さなプロジェクタでも十分な明るさの第２画像の形成を、パネル型表示装置５０Ｂとして形成することができる。しかも、再帰性反射スクリーン２１０に画像を投写するプロジェクタ２００を利用者ＵＳＲの頭部に設けているので、利用者ＵＳＲの頭部位置が移動しても、反射光は効率よくＵＳＲの頭部周辺に集る。従って、利用者ＵＳＲが動いても、アライメントなどを修正する必要がない。
【００８４】
また、第３実施態様では、画像を表示する網膜走査型表示装置２０およびパネル型表示装置５０Ｂのプロジェクタ２００を、共に利用者ＵＳＲの頭部にまとめているので、画像出力装置６０等との接続、情報伝送や電源ラインなどの取り回しを、簡素なものにできる。ドーム５８側は、再帰性反射スクリーン２１０を設置するのみでよく、ドーム５８の移動や設置も容易である。また、網膜走査型表示装置２０とプロジェクタ２００とが、共に利用者ＵＳＲの頭部に集められているので、第１画像と第２画像の配置を整合させることも容易である。ドーム５８の内側全面またはほぼ全面に再帰性反射スクリーン２１０を設置すれば、利用者ＵＳＲが、天頂から足下まで、ほぼ３６０度に亘って、第１および第２画像を視認できるようにすることも可能である。３６０度の視認を可能とするのに、プロジェクタ２００の台数を少なくでき、場合によっては、１台で済ませることができる。
【００８５】
プロジェクタ２００は１台ではなく、複数のプロジェクタ２００を配置して、第２画像が表示される範囲Ｃを拡げても差し支えない。この場合は、拡げた範囲Ｃに応じて、ドーム５８内の再帰性反射スクリーン２１０もドーム５８内に貼付しておけばよい。プロジェクタ２００は、網膜走査型表示装置２０と一体に設けてもよいし、網膜走査型表示装置２０とは別に、帽子形状のアダプタやベルトなどの補装具を用いるなどして、利用者ＵＳＲの頭部に設けるものとしてもよい。頭部の近くであれば、肩の上に搭載するようにしてもよい。プロジェクタ２００が小型になれば、網膜走査型表示装置２０のセンタに、例えば第１実施態様で説明したビデオカメラ２４と並べて配置してもよい。また、テンプル２８，２９に内蔵してもよい。
【００８６】
もとより、プロジェクタ２００を利用者ＵＳＲとは別置きにすることも可能である。この場合は、利用者ＵＳＲの頭部の動きをビデオカメラなどで検出して、頭部の動きに合せて、３次元的にプロジェクタ２００から画像の投影方向を制御する機構を設ければよい。この場合、プロジェクタ２００は、直接再帰性反射スクリーン２１０に向けて第２画像を投写してもよいし、利用者ＵＳＲの頭部に設けた凸面鏡に向けて、第２画像を投写してもよい。後者の場合、凸面鏡で反射した画像が、更に再帰性反射スクリー２１０に向けて投写される。こうすれば、投写方向に光が反射してくるという再帰性反射スクリーン２１０の特性を十分に活かすことができ、しかも利用者ＵＳＲの頭部に搭載する部材の重量を低減することができる。
【００８７】
更に第３実施態様では、利用者ＵＳＲが視認する第１画像は網膜走査型表示装置２０により形成され、第２画像はＵＳＲ毎に用意されたプロジェクタ２００より投写され、再帰性反射スクリーン２１０に反射してほぼ全てが利用者ＵＳＲの頭部付近に戻ってくるから、一つのドーム５８を複数の利用者ＵＳＲが同時に使用することも可能である。再帰性反射スクリーン２１０の特性により、少し離れた場所にいる利用者ＵＳＲの頭部のプロジェクタ２００ら投写された画像は、隣の利用者ＵＳＲにはほとんど視認されないからである。
【００８８】
Ｅ．その他の実施形態：
上述した網膜走査型表示装置やこれを用いた画像表示システムは、以下の形態で実施することも可能である。
［１］例えば、一つの実施形態として、利用者の瞳孔に向けて、可視光の範囲で波長の異なる複数のレーザ光を射出する光学系を備えた網膜走査型表示装置が提供される。この網膜走査型表示装置は、前記波長の異なるレーザ光をそれぞれ射出する複数個の半導体レーザと、前記複数個の半導体レーザ前記複数個の半導体レーザが取り付けられ、前記複数個の半導体レーザから射出された前記波長の異なるレーザ光を個別に入力し、所定の光軸に対して同軸に合成して出力する光合波器と、前記光合波器の出力側に設けられ、前記光合波器から出力される合成された前記レーザ光を、所定の拡がり角あるいは絞り角の光ビームに整形するビーム整形器と、前記ビーム整形器を介して出力される前記光ビームの射出方向を、形成しようとする画像に対応した画像信号により、少なくとも当該射出方向に交差する平面内で変更する射出方向変更器と、利用者の瞳孔の位置を検出する検出器と、前記検出された瞳孔の位置に応じて、前記半導体レーザ，前記光合波器，および前記射出方向変更器からなる光学エンジンを一体的に移動して、前記射出方向変更器から射出される前記光ビームを、利用者の瞳孔の位置まで導く調整器と、を備える。
【００８９】
光ビームは、射出方向変更器が直接使用者の瞳孔に入射するようにしてもよいし、リレー光学系を用意して、リレー光学系を介して入射するようにしてもよい。この場合、所定の拡がり角あるいは絞り角以下の光ビーム（平行光を含む）は、リレー光学系通過後の光ビームの拡がり角に応じた位置に虚像が形成され、利用者はこれを視認することができる。所定の拡がり角あるいは絞り角は、リレー光学系通過後の光ビーム拡がり角が虚像距離に対応する値になる角度以下であればよい。虚像距離とリレー光学系の構成に基づいて、この拡がり角あるいは絞り角の範囲を求める手順は周知のものである。ここで言う拡がり角や絞り角は、角度０の場合、つまり平行光を含んでいることは勿論である。
【００９０】
［２］こうした網膜走査型表示装置において、前記調整器は、前記検出した瞳孔の位置の光軸に垂直な平面内の変位に従って、前記光学エンジンから出力されるレーザ光の光軸に垂直な平面内のアライメントを調整するものとしてもよい。こうすれば、瞳孔の位置が、レーザ光の光軸に垂直な平面内で二次元的に移動しても、レーザ光を容易に利用者の瞳孔に入射することができる。なお、調整器による調整は、光軸に垂直な一方向のアライメントのみであってもよい。人の眼球は横方向の移動の方が一般に多いしまた容易であるため、この方向のアライメントができれば、対象を注視する場合の眼球の動きの大部分に対応することができる。
【００９１】
こうした光学エンジンのアライメントを行なう調整器は、圧電アクチュエータを用いて容易に構成できる。もとより、圧電アクチュエータに限る必要はなく、ソレノイドなどを用いてもよく、モータ等の回転運動をピニオンとラックにより直線運動に変換する仕組みなどを用いることも容易である。
【００９２】
［３］こうした網膜走査型表示装置において、前記光合波器は、平面光合波器であるものとしてもよい。平面光合波器を用いれば、光学エンジンを小型化しやすい。なお、光合波器としては、平面光合波器に限る必要はなく、光学エンジンとして一体化できるのであれば、プリズム、干渉膜フィルタ、あるいは回折格子を用いた構成でも差し支えない。
【００９３】
［４］こうした網膜走査型表示装置において、前記複数個の半導体レーザは、赤色、緑色、青色のレーザ光をそれぞれ射出するものとしてもよい。こうすれば、三原色を用いたカラー画像を表示できる。もとよりレーザ光は２種類でもよく、また、赤色、緑色、青色以外の波長のレーザ光を組み合わせてもよい。
【００９４】
［５］こうした網膜走査型表示装置において、前記光合波器は、前記赤色用の導波路、前記緑色用の導波路、前記青色用の導波路を併設し、前記青色用の導波路からの青色光を前記緑色用の導波路に伝搬する第１方向性結合器および第２方向性結合器を備え、前記緑色用の前記導波路において、前記第１方向性結合器から前記第２方向性結合器に至る間に、前記赤色用の導波路からの赤色光を前記緑色用の導波路に伝搬する第３方向性結合器を備えるものとしてもよい。こうすば、三原色の光をミラーやプリズムを用いることなく同軸に合成でき、装置の小型化や高信頼性を実現できる。また、光軸合わせなどの調整の省略でき、製造も容易となる。もとより、光合波器は、こうした導波路を用いた構成に限る必要はなく、光学エンジンとして一体に移動できるのであれば、ダイクロイックミラーやダイクロイックプリズムなどを用いた構造を採用してもよい。
【００９５】
［６］こうした網膜走査型表示装置において、前記射出方向変更器は、ＭＥＭＳミラーを備えるものとしてもよい。射出方向変更器をＭＥＭＳにすれば、光学エンジンを小型化できる。また、レーザ光の射出方向の変更を高速に行なうことが可能となる。もとより、射出方向変更器は、ＭＥＭＳミラーに限る必要はなく、光学エンジンとして一体に移動できるのであれば、圧電アクチュエータを用いた構成や小型モータを用いた構成なども採用可能である。
【００９６】
［７］こうした網膜走査型表示装置において、前記ビーム整形器は、前記光合波器の出力側に固定されたコリメートレンズとしてもよい。ビーム整形器としてコリメートレンズを設ければ、出力されるレーザ光の広がりを容易に抑制できる。利用者の瞳孔に入射する光ビームの広がり角が虚像提示距離に対応する値となるようにするには、ビーム整形器から出力させる光ビームを、所定の拡がり角あるいは絞り角とすればよい。ビーム整形器としては、コリメートレンズに限らず、同様の機能を奏する反射鏡などを用いることができる。あるいは、光合波器の出力端近傍の導波路の形状を整え、導波路から外部に出力されるレーザ光をコリメートレンズ等を用いることなく、略平行光や準平行光としてもよい。この場合、導波路の一部が、ビーム整形器として機能する。
【００９７】
［８］また、利用者に対して、所定の画像を視認可能に表示する画像表示システムも提供可能である。この画像表示ステムは、上述した網膜走査型表示装置を両眼用に組み込んだ頭部装着型表示装置であって、前記利用者の両眼の網膜位置にレーザ光を走査することにより、前記利用者の両眼の位置から第１距離だけ隔たった位置に合焦する第１画像を表示する頭部装着型表示装置と、前記頭部装着型表示装置を装着した前記利用者の瞳孔孔位置および視線の方向を検出する視線検出部と、前記利用者から、前記第１距離より短い第２距離だけ隔たった位置に設けられたパネルに、前記第１画像とは異なる第２画像を表示するパネル型表示装置と、前記所定の画像から、前記検出した利用者の視線の方向に存在すると想定される部分を、前記第１画像として前記頭部装着型表示装置に前記画像信号として出力すると共に、前記所定の画像に対して前記第１画像と相補的な画像を、前記第２画像として前記パネル型表示装置に出力する画像出力部とを備える。
【００９８】
こうした画像表示システムは、利用者に対して表示する所定の画像を、検出した利用者の視線の方向に存在すると想定される部分である第１画像と、これと相補的な第２画像とし、第１画像を、網膜走査型表示装置によって利用者から第１距離に表示し、第２画像を、この第１距離より短い第２距離だけ利用者から隔たった位置に設けられたパネル型表示装置に表示する。したがって、利用者は、その視線の方向であって、利用者から第１距離だけ隔たった位置に合焦する第１画像を見ることになり、同時に第１画像とは相補的な第２画像を、第１距離より短い第２距離に見ることになる。人の眼は、視線の方向、つまり中心視野領域において高い認識能力を持つ。したがって、利用者は合焦の位置の第１画像を明瞭な画像としてみることができ、これとは相補的な第２画像と合せて、広い範囲に表示される所定の画像と見ることができる。
【００９９】
［９］こうした画像表示システムにおいて、前記パネル型表示装置は、前記利用者から見た画角が、水平方向で６０度以上１８０度以下、垂直方向で４０度以上１２０度以下となるパネルサイズを備えるものとしてもよい。この角度範囲であれば、パネル型表示部の大きさを抑えて、利用者に十分な没入感を提供できる。パネル表示装置は、平面のものに限らず、曲面ものや平面のパネルを複数組み合わせて、水平方向において利用者の画角の１８０度以上を覆う構成としてもよい。
【０１００】
［１０］こうした画像表示システムにおいて、前記画像出力部は、前記頭部装着型表示装置において前記利用者の前記両眼に前記レーザ光を用いて表示する第１画像は、前記両眼に視差を生じさせる立体視用の画像であるものとしてもよい。この場合、利用者は網膜走査型表示部を用いて立体視ができ、しかもパネル型表示部に表示する画像は立体視用の画像とする必要はない。このため、立体視用の画像の生成と広い範囲に相補的な画像を表示するという要請を両立することができる。もとより、第１画像は、立体視用の画像以外の画像としてもよい。
【０１０１】
［１１］こうした画像表示システムにおいて、前記パネル型表示装置は、前記パネル表面に再帰性反射部材が設置されたスクリーンと、前記スクリーンに向かって、前記利用者の頭部近傍から前記第２画像を投写するプロジェクタと、を備えるものとしてもよい。こうすれば、利用者は没入感の高い画像体験を味わうことができる。スクリーンはパネル表面に再帰性反射部材を用いているので、プロジェクタの位置は、利用者に近いことが望ましい。もとより、再帰性反射部材であっても、反射方向には一定の幅があるので、その範囲内に利用者が入る範囲内であれば、プロジェクタの配置は自由である。
【０１０２】
［１２］こうした画像表示システムにおいて、画像出力部は、パネル型表示部に表示させる第２画像について、解像度、明度、彩度、鮮鋭度（画像のぼけていない程度）のうちの少なくとも一つのパラメータを、網膜走査型表示部に表示させる第１画像についてのパラメータよりも、小さい画像として出力するものとしてもよい。こうすれば、第２画像を形成する時間や処理の負荷を低減することができる。
【０１０３】
［１３］上記の画像表示システムにおいて、画像出力部は、第１画像と第２画像との境界では、第１画像側から第２画像側に向けて、上記のパラメータを漸次変化させるものとしてもよい。こうすれば、第１画像と第２画像との境界での画像の変化が滑らかなものとなる。
【０１０４】
［１４］こうした画像表示システムにおいて、所定の空間を表現する３次元データを記憶する記憶部と、利用者の所定の空間内での位置および視線方向の少なくとも一方を変更する操作部と、利用者の位置および視線方向の少なくとも一方の変更に伴って、利用者が所定の空間で視認すると想定される映像を、３次元データから、所定の画像として生成する画像生成部と、を備えるものとしてもよい。こうすれば、利用者はあたかも所定の空間の内部で、その空間内の事物を見ているように、第１画像と第２画像とを視認することができる。
【０１０５】
［１５］更に、こうした画像表示システムにおいて、所定の仮想空間にあるオブジェクト群を表現する３次元データを記憶する記憶部と、利用者が存在する実空間の座標系と所定の仮想空間の座標系との対応を設定する座標系対応設定部と、検出された瞳孔位置および視線方向を、設定された座標系対応に従って仮想空間の座標系における瞳孔位置及び視線方向に変換し、仮想空間における利用者が所定の仮想空間で視認すると想定される映像を、３次元データから、所定の画像として生成する画像生成部と、を備えるものとしてもよい。こうすれば、画像表示システムによって利用者は、仮想空間にあるオブジェクト群を含み、利用者が前記所定の仮想空間で視認すると想定される映像を視認することができる。したがってゲームなど、仮想空間を想定して行なわれる映像表示に対して利用者は高い没入感を持つことができる。
【０１０６】
［１６］こうした画像表示システムは、上述したように、ゲーム機や娯楽シミュレータなどに用い、仮想的なゲームの世界などの映像や観光地、ミュージアムなどの映像を利用者に見せるといった使い方が可能である。また業務用のシミュレータにも用いることができる。業務用のシミュレータとしては、都市開発における都市景観の確認や、規模の大小を問わず構築物の内部や外部の視認、通常肉眼では監察できないような分子構造、例えばカーボンナノチューブやタンパク質などの３次元構造のデータを可視化するなどの使い方も可能である。また、プラントや各種インフラなどの状態をモニタする大型モニタディスプレイやこれらの設備等に対する遠隔操作の際のモニタディスプレイとしても利用可能である。この場合、既設の液晶ディスプレイなどを本開示のパネル型表示部として利用し、網膜走査型表示部と組み合わせて画像表示システムを構成すれば、既存設備の有効利用を図ることができる。
【０１０７】
［１７］上記各実施形態等において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。ソフトウェアによって実現されていた構成の少なくとも一部は、ディスクリートな回路構成により実現することも可能である。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。すなわち、「コンピュータ読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
【符号の説明】
【０１０８】
１０，１０Ａ，１０Ｂ…画像表示システム、２０…網膜走査型表示装置、２１，２２…透過表示部、２４…ビデオカメラ、２６，２７…アイカメラ、２８，２９…テンプル、３１…リレー光学路、３５，３６…コリメートレンズ、４１，４２…光学モジュール、５０，５０Ａ，５０Ｂ…パネル型表示装置、５１〜５３…マーカ、５８，５９…ドーム、６０…画像出力装置、６１…ＣＰＵ、６２…メモリ、６７…操作部、７０…外部記憶装置、７１…網膜走査型表示部インタフェース、７２…パネル型表示部インタフェース、７５…ストレージインタフェース、８０…光学制御部、８１…Ｒレーザドライバ、８２…Ｇレーザドライバ、８３…Ｂレーザドライバ、８４…第１方向ドライバ、８６…第２方向ドライバ、８８…画像信号インタフェース（Ｉ／Ｆ）、９０…移動制御部、９１…第１変位量演算部、９２…第２変位量演算部、９３…Ｘ軸ドライバ、１００…光学エンジン、１０１…ベース、１０５…シリコン基板、１１０…光源モジュール、１１１〜１１３…半導体レーザ、１１１…赤色レーザ、１１２…緑色レーザ、１１３…青色レーダ、１１７…コリメートレンズ、１２０…平面光合波器、１２１…第１導波路、１２２…第２導波路、１２３…第３導波路、１２５…クラッド層、１２６…第１合波部、１２７…第２合波部、１２８…第３合波部、１２９…位相制御部、１３０…ミラーユニット、１３２…ミラー、１３４…第１アクチュエータ、１３６…第２アクチュエータ、１４０…第１移動ユニット、１５０…第２移動ユニット、２００…プロジェクタ、２１０…再帰性反射スクリーン
【図１】
0006949389.tif 000002
【図２】
0006949389.tif 000003
【図３】
0006949389.tif 000004
【図４】
0006949389.tif 000005
【図５】
0006949389.tif 000006
【図６】
0006949389.tif 000007
【図７】
0006949389.tif 000008
【図８】
0006949389.tif 000009
【図９】
0006949389.tif 000010
【図１０】
0006949389.tif 000011
【図１１】
0006949389.tif 000012
【図１２】
0006949389.tif 000013
【図１３】
0006949389.tif 000014
【図１４】
0006949389.tif 000015
【図１５】
0006949389.tif 000016
【図１６】
0006949389.tif 000017