(57)【要約】      （修正有）【課題】観察者の眼球に向けて表示光が出射されるＨＭＤの映像投影面における表示出射エリアが、ＨＭＤが装着された観察者頭部の変動に連動することなくＨＭＤの設置空間における虚像形成面が固定されるように、映像投影面上を移動することにより、観察者に実際にモニタが設置された環境を体感させる。【解決手段】ＨＭＤは、実像を表示する表示素子と、表示光を観察者に導く導光部材１１０と、姿勢監視センサと、姿勢監視センサからの検出情報に基づいて表示素子を制御する制御部を備える。制御部は、導光部材１１０の映像投影面１１０ａの姿勢変動とは無関係に、ＨＭＤが設置された空間において拡大映像Ｉとして認識される虚像形成面が固定されるよう、表示素子に対して表示制御を行う。【選択図】図４
2011059435.tif 000002
【特許請求の範囲】
【請求項１】
観察者の頭部に装着された状態で該観察者に任意の拡大映像を提示可能にするためのヘッドマウントディスプレイにおいて、
映像源となる実像を表示するための表示素子と、
可視光を透過できる材料からなり、前記表示素子から出射された表示光を映像投影面を介して前記観察者の眼球に導くための導光部材と、
前記観察者の頭部に連動して変化する前記導光部材の映像投影面の姿勢変動を検出するための姿勢監視センサと、
前記姿勢監視センサからの検出情報に基づいて前記表示素子に対して表示制御を行う制御部であって、前記導光部材の映像投影面の姿勢変動に連動することなく当該ヘッドマウントディスプレイが設置された空間において前記拡大映像として認識される虚像形成面が固定されるよう、前記表示素子に対して表示制御を行う制御部と、を備えたヘッドマウントディスプレイ。
【請求項２】
前記姿勢監視センサは、一またはそれ以上の加速度センサを含むことを特徴とする請求項１記載のヘッドマウントディスプレイ。
【請求項３】
前記表示素子は、液晶ディスプレイ、プラズマディスプレイ、ＬＥＤアレイおよびホログラフィック素子のいずれかを含むことを特徴とする請求項１又は２記載のヘッドマウントディスプレイ。
【請求項４】
前記制御部は、前記映像投影面の姿勢が予め設定された値を超える加速度で変動したことを前記姿勢監視センサが検出したとき、前記表示素子の映像表示動作を停止させることを特徴とする請求項１〜３のいずれか一項記載のヘッドマウントディスプレイ。
【請求項５】
前記制御部は、前記映像投影面に予め設定された表示光の出射可能エリア内において、前記映像投影面から前記観察者の眼球に向けて実際に出射される表示光の出射エリアが存在しなくなったとき、前記表示素子の映像表示動作を停止させることを特徴とする請求項１〜４のいずれか一項記載のヘッドマウントディスプレイ。
【請求項６】
所定の伝送手段を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置であって、
請求項１〜５のいずれか一項記載のヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着した観察者を撮影するための撮像装置と、
前記伝送手段との間で、前記撮像装置に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部と、を備えた情報端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者頭部に装着された状態で該観察者に任意の拡大画像を提示可能にするためのヘッドマウントディスプレイ（Head Mounted Display：以下、ＨＭＤという）に関し、特に、モニタ設置環境を体感可能にする擬似空間を該観察者に提供するための光透過型のヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
通常、一般家庭のリビング等で映像など視覚情報を見る場合、図１（ａ）に示されたような構成をとるのが一般的である。すなわち、観察者１０はテーブル４０を前にしてイス３０に腰掛けている。このテーブル４０上にはモニタ２１を含む表示装置２０が設置されており、観察者１０は所定距離離れた状態でモニタ２１に表示される映像を見ることになる。
【０００３】
しかしながら近年、鉄道、自動車、航空機等の交通機関のように、十分なモニタ設置スペースが確保できない環境において、映像等の視覚情報の提供手段として、観察者頭部に装着させるＨＭＤが開発されている。特に、このようなＨＭＤには、以下の特許文献１に開示されたように、観察者自身の視野を確保した状態で視覚情報を提供する光透過型のＨＭＤがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−９２８１０号公報
【特許文献２】日本国特許第３０７４６７７号
【非特許文献】
【０００５】
【非特許文献１】研野孝吉「ＨＭＤの最新の動向と展望」、電子情報通信学会、信学技報ＥＩＤ２０００−２２２、２０００年１１月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明者らは、従来のＨＭＤについて検討した結果、以下のような課題を発見した。すなわち、従来のＨＭＤは、観察者頭部に装着された状態で使用されるため、実際のモニタ装置等の設置が困難な環境下においても観察者に所定倍率の拡大映像の提示を可能にする。そのため、図１（ｂ）に示されたように、観察者１０が頭部にＨＭＤ５０を装着すれば、観察者１０自身は、実際には虚像形成面ＩＰ上に提示される虚像Ｉを認識することになり、モニタ設置環境を擬似空間において体感できる一方、モニタ設置スペースの効果的な節約が可能になる。
【０００７】
しかしながら、従来のＨＭＤ５０は、観察者１０に提供される表示光の出射位置が固定されているため、観察者１０の頭部変動に連動して観察者自身が認識する虚像Ｉも常に観察者１０の視野内に提示されることとなる。これは、観察者１０が映像観察以外の非観察動作を行う場合にも虚像Ｉが観察者１０の視野内に提示されていることを意味しており、いくら光透過型のＨＭＤと言えども、非観察動作に支障を来たすのは明らかである。観察動作と非観察動作が繰り返される環境としては、例えば手術などが行われる医療現場が考えられる。この医療現場での手術は、種々の計測機器のモニタ画面を確認する動作と、精密な手作業が要求される手術動作（非観察動作）が繰り返されるのは周知である。このような環境下において、非観察動作中に観察者の視野内に映像が提示されたのでは、手術自体に支障をきたしてしまうことになる。
【０００８】
本発明は、上述のような課題を解決するためになされたものであり、モニタ設置環境を体感可能にする擬似空間、すなわち、実際のモニタ設置環境と同様にモニタ画面の観察動作と非観察動作が観察者頭部の姿勢変動に連動して任意に実現できる擬似空間を該観察者に提供するための構造を備えた光透過型ヘッドマウントディスプレイを提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係るヘッドマウントディスプレイ（ＨＭＤ）は、観察者の前方視野を確保した状態で、観察者の頭部に装着された状態で該観察者に任意の拡大映像を提示可能にするための構造を備え、具体的には、表示素子と、可視光を透過できる材料からなる導光部材と、姿勢監視センサと、姿勢監視センサからの検出情報に基づいて表示素子に対して表示制御を行う制御部とを備える。ここで、表示素子は、観察者に提示すべき映像（虚像）の映像源となる実像を表示する。導光部材は、表示素子から出射された表示光を映像投影面を介して観察者の眼球に導く。姿勢監視センサは、観察者の頭部に連動して変化する導光部材の映像投影面の姿勢変動を検出する。制御部は、導光部材の映像投影面の姿勢変動に連動することなく当該ＨＭＤが設置された空間において拡大映像として認識される虚像形成面が固定されるよう、表示素子に対して表示制御を行う。
【００１０】
上述の構成により、観察者の眼球に向けて表示光が出射される当該ＨＭＤの映像投影面における表示出射エリアは、当該ＨＭＤが装着された観察者頭部の変動に連動することなく当該ＨＭＤの設置空間における虚像形成面が固定されるように、映像投影面上を移動する。このとき、観察者は、自己の頭部と一体的に変動する映像投影面を介して認識される虚像形成面が固定しているように体感できるため、当該観察者自身は、実際にモニタが設置された環境と同様の感覚で作業等、観察以外の動作を円滑に行うことが可能になる。したがって、本発明に係るＨＭＤは、単にモニタ設置が困難な環境での使用のみならず、医療現場、テレビ会議など、従来から円滑な作業遂行のためにモニタを利用してきた種々の分野への適用を可能にする。
【００１１】
本発明に係るＨＭＤにおいて、姿勢監視センサは、一またはそれ以上の加速度センサを含むのが好ましい。また、表示素子は、発光型、非発光型の何れであってもよい。発光型表示素子としては、例えば、プラズマディスプレイ、エレクトロルミネセンス（ＥＬ）デバイス、発光ダイオード（ＬＥＤ）アレイなどが知られている。非発光型表示素子としては、例えば、液晶ディスプレイ、ホログラフィック素子などが知られている。
【００１２】
なお、本発明に係るＨＭＤにおいて、制御部は、映像投影面の姿勢が予め設定された値を超える加速度で変動したことを姿勢監視センサが検出したとき、表示素子の映像表示動作を停止させるのが好ましい。急激な姿勢変化は、観察者自身の緊急事態と判断される可能性が高いため、映像投影面の姿勢変動に関わらず、観察者の十分な視野を確保する必要があるからである。また、当該ＨＭＤの長寿命化を考慮すれば、制御部は、映像投影面に予め設定された表示光の出射可能エリア内において、映像投影面から観察者の眼球に向けて実際に出射される表示光の出射エリアが存在しなくなったとき、表示素子の映像表示動作を停止させるのが好ましい。さらに、表示されるべき映像情報としては、ナビゲーション情報の提供も可能であることから、当該ＨＭＤはＧＰＳ機能を備えてもよい。
【００１３】
上述のような構造を備えたＨＭＤ（本発明に係るＨＭＤ）は、従来からモニタを利用してきた分野、例えば双方向データ通信技術を利用したテレビ会議システムなどへ適用され得る。この場合、当該ＨＭＤは、所定の伝送手段を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置の一部を構成する。すなわち、本発明に係る情報端末装置は、上述のような構造を有するＨＭＤと、このＨＭＤを装着した観察者を撮影するための撮像装置と、伝送手段との間で、撮像装置に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部を備える。
【００１４】
なお、本発明に係る各実施例は、以下の詳細な説明及び添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。
【００１５】
また、この発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明及び特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、この発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。
【発明の効果】
【００１６】
本発明によれば、観察者の眼球に向けて表示光が出射される当該ＨＭＤの映像投影面における表示光出射エリアは、当該ＨＭＤが装着された観察者頭部の変動に連動することなく当該ＨＭＤの設置空間における虚像形成面が固定されるように、映像投影面上を移動する。この構成により、観察者自身は実際にモニタが設置された環境を体感することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るＨＭＤにより実現される擬似空間を概念的に説明するための図である。
【図２】本発明に係るＨＭＤの第１実施形態の概観及び機能を説明するための図である。
【図３】第１実施形態に係るＨＭＤにおける導波部材の構造を、拡大映像の表示原理とともに説明するための図である。
【図４】第１実施形態に係るＨＭＤにより実現される擬似空間（モニタ設置環境）を説明するための図である。
【図５】第１実施形態に係るＨＭＤの基本構成を示す図である。
【図６】第１実施形態に係るＨＭＤにおける姿勢監視センサの機能を説明するための図である。
【図７】第１実施形態に係るＨＭＤにおける制御部で実行される、表示制御を説明するための図である。
【図８】第１実施形態に係るＨＭＤにおける制御部で実行される、設定モードおよび固定表示モードを説明するためのフローチャートである。
【図９】第１実施形態に係るＨＭＤにおける制御部で実行される、変動表示モードを説明するためのフローチャートである。
【図１０】本発明に係るＨＭＤの第２および第３実施形態の概観を示す図である。
【図１１】本発明に係る情報端末装置の構成を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係るヘッドマウントディスプレイ（ＨＭＤ）の各実施形態を、図２〜図１１を参照しながら詳細に説明する。なお、なお、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。
【００１９】
図２は、本発明に係るＨＭＤの第１実施形態の概観及び機能を説明するための図である。特に、図２（ａ）には、第１実施形態に係るＨＭＤとして、両眼ゴーグル型のＨＭＤが示されている。なお、このＨＭＤ１００は、可視光を透過可能な材料からなる導光部材１１０と、この導光部材１１０を観察者頭部に保持するための一対の支持部材を備えた光透過型ＨＭＤである。導光部材１１０は、観察者の眼球ＥＹＥ（図２（ｂ）参照）に対面する内側面１１０ａ（表示光が眼球ＥＹＥに向けて出射される映像投影面）と、内側面１１０ａに対向する外側面１１０ｂを有する。一方の支持部材には、実像を表示する表示素子１２１ａ（図２（ｂ）参照）を含む表示制御装置１２０ａが内臓されるとともに、当該表示制御装置１２０ａの入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット１３０、音声情報を観察者に提供するためのイヤホン１４０ａがそれぞれ設けられている。他方の支持部材にも同様に、表示制御装置１２０ｂが内臓されており、この表示制御装置１２０ｂの入出力デバイスとしてイヤホン１４０ｂが設けられている。
【００２０】
この第１実施形態に係るＨＭＤ１００において、表示素子１２１ａから出射された表示光は、導光部材１１０内、すなわち当該導光部材１１０の左側半分に相当する領域内を伝搬し、映像投影面１１０ａから観察者の左眼球ＥＹＥに到達する。一方、表示素子１２１ｂから出射された表示光も、導光部材１１０の右側半分に相当する領域内を伝搬し、映像投影面１１０ａから観察者の右眼球ＥＹＥに到達する。このとき、映像投影面１１０ａの左側から左眼球ＥＹＥに照射される表示光の出射角（映像投影面１１０ａと表示光の光軸との角度であって、水平成分と垂直成分により与えられる）と、映像投影面１１０ａの右側から右眼球ＥＹＥに照射される表示光の出射角に視差角を与えることにより、図２（ｂ）に示されたような虚像Ｉが観察者に提示される。なお、この視差角は、導光部材１１０の表面１１０ｂから虚像形成面までの距離のデフォルト値、すなわち観察者に提示される虚像Ｉの拡大倍率のデフォルト値を規定するパラメータとなる。
【００２１】
図３は、第１実施形態に係るＨＭＤにおける導波部材の構造を、拡大映像の表示原理とともに説明するための図である。
【００２２】
導光部材１１０には、例えば図３（ａ）に示されたように曲面１１ａ〜１１Ｃで構成された偏心自由曲面光学系１１により実現可能である（非特許文献１参照）。また、第１実施形態に係るＨＭＤ１００の導光部材１１０は、図３（ｂ）に示されたように互いに対向する面１１０ａ、１１０ｂを有する導光板である。この面１１０ａ、１１０ｂそれぞれは、偏心自由曲面光学系１１における曲面１１ｂ、１１ｃそれぞれと同様に機能するフレネルレンズとして表面加工されている。なお、図３（ｂ）は、図２（ａ）中に示されたＩ−Ｉ線に沿った導光部材１１０の断面図に相当している。何れの導光部材１１０も可視光を透過可能な材料、例えばガラス材料、アクリル樹脂などのプラスティック材料で構成されており、特に、表面がフレネルレンズとして加工された導光板（図３（ｂ））の場合、可視光に対する透過率が低下するが、少なくとも５０％以上、好ましくは７０％以上の透過率を有する材料であるのが好ましい。さらに、図３（ａ）および図３（ｂ）の何れに示された導光部材も、各面が誘電体多層膜によりハーフミラーコーティングされていてもよい。
【００２３】
具体的に、表示光による虚像形成の原理を図３（ａ）の偏心自由曲面光学系１１を用いて説明すると、図３（ｃ）に示されたように、実像を表示する表示素子１２からの表示光は曲面１１ａを介して、当該光学系１１内に出射される。この表示光は曲面１１ｂおよび曲面１１ｃにおいてそれぞれ全反射され、再度曲面１１ｂ（投影曲面）から観察者の眼球ＥＹＥに到達する。このとき、観察者には、図３（ｃ）に示されたように、曲面１１ｃから所定距離離れた位置（虚像形成面上）に虚像Ｉが提示される。
【００２４】
なお、図２の第１実施形態に係るＨＭＤ１００の場合、図３（ｄ）に示されたように、導光部材１１０の互いに対向する面１１０ａ、１１０ｂのうち、観察者の眼球ＥＹＥに直接対面する面１１０ａが、表示光が出射される映像投影面として機能する。また、この映像投影面１１０ａには、予め表示光の出射可能エリア１１１が設定されており、この出射可能エリア１１１内に、実際に観察者の眼球ＥＹＥに向けて表示光が出射される出射エリア１１２が存在することとなる。なお、当該導光部材１１０の面１１０ａ、１１０ｂそれぞれは、これら面１１０ａ、１１０ｂが協働することで出射可能エリア１１１内の何れの位置から出射される表示光も観察者の眼球ＥＹＥに到達させるように設計されたフレネルレンズとして機能する。
【００２５】
次に、第１実施形態に係るＨＭＤ１００により実現される、モニタ設置環境の擬似空間の形成メカニズムを、図４を参照しながら説明する。なお、図４では、説明を簡単化するため、導光部材１１０は単眼用の部材として示されている。
【００２６】
当該ＨＭＤ１００により観察者に提示される虚像（拡大映像）Ｉは、観察者の視野、すなわち、導光部材１１０を介して眼球ＥＹＥに到達可能な可視光の入射可能角度Ｖ（視野角）によって規定される空間内に形成される。このとき、表示光の実際の出射エリア１１２は、導光部材１１０の映像投影面１１０ａ上に予め設定された出射可能エリア１１１の中心に位置する（図４の下段中央）。
【００２７】
当該ＨＭＤ１１０では、制御部１２３が、導光部材１１０の映像投影面１１０ａの姿勢変動に連動することなく当該ＨＭＤ１００が設置された空間において拡大映像として認識される虚像形成面（虚像Ｉ）が固定されるよう、表示素子１２１に対して表示制御を行う。具体的には、観察者頭部が左右に回転した場合、この回転運動に連動して導光部材１１０も、図４上段に示されたように、矢印Ａあるいは矢印Ｂで示された方向に移動する。
【００２８】
例えば、矢印Ａで示された方向に映像投影面１１０ａが移動した場合、映像投影面１１０ａの出射可能エリア１１１内において、出射エリア１１２の位置は、図４下段左に示されたように、中央から右側に移動する。一方、矢印Ｂで示された方向に映像投影面１１０ａが移動した場合、映像投影面１１０ａの出射可能エリア１１１内において、出射エリア１１２の位置は、図４下段右に示されたように、中央から左側に移動する。この構成により、相対的に虚像Ｉの形成位置は、当該ＨＭＤ１００が設置される空間内において固定される。したがって、観察者は、自己の頭部と一体的に変動する映像投影面１１０ａを介して認識される虚像Ｉが固定しているように体感できるため、当該観察者自身は、実際にモニタが設置された環境と同様の感覚で作業等、観察以外の動作を円滑に行うことが可能になる。
【００２９】
次に、この第１実施形態に係るＨＭＤ１００の一部を構成する表示制御装置１２０（図２（ａ）中の表示制御装置１２０ａ、１２０ｂそれぞれに相当）の基本構成を、図５（ａ）を参照しながら具体的に説明する。なお、当該ＨＭＤ１００の携帯性を向上させるため、表示制御装置１２０は駆動用バッテリーを備えているのが好ましい。
【００３０】
図５（ａ）に示されたように、表示制御装置１２０は、映像データ、静止画像データ等の観察者に提供する情報が格納されている情報処理装置１９０（ＰＣ）から必要な映像データ（複数の画像フレームで構成された映画や測定機器のモニタ画像を含む）を取り込むための入出力部１２２（Ｉ／Ｏ）と、観察者に提供される実像を表示する表示素子１２１（図２（ｂ）における表示素子１２１ａ、１２１ｂそれぞれに相当）と、制御部１２３と、ユーザインターフェースを介して観察者からの支持情報を取り込むための入出力部１２４（Ｉ／Ｏ）と、メモリ１２５と、導光部材１１０における映像投影面１１０ａの姿勢変動を検出するための姿勢監視センサ１２６と、スイッチユニット１３０と、スピーカ１３０（図２（ａ）におけるイヤホン１３０ａ、１３０ｂそれぞれに相当）を備える。
【００３１】
なお、情報処理装置１９０とＩ／Ｏ１２２との間のデータ通信方式は、有線、無線の何れであってもよい。表示素子は、二次元表示素子が好ましく、発光型、非発光型の何れであってもよい。発光型表示素子としては、例えば、プラズマディスプレイ、エレクトロルミネセンス（ＥＬ）デバイス、発光ダイオード（ＬＥＤ）アレイなどが知られている。非発光型表示素子としては、例えば、液晶ディスプレイ、ホログラフィック素子などが知られている。制御部１２３は、主に表示素子１２０に対して表示制御を行う。メモリ１２５は、初期設定用の映像データ、姿勢監視センサ１２６により検出された姿勢情報の他、Ｉ／Ｏ１２２を介して情報処理装置１９０から送信された表示用の映像データを格納する。姿勢監視センサ１２６は、それぞれ直交する平面成分の姿勢変動を検出するｘ−ｙ加速度センサ１２６ａと、ｘ−ｚ加速度センサ１２６ｂから構成されている。なお、これらｘ−ｙ加速度センサ１２６ａ、ｘ−ｚ加速度センサ１２６ｂは、加速度センサであるのが好ましい。スイッチユニット１３０は、観察者の指示情報を入力するためのユーザインターフェースであり、スピーカ１４０は、音声情報を観察者に提供するためのユーザインターフェースである。
【００３２】
制御部１２３では、具体的に図５（ｂ）に示された動作モードが実行される。すなわち、制御部１２３は、当該ＨＭＤ１００の初期状態（姿勢監視センサ１２６による姿勢変動検出の基準位置となる当該ＨＭＤ１００の設置空間内の座標原点）を決定するための設定モードと、具体的な表示動作を規定する表示モードを実行する。また、制御部１２３は、地震、事故などの不測の事態発生に備え緊急モードも実行される。なお、緊急モードを除く各動作モードの切り替えは、スイッチユニット１３０を介して観察者が行う。また、表示モードには、従来のＨＭＤと同様の映像表示が可能な固定表示モードと、観察者にモニタ設置環境を体感させる擬似空間を提供する変動表示モードが用意されている。
【００３３】
また、上述のように姿勢監視センサ１２６は、ＨＭＤ１００が設置された空間における当該ＨＭＤ１００、具体的には導光部材１１０の映像投影面１１０ａの水平変動成分の変動を検出するためのｘ−ｙ加速度センサ１２６ａと、垂直変動成分を検出するｘ−ｚ加速度センサ１２６ｂを含む。
【００３４】
すなわち、ｘ−ｙ加速度センサ１２６ａは、図６（ａ）に示されたように、当該ＨＭＤ１００が装着された観察者頭部がｚ軸を中心に図中の矢印ｚｃで示された方向に回転したときの水平変動成分を検出する。具体的には、導光部材１００をｘ−ｙ平面に投影したときの像が矢印Ａ１またはＢ１に移動したときの変動量および変動加速度を検出する。一方、ｘ−ｚ加速度センサ１２６ｂは、図６（ｂ）に示されたように、当該ＨＭＤ１００が装着された観察者頭部がｙ軸を中心に図中の矢印ｙｃで示された方向に回転したときの垂直変動成分を検出する。具体的には、導光部材１００をｘ−ｚ平面に投影したときの像が矢印Ａ２またはＢ２に移動したときの変動量および変動加速度を検出する。
【００３５】
なお、図６に示された姿勢監視用の座標系は、制御部１２３により実行される設定モードで予め初期姿勢が決定されることにより特定される（設定モードにより設定された初期姿勢における当該センサ１２６ａ、１２６ｂそれぞれの位置が座標原点に設定される）。
【００３６】
次に、この第１実施形態に係るＨＭＤ１００における制御部１２３で実行される表示制御（表示位置および拡大倍率の制御）を、図７を参照しながら説明する。
【００３７】
第１実施形態に係るＨＭＤ１００では、二次元表示可能な表示素子１２０の表示可能エリア１２１１と、映像投影面１１０ａに予め設定された表示光の出射可能エリア１１１が対応している。したがって、制御部１２３が、表示素子１２０の表示可能エリア１２１１内における実像１２１２の表示位置およびサイズを任意に設定することにより、出射可能エリア１１１内における表示光の出射エリア１１２の位置制御および観察者に提示される虚像Ｉの拡大倍率の制御が可能になる。ここで、導光部材１１０の各面１１０ａ、１１０ｂは、表示可能エリア１１１内の何れの位置に出射エリア１１２が位置している場合にも表示光が観察者の眼球ＥＹＥに到達可能なように、フレネルレンズとして表面加工されている。
【００３８】
なお、表示素子１２０に対する制御部１２３の表示制御は、種々の変形が可能である。例えば、図７（ｂ）に示されたように、導光部材１１０と表示素子１２０との間の空間にレンズＬ、反射鏡などを配置しておき、制御部１２３がこれら光学部材の姿勢を変更するよう駆動系１９１を制御することによっても、表示制御が可能になる。例えば、駆動系１９１によるレンズＬの姿勢制御は、このレンズＬを互いに直交している軸Ｌ１、Ｌ２それぞれを中心に回転させることにより行われる。また、虚像Ｉの拡大倍率は表示素子１２１の表示可能エリア１２１１内に表示される実像１２１２の大きさを変更することにより調整できるが、光学部材の姿勢制御により拡大倍率の制御が行われてもよい。
【００３９】
続いて、図５（ｂ）に示された制御部１２３において実行される種々の動作モードを、図８および図９のフローチャートを用いて詳細に説明する。
【００４０】
まず、制御部１２３で実行される設定モードを、図８（ａ）のフローチャートを用いて説明する。この設定モードは、姿勢監視センサ１２６による映像投影面１１０ａの姿勢変動を検知するための基準姿勢を設定するモードである。すなわち、図８（ａ）に示されたように、制御部１２３は、メモリ１２５から基準姿勢設定用の映像データまたは静止画像データを読み出し、表示素子１２１に読み出されたデータを表示させる（デフォルト表示：ステップＳＴ８０１）。このとき、制御部１２３は、固定表示モードとして虚像Ｉ（拡大映像）を観察者に提示するため、従来技術と同様に当該ＨＭＤ１００の姿勢変化に連動して観察者に提示される虚像Ｉも変動する。当該ＨＭＤ１００の基準姿勢は、スイッチユニット１３０を介して観察者自身が行う（ステップＳＴ８０２）。この基準姿勢の決定情報は、具体的には図６に示されたように、ｘ−ｙ加速度センサ１２６ａおよびｘ−ｚ加速度センサ１２６ｂの原点座標であり、この決定情報が姿勢変動の検出基準情報としてメモリ１２５に格納される（ステップＳＴ８０３）。
【００４１】
続いて、制御部１２３で実行される表示モードのうち、固定表示モードを、図８（ｂ）のフローチャートを用いて説明する。なお、この固定表示モードは、当該ＨＭＤ１００の姿勢変動に連動して、観察者に提示される虚像Ｉの形成位置も変動する。
【００４２】
この固定表示モードは、当該ＨＭＤ１００の動作開始時点から実行される場合と、後述する変動表示モードから切り替えられる場合とがある。当該ＨＭＤ１００の動作開示時から固定表示モードが実行される場合、まず、メモリ１２５に格納されているデフォルトの表示制御情報が制御部１２３に取り込まれ（ステップＳＴ８１１）、該制御部１２３が、この表示制御情報に基づいて、表示素子１２１の表示可能エリア１２１１内に実像１２１２を表示させる。一方、後述の変動表示モードから固定表示モードに切り替えられた場合、この切り替え時点における表示制御情報が、固定モードにおけるデフォルトの表示制御情報として利用される。したがって、予め変動表示モードで観察者の視野の任意位置に虚像Ｉが表示された状態で固定表示モードに切り替えることにより、観察者の視野内における任意位置に所定倍率の拡大映像を固定表示させることが可能になる。
【００４３】
表示されるべき映像データは、情報処理装置１９０からＩ／Ｏ１２２を介して順次送信されており、メモリ１２５は、バッファとして送信されてきた映像データを一時的に格納しておく。この映像データは複数の画像フレームから構成されており、制御部１２３は、メモリ１２５から表示素子１２１に実像表示すべき画像フレームを入力し（ステップＳＴ８１２）、表示素子１２１に対する表示制御動作として、順次フレーム表示制御を行う（ステップＳＴ８１３）。これら制御部１２３による表示素子１２１に対する固定表示モードでの表示制御は、情報処理装置１９０から送信されてくる映像データの全画像フレームに対して完了した時点で終了する（ステップＳＴ８１４）。
【００４４】
さらに、制御部１２３で実行される表示モードのうち、変動表示モードを、図９のフローチャートを用いて説明する。なお、この変動表示モードは、図８（ａ）に示された設定モードが実行された後に行われる動作モードであり、図４に示されたように、当該ＨＭＤ１００の姿勢変動とは無関係に、当該ＨＭＤ１００が設置された空間内における虚像形成位置が固定されるように虚像Ｉを形成する表示モードである。
【００４５】
すなわち、この変動表示モードでは、制御部１２３が、設定モード（図８（ａ）により決定された姿勢情報を含む表意時制御情報を、デフォルトの表示制御情報としてメモリ１２５から入力する（ステップＳＴ９０１）。続いて、制御部１２３は、表示すべき映像データの一部を構成する画像フレームを入力するとともに（ステップＳＴ９０２）、姿勢監視センサ１２６からの検出情報を確認する（ステップＳＴ９０３）。このステップＳＴ９０３において、姿勢変動がないと判断した場合、制御部１２３はそのままフレーム表示制御を行う（ステップＳＴ９０６）。一方、ステップＳＴ９０３において姿勢変動があったと判断した場合、制御部１２３は、この検出結果が表示許容範囲内の変動か否かをさらに判定する（ステップＳＴ９０４）。
【００４６】
ステップＳＴ９０４において、姿勢監視センサ１２６の検出情報が表示許容範囲を外れる変動を示唆している場合、一旦変動表示モードから緊急モードに移行する。この緊急モードでは、姿勢の変動加速度（導光部材１１０の移動加速度）が一定値以上である場合、表示素子１２１に対する表示制御動作を中止し、観察者の視野を確保する。このような緊急モードは、地震、事故などの不測の事態発生に備えるために実行される。また、導光部材１１０の大幅な姿勢変動が発生した場合、表示素子１２０における表示可能エリア１２１１には実像１２１２は表示されない。この場合も、消費電力を節約するため、制御部１２３は表示素子１２１に対する表示制御を中止する。
【００４７】
ステップＳＴ９０４において、姿勢監視センサ１２６の検出情報が表示許容範囲内であると判断されると、制御部１２３は、メモリ１２５に記録されている表示制御情報を、この検出情報に基づいて修正し（ステップＳＴ９０５）、この修正された表示制御情報に基づいてフレーム表示制御を行う（ステップＳＴ９０６）。そして、これら制御部１２３による表示素子１２１に対する変動表示モードでの表示制御は、情報処理装置１９０から送信されてくる映像データの全画像フレームに対して完了した時点で終了する（ステップＳＴ９０７）。
【００４８】
なお、本発明に係るＨＭＤは、第１実施形態として図２に示されたような両眼ゴーグル型のＨＭＤにより実現可能であるが、種々の形態によっても実現可能である。図１０は、本発明に係るＨＭＤの第２および第３実施形態の概観を示す図である。
【００４９】
図１０（ａ）には、本発明に係るＨＭＤの第２実施形態として、単眼ゴーグル型のＨＭＤが示されている。この第２実施形態に係るＨＭＤ２００は、実質的に第１実施形態に係るＨＭＤ１００と概観において相違するが、その基本構造および動作については第１実施形態と同じである。具体的に、ＨＭＤ２００は、可視光を透過可能な材料からなる導光部材２１０と、導光部材２１０を観察者頭部に保持するための支持部材２２０を備えた光透過型ＨＭＤである。導光部材２１０は、実質的に図２および図３に示された導光部材１１０と同様の構造を有する。支持部材２２０には、表示素子を含む表示制御装置が内臓されており、この表示制御装置は実質的に図５（ａ）に示された構造を有する。また、表示制御装置に含まれる制御部は、図５（ｂ）に示された動作モードを、図８および図９に示されたフローチャートに従って実行する。支持部材２２０には、内蔵された表示制御装置の入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット２３０、音声情報を観察者に提供するためのスピーカ（ヘッドホンタイプ：図示せず）がそれぞれ設けられている。
【００５０】
さらに、図１０（ｂ）には、本発明に係るＨＭＤの第３実施形態として、眼鏡３５０に装着可能な単眼ゴーグル型のＨＭＤが示されている。この第３実施形態に係るＨＭＤ３００も、上述の第２実施形態と同様に、実質的に第１実施形態に係るＨＭＤ１００と概観において相違するが、その基本構造および動作については第１実施形態と同じである。具体的に、ＨＭＤ３００は、可視光を透過可能な材料からなる導光部材３１０と、この導光部材３１０を観察者頭部に保持するための支持部材３２０を備えた光透過型ＨＭＤである。導光部材３１０は、実質的に図２および図３に示された導光部材１１０と同様の構造を有する。支持部材３２０には、表示素子を含む表示制御装置が内臓されており、この表示制御装置は実質的に図５（ａ）に示された構造を有する。また、表示制御装置に含まれる制御部は、図５（ｂ）に示された動作モードを、図８および図９に示されたフローチャートに従って実行する。支持部材３２０には、内蔵された表示制御装置の入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット２３０、音声情報を観察者に提供するためのイヤホン３４０がそれぞれ設けられている。
【００５１】
上述のように構成された本願発明に係るＨＭＤの各実施形態は、従来からモニタを利用してきた分野、例えば双方向データ通信技術を利用したテレビ会議システムなどへ適用され得る（特許文献２参照）。この場合、当該ＨＭＤ１００（第２および第３実施形態に係るＨＭＤ２００、３００でもよい）は、所定の伝送手段（有線、無線を問わない）６００を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置の一部を構成する。
【００５２】
すなわち、本実施形態に係る情報端末装置は、図１１に示されたように、当該ＨＭＤ１００と、このＨＭＤ１００を装着した観察者１０を撮影するための撮像装置５３０と、伝送手段６００との間で、撮像装置５３０に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部５１０、５２０を備える。
【００５３】
特に、図１１に示された情報端末装置の構成では、観察者１０は、テーブル４０を前にしてイス３０上に座っている。テーブル４０上には、コミュニケーション装置５００が設置されており、このコミュニケーション装置５００は、観察者１０を撮像する撮像装置５３０と、観察者１０の音声を取り込むためのマイク５４０、ＨＭＤ１００に対して表示されるべき映像データを送信するためのＩ／Ｏ５１０、伝送手段６００を介して他の情報端末装置との間で音声、映像等の種々のマルチメディアデータの双方通信を可能にするＩ／Ｏ５２０、そして、これら種々の構成機器を一元的に管理するための制御部５５０を備える。
【００５４】
以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。
【産業上の利用可能性】
【００５５】
本発明に係るＨＭＤは、単にモニタ設置が困難な環境での使用のみならず、医療現場、テレビ会議など、従来から円滑な作業遂行のためにモニタを利用してきた種々の分野への適用を可能にする。
【符号の説明】
【００５６】
１００、２００、３００…ヘッドマウントディスプレイ、１１０・・・導光部材、１１０ａ・・・映像投影面、１１１・・・表示光の出射可能エリア、１１２・・・表示光の出射エリア、１２０、１２０ａ、１２０ｂ・・・表示制御装置、１２１、１２１ａ、１２１ｂ・・・表示素子、１２３・・・制御部、１２６・・・姿勢監視センサ、１２６ａ・・・ｘ−ｙ加速度センサ、１２６ｂ・・・ｘ−ｚ加速度センサ、Ｉ・・・虚像（虚像形成面）。
【図１】
2011059435.tif 000003
【図２】
2011059435.tif 000004
【図３】
2011059435.tif 000005
【図４】
2011059435.tif 000006
【図５】
2011059435.tif 000007
【図６】
2011059435.tif 000008
【図７】
2011059435.tif 000009
【図８】
2011059435.tif 000010
【図９】
2011059435.tif 000011
【図１０】
2011059435.tif 000012
【図１１】
2011059435.tif 000013