(57)【要約】【課題】外界の情報に応じた視覚効果を付与することが可能な頭部装着型表示装置を提供する。【解決手段】頭部装着型表示装置は、外界の情報を取得する外界情報取得部と、取得された外界の情報に応じて、視覚効果のための効果画像を生成する視覚演出部と、外景と、生成された効果画像とを重畳させて表示する画像表示部とを備える。【選択図】図２
2013178639.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着型表示装置であって、
外界の情報を取得する外界情報取得部と、
取得された前記外界の情報に応じて、視覚効果のための効果画像を生成する視覚演出部と、
外景と、生成された前記効果画像とを重畳させて表示する画像表示部と、
を備える、頭部装着型表示装置。
【請求項２】
請求項１記載の頭部装着型表示装置であって、さらに、
取得された前記外界の情報を解析することで外界の動作主体の動作を推定する解析部を備え、
前記視覚演出部は、推定された前記動作に応じた効果画像を生成する、頭部装着型表示装置。
【請求項３】
請求項２記載の頭部装着型表示装置であって、さらに、
前記画像表示部に配置されると共に、前記頭部装着型表示装置の使用者に対して触覚を通じた刺激を加える触覚刺激部と、
推定された前記動作に応じて前記触覚刺激部を作動させる触覚演出部と、
を備える、頭部装着型表示装置。
【請求項４】
請求項２または３記載の頭部装着型表示装置であって、さらに、
前記頭部装着型表示装置の使用者の動きに関する情報を検出する検出部を備え、
前記視覚演出部は、推定された前記動作に加えて、さらに、前記検出部により検出された前記頭部装着型表示装置の使用者の動きに関する情報に応じた前記効果画像を生成する、頭部装着型表示装置。
【請求項５】
請求項２ないし４のいずれか一項記載の頭部装着型表示装置であって、
前記外界情報取得部は撮像装置を含み、
前記外界の情報は、前記撮像装置により撮像された画像である、頭部装着型表示装置。
【請求項６】
請求項２ないし４のいずれか一項記載の頭部装着型表示装置であって、
前記外界の情報は、外部装置から受信した前記外界の動作主体の動きに関する情報である、頭部装着型表示装置。
【請求項７】
請求項６記載の頭部装着型表示装置であって、
前記外界の動作主体の動きに関する情報には、加速度情報と、角速度情報と、前記外界の動作主体の心拍数と、のうちの少なくともいずれか１つが含まれる、頭部装着型表示装置。
【請求項８】
請求項４または請求項４に従属する請求項５ないし７のいずれか一項記載の頭部装着型表示装置であって、
前記検出部は、
前記画像表示部に配置されると共に、前記頭部装着型表示装置の使用者の頭部の加速度情報を検出するための頭部加速度情報検出部と、
前記画像表示部に配置されると共に、前記頭部装着型表示装置の使用者の頭部の角速度情報を検出するための頭部角速度情報検出部と、
前記画像表示部に配置されると共に、前記頭部装着型表示装置の使用者の心拍数を測定するための心拍計と、
のうちの少なくともいずれか１つを含む、頭部装着型表示装置。
【請求項９】
画像表示システムであって、
複数の請求項６ないし８のいずれか一項記載の頭部装着型表示装置を備え、
一の前記頭部装着型表示装置の前記外界情報取得部は、前記外部装置として動作する他の前記頭部装着型表示装置に対して、自身の前記検出部により検出された前記頭部装着型表示装置の使用者の動きに関する情報を送信すると共に、他の前記頭部装着型表示装置から、各々の前記頭部装着型表示装置において検出された前記頭部装着型表示装置の使用者の動きに関する情報を、前記外界の情報として取得する、画像表示システム。
【請求項１０】
画像表示システムであって、
複数の請求項６ないし８のいずれか一項記載の頭部装着型表示装置と、
前記外部装置としてのサーバーと、
を備え、
一の前記頭部装着型表示装置の前記外界情報取得部は、前記サーバーに対して、自身の前記検出部により検出された前記頭部装着型表示装置の使用者の動きに関する情報を送信すると共に、前記サーバーから、他の前記頭部装着型表示装置によって送信された情報であって、各々の前記頭部装着型表示装置において検出された前記頭部装着型表示装置の使用者の動きに関する情報を、前記外界の情報として取得する、画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置および画像表示システムに関する。
【背景技術】
【０００２】
バーチャルリアリティー（仮想現実感）と現実の世界をミックスして人間に認識させる複合現実感（Mixed Reality、ＭＲ）技術を用いた頭部装着型表示装置（Head Mounted Display、ＨＭＤ）が知られている。このような頭部装着型表示装置は、撮像装置により取得された現実世界の実写画像上に、コンピューターグラフィックスで描画された仮想世界の仮想画像を重畳させて表示させている。例えば、引用文献１には、頭部装着型表示装置において、カメラで撮影された実写画像と、表示装置の使用者の視点、姿勢、位置に基づいて生成された仮想画像とを合成した合成画像を表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２８５６０９号公報
【特許文献２】特開平８−３３９０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の頭部装着型表示装置では、撮像装置により取得された現実世界の実写画像に対して、使用者の視点、姿勢、位置に応じた視覚効果を付与することで、あたかも現実世界の中に仮想の物体が存在しているかのような画像を表示させることができる。しかし、従来から、使用者の眼前にある人や物などの外界の情報に応じて視覚効果を付与したいという要望があった。
【０００５】
なお、このような要望は、非透過型の頭部装着型表示装置と、光学透過型の頭部装着型表示装置全般とに共通する要望であった。
【０００６】
本発明は、外界の情報に応じた視覚効果を付与することが可能な頭部装着型表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００８】
［適用例１］
頭部装着型表示装置であって、
外界の情報を取得する外界情報取得部と、
取得された前記外界の情報に応じて、視覚効果のための効果画像を生成する視覚演出部と、
外景と、生成された前記効果画像とを重畳させて表示する画像表示部と、
を備える、頭部装着型表示装置。
このような構成とすれば、視覚演出部は、外界情報取得部により取得された外界の情報に応じて視覚効果のための効果画像を生成し、画像表示部は、外景と生成された効果画像とを重畳させて表示する。この結果、外景に対し、外界の情報に応じた視覚効果を付与することが可能な頭部装着型表示装置を提供することができる。
【０００９】
［適用例２］
適用例１記載の頭部装着型表示装置であって、さらに、
取得された前記外界の情報を解析することで外界の動作主体の動作を推定する解析部を備え、
前記視覚演出部は、推定された前記動作に応じた効果画像を生成する、頭部装着型表示装置。
このような構成とすれば、視覚演出部は、外界の情報を解析することによって推定された外界の動作主体の動作に応じて効果画像を生成するため、外界の動作主体の動作に応じた視覚効果を付与することが可能な頭部装着型表示装置を提供することができる。
【００１０】
［適用例３］
適用例２記載の頭部装着型表示装置であって、さらに、
前記画像表示部に配置されると共に、前記頭部装着型表示装置の使用者に対して触覚を通じた刺激を加える触覚刺激部と、
推定された前記動作に応じて前記触覚刺激部を作動させる触覚演出部と、
を備える、頭部装着型表示装置。
このような構成とすれば、触覚演出部は、外界の情報を解析することによって推定された外界の動作主体の動作に応じて、頭部装着型表示装置の使用者に対して触覚を通じた刺激を加えるための触覚刺激部を作動させるため、外界の動作主体の動作に応じた触覚効果を付与することが可能な頭部装着型表示装置を提供することができる。
【００１１】
［適用例４］
適用例２または３記載の頭部装着型表示装置であって、さらに、
前記頭部装着型表示装置の使用者の動きに関する情報を検出する検出部を備え、
前記視覚演出部は、推定された前記動作に加えて、さらに、前記検出部により検出された前記頭部装着型表示装置の使用者の動きに関する情報に応じた前記効果画像を生成する、頭部装着型表示装置。
このような構成とすれば、視覚演出部は、外界の情報を解析することによって推定された外界の動作主体の動作に加えて、さらに、検出された前記頭部装着型表示装置の使用者の動きに関する情報を考慮して、効果画像を生成することができる。
【００１２】
［適用例５］
適用例２ないし４のいずれか一項記載の頭部装着型表示装置であって、
前記外界情報取得部は撮像装置を含み、
前記外界の情報は、前記撮像装置により撮像された画像である、頭部装着型表示装置。
このような構成とすれば、頭部装着型表示装置での処理において、外界の情報として撮像装置により撮像された画像を用いることができる。
【００１３】
［適用例６］
適用例２ないし４のいずれか一項記載の頭部装着型表示装置であって、
前記外界の情報は、外部装置から受信した前記外界の動作主体の動きに関する情報である、頭部装着型表示装置。
このような構成とすれば、頭部装着型表示装置での処理において、外界の情報として外部装置から受信した外界の動作主体の動きに関する情報を用いることができる。
【００１４】
［適用例７］
適用例６記載の頭部装着型表示装置であって、
前記外界の動作主体の動きに関する情報には、加速度情報と、角速度情報と、前記外界の動作主体の心拍数と、のうちの少なくともいずれか１つが含まれる、頭部装着型表示装置。
このような構成とすれば、頭部装着型表示装置での処理において、外界の情報として、加速度情報と、角速度情報と、外界の動作主体の心拍数と、のうちの少なくともいずれか１つを用いることができる。
【００１５】
［適用例８］
適用例４ないし７のいずれか一項記載の頭部装着型表示装置であって、
前記検出部は、
前記画像表示部に配置されると共に、前記頭部装着型表示装置の使用者の頭部の加速度情報を検出するための頭部加速度情報検出部と、
前記画像表示部に配置されると共に、前記頭部装着型表示装置の使用者の頭部の角速度情報を検出するための頭部角速度情報検出部と、
前記画像表示部に配置されると共に、前記頭部装着型表示装置の使用者の心拍数を測定するための心拍計と、
のうちの少なくともいずれか１つを含む、頭部装着型表示装置。
このような構成とすれば、頭部装着型表示装置での処理において、頭部装着型表示装置の使用者の動きに関する情報として、頭部装着型表示装置の使用者の頭部の加速度情報と、頭部装着型表示装置の使用者の頭部の角速度情報と、頭部装着型表示装置の使用者の心拍数と、のうちの少なくともいずれか１つを用いることができる。
【００１６】
［適用例９］
画像表示システムであって、
複数の適用例６ないし８のいずれか一項記載の頭部装着型表示装置を備え、
一の前記頭部装着型表示装置の前記外界情報取得部は、前記外部装置として動作する他の前記頭部装着型表示装置に対して、自身の前記検出部により検出された前記頭部装着型表示装置の使用者の動きに関する情報を送信すると共に、他の前記頭部装着型表示装置から、各々の前記頭部装着型表示装置において検出された前記頭部装着型表示装置の使用者の動きに関する情報を、前記外界の情報として取得する、頭部装着型表示装置。
このような構成とすれば、一の頭部装着型表示装置は、外部装置として動作する他の頭部装着型表示装置に対して、自身で検出された頭部装着型表示装置の使用者の動きに関する情報を送信すると共に、他の頭部装着型表示装置から、各々の頭部装着型表示装置において検出された頭部装着型表示装置の使用者の動きに関する情報を、外界の情報として取得した上で、上記適用例記載の処理を行う。この結果、画像表示システムを構成する各々の頭部装着型表示装置において、それぞれ、取得された外界の情報に応じた視覚効果を付与することができる。
【００１７】
［適用例１０］
画像表示システムであって、
複数の適用例６ないし８のいずれか一項記載の頭部装着型表示装置と、
前記外部装置としてのサーバーと、
を備え、
一の前記頭部装着型表示装置の前記外界情報取得部は、前記サーバーに対して、自身の前記検出部により検出された前記頭部装着型表示装置の使用者の動きに関する情報を送信すると共に、前記サーバーから、他の前記頭部装着型表示装置によって送信された情報であって、各々の前記頭部装着型表示装置において検出された前記頭部装着型表示装置の使用者の動きに関する情報を、前記外界の情報として取得する、頭部装着型表示装置。
このような構成とすれば、一の頭部装着型表示装置は、サーバーに対して、自身で検出された頭部装着型表示装置の使用者の動きに関する情報を送信すると共に、サーバーから、他の頭部装着型表示装置によって送信された情報であって、各々の頭部装着型表示装置において検出された頭部装着型表示装置の使用者の動きに関する情報を、外界の情報として取得した上で、上記適用例記載の処理を行う。この結果、画像表示システムを構成する各々の頭部装着型表示装置において、それぞれ、取得された外界の情報に応じた視覚効果を付与することができる。
【００１８】
なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、画像表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施例における頭部装着型表示装置の外観の構成を示す説明図である。
【図２】ヘッドマウントディスプレイの構成を機能的に示すブロック図である。
【図３】画像光生成部によって画像光が射出される様子を示す説明図である。
【図４】使用者に認識される虚像の一例を示す説明図である。
【図５】効果画像記憶部の一例を示す説明図である。
【図６】演出処理の手順を示すフローチャートである。
【図７】演出処理について説明するための説明図である。
【図８】第２実施例におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。
【図９】第２実施例における演出処理の手順を示すフローチャートである。
【図１０】第３実施例における画像表示システムの一例を概略的に示す説明図である。
【図１１】第３実施例におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。
【図１２】第３実施例における演出処理の手順を示すフローチャートである。
【図１３】第４実施例における画像表示システムの一例を概略的に示す説明図である。
【発明を実施するための形態】
【００２０】
次に、本発明の実施の形態を実施例に基づいて説明する。
【００２１】
Ａ．第１実施例：
（Ａ−１）頭部装着型表示装置の構成：
図１は、本発明の一実施例における頭部装着型表示装置の外観の構成を示す説明図である。頭部装着型表示装置ＨＭは、頭部に装着する頭部装着型表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施例のヘッドマウントディスプレイＨＭは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
【００２２】
ヘッドマウントディスプレイＨＭは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。
【００２３】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施例では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、加圧部６２と、振動モーター６３とを含んでいる。右光学像表示部２６および左光学像表示部２８は、ヘッドマウントディスプレイＨＭの装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部２６の一端と、左光学像表示部２８の一端は、それぞれ、ヘッドマウントディスプレイＨＭの装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部２６の他端である端部ＥＲからは、右保持部２１が延伸している。同様に、左光学像表示部２８の他端である端部ＥＬからは、左保持部２３が延伸している。
【００２４】
右保持部２１は、右光学像表示部２６の端部ＥＲから、ヘッドマウントディスプレイＨＭの装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部２６とほぼ直角をなすように延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の端部ＥＬから、ヘッドマウントディスプレイＨＭの装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部２８とほぼ直角をなすように延伸して設けられた部材である。右保持部２１と、左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部にヘッドマウントディスプレイＨＭを保持する。
【００２５】
右表示駆動部２２は、右保持部２１の内側、換言すれば、ヘッドマウントディスプレイＨＭの装着時における使用者の頭部に対向する側であって、右光学像表示部２６の端部ＥＲ側に配置されている。また、左表示駆動部２４は、左保持部２３の内側であって、左光学像表示部２８の端部ＥＬ側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」と、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」と、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
【００２６】
表示駆動部は、図示しないＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）や、投写光学系等を含む。詳細は後述する。光学部材としての光学像表示部は、図示しない導光板と、調光板とを含んでいる。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光を使用者の眼に向けて射出させる。調光板は、薄板状の光学素子であり、ヘッドマウントディスプレイＨＭの表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、使用者の眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
【００２７】
カメラ６１は、ヘッドマウントディスプレイＨＭの装着時における使用者の眉間に対応する位置に配置されている。カメラ６１は、ヘッドマウントディスプレイＨＭの表側方向、換言すれば、使用者の眼の側とは反対側方向の外景（外部の景色）を撮像し、外景画像を取得する。本実施例においては、カメラ６１が取得した外景画像が「外界の情報」に相当する。また、カメラ６１を「撮像装置」とも呼ぶ。本実施例におけるカメラ６１は、単眼カメラとして例示するが、ステレオカメラを採用してもよい。
【００２８】
加圧部６２は、右保持部２１および左保持部２３の内側、換言すれば、ヘッドマウントディスプレイＨＭの装着時における使用者の頭部に対向する側であって、ヘッドマウントディスプレイＨＭの装着時における使用者の側頭部に対応する位置に配置されている。加圧部６２は、伸縮可能な外側部材に空気を内包している。加圧部６２は、内包された空気量を増減させることによって、自身の体積を増減することができる。ヘッドマウントディスプレイＨＭが使用者の頭部に装着された状態において、加圧部６２は、自身の体積を増加させることによって、使用者の頭部へ圧力を加えること、換言すれば、使用者に対して触覚を通じた刺激を加えることができる。なお、加圧部６２を「触覚刺激部」とも呼ぶ。加圧部６２の外側部材は、例えば、ゴムやポリウレタン等の肌当たりの良い材料により形成されることが好ましい。そうすれば、ヘッドマウントディスプレイＨＭの装着感を向上させることができる。
【００２９】
振動モーター６３は、加圧部６２と同様に、右保持部２１および左保持部２３の内側であって、ヘッドマウントディスプレイＨＭの装着時における使用者の側頭部に対応する位置に配置されている。振動モーター６３は、モーターの軸に偏芯回転のための錘が設けられ、作動時に振動を発生することができる。ヘッドマウントディスプレイＨＭが使用者の頭部に装着された状態において、振動モーター６３は、モーターを作動させることによって、使用者の頭部へ振動を加えること、換言すれば、使用者に対して触覚を通じた刺激を加えることができる。なお、振動モーター６３を「触覚刺激部」とも呼ぶ。
【００３０】
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２と、左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。
【００３１】
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや、光ファイバーを採用することができる。
【００３２】
制御部１０は、ヘッドマウントディスプレイＨＭを操作するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイＨＭの動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光状態によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイＨＭの電源投入状態を切り替える。
【００３３】
図２は、ヘッドマウントディスプレイＨＭの構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２と、を備え、各部は図示しないバスにより相互に接続されている。
【００３４】
入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８に対する操作入力等の使用者による操作入力に応じた信号を取得する機能を有する。記憶部１２０は、図示しないＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等を含む記憶部である。また、記憶部１２０には、効果画像記憶部１２２が含まれている。詳細は後述する。電源１３０は、ヘッドマウントディスプレイＨＭの各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。
【００３５】
ＣＰＵ１４０は、予めインストールされたプログラムを実行することで、オペレーティングシステム（ОＳ）１５０としての機能を提供する。また、ＣＰＵ１４０は、ＲＯＭやハードディスクに格納されているファームウェアやコンピュータープログラムをＲＡＭに展開して実行することにより、解析部１４２、演出部１４４、画像処理部１６０、音声処理部１７０、表示制御部１９０としても機能する。
【００３６】
解析部１４２および演出部１４４は、ＯＳ１５０からの演出処理開始要求や、特定のゲームアプリケーションからの演出処理開始要求をトリガーとして、演出処理（詳細は後述）を実行する。解析部１４２は、演出処理において、外界情報取得部として機能するカメラ６１により取得された外界の情報を解析する。演出部１４４は、解析の結果に応じ、視覚効果のための効果画像を生成する。
【００３７】
画像処理部１６０は、後述の演出処理において指定された効果画像データーや、インターフェイス１８０を介して入力されるコンテンツ等に基づき、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データーＤａｔａを生成し、接続部４０を介してこれらの信号を画像表示部２０に供給する。
【００３８】
指定された効果画像データーに基づいてクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データーＤａｔａの供給を行う場合、画像処理部１６０は、デフォルト値として予め定められ、記憶部１２０内に格納された表示設定（ＶＳｙｎｃ、ＨＳｙｎｃなど）を取得する。画像処理部１６０は、取得した表示設定に応じて、図示しないＰＬＬ（Phase Locked Loop）回路等を利用してクロック信号ＰＣＬＫを生成する。その後、画像処理部１６０は、効果画像データーＤａｔａ（ＲＧＢデーター）を記憶部１２０内のＤＲＡＭに格納する。
【００３９】
一方、コンテンツに基づいてクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データーＤａｔａの供給を行う場合、まず、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、図示しないＰＬＬ回路等を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、図示しないＡ／Ｄ変換回路等を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像データーＤａｔａ（ＲＧＢデーター）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。
【００４０】
なお、効果画像データーやコンテンツがディジタル形式で与えられる場合は、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃ、アナログ画像信号のＡ／Ｄ変換は不要である。また、以降では、効果画像データーＤａｔａおよび対象画像データーＤａｔａを総称して「画像データーＤａｔａ」とも呼ぶ。画像処理部１６０は、必要に応じて、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理、輝度や彩度の調整、拡大・縮小・角度調整等の画像補正処理といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
【００４１】
画像処理部１６０は、上述のように生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１および５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と、画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
【００４２】
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦ、などを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
【００４３】
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。
【００４４】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部２０の右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対し、接続部４０を介して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
【００４５】
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス、無線ＬＡＮインターフェイス、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を備えることができる。
【００４６】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、加圧部６２と、振動モーター６３と、右イヤホン３２と、左イヤホン３４とを備えている。
【００４７】
右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１を含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。
【００４８】
受信部５３は、制御部１０と、画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する機能を有する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する機能を有する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００４９】
図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１はマトリクス状に配置された各画素位置に対応する液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表す有効な画像光ＰＬへと変調する機能を有する。なお、図３のように、本実施例ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
【００５０】
図２の右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
【００５１】
左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２を含んでいる。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して「画像光生成部」と、左投写光学系２５２と、左導光板２６２とを総称して「導光部」とも呼ぶ。右表示駆動部２２と左表示駆動部２４とは対になっており、左表示駆動部２４の各部は、右表示駆動部２２で説明する各部と同様の構成および動作を有するため詳細な説明は省略する。
【００５２】
図４は、使用者に認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイＨＭの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。図４に示すように、ヘッドマウントディスプレイＨＭの使用者の視野ＶＲ内には虚像ＶＩが表示される。また、使用者の視野ＶＲのうち、虚像ＶＩが表示された部分以外については、使用者は、右光学像表示部２６および左光学像表示部２８を透過して、外景ＳＣを見ることができる。なお、本実施例のヘッドマウントディスプレイＨＭでは、使用者の視野ＶＲの内の虚像ＶＩが表示された部分についても、虚像ＶＩの背後に外景ＳＣが透けて見えるようになっている。
【００５３】
（Ａ−２）効果画像記憶部の構成：
図５は、効果画像記憶部１２２の一例を示す説明図である。本実施例における効果画像記憶部１２２は、演出処理中において使用されるテーブルであり、演出部１４４が、外界の情報に応じた効果画像を生成する際に主として使用するテーブルである。効果画像記憶部１２２は、ポーズと、効果画像と、効果音と、加圧部レベルと、振動モーターレベルと、の各フィールドを含んでいる。
【００５４】
ポーズフィールドには、「外界の動作主体の動作」を識別するための名称（以降、「ポーズ名称」とも呼ぶ。）が予め格納されている。なお、本実施例において「外界の動作主体」とは、ヘッドマウントディスプレイＨＭを装着している使用者の視線範囲内、換言すれば、カメラ６１の撮像範囲内に存在する動作主体となりうる人物や動物やロボット等を意味する。なお、以降では説明の便宜のために、動作主体を人物であるものとして説明する。「動作」とは「ポーズ」とも言い換えることができ、人物の身体全体の姿勢や、身体の一部の形を意味する。「動作（ポーズ）」には、例えば、人物が屈んで構えている姿勢や、人物が身体の前で両手を交差させている姿勢や、人物の手（身体の一部）がピストル形状を模している姿などがある。
【００５５】
効果画像フィールドには、ポーズ名称に予め対応付けられて、ポーズ名称により識別される動作を演出するための効果画像が格納されている。効果音フィールドには、ポーズ名称に予め対応付けられた効果音が格納されている。なお、効果画像と、効果音とは、画像データーや音声データーそのものが格納されていてもよいし、画像データーや音声データーのファイル名称、ファイルパスの形式で格納されていてもよい。
【００５６】
加圧部レベルフィールドには、ポーズ名称に予め対応付けられた加圧部６２の駆動レベルが格納されている。本実施例では、駆動レベルを０〜５の６段階に分類しており、「０」は加圧部６２を駆動させない状態を、「５」は加圧部６２を最も強く駆動させる状態を示す。振動モーターレベルフィールドには、ポーズ名称に予め対応付けられた振動モーター６３の駆動レベルが格納されている。本実施例では、加圧部レベルフィールドと同様に、駆動レベルを０〜５の６段階に分類している。
【００５７】
例えば、図５のエントリーＥ０１の例は、ポーズ名称が「○○拳」の場合、演出処理において、効果画像として「画像１」を、効果音として「効果音１」をそれぞれ用い、加圧部６２を駆動レベル「３」で駆動させ、振動モーター６３を駆動レベル「４」で駆動させることを示している。
【００５８】
（Ａ−３）演出処理：
図６は、演出処理の手順を示すフローチャートである。図７は、演出処理について説明するための説明図である。演出処理は、外界情報取得部としてのカメラ６１と、解析部１４２と、演出部１４４とが協働して実行される処理であり、外界の情報を取得し、外界の情報を解析し、解析の結果に応じて視覚効果を付与するための処理である。ＯＳ１５０からの演出処理開始要求や、特定のゲームアプリケーションからの演出処理開始要求をトリガーとして実行される。なお、演出処理が特定のゲームアプリケーションから呼び出されて実行される場合、演出処理は、ゲームアプリケーションのサブルーチンとして動作する。
【００５９】
まず、カメラ６１は、外景を撮影することで外景画像、すなわち、外界の情報を取得する（ステップＳ１００）。図７（Ａ）の上段は、人物ＰＡが装着したヘッドマウントディスプレイＨＭのカメラ６１が、外景画像を取得する様子を示している。図７（Ａ）の下段は、カメラ６１により取得された外景画像ＢＰに、外界の人物ＰＢが含まれていることを示している。
【００６０】
図６のステップＳ１０２において、解析部１４２は、カメラ６１から受信した外景画像ＢＰを解析することで「外界の人物の動作」を推定し、解析結果として、推定した外界の人物の動作を示すポーズ名称を演出部１４４へ送信する。具体的には、解析部１４２は、画像認識によって外景画像ＢＰからエッジを検出し、検出したエッジの特徴を、予め記憶部１２０内に格納された図示しない特徴ファイルと照合する等の方法を用いて、外界の人物の動作を推定する。
【００６１】
ポーズ名称を受信した演出部１４４は、視覚効果のための効果画像を生成する（ステップＳ１０４）。具体的には、演出部１４４は、ポーズ名称をキーとして効果画像記憶部１２２を検索し、一致するエントリーの各フィールドの値を取得する。そして、演出部１４４は、効果画像フィールドに画像データーそのものが格納されている場合は当該画像データーをそのまま効果画像とし、効果画像フィールドに画像データーのファイル名称が格納されている場合はファイル名称から識別される画像データーを取得して効果画像とする。
【００６２】
効果画像の生成後、演出部１４４は、視覚効果を付与させる（ステップＳ１０６）。具体的には、演出部１４４は、画像処理部１６０に対して効果画像（画像データー）を送信する。なお、この送信の際、演出部１４４は、外界の人物の位置に併せて効果画像を表示させるための付加的な情報を画像処理部１６０に対して送信してもよい。例えば、演出部１４４は、外景画像ＢＰから検出したエッジの特徴から外界の人物の中心点を推定し、当該中心点に効果画像の中心が位置するように画像出力位置を計算し表示させる。さらに、人物の動作に合わせて効果画像を追従させるため、フレームレートを変化させることもできる。また、演出部１４４は、計算された画像出力位置を付加的な情報として、画像処理部１６０に送信してもよい。
【００６３】
演出部１４４から効果画像を受信した画像処理部１６０では、図２で説明した表示処理が実行される。この結果、図７（Ｂ）に示すように、ヘッドマウントディスプレイＨＭの使用者の視野ＶＲには効果画像（虚像ＶＩ）が表示される。本実施例におけるヘッドマウントディスプレイＨＭは、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイＨＭである。このため、ヘッドマウントディスプレイＨＭの使用者は、右光学像表示部２６および左光学像表示部２８を透過して見える外景ＳＣの中の外界の人物ＰＢと、虚像ＶＩとして見える効果画像（図の例では画像２）とが、重畳された状態で視認可能となる。この結果、演出部１４４は、図７（Ｂ）に示すように、推定された外界の人物ＰＢの動作「攻撃を加える（○○拳）」を演出するための「衝撃波」のような視覚効果を付与することができる。
【００６４】
図６のステップＳ１０８において、演出部１４４は、触覚効果および聴覚効果を付与させる。具体的には、演出部１４４は、ステップＳ１０４で検索したエントリーの加圧部レベルフィールドに定められた駆動レベルで加圧部６２を作動させる。同様に、演出部１４４は、ステップＳ１０４で検索したエントリーの振動モーターレベルフィールドに定められた駆動レベルで振動モーター６３を作動させる。また、演出部１４４は、ステップＳ１０４で検索したエントリーの効果音フィールドから効果音として用いる音声データーを生成し、生成した音声データーを音声処理部１７０へ送信する。
【００６５】
なお、図６のステップＳ１０６において演出部１４４は視覚演出部として機能する。また、ステップＳ１０８において演出部１４４は触覚演出部として機能する。
【００６６】
以上のように、第１実施例によれば、視覚演出部としての演出部１４４は、外景画像（外界の情報に相当）に応じて視覚効果のための効果画像を生成し、画像表示部２０は、外景と、生成された効果画像とを重畳させて表示することができる。この結果、外景に対し、外界の情報に応じた視覚効果を付与することが可能なヘッドマウントディスプレイＨＭ（頭部装着型表示装置）を提供することができる。具体的には、演出部１４４は、外界情報取得部としてのカメラ６１により取得された外景画像を解析することによって推定された外界の人物の動作（人物の身体全体の姿勢や、身体の一部の形）に応じて、当該動作を演出するための効果画像を生成するため、外界の人物の動作に応じた視覚効果を付与することができる。
【００６７】
また、上記第１実施例によれば、触覚演出部としての演出部１４４は、外界の情報を解析することによって推定された外界の人物の動作に応じて、ヘッドマウントディスプレイＨＭの使用者に対して触覚を通じた刺激を加える加圧部６２および振動モーター６３（触覚刺激部に相当）を作動させるため、外界の人物の動作に応じた触覚効果を付与することができる。このように、視覚効果に加えて触覚効果を付与することで、本実施例のヘッドマウントディスプレイＨＭは、使用者に対してより臨場感の高い演出効果を提供することができる。
【００６８】
なお、なお、画像処理部１６０が外界の人物との間の距離や、角度に応じて効果画像データーＤａｔａに対して拡大・縮小・角度調整等の画像補正処理を施すこととすれば、より現実と一致した効果画像を付与することができる。
【００６９】
Ｂ．第２実施例：
本発明の第２実施例では、ヘッドマウントディスプレイＨＭａの使用者のステータスを取得し、取得したステータスに応じて演出処理における視覚効果を生成し、触覚効果および聴覚効果を補正する構成について説明する。なお、本実施例において「ステータス」とは、ヘッドマウントディスプレイＨＭａの使用者の動きに関する情報を意味し、例えば、頭の動き、手の動き、心拍数等が含まれる。以下では、第１実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施例と同様の構成部分については先に説明した第１実施例と同様の符号を付し、その詳細な説明を省略する。
【００７０】
（Ｂ−１）頭部装着型表示装置の構成：
図８は、第２実施例におけるヘッドマウントディスプレイＨＭａの構成を機能的に示すブロック図である。図２に示した第１実施例との違いは、制御部１０に代えて制御部１０ａを、画像表示部２０に代えて画像表示部２０ａを、それぞれ備える点である。
【００７１】
制御部１０ａは、第１実施例の解析部１４２に代えて解析部１４２ａを、演出部１４４に代えて演出部１４４ａをそれぞれ備え、さらに、手元加速度センサー６７を備えている。解析部１４２ａおよび演出部１４４ａは、実行する演出処理の内容が、第１実施例とは異なる。詳細は後述する。手元加速度センサー６７は、制御部１０ａの筐体内部に配置されている。手元加速度センサー６７は、制御部１０ａの加速度を計測するセンサーであり、ヘッドマウントディスプレイＨＭａの使用者の手の動きを検出するために用いられる。なお、手元加速度センサー６７を「手元加速度情報検出部」とも呼ぶ。
【００７２】
画像表示部２０ａは、第１実施例の画像表示部２０に対して、さらに、心拍計６４と、頭部加速度センサー６５と、ジャイロセンサー６６とを備えている。心拍計６４は、例えば加圧部６２の外側部材表面等、ヘッドマウントディスプレイＨＭａの利用者の皮膚に接触する位置に配置されている。心拍計６４は、赤外線でヘッドマウントディスプレイＨＭａの利用者の血流を測定することによって、利用者の心拍数を測定する。頭部加速度センサー６５は、画像表示部２０ａの筐体内部に配置されている。頭部加速度センサー６５は、画像表示部２０ａの加速度を計測するセンサーであり、ヘッドマウントディスプレイＨＭａの使用者の頭の動きを検出するために用いられる。なお、頭部加速度センサー６５を「頭部加速度情報検出部」とも呼ぶ。ジャイロセンサー６６は、画像表示部２０ａの筐体内部に配置されている。ジャイロセンサー６６は、圧電振動式の２軸角速度センサーであり、画像表示部２０ａの２軸（ｘ軸、ｙ軸）の角速度を検出する。ジャイロセンサー６６は、ヘッドマウントディスプレイＨＭａの使用者の頭の動きを検出するために用いられる。なお、ジャイロセンサー６６を「頭部角速度情報検出部」とも呼ぶ。また、心拍計６４と、頭部加速度センサー６５と、ジャイロセンサー６６とを総称して、ヘッドマウントディスプレイＨＭａの使用者の動きに関する情報を検出するための「検出部」とも呼ぶ。
【００７３】
（Ｂ−２）効果画像記憶部の構成：
第２実施例における効果画像記憶部１２２の構成は、図５に示した第１実施例と同様である。
【００７４】
（Ｂ−３）演出処理：
図９は、第２実施例における演出処理の手順を示すフローチャートである。図６に示した第１実施例との違いは、ステップＳ１００の後にステップＳ２００を備える点と、ステップＳ１０４に代えてステップＳ２０２を備える点と、ステップＳ１０８に代えてステップＳ２０４とＳ２０６とを備える点のみである。
【００７５】
図９のステップＳ２００において解析部１４２ａは、ヘッドマウントディスプレイＨＭａの使用者のステータスを取得する。具体的には、解析部１４２ａは、心拍計６４の測定値と、頭部加速度センサー６５の検出値と、ジャイロセンサー６６の検出値と、手元加速度センサー６７の検出値とを取得する。解析部１４２ａは、取得した各種検出値を、ステータスとして演出部１４４ａへ送信する。ステップＳ１０２において、解析部１４２ａは、カメラ６１から受信した外景画像ＢＰを解析することで「外界の人物の動作」を推定し、解析結果として、推定した外界の人物の動作を示すポーズ名称を演出部１４４ａへ送信する。詳細は第１実施例と同様である。
【００７６】
ステップＳ２０２において、演出部１４４ａは、ポーズ名称と、解析部１４２ａから受信したステータス、すなわち、ヘッドマウントディスプレイＨＭａの使用者の動きに関する情報とを用いて、視覚効果のための効果画像を生成する。具体的には、演出部１４４ａは、ポーズ名称をキーとして効果画像記憶部１２２を検索し、一致するエントリーの各フィールドの値を取得し、効果画像フィールドの内容から効果画像を生成する。詳細は第１実施例のステップＳ１０４と同様である。さらに、演出部１４４ａは、外景画像ＢＰから検出したエッジの特徴に基づいて推定した外界の人物の中心点と、受信したステータスに含まれる頭部加速度センサー６５の検出値と、ジャイロセンサー６６の検出値とから推定したヘッドマウントディスプレイＨＭａの使用者の頭の動きと、に応じて、効果画像の表示の際の画像出力位置を計算する。そして、演出部１４４ａは、効果画像の付加的な情報として、計算した画像出力位置を画像処理部１６０に送信する。また、例えば、演出部１４４ａは、受信したステータスに含まれる心拍計６４の測定値をもとにして、効果画像の輝度や彩度を調整するための指示を画像処理部１６０へ送信してもよい。
【００７７】
このようにすれば、演出部１４４ａは、カメラ６１の外景画像（外界の情報に相当）から推定された外界の人物の動作に加えて、ヘッドマウントディスプレイＨＭａの使用者のステータス（頭の動き、手の動き、心拍数等）を考慮した視覚効果を付与することができる。例えば、推定された外界の人物の動作が「攻撃を加える」動作であり、ヘッドマウントディスプレイＨＭａの使用者のステータスが「頭を大きく左に逸らした」ことを示していた場合、演出部１４４ａは、効果画像をずらして表示させることで、「外界の人物から放たれた衝撃波を回避した」ような視覚効果を付与することができる。
【００７８】
ステップＳ２０４において、演出部１４４ａは、触覚効果および聴覚効果を補正する。具体的には、演出部１４４ａは、受信したステータスに含まれる心拍計６４の測定値や、頭部加速度センサー６５の検出値、ジャイロセンサー６６の検出値、手元加速度センサー６７の検出値を用いて、ステップＳ２０２で取得したエントリーの各フィールドの値から求められる加圧部６２の駆動レベルと、振動モーター６３の駆動レベルと、効果音として用いる音声データーとを補正する。そして、演出部１４４ａは、補正後の駆動レベルで加圧部６２および振動モーター６３を作動させる。また、演出部１４４ａは、補正後の音量で音声データーを再生させる。
【００７９】
このようにすれば、演出部１４４ａは、ヘッドマウントディスプレイＨＭａの使用者のステータス（頭の動き、手の動き、心拍数等）を考慮した触覚効果および聴覚効果を付与することができる。例えば、ヘッドマウントディスプレイＨＭａの使用者のステータスが「頭を大きく左に逸らした」ことを示していた場合や、使用者の心拍数が所定の閾値以下であった場合等に、演出部１４４ａは、加圧部６２の駆動レベルと、振動モーター６３の駆動レベルとを低く補正し、効果音の音量を小さくすることで、「外界の人物から放たれた衝撃波を回避した」ような触覚効果および聴覚効果を付与することができる。
【００８０】
以上のように、第２実施例によれば、視覚演出部としての演出部１４４ａは、外界の情報を解析することによって推定された外界の人物の動作に加えて、さらに、検出部としての心拍計６４、頭部加速度センサー６５、ジャイロセンサー６６により検出されたヘッドマウントディスプレイＨＭａの使用者のステータス、すなわち、ヘッドマウントディスプレイＨＭａの使用者の動きに関する情報を考慮して、効果画像を生成することができる。さらに、第２実施例の演出部１４４ａは、ヘッドマウントディスプレイＨＭａの使用者のステータスを考慮して、触覚効果および聴覚効果を付与することができる。
【００８１】
Ｃ．第３実施例：
本発明の第３実施例では、複数のヘッドマウントディスプレイＨＭｂを用いた画像表示システムを構築する例について説明する。以下では、第２実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第２実施例と同様の構成部分については先に説明した第２実施例と同様の符号を付し、その詳細な説明を省略する。なお、本実施例において「外界の情報」とは、外部装置から受信した外界の人物の動きに関する情報を意味する。また、「外界の人物」とは、ヘッドマウントディスプレイＨＭｂを装着している使用者との間で無線通信可能な範囲内に存在する人物を意味する。
【００８２】
（Ｃ−１）画像表示システムおよび頭部装着型表示装置の構成：
図１０は、第３実施例における画像表示システム１０００の一例を概略的に示す説明図である。画像表示システム１０００は、複数のヘッドマウントディスプレイＨＭｂを備えている。図１０の例では、人物ＰＡに装着されたヘッドマウントディスプレイＨＭｂと、人物ＰＢに装着されたヘッドマウントディスプレイＨＭｂとが、１つの画像表示システム１０００を構成している。画像表示システム１０００に属するヘッドマウントディスプレイＨＭｂは、他の外部装置（ヘッドマウントディスプレイＨＭｂ）との間で、自身が測定したステータスを「外界の情報」として送信しあう。なお、図１０では２台のヘッドマウントディスプレイＨＭｂを例示したが、画像表示システム１０００を構成するヘッドマウントディスプレイＨＭｂの台数に制限はない。
【００８３】
図１１は、第３実施例におけるヘッドマウントディスプレイＨＭｂの構成を機能的に示すブロック図である。図８に示した第２実施例との違いは、制御部１０ａに代えて制御部１０ｂを、画像表示部２０ａに代えて画像表示部２０ｂを、それぞれ備える点である。
【００８４】
制御部１０ｂは、第２実施例の解析部１４２ａに代えて解析部１４２ｂを、演出部１４４ａに代えて演出部１４４ｂをそれぞれ備え、さらに、インターフェイス１８０内に無線ＬＡＮインターフェイス１８２を備えている。解析部１４２ｂおよび演出部１４４ｂは、実行する演出処理の内容が、第２実施例とは異なる。詳細は後述する。無線ＬＡＮインターフェイス１８２は、他のヘッドマウントディスプレイＨＭｂとの間で無線電波を送受信することで無線通信を行うための制御回路である。なお、本実施例では、無線ＬＡＮインターフェイス１８２が「外界情報取得部」として機能する。
【００８５】
画像表示部２０ｂは、第２実施例の画像表示部２０ａに対して、カメラ６１を備えない点が異なる。
【００８６】
（Ｃ−２）効果画像記憶部の構成：
第３実施例における効果画像記憶部１２２の構成は、図５に示した第１実施例と同様である。
【００８７】
（Ｃ−３）演出処理：
図１２は、第３実施例における演出処理の手順を示すフローチャートである。図９に示した第２実施例との違いは、ステップＳ１００を備えない点と、ステップＳ２００の後にステップＳ３００を備える点と、ステップＳ１０２に代えてステップＳ３０２を備える点のみである。
【００８８】
ステップＳ２００において解析部１４２ｂは、ヘッドマウントディスプレイＨＭｂの使用者のステータスを取得する。詳細は第２実施例と同様である。ステップＳ３００において解析部１４２ｂは、無線ＬＡＮインターフェイス１８２を介して、他のヘッドマウントディスプレイＨＭｂとの間でステータスの送受信を行う。ステップＳ３０２において解析部１４２ｂは、ステップＳ３００で取得した他のヘッドマウントディスプレイＨＭｂのステータスを解析することで「外界の人物の動作」を推定し、解析結果として、推定した外界の人物の動作を示すポーズ名称を演出部１４４ｂへ送信する。具体的には、解析部１４２ｂは、他のヘッドマウントディスプレイＨＭｂのステータスに含まれる頭部加速度センサー６５の検出値と、ジャイロセンサー６６の検出値と、手元加速度センサー６７の検出値とを用いて、他のヘッドマウントディスプレイＨＭｂの使用者の動作を推定する。
【００８９】
ステップＳ２０２およびＳ１０６において、演出部１４４ｂは、ポーズ名称と、解析部１４２ｂから受信した自身のステータスとを用いて、視覚効果のための効果画像を生成し、表示させる。詳細は第２実施例と同様である。また、ステップＳ２０４およびＳ２０６において、演出部１４４ｂは、解析部１４２から受信した自身のステータスを用いて触覚効果および聴覚効果を補正し、補正後の駆動レベルで加圧部６２および振動モーター６３を作動させ、補正後の音量で音声データーを再生させる。詳細は第２実施例と同様である。
【００９０】
以上のように、第３実施例によれば、解析部１４２ｂは、外界情報取得部としての無線ＬＡＮインターフェイス１８２により取得された他のヘッドマウントディスプレイＨＭｂのステータス、すなわち外界の人物の動きに関する情報（外界の情報に相当）を解析し、視覚演出部としての演出部１４４ｂは、解析の結果に応じて視覚効果のための効果画像を生成し、画像表示部２０ｂは、外景と生成された効果画像とを重畳させて表示する。この結果、外景に対し、他のヘッドマウントディスプレイＨＭｂのステータスに応じた視覚効果を付与することが可能なヘッドマウントディスプレイＨＭｂ（頭部装着型表示装置）を提供することができる。
【００９１】
さらに、第３実施例によれば、一のヘッドマウントディスプレイＨＭｂ（頭部装着型表示装置）は、外部装置として動作する他のヘッドマウントディスプレイＨＭｂに対して、検出されたステータス（ヘッドマウントディスプレイＨＭｂの使用者の動きに関する情報）を送信すると共に、他のヘッドマウントディスプレイＨＭｂから、各々のヘッドマウントディスプレイＨＭｂにおいて検出されたステータスを、外界の情報（外界の人物の動きに関する情報）として取得する。この結果、画像表示システムを構成する各々のヘッドマウントディスプレイＨＭｂにおいて、それぞれ演出処理（図１２）を実行することができ、取得された外界の情報に応じた視覚効果を付与することができる。
【００９２】
Ｄ．第４実施例：
本発明の第４実施例では、複数のヘッドマウントディスプレイＨＭｃと、サーバーとを用いた画像表示システムを構築する例について説明する。以下では、第３実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第３実施例と同様の構成部分については先に説明した第３実施例と同様の符号を付し、その詳細な説明を省略する。
【００９３】
（Ｄ−１）画像表示システムおよび頭部装着型表示装置の構成：
図１３は、第４実施例における画像表示システム１０００ｃの一例を概略的に示す説明図である。画像表示システム１０００ｃは、複数のヘッドマウントディスプレイＨＭｃと、サーバーＳＶとを備えている。図１３の例では、人物ＰＡに装着されたヘッドマウントディスプレイＨＭｃと、人物ＰＢに装着されたヘッドマウントディスプレイＨＭｃとは「参加モード」であり、一方、人物ＰＣに装着されたヘッドマウントディスプレイＨＭｃは「観戦モード」である。
【００９４】
参加モードのヘッドマウントディスプレイＨＭｃは、サーバーＳＶに対して、自身が測定したステータスを「外界の情報」として送信する。一方、観戦モードのヘッドマウントディスプレイＨＭｃは、サーバーＳＶへのステータスの送信は行わない。そして、参加モード、観戦モード問わずに、画像表示システム１０００ｃに属するヘッドマウントディスプレイＨＭｃは、サーバーＳＶから、参加モードの他のヘッドマウントディスプレイＨＭｃのステータスを受信する。なお、図１３では３台のヘッドマウントディスプレイＨＭｃと、１台のサーバーＳＶとを例示したが、画像表示システム１０００を構成するヘッドマウントディスプレイＨＭｃおよびサーバーＳＶの台数に制限はない。
【００９５】
第４実施例におけるヘッドマウントディスプレイＨＭｃの構成は、図１１に示した第３実施例と同様である。
【００９６】
（Ｄ−２）効果画像記憶部の構成：
第４実施例における効果画像記憶部１２２の構成は、図５に示した第１実施例と同様である。
【００９７】
（Ｄ−３）演出処理：
第４実施例における演出処理は、図１２に示した第３実施例とほぼ同様である。ただし、参加モードのヘッドマウントディスプレイＨＭｃでは、ステップＳ３００において、無線ＬＡＮインターフェイス１８２を介してサーバーＳＶとの間でステータスの送受信を行う点が異なる。この結果、参加モードのヘッドマウントディスプレイＨＭｃでは、サーバーＳＶを介して受信した、他の参加モードのヘッドマウントディスプレイＨＭｃのステータスに応じた視覚効果が付与される。例えば、図１３の例では、参加モードの人物ＰＡの視野ＶＲ１には、左右の光学像表示部を透過して見える外景ＳＣ１内の外界の人物ＰＢと、虚像ＶＩ１として表示された効果画像とが、重畳された状態で視認可能となる。なお、参加モードの人物ＰＢについても同様であるため、説明および図示は省略する。
【００９８】
一方、観戦モードのヘッドマウントディスプレイＨＭｃでは、ステップＳ２００およびＳ２０４を省略する点、および、ステップＳ３００において、無線ＬＡＮインターフェイス１８２を介してサーバーＳＶからステータスの受信を行う点が、図１２に示した第３実施例とは異なる。この結果、観戦モードのヘッドマウントディスプレイＨＭｃでは、サーバーＳＶを介して受信した、他の参加モードのヘッドマウントディスプレイＨＭｃのステータスに応じた効果画像が付与される。例えば、図１３の例では、観戦モードの人物ＰＣの視野ＶＲ２には、左右の光学像表示部を透過して見える外景ＳＣ２内の外界の人物ＰＡおよびＰＢと、虚像ＶＩ２として表示された効果画像とが、重畳された状態で視認可能となる。
【００９９】
以上のように、第４実施例によれば、一のヘッドマウントディスプレイＨＭｃ（頭部装着型表示装置）は、サーバーＳＶに対して、検出されたステータス（ヘッドマウントディスプレイＨＭｃの使用者の動きに関する情報）を送信すると共に、サーバーＳＶから、他のヘッドマウントディスプレイＨＭｃによって送信された情報であって、各々のヘッドマウントディスプレイＨＭｃにおいて検出されたステータスを、外界の情報（外界の人物の動きに関する情報）として取得する。この結果、画像表示システムを構成する各々のヘッドマウントディスプレイＨＭｃにおいて、それぞれ演出処理（図１２）を実行することができ、取得された外界の情報に応じた視覚効果を付与することができる。
【０１００】
Ｅ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の構成をとることができる。例えば、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。そのほか、以下のような変形が可能である。
【０１０１】
Ｅ１．変形例１：
上記実施例では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
【０１０２】
上記実施例では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施例の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。
【０１０３】
例えば、接続部を省略し、制御部と画像表示部とが無線通信可能な構成としてもよい。具体的には、制御部にさらに第１の無線通信部を備えると共に、画像表示部にさらに第２の無線通信部を備える構成とする。この場合、第１の無線通信部が上記実施例における送信部として機能し、第２の無線通信部が上記実施例における受信部として機能する。なお、この場合の画像表示部への電源供給は、画像表示部に電源を備える構成としてもよいし、制御部と画像表示部とを電源供給用のコードで接続する構成としてもよいし、電源供給用のコードがなくても給電可能な非接触電力伝送を用いてもよい。
【０１０４】
例えば、図１に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、制御部にＷｉ−Ｆｉ（wireless fidelity）やＢｌｕｅｔｏｏｔｈ等を用いた通信部を設けてもよい。
【０１０５】
例えば、図１に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続されていてもよい。
【０１０６】
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。なお、非透過型ヘッドマウントディスプレイとした場合、画像処理部は、演出部より送信された効果画像と、カメラにより取得された外景画像とを重畳させた画像の画像データーを用いて表示処理を行えばよい。こうすれば、非透過型ヘッドマウントディスプレイにおいても上記実施例と同様の効果を得ることができる。
【０１０７】
例えば、画像処理部、表示制御部、解析部、演出部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。
【０１０８】
例えば、上記実施例では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
【０１０９】
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。
【０１１０】
例えば、上記実施例では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
【０１１１】
Ｅ２．変形例２：
上記実施例では、「外界の情報」の具体例を挙げて説明した。第１、２実施例では、「外界の情報」は、カメラが取得した外景画像、より具体的には、外景画像に含まれる人物を指すとした。第３、４実施例では、「外界の情報」は、他の外部装置から受信したステータス（外界の人物の動きに関する情報）を指すとした。しかし、これらはあくまで例示である。「外界の情報」としては、種々の情報を採用することができる。例えば、「外界の情報」として、ヘッドマウントディスプレイの外部における環境情報（気温や、湿度や、ビル等の建物、木々等）や、特定の対象物（人物や、動物、食物）を採用してもよい。
【０１１２】
例えば、「外界の情報」として、ヘッドマウントディスプレイの外部における環境情報（気温）を採用した場合の概要を説明する。まず、画像表示部に温度センサーを備える構成とする。演出処理において、演出部は、温度センサーにより検出された気温に応じた効果画像を生成し、検出された気温に応じたＢＧＭを流すことができる。例えば、気温が「０℃」であった場合、演出部は、雪や氷を連想させるような効果画像を生成し、涼やかな印象のＢＧＭを再生させる。
【０１１３】
例えば、「外界の情報」として、ヘッドマウントディスプレイの外部における環境情報（ビル等の建物）を採用した場合の概要を説明する。まず、解析部は、ＯＳもしくはゲームアプリケーションからの呼び出し時の引数として「演出モード」を受信する。演出処理において、演出部は、受信した演出モードに応じた効果画像を生成し、演出モードに応じたＢＧＭを流すことができる。例えば、「演出モード＝世紀末」であった場合、演出部は、画像認識によって検出したビルの位置に対して廃墟を連想させるような効果画像を生成し、退廃した印象のＢＧＭを再生させる。
【０１１４】
例えば、「外界の情報」として、特定の対象物（食物）を採用した場合の概要を説明する。まず、演出処理において、演出部は、画像認識によって食物の種類を推定し、推定された食物の種類に応じた効果画像を生成し、推定された食物の種類に応じたＢＧＭを流すことができる。例えば、食物が「鍋物」であった場合、演出部は、温かで湯気が立ち上る様子を表わす効果画像を生成し、和の雰囲気を連想させるＢＧＭを再生させる。
【０１１５】
Ｅ３．変形例３：
上記実施例では、効果画像記憶部の一例を示した。しかし、上記実施例における効果画像記憶部はあくまで一例であり、種々の変更が可能である。
【０１１６】
例えば、図５に例示したフィールドに加えて、効果音と加圧部の駆動時間と、振動モーターの駆動時間とをそれぞれ規定したフィールドを備えていても良い。
【０１１７】
例えば、効果画像として静止画ファイルではなく動画ファイルを用いることで、効果音のフィールドは省略可能である。また、加圧部、振動モーターを駆動させない構成もしくは一律のレベルで駆動させる構成においては、加圧部レベルと振動モーターレベルの各フィールドは省略可能である。
【０１１８】
Ｅ４．変形例４：
上記実施例では、演出処理の一例を示した。しかし、図６、図９、図１２に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
【０１１９】
例えば、図６、図９、図１２に示した各実施例の演出処理では、外界の情報（外景画像や、ステータス（外界の人物の動きに関する情報））を解析して、外界の人物の動作を推定する方法を例示した。しかし、上記実施例における外界の人物の動作の推定方法はあくまで一例であり、周知の画像認識方法等を用いた任意の方法を用いることができる。
【０１２０】
例えば、図６に示した第１実施例の演出処理では、視覚効果を付与（ステップＳ１０６）した後、触覚効果および聴覚効果を付与（ステップＳ１０８）している。しかし、これらは同じタイミングで実行されても良い。図９、図１２についても同様である。
【０１２１】
例えば、図９に示した第２実施例の演出処理のステップＳ２０２では、演出部が、ポーズ名称と、ステータスとを用いて効果画像を生成する処理の一例を示した。しかし、上記実施例における処理内容はあくまで一例であり、演出部が、ポーズ名称に加え、ステータスをも考慮して効果画像を生成する範囲内において任意に変更可能である。具体的には、例えば、演出部が、ポーズ名称から生成される効果画像と、ステータスから生成された効果画像との２枚の効果画像を重畳した、新たな１枚の効果画像を生成することとしてもよい。
【０１２２】
例えば、図１２に示した第３実施例および第４実施例の演出処理では、外界の情報として外部装置から受信したステータス（外界の人物の動きに関する情報）を用い、カメラにより得られる外景画像は用いない構成として説明した。しかし、第３実施例および第４実施例の演出処理においても、第１、２実施例と同様に、カメラにより得られる外景画像を用いても良い。また、ステータスに加えて、カメラにより得られる外景画像を外部装置との間で送受信してもよい。
【０１２３】
例えば、図１３に示した第４実施例の演出処理では、サーバーＳＶは、画像表示システムに属する各ヘッドマウントディスプレイとの間で、ステータス送受信の仲立ちを行うための装置であるものとして説明した。しかし、サーバーＳＶが効果画像記憶部、解析部、演出部の各機能を実現する機能部を備え、画像表示システムに属する各ヘッドマウントディスプレイに対して、演出指示を出しても良い。演出指示には、例えば、効果画像データーと、効果音用の音声データーとを含むことができる。このような構成とすれば、各ヘッドマウントディスプレイから、効果画像記憶部、解析部、演出部の各機能を省略することができるため、ヘッドマウントディスプレイの構成を簡略化し、製造コストを低下させることができる。
【０１２４】
例えば、上述の演出処理がゲームアプリケーションのサブルーチンとして動作する場合、解析部もしくは演出部が、ポーズ名称と、ステータスとをゲームアプリケーションに対して送信してもよい。このようにすれば、ゲームアプリケーション内でポーズ名称とステータスとを用いて、技やダメージ計算を行うことが可能となる。
【０１２５】
Ｅ５．変形例５：
上記実施例では、外界情報取得部として、撮像装置としてのカメラと、無線ＬＡＮインターフェイスとを例示した。しかし、これらはあくまで例示であり、外界の情報を取得する手段としては、任意の構成を採用することができる。
【０１２６】
また、上記実施例では、外界情報取得部としての無線ＬＡＮインターフェイスを介して、他のヘッドマウントディスプレイのステータス（外界の人物の動きに関する情報）として、加速度情報と、角速度情報と、心拍数とを取得することとした。しかし、これらはあくまで例示であり、一部を省略してもよく、また、任意の他の情報を採用することができる。
【０１２７】
また、上記実施例では、検出部として、心拍計と、頭部加速度情報検出部としての頭部加速度センサーと、頭部角速度情報検出部としてのジャイロセンサーとを例示した。しかし、これらはあくまで例示であり、一部を省略してもよく、また、任意の他の情報を採用することができる。
【０１２８】
Ｅ６．変形例６：
上記実施例では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。
【０１２９】
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
【０１３０】
Ｅ７．変形例７：
上記実施例および各変形例における構成要素のうち、特許請求の範囲において独立請求項で記載された構成に対応する要素以外の要素は、付加的な要素であり、省略可能である。
【符号の説明】
【０１３１】
１０、１０ａ、１０ｂ…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０、２０ａ、２０ｂ…画像表示部
２１…耳掛部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（外界情報取得部、撮像装置）
６２…加圧部（触覚刺激部）
６３…振動モーター（触覚刺激部）
６４…心拍計（検出部、心拍計）
６５…頭部加速度センサー（検出部、頭部加速度情報検出部）
６６…ジャイロセンサー（検出部、頭部角速度情報検出部）
６７…手元加速度センサー
１１０…入力情報取得部
１２０…記憶部
１２２…効果画像記憶部
１３０…電源
１４０…ＣＰＵ
１４２、１４２ａ、１４２ｂ…解析部
１４４、１４４ａ、１４４ｂ…演出部（視覚演出部、触覚演出部）
１４５…状態確認部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１８２…無線ＬＡＮインターフェイス（外界情報取得部、インターフェイス）
１９０…表示制御部
２０１…右バックライト制御部（画像光生成部）
２０２…左バックライト制御部（画像光生成部）
２１１…右ＬＣＤ制御部（画像光生成部）
２１２…左ＬＣＤ制御部（画像光生成部）
２２１…右バックライト（画像光生成部）
２２２…左バックライト（画像光生成部）
２４１…右ＬＣＤ（画像光生成部）
２４２…左ＬＣＤ（画像光生成部）
２５１…右投写光学系（導光部）
２５２…左投写光学系（導光部）
２６１…右導光板（導光部）
２６２…左導光板（導光部）
２８０…電源
１０００、１０００ｃ…画像表示システム
ＥＬ…端部
ＥＲ…端部
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＡ、ＰＢ、ＰＣ…人物（動作主体）
ＳＣ、ＳＣ１、ＳＣ２…外景
ＶＩ、ＶＩ１、ＶＩ２…虚像
ＩＬ…照明光
ＰＬ…画像光
ＳＶ…サーバー
ＨＭ、ＨＭａ、ＨＭｂ、ＨＭｃ…ヘッドマウントディスプレイ（頭部装着型表示装置）
ＶＲ、ＶＲ１、ＶＲ２…視野
【図１】
2013178639.tif 000003
【図２】
2013178639.tif 000004
【図３】
2013178639.tif 000005
【図４】
2013178639.tif 000006
【図５】
2013178639.tif 000007
【図６】
2013178639.tif 000008
【図７】
2013178639.tif 000009
【図８】
2013178639.tif 000010
【図９】
2013178639.tif 000011
【図１０】
2013178639.tif 000012
【図１１】
2013178639.tif 000013
【図１２】
2013178639.tif 000014
【図１３】
2013178639.tif 000015