(57)【要約】      （修正有）【課題】実画像および複数の人工画像から生成される画像情報を一つの３次元仮想空間に整合してユーザに伝達するフェイスマウントディスプレイ装置を提供する。【解決手段】ユーザの周りの実画像と人工的に生成された単一又は複数の立体画像とを合成して多重外部画像信号を出力する外部画像処理部と、ユーザの位置、目の位置、視線の方向、および焦点距離を含む当該ユーザの視覚情報を抽出するユーザ情報抽出部と、抽出されたユーザの視覚情報に基づいて立体画像信号を生成する画像生成部と、抽出されたユーザの視覚情報に基づいて前記多重外部画像信号と前記立体画像信号とを同期化して合成する画像合成部と、合成された画像信号を前記ユーザに出力する画像出力部とを含むフェイスマウントディスプレイ装置。【選択図】図１
2008033219.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの周りの物体の実画像と人工的に生成された単一又は複数の立体画像とを合成して多重外部画像信号を出力する外部画像処理部と、
前記ユーザの位置、目の位置、視線の方向、および焦点距離を含む当該ユーザの視覚情報を抽出するユーザ情報抽出部と、
前記抽出されたユーザの視覚情報に基づいて、立体画像信号を生成する画像生成部と、
前記抽出されたユーザの視覚情報に基づいて、前記多重外部画像信号および前記立体画像信号を同期化して合成する画像合成部と、
前記合成された画像信号を前記ユーザに出力する画像出力部と
を備えたことを特徴とする混合現実環境用のディスプレイ装置。
【請求項２】
前記ユーザ情報抽出部は、前記ユーザの視覚情報を抽出するために、目の部分を撮影する手段を含み、前記撮影手段は、前記目の部分を直接撮影するか、または画像キャプチャ装置によって提供される光を使用して間接的に撮影することを特徴とする請求項１記載のディスプレイ装置。
【請求項３】
前記画像出力部は、前記合成された画像信号を、左右の視覚チャンネルに分離し、分離された信号を出力することを特徴とする請求項１に記載のディスプレイ装置。
【請求項４】
前記ディスプレイ装置は、フェイスマウントディスプレイ（ＦＭＤ：Face Mounted Display）であることを特徴とする請求項１に記載のディスプレイ装置。
【請求項５】
前記外部画像処理部は、前記合成された信号を左右の視覚チャンネルに分離し、分離された信号を出力することを特徴とする請求項１に記載のディスプレイ装置。
【請求項６】
前記外部画像処理部は、前記実画像および前記立体画像に対応する外部の光を透過するシースルー構造であることを特徴とする請求項１に記載のディスプレイ装置。
【請求項７】
前記外部画像処理部は、前記透過される外部の光の光量に関する透過度を選択的に調節できる光透過量調節部をさらに含むことを特徴とする請求項６に記載のディスプレイ装置。
【請求項８】
前記外部画像処理部は、物体の実際の画像および立体画像を撮像し、入力するカメラを含むことを特徴とする請求項１に記載のディスプレイ装置。
【請求項９】
前記画像合成部は、異なる３次元空間上に可視化された前記多重の外部画像信号および前記立体画像信号を一つの３次元空間上に可視化するために、前記立体画像信号を基準として深さ方向に、前記外部画像信号を階層空間に分離し、合成することを特徴とする請求項１に記載のディスプレイ装置。
【請求項１０】
前記ディスプレイ装置は、仮想の作業シナリオおよび環境に用いられることを特徴とする請求項１の記載のディスプレイ装置。
【請求項１１】
前記ディスプレイ装置は、マルチユーザ参加型の仮想現実ゲームコンテンツに用いられることを特徴とする請求項１に記載のディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は混合現実環境用のディスプレイ装置に関し、より詳しくは、混合現実環境用のフェイスマウントディスプレイ装置に関する。
【背景技術】
【０００２】
仮想現実（バーチャル・リアリティ、ＶＲ）インターフェース分野において、コンピュータ立体画像生成技術は、基本的に、人の左右視覚に互いに異なる画像情報を提供するステレオディスプレイ技術を採用して、立体感を取得させる。そして、ＶＲビジュアルインターフェースシステムは、複数のユーザ向けの大型スクリーンベースの立体ビジュアルシステム技術と、個人ユーザ向けの携帯型立体ビジュアルシステム技術とに分類できる。
【０００３】
まず、複数のユーザ向けの大型スクリーンベースの立体ビジュアルシステム技術は、大規模画像を出力するプロジェクトモジュール、画像が投射されるスクリーンモジュール、および両眼視覚（binocular viewing）を提示するための左右視覚情報分離モジュール（例えばプロジェクター付き偏光フィルタ、立体眼鏡など）からなる。かかるシステムはテーマパークの仮想現実体験場や大型立体映画館などの大規模のユーザが仮想環境で同時に立体画像コンテンツを楽しむことを目的として使用されている。
【０００４】
個人ユーザ向けの携帯型立体ビジュアルシステム技術の代表的な形態は、ヘッド／フェイスマウントディスプレイ（ＨＭＤ／ＦＭＤ： Head Mounted Display, Face Mounted Display）装置である。これらの装置は、超小型ディスプレイ装置（例えば、小型モニタ、ＬＣＯＳなど）と眼鏡に似た光学拡大構造とを一体化した構造であり、立体ビジュアルディスプレイのために左右の目のそれぞれのための別個のモジュールと２つのチャンネルの画像情報が入力される構造を有している。ＨＭＤ／ＦＭＤ装置は、個人情報を表示する環境やモバイルコンピューティングのように高い身体動作の自由度が求められる条件で活用されている。
【０００５】
立体画像生成技術では、正確な立体感を有する画像を生成するために、ユーザから情報を引き出して入力値として使用する。通常、正確な立体画像を生成するために、頭の動きや視覚情報を追跡する視標追跡（eye-tracking）技術を用いる。人間工学評価実験では、被験者が眺める物体の位置を追跡するために、瞳の動きをコンピュータビジョン技術を用いて追跡するか、直接コンタクトレンズの形の追跡部品を目の角膜に直接付着する方法を用いる。このような技術によって視線の方向を１度以下の精度で追跡することができる技術が商業化されている。
【０００６】
立体画像コンテンツの可視化のための現在のビジュアルインターフェース装置は、それらの方式で制限されている個々の使用環境に適するように設計されている。従って、多様なコンテンツに対する適用の限界を有し、大型可視化システムの場合、ユーザに一つの同一の視点の情報だけを提供するという短所がある。
【０００７】
仮想空間共動環境（virtual space cooperation environment）上で、共有情報と個人情報を同時に活用するには、単一の立体画像出力形態を有する現在の立体ビジュアルディスプレイ装置は不適である。そして、各物体が、実物のように一定した空間を占めている自然な深みを提供するとともに、理想的な立体画像視覚装置とみなされるホログラムディスプレイ装置は、映画の特殊効果に用いられるか、宇宙や航空分野の研究室で試作品として製作にとどまり、いまだに一般のユーザが満足するほどの成果を挙げていない実状である。
【０００８】
立体画像技術の発展により、スタンドアロン（stand-alone）プラットフォーム型の立体画像ディスプレイ技術の一般化が進行されている。近いうちにモバイル／ウェアラブルコンピューティング（mobile/wearable computing）技術の大衆化によりシースルー型ＦＭＤなどのような個人向けの仮想現実インターフェース装置が一般化され、個人の仮想情報と共用の仮想情報とを混合することによって相互動作が一般化される。したがって、自然に２つ以上の立体画像空間情報を混合し、所望のユーザに提示することができる新たな技術が求められているが、まだそれに応じる結果が出ていないという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従って、本発明は前述した従来の問題点を解消するために提案されたもので、その目的は実画像および複数の人工画像から生成される画像情報を一つの３次元仮想空間に適合して、ユーザに伝達するフェイスマウントディスプレイ装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、本発明はユーザの周りの物体の実画像と人工的に生成された単一又は複数の立体画像とを合成して多重外部画像信号を出力する外部画像処理部と、前記ユーザの位置、目の位置、視線の方向、および焦点距離を含む当該ユーザの視覚情報を抽出するユーザ情報抽出部と、前記抽出されたユーザの視覚情報に基づいて立体画像信号を生成する画像生成部と、前記抽出されたユーザの視覚情報に基づいて前記多重外部画像信号および前記立体画像信号とを同期化して合成する画像合成部と、前記合成された画像信号を前記ユーザに出力する画像出力部とを含む混合現実環境用のディスプレイ装置を提供する。
【発明の効果】
【００１１】
本発明によれば、混合現実システムのための立体画像表示用ディスプレイ装置は、シースルー機能による外部画像情報と内部画像情報との合成が可能な構造を提示することで、ユーザが画像装置を独立的に使用する場合に発生される既存の短所を解決した。つまり、従来の技術では外部の実在情報とディスプレイ装置の仮想情報とを統合する形態でシステムが具現されているが、本発明によれば外部の実在情報、人工画像情報、および内部の人工画像情報を全て統合して制御することができる。
【００１２】
また、本発明によれば、エンターテインメント分野においてマルチユーザが参加可能な仮想現実ゲームコンテンツを構築することができ、仮想環境における作業訓練および教育や、ウェアラブルコンピューティング、ユビキタスコンピューティングなどの分野での幅広い活用が可能である。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して、本発明の目的と特徴は、好適な実施形態の続く説明から明らかとなる。
【００１４】
図１は本発明による混合現実環境用のディスプレイ装置の主要構成を示すブロック図である。図１に示されているように、本発明による混合現実環境用のディスプレイ装置は、外部画像処理部１０１、ユーザ情報抽出部１０２、画像生成部１０３、画像合成部１０４、および画像出力部１０５を含む。
【００１５】
外部画像処理部１０１は、ユーザの周りの実画像と人工的に生成された単一又は複数の立体画像を合成して多重外部画像信号を画像合成部１０４へ出力する。外部画像処理部１０１は、ディスプレイ装置の外部から入る多様な画像情報を透視処理してディスプレイ装置の内部で生成された画像情報と合成する。この際、外部画像処理部１０１は合成された信号を左右２つの視覚チャンネルに分離して出力することが望ましい。
【００１６】
ユーザ情報抽出部１０２は、ユーザの位置、目の位置、視線の方向、および焦点距離などのユーザの視覚情報を抽出して画像生成部１０３および画像合成部１０４に提供する。
【００１７】
画像生成部１０３は、ユーザ情報抽出部１０２により抽出された、あるいは既に入力されたユーザの視覚情報と所定のコンテンツの内容に基づいて立体画像信号を生成する。
【００１８】
画像合成部１０４は、ユーザの視覚情報に基づいて多重外部画像信号と立体画像信号を同期化して合成する。また、画像合成部１０４は、互いに異なる３次元空間上に可視化される多重外部画像信号および立体画像信号を一つの３次元空間上に可視化するために、立体画像信号を基準として外部画像信号と内部装置で生成された立体画像信号を深さ方向に沿って階層空間（layered space）に分離し、その後それらを合成することが望ましい。
【００１９】
画像出力部１０５は、画像合成部１０４により合成された画像信号をユーザに出力する。画像出力部は前記合成された画像信号を左右２つの視覚チャンネルに分離し、出力することが望ましい。
【００２０】
本発明による混合現実環境用のディスプレイ装置は、フェイスマウントディスプレイ（ＦＭＤ）で実装されることが好ましい。
【００２１】
図２は本発明による混合現実環境用のディスプレイ装置の主要画像データを主要制御情報に沿って示す図である。図２に示されているように、本発明による混合現実環境用のディスプレイ装置は、外部画像処理部２０１、ユーザ情報抽出部２０２、画像生成部２０３、画像合成部２０４、および画像出力部２０５を含む。図２に示された外部画像処理部２０１、ユーザ情報抽出部２０２、画像生成部２０３、画像合成部２０４、および画像出力部２０５は、それぞれ図１に示された外部画像処理部１０１、ユーザ情報抽出部１０２、画像生成部１０３、画像合成部１０４、および画像出力部１０５と実質的に同一の機能を遂行する。
【００２２】
外部画像処理部２０１は、外部立体画像のｎ１個の対（つまり、左と右）へ同期信号を交互に交換し、ｎ２個の外部画像を入力させて、左右ｎ１個対の視覚チャンネルに分離して、画像合成部２０４へ出力する。
【００２３】
ユーザ情報抽出部２０２は、外部画像生成に必要なユーザの視覚情報を抽出し、フェイスマウントディスプレイ画像を生成し、合成処理の基準となる入力データとして画像生成部２０３および画像合成部２０４に提供する。
【００２４】
本発明による混合現実環境用のディスプレイ装置は、図３の光学シースルー方式および図４のビデオシースルー方式で実装できる。
【００２５】
まず、図３は本発明の好適な一実施形態による光学シースルー方式の混合現実環境用のディスプレイ装置を示す概略図である。図３に示しているように、本発明による光学シースルー方式の混合現実環境用のディスプレイ装置は、外部光透過量調節装置３０３、透過度制御部３０４、左右視覚情報分離パネル３０５、左右視覚情報分離制御部３０６、ディスプレイ装置の外枠３０７、追跡センサ３０８、第１視線位置情報獲得部３１０、第２視線位置情報獲得部３１１、合成画像出力部３１２、画像生成部３１３、画像合成部３１４、ユーザ情報抽出部３１５、画像出力部３１６、外部画像処理部３１７、外部画像処理制御部３１８、および視線情報提供部３１９を含む。
【００２６】
外部光透過量調節装置３０３は、光学シースルー工程において、本発明によるディスプレイ装置の外部の光量と、ディスプレイ装置の内部で生成された光量の混合比率を調節する。
【００２７】
透過度制御部３０４は、外部光透過量調節装置３０３の機能をサポートするために、本発明によるディスプレイ装置の外部の光量（例えば、光の明るさ）を測定して、外部画像処理制御部３１８に伝送するか、または外部画像処理制御部３１８によって決定された外部光量透過情報に基づいて外部光透過量調節装置３０３の全透過度および各画素（pixel）別の透過度を制御する。
【００２８】
左右視覚情報分離パネル３０５は、外部立体画像を左／右視覚情報に分離するパネルであって、人工的な立体画像生成方法と同様な方法により外部立体画像情報を左／右視覚装置部に交互に提供する。左右視覚情報分離制御部３０６は、左右視覚情報分離パネル３０５の動作を制御する。また、左右視覚情報分離制御部３０６は、外部画像処理部３１７の立体画像生成技術によって必要な情報を交換（例えば、左／右信号分離および同期化情報）する。更に、左右視覚情報分離制御部３０６は、外部画像がモノ画像（mono image）である場合、左右視覚情報分離パネル３０５の機能を停止させる。
【００２９】
ディスプレイ装置の外枠３０７は、外部光透過量調節装置３０３、透過度制御部３０４、左右視覚情報分離パネル３０５、左右視覚情報分離制御部３０６、追跡センサ３０８を選択的に着脱することができる構成を有する。
【００３０】
追跡センサ３０８は、本発明によるディスプレイ装置の着用者の視線の位置を計算するためのもので、その計算された位置値はユーザ情報抽出部３１５に伝送される。
【００３１】
第１視線位置情報獲得部３１０および第２視線位置情報獲得部３１１は、本発明によるディスプレイ装置の着用者の視線情報を獲得するための装置である。現在の視標追跡技術と類似しているが、第１視線位置情報獲得部３１０は合成画像出力部３１２により提供される画像イメージの光源を用いてユーザの視線情報を直接得る。従って、眼球と近くの閉鎖空間に画像獲得装置部を搭載できるというメリットを有する。
【００３２】
また、第２視線位置情報獲得部３１１は、反射された画像情報を獲得する方法を用いることで、所望の情報を抽出してユーザ情報抽出部３１５へ伝達する。従って、鮮明な高品質の画像情報獲得のための必要条件（例えば、光学系における距離確保）を充たすことができるという長所を有し、画像出力部の部品を共有するという長所をも有する。
【００３３】
合成画像出力部３１２は、画像合成部３１４で生成された最終合成画像を出力する。例えば、一対のレンズからなる投影システムを超小型に製作して、ディスプレイ装置内でユーザの目とレンズの間の余裕空間に画像を投射してユーザの視線に画像情報が提示されるようにする。
【００３４】
画像生成部３１３は、各ユーザにカスタマイズされた画像情報を生成する。画像生成部３１３は、ユーザ情報抽出部３１５の情報と提示されるコンテンツの情報に基づいて個人画像イメージを生成する。
【００３５】
画像合成部３１４は、画像生成部３１３、ユーザ情報抽出部３１５、および外部画像処理制御部３１８から入力された情報に基づいて、外部画像および個人的画像を一つの３次元画像に合成する。互いに異なる３次元空間上に可視化される仮想オブジェクトおよび実オブジェクトを一つの３次元空間上に合成させるために、仮想空間をユーザの視線を基準として、深さ方向に各装置の担当する階層空間に分離して合成するか、もしくは深さバッファー（depth-buffer）アルゴリズムを用いて一つの画像情報に統合する。
【００３６】
ユーザ情報抽出部３１５は、各ユーザに最適化された立体画像を生成するための個人情報を抽出する。追跡センサ３０８、第１視線位置情報獲得部３１０、および第２視線位置情報獲得部３１１から獲得されるユーザの視線位置、姿勢、および視線の方向情報などを追跡センサ３０８、画像合成部３１４、視線情報提供部３１９の入力値として伝達する。
【００３７】
画像出力部３１６は、図１および図２の画像出力部１０５、２０５と同一の機能を遂行する。つまり画像出力部３１６は、画像合成部３１４によって作られた合成画像信号をユーザへ出力する。
【００３８】
外部画像処理部３１７は、外部画像処理制御部３１８の機能に加えて、図１の外部画像処理部１０１の機能をも遂行する。
【００３９】
外部画像処理制御部３１８は、画像合成部３１４の情報に基づいて、透過度制御部３０４を用いて、外部画像全てまたは特定の位置に対する透過量を制御する。つまり、制御部３１８は、本発明のディスプレイ装置画像および外部の画像を許可し、画像合成部３１４の正確な合成のために光学的に自然に（例えば、同じ明度値）合成されるように、外部画像情報の深さ値を獲得することによって、合成画像出力部３１２に提供される。視線情報提供部３１９は、外部立体画像情報がユーザの視線情報を必要とする場合にこれを伝送する。
【００４０】
図４は本発明の好適な他の実施形態によるビデオシースルー方式の混合現実環境用のディスプレイ装置を示す概略図である。図４に示されたビデオシースルー方式の混合現実環境用のディスプレイ装置は、ほとんどの機能部は、図３における光学シースルー方式の混合現実環境用のディスプレイ装置と類似している。
【００４１】
左右視覚情報分離制御部４０８、左右視覚情報分離パネル４０９は、それぞれ図３の左右視覚情報分離制御部３０６、左右視覚情報分離パネル３０５と同一の機能を果たす。
【００４２】
カメラモジュール制御部４５０は、制御部４２８の制御命令を受けてカメラの撮影方向を調整する。
【００４３】
制御部４２８は、外部画像獲得モジュール４０９と４５１を駆動する左右視覚情報分離制御部４０８およびカメラモジュール制御部４５０を制御する。
【００４４】
図４に示されたビデオシースルー方式の混合現実環境用のディスプレイ装置は、殆どの動作が図３における光学シースルー方式の混合現実環境用のディスプレイ装置と類似している。図４によるビデオシースルー方式の場合、外部画像を獲得して合成する段階で、人間の自然視覚を用いる光学方式ではなく、任意のセンサ技術を利用するという点が光学シースルー方式と相異なる。ビデオシースルー方式の場合、外部画像獲得のために外部画像獲得モジュール（例えば、小型カメラ）４５１を使用し、カメラとユーザ視覚との連動のために外部画像処理制御部４２８は、ユーザ情報抽出部３１５の情報を用いてカメラモジュール制御部４５０を制御し、これにより、外部画像獲得モジュール４５１の収束角を制御する。
【００４５】
図５は本発明による光学シースルー方式の混合現実環境用のディスプレイ装置を示す例示図である。光学シースルー方式のディスプレイ装置は、ユーザの頭の動きを追跡するセンサ５０２と外部立体画像を選別して透視できる線形偏光フィルム５０１を含む。さらに、光学シースルー方式のディスプレイ装置は、画像生成部５０３、半透明反射鏡およびレンズとからなる多重立体画像混合処理部５０４、多重立体画像混合表示部５０５、ユーザの頭（目）の動き（姿勢）の追跡センサ５０６、および最終の個人の立体画像生成部５０７を更に含む。
【００４６】
本発明のディスプレイ装置を用いてユーザは、図８に示されているように、自分の個人インターフェースに関連する立体画像と外部コンテンツの立体画像とを同時に一つの空間に合成して見ることができ、マルチユーザ参加型ゲームにおいて解決し難い情報の私有および情報の共有問題を解決することができる。
【００４７】
図６Ａおよび図６Ｂは、本発明による混合現実環境用のディスプレイ装置の具現例を示す図である。図６Ａに示された本発明による混合現実環境用のディスプレイ装置によってフェイスマウントディスプレイ装置が具現され、実画像と外部画像とが自然に合成された画像を見ることができるようになる。本発明によるディスプレイ装置は、本体６０１、外部立体画像処理部（光学式立体画像フィルタ部）６０２、および外部光量透過度調節部６０３を備えている。図６Ｂに示されたように、本発明によるディスプレイ装置をユーザの目の位置から見ると、最終端の光学部により形成される拡大された虚像６０４の超小型の画像投影装置（プロジェクター）６０５によってユーザの眼球６０６上に形成される。また、外部画像情報は、外部画像生成（送出）装置の画像情報を伝達する光ケーブル６０７によって伝達される。画像投影装置６０５は、図３に示された合成画像出力部３１２の役割をする。
【００４８】
図７は本発明による混合現実環境用のディスプレイ装置を用いて、仮想スプレーペインティングトレーニングシステムの実装例を示す図である。外部人工画像は、大型の後面投射型の立体画像投影システムにより、ペインティング対象物が立体感を有するように可視化される。混合現実環境用のディスプレイ装置を着用した訓練生は、外部の仮想ブロックおよび自分のスプレーガンから発射される仮想ペイントの噴射の様子を見ることができ、正確なペインティング動作を案内するガイド情報などが自然に合成される。混合現実ディスプレイ装置を介して、ユーザの実際の手７０１、仮想動作案内情報７０２、実際のスプレーペインティング道具７０３、および仮想ペイントスプレー７０４を一度に見ることができる。外部立体ディスプレイ画面上の仮想船舶ブロック７０７上に仮想ペイントスプレー７０５を噴射すると、仮想ペイントが塗られる領域７０６を介して、仮想ペイントが塗られるのを見ることができる。
【００４９】
図８は本発明による混合現実環境用のディスプレイ装置をマルチユーザ参加型の仮想現実ゲームコンテンツのインターフェース装置として実装した事例を示す図である。図８に示しているように、外部ゲーム空間は大型の立体画像ディスプレイシステムによって可視化され、ゲームに参加したユーザ１とユーザ２によって同時に観察することができる。ハンターの役割をするユーザ１が装着したディスプレイ装置には、武器制御に関連する立体画像情報が外部画像情報と合成されて可視化される。ユーザ１とユーザ２は互いに相手の個人情報を見ることができず、ゲームに参加する第三者は、ユーザの行動からゲーム世界に対外的に現われる結果のみを見ることができる。即ち、図８の左上端に示した一般のマルチユーザ参加型ゲームインターフェース画面８０１のように、ユーザと関連のない情報が共用画面に可視化され、可視性の混乱を招くことを引き起こさないことができる。一般のゲームインターフェース画面８０１とは異なり、本発明による仮想現実ゲームコンテンツ８０２は、外部画像と内部画像の共通立体画像を提供する。ユーザ１とユーザ２がゲームを一緒にする場合、ディスプレイ画面上にユーザ１のための個人制御メニュー８０３が表示され、個人制御メニュー８０３の個人立体画像を介して、ユーザ１はゲームオプションを選択することができる。また、ユーザ２も同様に、ユーザ２の個人制御メニューを介してゲームオプションを選択することになる。ユーザ１およびユーザ２はそれぞれ自分の多重立体画像の合成表示ビジュアルインターフェース装置８０４、８０５を介して、外部共通立体画像８０２または個人制御メニュー８０３を見ることができる。
【００５０】
図９は本発明による混合現実環境用のディスプレイ装置をマルチユーザ参加型の仮想現実ゲームコンテンツとして実装した事例を示す図である。外部人工画像９０３は、立体モニタによって可視化される。図９のシナリオは円形偏光フィルタ付きディスプレイ装置９０４、９０５を装着した二人のユーザが、それぞれドライバーおよびハンターとなって迷宮を探検しながら幽霊を狩るという内容のシナリオである。ユーザ１（たとえば、ハンター）は、外部実在オブジェクト情報、人工画像、および自分のディスプレイ装置により可視化される個人画像情報９０１が自然に合成された混合現実環境で、ゲームを進行することができ、ユーザ２（たとえば、ドライバー）は、外部迷路空間を外部環境提示用のディスプレイ装置を介して立体的に見るとともに自分に好適な運転計器板情報９０２を見ながら実際の操作対象となるゲームジョイスティックパッド（実際の物）を見ながら操作できる。
【００５１】
一方、前述した本発明の実施形態は、コンピュータで実行可能なプログラムで実装することができ、コンピュータ可読の記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータにて実装できる。前記コンピュータ可読の記録媒体は、例えばＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなどの磁気記録媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤなどの光学的読出媒体、および例えばインターネットを通した伝送のような搬送波などの記録媒体を含む。
【００５２】
以上、本発明を添付図面および実施形態に参照して示し説明してきたが、これらは例示的なものに過ぎず、当業者ならば、特許明細の範囲に定義される発明の精神と範囲から逸脱することなく、これから多様な変更および均等な他の実施形態が可能であることは明らかである。
【図面の簡単な説明】
【００５３】
【図１】本発明による混合現実環境用のディスプレイ装置の主要構成を示すブロック図である。
【図２】本発明による混合現実環境用のディスプレイ装置の主要画像データおよび主要制御情報の流れと共に示す図である。
【図３】本発明の好適な一実施形態による光学シースルー方式の混合現実環境用のディスプレイ装置を示す概略図である。
【図４】本発明の好適な他の実施形態によるビデオシースルー方式の混合現実環境用のディスプレイ装置を示す概略図である。
【図５】図３に示した光学シースルー方式による混合現実環境用のディスプレイ装置の試作品を例示する。
【図６】ＡとＢは本発明による混合現実環境用のディスプレイ装置の一例を示す図である。
【図７】本発明による混合現実環境用のディスプレイ装置を用いて仮想スプレーペインティングトレーニングシステムの一例を示す。
【図８】本発明による混合現実環境用のディスプレイ装置をマルチユーザ参加型の仮想現実ゲームコンテンツのインターフェース装置として具現した事例を示す図である。
【図９】本発明による混合現実環境用のディスプレイ装置をマルチユーザ参加型の仮想現実ゲームコンテンツとして実装される一例を表す。
【符号の説明】
【００５４】
１０１  外部画像処理部
１０２  ユーザ情報抽出部
１０３  画像生成部
１０４  画像合成部
１０５  画像出力部
２０１  外部画像処理部
２０２  ユーザ情報抽出部
２０３  画像生成部
２０４  画像合成部
２０５  画像出力部
３０３  外部光透過量調節装置
３０４  透過度制御部
３０５  左右視覚情報分離パネル
３０６  左右視覚情報分離制御部
３０７  ディスプレイ装置の外枠
３０８  追跡センサ
３１０  第１視線位置情報獲得部
３１１  第２視線位置情報獲得部
３１２  合成画像出力部
３１３  画像生成部
３１４  画像合成部
３１５  ユーザ情報抽出部
３１６  画像出力部
３１７  外部画像処理部
３１８  外部画像処理制御部
３１９  視線情報提供部
【図１】
2008033219.tif 000003
【図２】
2008033219.tif 000004
【図３】
2008033219.tif 000005
【図４】
2008033219.tif 000006
【図５】
2008033219.tif 000007
【図６】
2008033219.tif 000008
【図７】
2008033219.tif 000009
【図８】
2008033219.tif 000010
【図９】
2008033219.tif 000011