(57)【特許請求の範囲】
【請求項１】
現実空間を撮像して撮像画像データを生成する撮像手段を備え、該撮像画像データをＣＧ画像と合成して表示手段に表示する表示装置と、前記ＣＧ画像を生成し、前記表示装置に無線通信により提供する複数の画像処理装置とを備える画像処理システムであって、
前記現実空間に配置された第１の指標につき、該第１の指標の第１の位置姿勢情報を登録し、前記画像処理装置に添付された第２の指標につき、該第２の指標の第２の位置姿勢情報と前記表示装置が前記画像処理装置と無線通信するための接続情報とを関連づけて登録するリストを登録する登録手段と、
前記表示装置と通信する前記複数の画像処理装置のいずれかとの通信状況が悪化した場合に、前記撮像手段により生成された撮像画像データに含まれる前記第１の指標について前記リストに登録されている第１の位置姿勢情報と、前記リストに登録されている前記第２の位置姿勢情報とに基づいて、前記表示装置と最も距離の近い画像処理装置を選択する選択手段と
を備え、
前記表示装置は、通信する画像処理装置を、前記選択手段により選択された前記最も距離の近い画像処理装置に切り替えることを特徴とする画像処理システム。
【請求項２】
前記第２の指標には、前記接続情報が与えられ、
前記表示装置は、
前記撮像画像データから、前記第１の指標又は第２の指標を検出する指標検出手段と、
前記指標検出手段により検出された指標の位置姿勢情報を、前記リストに登録された他の指標の位置姿勢情報を利用して生成する位置姿勢情報生成手段と、
前記検出された指標が前記リストに登録されているか否かを判定する判定手段と
を備え、
前記検出された指標が前記リストに登録されていないと判定され、かつ、該検出された指標が前記第２の指標の場合に、前記リストには該検出された第２の指標について、該第２の指標について生成された前記第２の位置姿勢情報と、前記第２の指標から抽出された前記接続情報とが追加されることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記検出された指標が前記リストに登録されていないと判定され、かつ、該検出された指標が前記第１の指標の場合に、前記リストには該検出された第１の指標について、該第１の指標について生成された前記第１の位置姿勢情報が追加されることを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記判定手段は、前記検出された指標が前記リストに既に登録されている場合に、該登録されている指標の前記位置姿勢情報が、前記位置姿勢情報生成手段で生成された位置姿勢情報と一致するか否かを判定し、
前記判定手段により一致しないと判定された場合に、該登録されている指標の前記位置姿勢情報が、前記位置姿勢情報生成手段で生成された位置姿勢情報により更新されることを特徴とする請求項２または３に記載の画像処理システム。
【請求項５】
前記表示装置は、前記登録手段と、前記選択手段とをさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
【請求項６】
前記画像処理システムは、前記画像処理装置と通信するシステム管理サーバをさらに備え、
前記システム管理サーバは、前記登録手段と、前記選択手段とを備え、前記最も距離の近い画像処理装置への切替指示を、前記画像処理装置を介して前記表示装置へ通知することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
【請求項７】
現実空間を撮像して撮像画像データを生成する撮像手段を備え、該撮像画像データをＣＧ画像と合成して表示手段に表示する表示装置と、前記ＣＧ画像を生成し、前記表示装置に無線通信により提供する複数の画像処理装置とを備える画像処理システムの制御方法であって、
前記表示装置の登録手段が、前記現実空間に配置された第１の指標につき、該第１の指標の第１の位置姿勢情報を登録し、前記画像処理装置に添付された第２の指標につき、該第２の指標の第２の位置姿勢情報と前記表示装置が前記画像処理装置と無線通信するための接続情報とを関連づけて登録するリストを登録する登録工程と、
前記表示装置の選択手段が、前記表示装置と通信する前記複数の画像処理装置のいずれかとの通信状況が悪化した場合に、前記撮像手段により生成された撮像画像データに含まれる前記第１の指標について前記リストに登録されている第１の位置姿勢情報と、前記リストに登録されている前記第２の位置姿勢情報とに基づいて、前記表示装置と最も距離の近い画像処理装置を選択する選択工程と、
を備え、
前記表示装置は、通信する画像処理装置を、前記選択工程において選択された前記最も距離の近い画像処理装置に切り替えることを特徴とする画像処理システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を用いる複合現実感技術に適用可能な画像処理システム、画像処理システムの制御方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の一つとして、ビデオシースルー型ＨＭＤを利用するものがある。そこでは、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Computer Graphics）を重畳表示した画像をＨＭＤ装着者が観察できる技術が知られている。
【０００３】
図９は、ビデオシースルー型ＨＭＤを利用したワイヤレス複合現実感システム（以降、ワイヤレスＭＲシステム）の機能ブロック図である。この図を使用して概要を説明する。
【０００４】
ビデオシースルー型ＨＭＤ９０１は、まず、外界を撮像する撮像ユニット９０３、ＣＧが重畳されたＭＲ画像を表示する表示ユニット９０４、ＣＧ描画位置を算出するための値を出力する三次元位置姿勢センサ９０５を有する。さらに、撮像画像およびセンサ情報に基づきＣＧ描画位置を算出する位置姿勢情報生成部９０６、撮像画像とＣＧ画像を合成し、ＭＲ画像を生成する画像合成部９０７、ＣＧを描画するための画像処理装置との無線Ｉ／Ｆ９０８を備えて構成される。
【０００５】
以下、各構成要素の機能について説明する。まず、撮像ユニット９０３は、ＨＭＤ装着者の視線位置と略一致する外界の観察画像を撮像する撮像手段として機能する。撮像ユニット９０３は、一般には、ステレオ画像を生成するために右目用、左目用の二つの撮像素子と光学系および後段の画像処理を行うためのＤＳＰ(Digital Signal Processor)から構成される。
【０００６】
表示ユニット９０４は、合成されたＭＲ画像を表示するための表示手段として機能する。表示ユニット９０４も右目用、左目用の二つの表示デバイスと光学系から構成される。表示デバイスは小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【０００７】
三次元位置姿勢センサ９０５は、ＨＭＤ装着者の三次元の位置姿勢情報を得るためのセンサである。磁気センサやジャイロセンサ（加速度、角速度）を使用することができる。位置姿勢情報生成部９０６は、撮像ユニット９０３で撮像された画像や、三次元位置姿勢センサ９０５で取得した情報をもとに、ＨＭＤ装着者の三次元位置姿勢情報を生成する。
【０００８】
画像合成部９０７は、撮像画像と後述するＣＧ描画部９１０で生成されるＣＧ画像を合成し、ＭＲ画像を生成する。画像合成部９０７で生成されたＭＲ画像は、表示ユニット９０４に送られて、装着者に表示される。無線インタフェース（Ｉ／Ｆ）９０８は、位置姿勢情報生成部９０６で生成された三次元位置姿勢情報を画像処理装置９０２に伝送し、また描画されたＣＧ画像をＨＭＤ９０１へ無線で伝送するためのインタフェースである。
【０００９】
次に、画像処理装置９０２は、ＨＭＤ９０１から受け取った三次元位置姿勢情報に基づきＣＧを描画し、撮像画像との合成処理を行うための情報処理装置である。画像処理装置９０２として、一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いることができる。
【００１０】
画像処理装置９０２は、無線Ｉ／Ｆ９０９とＣＧ描画部９１０を備える構成となっている。そして、無線Ｉ／Ｆ９０９は、画像処理装置側の無線Ｉ／Ｆであり、無線Ｉ／Ｆ９０８と同様の構成を有する。また、ＣＧ描画部９１０は、位置姿勢情報とコンテンツによりＣＧを描画する。
【００１１】
以上の構成および処理のプロセスにより、ユーザーは、ビデオシースルー型ＨＭＤを装着して、現実世界と仮想世界とがリアルタイムかつシームレスに融合したＭＲ空間を体験することができる。
【００１２】
図９では、ＨＭＤ９０１から画像処理装置９０２への送信データを位置姿勢情報のみとし、システム全体の伝送データ量を少なくすべく、三次元位置姿勢センサ９０５、位置姿勢情報生成部９０６及び画像合成部９０７をＨＭＤ９０１側に配置した。しかし、これらの機能を画像処理装置９０２側で持つ構成としてもよい。その場合、ＨＭＤ９０１から画像処理装置９０２へ撮像画像を送信するため、伝送データ量は増加するが、ＨＭＤ側のハードウェア構成の簡易化や処理負荷の軽減などの効果が期待できる。
【００１３】
ビデオシースルー型ＨＭＤを用いる上記ワイヤレスＭＲシステムは、複数のマーカや、客観カメラ等の三次元位置姿勢センサ、および画像処理装置を適切な間隔をもって配置することにより、より広い領域でＭＲ空間を体験することが可能となる。ワイヤレスＭＲシステムでは、ＨＭＤと画像処理装置は基本的に一対一の通信を行っているため、ＨＭＤ９０１の装着者が移動することにより、画像処理装置９０２との距離が離れると、電波強度が低下し、安定した通信が行えなくなることがある。
【００１４】
したがって、通信中の画像処理装置９０２との距離が離れた場合は、ＨＭＤ装着者の現在位置から距離が近い画像処理装置９０２に通信を切り換える処理を行うことで、通信状態を維持することができる。切替処理を行うには、マーカや三次元位置姿勢センサの三次元位置姿勢情報と、画像処理装置９０２の設置位置に関する情報、及び各画像処理装置が使用している無線周波数帯域（チャネル）や接続ＩＤ等の接続に関する情報をシステム内で管理する必要がある。しかし、これらの情報はすべて事前にユーザーが手動で登録するため、ＭＲ空間の構築にかかるユーザーの負荷は非常に大きい。
【００１５】
そこで、マーカに無線通信の接続要求に必要な固有情報を付加することにより、無線接続を行う際のユーザー負荷を軽減する手法が提案されている（特許文献１を参照。）。
【００１６】
この提案技術では、通信を行おうとする無線端末の固有情報を含むマーカを撮影して、画像情報から無線通信に関わる固有情報を取得し、取得した固有情報を含む接続要求信号を送信する。これにより、周囲の通信可能な無線端末を探索する時間、および探索結果から通信を行う無線端末を選択する時間を省略し、所望の無線端末と迅速に通信を開始するものである。
【００１７】
また、ＨＭＤを利用したＭＲシステムにおいて、現実空間と仮想空間との位置合わせに用いるマーカの追加登録を、ＨＭＤを装着したまま行うための手法が提案されている（特許文献２を参照）。この提案技術では、ＨＭＤの撮像部によって撮影された現実世界の撮像画像内において、ユーザーが操作入力部より新たに追加したマーカを指定すると、該当するマーカの世界座標を撮像画像内にある既知のマーカ群の世界座標情報を用いて算出する。そして、追加マーカと算出された世界座標を登録、管理する。
【特許文献１】特開２００５−１４２８０７号公報
【特許文献２】特開２００５−３２７２０４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら上述した従来の技術には、以下のような問題があった。
【００１９】
特許文献１の提案手法では、接続相手を切り替える際に、必ず通信相手となる無線端末に添付されたマーカが見えている必要がある。従って、無線端末の位置およびマーカの設置位置をユーザーが把握しておく必要がある。また、ワイヤレスＭＲシステムのように、複数ユーザーが空間内を自由に移動可能なシステムでは、ユーザーによるマーカの遮蔽が発生し得るため、確実にマーカを捉えることは必ずしも簡単ではない。
【００２０】
また、特許文献２の提案手法では、追加マーカの位置姿勢の取得に関してはユーザー負荷を軽減することができる。その一方で、無線端末の接続に関する固有情報については、取得された位置姿勢情報と対応付けながらユーザーが手動で登録する必要が依然としてある。
【００２１】
本発明はかかる問題に鑑みなされたもので、マーカに位置合わせに用いる情報と、無線接続に関する情報を与えることで、容易にＭＲ空間を構成することができるとともに、ユーザー負荷を軽減することを目的とする。また、マーカに与えられた三次元位置姿勢情報と無線端末の持つ固有の接続情報を対応付けて登録することによって、位置姿勢情報を用いた通信相手の切り替え制御が可能となる。
【課題を解決するための手段】
【００２２】
上記課題を解決するため本発明の一形態は、現実空間を撮像して撮像画像データを生成する撮像手段を備え、該撮像画像データをＣＧ画像と合成して表示手段に表示する表示装置と、前記ＣＧ画像を生成し、前記表示装置に無線通信により提供する複数の画像処理装置とを備える画像処理システムであって、
前記現実空間に配置された第１の指標につき、該第１の指標の第１の位置姿勢情報を登録し、前記画像処理装置に添付された第２の指標につき、該第２の指標の第２の位置姿勢情報と前記表示装置が前記画像処理装置と無線通信するための接続情報とを関連づけて登録するリストを登録する登録手段と、
前記表示装置と通信する前記複数の画像処理装置のいずれかとの通信状況が悪化した場合に、前記撮像手段により生成された撮像画像データに含まれる前記第１の指標について前記リストに登録されている第１の位置姿勢情報と、前記リストに登録されている前記第２の位置姿勢情報とに基づいて、前記表示装置と最も距離の近い画像処理装置を選択する選択手段と
を備え、
前記表示装置は、通信する画像処理装置を、前記選択手段により選択された前記最も距離の近い画像処理装置に切り替えることを特徴とする。
【００２３】
また、前記第２の指標には、前記接続情報が与えられ、前記表示装置は、
前記撮像画像データから、前記第１の指標又は第２の指標を検出する指標検出手段と、
前記指標検出手段により検出された指標の位置姿勢情報を、前記リストに登録された他の指標の位置姿勢情報を利用して生成する位置姿勢情報生成手段と、
前記検出された指標が前記リストに登録されているか否かを判定する判定手段と
を備え、
前記検出された指標が前記リストに登録されていないと判定され、かつ、該検出された指標が前記第２の指標の場合に、前記リストには該検出された第２の指標について、該第２の指標について生成された前記第２の位置姿勢情報と、前記第２の指標から抽出された前記接続情報とが追加されることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、記載のシステム構成を用いることにより、マーカに位置合わせに用いる位置情報と無線接続に関する接続情報を対応付けることができ、容易にＭＲ空間を構成することを可能とし、ユーザー負荷を軽減することができる。
【００２５】
また、マーカに与えられた三次元位置姿勢情報と無線端末の持つ固有の接続情報を対応付けて登録することによって、位置姿勢情報を用いた通信相手の切り替え制御が可能となる。
【発明を実施するための最良の形態】
【００２６】
以下に本発明の実施形態について図面を参照して説明する。
【００２７】
（第１の実施形態）
本発明を実現する第１の実施形態を図に従って説明する。以下の説明では、ＭＲシステムに無線通信を適用したワイヤレスＭＲシステムに、本発明の実施形態に係る画像処理システムを適用した場合について説明する。
【００２８】
図２は、第１の実施形態におけるワイヤレスＭＲシステムの構成を示した図である。
【００２９】
ビデオシースルー型のＨＭＤ２０１は、装着者の観察している左目、右目それぞれの画像を取得するための撮像手段と、ＭＲ画像を構成する左目、右目用のステレオ画像を装着者に提供するための画像表示手段を有する。ＨＭＤ２０１は、有線接続された中継器２０２を介して、コントローラ２０３と無線通信を行う。本システムで使用する無線通信方式は、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ  Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）のような、小規模ネットワークを構成する方式を想定している。
【００３０】
中継器２０２は、ＨＭＤ２０１と同様に使用者の身体の一部に装着して使用し、ＨＭＤ２０１および中継器２０２はバッテリーによる駆動が可能である。コントローラ２０３と有線接続されたＰＣ２０４は、ＣＧ画像の描画を行う画像処理手段を有する。ＰＣ２０４はコントローラ２０３を介し、中継器２０２と無線通信を行う。ＨＭＤ２０１では、中継器２０２で受信したＣＧ画像とＨＭＤ２０１で撮像した背景画像を合成し、合成されたＭＲ画像を画像表示手段によりＨＭＤ装着者に表示する。本実施例では、ＨＭＤ２０１と中継器２０２を個々のハードウェアとしているが、中継器２０２の持つ機能を全てＨＭＤ２０１内に実装し、一体型の装置とすることも可能である。
【００３１】
同様に、ＰＣ２０４とコントローラ２０３についても、コントローラ２０３の持つ機能をすべてＰＣ２０４内に実装して一体化することや、ＰＣ２０４とコントローラ２０３がそれぞれ有する機能を集め、専用の画像処理装置を構成することもできる。また、画像合成機能は、必ずしもＨＭＤ２０１側で有している必要はなく、ＰＣ２０４、またはコントローラ２０３側に実装する構成も可能である。
【００３２】
以下の説明では、機能的な観点から、ＨＭＤ２０１と中継器２０２がそれぞれ有する機能を組み合わせたものをＨＭＤ、ＰＣ２０４とコントローラ２０３がそれぞれ有する機能を組み合わせたものを画像処理装置と分類して説明する。
【００３３】
図１は、本発明の特徴を説明する第１の実施形態におけるワイヤレスＭＲシステム全体の機能ブロックの一例を示す図である。
【００３４】
第１の実施形態のシステムにおいて、ＨＭＤ１０は、撮像ユニット１０１、マーカ検出部１０２、位置姿勢情報生成部１０３、三次元位置姿勢センサ１０４、無線Ｉ／Ｆ１０５、画像合成部１０８、表示ユニット１０９、接続管理部１１７を有する。また、画像処理装置１１は、無線Ｉ／Ｆ１０６、ＣＧ画像描画部１０７、接続管理部１１０、有線Ｉ／Ｆ１１１を有する。さらにシステム管理サーバ１２は、ハブ１１２と、有線Ｉ／Ｆ１１３、リスト管理部１１４、マーカリスト１１５、切り替え制御部１１６を有する。そして、すべての画像処理装置１１とシステム管理サーバ１２とは、ハブ１１２を介して有線接続されている。
【００３５】
以下、各構成要素の機能について説明する。まず、撮像ユニット１０１は、ＨＭＤ装着者の視線位置と略一致する外界の観察画像を撮像する撮像手段として機能する。撮像ユニット１０１は、一般には、ステレオ画像を生成するために右目用、左目用の二つの撮像素子と光学系および後段の画像処理を行うためのＤＳＰから構成される。
【００３６】
マーカ検出部１０２は、撮像画像から位置姿勢情報の算出に利用するマーカを検出する。マーカの検出処理については、図３、図５ａ乃至図５ｂを参照して後述する。位置姿勢情報生成部１０３は、撮像ユニット１０１で撮像された画像や、三次元位置姿勢センサ１０４で取得した情報をもとに、ＨＭＤ装着者の三次元位置姿勢情報を生成したり、マーカの位置姿勢情報を生成したりする。
【００３７】
三次元位置姿勢センサ１０４は、ＨＭＤ装着者の三次元の位置姿勢情報を得るためのセンサである。磁気センサやジャイロセンサ（加速度、角速度）を使用することができる。無線インタフェース（Ｉ／Ｆ）１０５は、位置姿勢情報生成部１０３で生成された三次元位置姿勢情報を画像処理装置１１に伝送し、また描画されたＣＧ画像をＨＭＤ１０へ無線で伝送するための通信手段である。無線通信のプロトコルは、BluetoothやIEEE802.11等を利用することができる。
【００３８】
画像合成部１０８は、撮像画像と後述するＣＧ画像描画部１０７で生成されるＣＧ画像を合成し、ＭＲ画像を生成する。画像合成部１０８で生成されたＭＲ画像は、表示ユニット１０９に送られて、装着者に表示される。表示ユニット１０９は、合成されたＭＲ画像を表示するための表示手段として機能する。表示ユニット１０９も右目用、左目用の二つの表示デバイスと光学系から構成される。表示デバイスは小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【００３９】
接続管理部１１７は、画像処理装置１１との無線通信を管理するための管理手段であって、システム管理サーバ１２から切替指示を受信した場合に利用する無線周波数チャネルを変更する。
【００４０】
次に、画像処理装置１１において、無線インタフェース（Ｉ／Ｆ）１０６は、位置姿勢情報生成部１０３で生成された三次元位置姿勢情報をＨＭＤ１０から受信し、また描画されたＣＧ画像をＨＭＤ１０へ無線で伝送するための通信手段である。無線通信のプロトコルは、BluetoothやIEEE802.11等を利用することができる。
【００４１】
ＣＧ画像描画部１０７は、ＨＭＤ１０から受信した三次元位置姿勢情報と、コンテンツ画像とを利用してＣＧを描画する。接続管理部１１０は、無線Ｉ／Ｆ１０６における無線通信と、有線Ｉ／Ｆ１１１における通信を管理する管理手段である。有線インタフェース（Ｉ／Ｆ）１１１は、ハブ１１２を介してシステム管理サーバ１２との通信を行うための通信手段である。
【００４２】
次に、システム管理サーバ１２において、有線インタフェース（Ｉ／Ｆ）１１３は、ハブ１１２を介して画像処理装置１１と通信を行うための通信手段である。リスト管理部１１４は、マーカリスト１１５の作成、更新を管理するリスト管理手段である。マーカリスト１１５は、現実空間上に配置された指標としてのマーカの情報を管理するリストである。詳細なデータ構造については、図５ｂ等を参照して説明する。
【００４３】
図１のシステム構成では、１つのＨＭＤ１０と３つの画像処理装置１１ａ、ｂ、ｃだけを示しているが、本実施形態では、撮像から表示までのリアルタイム性がある程度維持できる範囲であればこれらの数を増やすことが可能である。よって、図示されていない複数のＨＭＤ１０、および画像処理装置１１がシステム内に存在していてもよい。ただし、ＨＭＤ１０と画像処理装置１１は一対一の通信を前提としているため、ＨＭＤ１０の数は、画像処理装置１１の数以下とする。
【００４４】
本実施形態のワイヤレスＭＲシステムでは、マーカ情報登録時と、ユーザーのＭＲ体験時とに大きく二つの動作を行う。まず、エリアを構成する際に必要となる、マーカ情報登録時の動作を説明する。
【００４５】
ＨＭＤ１０は、撮像ユニット１０１で現実空間画像の取得を行い、指標検出手段としてのマーカ検出部１０２で撮像画像からマーカを検出し、検出マーカからＩＤ情報を抽出する。位置姿勢情報生成部１０３では、ＨＭＤ１０の無線Ｉ／Ｆ１０５、画像処理装置の無線Ｉ／Ｆ１０６ａ、有線Ｉ／Ｆ１１１ａ、ハブ１１２、システム管理サーバ１２の有線Ｉ／Ｆ１１３、リスト管理部１１４を介し、マーカリスト１１５を参照する。
【００４６】
マーカ検出部１０２で撮像画像から検出されたマーカのうち、位置姿勢情報がマーカリストに登録されていないマーカが存在する場合がある。係るマーカは新規のマーカとして、撮像画像内で検出された位置姿勢情報が登録済みの既知のマーカと、三次元位置姿勢センサ１０４で取得したセンシング情報とを利用して、その位置姿勢情報を算出し、マーカリスト１１５に登録を行う。以上が、マーカ情報登録時のワイヤレスＭＲシステムにおける動作の説明である。
【００４７】
続いて、ユーザーのＭＲ体験時の動作を説明する。ＨＭＤ１０は、撮像ユニット１０１で現実空間画像の取得を行い、マーカ検出部１０２で撮像画像から位置姿勢情報の算出に利用するマーカを検出する。位置姿勢情報生成部１０３では、ＨＭＤ１０の三次元位置姿勢情報を生成する。この三次元位置姿勢情報の生成は、システム管理サーバ１２内のマーカリスト１１５、マーカ検出部１０２で撮像画像から検出されたマーカ情報、及び三次元位置姿勢センサ１０４で取得したセンシング情報を利用して行う。
【００４８】
位置姿勢情報生成部１０３で生成された三次元位置姿勢情報は、ＨＭＤ１０の無線Ｉ／Ｆ１０５を介して、画像処理装置１１ａに送信される。画像処理装置１１ａは、無線Ｉ／Ｆ１０６ａを介してＨＭＤ１０から三次元位置姿勢情報を受け取ると、三次元位置姿勢情報に基づき、仮想空間の仮想画像であるＣＧ画像の描画を行う。また、それと同時に、有線Ｉ／Ｆ１１１ａを介してシステム管理サーバ１２へ、ＨＭＤ１０ａから受け取った三次元位置姿勢情報を送信する。
【００４９】
画像処理装置１１ａで生成された仮想画像データであるＣＧ画像は、無線Ｉ／Ｆを介してＨＭＤ１０に送信される。画像合成部１０８では、現実空間画像である撮像画像データと受信したＣＧ画像を合成し、表示ユニット１０９で合成画像データとしてのＭＲ画像を表示する。システム管理サーバ１２の切り替え制御部１１６では、画像処理装置１１ａから送信されたＨＭＤ１０の三次元位置姿勢情報と、マーカリスト１１５に登録されている画像処理装置１１に添付された接続情報用マーカの位置姿勢情報を参照し、切り替え制御を行う。
【００５０】
例えば、ＨＭＤ１０が移動し、画像処理装置１１ａとの距離が離れたことを検出した場合、切り替え制御部１１６は、マーカリスト１１５に登録された接続情報用マーカの中から、ＨＭＤ１０の現在位置に最も近い画像処理装置１１を選択する。そして、切り替え指示をＨＭＤ１０と通信中の画像処理装置１１ａの接続管理部１１０ａ、および次に通信を行わせる画像処理装置１１の接続管理部１１０に送信する。画像処理装置１１ａの接続管理部１１０ａでは、システム管理サーバ１２からの切り替え指示を受信すると、該指示を無線Ｉ／Ｆを介してＨＭＤ１０の接続管理部１１７に送信する。ＨＭＤ１０の接続管理部１１７では、受信した切り替え指示に基づき、利用する無線周波数チャネルを変更することで、他の画像処理装置１１と接続を切り替えることができる。
【００５１】
次に、図３を参照して、本実施形態における三次元位置姿勢情報の概念を説明する。図３は、第１の実施形態におけるＨＭＤの撮像画像を用いた三次元位置姿勢情報を説明するための図である。
【００５２】
ＨＭＤ１０の撮像ユニット１０１によって取得した撮像画像３０において、現実空間内に設置されたマーカ３０２には、予めＭＲ空間内における絶対位置姿勢情報、又は任意の絶対位置姿勢に対する相対位置姿勢情報が与えられる。マーカ検出部１０２は、撮像画像データ中からマーカ３０２を検出する。位置姿勢情報生成部１０３は、検出されたマーカ３０２の大きさや形状、塗りつぶしのパターンなどの情報から、三次元位置姿勢情報を算出する。本実施形態において三次元位置姿勢情報は、マーカ３０２の持つ位置姿勢情報を基準としたＨＭＤ１０本体の相対的位置関係、およびＨＭＤ装着者がマーカを観察している向きを示す情報である。
【００５３】
図３では、一例として、マーカ３０２の中心部を原点とする三次元座標系（３０３ａ、３０３ｂ、３０３ｃ）をＭＲ空間内における座標系として想定しているが、座標系の原点はマーカ３０２上に設定する必要はない。たとえば、座標系の原点とマーカ３０２との相対的位置関係を対応付けることにより、任意の位置に設定してもよい。また、本実施形態では、図３に示すように複数のマーカを同時に用いることが可能である。複数のマーカを用いることにより、位置姿勢情報を算出可能な領域を拡大できる。
【００５４】
また、複数のマーカを同時に用いる場合、マーカ同士の相対的な位置姿勢の関係を予め算出し、各マーカの位置姿勢情報を登録しておくことによって、より精度の高いＨＭＤ１０の三次元位置姿勢情報の算出が可能となる。複数のマーカを同時に使用する場合でも、図３に示したような内部の塗りつぶしパターンによって方向まで識別が可能なマーカを使用しなくてもよい。例えば、特定色を用いたカラーマーカーや、ＬＥＤなどの発光素子のような方向性を持たないマーカを利用することもできる。また、事前に用意されたマーカではなく、テーブルの輪郭線３０４、壁や床の境界線３０５やコーナーの特徴点３０６のような、撮像画像中に含まれる自然特徴や、画像中の任意の色を抽出して指標として用いることもできる。
【００５５】
上述してきたような、同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカ情報と画像中の自然特徴の情報を組み合わせて用いたりすることによって、より高い精度で三次元位置姿勢情報を生成することができる。また、複数のマーカや自然特徴は相対的な位置関係が算出され、システムに登録されるため、全てのマーカや特徴点が画像内に表示されていなくても、それぞれのマーカや自然特徴の位置姿勢を推定することが可能である。
【００５６】
本実施形態のワイヤレスＭＲシステムの三次元位置姿勢情報の生成には、上述のＨＭＤ１０に内蔵された主観カメラ（内部イメージセンサ）で撮像した画像情報を用いる方法の他に、各種センシングデバイスによるセンシング情報を用いる方法がある。センシングデバイスの例としては、磁気センサ、ジャイロセンサなどのように、ＨＭＤ１０に取り付けて使用するタイプのデバイスがある。また、客観カメラ（外部イメージセンサ）などのように、ＨＭＤ１０以外に取り付けて使用するタイプのデバイスもある。客観カメラを使用する場合は、ＨＭＤ本体にもマーカを取り付けて検出対象とする。
【００５７】
これらのセンシングデバイスは一種類のみで使用することも、複数の種類のデバイスを組み合わせて使用することも可能である。また、ＨＭＤ１０に内蔵された主観カメラで撮像した画像情報と、センシングデバイスで取得したセンシング情報を組み合わせて三次元位置姿勢情報の生成を行うことによって、より精度の高い三次元位置姿勢情報を得ることができる。また、主観カメラでマーカが見えていないような状態でも三次元位置姿勢情報を取得することが可能となる。
【００５８】
次に図５ａ乃至図５ｅを参照して、本実施形態におけるワイヤレスＭＲシステムのエリア構成方法について説明する。図５ａは、本発明の特徴を説明する第１の実施形態におけるワイヤレスＭＲシステムのエリア構成方法について説明する図である。
【００５９】
図５ａのワイヤレスＭＲシステムは、ＨＭＤ５０１、画像処理装置５０２ａ、ｂ、ｃ、ｄ、ｅ、ハブ５０３、システム管理サーバ５０４で構成される。また、空間内には、空間内における絶対位置姿勢情報を与えられた基準マーカ５０５と、位置姿勢情報算出のために用いるための位置情報マーカ（第１の指標）５０６ａ、ｂ、ｃ、ｄ、ｅが配置されている。画像処理装置５０２には接続情報用マーカ（第２の指標）が添付され、該接続情報用マーカには、マーカＩＤと、ＭＡＣアドレスや利用周波数チャネルといった無線接続に関する情報とが添付されている。よって、ＨＭＤ５０１の撮像ユニット１０１により、マーカＩＤ、ＭＡＣアドレス、利用周波数チャネルの情報を画像データより取得することができる。画像データに含まれるマーカＩＤ、ＭＡＣアドレス、利用周波数チャネルは、文字認識によってもよいし、該情報が二次元バーコードにより表現されている場合には、該二次元バーコードから読み取ることができる。
【００６０】
図５ａでは、説明にあたり視覚的に理解しやすいように位置情報マーカ５０６および接続情報用マーカのパターンを、それぞれ数字、アルファベットの形状になるように設定している。マーカに関する情報は、図５ｂに示すマーカリスト１１５に格納される。マーカリスト１１５は、システム管理サーバ５０４で管理される。マーカリスト１１５は、ＩＤ５１１、種類５１２、位置姿勢情報５１３及び無線接続情報５１４が関連づけて登録されている。
【００６１】
ＩＤ５１１は、登録されるマーカを一意に識別するための識別情報である。種類５１２は、マーカが、第１の指標としての位置情報マーカと第２の指標としての接続情報用マーカとのいずれであるか判別するための情報として、「接続情報」、「位置姿勢情報」のいずれかが登録される。位置姿勢情報５１３は、該マーカのＭＲ空間における位置姿勢の情報である。第１の位置姿勢情報として、位置情報マーカの位置姿勢情報と、第２の位置姿勢情報として接続情報用マーカの位置姿勢情報とが登録される。無線接続情報５１４は、画像処理装置５０２のＭＡＣアドレスと利用周波数チャネルの情報が登録される。
【００６２】
本実施形態では、まず、マーカから取得したＩＤ５１１、種類５１２、無線接続情報５１４（接続情報用マーカのみ）がマーカリスト１１５に格納され、次いで、位置姿勢情報５１３に画像処理装置５０２により算出された値が登録される。
【００６３】
エリア構成の際、まず、ＨＭＤ５０１は、自身の周囲の画像処理装置５０２に接続要求をブロードキャストし、応答のあった画像処理装置５０２のうちの一つと無線通信を開始する。この時点では、ＨＭＤ５０１は、画像処理装置５０２ａ、ｂ、ｃ、ｄ、ｅの内、どの場所に設置された画像処理装置５０２と通信を行っているかは判断できていなくてもよい。
【００６４】
続いて、ＨＭＤ５０１といずれかの画像処理装置５０２が通信を行っている状態で、ＨＭＤ５０１を用いて基準マーカ５０５を含む撮像画像を取得する。図中の囲い線５０７は、撮像画像に含まれるマーカを示している。撮像画像内に、システム管理サーバ５０４で管理しているマーカリスト１１５に位置姿勢情報が登録されていない未登録のマーカが含まれていた場合、基準マーカ５０５の位置姿勢情報から、未登録のマーカの位置姿勢情報を算出し、リストに登録する。
【００６５】
ここでは、画像処理装置５０２ａに添付された接続情報用マーカの位置姿勢情報を、基準マーカ５０５を用いて算出し、図５ｂのリストのＩＤ５１１の"Ａ"に算出した位置姿勢情報を登録することとなる。このような処理の流れによって、画像処理装置５０２ａに添付されたマーカについて、ＩＤ５１１、位置姿勢情報５１３及び無線接続情報５１４が対応付けられる。
【００６６】
次に、図５ｃで示すようにＨＭＤ５０１が移動することによって、未登録のマーカが撮像画像内に検出された場合を考える。この場合、マーカリスト１１５に位置姿勢情報５１３が登録されている既知のマーカの位置姿勢情報との相対的な関係から、未登録のマーカの位置姿勢情報を算出し、マーカリスト１１５に登録する。
【００６７】
図５ｃでは、画像処理装置５０２ｂに添付された接続情報用マーカと、位置情報マーカ５０６ａが未登録のマーカに該当する。そこで、画像処理装置５０２ａに添付された接続情報用マーカを基準として、各マーカの位置姿勢情報を算出する。その結果、図５ｄに示すように、マーカリスト１１５の位置姿勢情報５１３に算出された値が登録される。
【００６８】
以上の処理を繰り返し行い、すべてのマーカの位置姿勢情報５１３のリストへの登録が完了すると、図５ｅに示すようなマーカリスト１１５が完成する。マーカリスト１１５には、すべてのマーカＩＤが登録されているため、すべてのマーカの位置姿勢情報の登録が完了したかどうかを判断することが可能である。したがって、未登録のマーカがエリア内に存在する場合には、その内容をＨＭＤ５０１の表示ユニット１０９に表示してユーザーに通知することにより、マーカ登録の漏れをなくすことができる。
【００６９】
図５ｅのマーカリストをシステム内で管理することにより、画像処理装置５０２の接続情報と位置姿勢情報の対応関係が明らかとなる。そこで、図６に示すような画面を、ＨＭＤ装着者に対して提供することができる。図６は、発明の第１の実施形態に対応する通信中の画像処理装置の表示機能について説明するための図である。
【００７０】
図６において、ＨＭＤ装着者６０１には、ＨＭＤ２０１の表示ユニット１０９に画面６０２に示すような画面が表示されている。画面６０２に示すように、ＨＭＤ装着者６０１が画像処理装置６０３に添付されたマーカ６０４を観察すると、マーカ検出部１０２によりマーカ６０４の情報が抽出され、マーカリスト１１５から対応する接続情報が抽出される。そして、画面６０２の領域６０５に示されるように、現在ＨＭＤ２０１が接続している画像処理装置６０３を明示するとともに、画像処理装置６０３に関する情報をＨＭＤ装着者６０１に提示できる。
【００７１】
同様に、登録済みのマーカをＨＭＤ２０１で観察した際に、識別子を付けて表示を行うこともできる。また、マーカリストに登録された位置姿勢情報は、システム動作中に適宜、更新することができる。
【００７２】
例えば、画像処理装置５０２ｂの設置位置が、マーカリストに登録されている情報と異なることが検出された場合に、現在の位置姿勢情報を算出し、マーカリストを更新する。設置位置変化の検出は、周囲の複数マーカとの相対位置関係やセンサ情報を用いることで実現する。マーカリストの情報を更新可能にすることによって、一度エリアを構成した後に、ＨＭＤと画像処理装置との通信状態を確認しながら、画像処理装置の設置位置を調整することが可能となる。また、以上に説明してきたように、マーカリストはシステム管理サーバ５０４で一元管理を行っており、ＨＭＤは個々で取得したマーカの位置姿勢情報を送信しているだけであるため、複数のＨＭＤを同時に用いてエリア構成を行うことが可能である。
【００７３】
次に、図７を参照して、本実施形態に対応する空間内に新規のマーカが追加された場合、或いは、マーカの設置位置が変更された場合の処理について説明する。図７は、発明の第１の実施形態に対応するマーカ情報登録時の処理の流れの一例を示すフローチャートである。図７に対応する処理は、各機能ブロックにおいて対応する処理プログラムを実行することにより実現される。
【００７４】
ステップＳ７０１では、ＨＭＤ１０は、周囲の画像処理装置１１に対して接続要求を無線Ｉ／Ｆ１０５でブロードキャストし、無線接続を試みる。周囲の画像処理装置１１のいずれかと接続が成功した場合は（ステップＳ７０２において「ＹＥＳ」）、ステップＳ７０３の処理へ移行する。一方、接続に失敗した場合は（ステップＳ７０２において「ＮＯ」）、ステップ７０１に戻り、接続が成功するまでブロードキャストを繰り返す。
【００７５】
ステップＳ７０３の処理では、ＨＭＤ１０の撮像ユニット１０１によって撮像を行い、撮像画像を取得する。続いてマーカ検出部１０２が撮像画像内からマーカを検出を行い、マーカを検出できた場合は（ステップＳ７０４において「ＹＥＳ」）、ステップＳ７０５へ移行する。一方、マーカを検出できなかった場合は（ステップＳ７０４において「ＮＯ」）、ステップＳ７０３に戻り、撮像画像内からマーカを検出できるまで撮像を繰り返す。
【００７６】
ステップＳ７０４でマーカを検出した場合、ステップＳ７０５では、位置姿勢情報生成部１０３が検出したマーカの画像からＩＤを判定する。また、ステップＳ７０６では、位置姿勢情報生成部１０３がマーカリスト１１５をシステム管理サーバ１２から取得し、マーカリスト１１５内に既に位置姿勢情報が登録されている撮像画像内のマーカ情報を取得する。続くステップＳ７０７では、位置姿勢情報生成部１０３が、取得したマーカ情報やセンサで取得したセンシング情報を用いて、ステップＳ７０４で検出したマーカの位置姿勢情報を算出する。
【００７７】
撮像画像内のマーカの位置姿勢情報の算出に成功した場合は（ステップＳ７０８において「ＹＥＳ」）、ステップＳ７０９に移行する。一方、算出できなかった場合は（ステップＳ７０８において「ＮＯ」）、ステップＳ７０３に戻り、再び撮像画像の取得を行う。ステップＳ７０９では、位置姿勢情報生成部１０３が算出したマーカの位置姿勢情報が、すでにマーカリスト１１５に登録されているか否かを判定する。算出したマーカの位置姿勢情報がマーカリストに登録されていない場合は（ステップＳ７０９において「ＮＯ」）、ステップＳ７１０において、リスト管理部１１４がマーカリスト１１５に位置姿勢情報を登録し、本処理を終了する。
【００７８】
算出したマーカの位置姿勢情報が既にマーカリストに登録されていた場合は（ステップＳ７０９において「ＹＥＳ」）、ステップＳ７１１に移行する。ステップＳ７１１では、位置姿勢情報生成部１０３がマーカリスト１１５に登録されている位置姿勢情報と比較して変化があるか否かを判定する。もし、登録済みの位置姿勢情報から変化していると判定された場合は（ステップＳ７１１において「ＹＥＳ」）、ステップＳ７１０に移行して最新の位置姿勢情報を登録する。一方、登録済みの位置姿勢情報と変化していないと判定された場合は（ステップＳ７１１において「ＮＯ」）、ステップＳ７０３に戻り、再び撮像画像の取得を行う。
【００７９】
以上のようにして、位置姿勢情報が登録されていないマーカや、位置姿勢情報に変化のあったマーカについては、マーカリスト１１５の位置姿勢情報５１３の登録内容を更新することができる。
【００８０】
次に、図４を参照して本実施形態に対応するワイヤレスＭＲシステムにおけるエリア構成と通信切替処理について説明する。図４は、発明の第１の実施形態におけるワイヤレスＭＲシステムのエリア構成と通信切替処理を説明するための図である。
【００８１】
本実施形態におけるワイヤレスＭＲシステムは、ＨＭＤ４０１が画像処理装置４０２ａ、ｂ、ｃ、ｄ、ｅのいずれかと一対一で無線通信を行っている。また、画像処理装置４０２で生成されたＣＧ画像とＨＭＤで撮影された撮像画像とが合成されたＭＲ画像を表示することにより、ＨＭＤ装着者がＭＲ空間を体験することができる。
【００８２】
ここでは、画像処理装置４０２ａ、ｂ、ｃ、ｄ、ｅはそれぞれ、４０５ａ、ｂ、ｃ、ｄ、ｅで示した周波数チャネルを用いて通信を行うものとする。
【００８３】
画像処理装置４０２ａ、ｂ、ｃ、ｄ、ｅは、ハブ４０３を介してシステム管理サーバ４０４と有線接続されている。システム管理サーバ４０４は、三次元位置姿勢情報や接続情報の管理、通信切り替えの制御機能を有する。本実施形態では、システム管理サーバ４０４を別ハードウェアとしているが、システム管理サーバ４０４の機能を画像処理装置４０２に実装することも可能である。システム管理サーバ４０４の機能を画像処理装置４０２に実装することで、ハードウェアを一台削減することができ、システム全体のコストの低減が見込まれる。
【００８４】
ＨＭＤ４０１が図中の位置に存在するとき、最も距離の近い画像処理装置４０２ｄと無線通信を行っている。このときＨＭＤは、画像処理装置４０２ｄに設定されたＣｈ５の周波数チャネルを利用して画像処理装置４０２ｄと通信を行っている。ＨＭＤ装着者が移動し、図中のＨＭＤ４０１'の位置に移動すると、画像処理装置４０２ｄとの距離が遠くなり、電波強度が悪化するため、安定した通信状態を維持することが困難になる。
【００８５】
このような場合、ＨＭＤ４０１'は現在位置から最も距離の近い画像処理装置４０２ａに設定されたＣｈ１の周波数チャネルを利用して画像処理装置４０２ａと接続するように切替制御を行う。この切替制御のために、まず、その時点で撮像ユニット１０１で撮像された画像データに含まれるマーカの位置姿勢情報と、マーカリスト１１５に含まれる位置姿勢情報のうち種類５１２が「接続情報」である位置姿勢情報とを比較する。比較の結果、距離が最も近い「接続情報」のマーカを選択する。図４の例では、当該マーカはＨＭＤ４０１'と最も距離の近い画像処理装置４０２ａのマーカに該当することとなる。
【００８６】
以上の切り替え制御を行うことで、一つの画像処理装置で通信できるエリアでは補えないような、広い領域でＭＲ空間を体験することが可能となる。このような切り替え処理を実現するために、画像処理装置４０２に設定された周波数チャネル情報と設置位置情報、およびＨＭＤ４０１の位置情報をシステム管理サーバ４０４で管理することが必要となる。
【００８７】
以上説明してきたように、記載のシステム構成を用いることにより、ユーザーは、ＨＭＤを装着して、マーカや画像処理装置の配置された空間内を歩き回るだけで、ワイヤレスＭＲシステムのエリア構成を行うことができる。よって、マーカの位置姿勢情報や画像処理装置の接続情報等の登録にかかるユーザー負荷を大幅に軽減することが可能となる。また、マーカや画像処理装置の設置位置姿勢の変化を検出し、マーカリストを更新できるため、通信状況を確認しながら、画像処理装置の配置を変えても、位置姿勢情報の変更が速やかに行うことが可能である。さらに、画像処理装置の位置姿勢情報、および接続情報をシステム管理サーバで同時に管理しているため、ＨＭＤの位置に応じて、接続する画像処理装置を切り換える制御を行うことができる。
【００８８】
（第２の実施形態）
次に、発明の第２の実施形態を図に従って説明する。上述の第１の実施形態では、システム管理サーバおよび画像処理装置側でマーカリストの管理、切り替え制御を行った。これに対し、本実施形態では、ＨＭＤ側でマーカリストの管理、切り替え制御を行うことを特徴とする。この点を中心に内容を説明する。
【００８９】
図８は、発明の第２の実施形態に対応するワイヤレスＭＲシステム全体の機能ブロックの一例を示す図である。本実施形態においても、第１の実施形態と同様に、まずは、エリア構成時の動作から説明する。
【００９０】
ＨＭＤ１０は、撮像ユニット１０１で現実空間画像の取得を行い、マーカ検出部１０２で撮像画像からマーカを検出し、ＩＤ情報を抽出する。位置姿勢情報生成部１０３では、リスト管理部８０１を介してマーカリスト８０２を参照する。リスト管理部８０１で、マーカ検出部１０２で撮像画像から検出されたマーカの中に、位置姿勢情報がマーカリスト８０２に登録されていないマーカが存在すると判定された場合、位置姿勢情報生成部１０３で位置姿勢情報を算出する。位置姿勢情報生成部１０３は、撮像画像内に検出された既に位置姿勢情報が登録されている既知のマーカ、および三次元位置姿勢センサ１０４で取得したセンシング情報を利用して、位置姿勢情報の生成を行う。また、生成された位置姿勢情報は、リスト管理部８０１により、マーカリスト８０２に登録される。
【００９１】
以上が本実施形態における、マーカ情報登録時のワイヤレスＭＲシステムの動作である。エリア構成を行う際の処理内容において、第１の実施形態と大きく異なるのは、マーカリスト８０２を参照するために画像処理装置と無線通信を行うか否かの点にある。
【００９２】
本実施形態では、マーカリスト８０２をＨＭＤ１０内で管理しているため、エリア構成時に無線通信を行う必要がなく、ＨＭＤ１０の省電力化が実現できる。ただし、複数のＨＭＤ１０を利用してエリア構成を行う際には、それぞれのＨＭＤ１０で取得した情報をやりとりするために無線通信を行う必要があるので、ＨＭＤ１０の処理負荷が増大した分、ＭＲ体験可能時間は短くなる。
【００９３】
続いて、本実施形態におけるユーザのＭＲ体験時の動作について説明するが、ＭＲ画像を表示する処理の流れは第１の実施形態と同様である。ＭＲ体験時の処理内容において、第１の実施形態と大きく異なるのは、切り替え制御の主体がＨＭＤ１０側にあるという点である。
【００９４】
本実施形態では、ＨＭＤ１０内の位置姿勢情報生成部１０３で生成される位置姿勢情報によって、ＨＭＤ１０の移動を検出してから、すぐにマーカリスト８０２内のマーカ情報を参照し、切り替え制御部８０３で切り替え制御を開始することができる。従って、第１の実施形態の切替制御時に発生していた画像処理装置１１を介してシステム管理サーバ１２にアクセスし、システム管理サーバ１２からの切替指示を受信するまでの待機時間を省略することができる。
【００９５】
本実施形態では、切り替えのための待機時間が短縮されることで、切替時の伝送エラーやフレーム落ちの頻度を減少させることができる。
【００９６】
以上説明してきたように、ＨＭＤ１０側でマーカリスト８０２を管理し、切替制御を行う本実施形態のシステム構成を用いることで、全体のシステム構成からシステム管理サーバを除くことができ、システム構成の簡略化を実現できる。但し、ＨＭＤの機能の複雑化に伴いサイズが増大し、ＨＭＤ自身の処理負荷は増大するが、エリア構成時に、電力消費の大半を占める無線通信を行わなくて済むため、結果としてＭＲ体験可能時間の長時間化が期待できる。
【００９７】
さらには、切替制御時のシステム管理サーバとの通信時間を省くことができるため、切り替えにかかる処理時間を短縮することができ、エラーやフレーム落ちの頻度を減少させることが可能となる。ただし、上述したように、機能の複雑化によりＨＭＤにおける処理負荷が増大するため、システム実現のためには、ＨＭＤの処理能力が、第１の実施形態のシステム構成を実現するために必要なＨＭＤの処理能力よりも、高性能であることが要求される。
【００９８】
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９９】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【０１００】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【０１０１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図面の簡単な説明】
【０１０２】
【図１】発明の第１の実施形態に対応するワイヤレスＭＲシステム全体の機能ブロックの一例を示す図である。
【図２】第１の実施形態に対応するワイヤレスＭＲシステムの構成の一例を示す図である。
【図３】発明の第１の実施形態におけるＨＭＤの撮像画像を用いた三次元位置姿勢情報を説明するための図である。
【図４】発明の第１の実施形態におけるワイヤレスＭＲシステムのエリア構成と通信切替処理を説明するための図である。
【図５ａ】発明の第１の実施形態におけるワイヤレスＭＲシステムのエリア構成方法について説明するための図である。
【図５ｂ】発明の第１の実施形態におけるマーカリスト１１５の作成例を示す図である。
【図５ｃ】発明の第１の実施形態におけるワイヤレスＭＲシステムのエリア構成方法について説明するための図である。
【図５ｄ】発明の第１の実施形態におけるマーカリスト１１５の作成例を示す図である。
【図５ｅ】発明の第１の実施形態におけるマーカリスト１１５の一例を示す図である。
【図６】発明の第１の実施形態における通信中の画像処理装置の表示機能について説明するための図である。
【図７】発明の第１の実施形態に対応するマーカ情報登録時の処理の流れの一例を示すフローチャートである。
【図８】第２の実施形態における全体のシステム構成を示す機能ブロック図である。
【図９】ワイヤレスＭＲシステムの構成を示す図である。
【符号の説明】
【０１０３】
１０・・・  ＨＭＤ
１１・・・  画像処理装置
１２・・・  システム管理サーバ
１０１・・・  撮像ユニット
１０２・・・  マーカ検出部
１０３・・・  位置姿勢情報生成部
１０４・・・  三次元位置姿勢センサ
１０５・・・  無線Ｉ／Ｆ（ＨＭＤ）
１０６・・・  無線Ｉ／Ｆ（画像処理装置）
１０７・・・  ＣＧ画像描画部
１０８・・・  画像合成部
１０９・・・  表示ユニット
１１０・・・  接続管理部（画像処理装置）
１１１・・・  有線Ｉ／Ｆ（画像処理装置）
１１２・・・  ハブ
１１３・・・  有線Ｉ／Ｆ（システム管理サーバ）
１１４・・・  リスト管理部
１１５・・・  マーカリスト
１１６・・・  切り替え制御部
１１７・・・  接続管理部（ＨＭＤ）
【図１】
0004991515.tif 000002
【図２】
0004991515.tif 000003
【図３】
0004991515.tif 000004
【図４】
0004991515.tif 000005
【図５ａ】
0004991515.tif 000006
【図５ｂ】
0004991515.tif 000007
【図５ｃ】
0004991515.tif 000008
【図５ｄ】
0004991515.tif 000009
【図５ｅ】
0004991515.tif 000010
【図６】
0004991515.tif 000011
【図７】
0004991515.tif 000012
【図８】
0004991515.tif 000013
【図９】
0004991515.tif 000014