(57)【要約】【課題】  ＨＭＤとＨＭＤ以外の表示装置とに画像表示を行う場合、状況に応じてこの表示装置に表示する画像を切り替える為の技術を提供すること。【解決手段】  複合現実感画像受信部１５１は、画像処理装置９００から右目用画像、左目用画像を取得し、表示部１０２Ｌ、１０２Ｒはそれぞれ、左目用画像、右目用画像を表示する。画像制御部１０５は、左目用画像と右目用画像とを左右に水平に並べて結合したパノラマ画像、右目用画像、左目用画像、のうち何れか１つを表示装置３０への出力対象とする。【選択図】  図１
2011010126.tif 000002
【特許請求の範囲】
【請求項１】
右目用画像、左目用画像を外部の装置から取得する取得手段と、
前記右目用画像を右目用の表示部に表示させると共に、前記左目用画像を左目用の表示部に表示させる手段と、
前記左目用画像と前記右目用画像とを左右に水平に並べて結合することで１枚のパノラマ画像を生成する生成手段と、
前記右目用画像、前記左目用画像、前記パノラマ画像、のうち何れか１つを選択し、選択した画像を外部の表示装置に送信する送信手段と
を備えることを特徴とする画像処理装置。
【請求項２】
更に、
操作画面の送信、複合現実空間画像の送信の何れかを指示する指示手段を備え、
操作画面の送信を指示した場合、
前記生成手段は、前記左目用画像と前記右目用画像とを左右に水平に並べてオーバーラップ無しに結合することで前記パノラマ画像を生成し、
複合現実空間画像の送信を指示した場合、
前記生成手段は、前記左目用画像と前記右目用画像とで重複する部分をオーバーラップさせて左右に水平に並べて結合することで前記パノラマ画像を生成し、
操作画面の送信、複合現実空間画像の送信、の何れかを指示した場合、
前記送信手段は、前記パノラマ画像を前記外部の表示装置に送信する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記指示手段は、前記右目用の現実空間画像、左目用の現実空間画像の少なくとも一方を用いて、画像内の特徴量の位置に予め定められた量の変化があったか否かを判断する手段を備え、
予め定められた量の変化があったと判断した場合には、複合現実空間画像の送信を指示し、予め定められた量の変化がなかったと判断した場合には、操作画面の送信を指示することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
複合現実空間画像の送信を指示した場合、
前記送信手段は、前記右目用画像、前記左目用画像のうち何れか一方を前記外部の表示装置に送信する
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
更に、
右目用の現実空間画像、左目用の現実空間画像を取得する手段と、
前記右目用の現実空間画像と前記左目用の現実空間画像とを、前記外部の装置に送信する手段とを備え、
前記取得手段は、前記外部の装置が前記右目用の現実空間画像を用いて生成した右目用の複合現実空間画像、前記左目用の現実空間画像を用いて生成した左目用の複合現実空間画像、をそれぞれ前記右目用画像、前記左目用画像として前記外部の装置から取得する
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、前記右目用の表示部の表示画面と前記左目用の表示部の表示画面とにわたって表示される操作画面を、前記外部の装置から取得することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記取得手段は、
前記画像処理装置の連続使用時間を計時する手段と、
前記連続使用時間が所定の時間以上となった場合には、前記右目用の複合現実空間画像、前記左目用の複合現実空間画像、の代わりに、右目用の操作画面、左目用の操作画面の送信を前記外部の装置に対して要求する手段と、
前記要求に応じて前記外部の装置から送信された前記右目用の操作画面、前記左目用の操作画面をそれぞれ、前記右目用画像、前記左目用画像として取得する手段と
を備え、
前記生成手段は、前記右目用の操作画面と前記左目用の操作画面とを左右に水平に並べて結合することで１枚のパノラマ画像を生成し、
前記送信手段は、当該パノラマ画像を前記外部の表示装置に送信する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記画像処理装置は、頭部装着型表示装置であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
取得手段が、右目用画像、左目用画像を外部の装置から取得する取得工程と、
表示させる手段が、前記右目用画像を右目用の表示部に表示させると共に、前記左目用画像を左目用の表示部に表示させる工程と、
生成手段が、前記左目用画像と前記右目用画像とを左右に水平に並べて結合することで１枚のパノラマ画像を生成する生成工程と、
送信手段が、前記右目用画像、前記左目用画像、前記パノラマ画像、のうち何れか１つを選択し、選択した画像を外部の表示装置に送信する送信工程と
を備えることを特徴とする画像処理装置が行う画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示技術に関するものである。
【背景技術】
【０００２】
あたかも現実世界の中にCGで描かれた物体（仮想物体）が存在しているかのように見せることができる複合現実感技術、いわゆるMR（Mixed Reality）技術が広く知られている。MR技術は、現実空間の画像と、三次元モデリングされたComputer Graphics（CG）によって生成された仮想空間の画像と、を重畳し、それぞれの画像の位置合わせを行って表示する事で実現される。
【０００３】
この技術を用いた複合現実感提示システムは、以下の各装置から構成される。現実世界を撮像する現実画像撮像装置（例えば、ビデオカメラ）、現実世界の撮像位置から見たような仮想空間画像を生成し、それぞれの画像を合成して複合現実空間画像を生成する画像処理装置、複合現実空間画像を表示する画像表示装置、である。画像処理装置は、一般にPC（パーソナルコンピュータ）やワークステーションなどに代表されるものである。
【０００４】
上記の複合現実感提示システムの１つに、ビデオシースルー型ヘッドマウントディスプレイ（Head-Mounted Display: ＨＭＤ = 頭部装着型表示装置）を使用したシステムが知られている。このシステムは、ＨＭＤ装着者の瞳位置からの視線と撮像方向を略一致させた撮像部により被写体を撮像し、その撮像画像を用いて生成した複合現実空間画像を立体画像としてＨＭＤ装着者に提供する。
【０００５】
ここで、ビデオシースルー型ＨＭＤの内部構成について図１０を用いて説明する。図１０において１０１は現実世界を撮像する撮像部、１０２は画像を表示する表示部である。１５は外光の光束を撮像素子へ導き、撮像部１０１へ結像させる為のレンズから構成される撮像光学系であり、１６は表示部１０２に表示された画像を、ＨＭＤ装着者の瞳１７に導く為の表示光学系（自由曲面プリズム）である。
【０００６】
係る構成により、ＨＭＤ装着者の瞳位置からの視線方向と略一致させた現実空間の撮像を撮像部１０１が行い、かつ表示部１０２に表示された画像をＨＭＤ装着者の瞳１７に結像させ、ＨＭＤ装着者に対して複合現実空間画像を提示する。
【０００７】
複合現実空間画像を表示する表示装置として、通常のモニタでなく、上記のように装着者の瞳位置からの視線とカメラの撮像方向とを略一致させたＨＭＤを用いる事で、装着者が向いている方向の画像をＨＭＤに映し出す事ができる。更に、装着者がその方向を向いたときのCG画像の表示が行えるため、ＨＭＤ装着者の複合現実空間への没入感を高める事が可能となる。
【０００８】
次に、ＨＭＤを用いた複合現実感システムの基本構成について図１１を用いて説明する。係るシステムは、以下の各装置から構成される。
【０００９】
・  複合現実空間画像を表示するＨＭＤ１０
・  ＨＭＤ１０を制御するＨＭＤコントローラ１１
・  ＨＭＤ１０が撮像した現実空間画像に仮想空間画像を重畳して複合現実空間画像を生成する画像処理装置２０
・  ＨＭＤ装着者以外が複合現実感体験を共有する為の表示装置３０
図１１に示した構成では、ＨＭＤ１０とＨＭＤコントローラ１１とは別個のハードウェアとしているが、ＨＭＤコントローラ１１をＨＭＤ１０に内蔵させることで、それぞれを一体化させても良い。
【００１０】
複合現実感提示システムは、ＨＭＤ１０の撮像部の視点位置が変わってもＣＧ画像と現実空間画像とを正しい位置関係で表示し、そのためにＨＭＤ１０は、視点位置や視線方向を検出するための視線位置姿勢検出機構（例えば、位置姿勢センサ）を備えている。
【００１１】
画像処理装置２０は、三次元モデリングされた仮想物体を、現実空間と同じスケールの仮想空間に置き、不図示の位置姿勢検出部によって検出された視点位置や視線方向から観察されたものとしてこの仮想物体をレンダリングし、ＣＧ画像を生成する。このようにして生成されたＣＧ画像と現実空間画像とを重畳する事で、撮像部がどの視点位置や視線方向から観察した場合でも、現実空間の中に正しく仮想物体が置かれているような複合現実空間画像を生成し、提示することができる。係る構成により、ＨＭＤ装着者は、ＨＭＤ１０を通じて現実空間画像と仮想空間画像（ＣＧ画像）とが重畳された複合現実感の世界を体験することができるようになる。
【００１２】
また、ＨＭＤ装着者が見ている画像と同じ画像（ＨＭＤ装着者の視点から見た画像）を、外部の表示装置３０へ出力が可能な、外部出力インターフェースを有する構成のＨＭＤコントローラ１１がある。
【００１３】
外部出力インターフェースを有するＨＭＤコントローラ１１は、画像処理装置２０からＨＭＤ１０に対して出力される左目用画像若しくは右目用画像の何れか一方を、セレクタを用いて外部出力インターフェースへも出力する。係る構成により、ＨＭＤ装着者以外の観衆に対して、ＨＭＤ装着者が観察している画像を表示装置３０を通じて提供することができるので、ＨＭＤ装着者が体験している複合現実感を、複数の観衆にも同時に理解及び共有させる事が可能となる。
【００１４】
しかしながら、上記の観衆用の表示装置３０に画像出力が可能なＨＭＤ１０では、複合現実感体験者が上記複合現実感体験終了後にＨＭＤ１０を専用の置き場所やフックなどに戻した際も、表示装置３０は表示を続けることになる。この状況では、ＨＭＤ１０に取り付けられている撮像部は意味の無い画像を撮像し続ける為、表示装置３０にも無意味な（観衆にとって意味の無い）画像が表示されてしまい、展示の効果が薄れるといった問題があった。
【００１５】
これに対し、ＨＭＤ１０が使用されているか否かをＨＭＤ１０の位置姿勢情報に基づいて判断する使用状態判定技術を用い、観衆用の表示装置３０に表示させる画像を切り替える表示制御方法が提案されている（特許文献１）。係る表示制御方法では、ＨＭＤ１０の使用時には、ＨＭＤ１０に入力される複合現実空間画像を表示装置３０に表示し、ＨＭＤ１０を使用していない時には、使用されていない旨やメッセージを伝える代替画像を表示装置３０に表示する。これにより、展示の効果を高める事が可能となる。
【００１６】
また、ＨＭＤ１０は一般的に、オーバーラップ部分を持つ左右１対のステレオ画像を表示するが、表示装置３０には上記ステレオ画像のうち左目用画像若しくは右目用画像のいずれかしか表示できない。その為、ＨＭＤ装着者と表示装置３０の表示を見ている観衆とでは観察領域が異なってしまい、両者の観察画像が一致しないという問題があった。
【００１７】
この問題に対し、オーバーラップ部分を持つ左右１対のステレオ画像から２次元画像を生成する事で、ＨＭＤ装着者とＨＭＤ装着者以外の観衆とで観察する画像領域が一致し、複合現実空間画像の共有感をより一層高める事が可能となる（特許文献２）。
【００１８】
複合現実感の提示は、画像処理装置２０が有する不図示の操作画面上で、複合現実感提示アプリケーションの起動を指示し、動作させる事で行われる。このアプリケーションが操作画面の全域を占有して動作する事で、ＨＭＤ１０の表示部に複合現実空間画像を表示している。複合現実感の提示を中断し、複合現実感提示アプリケーション及びＨＭＤ１０の諸設定、また画像処理装置２０の諸操作を行う場合には、画像処理装置２０の操作画面を表示する必要がある。その為、表示装置３０を有する複合現実感提示システムでは、本来であれば、表示装置３０と画像処理装置２０の操作用表示装置の、少なくとも２台の表示装置が必要である。しかし、表示装置３０を、画像処理装置２０を操作する為の表示装置として兼ねて用いる事で、システムに要する表示装置を１つ少なく構成する事ができる。
【００１９】
次に、ＨＭＤ１０の装着者が複合現実感を体験している場合に、表示装置３０にＨＭＤ１０が有する表示部に表示されている複合現実感画像を表示している様子について、図１２を用いて説明する。図１２（ａ）において１２０１Ｌ、１２０１Ｒはそれぞれ、ＨＭＤ１０に備わっている左目用の表示部、右目用の表示部であり、それぞれの表示部には、現実物体としての机２００、ＣＧとしての仮想物体２０１，２０２，２０３が表示されている。係る表示により、現実物体としての机２００上にあたかも各仮想物体２０１，２０２，２０３が配置されているかのような表示を可能にする。図１２（ｂ）、（ｃ）はそれぞれ、左目用の表示部１２０１Ｌに表示している画像を表示している表示装置３０の表示画面、右目用の表示部１２０１Ｒに表示している画像を表示している表示装置３０の表示画面、を示している。
【００２０】
一方、画像処理装置２０の諸操作を行う場合に、表示装置３０に表示する操作画面について、図１３を用いて説明する。図１３（ａ）に示す如く、左目用の表示部１２０１Ｌ、右目用の表示部１２０１Ｒに跨って、画像処理装置２０上で起動しているウィンドウ２１０，２１１が表示されている。図１３（ｂ）、（ｃ）はそれぞれ、左目用の表示部１２０１Ｌに表示している画像を表示している表示装置３０の表示画面、右目用の表示部１２０１Ｒに表示している画像を表示している表示装置３０の表示画面、を示している。
【００２１】
ここで、図１２と図１３を用いて、画像処理装置２０の操作に煩雑さが生じる事を説明する。複合現実感を体験している場合は、図１２（ａ）に示す如く、右目用の表示部１２０１Ｒ、左目用の表示部１２０１Ｌには、ＨＭＤ１０の位置姿勢に応じた複合現実感画像が表示されている。一方、図１２（ｂ）、（ｃ）に示す如く、表示装置３０には、右目用の表示部１２０１Ｒ、左目用の表示部１２０１Ｌの何れか一方に表示されている複合現実感画像がＨＭＤコントローラ１１により選択されて表示されている。これにより、ＨＭＤ１０の装着者の複合現実感体験をＨＭＤ装着者以外の観衆も共有できるような表示が為されている。
【００２２】
一方、画像処理装置２０の諸操作を行う場合、図１３（ａ）に示す如く、画像処理装置２０の操作画面は、右目用の表示部１２０１Ｒの表示画面、左目用の表示部１２０１Ｌの表示画面の両方の表示画面の全域に渡る。表示装置３０には、左目用の表示部１２０１Ｌ、右目用の表示部１２０１Ｒの何れかに表示されている画像しか表示できない為、図１３（ｂ）、（ｃ）に示す如く、操作画面の左側若しくは右側の半分のみしか表示されないことになる。従って、表示装置３０の表示画面を見る操作者は、操作画面全体を一度に見ることはできなかった。
【００２３】
表示装置３０には、画像処理装置２０の操作画面の片側半分しか表示されない為、もう片方の操作画面内での操作を行う為には、表示装置３０への出力をＨＭＤコントローラ１１で切り替える必要があった。従来のＨＭＤ１０とＨＭＤコントローラ１１とでは、上記のような画像処理装置２０の操作が煩わしいという問題は解決できていない。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２００４−２５８１２３号公報
【特許文献２】特開２００６−４１７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
操作画面は、ＨＭＤ１０に対して出力される右目用画像、左目用画像の両画像の全域に渡る為、表示装置３０に対して右目用画像、左目用画像の何れか一方のみを出力するのでは、表示装置３０には操作画面の左側若しくは右側のみしか表示されない。もう一方の画面を表示する為には、セレクタの出力を切り替える必要があり、同時に全操作画面を見る事ができず画像処理装置２０の操作が煩わしかった。
【００２６】
本発明は以上の問題に鑑みてなされたものであり、ＨＭＤとＨＭＤ以外の表示装置とに画像表示を行う場合、状況に応じてこの表示装置に表示する画像を切り替える為の技術を提供することを目的とする。
【課題を解決するための手段】
【００２７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、右目用画像、左目用画像を外部の装置から取得する取得手段と、前記右目用画像を右目用の表示部に表示させると共に、前記左目用画像を左目用の表示部に表示させる手段と、前記左目用画像と前記右目用画像とを左右に水平に並べて結合することで１枚のパノラマ画像を生成する生成手段と、前記右目用画像、前記左目用画像、前記パノラマ画像、のうち何れか１つを選択し、選択した画像を外部の表示装置に送信する送信手段とを備えることを特徴とする。
【発明の効果】
【００２８】
本発明の構成によれば、ＨＭＤとＨＭＤ以外の表示装置とに画像表示を行う場合、状況に応じてこの表示装置に表示する画像を切り替えることができる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施形態に係る複合現実感提示システムの機能構成例を示すブロック図。
【図２】ＨＭＤ８００が行う処理のフローチャート。
【図３】表示装置３０における表示例を示す図。
【図４】表示装置３０における表示例を示す図。
【図５】第２の実施形態に係る複合現実感提示システムの機能構成例を示すブロック図。
【図６】ＨＭＤ８０１が行う処理のフローチャート。
【図７】ステップＳ９０１における処理のフローチャート。
【図８】第３の実施形態に係る複合現実感提示システムの機能構成例を示すブロック図。
【図９】第３の実施形態に係る処理のフローチャート。
【図１０】ビデオシースルー型ＨＭＤの内部構成を示す図。
【図１１】ＨＭＤを用いた複合現実感システムの基本構成を示す図。
【図１２】表示装置３０における表示例を示す図。
【図１３】表示装置３０における表示例を示す図。
【発明を実施するための形態】
【００３０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００３１】
［第１の実施形態］
本実施形態に係る複合現実感提示システムは、現実空間画像と仮想空間画像との合成画像である複合現実空間画像をＨＭＤに出力すると共に、ＨＭＤ装着者以外に対して設けられた表示装置にも出力する。そして係る構成において、複合現実感提示システムは状況に応じて、表示装置に出力する画像を切り替える。以下に、本実施形態に係る複合現実感提示システムについてより詳細に説明する。なお、以下の説明で用いる図面に登場する参照番号において、Ｌ、Ｒが付されている参照番号はそれぞれ、左目用、右目用に対する構成要素を指し示す。
【００３２】
先ず、本実施形態に係る複合現実感提示システムの機能構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係る複合現実感提示システムは、頭部装着型表示装置としてのビデオシースルー型のＨＭＤ８００、ＰＣ（パーソナルコンピュータ）に代表される画像処理装置９００、ＣＲＴや液晶画面等に代表される表示装置３０、を有する。
【００３３】
先ず、ＨＭＤ８００について説明する。撮像部１０１Ｌ、１０１Ｒはそれぞれ、ＨＭＤ８００を頭部に装着するユーザの左目、右目に対して提供する現実空間画像を撮像するためのもので、例えば、ビデオカメラなど、動画像を撮像するカメラである。撮像部１０１Ｌ、１０１Ｒは現実空間の動画像を撮像すると、撮像した動画像を構成する各フレームの画像（現実空間画像）を順次、後段の撮像画像送信部１５０に送出する。なお、以下では、撮像部１０１Ｌが撮像した撮像画像を「左目用の現実空間画像（撮像画像）」、撮像部１０１Ｒが撮像した撮像画像を「右目用の現実空間画像（撮像画像）」と呼称する場合がある。
【００３４】
撮像画像送信部１５０は、撮像部１０１Ｌ、１０１Ｒから受けたそれぞれの撮像画像（左目用の現実空間画像、右目用の現実空間画像）を、画像処理装置９００に送信する。ＨＭＤ８００と画像処理装置９００との間は、有線／無線の何れで通信しても良い。センサ部１０３は、自身の位置姿勢を、ＨＭＤ８００の位置姿勢として計測し、係る計測によって得られた位置姿勢情報を、画像処理装置９００に送信する。
【００３５】
複合現実感画像受信部１５１は、画像処理装置９００（外部の装置）から送信される左目用画像、右目用画像を受信し、それぞれを表示部１０２Ｌ、１０２Ｒに送出すると共に、画像制御部１０５にも送出する。右目用画像は、画像処理装置９００側で後述する処理により生成される右目用の複合現実空間画像、若しくは画像処理装置９００における動作画面のうち表示部１０２Ｒに表示する領域の画面情報である。同様に、左目用画像は、画像処理装置９００側で後述する処理により生成される左目用の複合現実空間画像、若しくは画像処理装置９００における動作画面のうち表示部１０２Ｌに表示する領域の画面情報である。
【００３６】
表示部１０２Ｌ、１０２Ｒはそれぞれ、ユーザの左目、右目のそれぞれに画像を提示するためのもので、ユーザがＨＭＤ８００を自身の頭部に装着した時に、このユーザの左目、右目の目前に位置するように、ＨＭＤ８００に取り付けられている。表示部１０２Ｌ、１０２Ｒはそれぞれ、複合現実感画像受信部１５１が受信した左目用画像、右目用画像を表示する。これにより、ユーザの右目、左目の目前にはそれぞれ、右目用画像、左目用画像が表示されることになる。
【００３７】
指示部１０６は、スイッチ等、複数種の指示を選択的に入力するためにＨＭＤ８００に取り付けられたもので、ユーザが指示部１０６を用いて入力した操作指示は、この指示部１０６から画像制御部１０５に入力される。なお、指示部１０６は、ＨＭＤ８００に取り付けずに、ＨＭＤ８００とは別個の装置としても良い。
【００３８】
画像制御部１０５は、指示部１０６からの指示入力に応じて以下に示す３つの画像のうち何れか１つをオブジェクト合成部１０７への出力対象として選択する。
【００３９】
・  表示部１０２Ｌ、１０２Ｒのぞれぞれに表示されている画像（左目用画像、右目用画像）を左右に水平方向に並べて結合して得られる１枚のパノラマ画像
・  左目用画像
・  右目用画像
そして画像制御部１０５は、選択した画像をオブジェクト合成部１０７に送出する。オブジェクト合成部１０７は、画像制御部１０５から受けた画像に対して、ＨＭＤ８００の使用に係る情報等の所定のオブジェクトを合成し、合成後の画像を表示装置画像送信部１５２に送出する。もちろん、このオブジェクトの合成については、ユーザ指示や様々な状況などに応じて適宜行えば良く、常に行わなくても良い。表示装置画像送信部１５２は、オブジェクト合成部１０７から受けた画像に基づく画像信号を、表示装置３０に送出する。
【００４０】
制御部１００は、ＨＭＤ８００を構成する上述の各部の動作制御を行うためのもので、ＣＰＵなどの実行制御部、ＲＡＭやＲＯＭなどのメモリ部、等により構成されている。実行制御部は、このメモリ部に格納された（若しくは格納されている）コンピュータプログラムやデータを用いて、ＨＭＤ８００を構成する各部の動作制御を行う。
【００４１】
次に、画像処理装置９００について説明する。撮像画像受信部１５３は、ＨＭＤ８００側の撮像画像送信部１５０から送信された右目用の現実空間画像、左目用の現実空間画像を受信し、受信したそれぞれの画像を後段の撮像画像特徴検出部１２０に送出する。
【００４２】
撮像画像特徴検出部１２０は、右目用の現実空間画像、左目用の現実空間画像について次の処理を行う。即ち、現実空間画像から特徴点（例えば人為的マーカや自然特徴等の特徴量）を検出する。そして撮像画像特徴検出部１２０は、右目用の現実空間画像、左目用の現実空間画像と共に、それぞれの現実空間画像から検出した特徴点に係る情報（現実空間画像中の特徴点の位置やサイズ、種別等を示す情報）を、複合現実感画像生成部１２２に送出する。
【００４３】
位置姿勢検出部１２１は、ＨＭＤ８００側のセンサ部１０３から送信された位置姿勢情報を受信すると、この受信した位置姿勢情報を後段の複合現実感画像生成部１２２に送出する。
【００４４】
複合現実感画像生成部１２２は、撮像画像特徴検出部１２０から受けた特徴点に係る情報と、位置姿勢検出部１２１から受けた位置姿勢情報とを用いて、この位置姿勢情報を補正し、より精度の高い位置姿勢情報を生成する。係る技術については周知の技術であるので、これについての説明は省略する。なお、ここで求める位置姿勢情報は、左目用の位置姿勢情報と、右目用の位置姿勢情報とがあり、それぞれは、センサ部１０３と撮像部１０１Ｌ、１０１Ｒのそれぞれとの位置姿勢関係を、補正後の位置姿勢情報に加えれば求めることができる。これについても周知の技術であるので、これについての説明は省略する。
【００４５】
そして複合現実感画像生成部１２２は、このようにして補正した位置姿勢情報を用いて、この位置姿勢情報が示す位置姿勢を有する視点から見た仮想空間の画像を生成する。より詳しくは、右目用の位置姿勢情報を用いて、この位置姿勢情報が示す位置姿勢を有する視点（右目）から見た仮想空間の画像を、右目用の仮想空間画像として生成する。また、左目用の位置姿勢情報を用いて、この位置姿勢情報が示す位置姿勢を有する視点（左目）から見た仮想空間の画像を、左目用の仮想空間画像として生成する。もちろん、この仮想空間中には、予め様々な仮想物体が配置されているものとする。
【００４６】
そして複合現実感画像生成部１２２は、撮像画像特徴検出部１２０から受けた右目用の現実空間画像と、生成した右目用の仮想空間画像とを合成し、右目用の複合現実空間画像を生成する。また複合現実感画像生成部１２２は、撮像画像特徴検出部１２０から受けた左目用の現実空間画像と、生成した左目用の仮想空間画像とを合成し、左目用の複合現実空間画像を生成する。なお、現実空間画像と仮想空間画像とを合成して複合現実空間画像を生成するための技術については様々なものがあり、本実施形態では何れの技術を用いても良い。
【００４７】
そして複合現実感画像生成部１２２は、このようにして生成した左目用の複合現実空間画像、右目用の複合現実空間画像を、複合現実感画像送信部１５４に送出する。複合現実感画像送信部１５４は、複合現実感画像生成部１２２から受けた右目用の複合現実空間画像、左目用の複合現実空間画像を、それぞれ右目用画像、左目用画像としてＨＭＤ８００に対して送出する。
【００４８】
なお、複合現実感画像生成部１２２が複合現実空間画像を生成せずに右目用、左目用の現実空間画像を複合現実感画像送信部１５４に送出し、複合現実感画像送信部１５４がそれぞれの現実空間画像をＨＭＤ８００に送出することもある。これは画像処理装置９００側の設定の切替等によって実現するものである。以下の説明において、画像処理装置９００からＨＭＤ８００に複合現実空間画像を送信する処理は、画像処理装置９００からＨＭＤ８００に現実空間画像を送信する処理をも指し示しているものとする。
【００４９】
ここで、画像処理装置９００が実行していた複合現実感提示アプリケーション（複合現実感画像の生成、送信を行うアプリケーション）を終了したり、システムの設定画面（操作画面）に移行したとする。この場合、画像処理装置９００（複合現実感画像送信部１５４）からは、この時の動作画面の画面情報がＨＭＤ８００に対して送信されることになる。この画面情報は上述の通り、表示部１０２Ｒに表示する領域、表示部１０２Ｌに表示する領域、から成り、表示部１０２Ｌ、１０２Ｒのそれぞれの表示画面の両画面全体に渡って表示されるものである。
【００５０】
何れにせよ、画像処理装置９００からＨＭＤ８００に対して送信される情報は、表示部１０２Ｌ、１０２Ｒのそれぞれに表示する画像情報（左目用画像、右目用画像）であり、その画像情報は、複合現実感画像であったり、画面情報であったりする。
【００５１】
以上説明したＨＭＤ８００、画像処理装置９００により、ＨＭＤ８００を頭部に装着したユーザは、自身の動きに応じた複合現実空間画像を観察することができる。なお、本実施形態では、１台の画像処理装置９００で、右目用画像、左目用画像を生成する。しかし、右目用画像を生成するための画像処理装置と、左目用画像を生成するための画像処理装置と、を画像処理装置９００の代わりに用いても良い。その場合、ＨＭＤ８００には、この２台の画像処理装置が接続されることになり、それぞれの画像処理装置は、生成した画像をＨＭＤ８００に送信することになる。
【００５２】
次に、表示装置３０について説明する。表示装置３０は、ＣＲＴや液晶画面などにより構成されており、ＨＭＤ８００を装着していない他のユーザが観察可能なように配置されたもので、ＨＭＤ８００から送信された画像信号に基づく画像を表示する。即ち、表示装置３０は、ＨＭＤ８００を装着していない観衆に対して設けられたものである。ここにＨＭＤ８００の表示部１０２Ｌ及び又は表示部１０２Ｒに表示される画像と同じ画像を表示する事で、観衆はＨＭＤ装着者が見ている画像と同じ画像を見る事ができ、ＨＭＤ装着者の複合現実感体験を共有することができる。なお、表示装置３０は、ＨＭＤ８００の装着者以外の観衆への画像提供のために用いられると共に、画像処理装置９００が生成する画面情報を表示するためにも用いられる。
【００５３】
次に、表示装置３０への出力対象画像を決定し、決定した画像をこの表示装置３０に出力するためにＨＭＤ８００が行う処理について、図２を用いて説明する。なお、図２には、係る処理以外については触れていない。然るに、以下では、表示装置３０に画像を出力するために行う処理以外については触れていない。
【００５４】
ユーザは、表示装置３０に出力する画像を切り替えたい場合、指示部１０６を操作し、ＯＮ（ＨＭＤ観察画像表示）、ＯＦＦ（操作画面表示）の何れかに設定する。ユーザは、表示部１０２Ｌ、１０２Ｒに複合現実感画像が表示されていることを確認した場合には、この複合現実空間画像を表示装置３０にも表示させるべく、指示部１０６を用いてＯＮに設定する。一方、ユーザは、表示部１０２Ｌ、１０２Ｒに操作画面などの画面情報が表示されていることを確認した場合には、この画面情報を表示装置３０にも表示させるべく、指示部１０６を用いてＯＦＦに設定する。
【００５５】
ユーザが指示部１０６を操作してＯＮ、ＯＦＦの何れかを設定すると、ステップＳ５００において指示部１０６は、ユーザによる選択指示（ＯＮ、ＯＦＦの何れかを示す）を、画像制御部１０５に送出する。
【００５６】
ステップＳ５０１では、画像制御部１０５は、指示部１０６からの選択指示が、ＯＮ、ＯＦＦの何れを示しているのかを判断する。係る判断の結果、選択指示がＯＮを示している場合には処理をステップＳ５０２に進め、ＯＦＦを示している場合には処理をステップＳ５０７に進める。ステップＳ５０２では、画像制御部１０５は、次の何れかを表示装置３０への出力対象画像とする。
【００５７】
・  複合現実感画像受信部１５１から受けた右目用画像と左目用画像とで重複する部分をオーバーラップさせて結合することで生成される１枚のパノラマ画像
・  右目用画像、左目用画像の何れか一方
何れを表示装置３０への出力対象画像とするかは、指示部１０６や他の装置からの入力指示に基づいて決定しても良いし、予め決めておき、設定データとしてＨＭＤ８００が有する不図示のメモリに登録しておいても良い。
【００５８】
そして、パノラマ画像を表示装置３０への出力対象画像とする場合は処理をステップＳ５０６に進め、右目用画像、左目用画像の何れか一方を表示装置３０への出力対象画像とする場合は処理をステップＳ５０３に進める。
【００５９】
ステップＳ５０６では画像制御部１０５は、複合現実感画像受信部１５１から受けた右目用画像と左目用画像とで重複する部分（重複している画像部分）をオーバーラップさせて結合することで１枚のパノラマ画像を生成する。本ステップにおける処理、即ち、左右１対のステレオ画像からオーバーラップ部を重ねる合成画像生成手法による２次元画像生成処理については周知の技術であるので、これについての説明は省略する。
【００６０】
一方、ステップＳ５０３では、画像制御部１０５は、右目用画像、左目用画像のうち、指示された若しくは予め決められた一方を、表示装置３０への出力対象画像として選択する。
【００６１】
一方、ステップＳ５０７では、画像制御部１０５は、左目用画像と右目用画像とを左右に水平方向に並べて、オーバーラップ無しに結合することで１枚のパノラマ画像を生成する。係るパノラマ画像の生成では、画像の水平方向及び垂直方向共に画素を間引く、或いは補間して、それぞれの画像を水平方向に並べて不図示の画像メモリに書き込む事で、１枚のパノラマ画像を生成する。もちろん、パノラマ画像の生成方法はこれに限定するものではない。
【００６２】
次に、ステップＳ５０４では、画像制御部１０５は、ステップＳ５０６，Ｓ５０３，Ｓ５０７の何れかで得られた「表示装置３０への出力対象画像」の解像度を表示装置３０が表示可能な解像度に変更する等、様々な画像調整処理を行う。
【００６３】
次に、ステップＳ５０５では、画像制御部１０５は、ステップＳ５０４において画像調整が成された画像を、オブジェクト合成部１０７に入力する。オブジェクト合成部１０７は、この画像に対して上述のオブジェクトを合成する。そしてオブジェクト合成部１０７は、係る合成により得られた画像の画像信号を、表示装置３０に対して出力する。
【００６４】
次に、表示装置３０における表示例について、図３を用いて説明する。図３（ａ）には、表示装置３０に、右目用画像としての右目用の複合現実感画像、左目用画像としての左目用の複合現実空間画像、の何れかを表示する場合における、表示部１０２Ｌ、１０２Ｒ、表示装置３０における表示例が示されている。
【００６５】
表示部１０２Ｌ、１０２Ｒには、それぞれ左目用の複合現実空間画像３５、右目用の複合現実感画像３６が表示されている。左目用の複合現実空間画像３５、右目用の複合現実感画像３６には何れも、現実物体としての机２００、仮想物体２０１，２０２，２０３、領域６２０が含まれている。領域６２０は、オブジェクト合成部１０７が合成したオブジェクトの領域であり、ＨＭＤ８００の使用に係る情報、例えばＨＭＤ８００の使用を開始してからの連続使用時間情報を表示するための領域である。領域６２０の表示位置、表示サイズ、表示タイミング等は予めＨＭＤ８００に設定しておいても良いし、ユーザ指示などに応じてオブジェクト合成部１０７が適宜変更しても良い。然るにこの場合、表示装置３０には、右目用の複合現実感画像３６、左目用の複合現実空間画像３５、の何れか一方が表示されることになる。
【００６６】
一方、図３（ｂ）には、表示部１０２Ｌ、１０２Ｒのそれぞれに表示されている複合現実空間画像で重複する部分をオーバーラップさせて結合すること１枚のパノラマ画像を生成する処理について示している。表示部１０２Ｌ、１０２Ｒにはそれぞれ、左目用の複合現実空間画像３７、右目用の複合現実感画像３８が表示されており、何れの画像にも現実物体６００，６０１，６０２，６０３が含まれてはいるが、それぞれの画像には互いに重複している部分がある。
【００６７】
視野の差、或いは撮像対象の移動により、オーバーラップ領域が完全に一致しない画像に対する合成画像作成装置が、特開平１０-１７８５６４号公報などに開示されている。画像制御部１０５は、係る技術と同等の手法により、左目用の複合現実空間画像３７と右目用の複合現実感画像３８とから、１枚のパノラマ画像６１１を生成する。そしてこのパノラマ画像６１１に対してオブジェクトの合成、表示装置３０の画面サイズに対する画像サイズ調整処理、等を施すことで、最終的に表示装置３０に対して送出する画像１３０を生成する。
【００６８】
なお、本実施形態では、領域６２０の位置、大きさ、時間、タイミングを予めＨＭＤ８００に設定するが、位置、大きさを固定とし、オブジェクト合成部１０７に設けられたスイッチ等により表示の有無を切り替えるようにしても良い。また、領域６２０内に表示する情報としては他にも、ＨＭＤ８００若しくは本システムの製品ロゴ又は展示会ロゴなどであってもよい。
【００６９】
次に、表示部１０２Ｌの表示画面、表示部１０２Ｒの表示画面の両画面に渡って表示される画面情報を、表示装置３０に表示する場合について、図４を用いて説明する。表示部１０２Ｌ、１０２Ｒの両画面に渡って画面情報（操作画面）が表示されており、表示部１０２Ｌの画面内には操作画面の左半分の画像領域４８０が表示されており、表示部１０２Ｒの画面内には操作画面の右半分の画像領域４９０が表示されている。２１０と２１１はそれぞれ、画像処理装置９００上で起動している複合現実感アプリケーションウィンドウとその他ウィンドウを示している。複合現実感アプリケーションは、操作画面全域に渡っての複合現実感提示動作中ではなく、諸設定を行う為のウィンドウ画面表示状態となっている。
【００７０】
ユーザが指示部１０６を用いてＯＦＦを設定すると、画像制御部１０５は画像領域４８０（左目用画像）と画像領域４９０（右目用画像）とを左右に並べて結合することで、１枚のパノラマ画像７０１を生成する。
【００７１】
図４の３段目の左側には、パノラマ画像７０１のアスペクト比を保持した場合の表示装置３０における表示例を示している。図４の３段目の右側には、パノラマ画像７０１のアスペクト比を保持していない場合の表示装置３０における表示例を示している。図４の４段目には、パノラマ画像７０１の解像度を変更せず、パノラマ画像７０１全体のうち表示装置３０が表示可能な一部領域を表示した場合における表示例を示している。表示領域の設定に関しては、ＨＭＤ８００で設定しても良いし、周辺機器により設定しても良い。このように、パノラマ画像７０１の表示方法については適宜切り替えても良い。
【００７２】
領域７１０Ｌには、指示部１０６によりＯＦＦが設定される直前の左目用画像が表示され、領域７１０Ｒには、指示部１０６によりＯＦＦが設定される直前の右目用画像が表示される。もちろん、同様の内容を示す情報であれば、他の情報を代わりに表示しても良い。
【００７３】
従来、表示装置に画像処理装置の操作画像を表示する時に、表示装置には左目画像と右目画像のどちらか一つしか表示できなかった為、表示装置には画像処理装置の操作画像の片側しか表示されず、画像処理装置の操作が煩わしかった。しかし、本実施形態によれば、表示装置には画像処理装置の操作画像全体が表示できる為、操作性が向上する。
【００７４】
［第２の実施形態］
本実施形態では、指示部１０６の代わりに使用状態判定部１０８を用いて、オブジェクト合成部１０７に送出する画像を切り替える。然るに、本実施形態に係るシステムは図５に示す如く、指示部１０６の代わりに使用状態判定部１０８を用いている以外は、第１の実施形態と同じである。
【００７５】
図５を用いて、本実施形態に係るシステムについて説明する。使用状態判定部１０８は、撮像部１０１Ｌ、１０１Ｒのうち少なくとも一方により撮像された現実空間画像を用いて、画像中の特徴点の位置の変化を検出し、その検出結果に基づいて、ＨＭＤ８０１が現在使用されているか否かを判断する。そしてＨＭＤ８０１が現在使用されていると判断した場合にはＨＭＤ観察画像表示を行うものと判断し、使用されていないと判断した場合には操作画面表示を行うものと判断する。以降については第１の実施形態と同様である。
【００７６】
次に、表示装置３０への出力対象画像を決定し、決定した画像をこの表示装置３０に出力するためにＨＭＤ８０１が行う処理について、図６を用いて説明する。なお、図６には、係る処理以外については触れていない。然るに、以下では、表示装置３０に画像を出力するために行う処理以外については触れていない。
【００７７】
ＨＭＤ８０１を起動すると制御部１００は先ずステップＳ９００において、ＨＭＤステータスの初期化処理、即ち、ＨＭＤステータスを「不使用」に設定する。ここで、ＨＭＤステータスとは、ＨＭＤ８０１が使用されているか否かを示す変数である。
【００７８】
次に、ステップＳ９０１では、使用状態判定部１０８は、撮像部１０１Ｌ、１０１Ｒの何れか一方により撮像された現実空間画像を用いて、ＨＭＤ８０１が現在使用されているか否かを判断する。なお、係る判断は、撮像部１０１Ｌ、１０１Ｒの両方による現実空間画像を用いても良く、その場合、両方の画像に対して同じ判定結果が出たときのみその判定結果を採用するものとする。
【００７９】
そして使用状態判定部１０８は、判定した結果を、ＨＭＤステータスに反映させる。即ち、ＨＭＤ８０１が使用されていると判断した場合にはＨＭＤステータスを「使用中」に変更するし、ＨＭＤ８０１が使用されていないと判断した場合にはＨＭＤステータスを「不使用」に更新する。ステップＳ９０１における処理の詳細については、図７を用いて後述する。なお、ＨＭＤの使用開始時、若しくは使用中断時以外は、ＨＭＤステータスの変更はない。
【００８０】
次に、ステップＳ９０２において使用状態判定部１０８は、ステップＳ９０１における処理でＨＭＤステータスが変更されたか否かを判断する。係る判断の結果、変更されている場合には処理はステップＳ９０３に進み、変更されていない場合には処理はステップＳ９０４に進む。
【００８１】
ステップＳ９０３において使用状態判定部１０８は、変更されたＨＭＤステータスが「使用中」であるのか「不使用」であるのかを判断する。係る判断の結果、「使用中」である場合には処理はステップＳ５０２に進み、「不使用」である場合には処理はステップＳ５０７に進む。ここでは説明上、新たに表示装置３０に画像を出力しない限り、表示装置３０の表示状態は変わらないものとする。そしてシステムの終了指示が入力されたり、システムの終了条件が満たされたりしない限りは、処理はステップＳ９０４を介してステップＳ９０１に戻る。
【００８２】
次に、上記ステップＳ９０１におけるＨＭＤ８０１の使用状態判定処理の詳細について、図７を用いて説明する。本実施形態では、ＨＭＤ８０１が使用されているか否かを判断するために、複合現実感提示の際の位置合わせに用いられる現実空間画像内の特徴点（特徴量）、特に人為的特徴であるマーカを使用する。然るに、本実施形態では、撮像部１０１Ｌ，１０１Ｒによる撮像空間内には、複数個のマーカが配されているものとする。もちろん、特徴点は、人為的に配されたマーカに限定するものではなく、現実物体の角や辺など、自然特徴を用いても良い。
【００８３】
先ずステップＳ１０００において使用状態判定部１０８は、撮像部１０１Ｌ，１０１Ｒのうち少なくとも一方により撮像された現実空間画像を取得する。次にステップＳ１００１では使用状態判定部１０８は、ステップＳ１０００において取得した現実空間画像から、マーカを検出する。
【００８４】
次に、ステップＳ１００２では使用状態判定部１０８は、ステップＳ１００１で１以上のマーカを検出したか否かを判断する。係る判断の結果、１以上のマーカを検出した場合には、処理はステップＳ１００３に進み、マーカを検出することができなかった場合には、処理はステップＳ１００８に進む。
【００８５】
ステップＳ１００８では使用状態判定部１０８は、前回マーカを検出してから所定時間（例えば３秒）が経過したか否かを判断する。即ち、過去のフレームにおいて最後にマーカを検出してから所定時間以上経過したか否かを判断する。時間の計時は、使用状態判定部１０８が行っても良いし、制御部１００が行っても良い。
【００８６】
係る判断の結果、マーカ未検出状態が所定時間以上続いた場合には処理はステップＳ１００９に進み、マーカ未検出状態がまだ所定時間以上続いていない場合には、ＨＭＤステータスは変更されることなく、ステップＳ９０１における処理は完了する。
【００８７】
ステップＳ１００９では使用状態判定部１０８は、ＨＭＤステータスを「不使用」に変更し、その後、ステップＳ９０１における処理を完了する。一方、ステップＳ１００３では使用状態判定部１０８は、ステップＳ１００１で検出したマーカの位置（代表位置）を求める。代表位置としては、マーカの中心座標位置を用いる。
【００８８】
次にステップＳ１００４では使用状態判定部１０８は、現フレームにおける着目マーカの代表位置が、１つ前のフレームにおける着目マーカの代表位置を中心とする閾値エリア内に位置しているか否かを判断する処理を、検出した全てのマーカについて行う。換言すれば、１つ前のフレームにおける着目マーカの代表位置と、現フレームにおける着目マーカの代表位置との差分（距離）が閾値以下であるか否かを判断する処理を、検出した全てのマーカについて行う。係る判断の結果、全てのマーカ若しくは所定数以上のマーカについて差分が閾値よりも大きい場合には処理はステップＳ１０１０に進み、差分が閾値以下である場合には処理はステップＳ１００５に進む。
【００８９】
ステップＳ１００５で使用状態判定部１０８は、全てのマーカ若しくは所定数以上のマーカについて、現フレーム中の代表位置が直前フレーム中の代表位置を中心とする閾値エリア内に連続して位置している時間が所定時間（例えば３秒）以上か否かを判断する。換言すれば、全てのマーカ若しくは所定数以上のマーカについて、上記差分が閾値以下であると連続して判断された時間が所定時間以上であるか否かを判断する。係る判断の結果、上記差分が閾値以下であると連続して判断された時間が所定時間以上である場合には処理はステップＳ１００９に進み、上記差分が閾値以下であると連続して判断された時間が所定時間よりも短い場合には処理はステップＳ１００６に進む。
【００９０】
ステップＳ１００６で使用状態判定部１０８は、ステップＳ１００１で検出したそれぞれのマーカについて、閾値エリアの位置、サイズを示す閾値エリア情報（移動閾値領域）を求める。そしてステップＳ１００７において使用状態判定部１０８は、それぞれのマーカについて求めた閾値エリア情報を、次のフレームで用いるために保持する。
【００９１】
ステップＳ１０１０で使用状態判定部１０８は、全てのマーカ若しくは所定数以上のマーカについて、現フレーム中の代表位置が直前フレーム中の代表位置を中心とする閾値エリア外に連続して位置している時間が所定時間（例えば２秒）以上か否かを判断する。係る判断の結果、連続して位置している時間が所定時間以上である場合には処理はステップＳ１０１１に進み、連続して位置している時間が所定時間よりも短い場合には処理はステップＳ１００６に進む。ステップＳ１０１１では使用状態判定部１０８は、ＨＭＤステータスを「使用中」に更新する。
【００９２】
なお本実施形態では、フレーム間での画像内の動きをマーカの代表位置の変化に基づいて求めたが、マーカを用いることに限定するものではなく、フレーム間で画素単位の画素値（輝度値等）比較処理を行うことでフレーム間の動き量を求めるようにしても良い。
【００９３】
また、本実施形態では、マーカの代表位置として、マーカの中心位置を用いたが、これに限定するものではなく、マーカの角の位置や、マーカの中心点と所定の点との組み合わせを代表位置としてもよい。
【００９４】
また、本実施形態では、使用状態判定部１０８は現実空間画像を用いたＨＭＤ使用状態判定処理を行っているが、特開２００４-２５８１２３号公報で開示されている手法と同様に、ＨＭＤ８０１の位置姿勢情報を用いたＨＭＤ使用状態判定処理を行っても良い。また他にも、この位置姿勢情報の変動量が予め設定した範囲内に収まる場合にはＨＭＤ８０１は不使用と判断し、超える場合にはＨＭＤ８０１は使用中と判断してもよい。
【００９５】
また、ユーザがＨＭＤ８０１を専用のホルダやフックに保持させたことを、ＨＭＤ８０１の位置姿勢情報を用いた方法などによって検知し、保持させている場合はＨＭＤ８０１の使用状態は「不使用」、保持させていない場合には「使用中」と判断しても良い。
【００９６】
以上の説明により、本実施形態によれば、ＨＭＤ８０１の使用状態に基づいて表示装置３０への出力画像を切り替えるので、ＨＭＤ８０１を使用する際の一連の条件に基づき、自動的に表示装置３０における表示画像を使用方法に合わせて切り替える事ができる。
【００９７】
［第３の実施形態］
本実施形態では、ＨＭＤの連続使用によるＨＭＤ装着者の疲労を抑止するため、ＨＭＤの連続使用時間に基づいて、複合現実空間画像の提示を制御する。複合現実空間画像の提示制御としては、ＨＭＤの連続使用時間が所定時間以上経過したら、複合現実感画像の提示を中断し、操作画面等、複合現実空間画像以外の画像を提示する。
【００９８】
図８を用いて、本実施形態に係るシステムについて説明する。タイマ１０９は、ＨＭＤ８０２の連続使用時間を計時しており、制御部１００は、タイマ１０９が計時している時間を監視している。なお、ＨＭＤ８０２の連続使用時間の取得方法には様々な方法がある。例えば、第２の実施形態のように、ＨＭＤステータスが連続して「使用中」である時間を連続使用時間としても良いし、画像処理装置９０１から複合現実空間画像を連続して送信している時間を連続使用時間としても良い。
【００９９】
制御部１００は、タイマ１０９により計時された時間の長さが所定の時間以上となった場合には、画像処理装置９０１側からの複合現実空間画像の送信を停止させるための指示（停止指示）を、制御信号送信部１５５を介して画像処理装置９０１に送信する。更に制御部１００は、タイマ１０９により計時された時間の長さが所定の時間以上となった場合には、その旨をＨＭＤオブジェクト合成部１１０に通知する。
【０１００】
制御信号受信部１５６は、ＨＭＤ８０２から停止指示を受信すると、複合現実感画像生成部１２２に対して複合現実空間画像の代わりに画面情報を送信させる。ＨＭＤオブジェクト合成部１１０は、複合現実感画像受信部１５１から受けた左目用画像、右目用画像をそれぞれ、表示部１０２Ｌ、１０２Ｒに送出する。ここでＨＭＤオブジェクト合成部１１０は、制御部１００から「連続使用時間の長さが所定の時間以上」である旨を通知された場合には、左目用画像、右目用画像の少なくとも一方に、まもなくＨＭＤ体験を終了する及び休憩を促す旨のオブジェクトを重畳する。
【０１０１】
本実施形態で、制御信号送信部１５５と制御信号受信部１５６を介して要求を行う。しかし、撮像画像送信部１５０と撮像画像受信部１５３を介して撮像画像を中断することにより、画像処理装置９０１側におけるいわゆるオフライン検出によって判定する実施形態の場合も、同様な効果がある。
【０１０２】
次に、ＨＭＤ８０２の動作について説明する。ＨＭＤ８０２は通常は、画像処理装置９０１から送信された左目用の複合現実空間画像、右目用の複合現実空間画像をそれぞれ、表示部１０２Ｌ、１０２Ｒに表示するための処理を行っている。係る処理については上記の実施形態でも説明したとおりである。そして係る処理と並行して図９のフローチャートに従った処理を、別のスレッドで実行している。
【０１０３】
先ず、ステップＳ１２００では、制御部１００は、タイマ１０９による計時時間を監視し、ＨＭＤ８０２の連続使用時間が所定時間以上であるか否かを判断する。係る判断の結果、ＨＭＤ８０２の連続使用時間が所定時間以上である場合には処理はステップＳ１２０１に進み、ＨＭＤ８０２の連続使用時間が所定時間未満である場合には処理はステップＳ１２００に戻る。
【０１０４】
ステップＳ１２０１では、制御部１００は、タイマ１０９により計時された時間の長さが所定の時間以上となった旨をＨＭＤオブジェクト合成部１１０に通知する。これを受けて、ＨＭＤオブジェクト合成部１１０は、複合現実感画像受信部１５１から受けた左目用画像、右目用画像の少なくとも一方に、まもなくＨＭＤ体験を終了する及び休憩を促す旨のオブジェクトを重畳する。そしてその後、ＨＭＤオブジェクト合成部１１０は、左目用画像、右目用画像をそれぞれ表示部１０２Ｌ、１０２Ｒに送出する。これにより、ＨＭＤ装着者は、このオブジェクトが示すメッセージを見ることになるので、まもなく複合現実感提示アプリケーションが終了する事を認識する。
【０１０５】
次に、所定時間（例えば１０秒）が経過すれば、処理はステップＳ１２０２を介してステップＳ１２０３に進むし、経過していなければ処理はステップＳ１２０２で待機する。ステップＳ１２０３では、制御部１００は、画像処理装置９０１側からの複合現実空間画像の送信を停止させるための指示（停止指示）を、制御信号送信部１５５を介して画像処理装置９０１に対して送信する。
【０１０６】
ステップＳ１２０４では、画像制御部１０５は、画像処理装置９０１から送信され、複合現実感画像受信部１５１が受信した左目用画像と右目用画像とを左右に水平方向に並べて、オーバーラップ無しに結合することで１枚のパノラマ画像を生成する。
【０１０７】
次に、ステップＳ１２０５では、画像制御部１０５は、このパノラマ画像の解像度を、表示装置３０が表示可能な解像度に変更する等、様々な画像調整処理を行う。そして画像制御部１０５は、画像調整が成された画像を、オブジェクト合成部１０７に入力する。オブジェクト合成部１０７は、この画像に対して上述のオブジェクトを合成する。そしてオブジェクト合成部１０７は、係る合成により得られた画像の画像信号を、表示装置３０に対して出力する。
【０１０８】
以上説明したように、ＨＭＤ８０２の連続使用制限処理と、表示装置３０への画像出力処理を併用する事で、表示装置３０を見ているユーザは、この連続使用時間を確認することができる。そして画像処理装置９０１は、ＨＭＤ８０２の連続使用時間が所定時間以上となった場合には複合現実感画像の送信を止め、操作画面など、複合現実感画像とは別の画面をＨＭＤ８０２に送信する。これにより、次のＨＭＤ８０２の使用に備えた準備や複合現実感提示システムの終了などの操作を速やかに行うことが可能となる。
【図１】
2011010126.tif 000003
【図２】
2011010126.tif 000004
【図３】
2011010126.tif 000005
【図４】
2011010126.tif 000006
【図５】
2011010126.tif 000007
【図６】
2011010126.tif 000008
【図７】
2011010126.tif 000009
【図８】
2011010126.tif 000010
【図９】
2011010126.tif 000011
【図１０】
2011010126.tif 000012
【図１１】
2011010126.tif 000013
【図１２】
2011010126.tif 000014
【図１３】
2011010126.tif 000015