(57)【要約】【課題】他のユーザの周囲環境を示す画像と、他のユーザの位置とを同時にユーザに把握させることが可能な表示装置、表示システム、表示方法、および表示プログラムを提供する。【解決手段】ヘッドマウントディスプレイ（ＨＭＤ）のＣＰＵは、方位センサを介してＨＭＤの向いている方角を検出する（Ｓ１１）。ＣＰＵは、他のＨＭＤのカメラによって撮影された撮影画像を取得する（Ｓ１２）。ＣＰＵは、他のＨＭＤの位置を示す座標情報を取得する（Ｓ１７）。ＣＰＵは、検出した方角、および取得した撮影画像、座標情報に基づき、表示画像中に配置する撮影画像の位置を決定する（Ｓ１９〜Ｓ２７）。決定された撮影画像の位置は、他のＨＭＤの位置関係を示している。ＣＰＵは、決定した位置に撮影画像を配置することによって、表示画像を作成する（Ｓ２９）。ＣＰＵは、作成した表示画像をディスプレイに表示する（Ｓ３１）。【選択図】図４
2013250600.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着可能に構成され、表示画像を出力する表示装置であって、
前記表示装置の向いている方向を検出する方向検出手段と、
他のユーザの周囲を撮影可能な前記他のユーザに装着されたカメラによって撮影された撮影画像を取得する画像取得手段と、
前記他のユーザに装着されたカメラの位置を示す位置情報を取得する位置取得手段と、
前記方向検出手段によって検出された前記方向、および、前記位置取得手段によって取得された前記位置情報に基づき、前記表示装置および他の表示装置の少なくともいずれかの位置関係を特定し、前記表示画像の領域のうち、特定された前記位置関係を示す位置を、前記画像取得手段によって取得された前記撮影画像を配置する撮影画像位置として決定する決定手段と、
前記決定手段によって決定された前記撮影画像位置に前記撮影画像を配置することによって、前記表示画像を作成する作成手段と、
前記作成手段によって作成された前記表示画像をユーザに認識させるために出力する出力手段と
を備えたことを特徴とする表示装置。
【請求項２】
前記決定手段は、
前記表示画像の領域のうち、前記撮影画像が配置される前記撮影画像位置、および、前記撮影画像とは異なるコンテンツ画像が配置されるコンテンツ画像位置を決定し、
前記作成手段は、
前記決定手段によって決定された前記撮影画像位置に前記撮影画像を配置し、且つ、前記コンテンツ画像位置に前記コンテンツ画像が配置された前記表示画像を作成することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示装置の位置を検出する位置検出手段を備え、
前記決定手段は、
前記方向検出手段によって検出された前記方向、前記位置検出手段によって検出された前記位置、および、前記位置取得手段によって取得された前記位置情報に基づき、前記撮影画像位置を決定することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記決定手段は
前記他の表示装置の数を特定し、記憶手段に記憶された情報であって前記他の表示装置の数に前記撮影画像位置が対応付けられた情報に基づいて、前記撮影画像位置を決定することを特徴とする請求項１から３のいずれかに記載の表示装置。
【請求項５】
前記決定手段は、
前記コンテンツ画像位置に表示される前記コンテンツ画像の周囲のいずれかの位置に配置する前記撮影画像位置を決定することを特徴とする請求項２に記載の表示装置。
【請求項６】
前記決定手段は、
前記表示画像の領域の上下方向を、前記ユーザの前後方向に対応させ、前記他の表示装置の位置関係を示す撮影画像位置を決定することを特徴とする請求項１から５のいずれかに記載の表示装置。
【請求項７】
ユーザの頭部に装着可能に構成され、表示画像を出力する表示装置と、他のユーザの頭部に装着可能に構成された他の表示装置とを備えた表示システムであって、
前記表示装置は、
前記表示装置の向いている方向を検出する方向検出手段と、
前記他のユーザの周囲を撮影可能な前記他のユーザに装着されたカメラによって撮影された撮影画像を取得する第一取得手段と、
前記他のユーザに装着されたカメラの位置を示す位置情報を取得する第二取得手段と、
前記方向検出手段によって検出された前記方向、および、前記第二取得手段によって取得された前記位置情報に基づき、前記表示装置および前記他の表示装置の少なくともいずれかの位置関係を特定し、前記表示画像の領域のうち、特定された前記位置関係を示す位置を、前記第一取得手段によって取得された前記撮影画像を配置する撮影画像位置として決定する決定手段と、
前記決定手段によって決定された前記撮影画像位置に前記撮影画像を配置することによって、前記表示画像を作成する作成手段と、
前記作成手段によって作成された前記表示画像をユーザに認識させるために出力する出力手段と
を備え、
前記他の表示装置は、
前記カメラによって撮影された前記撮影画像を取得するする第三取得手段と、
前記第三取得手段によって取得された前記撮影画像を、前記表示装置に対して提供する第一提供手段と、
前記他の表示装置の位置を検出する位置検出手段と、
前記位置検出手段によって検出された前記他の表示装置の位置を示す前記位置情報を、前記表示装置に対して提供する第二提供手段と
を備えたことを特徴とする表示システム。
【請求項８】
ユーザの頭部に装着可能に構成され、表示画像を出力する表示装置によって実行される表示方法であって、
前記表示装置の向いている方向を検出する方向検出ステップと、
他のユーザの周囲を撮影可能な前記他のユーザに装着されたカメラによって撮影された撮影画像を取得する画像取得ステップと、
前記他のユーザに装着されたカメラの位置を示す位置情報を取得する位置取得ステップと、
前記方向検出ステップによって検出された前記方向、および、前記位置取得ステップによって取得された前記位置情報に基づき、前記表示装置および他の表示装置の少なくともいずれかの位置関係を特定し、前記表示画像の領域のうち、特定された前記位置関係を示す位置を、前記画像取得ステップによって取得された前記撮影画像を配置する撮影画像位置として決定する決定ステップと、
前記決定ステップによって決定された前記撮影画像位置に前記撮影画像を配置することによって、前記表示画像を作成する作成ステップと、
前記作成ステップによって作成された前記表示画像をユーザに認識させるために出力する出力ステップと
を備えたことを特徴とする表示方法。
【請求項９】
ユーザの頭部に装着可能に構成され、表示画像を出力する表示装置のコンピュータによって実行される表示プログラムであって、
前記コンピュータに、
前記表示装置の向いている方向を検出する方向検出ステップと、
他のユーザの周囲を撮影可能な前記他のユーザに装着されたカメラによって撮影された撮影画像を取得する画像取得ステップと、
前記他のユーザに装着されたカメラの位置を示す位置情報を取得する位置取得ステップと、
前記方向検出ステップによって検出された前記方向、および、前記位置取得ステップによって取得された前記位置情報に基づき、他の表示装置および前記表示装置の少なくともいずれかの位置関係を特定し、前記表示画像の領域のうち、特定された前記位置関係を示す位置を、前記画像取得ステップによって取得された前記撮影画像を配置する撮影画像位置として決定する決定ステップと、
前記決定ステップによって決定された前記撮影画像位置に前記撮影画像を配置することによって、前記表示画像を作成する作成ステップと、
前記作成ステップによって作成された前記表示画像をユーザに認識させるために出力する出力ステップと
を実行させるための表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの頭部に装着して使用される表示装置、表示システム、表示方法、および表示プログラムに関する。
【背景技術】
【０００２】
ユーザの頭部に装着された状態で使用され、ユーザに静止画像や動画像（以下、単に「画像」ともいう。）を認識させる表示装置が知られている。表示装置の一例として、ヘッドマウントディスプレイが挙げられる。用途に応じた画像をユーザに認識させる様々な種類の表示装置が提案されている。例えば、予め用意されたコンテンツ画像をユーザに認識させる表示装置が提案されている。また、複数の表示装置が通信を行うことで、互いにコンテンツ画像の共有などの連携を行う技術も提案されている。例えば、特許文献１では、他の表示装置を頭部に装着した他のユーザの位置関係を示す画像をユーザに認識させる表示装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７３０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザの周囲環境をカメラによって撮影した画像をユーザに認識させる表示装置が提案されている。このような表示装置が複数存在する場合、他のユーザの位置関係だけでなく、他の表示装置で撮像された画像もユーザに認識させることができれば便利である。しかしながら特許文献１に記載の表示装置では、他のユーザの周囲環境を示す画像と、他のユーザの位置関係とを、同時にユーザに把握させることができないという問題点があった。
【０００５】
本発明の目的は、他のユーザの周囲環境を示す画像と、他のユーザの位置とを同時にユーザに把握させることが可能な表示装置、表示システム、表示方法、および表示プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の第一態様に係る表示装置は、ユーザの頭部に装着可能に構成され、表示画像を出力する表示装置であって、前記表示装置の向いている方向を検出する方向検出手段と、他のユーザの周囲を撮影可能な前記他のユーザに装着されたカメラによって撮影された撮影画像を取得する画像取得手段と、前記他のユーザに装着されたカメラ他の表示装置の位置を示す位置情報を取得する位置取得手段と、前記方向検出手段によって検出された前記方向、および、前記位置取得手段によって取得された前記位置情報に基づき、前記他の表示装置および前記表示装置の少なくともいずれかの位置関係を特定し、前記表示画像の領域のうち、特定された前記位置関係を示すの位置を、前記画像取得手段によって取得された前記撮影画像を配置する撮影画像位置として決定する決定手段と、前記決定手段によって決定された前記撮影画像位置に前記撮影画像を配置することによって、前記表示画像を作成する作成手段と、前記作成手段によって作成された前記表示画像をユーザに認識させるために出力する出力手段とを備えている。
【０００７】
第一態様によれば、表示装置を装着したユーザは、表示画像の領域に配置された撮影画像の撮影画像位置を視認することによって、他の表示装置の位置関係を把握することができる。従ってユーザは、撮影画像によって示される他のユーザの周囲環境と他のユーザの位置関係とを、同時に認識することが可能となる。
【０００８】
第一態様において、前記決定手段は、前記表示画像の領域のうち、前記撮影画像が配置される前記撮影画像位置、および、前記撮影画像とは異なるコンテンツ画像が配置されるコンテンツ画像位置を決定し、前記作成手段は、前記決定手段によって決定された前記撮影画像位置に前記撮影画像を配置し、且つ、前記コンテンツ画像位置に前記コンテンツ画像が配置された前記表示画像を作成してもよい。これによって、表示装置を装着したユーザは、撮影画像によって示される他のユーザの周囲環境と他のユーザの位置関係とを認識し、同時に、撮影画像とは異なるコンテンツ画像を認識することが可能となる。
【０００９】
第一態様において、前記表示装置の位置を検出する位置検出手段を備え、前記決定手段は、前記方向検出手段によって検出された前記方向、前記位置検出手段によって検出された前記位置、および、前記位置取得手段によって取得された前記他の表示装置の前記位置情報に基づき、前記撮影画像位置を決定してもよい。これによって、表示装置を装着したユーザは、表示装置と他の表示装置との位置関係を把握することが可能となる。
【００１０】
第一態様において、前記決定手段は前記他の表示装置の数を特定し、記憶手段に記憶された情報であって前記他の表示装置の数に前記撮影画像位置が対応付けられた情報に基づいて、前記撮影画像位置を決定してもよい。これによって表示装置は、撮影画像位置を容易かつ短時間で決定することが可能となる。
【００１１】
第一態様において、前記決定手段は、前記コンテンツ画像位置に表示される前記コンテンツ画像の周囲のいずれかの位置に配置する前記撮影画像位置を決定してもよい。これによって表示装置を装着したユーザは、撮影画像およびコンテンツ画像をはっきり区別して認識することが可能となる。
【００１２】
第一態様において、前記決定手段は、前記表示画像の領域の上下方向を、前記ユーザの前後方向に対応させ、前記他の表示装置の位置関係を示す撮影画像位置を決定してもよい。これによって、表示装置を装着したユーザは、他の表示装置の位置関係を一見して明確に認識することが可能となる。
【００１３】
本発明の第二態様に係る表示システムは、ユーザの頭部に装着可能に構成され、表示画像を出力する表示装置と、他のユーザの頭部に装着可能に構成された他の表示装置とを備えた表示システムであって、前記表示装置は、前記表示装置の向いている方向を検出する方向検出手段と、前記他のユーザの周囲を撮影可能な前記他のユーザに装着されたカメラによって撮影された撮影画像を取得する第一取得手段と、前記他のユーザに装着されたカメラの位置を示す位置情報を取得する第二取得手段と、前記方向検出手段によって検出された前記方向、および、前記第二取得手段によって取得された前記位置情報に基づき、前記他の表示装置および前記表示装置の少なくともいずれかの位置関係を特定し、前記表示画像の領域のうち、特定された前記位置関係を示す位置を、前記第一取得手段によって取得された前記撮影画像を配置する撮影画像位置として決定する決定手段と、前記決定手段によって決定された前記撮影画像位置に前記撮影画像を配置することによって、前記表示画像を作成する作成手段と、前記作成手段によって作成された前記表示画像をユーザに認識させるために出力する出力手段とを備え、前記他の表示装置は、前記カメラによって撮影された前記撮影画像を取得する第三取得手段と、前記第三取得手段によって取得された前記撮影画像を、前記表示装置に対して提供する第一提供手段と、前記他の表示装置の位置を検出する位置検出手段と、前記位置検出手段によって検出された前記他の表示装置の位置を示す位置情報を、前記表示装置に対して提供する第二提供手段と備えている。第二態様によれば、第一態様と同様の効果を奏することができる。
【００１４】
本発明の第三態様に係る表示方法は、ユーザの頭部に装着可能に構成され、表示画像を出力する表示装置によって実行される表示方法であって、前記表示装置の向いている方向を検出する方向検出ステップと、他のユーザの周囲を撮影可能な前記他のユーザに装着されたカメラによって撮影された撮影画像を取得する画像取得ステップと、前記他のユーザに装着されたカメラの位置を示す位置情報を取得する位置取得ステップと、前記方向検出ステップによって検出された前記方向、および、前記位置取得ステップによって取得された前記位置情報に基づき、前記他の表示装置および前記表示装置の少なくともいずれかの位置関係を特定し、前記表示画像の領域のうち、特定された前記位置関係を示す位置を、前記画像取得ステップによって取得された前記撮影画像を配置する撮影画像位置として決定する決定ステップと、前記決定ステップによって決定された前記撮影画像位置に前記撮影画像を配置することによって、前記表示画像を作成する作成ステップと、前記作成ステップによって作成された前記表示画像をユーザに認識させるために出力する出力ステップとを備えている。第三態様によれは、第一態様と同様の効果を奏することができる。
【００１５】
本発明の第四態様に係る表示プログラムは、ユーザの頭部に装着可能に構成され、表示画像を出力する表示装置のコンピュータによって実行される表示プログラムであって、前記コンピュータに、前記表示装置の向いている方向を検出する方向検出ステップと、他のユーザの周囲を撮影可能な他のユーザに装着されたカメラカメラによって撮影された撮影画像を取得する画像取得ステップと、前記他のユーザに装着されたカメラの位置を示す位置情報を取得する位置取得ステップと、前記方向検出ステップによって検出された前記方向、および、前記位置取得ステップによって取得された前記位置情報に基づき、前記他の表示装置および前記表示装置の少なくともいずれかの位置関係を特定し、前記表示画像の領域のうち、特定された前記位置関係を示す位置を、前記画像取得ステップによって取得された前記撮影画像を配置する撮影画像位置として決定する決定ステップと、前記決定ステップによって決定された前記撮影画像位置に前記撮影画像を配置することによって、前記表示画像を作成する作成ステップと、前記作成ステップによって作成された前記表示画像をユーザに認識させるために出力する出力ステップとを実行させる。第四態様によれば、第一態様と同様の効果を奏することができる。
【図面の簡単な説明】
【００１６】
【図１】ＨＭＤ１の外観を示す斜視図である。
【図２】投影装置１００および制御装置２００の電気的構成を示すブロック図である。
【図３】ユーザ７０〜７４の配置、および表示画像１１０、１２１を示す図である。
【図４】投影装置第一処理を示すフローチャートである。
【図５】投影装置第二処理を示すフローチャートである。
【図６】テーブル２４を示す図である。
【図７】マッピング情報３１２を示す図である。
【図８】制御装置処理を示すフローチャートである。
【図９】表示画像１３０、１４０を示す図である。
【図１０】変形例における投影装置第一処理を示すフローチャートである。
【図１１】変形例における位置決定処理を示すフローチャートである。
【図１２】マッピング情報３１３、およびマトリクステーブル２５を示す図である。
【図１３】マッピング情報３１４、および表示画像１５１を示す図である。
【図１４】マッピング情報３１５、および表示画像１６０を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態について、図面を参照して説明する。図１に示すヘッドマウントディスプレイ１（以下、ＨＭＤ１という）は、ユーザの眼の前方に画像として視認されるように表示画像を表示する。図１の上方向、下方向、右斜め下方向、左斜め上方向、右斜め上方向、左斜め下方向が、夫々、ＨＭＤ１の上方向、下方向、前方向、後方向、右方向、左方向である。
【００１８】
図１を参照し、ＨＭＤ１の構成について説明する。ＨＭＤ１は、投影装置１００及び制御装置２００を備える。投影装置１００は専用の装着具である眼鏡９１に装着して使用される。投影装置１００は、ユーザが日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。投影装置１００は、ユーザの眼に画像光を照射する。投影装置１００はハーネス１５０を介して制御装置２００と着脱可能に接続する。制御装置２００は、例えばユーザの腰ベルト等に装着して使用される。制御装置２００は、投影装置１００を制御する。
【００１９】
投影装置１００の構成について説明する。投影装置１００は筐体２を備える。筐体２の内部には、例えば、画像表示部と、接眼光学系とが含まれる。画像表示部は、制御装置２００からハーネス１５０を介して送信される映像信号に基づいて、画像を表示する。画像表示部は、例えば、液晶素子などの空間変調素子及び光源、有機ＥＬ（ElectroLuminescent）素子、二次元光スキャナ及び光源からなる網膜走査型表示部などであってよい。接眼光学系は、画像表示部に表示された画像を示す画像光を、ユーザの眼に導くために集光する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー８（以下、ＨＭ８という）によって少なくとも一部（例えば半分）が反射され、ユーザの左の眼球（図示略）に入射する。ＨＭ８は外界の実像からの光の少なくとも一部を透過するので、ユーザは、自己の視野において実像（外界の風景）に重畳して画像を視認できる。
【００２０】
図１に示すように、筐体２の前面且つＨＭ８の右側に、円形状の小孔部４０が設けられる。小孔部４０から、カメラ３９が露出する。カメラ３９は、ユーザの視野前方の外界の風景の画像を撮像する。
【００２１】
眼鏡９１は、投影装置１００をユーザの頭部に保持するための構成である。投影装置１００は、支持部９６によって、眼鏡９１に取り付けられる。支持部９６はユーザ側から見て上面左端側（図１における上面右端）に設けられる。支持部９６は下方延出部９８を備える。下方延出部９８はユーザの顔の左前方において上下方向に延出する。下方延出部９８の前面に、ノコギリ状の凹凸を有する歯部（図示略）が長手方向に設けられる。筐体２の眼鏡９１に対向する部分に取付部４９が設けられる。取付部４９は、下方延出部９８に取り付けられる。なお、眼鏡９１自体の形状は、通常の眼鏡に類似のため、詳細な説明は省略される。
【００２２】
制御装置２００の構成について説明する。制御装置２００は、例えば略直方体状のシステムボックスである。制御装置２００は操作部５１を備える。ユーザは、投影装置１００におけるコンテンツ画像（後述）の選択、画像中の背景部分の選択等の各種操作を、操作部５１を介して行うことが可能である。制御装置２００はコネクタ４７１を備える。コネクタ４７１には、通信ケーブルを接続することが可能である。制御装置２００は、通信ケーブルや無線通信などを介してＰＣ（図示外）と接続し、ＰＣと通信を行うことが可能である。
【００２３】
なお、通信ケーブルや無線通信などを介して制御装置２００と接続する機器はＰＣに限定されない。例えば、通信ケーブルや無線通信などを介して制御装置２００と接続する機器はスマートフォンであってもよい。
【００２４】
図２を参照し、投影装置１００の電気的構成について説明する。投影装置１００は、投影装置１００全体の制御を司るＣＰＵ２１を備える。ＣＰＵ２１は、ＲＯＭ２３、ＲＡＭ２５、方位センサ２７、表示制御部２９、ディスプレイ１２、カメラ３９、位置センサ３５、および第一有線通信部３７と電気的に接続する。ＲＯＭ２３は、ＣＰＵ２１の各種プログラム等を記憶する。なおプログラムは、投影装置１００の出荷時にＲＯＭ２３に記憶されてもよい。また、ＣＰＵ２１のプログラムは、後述する制御装置２００のフラッシュメモリ４７に記憶されてもよい。制御装置２００は、通信ケーブルや無線通信などを介してＰＣからＣＰＵ２１のプログラムを受信し、フラッシュメモリ４７に記憶してもよい。なおＰＣは、ネットワーク網を介してサーバからＣＰＵ２１のプログラムを取得してもよい。ＣＰＵ２１のプログラムは、ハーネス１５０を介して制御装置２００から投影装置１００に送信されてもよい。ＣＰＵ２１は、制御装置２００からプログラムを受信し、ＲＯＭ２３に記憶してもよい。ＲＡＭ２５は、各種データを一時的に記憶する。
【００２５】
方位センサ２７は、例えば、地磁気を検知することで投影装置１００の向いている方角を検出する電子コンパスである。なお以下、投影装置１００の向いている方角を、ＨＭＤ１の向いている方角と言い換える。表示制御部２９は、ディスプレイ１２に画像を表示させるためにディスプレイ１２を制御する。以下、ディスプレイ１２に表示させる画像を、表示画像という。カメラ３９は、静止画像又は動画像（以下、「撮影画像」という。）を撮影する。位置センサ３５は、例えばＨＭＤ１の位置を示す座標情報を検出するためのＧＰＳモジュールである。第一有線通信部３７は、ハーネス１５０（図１参照）を介して制御装置２００と有線通信を行う。
【００２６】
制御装置２００の電気的構成について説明する。制御装置２００は、制御装置２００全体の制御を司るＣＰＵ４１を備える。ＣＰＵ４１は、ＲＯＭ４３、ＲＡＭ４５、フラッシュメモリ４７、第二有線通信部４８、操作部５１、無線通信部５３、および外部通信部５５と電気的に接続する。ＲＯＭ４３は、ＣＰＵ４１の各種プログラム等を記憶する。なおプログラムは、制御装置２００の出荷時にＲＯＭ４３に記憶されてもよい。また、ＣＰＵ４１のプログラムは、フラッシュメモリ４７に記憶されてもよい。ＣＰＵ４１は、フラッシュメモリ４７に記憶されたプログラムをＲＯＭ４３に記憶してもよい。またＣＰＵ４１は、通信ケーブルや無線通信などを介してＰＣからＣＰＵ４１のプログラムを受信し、ＲＯＭ４３に記憶してもよい。なおＰＣは、ネットワーク網を介してサーバからＣＰＵ４１のプログラムを取得してもよい。ＲＡＭ４５は、各種データを一時的に記憶する。フラッシュメモリ４７は、コンテンツ画像（後述）のデータを記憶する。フラッシュメモリ４７には、ＣＰＵ２１、４１のプログラムが記憶されてもよい。第二有線通信部４８は、ハーネス１５０を介して投影装置１００と有線通信を行う。無線通信部５３は、他のＨＭＤ１との間で無線通信を行う。外部通信部５５は、通信ケーブルを介してＰＣと有線通信を行う。
【００２７】
ディスプレイ１２に表示する表示画像について、他のＨＭＤ１との位置関係を参照しつつ説明する。ＨＭＤ１は、他のＨＭＤ１のカメラ３９によって撮影された撮影画像を、他のＨＭＤ１と無線通信を行うことによって取得する。またＨＭＤ１は、他のＨＭＤ１の位置センサ３５によって検出された座標情報を、他のＨＭＤ１と無線通信を行うことによって取得する。ＨＭＤ１は、方位センサ２７を介してＨＭＤ１の向いている方角を検出する。ＨＭＤ１は、他のＨＭＤ１との通信によって取得した座標情報および撮影画像と、検出された方角とに基づき、表示画像を作成する。詳細は以下のとおりである。
【００２８】
図３のうち配置１０９は、ＨＭＤ６０、６１、６２、６３、６４をそれぞれ装着したユーザ７０、７１、７２、７３、７４を、ユーザ７０〜７４の上方から見た状態を示している。配置１０９の上側、下側、左側、および右側が、それぞれ、北、南、西、および東の方角に相当する。ユーザ７０の左斜め前方にユーザ７１が配置し、左斜め後方にユーザ７２が配置し、右斜め前方にユーザ７３が配置し、右斜め後方にユーザ７４が配置している。なお、ＨＭＤ６０〜６４の符号は、それぞれ、ＨＭＤ６０〜６４のＩＤも示しているものとする。
【００２９】
ＨＭＤ６０〜６４は、それぞれ、ユーザの視野前方の外界の風景を示す撮影画像を、カメラ３９によって撮影する。ＨＭＤ６０〜６４は、それぞれ、ＨＭＤ６０〜６４の位置を示す座標情報を、位置センサ３５によって検出する。ＨＭＤ６１〜６４は、それぞれ、撮影画像および座標情報をＨＭＤ６０に送信する。ＨＭＤ６０は、ＨＭＤ６１〜６４から送信された撮影画像および座標情報を受信する。ＨＭＤ６０は、方位センサ２７によってＨＭＤ６０の向いている方角を検出する。ＨＭＤ６０は、座標情報および方角に基づき、表示画像内に配置する撮影映像の位置を決定する。ＨＭＤ１は、決定した位置に撮影映像を配置することによって、表示画像を作成する。
【００３０】
図３のうち表示画像１１０は、作成される表示画像の第一例を示している。表示画像１１０の表示領域は、上下方向及び左右方向にそれぞれ２分割ずつ、合計４分割されている。左上の領域２１１に、ＨＭＤ６１から受信した撮影画像１１１が配置される。左下の領域２１２に、ＨＭＤ６２から受信した撮影画像１１２が配置される。右上の領域２１３に、ＨＭＤ６３から受信した撮影画像１１３が配置される。右下の領域２１４に、ＨＭＤ６４から受信した撮影画像１１４が配置される。
【００３１】
表示画像１１０中の領域２１１〜２１４の位置は、それぞれ、ＨＭＤ６０の向いている方角を基準とした場合のＨＭＤ６１〜６４の相対的な位置関係を示す。具体的には次のとおりである。ＨＭＤ６０は北の方角を向いているので、表示画像１１０の上側が北の方角に対応付けられる。また、表示画像１１０の下側、左側、および右側が、それぞれ、南、西、および東の方角に対応付けられる。ＨＭＤ６１は、ＨＭＤ６１〜６４のうち最も北西に配置しているので、撮影画像１１１は左上（北西）の領域２１１に配置される。ＨＭＤ６２は、ＨＭＤ６１〜６４のうち最も南西に配置しているので、撮影画像１１２は左下（南西）の領域２１２に配置される。ＨＭＤ６３は、ＨＭＤ６１〜６４のうち最も北東に配置しているので、撮影画像１１３は右上（北東）の領域２１３に配置される。ＨＭＤ６４は、ＨＭＤ６１〜６４のうち最も南東に配置しているので、撮影画像１１４は右下（南東）の領域２１４に配置される。表示画像１１０を視認するＨＭＤ６０のユーザ７０は、ＨＭＤ６１〜６４を装着したユーザ７１〜７４の視野前方の外界の風景を、撮影画像１１１〜１１４によって認識できる。同時にユーザ７０は、撮影画像１１１〜１１４の配置に基づき、ＨＭＤ６１〜６４の位置関係を一見して明確に認識することが可能となる。
【００３２】
なお、ＨＭＤ６１〜６４の位置関係は、ＨＭＤ６０の向いている方角を基準に決定される。このため、ＨＭＤ６０を装着したユーザ７０の位置が、位置７００〜７０３に変化しても、ＨＭＤ６０の向いている方角（北）が変化しない限り、表示画像１１０は変化しない。
【００３３】
一方、例えば配置１０９のうち、ユーザ７０が１８０度反転し、ＨＭＤ６０が南の方角を向いた場合を想定する。図３のうち表示画像１２１は、ＨＭＤ６０が南の方角を向いた状態を示している。ＨＭＤ６０は南の方角を向いているので、表示画像１２１の上側が南の方角に対応付けられる。また、表示画像１２１の下側、左側、および右側が、それぞれ、北、東、および西の方角に対応付けられる。ＨＭＤ６４によって撮影された撮影画像１１４は、左上（南東）の領域２１１に配置される。ＨＭＤ６３によって撮影された撮影画像１１３は、左下（北東）の領域２１２に配置される。ＨＭＤ６２によって撮影された撮影画像１１２は、右上（南西）の領域２１３に配置される。ＨＭＤ６１によって撮影された撮影画像１１１は、右下（北西）の領域２１４に配置される。このようにＨＭＤ６０は、ＨＭＤ６０の向いている方角に応じて撮影画像の配置を変更することができる。このためユーザ７０は、どの方角を向いた状態でも、ＨＭＤ６１〜６４の位置関係を確実に認識することが可能となる。
【００３４】
図４および図５を参照し、ＨＭＤ１の投影装置１００のＣＰＵ２１において実行される投影装置第一処理および投影装置第二処理について説明する。ＣＰＵ２１は、投影装置１００の電源がＯＮされた場合に、ＲＯＭ２３に記憶されたプログラムを実行することによって、投影装置第一処理および投影装置第二処理を開始する。ＣＰＵ２１は、投影装置第一処理および投影装置第二処理を並列して実行する。なお以下では、ＨＭＤ６０〜６４（図３、配置１０９参照）を装着したユーザ７０〜７４が、配置１０９で示される状態で配置していることを想定する。ユーザ７０は、位置７００に配置する。ＨＭＤ６０の投影装置１００のＣＰＵ２１によって実行される投影装置第一処理および投影装置第二処理について、具体的に説明する。
【００３５】
図４を参照し、投影装置第一処理について説明する。ＣＰＵ２１は、方位センサ２７を介してＨＭＤ６０の向いている方角を検出する（Ｓ１１）。ＣＰＵ２１は、第一有線通信部３７を介して制御装置２００から、ＨＭＤ６１〜６４のカメラ３９によって撮影された撮影画像１１１〜１１４（図３、表示画像１１０参照）のデータを取得する（Ｓ１２）。なお、制御装置２００から取得される撮影画像１１１〜１１４のデータには、それぞれ、撮影画像を撮影したＨＭＤ６１〜６４のＩＤ（ＩＤ６１〜６４）が対応付けられている（Ｓ４３、図８参照、後述）。ＣＰＵ２１は、取得した撮影画像１１１〜１１４のデータのそれぞれにＩＤ６１〜６４を対応付け、ＲＡＭ２５に記憶する。
【００３６】
ＣＰＵ２１は、取得した撮影画像の数を特定することによって、無線による通信が可能なＨＭＤ６１〜６４の数を特定する（Ｓ１３）。以下、特定された他のＨＭＤ１の数を、変数Ｎ（＝４）と表記する。ＣＰＵ２１は、ＲＯＭ２３に記憶されたテーブル２４（図６参照、後述）を参照することによって、変数Ｎに応じた撮影画像１１１〜１１４の配置を決定する（Ｓ１５）。
【００３７】
図６はテーブル２４を示している。テーブル２４には、変数Ｎおよび撮影画像の配置（以下、撮影画像位置ともいう。）が対応付けて記憶される。例えば変数Ｎが１である場合、表示画像の表示領域全体に領域Ｃ１が配置している。領域Ｃ１には、１つの撮影画像が配置される。また例えば変数Ｎが２である場合、表示画像の表示領域の上下略中央に、左右方向に２つの領域Ｃ１、Ｃ２が並べて設けられる。領域Ｃ１、Ｃ２のそれぞれに、撮影画像が１ずつ配置される。なお、表示領域の左右端の上下方向中央に配置する中点Ｍ１、Ｍ２は、それぞれ、Ｃ１、Ｃ２に対応付けられている。
【００３８】
また例えば変数Ｎが３である場合、表示画像の表示領域は、上下方向および左右方向にそれぞれ２分割ずつ、合計４分割される。４分割されたそれぞれの領域のうち、左下、右下、および右上の領域が、それぞれ、領域Ｃ１、Ｃ２、Ｃ３として設けられる。領域Ｃ１〜Ｃ３のそれぞれに、撮影画像が１つずつ配置される。なお、表示領域の左下の頂点Ｖ１、右下の頂点Ｖ２、および、右上の頂点Ｖ３は、それぞれ、Ｃ１、Ｃ２、Ｃ３に対応付けられている。
【００３９】
また例えば変数Ｎが４である場合、表示画像の表示領域は、変数Ｎが３である場合と同様、上下方向および左右方向にそれぞれ２分割ずつ、合計４分割される。４分割されたそれぞれの領域のうち、左下、右下、右上、および左上の領域が、それぞれ、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４として設けられる。領域Ｃ１〜Ｃ４のそれぞれに、撮影画像が１つずつ配置される。なお、表示領域の左下の頂点Ｖ１、右下の頂点Ｖ２、右上の頂点Ｖ３、および、左上の頂点Ｖ４は、それぞれ、領域Ｃ１、Ｃ２、Ｃ３，Ｃ４に対応付けられている。頂点Ｖ１〜Ｖ４の詳細については後述する。
【００４０】
ＣＰＵ２１は、Ｓ１３（図４参照）で特定した変数Ｎに対応する撮影画像位置を、テーブル２４を参照して特定することができる。このためＣＰＵ２１は、変数Ｎに応じた撮影画像位置を、容易かつ短時間で決定することができる。
【００４１】
図４に示すように、ＣＰＵ２１は、変数Ｎに応じた撮影画像位置を決定した後（Ｓ１５）、第一有線通信部３７を介して制御装置２００から、ＨＭＤ６１〜６４の位置を示す座標情報（座標情報Ｐ１、Ｐ２、Ｐ３、Ｐ４）を取得する（Ｓ１７）。なお、制御装置２００から取得される座標情報Ｐ１〜Ｐ４には、対応するＨＭＤ６１〜６４のＩＤが対応付けられている（Ｓ４３、図８参照、後述）。ＣＰＵ２１は、撮影画像１１１〜１１４のデータのそれぞれに対応付けられたＩＤと、座標情報Ｐ１〜Ｐ４のそれぞれに対応付けられたＩＤとが一致するように、撮影画像１１１〜１１４のデータに座標情報Ｐ１〜Ｐ４を対応付け、ＲＡＭ２５に記憶する。ＣＰＵ２１は、取得した座標情報Ｐ１〜Ｐ４を２次元上に仮想的にマッピングする（Ｓ１９）。ＣＰＵ２１は、Ｓ１９でマッピングした座標情報Ｐ１〜Ｐ４に基づき、ＨＭＤ６１〜６４の位置関係を以下のようにして特定する（Ｓ２０〜Ｓ２７）。
【００４２】
ＨＭＤ６１〜６４の位置関係の特定方法について、図７を参照しつつ具体的に説明する。Ｓ１１で、ＨＭＤ６０の向いている方角として北の方角が検出されたことを想定する。図７では、座標情報Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、Ｐ３（ｘ３，ｙ３）、Ｐ４（ｘ４，ｙ４）が２次元上に仮想的にマッピングされている。図７の上側、下側、左側、および右側が、それぞれ、北、南、西、および東の方角に相当する。
【００４３】
ＣＰＵ２１は、仮想的にマッピングした座標情報Ｐ１〜Ｐ４の全てを四方から覆う四角形３１１を定義する。以下、四角形３１１で囲まれた領域および領域内に示される座標情報Ｐ１〜Ｐ４を、マッピング情報３１２という。ＣＰＵ２１は、四角形３１１の頂点Ｖ１〜Ｖ４の座標情報（Ｖ１（Ｑ１，Ｒ１）、Ｖ２（Ｑ２，Ｒ２）、Ｖ３（Ｑ３，Ｒ３）、Ｖ４（Ｑ４，Ｒ４））を特定する（Ｓ２０）。ＣＰＵ２１は、特定した頂点Ｖ１〜Ｖ４のうちＶ１を選択する（Ｓ２１）。ＣＰＵ２１は、選択した頂点Ｖ１から最も近い位置に配置する座標情報Ｐ２を、座標情報Ｐ１〜Ｐ４から選択する（Ｓ２３）。ＣＰＵ２１は、選択した座標情報Ｐ２に対応付けられた撮影画像１１２を、ＲＡＭ２５を参照することによって抽出する。ＣＰＵ２１は、頂点Ｖ１に対応付けられた領域Ｃ１を、テーブル２４（図６参照）を参照して特定する。ＣＰＵ２１は、特定した領域Ｃ１に、抽出した撮影画像１１２を配置する（Ｓ２５）。
【００４４】
ＣＰＵ２１は、Ｓ２３で選択された座標情報Ｐ２を、Ｓ２３で次に選択対象とする座標情報から除外する（Ｓ２６）。ＣＰＵ２１は、変数Ｎ（４）から１減算したＮ−１（３）回分、Ｓ２１〜Ｓ２６の処理を繰り返し実行したか判断する（Ｓ２７）。この状態では、処理はＮ−１回分繰り返されていないので（Ｓ２７：ＮＯ）、処理はＳ２１に戻る。
【００４５】
次にＣＰＵ２１は、頂点Ｖ２を選択する（Ｓ２１）。ＣＰＵ２１は、選択した頂点Ｖ２から最も近い位置に配置する座標情報Ｐ４を、座標情報Ｐ１、Ｐ３、Ｐ４から選択する（Ｓ２３）。ＣＰＵ２１は、選択した座標情報Ｐ４に対応付けられた撮影画像１１４を、ＲＡＭ２５を参照することによって抽出する。ＣＰＵ２１は、頂点Ｖ２に対応する領域Ｃ２に、抽出した撮影画像１１４を配置する（Ｓ２５）。ＣＰＵ２１は、Ｓ２３で選択された座標情報Ｐ４を、Ｓ２３で次に選択対象とする座標情報から除外する（Ｓ２６）。処理はＳ２１に戻る（Ｓ２７：ＮＯ）。
【００４６】
次にＣＰＵ２１は、頂点Ｖ３を次に選択する（Ｓ２１）。ＣＰＵ２１は、選択した頂点Ｖ３から最も近い位置に配置する座標情報Ｐ３を、座標情報Ｐ１、Ｐ３から選択する（Ｓ２３）。ＣＰＵ２１は、選択した座標情報Ｐ３に対応付けられた撮影画像１１３を抽出し、頂点Ｖ３に対応する領域Ｃ３に、抽出した撮影画像１１３を配置する（Ｓ２５）。ＣＰＵ２１は、Ｓ２３で選択された座標情報Ｐ３を、Ｓ２３で次に選択対象とする座標情報から除外する（Ｓ２６）。
【００４７】
上述までの処理の結果、Ｓ２１〜Ｓ２６の処理はＮ−１（３）回分繰り返されたことになる（Ｓ２７：ＹＥＳ）。ＣＰＵ２１は、残った座標情報Ｐ１に対応付けられた撮影画像１１１を抽出し、残った頂点Ｖ４に対応する領域Ｃ４に、抽出した撮影画像１１１を配置する（Ｓ２９）。これによって表示画像１１０（図３、表示画像１１０参照）が作成される。ＣＰＵ２１は、表示制御部２９を制御することによって、作成した表示画像１１０をディスプレイ１２に表示する（Ｓ３１）。処理はＳ１１に戻る。これによってＨＭＤ１のユーザは、表示画像１１０を視認することが可能となる。
【００４８】
図５を参照し、投影装置第二処理について説明する。ＣＰＵ２１は、カメラ３９を介して撮影画像を撮影し、撮影画像のデータを取得する（Ｓ３３）。ＣＰＵ２１は、位置センサ３５を介してＨＭＤ６０の位置を示す座標情報を検出し、座標情報を取得する（Ｓ３５）。ＣＰＵ２１は、Ｓ３３で取得した撮影画像のデータ、および、Ｓ３５で検出した座標情報を、第一有線通信部３７を介して制御装置２００に送信する（Ｓ３７）。ＣＰＵ２１は、所定の周期で制御装置２００に撮影画像のデータおよび座標情報を送信するため、所定時間待機する（Ｓ３９）。所定時間の待機後、処理はＳ３３に戻り、処理は繰り返される。
【００４９】
なお、Ｓ３７で制御装置２００に対して撮影画像のデータおよび座標情報が送信された場合、制御装置２００のＣＰＵ４１は、無線通信部５３を介してＨＭＤ６１〜６４に対して、撮影画像のデータおよび座標情報を送信する（Ｓ４７、図８参照、後述）。ＨＭＤ６１〜６４の制御装置２００のＣＰＵ４１は、撮影画像のデータおよび座標情報を受信し（Ｓ４１、図８参照、後述）、投影装置１００に対して、受信した撮影画像のデータおよび座標情報を送信する（Ｓ４３、図８参照、後述）。ＨＭＤ６１〜６４の投影装置１００のＣＰＵ２１は、撮影画像のデータおよび座標情報を制御装置２００から取得し、上述した投影装置第一処理（図４参照）を実行する。ＨＭＤ６１〜６４は、ディスプレイ１２に表示画像を表示する。ＨＭＤ６１〜６４を装着したユーザ７１〜７４は、ＨＭＤ６０を装着したユーザ７０と同様、表示画像を視認することが可能となる。
【００５０】
図８を参照し、ＨＭＤ１の制御装置２００のＣＰＵ４１において実行される制御装置処理について説明する。ＣＰＵ４１は、制御装置２００の電源がＯＮされた場合に、ＲＯＭ４３に記憶されたプログラムを実行することによって、制御装置処理を開始する。なお以下では、上述した投影装置第一処理および投影装置第二処理と同様、ＨＭＤ６０〜６４（図３、配置１０９参照）を装着したユーザ７０〜７４が、配置１０９で示される状態で配置していることを想定する。ユーザ７０は、位置７００に配置する。ＨＭＤ６０の制御装置２００のＣＰＵ４１によって実行される制御装置処理について、具体的に説明する。
【００５１】
はじめにＣＰＵ４１は、無線通信部５３を介し、ＨＭＤ６１〜６４から一定時間内に撮影画像のデータおよび座標情報を受信したか判断する（Ｓ４１）。ＨＭＤ６１〜６４から撮影画像１１１〜１１４のデータおよび座標情報Ｐ１〜Ｐ４を受信したとする（Ｓ４１：ＹＥＳ）。ＣＰＵ４１は、受信した撮影画像１１１〜１１４のデータおよび座標情報Ｐ１〜Ｐ４のそれぞれに対応付けられているＩＤであって、撮影画像１１１〜１１４および座標情報を送信したＨＭＤ６１〜６４のＩＤ６１〜６４を抽出する。ＣＰＵ４１は、受信した撮影画像１１１〜１１４のデータおよび座標情報Ｐ１〜Ｐ４のそれぞれに、抽出したＩＤ６１〜６４を対応付け、第二有線通信部４８を介して投影装置１００に送信する（Ｓ４３）。処理はＳ４５に進む。一方、ＨＭＤ６１〜６４から撮影画像１１１〜１１４のデータおよび座標情報Ｐ１〜Ｐ４を受信しない場合（Ｓ４１：ＮＯ）、処理はＳ４５に進む。
【００５２】
なお、Ｓ４３で投影装置１００に対して送信された撮影画像１１１〜１１４のデータおよび座標情報Ｐ１〜Ｐ４に基づき、投影装置１００のＣＰＵ２１は、投影装置第一処理（図４参照）を実行する。
【００５３】
ＣＰＵ４１は、第二有線通信部４８を介し、撮影画像のデータおよび座標情報を投影装置１００から受信したか判断する（Ｓ４５）。撮影画像のデータおよび座標情報を投影装置１００から受信した場合（Ｓ４５：ＹＥＳ）、ＣＰＵ４１は、受信した撮影画像のデータおよび座標情報に、ＨＭＤ６０のＩＤ６０を対応付ける。ＣＰＵ４１は、ＩＤ６０を対応付けた撮影画像のデータおよび座標情報を、無線通信部５３を介してＨＭＤ６１〜６４に対して送信する（Ｓ４７）。処理はＳ４１に戻る。一方、撮影画像のデータおよび座標情報を受信しない場合（Ｓ４５：ＮＯ）、処理はＳ４１に戻る。
【００５４】
なお、Ｓ４７でＨＭＤ６１〜６４に対して送信された撮影画像のデータおよび座標情報は、ＨＭＤ６１〜６４の制御装置２００の無線通信部５３を介して受信される（Ｓ４１参照）。
【００５５】
以上説明したように、ＨＭＤ６０の投影装置１００のＣＰＵ２１は、ＨＭＤ６１〜６４の位置関係を示す位置に、ＨＭＤ６１〜６４によって撮影された撮影画像１１１〜１１４を配置することによって、表示画像１１０を作成する。このためＨＭＤ６０を装着したユーザ７０は、表示画像１１０における撮影画像１１１〜１１４の配置を認識することによって、ＨＭＤ６１〜６４の位置関係を容易に把握することができる。従ってユーザ７０は、撮影画像１１１〜１１４によって示されるユーザ７１〜７４の周囲環境と、ユーザ７１〜７４の位置関係とを、同時に認識することが可能となる。
【００５６】
なお本発明は上述の実施形態に限定されず、種々の変更が可能である。上述の実施形態では、配置１０９（図３参照）で示される位置に、ＨＭＤ６０〜６４を装着したユーザ７０〜７４が配置していることを想定した。ＨＭＤ１の台数および配置は、図３の状態に限定されない。ＨＭＤ６０が通信可能な他のＨＭＤ１の台数は、１〜３台であってもよいし、５台以上であってもよい。テーブル２４（図６参照）で示される撮影画像位置は一例であり、撮影画像は他の位置に配置されてもよい。
【００５７】
上述の実施形態では、ＣＰＵ２１は方位センサ２７を介してＨＭＤ６０の方角を検出し、検出した方角を基準として表示画像１１０を作成した。ＣＰＵ２１は、位置センサ３５によって検出された座標情報と、検出した方角とを基準として表示画像を作成してもよい。これによってＣＰＵ２１は、ＨＭＤ６１〜６４の位置関係に加え、ＨＭＤ６０の位置関係を示す表示画像を作成し、ディスプレイ１２に表示することができる。従ってＨＭＤ６０のユーザは、ＨＭＤ６１〜６４の位置関係を把握すると同時に、ＨＭＤ６１〜６４とＨＭＤ６０との位置関係も把握することができるので、ＨＭＤ６０〜６４の位置関係をさらに正確に把握することが可能となる。
【００５８】
表示画像を作成する投影装置第一処理は、投影装置１００のＣＰＵ２１によって実行される場合に限定されない。例えば同様の処理が、制御装置２００のＣＰＵ４１によって実行されても良い。ＣＰＵ４１は、作成した表示画像を、投影装置１００に対して送信しても良い。投影装置１００のＣＰＵ２１は、制御装置２００から受信した表示画像をディスプレイ１２に表示する制御を行っても良い。またＨＭＤ１は、投影装置１００および制御装置２００が一体化した構造を有していてもよい。
【００５９】
上述の実施形態では、ＨＭＤ１の投影装置１００に方位センサ２７および位置センサ３５が設けられていた。投影装置１００のＣＰＵ２１は、方位センサ２７を介してＨＭＤ１の向いている方角を検出し、位置センサ３５を介して、ＨＭＤ１の位置を示す座標情報を取得した。これに対し、投影装置１００は方位センサ２７および位置センサ３５を備えていなくても良い。投影装置１００は、外部の方位センサを介してＨＭＤ１の向いている方角を検出しても良いし、外部の位置センサ３５を介してＨＭＤ１の位置を示す座標情報を取得してもよい。同様にＨＭＤ１は、カメラ３９を備えていなくても良い。投影装置１００のＣＰＵ２１は、外部のカメラによって撮影された撮影画像のデータを取得してもよい。
【００６０】
ＣＰＵ２１は、撮影画像１１１〜１１４以外の画像を、撮影画像１１１〜１１４とともに、表示画像の表示領域に配置してもよい。例えばＣＰＵ２１は、コンテンツ画像１１５（図９参照）を、撮影画像１１１〜１１４とともに、表示画像の表示領域に配置してもよい。コンテンツ画像とは、予め用意された映像やアニメーション等の画像である。コンテンツ画像１１５は、制御装置２００のフラッシュメモリ４７に記憶される。コンテンツ画像１１５は、外部のＰＣによって作製、編集されても良い。制御装置２００は、通信ケーブルを介してＰＣからコンテンツ画像１１５を受信した場合に、フラッシュメモリ４７にコンテンツ画像１１５を記憶してもよい。また制御装置２００は、コンテンツ画像１１５の作製機能、および編集機能を備え、独自に作製、編集したコンテンツ画像１１５をフラッシュ・メモリ４７に記憶してもよい。以下、表示画像の具体例（表示画像１３０、１４０）について説明する。
【００６１】
図９の表示画像１３０は、撮影画像１１１〜１１４およびコンテンツ画像１１５を含む表示画像の第一例を示している。なお表示画像１３０は、配置１０９（図３参照）で示される状態でユーザ７０〜７４が配置している場合に、位置７００に配置するユーザ７０によって装着されたＨＭＤ６０の投影装置１００のＣＰＵ２１によって作成される。
【００６２】
表示画像１３０の表示領域は、上下方向および左右方向にそれぞれ３分割ずつ、合計９分割されている。左上の領域２２１に、ＨＭＤ６１から受信した撮影画像１１１が配置される。左下の領域２２２に、ＨＭＤ６２から受信した撮影画像１１２が配置される。右上の領域２２３に、ＨＭＤ６３から受信した撮影画像１１３が配置される。右下の領域２２４に、ＨＭＤ６４から受信した撮影画像１１４が配置される。中央の領域２２５に、コンテンツ画像１１５が配置される。撮影画像１１１〜１１４は、コンテンツ画像１１５の周囲のうち、４つの頂点に配置された状態になる。領域２２５の上下方向および左右方向の長さは、領域２２１〜２２４の上下方向および左右方向の長さよりも長い。なお、投影装置１００のＣＰＵ２１は、制御装置２００のフラッシュメモリ４７に記憶されたコンテンツ画像１１５のデータを、制御装置２００から取得し、領域２２５に配置する。
【００６３】
領域２２１〜２２４の位置は、表示画像１１０、１２１（図３参照）と同様、ＨＭＤ６０の向いている方角を基準とした場合のＨＭＤ６１〜６４の位置関係を示す。さらに領域２２５の位置は、ＨＭＤ６１〜６４とＨＭＤ６０との位置関係を示す。具体的には、ＨＭＤ６０はＨＭＤ６１に対して南東の方角（右下）に配置し、ＨＭＤ６２に対して北東の方角（右上）に配置し、ＨＭＤ６３に対して南西の方角（左下）に配置し、ＨＭＤ６４に対して北西の方角（左上）に配置していることを示す。なおＨＭＤ６０のＣＰＵ２１は、上述の実施形態と異なり、方位センサ２７によって検出された方角に加え、位置センサ３５によって検出されたＨＭＤ６０の座標情報を使用し、表示画像１３０を作成することになる。表示画像１３０を視認するＨＭＤ６０のユーザ７０は、ＨＭＤ６１〜６４を装着したユーザ７１〜７４の視野前方の外界の風景を認識できると同時に、撮影画像１１１〜１１４およびコンテンツ画像１１５の配置に基づき、ＨＭＤ６０〜６４の位置関係を一見して明確に認識することが可能となる。またユーザ７０は、撮影画像１１１〜１１４とは異なるコンテンツ画像１１５を、撮影画像１１１〜１１４と同時に認識することが可能となる。
【００６４】
図９の表示画像１４０は、撮影画像１１１〜１１４およびコンテンツ画像１１５を含む表示画像の第二例を示している。なお表示画像１４０は、配置１０９（図３参照）で示される状態でユーザ７０〜７４が配置している場合に、位置７０１に配置するユーザ７０によって装着されたＨＭＤ６０の投影装置１００のＣＰＵ２１によって作成される。
【００６５】
表示画像１４０の表示領域は、上下に２分割されている。上下方向に区分されたそれぞれの領域のうち下側の領域は、左右方向に４つに分割される。左端の領域２３１に、撮影画像１１１が配置される。左端から２番目の領域２３２に、撮影画像１１２が配置される。左端から３番目の領域２３３に、撮影画像１１４が配置される。右端の領域２３４に、撮影画像１１３が配置される。上側の領域２３５に、コンテンツ画像１１５が配置される。撮影画像１１１〜１１４は、コンテンツ画像１１５の周囲のうち下端に沿って配置された状態になる。領域２３５の上下方向および左右方向の長さは、領域２３１〜２３４の上下方向および左右方向の長さよりも長い。
【００６６】
領域２３１〜２３５の位置は、ＨＭＤ６０〜６４の位置関係を示す。具体的には次のとおりである。ＨＭＤ６０は、ＨＭＤ６１〜６４に対して北の方角に配置しているので、コンテンツ画像１１５は上側の領域２３５に配置される。ＨＭＤ６１は、ＨＭＤ６１〜６４のうち最も西の方角に配置しているので、撮影画像１１１は左（西）端の領域２３１に配置される。ＨＭＤ６２は、ＨＭＤ６１に継いで西の方角に配置しているので、撮影画像１１２は左端から２番目の領域２３２に配置される。ＨＭＤ６４は、ＨＭＤ６２に継いで西の方角に配置しているので、撮影画像１１４は左端から３番目の領域２３３に配置される。ＨＭＤ６３は、ＨＭＤ６１〜６４のうち最も東の方角に配置しているので、撮影画像１１３は右（東）端の領域２３４に配置される。なおＨＭＤ６０のＣＰＵ２１は、上述の実施形態と異なり、方位センサ２７によって検出された方角に加え、位置センサ３５によって検出されたＨＭＤ６０の座標情報を使用し、表示画像１４０を作成することになる。表示画像１４０を視認するＨＭＤ６０のユーザ７０は、表示画像１３０の場合と同様、ＨＭＤ６０〜６４の位置関係を把握すると同時に、撮影画像１１１〜１１４とは異なるコンテンツ画像１１５を、撮影画像１１１〜１１４と同時に認識することが可能となる。さらに表示画像１４０は、コンテンツ画像１１５が配置される領域２３５の大きさを大きくできるので、ユーザ７０は、コンテンツ画像１１５を良好に認識することが可能となる。
【００６７】
上述の表示画像１３０、１４０（図９参照）のように、撮影画像１１１〜１１４およびコンテンツ画像１１５を含む表示画像を作成する場合の撮影画像１１１〜１１４およびコンテンツ画像１１５の配置は、上述の実施形態のようにテーブル（例えばテーブル２４（図６参照））を参照することによって決定されてもよいし、別の方法で決定されてもよい。以下、本発明の変形例について説明する。
【００６８】
図１０および図１１を参照し、変形例における投影装置第一処理について説明する。変形例における投影装置第二処理（図５参照）および制御装置処理（図８参照）は、上述の実施形態と同一である。なお以下では、ＨＭＤ６０〜６４（図３、配置１０９参照）を装着したユーザ７０〜７４が、配置１０９で示される状態で配置していることを想定する。ユーザ７０は、位置７０１に配置する。ＨＭＤ６０の投影装置１００のＣＰＵ２１によって実行される投影装置第一処理について、具体的に説明する。
【００６９】
ＣＰＵ２１は、制御装置２００からコンテンツ画像１１５（図９参照）を取得する（Ｓ６１）。ＣＰＵ２１は、位置センサ３５を介してＨＭＤ６０の位置を示す座標情報Ｐ５（ｘ５，ｙ５）を取得する（Ｓ６２）。ＣＰＵ２１は、方位センサ２７を介して投影装置１００の向いている方角（北）を検出する（Ｓ６３）。ＣＰＵ２１は、撮影画像１１１〜１１４のデータを制御装置２００から取得する（Ｓ６５）。ＣＰＵ２１は、取得した撮影画像１１１〜１１４の数を特定することによって、変数Ｎ（＝４）を特定する（Ｓ６７）。ＣＰＵ２１は、座標情報Ｐ１〜Ｐ４を制御装置２００から取得する（Ｓ６９）。ＣＰＵ２１は、Ｓ６１で取得したコンテンツ画像１１５と、Ｓ６２で取得した座標情報Ｐ５とを対応付け、ＲＡＭ２５に記憶する。またＣＰＵ２１は、Ｓ６５で取得した撮影画像１１１〜１１４のデータと、Ｓ６９で取得した座標情報Ｐ１〜Ｐ４とを対応付け、ＲＡＭ２５に記憶する。ＣＰＵ２１は、座標情報Ｐ１〜Ｐ５を２次元上に仮想的にマッピングする（Ｓ７１）（図１２参照）。ＣＰＵ２１は、ＨＭＤ６０〜６４の位置関係を以下のようにして特定する（Ｓ７２〜Ｓ８１）。
【００７０】
ＨＭＤ６０〜６４の位置関係の特定方法について、図１２を参照しつつ説明する。ＣＰＵ２１は、仮想的にマッピングした座標情報Ｐ１〜Ｐ５全てを四方から覆う四角形３１１を、２次元上に定義することによって、マッピング情報３１３を作成する。ＣＰＵ２１は、四角形３１１の頂点Ｖ１〜Ｖ４の座標情報（Ｖ１（Ｑ１，Ｒ１）、Ｖ２（Ｑ２，Ｒ２）、Ｖ３（Ｑ３，Ｒ３）、Ｖ４（Ｑ４，Ｒ４））を特定する。ＣＰＵ２１は、四角形３１１の各辺の中点Ｍ１〜Ｍ４の座標情報（Ｍ１（Ｓ１，Ｔ１）、Ｍ２（Ｓ２，Ｔ２）、Ｍ３（Ｓ３，Ｔ３）、Ｍ４（Ｓ４，Ｔ４））を特定する（Ｓ７２）。
【００７１】
ＣＰＵ２１は、四角形３１１を上下方向および左右方向に２分割ずつ、合計４分割した場合のそれぞれの領域３１６、３１７、３１８、３１９を順番に選択する（Ｓ７３）。以下、領域３１６、３１７、３１８、３１９を、それぞれ第Ｘ領域（Ｘ＝１、２、３、４）という。ＣＰＵ２１は、第１領域３１６、第２領域３１７、第３領域３１８、および第４領域３１９を順番に選択することになる。
【００７２】
ＣＰＵ２１は、はじめに第１領域３１６を選択する。ＣＰＵ２１は、第１領域３１６内に配置する座標情報があるかを判断する（Ｓ７５）。第１領域３１６には座標情報Ｐ１、Ｐ２が配置しているので（Ｓ７５：ＹＥＳ）、次にＣＰＵ２１は、第１領域３１６内における座標情報Ｐ１、Ｐ２の詳細位置を決定するため、位置決定処理（図１１参照、後述）を実行する（Ｓ７９）。
【００７３】
図１２で示されるマトリクステーブル２５は、第Ｘ領域内の座標情報の詳細位置を決定するために用いられる。マトリクステーブル２５は、ＲＯＭ２３に記憶されている。マトリクステーブル２５は、第Ｘ領域（Ｘ＝１、２、３、４）のそれぞれを上下方向および左右方向にそれぞれ２分割ずつ、合計４分割した分割領域を定義する。第Ｘ領域は、Ｘ−１領域、Ｘ−２領域、Ｘ−３領域、およびＸ−３領域に分割される。Ｘ−１領域は、第Ｘ領域のうち頂点に近接する領域である。Ｘ−２領域は、Ｘ−１領域に対して上下方向に隣接する領域である。Ｘ−３領域は、Ｘ−１領域に対して左右方向に隣接する領域である。Ｘ−４領域は、Ｘ−１領域に対して対角位置に配置する領域である。
【００７４】
図１１を参照し、位置決定処理について説明する。ＣＰＵ２１は、Ｓ７３（図１０参照）で選択した第１領域３１６（図１２参照）内に配置する座標情報Ｐ１、Ｐ２のうち、頂点Ｖ１から最も近い位置に配置する座標情報Ｐ１を選択する（Ｓ９１）。ＣＰＵ２１は、頂点Ｖ１から最も近い位置に配置する座標情報を最初に選択したか判断する（Ｓ９３）。この場合、頂点Ｖ１から最も近い位置に配置する座標情報Ｐ１を最初に選択しているので（Ｓ９３：ＹＥＳ）、ＣＰＵ２１は、選択した座標情報Ｐ１を、Ｘ−１領域に配置する（Ｓ１０９）。Ｘは１であるため、座標情報Ｐ１は１−１領域（図１２参照）に配置されることになる。処理はＳ１１１に進む。
【００７５】
ＣＰＵ２１は、Ｓ９１で選択された座標情報Ｐ１を、Ｓ９１で次に選択対象とする座標情報から除外する（Ｓ１１１）。ＣＰＵ２１は、第１領域３１６内に配置する座標情報の全ての配置が完了したか判断する（Ｓ１１３）。座標情報Ｐ２が残っているので（Ｓ１１３：ＮＯ）、処理はＳ９１に戻る。
【００７６】
次いでＣＰＵ２１は、座標情報Ｐ１を除く座標情報Ｐ２を選択する（Ｓ９１）。頂点Ｖ１から最も近い位置に配置する座標情報として座標情報Ｐ１が最初に選択されており、座標情報Ｐ２は２回目に選択されている（Ｓ９３：ＮＯ、Ｓ９５：ＹＥＳ）。ＣＰＵ２１は、座標情報Ｐ２からの距離が近い中点を、上下方向の中点Ｍ４、および、左右方向の中点Ｍ１のうちいずれかから選択する。図１２に示すように、座標情報Ｐ２と中点Ｍ１との間の距離のほうが、座標情報Ｐ２と中点Ｍ４との間の距離よりも短い（Ｓ９７：ＮＯ）。この場合にＣＰＵ２１は、座標情報Ｐ２を、Ｘ−３領域に配置する（Ｓ１０１）。Ｘは１であるため、座標情報Ｐ１は１−３領域（図１２参照）に配置されることになる。処理はＳ１１１に進む。
【００７７】
ＣＰＵ２１は、Ｓ９１で選択された座標情報Ｐ２を、Ｓ９１で次に選択対象とする座標情報から除外する（Ｓ１１１）。ＣＰＵ２１は、第１領域３１６内に配置する座標情報の全ての配置が完了したか判断する（Ｓ１１３）。座標情報Ｐ１、Ｐ２の配置が完了しているので（Ｓ１１３：ＹＥＳ）、位置決定処理は終了し、処理は投影装置第一処理（図１０参照）に戻る。
【００７８】
図１０に示すように、位置決定処理（Ｓ７９）の終了後、ＣＰＵ２１は、第Ｘ領域の全てに対して位置決定処理（図１１参照）を実行したか判断する（Ｓ８１）。第２領域３１７、第３領域３１８、および第４領域３１９に対して位置決定処理が実行されていないので（Ｓ８１：ＮＯ）処理はＳ７３に戻る。ＣＰＵ２１は、第２領域３１７を次に選択する（Ｓ７３）。第２領域３１７には座標情報Ｐ３、Ｐ４が配置しているので（Ｓ７５：ＹＥＳ）、ＣＰＵ２１は位置決定処理（図１１参照）を実行する（Ｓ７９）。
【００７９】
図１１に示すように、ＣＰＵ２１は、Ｓ７３（図１０参照）で選択した第２領域３１７（図１２参照）内に配置する座標情報Ｐ３、Ｐ４のうち、頂点Ｖ１から最も近い位置に配置する座標情報Ｐ３を選択する（Ｓ９１）。ＣＰＵ２１は、座標情報Ｐ３を最初に選択しているので（Ｓ９３：ＹＥＳ）、選択した座標情報Ｐ３を、Ｘ−１領域に配置する（Ｓ１０９）。Ｘは２であるため、座標情報Ｐ３は２−１領域（図１２参照）に配置されることになる。次いでＣＰＵ２１は、座標情報Ｐ３を除く座標情報Ｐ４を選択する（Ｓ９１）。座標情報Ｐ４は２回目に選択されているので（Ｓ９３：ＮＯ、Ｓ９５：ＹＥＳ）、ＣＰＵ２１は、座標情報Ｐ４からの距離が近い中点を、上下方向の中点Ｍ４、および、左右方向の中点Ｍ２のうちいずれかから選択する。図１２に示すように、座標情報Ｐ４と中点Ｍ１との間の距離のほうが、座標情報Ｐ４と中点Ｍ２との間の距離よりも短い（Ｓ９７：ＮＯ）。ＣＰＵ２１は、Ｘ−３領域に座標情報Ｐ４を配置する（Ｓ１０１）。Ｘは２であるため、座標情報Ｐ４は２−３領域（図１２参照）に配置されることになる。位置決定処理は終了し、処理は投影装置第一処理（図１０参照）に戻る。
【００８０】
図１０に示すように、位置決定処理（Ｓ７９）の終了後、第３領域３１８、および第４領域３１９に対して位置決定処理が実行されていないので（Ｓ８１：ＮＯ）処理はＳ７３に戻る。ＣＰＵ２１は、第３領域３１７を次に選択する（Ｓ７３）。第３領域３１７内には座標情報が配置していないので（Ｓ７５：ＮＯ）、処理はＳ８１に進む。第４領域３１９に対して位置決定処理が実行されていないので（Ｓ８１：ＮＯ）処理はＳ７３に戻る。ＣＰＵ２１は、第４領域３１７を次に選択する（Ｓ７３）。第３領域３１７内には座標情報が配置していないので（Ｓ７５：ＮＯ）、処理はＳ８１に進む。第Ｘ領域の全てに対して位置決定処理が実行されたことになる（Ｓ８１：ＹＥＳ）。処理はＳ８２に進む。
【００８１】
位置決定処理（図１１）が繰り返された結果、１−１領域に座標情報Ｐ１が配置され、１−３領域に座標情報Ｐ２が配置され、２−３領域に座標情報Ｐ４が配置され、２−１領域に座標情報Ｐ３が配置された状態になっている。ＣＰＵ２１は、座標情報Ｐ１〜Ｐ４のそれぞれに対応する撮影画像１１１〜１１４を、ＲＡＭ２３から抽出する。ＣＰＵ２１は、抽出した撮影画像１１１〜１１４のそれぞれを、座標情報Ｐ１〜Ｐ４が配置された領域（１−１領域、１−３領域、２−１領域、２−３領域）に配置する。またＣＰＵ２１は、表示領域のうち撮影画像が配置されていない領域に、コンテンツ画像１１５を配置する（Ｓ８２）。撮影画像１１１〜１１４の上側と、コンテンツ画像１１５の下側とが接した状態になる。このようにして表示画像１４０（図９参照）が作成される。撮影画像１１１〜１１４の大きさと比較して、コンテンツ画像１１５の大きさは大きくなる。ＣＰＵ２１は、作成した表示画像１４０をディスプレイ１２に表示する（Ｓ８３）。処理はＳ６１に戻る。ユーザ７０は、撮影画像１１１〜１１４およびコンテンツ画像１１５を認識することが可能となる。またユーザ７０は、表示領域の大きなコンテンツ画像１１５を良好に認識することが可能となる。
【００８２】
一方、例えばＨＭＤ６０〜６４（配置１０９、図３参照）を装着したユーザ７０〜７４が、配置１０９で示される状態で配置し、且つユーザ７０は、位置７０２に配置している状態を想定する。この状態で実行される位置決定処理について説明する。図１３のマッピング情報３１４は、座標情報Ｐ１〜Ｐ５が２次元上に仮想的にマッピングされた結果を示している。図１１に示すように、ＣＰＵ２１は、Ｓ７３（図１０参照）で選択した第１領域３１６（図１２参照）内に配置する座標情報Ｐ２、Ｐ４のうち、頂点Ｖ１から最も近い位置に配置する座標情報Ｐ２を選択する（Ｓ９１）。ＣＰＵ２１は、座標情報Ｐ２を最初に選択しているので（Ｓ９３：ＹＥＳ）、Ｘ−１領域に座標情報Ｐ２を配置する（Ｓ１０９）。Ｘは１であるため、座標情報Ｐ２は１−１領域（図１２参照）に配置されることになる。次いでＣＰＵ２１は座標情報Ｐ４を選択する（Ｓ９１）。座標情報Ｐ４は２回目に選択されているので（Ｓ９３：ＮＯ、Ｓ９５：ＹＥＳ）、ＣＰＵ２１は、座標情報Ｐ４からの距離が近い中点を、中点Ｍ４および中点Ｍ２のうちいずれかから選択する。図１３に示すように、座標情報Ｐ４と中点Ｍ４との間の距離のほうが、座標情報Ｐ４と中点Ｍ１との間の距離よりも短い（Ｓ９７：ＹＥＳ）。ＣＰＵ２１は、Ｘ−２領域に座標情報Ｐ４を配置する（Ｓ９９）。Ｘは１であるため、座標情報Ｐ４は１−２領域（図１２参照）に配置されることになる。
【００８３】
ＣＰＵ２１は、第４領域３１９（図１２参照）内に配置する座標情報Ｐ１、Ｐ３のうち、頂点Ｖ４から最も近い位置に配置する座標情報Ｐ１を選択する（Ｓ９１）。ＣＰＵ２１は、座標情報Ｐ１を最初に選択しているので（Ｓ９３：ＹＥＳ）、Ｘ−１領域に座標情報Ｐ１を配置する（Ｓ１０９）。Ｘは４であるため、座標情報Ｐ１は４−１領域（図１２参照）に配置されることになる。次いでＣＰＵ２１は座標情報Ｐ３を選択する（Ｓ９１）。座標情報Ｐ３は２回目に選択されているので（Ｓ９３：ＮＯ、Ｓ９５：ＹＥＳ）、ＣＰＵ２１は、座標情報Ｐ３からの距離が近い中点を、中点Ｍ４および中点Ｍ３のうちいずれかから選択する。図１３に示すように、座標情報Ｐ３と中点Ｍ４との間の距離のほうが、座標情報Ｐ３と中点Ｍ３との間の距離よりも短い（Ｓ９７：ＹＥＳ）。ＣＰＵ２１は、Ｘ−２領域に座標情報Ｐ３を配置する（Ｓ９９）。Ｘは４であるため、座標情報Ｐ４は４−２領域（図１２参照）に配置されることになる。
【００８４】
位置決定処理（図１１）が繰り返された結果、１−１領域に座標情報Ｐ２が配置され、１−２領域に座標情報Ｐ４が配置され、４−１領域に座標情報Ｐ１が配置され、４−２領域に座標情報Ｐ３が配置された状態になっている。ＣＰＵ２１は、撮影画像１１１〜１１４のそれぞれを、座標情報Ｐ１〜Ｐ４が配置された領域（４−１領域、１−１領域、４−２領域、１−２領域）に配置する。またＣＰＵ２１は、表示領域のうち撮影画像が配置されていない領域に、コンテンツ画像１１５を配置する（Ｓ８２）。結果、図１３に示すように、表示領域の左端に、上側から順に撮影画像１１１、１１３、１１４、１１２の順で配置され、且つ、表示領域の右側にコンテンツ画像１１５が配置された表示画像１５１が作成される（Ｓ８２、図１０参照）。撮影画像１１１〜１１４の右端と、コンテンツ画像１１５の左側とは接した状態になる。
【００８５】
他方、例えばＨＭＤ６０〜６４（配置１０９、図３参照）を装着したユーザ７０〜７４が、配置１０９で示される状態で配置し、且つユーザ７０は、位置７０３に配置していたことを想定する。この状態で実行される位置決定処理について説明する。図１４のマッピング情報３１５は、座標情報Ｐ１〜Ｐ５が２次元上に仮想的にマッピングされた結果を示している。ＣＰＵ２１は、Ｓ７３（図１０参照）で選択した第１領域３１６（図１２参照）内に配置する座標情報Ｐ１、Ｐ２、Ｐ３、Ｐ４のうち、頂点Ｖ１から最も近い位置に配置する座標情報Ｐ２を選択する（Ｓ９１）。ＣＰＵ２１は、座標情報Ｐ２を最初に選択しているので（Ｓ９３：ＹＥＳ）、Ｘ−１領域に座標情報Ｐ２を配置する（Ｓ１０９）。Ｘは１であるため、座標情報Ｐ２は１−１領域（図１２参照）に配置されることになる。次いでＣＰＵ２１は座標情報Ｐ１を選択する（Ｓ９１）。座標情報Ｐ１は２回目に選択されているので（Ｓ９３：ＮＯ、Ｓ９５：ＹＥＳ）、ＣＰＵ２１は、座標情報Ｐ４からの距離が近い中点を、中点Ｍ４および中点Ｍ１のうちいずれかから選択する。図１４に示すように、座標情報Ｐ４と中点Ｍ４との間の距離のほうが、座標情報Ｐ４と中点Ｍ１との間の距離よりも短い（Ｓ９７：ＹＥＳ）。ＣＰＵ２１は、Ｘ−２領域に座標情報Ｐ４を配置する（Ｓ９９）。Ｘは１であるため、座標情報Ｐ４は１−２領域（図１２参照）に配置されることになる。
【００８６】
次いでＣＰＵ２１は座標情報Ｐ４を選択する（Ｓ９１）。座標情報Ｐ４は３回目に選択されているので（Ｓ９５：ＮＯ、Ｓ１０３：ＹＥＳ）、ＣＰＵ２１は、Ｘ−２領域およびＸ−３領域のうち、座標情報が配置されていない領域であるＸ−３領域に座標情報Ｐ４を配置する（Ｓ１０５）。Ｘは１であるため、座標情報Ｐ４は１−３領域（図１２参照）に配置されることになる。次いでＣＰＵ２１は座標情報Ｐ３を選択する（Ｓ９１）。座標情報Ｐ３は４回目に選択されているので（Ｓ１０３：ＮＯ）、ＣＰＵ２１は、Ｘ−４領域に座標情報Ｐ３を配置する（Ｓ１０７）。Ｘは１であるため、座標情報Ｐ４は１−４領域（図１２参照）に配置されることになる。
【００８７】
位置決定処理（図１１）の結果、１−１領域に座標情報Ｐ２が配置され、１−２領域に座標情報Ｐ１が配置され、１−３領域に座標情報Ｐ４が配置され、１−４領域に座標情報Ｐ３が配置された状態になっている。ＣＰＵ２１は、撮影画像１１１〜１１４のそれぞれを、座標情報Ｐ１〜Ｐ４が配置された領域（１−１領域、１−２領域、１−３領域１−４領域）に配置する。またＣＰＵ２１は、表示領域のうち撮影画像が配置されていない領域に、コンテンツ画像１１５を配置する（Ｓ８２）。結果、図１４に示すように、表示領域の左下端に撮影画像１１１〜１１４が配置され、且つ、残りの領域にコンテンツ画像１１５が配置された表示画像１６０が作成される（Ｓ８２、図１０参照）。撮影画像１１３の右上の頂点と、コンテンツ画像１１５の左下の頂点とが同一位置に配置した状態になる。
【００８８】
以上説明したように、変形例では、撮影画像１１１〜１１４の配置をより詳細に特定し、表示画像の表示領域に配列することが可能となる。ＨＭＤ６０のユーザ７０は、ＨＭＤ６０〜６４の位置関係をより詳細に認識することが可能となる。また撮影画像の配置を、テーブルを用いることなく決定することができるので、他のＨＭＤ１の配置に応じて撮影画像の配置を柔軟に調整することができる。
【００８９】
上述の変形例における撮影画像１１１〜１１４およびコンテンツ画像１１５の配置の決定方法は一例であり、他の方法で配置を決定しても良い。例えばＣＰＵ２１は、コンテンツ画像の内容に応じて、撮影画像１１１〜１１４およびコンテンツ画像１１５の配置を決定してもよい。またユーザ７０が制御装置２００の操作部５１を操作することによって、撮影画像１１１〜１１４およびコンテンツ画像１１５の配置を選択できるようにしてもよい。
【００９０】
なお、Ｓ１１の処理を行うＣＰＵ２１が本発明の「方向検出手段」に相当する。Ｓ１２、Ｓ６５の処理を行うＣＰＵ２１が本発明の「画像取得手段」「第一取得手段」に相当する。Ｓ１７、Ｓ６９の処理を行うＣＰＵ２１が本発明の「位置取得手段」「第二取得手段」に相当する。Ｓ１５、Ｓ７９の処理を行うＣＰＵ２１が本発明の「決定手段」に相当する。Ｓ２９、Ｓ８２の処理を行うＣＰＵ２１が本発明の「作成手段」に相当する。Ｓ３１、Ｓ８３の処理を行うＣＰＵ２１が本発明の「出力手段」に相当する。Ｓ６２の処理を行うＣＰＵ２１が本発明の「位置検出手段」に相当する。Ｓ３３の処理を行うＣＰＵ２１が本発明の「第三取得手段」に相当する。Ｓ４７の処理を行うＣＰＵ４１が本発明の「第一提供手段」「第二提供手段」に相当する。Ｓ１１の処理が本発明の「方向検出ステップ」に相当する。Ｓ１２、Ｓ６５の処理が本発明の「画像取得ステップ」に相当する。Ｓ１７、Ｓ６９の処理が本発明の「位置取得ステップ」に相当する。Ｓ１５、Ｓ７９の処理が本発明の「決定ステップ」に相当する。Ｓ２９、Ｓ８２の処理が本発明の「作成ステップ」に相当する。Ｓ３１、Ｓ８３の処理が本発明の「出力ステップ」に相当する。
【符号の説明】
【００９１】
１      ヘッドマウントディスプレイ
１２    ディスプレイ
２１    ＣＰＵ
２５    マトリクステーブル
２７    方位センサ
３５    位置センサ
３９    カメラ
４１    ＣＰＵ
１００    投影装置
２００    制御装置
【図１】
2013250600.tif 000003
【図２】
2013250600.tif 000004
【図３】
2013250600.tif 000005
【図４】
2013250600.tif 000006
【図５】
2013250600.tif 000007
【図６】
2013250600.tif 000008
【図７】
2013250600.tif 000009
【図８】
2013250600.tif 000010
【図９】
2013250600.tif 000011
【図１０】
2013250600.tif 000012
【図１１】
2013250600.tif 000013
【図１２】
2013250600.tif 000014
【図１３】
2013250600.tif 000015
【図１４】
2013250600.tif 000016