(57)【要約】【課題】ＣＧオブジェクトの形状や大きさに適合させたＡＲマーカー付き立体物を準備することなく、コンテンツにおける臨場感及び没入感を得ることが可能なＡＲマーカー付き立体物を提供する。【解決手段】本発明のＡＲマーカー付き立体物は、現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得る、ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成するために用いるＡＲマーカー付き立体物であり、少なくとも一つの接合部と、他のＡＲマーカー付き立体物との接合面が平面形状になるように、他のＡＲマーカー付き立体物における結合機構との結合及び分離の各々が可能な結合機構と、結合機構に対して結合及び分離の制御を行う結合機構制御部とを備えることを特徴とする。【選択図】図１
2018185568.tif 000002
【特許請求の範囲】
【請求項１】
現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得るＡＲマーカーが添付された、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成することが可能なＡＲマーカー付き立体物であり、
少なくとも一つの接合部と、
他のＡＲマーカー付き立体物との接合面が平面形状になるように、前記接合部に設けられた、他のＡＲマーカー付き立体物における結合機構との結合及び分離の各々が可能な結合機構と、
前記結合機構に対して結合及び分離の制御を行う結合機構制御部と
を備えることを特徴とするＡＲマーカー付き立体物。
【請求項２】
いずれかの位置に取り付けられた前記ＡＲマーカーの位置及び姿勢の各々に基づき、前記結合機構制御部により、前記他のＡＲマーカー付き立体物の平面部と対向する前記平面部における前記結合機構を稼働させ、前記他のＡＲマーカー付き立体物の平面における結合機構と結合させる
ことを特徴とする請求項１に記載のＡＲマーカー付き立体物。
【請求項３】
前記結合機構が電磁石で構成されており、
前記結合機構制御部が、前記電磁石の極性を、前記他のＡＲマーカー付き立体物の平面部における電磁石の極性に対して逆とする制御を行い、結合の処理を行う
ことを特徴とする請求項１または請求項２に記載のＡＲマーカー付き立体物。
【請求項４】
前記平面部が強磁性体の床板に配置された際、
前記結合機構制御部が、前記板と対向する平面部における前記電磁石を稼働させ、当該電磁石の磁力を制御することにより、前記板と前記平面部との接触界面における摩擦力を調整する
ことを特徴とする請求項３に記載のＡＲマーカー付き立体物。
【請求項５】
前記結合機構が機械的な勘合により、前記他のＡＲマーカー付き立体物の結合機構と相互結合を行う構成である
ことを特徴とする請求項１または請求項２に記載のＡＲマーカー付き立体物。
【請求項６】
前記結合機構及び前記結合機構制御部に対して電力を供給する電源部と、
前記電源部に対して給電を行う給電用接点と
をさらに備えることを特徴とする請求項１から請求項５のいずれか一項に記載のＡＲマーカー付き立体物。
【請求項７】
前記結合機構及び前記結合機構制御部に対して電力を供給する電源部と、
前記電源部に対して給電を行う無線給電装置と
をさらに備えることを特徴とする請求項１から請求項５のいずれか一項に記載のＡＲマーカー付き立体物。
【請求項８】
現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得る、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成するために用いるＡＲマーカーシステムであり、
請求項１から請求項７のいずれかに記載のＡＲマーカー付き立体物と、
撮像装置と、
前記撮像装置の撮像した撮像画像において、前記ＡＲマーカー付き立体物が組み合わされた前記対象立体物における当該ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該対象立体物に対応する前記ＣＧオブジェクトを抽出し、前記表示画面における前記対象立体物の位置に配置して、前記表示画面に表示する端末と
を備えることを特徴とするＡＲマーカーシステム。
【請求項９】
前記端末が、
前記撮像画像における前記ＡＲマーカー付き立体物が組み合わされた前記対象立体物において、いずれかのＡＲマーカー付き立体物のＡＲマーカーが確認できない場合、前記対象立体物における前記ＡＲマーカー付き立体物の結合関係により、前記対象立体物全体の位置及び姿勢を認識し、前記ＣＧオブジェクトを前記対象立体物の位置及び姿勢に対応させて、前記表示画面に表示させる
ことを特徴とする請求項８に記載のＡＲマーカーシステム。
【請求項１０】
現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得るＡＲマーカーが添付された、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成することが可能なＡＲマーカーサーバであり、
撮像装置の撮像した撮像画像において、請求項１から請求項７のいずれかのＡＲマーカー付き立体物が組み合わされた前記対象立体物における当該ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該対象立体物に対応する前記ＣＧオブジェクトを抽出し、前記表示画面における前記対象立体物の位置に配置して、前記表示画面に表示する
ことを特徴とするＡＲマーカーサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ（augmented reality）技術を用いて、拡張現実または仮想空間における仮想物体構成に用いられるＡＲマーカー付き立体物、ＡＲマーカーシステム及びＡＲマーカーサーバに関する。
【背景技術】
【０００２】
現在、一次元あるいは二次元のそれぞれが固有のパターン画像をＩＤ（dentification）とし、撮像装置で撮像された動画像に対して、このＩＤに対応付けられているＣＧ（computer graphics）オブジェクトを重畳表示するＡＲ技術がゲームなどのアプリケーションにおいて利用されている（例えば、特許文献１及び特許文献２の各々を参照）。
【０００３】
また、多面体形状の立体物に対し、それぞれの面に固有のＡＲマーカーを付与し、現実空間における立体物の位置及び姿勢をトラッキングする。
そして、現実空間における立体物に対応させて、現実空間での立体物の位置と同一の、拡張現実における位置に対して同一の姿勢として、ＣＧオブジェクトを重畳させることができる。
【０００４】
また、ＡＲマーカーが付与された立体物（以下、ＡＲマーカー付き立体物と示す）と、拡張現実においてこのＡＲマーカー付き立体物に対して重畳されるＣＧオブジェクトとの形状を近づけることが行われている。ＡＲマーカー付き立体物とＣＧオブジェクトとの形状を近づけることにより、ユーザが拡張現実（あるいは仮想空間）におけるＣＧオブジェクトとの接触による触覚や力覚などの感覚（体感）を、現実空間におけるＡＲマーカー付き立体物との接触による感覚に同調させることができ、コンテンツにおける臨場感及び没入感を向上させることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１９５６０１号公報
【特許文献２】特開２０１３−０５９５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１及び特許文献２においては、ＡＲマーカー付き立体物とＣＧオブジェクトとの形状に乖離がある場合、拡張現実における感覚を、現実空間における感覚に同調させることができず、コンテンツにおける臨場感及び没入感を得ることができない。
また、各コンテンツで用いられるＣＧオブジェクトの形状や大きさに適合するように、ＣＧオブジェクトの各々に対応したＡＲマーカー付き立体物を準備することは、一般的なコンテンツで利用する際に、価格の点から困難である。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、ＣＧオブジェクトの形状や大きさに適合させたＡＲマーカー付き立体物を準備することなく、コンテンツにおける臨場感及び没入感を得ることが可能なＡＲマーカー付き立体物、ＡＲマーカーシステム及びＡＲマーカーサーバの提供を目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明のＡＲマーカー付き立体物は、現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得るＡＲマーカーが添付された、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成することが可能なＡＲマーカー付き立体物であり、少なくとも一つの接合部と、他のＡＲマーカー付き立体物との接合面が平面形状になるように、前記接合部に設けられた、他のＡＲマーカー付き立体物における結合機構との結合及び分離の各々が可能な結合機構と、前記結合機構に対して結合及び分離の制御を行う結合機構制御部とを備えることを特徴とする。
【０００９】
本発明のＡＲマーカー付き立体物は、いずれかの位置に取り付けられた前記ＡＲマーカーの位置及び姿勢の各々に基づき、前記結合機構制御部により、前記他のＡＲマーカー付き立体物の平面部と対向する前記平面部における前記結合機構を稼働させ、前記他のＡＲマーカー付き立体物の平面における結合機構と結合させることを特徴とする。
【００１０】
本発明のＡＲマーカー付き立体物は、前記結合機構が電磁石で構成されており、前記結合機構制御部が、前記電磁石の極性を、前記他のＡＲマーカー付き立体物の平面部における電磁石の極性に対して逆とする制御を行い、結合の処理を行うことを特徴とする。
【００１１】
本発明のＡＲマーカー付き立体物は、前記平面部が強磁性体の板に配置された際、前記結合機構制御部が、前記板と対向する平面部における前記電磁石を稼働させ、当該電磁石の磁力を制御することにより、前記板と前記平面部との接触界面における摩擦力を調整することを特徴とする。
【００１２】
本発明のＡＲマーカー付き立体物は、前記結合機構が機械的な勘合により、前記他のＡＲマーカー付き立体物の結合機構と相互結合を行う構成であることを特徴とする。
【００１３】
本発明のＡＲマーカー付き立体物は、前記結合機構及び前記結合機構制御部に対して電力を供給する電源部と、前記電源部に対して給電を行う給電用接点とをさらに備えることを特徴とする。
【００１４】
本発明のＡＲマーカー付き立体物は、前記結合機構及び前記結合機構制御部に対して電力を供給する電源部と、前記電源部に対して給電を行う無線給電装置とをさらに備えることを特徴とする。
【００１５】
本発明のＡＲマーカーシステムは、現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得るＡＲマーカーが添付された、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成することが可能なＡＲマーカー端末であり、撮像装置の撮像した撮像画像において、上記いずれかのＡＲマーカー付き立体物が組み合わされた前記対象立体物における当該ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該対象立体物に対応する前記ＣＧオブジェクトを抽出し、前記表示画面における前記対象立体物の位置に配置して、前記表示画面に表示することを特徴とする。
【００１６】
本発明のＡＲマーカーシステムは、前記端末が、前記撮像画像における前記ＡＲマーカー付き立体物が組み合わされた前記対象立体物において、いずれかのＡＲマーカー付き立体物のＡＲマーカーが確認できない場合、前記対象立体物における前記ＡＲマーカー付き立体物の結合関係により、前記対象立体物全体の位置及び姿勢を認識し、前記ＣＧオブジェクトを前記対象立体物の位置及び姿勢に対応させて、前記表示画面に表示させることを特徴とする。
【００１７】
本発明のＡＲマーカーサーバは、現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得る、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成するために用いるＡＲマーカー端末であり、撮像装置の撮像した撮像画像において、請求項１から請求項７のいずれかのＡＲマーカー付き立体物が組み合わされた前記対象立体物における当該ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該対象立体物に対応する前記ＣＧオブジェクトを抽出し、前記表示画面における前記対象立体物の位置に配置して、前記表示画面に表示することを特徴とする。
【発明の効果】
【００１８】
以上説明したように、本発明によれば、ＣＧオブジェクトの形状や大きさに適合させたＡＲマーカー付き立体物を準備することなく、コンテンツにおける臨場感及び没入感を得ることが可能なＡＲマーカー付き立体物、ＡＲマーカーシステム及びＡＲマーカーサーバを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態によるＡＲマーカー付き立体物の構成例を示す概念図である。
【図２】本発明の第１の実施形態によるＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。
【図３】ＡＲマーカー付き立体物により組み立てた対象立体物と、ＣＧオブジェクトとの関係を説明する図である。
【図４】他の三次元形状をしたＡＲマーカー付き立体物の例を示す図である。
【図５】本発明の第２の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。
【図６】複数のＡＲマーカー付き立体物を用いて形成した対象立体物の他の形状例を示す図である。
【図７】複数のＡＲマーカー付き立体物を用いて形成した対象立体物の他の形状例を示す図である。
【図８】本発明の第３の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。
【図９】ＡＲマーカー付き立体物の各面における電磁石に対して印加する、間欠的な電力レベルをグラフである。
【図１０】本発明の第４の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。
【発明を実施するための形態】
【００２０】
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態によるＡＲマーカー付き立体物の構成例を示す概念図である。図１（ａ）は、ＡＲマーカー付き立体物１が筐体１０１に対して、電磁石１０２とＡＲマーカー１０３とが備えられていることを示している。筐体１０１は、本実施形態において立方体（正六面体）の形状をしており、材質として紙、木の板、プラスチックの板、発泡スチロールの板及び非磁性体の金属板などのいずれを用いても良い。
【００２１】
電磁石１０２は、筐体１０１の各面（平面）における頂点の各々の近傍の位置に配置されている。
この電磁石１０２が取り付けられた面が、ＡＲマーカー付き立体物が他のＡＲマーカー付き立体物と接合するための接合部となっており、ＡＲマーカー付き立体物には少なくとも一つ設けられている。このＡＲマーカ付き立体物の接合部自体の面は平面形状である必要がなく、接合部の面に電磁石１０２は埋め込まれていても、貼着されていても良い。しかしながら、他のＡＲマーカー付き立体物と直接に接合する上記接合部における接合面は、安定性を考慮すると平面形状となるように形成することが望ましい。したがって、本実施形態の場合、接合面が平面であり、この接合面に対して電磁石１０２が貼着されている場合、この電磁石１０２における他のＡＲマーカー付き立体物の電磁石１０２と対向する面は、平面形状となるように形成されていることが望ましい。
ＡＲマーカー１０３の各々は、筐体１０１における全ての面に対して備えられており、それぞれが固有（ユニーク）な形状のマークとして付与される。
【００２２】
図１（ｂ）は、ＡＲマーカー付き立体物１における筐体１０１の内部の構成例を示している。筐体１０１は、内部が空洞となっており、制御装置１０４とバッテリ１０５との各々が備えられている。
バッテリ１０５は、電磁石１０２及び制御装置１０４の各々に対して電力を供給する、充電が可能な電池で有り、例えば、充電が可能な鉛蓄電池、Ｎｉ−Ｃｄ（nickel-cadmium）蓄電池、Ｎｉ−ＭＨ（nickel-metal hydrogen）蓄電池、リチウムイオン電池、リチウムポリマー電池、リチウムフェライト電池などの二次電池が適している。
【００２３】
図１（ｃ）は、ＡＲマーカー付き立体物１における制御装置１０４の構成例を示している。図１（ｃ）において、制御装置１０４は、通信部１０４１、結合機構制御部１０４２、充電制御部１０４３及び結合機構駆動部１０４４の各々を備えている。
通信部１０４１は、後述するＡＲ及びＶＲ（virtual reality）のアプリケーションプログラムがインストールされた、端末（後述するサーバ、パーソナルコンピュータまたは携帯端末など）とデータの送受信を行う有線あるいは無線の通信機能を備えている。
結合機構制御部１０４２は、通信部１０４１を介して与えられる制御信号に基づき、電磁石１０２を磁化あるいは反磁化するための電磁石１０２のコイルに供給する電流量の制御、及び磁化させる際において電流の向きを変更して磁石の極の制御の各々を、結合機構駆動部１０４４に対して行わせる。
【００２４】
充電制御部１０４は、バッテリ１０５の電圧値を所定の周期で取得し、予め設定された充電量より低下したことを示す電圧値が検出された場合、充電を行う必要があることを、通信部１０４１を介して上記端末に通知する。また、充電制御部１０４は、筐体１０１に設けられた給電用接点（不図示）を介して、あるいは無線給電装置（不図示）を介して、バッテリ１０５に対して供給される充電電流を、このバッテリ１０５の電圧値の変化を逐次検出し、バッテリ１０５の充電量が満充電を示す電圧値に到達するまで充電電流を流し、満充電を示す電圧値に到達した時点で充電電流を停止する制御を行う。
結合機構駆動部１０４４は、すでに述べたように、結合機構制御部１０４２からの制御に基づき、電磁石１０２を駆動するための電流（駆動電流）を供給する。すなわち、結合機構駆動部１０４４は、結合機構制御部１０４２からの制御に基づき、電磁石１０２を所定の磁力により磁化する駆動電流（磁化のための電力）を供給する。
【００２５】
結合機構駆動部１０４４は、例えば、電磁石１０２に対して電流のオンオフ及び電流の極性を変更して供給するスイッチとして、機械式リレー、パワートランジスタあるいはＦＥＴ（field effect transistor）などを用いる。また、結合機構駆動部１０４４は、電磁石１０２の磁力を調整するため、電力制御回路としてＤＣ（直流）−ＤＣコンバータを用いたり、あるいは半導体素子のパワートランジスタあるいはＦＥＴを用いた場合にＰＷＭ（pulse width modulation）制御により電力を電磁石１０２のコイルに供給する構成としても良い。
【００２６】
図２は、本発明の第１の実施形態によるＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。
この図２においては、ユーザ３０５の各々が、本実施形態によるＡＲマーカー付き立体物１＿１、１＿２、１＿３、…それぞれを組み合わせて、対象立体物１Ａを構成する作業を行っている状態を示している。画像撮像装置３０２は、ユーザ３０５の各々と、ユーザ３０５が処理するＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれとを、動画像として撮像し、撮像した動画像のデータをサーバ３０３に対して出力する。
【００２７】
サーバ３０３は、ＡＲ及びＶＲのアプリケーションプログラムがインストールされており、画像撮像装置３０２から供給される動画像のデータを、プロジェクタ３０４に対して供給する。このとき、サーバ３０３は、動画像におけるＡＲマーカー付き立体物１＿１、１＿２、１＿３の画像それぞれから、画像認識処理を行ってＡＲマーカーの画像を検出する。そして、サーバ３０３は、ＡＲマーカーの画像から、ＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれを識別する。これにより、サーバ３０３は、トラッキング処理により、現実空間におけるＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々の位置及び姿勢を検出する。そして、サーバ３０３は、現実空間に対応した拡張現実の空間あるいは仮想空間において、ＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々を、ＣＧオブジェクト１＿１Ｂ、１＿２Ｂ、１＿３Ｂそれぞれの形状に置換した画像として、上記動画像をプロジェクタ３０４に出力する。
【００２８】
プロジェクタ３０４は、サーバ３０３から供給される、ＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々が、ＣＧオブジェクト１＿１Ｂ、１＿２Ｂ、１＿３Ｂそれぞれに置き換えられた動画像を、スクリーン３０７に投影することで表示させる。このスクリーン３０７には、画像撮像装置３０２が撮像する現実空間におけるユーザ３０５及びＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々との位置関係に対応して形成された拡張現実の空間あるいは仮想空間の画像である仮想画像３０７Ｂが表示される。
【００２９】
現実空間において、ユーザ３０５の各々は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３を持ち上げるなどの操作を行い、対象立体物１Ａを組み立てる操作を行っている。しかしながら、ユーザ３０５の各々は、鏡を見るようにスクリーン３０７を鑑賞することにより、拡張現実の空間あるいは仮想空間において、ＣＧオブジェクト１＿１Ｂ、１＿２Ｂ、１＿３Ｂそれぞれを用いて、対象物オブジェクト１Ｂを組み立てる状態を体験することができる。
【００３０】
また、サーバ３０３は、ユーザ３０５がＡＲマーカー付き立体物１＿１の上部に、ＡＲマーカー付き立体物１＿２を積み上げる際、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々のＡＲマーカーを読取り、このＡＲマーカーに基づいてＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれの姿勢を認識する。そして、サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々において、認識されたＡＲマーカーの付いている面に基づき、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれの対向する面と、この面における電磁石１０２それぞれの位置を検出する。
【００３１】
サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々に対し、対向する面における電磁石１０２を制御、すなわち対向する面において結合する際に組となる電磁石１０２それぞれの磁極の極の調整を行う制御信号を出力する。すなわち、サーバ３０３は、所定の状態となった場合、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を結合させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。
【００３２】
結合機構制御部１０４２は、通信部１０４１を介して供給される上記制御信号に基づき、結合機構駆動部１０４４を制御する。
サーバ３０３は、所定の状態となった場合、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を結合させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。すなわち、結合機構制御部１０４２は、制御信号において指定された面の電磁石１０２の各々のコイルに対し、結合機構駆動部１０４４がそれぞれの電磁石１０２の磁極の極性に対応させた電流をそれぞれのコイルに流させる。
【００３３】
これにより、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々は、対向する面それぞれにおける結合の組となる電磁石１０２がそれぞれ反対の極性となり、対向する面が結合される。
このとき、サーバ３０３は、画像撮像装置３０２から供給される画像から、結合するＡＲマーカー付き立体物１の各々の対向する面それぞれの離間距離が予め設定された所定の距離以下のなったことを検出した場合、上述したように電磁石１０２に供給する電力のオンオフ制御を行い、ＡＲマーカー付き立体物１の各々を結合させる。
【００３４】
また、サーバ３０３は、所定の状態となった場合、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を分離させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。すなわち、サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々に対し、対向する面における電磁石１０２を制御、すなわち対向する面において結合する際に組となる電磁石１０２それぞれを非磁化する制御信号を出力する。
【００３５】
これにより、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々は、対向する面それぞれにおける結合の組となる電磁石１０２がそれぞれ非磁化されて、結合していた対向する面が分離される。
ここで、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々の結合及び分離の処理は、コンテンツのプログラムに記載されている、拡張現実の空間あるいは仮想空間において行われるゲームやシミュレーションなどの、所定の状態に対応して設けられているルールに基づいて行われる。
【００３６】
図３は、ＡＲマーカー付き立体物により組み立てた対象立体物と、ＣＧオブジェクトとの関係を説明する図である。図２に示す環境において、ユーザがＡＲマーカー付き立体物により、対象立体物の組み立てを行う。
図３（ａ）は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々により、剣の立体形状に近い形状の対象立体物７０２が組み立てられた図を示している。以下の説明において、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々を、ＡＲマーカー付き立体物１として示す場合がある。
【００３７】
すでに図２で述べたＡＲマーカーの認識に基づくサーバ３０３の制御により、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々は、それぞれ対向する面における組となる電磁石１０２が異なる極性となることで結合して、対象立体物７０２を形成している。サーバ３０３は、アプリケーションプログラムの記述に従い、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々を、結合された対象立体物７０２により一体として認識する。
【００３８】
ここで、サーバ３０３は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々のそれぞれのＡＲマーカーにより、対象立体物７０２の形状を認識し、図示しないデータベースから、認識した形状に対応するＣＧオブジェクトを抽出する。すなわち、コンテンツ毎に、拡張現実あるいは仮想空間のなかで用いられるＣＧオブジェクトが予め対象立体物のトポロジーと対応付けられている。また、組み立てて行く過程における対象立体物のトポロジーの各々に対しても、コンテンツのルールに対応して、対象立体物の形成における上記過程毎に置き換えられるＣＧオブジェクトが設定されていてもよい。
【００３９】
図３（ａ）において、サーバ３０３は、対象立体物７０２の形状により、剣の三次元形状をしたＣＧオブジェクト７０１を、データベースから抽出する。図２と同様に、現実空間における対象立体物７０２が、拡張現実の空間あるいは仮想空間においてはＣＧオブジェクト７０１に置換され、この拡張現実の空間あるいは仮想空間がユーザの視点に対応して表示画面に画像表示される。このため、ユーザは、現実空間において自身が組み立てて形成した対象立体物７０２を持っているが、鑑賞している拡張現実の空間あるいは仮想空間の画像において剣のＣＧオブジェクト７０１を持っている状況を体験することができる。
【００４０】
例えば、ユーザが対象立体物７０２を持つことで、拡張現実の空間あるいは仮想空間における仮想の対戦相手とＣＧオブジェクト７０１の剣により戦う状況を体験することができる。電磁石１０２の結合力は強く、容易にはＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々が分離することはない。しかしながら、コンテンツのルールに従い、相手の剣と強くぶつかることにより、剣が折れた状況をユーザに体験させる目的で、対象立体物７０２を構成するＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９のいずれかの結合を、サーバ３０３が任意に分離させる制御を行うことができる。
【００４１】
このとき、サーバ３０３は、対象物体７０１の位置及び姿勢を、対象物体７０１を形成するＡＲマーカー付き立体物１の各々に付与されているＡＲマーカーによりトラッキングし、いずれの位置のＡＲマーカー付き立体物１が対戦相手の剣とぶつかったかを検出する。そして、サーバ３０３は、検出されたＡＲマーカー付き立体物１と、このＡＲマーカー付き立体物１に結合している他のＡＲマーカー付き立体物１との各々を結合から分離の状態に制御する。
【００４２】
また、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々のＡＲマーカーが何らかに遮蔽されて、撮像される画像において、全てのＡＲマーカー付き立体物１のＡＲマーカーが検出されない場合がある。しかし、この場合においても、サーバ３０３は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の全てを対象立体物２０１として認識している。サーバ３０３は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々が結合された順番により、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９それぞれが、対象立体物７０１のいずれに位置するかを認識している。
【００４３】
このため、サーバ３０３は、画像撮像装置３０２から供給される画像から、これらＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９のいずれか一つのＡＲマーカーが検出できれば、検出されたＡＲマーカーの付与されたＡＲマーカー付き立体物１の対象立体物７０１における位置により、現実空間における対象立体物７０１の位置及び姿勢を推定することができる。
【００４４】
このように、サーバ３０３は、対象立体物７０１を構成するＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９のいずれか一つのＡＲマーカーが検出できれば、そのいずれか一つのＡＲマーカーにより、対象立体物７０１におけるＡＲマーカー付き立体物１の各々の位置、また、いずれの面が対向して結合しているか、さらに結合している面のいずれの電磁石１０２が結合の組となっているかの情報を得ることができる。この対象立体物７０１におけるＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９の各々の位置関係は、それぞれが分離されるまで確保される。
【００４５】
図３（ｂ）は、ＡＲマーカー付き立体物１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々により、ピッケルの立体形状に近い形状の対象立体物７０３が組み立てられた図を示している。以下の説明において、ＡＲマーカー付き立体物１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々を、ＡＲマーカー付き立体物１として示す場合がある。
【００４６】
すでに図２で述べたＡＲマーカーの認識に基づくサーバ３０３の制御により、ＡＲマーカー付き立体物１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々は、図３（ａ）と同様に、それぞれ対向する面における組となる電磁石１０２が異なる極性となることで結合して、対象立体物７０３を形成している。サーバ３０３は、アプリケーションプログラムの記述に従い、ＡＲマーカー付き立体物１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々を、結合された対象立体物７０３により一体として認識する。
【００４７】
図２においては、ＡＲマーカー付き立体物１＿１、１＿２及び１＿３の各々が、例えば、一辺が３０ｃｍから１００ｃｍ程度のサイズの立方体形状を想定している。
また、図３においては、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９、１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々が、例えば、一辺が４ｃｍから３０ｃｍ程度のサイズの立方体形状を想定している。
上述したように、拡張現実の空間あるいは仮想空間におけるＣＧオブジェクトのサイズに対応して、複数の異なる大きさのサイズのＡＲマーカー付き立体物１を作成し、コンテンツ毎に対応させて、形状の異なる複数の対象立体物を形成するために必要な数を用意する。
【００４８】
図４は、他の三次元形状をしたＡＲマーカー付き立体物の例を示す図である。ＡＲマーカー付き立体物１は、同一の立体形状もしくは同一の面形状を有する複数個を結合させて対象立体物を形成する。このため、ＡＲマーカー付き立体物１は、汎用性を確保するため、空間充填可能な多面体形状が望ましいが、添付されているＡＲマーカーにより、位置及び姿勢が推定可能であれば、円柱、球体、三角錐、円錐などの三次元形状のいずれでもよい。
【００４９】
図４（ａ）は、菱形１２面体の三次元形状を有するＡＲマーカー付き立体物を示している。ＡＲマーカー付き立体物１Ｅは、１２面の各々に対して、それぞれ固有な形状のＡＲマーカーが付与されている。面２０１は、ＡＲマーカー付き立体物１Ｅのいずれかの面を示している。面２０１には、面の頂点の各々の近傍に電磁石１０２がそれぞれ配置され、ユニークな形状のＡＲマーカー１０３が付与されている。
【００５０】
図４（ｂ）は、円錐としての三次元形状を有するＡＲマーカー付き立体物を示している。円錐の側面１ＦＳにおいて、所定の距離を有して、それぞれユニークなＡＲマーカー１０３＿１及び１０３＿２の各々が設けられている。円柱、球体、三角錐、円錐などの三次元形状のいずれでもよいが、少なくとも面２０２のように、他のＡＲマーカー付き立体物の面と結合させる面を形成させる必要がある。
この面２０２は、ＡＲマーカー付き立体物１Ｆの底面示している。面２０２には、面の頂点の各々の近傍に電磁石１０２がそれぞれ配置され、ＡＲマーカー１０３＿１及び１０３＿２の各々に対して、ユニークな形状のＡＲマーカー１０３＿３が付与されている。
【００５１】
上述したように、本実施形態によれば、所定の大きさのＡＲマーカー付き立体物１を複数個用いて、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成するため、コンテンツで用いるＣＧオブジェクトに対応する形状の対象立体物を予め準備する必要が無く、予め決められた形状のＡＲマーカー付き立体物１を、いずれのＣＧオブジェクトの形状にも対応させることができる汎用性を持たせることができる。
【００５２】
また、本実施形態によれば、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成する際、任意に結合及び分離が可能な結合機構により行うため、ユーザのコンテンツでの臨場感及び没入感を向上させることができる対象立体物をユーザが容易に形成することができる。
また、本実施形態によれば、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成する際、任意に結合及び分離が可能な結合機構により行うため、コンテンツのルールに従ったサーバ（端末）の制御により、コンテンツの各場面に対応した多彩な状況を、ユーザに対して体験させることが可能となる。
【００５３】
＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。図５は、本発明の第２の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。第２の実施形態において用いられるＡＲマーカー付き立体物は、第１の実施形態におけるＡＲマーカー付き立体物１と同様の構成であり、同様の機能を有している。この図５においては、ユーザ３０５が、本実施形態によるＡＲマーカー付き立体物１＿１、１＿２、１＿３、…それぞれを組み合わせて、対象立体物１Ｈを構成する作業を行っている状態を示している。第２の実施形態によるＡＲマーカーシステムは、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、…と、画像撮像装置３０２と、サーバ３０３と、ＶＲゴーグル３０８とを備えている。第１の実施形態と同様の構成に対しては、同一の符号を付してある。
【００５４】
ＶＲゴーグル３０８は、第１の実施形態におけるプロジェクタ３０４及びスクリーン１０７との組合わせに代えた表示システムとして設けられている。ＶＲゴーグル３０８には、サーバ３０３から供給される、画像撮像装置３０２から供給される画像から形成した三次元の拡張現実の空間あるいは仮想空間において、ユーザの鑑賞している視点で視認できる画像が表示される。
ユーザが自身の手で、操作面１０６上において、ＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれを組み立てる操作を行うと、画像撮像装置３０２がユーザの視点に対応した画像を撮像し、サーバ３０３に対して出力する。
【００５５】
サーバ３０３は、供給される画像撮像装置３０２が撮像した画像から、ＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々の画像を抽出する。そして、サーバ３０３は、抽出したＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々のＡＲマーカーに基づき、ＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれの位置及び姿勢を検出する。サーバ３０３は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々のＡＲマーカーに基づき、上記画像におけるＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれを、ＣＧオブジェクトに置換して、置換した後の画像をＶＲゴーグル３０８に対して出力する。
【００５６】
また、サーバ３０３は、第１の実施形態と同様に、所定の状態となった場合、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を結合させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。すなわち、サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々に対し、対向する面における電磁石１０２を制御、すなわち対向する面において結合する際に組となる電磁石１０２それぞれを逆の極性により磁化する制御信号を出力する。
【００５７】
一方、サーバ３０３は、第１の実施形態と同様に、所定の状態となった場合、結合しているＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を分離させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。すなわち、サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々に対し、対向する面における電磁石１０２を制御、すなわち対向する面において結合する際に組となる電磁石１０２それぞれを非磁化する制御信号を出力する。
【００５８】
図６は、複数のＡＲマーカー付き立体物を用いて形成した対象立体物の他の形状例を示す図である。図６においては、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５及び１＿６の各々を用いて形成した、馬の三次元形状を模した対象立体物１Ｍを示している。ユーザがＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５及び１＿６の各々を用いて形成する際、サーバ３０３（不図示）は、それぞれのＡＲマーカーに基づいて、対象立体物１ＭにおけるＡＲマーカー付き立体物１それぞれの位置及び姿勢を検出する。そして、サーバ３０３は、ＡＲマーカー付き立体物１の各々が結合する際に対向する面の電磁石１０２を制御することにより、ＡＲマーカー付き立体物１それぞれを結合する。
【００５９】
サーバ３０３は、対象立体物１Ｍの形状から馬の形状のＣＧオブジェクトを抽出し、対象立体物１Ｍに代えて、抽出したＣＧオブジェクトを画像に合成した後、この合成後の画像を、ＶＲゴーグル３０８に対して出力する。これにより、ユーザは、ＶＲゴーグル３０８で鑑賞する拡張現実の空間あるいは仮想空間内において、馬に乗っている状態を体験することができる。
ここで、サーバ３０３は、対象立体物１ＭにおけるＡＲマーカー付き立体物１＿４の全てのＡＲマーカーは、ユーザにより遮蔽されて、画像から検出することができないが、このＡＲマーカー付き立体物１＿４に結合しているＡＲマーカー付き立体物１＿３及び１＿６の各々のＡＲマーカーにより、ＡＲマーカー付き立体物１＿４の位置及び姿勢が推定できる。
【００６０】
図７は、複数のＡＲマーカー付き立体物を用いて形成した対象立体物の他の形状例を示す図である。図７においては、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９、１＿１０、１＿１１及び１＿１２の各々を用いて形成した、通路の壁を模した対象立体物１Ｎを示している。図７においては、ＡＲマーカー付き立体物１において、大規模な対象立体物を形成する際、一台の画像撮像装置３０２では、ＡＲマーカーが検出できないＡＲマーカー付き立体物１が複数発生することを考慮し、二台の画像撮像装置３０２＿１及び３０２＿２の各々により、異なる位置から対象立体物１Ｎ近傍の撮像を行い、トラッキング処理の精度を向上させる。
【００６１】
ユーザ３０５がＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９、１＿１０、１＿１１及び１＿１２の各々を用いて形成する際、サーバ３０３（不図示）は、それぞれのＡＲマーカーに基づいて、対象立体物１ＮにおけるＡＲマーカー付き立体物１それぞれの位置及び姿勢を検出する。そして、サーバ３０３は、ＡＲマーカー付き立体物１の各々が結合する際に対向する面の電磁石１０２を制御することにより、ＡＲマーカー付き立体物１それぞれを結合する。
【００６２】
ユーザ３０５は、通路の壁を模した対象立体物１Ｎを触れて進むことにより、壁面に触れる感覚を感じながら、通路を通る体験をすることができる。このとき、サーバ３０３は、対象立体物１Ｎの形状に対応し、仮想空間内において、対象立体物１Ｎを壁の三次元形状をしたＣＧオブジェクトの画像に置換し、ＶＲゴーグル３０８に対して画像を出力する。これにより、ユーザ３０５は、ＶＲゴーグル３０８において、壁面に囲まれた通路にいる状況を体験することができる。
【００６３】
上述したように、本実施形態によれば、所定の大きさのＡＲマーカー付き立体物１を複数個用いて、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成するため、コンテンツで用いるＣＧオブジェクトに対応する形状の対象立体物を予め準備する必要が無く、予め決められた形状のＡＲマーカー付き立体物１を、いずれのＣＧオブジェクトの形状にも対応させることができる汎用性を持たせることができる。
また、本実施形態によれば、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成する際、任意に結合及び分離が可能な結合機構により行うため、ユーザのコンテンツでの臨場感及び没入感を向上させることができる対象立体物をユーザが容易に形成することができる。
【００６４】
＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。図８は、本発明の第３の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。第３の実施形態において用いられるＡＲマーカー付き立体物は、第１の実施形態におけるＡＲマーカー付き立体物１と同様の構成であり、同様の機能を有している。この図８においては、ユーザ３０５が、本実施形態によるＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、…それぞれを組み合わせて、対象立体物１Ｎを構成する作業を行っている状態を示している。第３の実施形態によるＡＲマーカーシステムは、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、…と、操作面１００４上の対象立体物１Ｎ及びユーザ３０５を撮像する画像撮像装置（不図示、例えば図２の画像撮像装置３０２）と、サーバ（不図示、例えば図２のサーバ３０３）と、ＶＲゴーグル３０８とを備えている。
【００６５】
図８における対象立体物１Ｎは、引き戸型の鉄扉あるいは岩扉の三次元形状を示している。コンテンツにおいて、鉄扉を開ける状況が有る場合、鉄扉の三次元形状として、ＡＲマーカー付き立体物１＿１、１＿２及び１＿３の各々の結合と、ＡＲマーカー付き立体物１＿４、１＿５及び１＿６結合とを行うのみでなく、重い鉄扉を引いて開ける状態を作り出す処理を行う。すなわち、操作面１００４を強磁性体の鉄板（床板）などで形成し、ＡＲマーカー付き立体物１＿１及び１＿６の各々が、操作面１００４と接する面の電磁石１０２を諸所定の磁力となるように磁化させ、重い鉄扉を開ける際に発生する鉄扉と床との摩擦力に対応する磁力を、電磁石１０２に対して発生させる。これにより、ユーザは、現実空間において対象立体物１Ｎを引き戸を開けるように移動させることで、電磁石１０２の所定の磁力により操作面１００４を吸引する吸引力により、ＶＲゴーグル３０８を通して鑑賞する拡張現実の空間あるいは仮想空間において、自身が重い鉄扉を開ける際の鉄扉と床との接触界面における摩擦の感覚を体感することができる。
【００６６】
図９は、ＡＲマーカー付き立体物の各面における電磁石に対して印加する、間欠的な電力レベルをグラフである。図９のグラフは、縦軸が電力レベル（Ｗ）を示し、横軸が移動距離（Ｄ）を示している。結合機構制御部１０４２は、結合機構駆動部１０４４が電磁石１０２を駆動させる（磁化させる）際、所定の電圧により電流量を調整する（電力を調整する）ことにより、電磁石１０２の生じる磁力を制御させる。これにより、図８の例における引き戸を開ける際の摩擦力、あるいは地面において重い物体を引きずる際の摩擦力を、ＶＲゴーグル３０８を通して鑑賞する拡張現実の空間あるいは仮想空間において、ユーザに対して体感させる。
このように、図８が平坦な床あるいは地面を想定した、時間的に一定の電力を電磁石１０２に印加することにより、時間的に一定の磁力を電磁石１０２に誘起させ、ユーザに鉄扉の床に対する滑り摩擦を体感させる駆動方法を示している。
【００６７】
一方、この図９においては物体が引きずられる地面が凸凹の状態をユーザに体感させるため、間欠的に磁化させる場合の電磁石１０２に印加される電力を示している。また、間欠的に磁化させるのではなく、電磁石１０２を継続的に磁化した状態とし、時間的に磁力の大きさを変化させる制御を行う駆動を行っても良い。
このとき、結合機構制御部１０４２は、結合機構駆動部１０４４を介して電磁石１０２を、間欠的に磁化させる、あるいは時間的に磁力を変化させる制御を行う。ここで、結合機構駆動部１０４４は、磁化する際の電流の印加のオンオフが容易に行えるように、スイッチ機構として半導体素子のパワートランジスタあるいはＦＥＴを用いることが望ましい。
【００６８】
これにより、電磁石１０２を間欠的に駆動して磁化させることにより、物体を凸凹の面を引きずる感覚をユーザに体感させることができる。
また、電磁石１０２に誘起される磁力の大きさを時間的に変化させることにより、物体を引きずる際において、静止摩擦から動摩擦に変化する、地面の状況が場所によって変化する場合などの感覚をユーザに体感させることができる。
本実施形態によれば、コンテンツが示す拡張現実の空間あるいは仮想空間の状態に応じて、電磁石１０２の磁化及び磁化における磁力を時間的に変化させることにより、物体の重さを体感することが可能となり、ユーザのコンテンツでの臨場感及び没入感を向上させることができる。
【００６９】
＜第４の実施形態＞
以下、本発明の第４の実施形態について、図面を参照して説明する。図１０は、本発明の第４の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。第４の実施形態において用いられるＡＲマーカー付き立体物は、第１の実施形態におけるＡＲマーカー付き立体物１と同様の構成であり、同様の機能を有している。この図１０においては、ユーザ３０５が、すでに説明したサーバ３０３に代えて、画像を撮像する機能（画像撮像機能）を有する携帯端末５０１を使用し、自身の視点から拡張現実の空間あるいは仮想空間の画像を、表示画面５０１Ｓにおいて鑑賞するＡＲマーカーシステムの構成例を示している。
携帯端末５０１は、例えば、カメラが内蔵されたタブレット型のパーソナルコンピュータであり、ＡＲ及びＶＲのアプリケーションプログラムがインストールされている。
【００７０】
ユーザがＡＲマーカー付き立体物１＿１と１＿２とを用いて、操作面１０６上において、所定の位置に対象立体物１Ｒを形成し、ＡＲマーカー付き立体物１＿３を所定の位置に配置する。
そして、ユーザが上記アプリケーションを起動し、携帯端末５０１の画像撮像機能を用いて、操作面１０６上の対象立体物１Ｒ及びＡＲマーカー付き立体物１＿３を撮像する。これにより、携帯端末５０１は、撮像する画像における対象物１Ｒ及びＡＲマーカー付き立体物１＿３の各々を、対象物１Ｒ、ＡＲマーカー付き立体物１＿３それぞれの形状に対応して設定されているＣＧオブジェクト１ＲＢ、１＿３Ｂに置換して、表示画面５０１Ｓに表示する。
本実施形態によれば、携帯端末５０１によっても、ユーザがコンテンツにおける臨場感及び没入感を向上させることができる。
【００７１】
また、第１の実施形態から第４の実施形態の各々においては、ＡＲマーカー付き立体物１と他のＡＲマーカー付き立体物１とを結合する結合機構として電磁石１０２を用いて説明した。しかしながら、結合機構として電磁石に限らず、ＡＲマーカー付き立体物１と他のＡＲマーカー付き立体物１とを結合させる結合機構として、結合を行う際に、結合機構駆動部１０４４が爪などを、結合させる相手の面に対向する面から、筐体１０１内より機械的に爪などを出し、互いの爪同士が勘合することで結合する構成としてもよい。この際、結合機構制御部１０４２は、結合機構駆動部１０４４を介して、結合している面同士が密着するように、爪が勘合した後に、それぞれの爪が筐体１０１内部に引き寄せる制御を行う。また、結合機構制御部１０４２は、ＡＲマーカー付き立体物１と他のＡＲマーカー付き立体物１とを分離する際、結合機構駆動部１０４４を介して、爪の各々の勘合を解除する制御を行う。
【００７２】
なお、本発明における図２のサーバ３０３、ＡＲマーカー付き立体物１の制御装置１０４や図１０の携帯端末５０１におけるＡＲマーカーシステムの各々の機能を実現するためのそれぞれプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより対象立体物をＣＧオブジェクトに置換し、表示画面に表示させる処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７３】
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７５】
ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【符号の説明】
【００７６】
１，１＿１，１＿２，１＿３，１＿４，１＿５，１＿６，１＿７，１＿８，１＿９，１＿１０，１＿１１，１＿１２，１＿１３，１＿１４，１＿１５，１＿１６，１＿１７，１＿１８，１＿１９，１＿２０…ＡＲマーカー付き立体物
１０１…筐体
１０２…電磁石
１０３，１０３＿１，１０３＿２，１０３＿３…ＡＲマーカー
１０４…制御装置
１０５…バッテリ
１０６，９０４，１００４…操作面
３０２，３０２＿１，３０２＿２…画像撮像装置
３０３…サーバ
３０４…プロジェクタ
３０５…ユーザ
３０７…スクリーン
３０８…ＶＲゴーグル
５０１…携帯端末
７０１，７０２，７０３，７０４，１Ａ，１Ｈ，１Ｍ，１Ｎ，１Ｒ…対象立体物
１０４１…通信部
１０４２…結合機構制御部
１０４３…充電制御部
１０４４…結合機構駆動部
【図１】
2018185568.tif 000003
【図２】
2018185568.tif 000004
【図３】
2018185568.tif 000005
【図４】
2018185568.tif 000006
【図５】
2018185568.tif 000007
【図６】
2018185568.tif 000008
【図７】
2018185568.tif 000009
【図８】
2018185568.tif 000010
【図９】
2018185568.tif 000011
【図１０】
2018185568.tif 000012