(57)【要約】【課題】マーカを撮像対象領域に映像として映し出し、マーカの変化に応じて重畳する仮想情報を制御することで、状況に応じて最適な仮想情報を重畳する拡張現実装置等を提供する。【解決手段】撮像対象領域を撮像する撮像部２３と、前記撮像対象領域の任意の位置に仮想情報を重畳する際の目印となるマーカを映像として映し出すマーカ出力部２２と、前記撮像部２３にて撮像された前記マーカが含まれる撮像情報に前記仮想情報を重畳する画像重畳部２８と、映し出された前記マーカの変化に応じて重畳する前記仮想情報を制御する仮想情報制御部２６とを備える。【選択図】図２
2015038696.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象領域を撮像する撮像手段と、
前記撮像対象領域の任意の位置に仮想情報を重畳する際の目印となるマーカを映像として映し出すマーカ出力手段と、
前記撮像手段にて撮像された前記マーカが含まれる撮像情報に前記仮想情報を重畳する画像重畳手段と、
映し出された前記マーカの変化に応じて重畳する前記仮想情報を制御する仮想情報制御手段とを備えることを特徴とする拡張現実装置。
【請求項２】
請求項１に記載の拡張現実装置において、
前記マーカのサイズに応じて奥行方向の距離を算出する奥行算出手段を備え、
前記仮想情報制御手段が、算出された前記奥行方向の距離に応じて前記仮想情報を制御することを特徴とする拡張現実装置。
【請求項３】
請求項１又は２に記載の拡張現実装置において、
前記マーカの形状に応じて当該マーカが映し出されている箇所の表面状態を推定する推定演算手段を備え、
前記仮想情報制御手段が、推定された前記表面状態に応じて前記仮想情報を制御することを特徴とする拡張現実装置。
【請求項４】
請求項３に記載の拡張現実装置において、
前記マーカの形状及び／又はサイズを変化させるマーカ制御手段を備え、
前記推定演算手段が、前記マーカの形状及び／又はサイズの変化状態に基づいて、前記表面状態を推定することを特徴とする拡張現実装置。
【請求項５】
請求項１ないし４のいずれかに記載の拡張現実装置において、
前記マーカ出力手段が、前記マーカを不可視光を光源として出力し、
前記撮像手段が、前記不可視光及び可視光の波長を検出可能であることを特徴とする拡張現実装置。
【請求項６】
請求項１に記載の拡張現実装置において、
前記マーカ出力手段が、前記撮像対象領域における空間の任意の位置にホログラムにより前記マーカを出力することを特徴とする拡張現実装置。
【請求項７】
コンピュータが、
撮像手段が撮像した撮像対象領域の撮像情報を取得するステップと、
前記撮像対象領域の任意の位置に仮想情報を重畳する際の目印となるマーカを映像として映し出すマーカ出力手段に前記マーカ情報を出力するステップと、
前記撮像手段にて撮像された前記マーカが含まれる撮像情報に前記仮想情報を重畳するステップと、
映し出された前記マーカの変化に応じて重畳する前記仮想情報を制御するステップとを実行することを特徴とする拡張現実方法。
【請求項８】
撮像対象領域を撮像する撮像手段、
前記撮像対象領域の任意の位置に仮想情報を重畳する際の目印となるマーカを映像として映し出すマーカ出力手段、
前記撮像手段にて撮像された前記マーカが含まれる撮像情報に前記仮想情報を重畳する画像重畳手段、
映し出された前記マーカの変化に応じて重畳する前記仮想情報を制御する仮想情報制御手段としてコンピュータを機能させることを特徴とする拡張現実プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実に用いるマーカを光学的な映像として表示する拡張現実装置等に関する。
【背景技術】
【０００２】
拡張現実感（以下、ＡＲ（Augmented  Reality）とする）では、カメラで撮像した現実世界に仮想情報を重畳するための位置指定にＡＲマーカを用いる。従来、現実空間上の任意の位置を指定する場合、紙などにパターンが印刷されたマーカ、ＬＥＤランプ、反射テープ、モニタ画面等の実体のある物をＡＲマーカとして現実空間上に配置して使用している。また、撮像された風景や被写体の一部をＡＲマーカとして利用する場合もある。
【０００３】
しかしながら、このような拡張現実システムは、実体マーカを準備・配置する手間や費用を必要とするばかりでなく、空間中や水中など実体マーカを固定できない位置では適用が難しいという問題がある。また、遠方の被写体上にマーキングするためには巨大なマーカを準備する必要があったり、汚染環境ではマーカを配置すること自体が困難であったり、マーカに重畳される仮想情報だけを撮像された被写体から独立して動かすことが困難であるといった問題もある。さらに、本来無いはずのマーカが被写体の一つの要素として映像に映り込むため画像が不自然になってしまうといった問題がある。
【０００４】
このような問題に関して、特許文献１及び非特許文献１に示す技術が開示されている。特許文献１に示す技術は、プロジェクタの投光波長を、赤外光まで拡張し、可視光によって所定画像を投影し、一方、可視光による画像とは異なる画像を、赤外光によって投影することによって、情報の重要性等に応じて、可視光と赤外光を使い分けることができるものである。
【０００５】
また、非特許文献１に示す技術は、博物館においてＡＲの技術を利用するために、マーカ自身に情報を埋め込むことができる２次元コードをマーカとし、展示物の外観を損なわないために近赤外線でマーカを投影し、カメラからマーカを検出するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−６２７４８号公報
【非特許文献】
【０００７】
【非特許文献１】中井雄也，村上広樹，岡田至弘、”２次元コード・マーカを用いたＡＲ展示支援システムの構築”、情報処理学会シンポジウム論文集、情報処理学会、平成２３年１２月３日、巻数２０１１、号数８、８１頁−８６頁
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記各文献に係る技術は、マーカに仮想情報を重畳し、且つ、マーカを変化させることで重畳する仮想情報を制御するものではない。すなわち、状況に応じて仮想情報を変化させるような処理ができるものではない。
【０００９】
本発明は、マーカを撮像対象領域に映像として映し出し、マーカの変化に応じて重畳する仮想情報を制御することで、状況に応じて最適な仮想情報を重畳する拡張現実装置等を提供する。
【課題を解決するための手段】
【００１０】
本発明に係る拡張現実装置は、撮像対象領域を撮像する撮像手段と、前記撮像対象領域の任意の位置に仮想情報を重畳する際の目印となるマーカを映像として映し出すマーカ出力手段と、前記撮像手段にて撮像された前記マーカが含まれる撮像情報に前記仮想情報を重畳する画像重畳手段と、映し出された前記マーカの変化に応じて重畳する前記仮想情報を制御する仮想情報制御手段とを備えるものである。
【００１１】
このように、本発明に係る拡張現実装置においては、撮像対象領域の任意の位置にマーカを映像として映し出し、映し出されたマーカの変化に応じて当該マーカに重畳する仮想情報を制御するため、マーカの切替や変化をリアルタイムに自由に行うことができ、それに伴い重畳する仮想情報が制御されて、状況に応じた最適な仮想情報を表示することができるという効果を奏する。
【００１２】
本発明に係る拡張現実装置は、前記マーカのサイズに応じて奥行方向の距離を算出する奥行算出手段を備え、前記仮想情報制御手段が、算出された前記奥行方向の距離に応じて前記仮想情報を制御するものである。
【００１３】
このように、本発明に係る拡張現実装置においては、マーカのサイズに応じて奥行方向の距離を算出し、算出された奥行方向の距離に応じて仮想情報を制御するため、奥行き方向を考慮して違和感がない遠近表現で仮想情報を表示することができるという効果を奏する。
【００１４】
本発明に係る拡張現実装置は、前記マーカの形状に応じて当該マーカが映し出されている箇所の表面状態を推定する推定演算手段を備え、前記仮想情報制御手段が、推定された前記表面状態に応じて前記仮想情報を制御するものである。
【００１５】
このように、本発明に係る拡張現実装置においては、光学的に映像として映し出されるマーカの形状を分析することで、そのマーカが映し出されている箇所の表面形状を推定し、それに合った適正な仮想情報を制御することができ、違和感のない拡張現実を実現することができるという効果を奏する。
【００１６】
本発明に係る拡張現実装置は、前記マーカの形状及び／又はサイズを変化させるマーカ制御手段を備え、前記推定演算手段が、前記マーカの形状及び／又はサイズの変化状態に基づいて、前記表面状態を推定するものである。
【００１７】
このように、本発明に係る拡張現実装置においては、マーカの形状及び／又はサイズを変化させ、その変化状態を解析することで表面状態を推定するため、正確な表面形状を算出することが可能になるという効果を奏する。
【００１８】
本発明に係る拡張現実装置は、前記マーカ出力手段が、前記マーカを不可視光を光源として出力し、前記撮像手段が、前記不可視光及び可視光の波長を検出可能とするものである。
【００１９】
このように、本発明に係る拡張現実装置においては、マーカを不可視光を光源として出力し、撮像手段が、前記不可視光及び可視光の波長を検出可能とすることで、マーカ自体が画面に映り込むことがなく、現実の風景と仮想情報のみを表示することが可能になるという効果を奏する。
【００２０】
本発明に係る拡張現実装置は、前記マーカ出力手段が、前記撮像対象領域における空間の任意の位置にホログラムにより前記マーカを出力するものである。
【００２１】
このように、本発明に係る拡張現実装置においては、撮像対象領域における空間の任意の位置にホログラムによりマーカを出力するため、マーカの位置を３次元的に特定することができ、違和感のない仮想情報の重畳が可能になるという効果を奏する。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る拡張現実装置のハードウェア構成図である。
【図２】第１の実施形態に係る拡張現実装置の構成を示す機能ブロック図である。
【図３】第１の実施形態に係る拡張現実装置の処理を示す第１の図である。
【図４】第１の実施形態に係る拡張現実装置の処理を示す第２の図である。
【図５】第１の実施形態に係る拡張現実装置の処理を示す第３の図である。
【図６】第１の実施形態に係る拡張現実装置の動作を示すフローチャートである。
【図７】第２の実施形態に係る拡張現実装置の構成を示す機能ブロック図である。
【図８】第２の実施形態に係る拡張現実装置の処理を示す図である。
【図９】第３の実施形態に係る拡張現実装置の構成を示す機能ブロック図である。
【図１０】第３の実施形態に係る拡張現実装置の処理を示す第１の図である。
【図１１】第３の実施形態に係る拡張現実装置の処理を示す第２の図である。
【図１２】第４の実施形態に係る拡張現実装置における投影装置の構成を示す図である。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。
【００２４】
（本発明の第１の実施形態）
本実施形態に係る拡張現実装置について、図１ないし図６を用いて説明する。本実施形態に係る拡張現実装置は、撮像対象となる撮像空間の任意の場所に光学的に映像化したマーカを表示させ、当該マーカを含む撮像空間をカメラで撮像し、マーカを目印として仮想情報を重畳させてディスプレイに表示する。その際に、映像化されたマーカの変化に応じて、重畳される仮想情報が変化して表示されるものである。マーカの表示は、利用者がマーカの投影装置を操作することで制御されてもよいし、所定の情報に基づいて変化するようにしてもよい。
【００２５】
以下、本実施形態に係る拡張現実装置の構成及び具体的な処理について説明する。図１は、本実施形態に係る拡張現実装置のハードウェア構成図である。拡張現実装置１は、ＲＯＭ１３やＨＤ１４に格納されているオペレーティングシステム（ＯＳ）や各種プログラムを必要に応じてＲＡＭ１２に読み出し、読み出したＯＳや各種プログラムに従って演算処理を行うＣＰＵ１１を備える。また、装置間の通信を行うためのインタフェースである通信Ｉ／Ｆ１５と、タッチパネル、キーボード、マウス等の入力機器からの入力を受け付けたり、プリンタや画面等にデータを出力するためのインタフェースである入出力Ｉ／Ｆ１６とを備える。この入出力Ｉ／Ｆ１６は、必要に応じて光磁気ディスク、フロッピーディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ等のリムーバブルディスク等に対応したドライブを接続することができる。
【００２６】
さらに、撮像空間にマーカを映像として出力するための撮像装置１７と、出力されたマーカを含む撮像空間を撮像するカメラ１８と、カメラ１８で撮像された撮像情報に仮想情報が重畳された拡張現実画像を表示するディスプレイ１９とを備える。各処理部はバスを介して接続され、情報のやり取りを行う。なお、上記ハードウェアの構成はあくまで一例であり、必要に応じて変更可能である。また、特に投影装置１７については、他の処理部と共通のバスに接続される必要はなく、ハードウェアとしては別体として捉えてもよいが、情報の関連性は保持される必要がある。
【００２７】
図２は、本実施形態に係る拡張現実装置の構成を示す機能ブロック図である。拡張現実装置１は、マーカ記憶部２１に記憶されているマーカ情報を実空間である撮像空間に映像として出力するマーカ出力部２２と、表示されているマーカを含む撮像空間を撮像する撮像部２３と、撮像部２３の動作制御やデータの管理等を行う撮像制御部２４と、撮像された撮像情報のパターン解析を行うパターン処理部２５と、パターン処理部２５が抽出したマーカに応じて、仮想情報記憶部２７に記憶されている仮想情報を読み出して制御する仮想情報制御部２６と、撮像情報に対して仮想情報制御部２６が読み出した仮想情報を重畳する画像重畳部２８と、仮想情報が重畳された拡張現実画像をディスプレイ１９に表示する制御を行う出力制御部２９とを備える。
【００２８】
各処理部について図３及び図４を用いて具体的に説明する。図３は、拡張現実装置の処理を示す第１の図、図４は、拡張現実装置の処理を示す第２の図である。図３は、マーカ及び当該マーカに対応づけて記憶されている仮想情報（３次元モデル）の対応イメージ図である。図４（Ａ）は、撮像部２３で撮像された撮像情報を示す図であり、図４（Ｂ）は、ディスプレイ１９に表示された拡張現実画像を示す図である。図３に示すように、マーカ記憶部２１には予め設定されたマーカ３１ａ、３１ｂが記憶されており、仮想情報記憶部２７には、マーカ３１ａに対応付けて絵画の３次元モデルの仮想情報、マーカ３１ｂに対応付けてテーブルの３次元モデルの仮想情報が記憶されている。
【００２９】
各マーカは、利用者の操作に応じて撮像空間の所定の位置に映像として表示される。図４（Ａ）の場合は、撮像空間手前の床にマーカ３１ａ、奥の壁にマーカ３１ｂが表示されている。奥行方向の距離に応じて、手前の床のマーカ３１ａは大きく、奥の壁のマーカ３１ｂは小さく表示される。これらの表示は、利用者が投影装置１７を操作することでサイズ調整がなされるようにしてもよい。
【００３０】
撮像部２３は、撮像制御部２４の制御に従ってマーカ３１ａ，３１ｂが表示された撮像空間を撮像し、パターン処理部２５が撮像情報からマーカ３１ａ，３１ｂを抽出する。図４（Ａ）に撮像情報の一例を示す。それぞれのマーカ３１ａ，３１ｂは、床面や壁面に映像として表示されているため、床面や壁面の状態（撮像部２３から見た床面や壁面の角度、位置等）に応じて変形して撮像される。パターン処理部２５は、この変形した状態のマーカ３１ａ，３１ｂを抽出し、仮想情報制御部２６に渡す。仮想情報制御部２６は、取得した変形状態のマーカ３１ａ，３１ｂを正面視の形状（仮想情報記憶部２７に登録されているマーカ形状と比較可能な形状）に変換し、該当するマーカを特定すると共に、撮像された変形状態のマーカ３１ａ，３１ｂに基づいて、当該マーカが表示されている箇所における撮像部２３から見た床面や壁面の角度を特定する。
【００３１】
マーカが特定され、そのマーカが表示されている箇所における面の角度が特定されると、仮想情報制御部２６は、対応する仮想情報を仮想情報記憶部２７から読み出し、マーカが表示されている面の角度に応じて読み出した仮想情報の視点やサイズを編集する。なお、上記のようなマーカ形状の変換、特定、及び、当該マーカが表示されている箇所における面の角度の特定は、パターン処理部２５が行うようにしてもよい。
【００３２】
画像重畳部２８は、パターン処理部２５で解析された結果からマーカ３１ａ，３１ｂの位置を特定し、その位置に仮想情報制御部２６が編集した仮想情報を重畳して拡張現実画像を生成する。生成された拡張現実画像は、出力制御部２９によりディスプレイ１９に表示される。
【００３３】
図４（Ｂ）においては、マーカ３１ａに対応する仮想情報として、絵画の仮想情報３２ａが読み出され、マーカ３１ｂに対応する仮想情報として、テーブルの仮想情報３２ｂが読み出されており、それぞれのマーカ３１ａ，３１ｂが表示されている面の角度に応じて仮想情報３２ａ，３２ｂの視点が編集されて表示されると共に、表示されているマーカのサイズに応じて仮想情報３２ａ，３２ｂのサイズが編集されて表示される。
【００３４】
図４の状態から、マーカ３１ｂの投射位置を移動した場合の処理について、図５を用いて説明する。図５は、拡張現実装置の処理を示す第３の図である。図５（Ａ）は、撮像部２３で撮像された撮像情報を示す図であり、図５（Ｂ）は、ディスプレイ１９に表示された拡張現実画像を示す図である。図５（Ａ）において、マーカ３１ｂを部屋の奥の床面に移動している。例えば、マーカ３１ｂが紙のような物体であれば、部屋の奥に移動することで、マーカ３１ｂは小さく撮像され、それに伴い仮想情報も小さく編集することで違和感のない拡張現実画像を生成することが可能であるが、本実施形態においては、マーカ３１ｂが光学的に投射された映像であるため、図５（Ａ）に示すように、焦点深度が変わることで光が拡散し、マーカ３１ｂが大きくぼやけて撮像されてしまう。
【００３５】
すなわち、撮像されたマーカ３１ｂを抽出し、そのサイズで仮想情報を編集した場合は、マーカ３１ｂが奥行方向に移動するに連れて仮想情報のサイズが大きくなってしまい、拡張現実画像に違和感が生じてしまう。そこで、本実施形態においては、仮想情報制御部２６が、撮像されたマーカのサイズに応じて、仮想情報の適正なサイズを演算する。具体的には、マーカ出力部２２から出力される光の光学的特徴に応じて、撮像されたマーカのサイズから奥行方向の距離を算出する。
【００３６】
図５の場合、図５（Ａ）において、マーカ３１ｂが部屋の奥の床面に移動することで、投影している光が拡散し、マーカサイズが大きくなっている。仮想情報制御部２６は、抽出されたマーカのサイズから光の拡散具合や焦点深度を演算し、その拡散具合により奥行方向の距離を求め、求めた奥行方向の距離に適合するサイズに仮想情報のサイズを制御する。したがって、図５（Ｂ）に示すように、奥行方向の距離が考慮された違和感のない拡張現実画像を生成することができる。
【００３７】
次に、本実施形態に係る拡張現実装置の動作について説明する。図６は、本実施形態に係る拡張現実装置の動作を示すフローチャートである。まず、投影装置１７のマーカ出力部２２が、マーカ記憶部２１からマーカを読み出し、撮像空間の任意の位置に映像として表示する（Ｓ６１）。撮像部２３が、撮像制御部２４の制御にしたがって、マーカが表示されている撮像空間を撮像し（Ｓ６２）、パターン処理部２５が、撮像された撮像情報を解析してマーカを抽出する（Ｓ６３）。仮想情報制御部２６が、マーカの形状及びサイズを解析し（Ｓ６４）、仮想情報記憶部２７に記憶されている仮想情報から、抽出されたマーカに対応する仮想情報を抽出する（Ｓ６５）。抽出された仮想情報を解析されたマーカの形状及びサイズに応じて編集する（Ｓ６６）。画像重畳部２８が、撮像情報における所定の位置に編集された仮想情報を重畳する（Ｓ６７）。出力制御部２９が、撮像情報に仮想情報が重畳された拡張現実画像をディスプレイ１９に表示して（Ｓ６８）、処理を終了する。
【００３８】
なお、マーカ出力部２２は、例えば赤外線のような不可視光を光源としてマーカを表示するようにしてもよい。その場合、撮像部２３は、可視光及び不可視光のいずれの波長も検出できるようなカメラを用いるようにしてもよいし、可視光を検出するカメラと不可視光を検出するカメラをそれぞれ用意して、不可視光を検出するカメラでマーカのみを検出するようにしてもよい。そうすることで、撮像空間に不自然にマーカが見えてしまうことがなく、よりリアルな拡張現実画像の生成が可能となる。
【００３９】
このように、本実施形態に係る拡張現実装置１によれば、撮像空間の任意の位置にマーカを映像として映し出し、映し出されたマーカの変化に応じて当該マーカに重畳する仮想情報を制御するため、マーカの切替や変化をリアルタイムに自由に行うことができ、それに伴い重畳する仮想情報が制御されて、状況に応じた最適な仮想情報を表示することができる。
【００４０】
また、マーカのサイズに応じて奥行方向の距離を算出し、算出された奥行方向の距離に応じて仮想情報を制御するため、奥行き方向を考慮して違和感がない遠近表現で仮想情報を表示することができる。
【００４１】
さらに、マーカを不可視光を光源として出力し、撮像部が、前記不可視光及び可視光の波長を検出可能とすることで、マーカ自体が画面に映り込むことがなく、現実の風景と仮想情報のみを表示することが可能になる。
【００４２】
（本発明の第２の実施形態）
本実施形態に係る拡張現実装置について、図７及び図８を用いて説明する。本実施形に係る拡張現実装置は、マーカの形状から当該マーカが映し出されている箇所の表面状態を推定し、推定された表面状態に応じて仮想情報を制御するものである。なお、本実施形態において前記第１の実施形態と重複する説明は省略する。
【００４３】
図７は、本実施形態に係る拡張現実装置の構成を示す機能ブロック図である。第１の実施形態における図２の場合と異なるのは、推定処理部７１が新たに構成要素として追加されている点である。すなわち、パターン処理部２５が抽出したマーカについて、推定処理部７１が、マーカが表示されている箇所における状態を推定する。仮想情報制御部２６は、推定された状態に応じて仮想情報の制御を行う。
【００４４】
図８は、本実施形態に係る拡張現実装置の処理を示す図である。図８（Ａ）は、円形のマーカ３１ｃが部屋の隅に表示された場合の撮像情報を示し、図８（Ｂ）は、矩形のマーカ３１ｄが岩に表示された場合の撮像情報を示している。図８（Ａ）においては、部屋の隅に表示された円形のマーカ３１ｃが、円形ではなく歪な形状で撮像されている。すなわち、推定処理部７１は、抽出されたマーカ３１ｃの形状に基づいて、それが表示されている箇所が部屋の隅であり、壁面及び床面に囲まれている箇所であることを推定する。
【００４５】
仮にマーカ３１ｃに対応する仮想情報がテーブルだった場合、このような箇所にテーブルを置くことができない。また、仮にマーカ３１ｃに対応する仮想情報が絵画だった場合、このような箇所に絵画を置くと非常に違和感のある拡張現実画像になってしまう。そこで、仮想情報制御部２６が、マーカが表示されている箇所に応じた適正な仮想情報が表示されるように制御する。例えば、マーカ３１ｃに対応する仮想情報がテーブルであれば、図８（Ａ）においては、床面にテーブルが設置されるように制御する。また、マーカ３１ｃに対応する仮想情報が絵画であれば、図８（Ａ）においては、少しでも違和感がなくなるように、壁面に絵画が設置されるように制御する。
【００４６】
なお、上述したように、マーカが表示されている箇所の状態に応じて仮想情報の配置や角度を制御するようにしてもよいし、仮想情報を重畳することができない旨の警告及びマーカの移動を促すメッセージを出力するようにしてもよい。また、マーカ３１ｃに対応する仮想情報が人や動物のような移動体である場合には、例えば、壁面があることを利用して、壁にぶつかる動作や壁面で方向転換するような動作を行うように仮想情報を表示制御してもよいし、床面があることを利用して座ったりしゃがんだりする動作を行うように仮想情報を表示制御してもよい。つまり、光学的に映像として表示されたマーカの位置や形状から、当該マーカが表示されている箇所の状態を推定し、推定された状態に適合した仮想情報の編集を行うことで、実空間である撮像空間に適したよりリアルな拡張現実画像の生成が可能となる。
【００４７】
図８（Ｂ）では、岩の表面にマーカ３１ｄが表示されている。岩の表面は凸凹しているため、撮像されたマーカは図８（Ｂ）に示すように歪な形状となっている。つまり、推定処理部７１は、このマーカ３１ｄの形状から、当該マーカ３１ｄが表示されている箇所の表面には細かい凹凸があることを推定することができる。仮に、マーカ３１ｄに対応する仮想情報がロボットであるような場合には、このような表面形状を推定した時点で、仮想情報であるロボットが歩行困難であることを出力したり、回避動作を行うように仮想情報を制御することができる。特に、環境汚染されているような場所（人が入れないような場所）に自立型ロボットを送り込むような場合には、表面形状を解析して情報として出力することで、スムーズな動作が可能になるという効果がある。
【００４８】
なお、図８においては、マーカが表示されている箇所を部屋の隅や岩を一例として説明したが、例えば、水面（波）、球面等のように光学的に映像として表示したマーカの形状が変化するものであれば、表面形状を推定することが可能である。
【００４９】
（本発明の第３の実施形態）
本実施形態に係る拡張現実装置について、図９ないし図１１を用いて説明する。本実施形に係る拡張現実装置は、マーカの形状及び／又はサイズを変化させ、その変化状態に基づいて、表面状態を推定するものである。なお、本実施形態において前記各実施形態と重複する説明は省略する。
【００５０】
図９は、本実施形態に係る拡張現実装置の構成を示す機能ブロック図である。第２の実施形態における図７の場合と異なるのは、マーカ制御部９１が新たに構成要素として追加されている点である。すなわち、マーカ制御部９１が、予め定められたルールにしたがって出力するマーカの形状及び／又はサイズを変化させ、推定処理部７１が、そのマーカの変化に基づいてマーカが表示されている箇所における状態を推定する。
【００５１】
図１０は、本実施形態に係る拡張現実装置の処理を示す第１の図である。ここでは、図１０（Ａ）に示すように、表面が球面の箇所にマーカを表示する場合の処理について説明する。表面が球面の箇所に、矩形状のマーカ３１ｅを表示した場合、図１０（Ｂ）のように表示されたとする。推定処理部７１は、抽出されたマーカ３１ｅの形状から、当該マーカ３１ｅが表示されている面が球面状になっていることを推定することができる。しかしながら、球面の程度（球面の半径等）までは推定することができない。
【００５２】
そこで、マーカ制御部９１が、出力するマーカ３１ｅのサイズを所定の大きさだけ変化させる。そうすることで、表示されているマーカ３１ｅのサイズ及び形状が、表面の球面状態に応じて図１０（Ｃ）のように変化する。このときの変化の状態（例えば、白抜き部分のサイズ及び形状の変化の状態、黒部分のサイズ及び形状の変化の状態、黒部分の幅の変化の状態等）からマーカ３１ｅが表示されている箇所の表面の状態を詳細に解析することができ、より環境に適合する仮想情報の重畳が可能となる。
【００５３】
また、図１１は、本実施形態に係る拡張現実装置の処理を示す第２の図である。ここでは、図１１（Ａ）に示すように、横幅が狭い壁面にマーカを表示する場合の処理について説明する。横幅が狭い箇所に、矩形状のマーカ３１ｅを表示した場合、図１１（Ｂ）のように表示されたとする（マーカ３１ｅが一部左の壁面に表示されている）。推定処理部７１は、抽出されたマーカ３１ｅの形状から、当該マーカ３１ｅが表示されている箇所の左側が壁面になっていることを推定することができる。しかしながら、正面の壁面が狭い（右側も壁面になっている）ことまでは推定することができない。
【００５４】
そこで、マーカ制御部９１が、出力するマーカ３１ｅを上下左右に所定の距離だけ移動させる。そうすることで、表示されているマーカ３１ｅのサイズや形状が、その移動範囲における表面の状態に応じて図１１（Ｃ）のように変化する。このときの変化の状態からマーカ３１ｅが表示されている箇所の表面の状態を詳細に解析することができ、より環境に適合する仮想情報の重畳が可能となる。
【００５５】
なお、例えば、マーカ制御部９１がマーカの画像周波数を変化させながら、パターン処理部２５が当該マーカを認識できる画像周波数と認識できない画像周波数を特定することで、推定処理部７１がマーカが表示されている箇所における表面の模様の周波数を推定することができる。仮想情報制御部２６は、例えば、マーカが表示されている箇所における表面の模様の周波数とは異なる周波数の仮想情報を重畳することで、仮想情報をはっきりと明確に視認できるように表示することが可能となる。逆に、マーカが表示されている箇所における表面の模様の周波数と同様の周波数の仮想情報を重畳することで、表面に同化するような仮想情報を表示することが可能となる。マーカの画像周波数は、例えば、白黒の格子状の市松模様における格子サイズを徐々に変えることで周波数を変化させ、マーカの認識が可能な周波数帯とマーカの認識が不可能な周波数帯を特定することが可能である。
【００５６】
このように、本実施形態に係る拡張現実装置においては、マーカの形状及び／又はサイズを変化させ、その変化状態を解析することで表面状態を推定するため、正確な表面形状を算出することが可能になる。
【００５７】
（本発明の第４の実施形態）
本実施形態に係る拡張現実装置について、図１２を用いて説明する。本実施形態に係る拡張現実装置は、マーカをホログラムにより３次元空間中に表示するものである。なお、本実施形態において前記各実施形態と重複する説明は省略する。
【００５８】
図１２は、本実施形態に係る拡張現実装置における投影装置の構成を示す図である。予めマーカの画像情報を記録したホログラムを用意し、所定の方向から再生照明光を照射すると、空間中にマーカの虚像が結ばれる。この虚像の位置は、ホログラムの記録時に調整することができる。
【００５９】
このようなホログラムを用いることで、実空間中の任意の位置にマーカを映し出すことができ、リアルな拡張現実画像を生成することが可能となる。
【符号の説明】
【００６０】
１  拡張現実装置
１１  ＣＰＵ
１２  ＲＡＭ
１３  ＲＯＭ
１４  ＨＤ
１５  通信Ｉ／Ｆ
１６  入出力Ｉ／Ｆ
１７  投影装置
１８  カメラ
１９  ディスプレイ
２１  マーカ記憶部
２２  マーカ出力部
２３  撮像部
２４  撮像制御部
２５  パターン処理部
２６  仮想情報制御部
２７  仮想情報記憶部
２８  画像重畳部
２９  出力制御部
７１  推定処理部
９１  マーカ制御部
【図１】
2015038696.tif 000003
【図２】
2015038696.tif 000004
【図３】
2015038696.tif 000005
【図４】
2015038696.tif 000006
【図５】
2015038696.tif 000007
【図６】
2015038696.tif 000008
【図７】
2015038696.tif 000009
【図８】
2015038696.tif 000010
【図９】
2015038696.tif 000011
【図１０】
2015038696.tif 000012
【図１１】
2015038696.tif 000013
【図１２】
2015038696.tif 000014