(57)【要約】【課題】認識されなくなった基準物に対応付けられたオブジェクトを適切な位置に表示する。【解決手段】表示方法において、表示装置が、入力画像からの複数の基準物の認識に応じ、前記複数の基準物それぞれについて、他の基準物を、当該基準物に対する相対位置情報と当該基準物に対する歪み情報とを有する仮想基準物として認識し、前記入力画像から前記複数の基準物の何れかが認識されなくなった場合に、認識されている基準物から得られる前記認識されなくなった基準物に対応する前記仮想基準物の前記相対位置情報と前記歪み情報とに基づき、前記認識されなくなった基準物に対応付けられたオブジェクトを表示する、ことを特徴とする。【選択図】図４
2015204079.tif 000002
【特許請求の範囲】
【請求項１】
表示装置が、
入力画像からの複数の基準物の認識に応じ、前記複数の基準物それぞれについて、他の基準物を、当該基準物に対する相対位置情報と当該基準物に対する歪み情報とを有する仮想基準物として認識し、
前記入力画像から前記複数の基準物の何れかが認識されなくなった場合に、認識されている基準物から得られる前記認識されなくなった基準物に対応する前記仮想基準物の前記相対位置情報と前記歪み情報とに基づき、前記認識されなくなった基準物に対応付けられたオブジェクトを表示する、
ことを特徴とする表示方法。
【請求項２】
前記認識されなくなった基準物に対応付けられたオブジェクトに関連する情報を外部装置から取得することを特徴とする請求項１に記載の表示方法。
【請求項３】
前記他の基準物を前記仮想基準物として認識する場合に、前記他の基準物に既に設定された前記仮想基準物の情報を引き継いで認識することを特徴とする請求項１又は２に記載の表示方法。
【請求項４】
入力画像からの複数の基準物の認識に応じ、前記複数の基準物それぞれについて、他の基準物を、当該基準物に対する相対位置情報と当該基準物に対する歪み情報とを有する仮想基準物として認識し、
前記入力画像から前記複数の基準物の何れかが認識されなくなった場合に、認識されている基準物から得られる前記認識されなくなった基準物に対応する前記仮想基準物の前記相対位置情報と前記歪み情報とに基づき、前記認識されなくなった基準物に対応付けられたオブジェクトを表示する、
処理をコンピュータに実行させる表示プログラム。
【請求項５】
入力画像からの複数の基準物の認識に応じ、前記複数の基準物それぞれについて、他の基準物を、当該基準物に対する相対位置情報と当該基準物に対する歪み情報とを有する仮想基準物として生成する生成部と、
前記入力画像から前記複数の基準物の何れかが認識されなくなった場合に、認識されている基準物から得られる前記認識されなくなった基準物に対応する前記仮想基準物の前記相対位置情報と前記歪み情報とに基づき、前記認識されなくなった基準物に対応付けられたオブジェクトを表示するオブジェクト表示部とを有することを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示方法、表示プログラム、及び表示装置に関する。
【背景技術】
【０００２】
表示装置に設けられたカメラ（撮像部）により撮像された画像の一部にオブジェクト情報を重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲ技術では、撮影された画像から認識されたＡＲマーカ（基準物）の画像情報及びＩＤに基づき、ＡＲマーカを基準として、拡張空間に重畳して表示されるオブジェクト（以下、必要に応じて「ＡＲオブジェクト」という）を配置する。ＡＲオブジェクトの配置は、ＡＲマーカの位置に対応して定義されるため、画像中からＡＲマーカが認識されなくなると、ＡＲオブジェクトも表示されなくなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１０３７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、ＡＲオブジェクトは、ＡＲマーカを認識している状況でなければ表示することができない。しかしながら、ＡＲマーカが認識されなくなったからといって、必ずしもＡＲオブジェクトの表示が不要になるとは限らない。例えば、偶発的要因（例えば、人や物、蒸気等によりＡＲマーカを遮る等）やデバイス的要因（例えば、カメラの画角の限界で、これ以上後ろに下がることができずＡＲマーカが映らない等）の場合には、ＡＲオブジェクトが継続して表示されることが好ましい。
【０００５】
また、ＡＲマーカは、ＡＲオブジェクトと対応付けるためのＩＤを認識させるための手段であると同時に、カメラの位置を規定する手段でもある。そのため、単にＡＲオブジェクトの情報のみを別途保持することは、カメラが移動したときに、間違った位置にＡＲオブジェクトが配置されることになる。
【０００６】
一つの側面では、本発明は、認識されなくなったＡＲマーカ等の基準物に対応付けられたオブジェクトを適切な位置に表示することを目的とする。
【課題を解決するための手段】
【０００７】
一つの態様では、表示方法として、表示装置が、入力画像からの複数の基準物の認識に応じ、前記複数の基準物それぞれについて、他の基準物を、当該基準物に対する相対位置情報と当該基準物に対する歪み情報とを有する仮想基準物として認識し、前記入力画像から前記複数の基準物の何れかが認識されなくなった場合に、前記認識されなくなった基準物に対応する前記仮想基準物の前記相対位置情報と前記歪み情報とに基づき、前記認識されなくなった基準物に対応付けられたオブジェクトを表示する。
【発明の効果】
【０００８】
認識されなくなった基準物に対応付けられたオブジェクトを適切な位置に表示することができる。
【図面の簡単な説明】
【０００９】
【図１】表示システムの概略構成の一例を示す図である。
【図２】表示装置の機能構成の一例を示す図である。
【図３】表示装置のハードウェア構成の一例を示す図である。
【図４】本実施形態における表示処理の一例を示すフローチャートである。
【図５】仮想ＡＲオブジェクト定義処理の一例を示すフローチャートである。
【図６】重畳表示処理の一例を示すフローチャートである。
【図７】ＡＲマーカＤＢの一例を示す図である。
【図８】ＡＲ表示オブジェクトＤＢの一例を示す図である。
【図９】仮想ＡＲマーカＤＢの一例を示す図である。
【図１０】座標系変換の一例を示す図（その１）である。
【図１１】座標系変換の一例を示す図（その２）である。
【図１２】本実施形態における仮想ＡＲマーカの定義例について説明するための図（その１）である。
【図１３】本実施形態における仮想ＡＲマーカの定義例について説明するための図（その２）である。
【図１４】本実施形態における仮想ＡＲマーカの定義例について説明するための図（その３）である。
【図１５】ＡＲオブジェクトの表示例を示す図である。
【図１６】ＡＲマーカが３つの場合の表示例を示す図である。
【図１７】仮想ＡＲマーカの定義付けの一例を示す図である。
【図１８】最終的に表示されるＡＲオブジェクトの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて実施形態を説明する。
【００１１】
＜表示システムの概略構成例＞
図１は、表示システムの概略構成の一例を示す図である。図１に示す表示システム１０は、情報処理装置（外部装置）の一例としてのサーバ１１と、１又は複数の表示装置１２−１〜１２−ｎ（以下、必要に応じて「表示装置１２」と総称する）とを有する。サーバ１１及び表示装置１２は、例えば通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。
【００１２】
サーバ１１は、基準物の一例としてのＡＲマーカ、及びＡＲマーカに対応付けて登録された各ＡＲオブジェクトが管理されている。ここで、ＡＲマーカとは、例えばＡＲオブジェクト等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるものである。ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像等であるが、これに限定されるものではない。また、ＡＲオブジェクトは、例えば実空間に対応する三次元の仮想空間上に配置された三次元物体のモデルデータ等であり、例えば表示装置１２で撮影された画像に重畳されて表示される重畳情報である。ＡＲオブジェクトは、例えば撮影画像中（動画でも静止画でもよい）に含まれるＡＲマーカからの相対座標で設定された位置に、撮影されたＡＲマーカの歪み情報に対応した歪みを与えて表示される。
【００１３】
本実施形態におけるＡＲオブジェクトは、例えばＡＲマーカ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像（動画像）等の様々な形態が含まれる。また、ＡＲオブジェクトは、表示出力されるものに限定されず、例えば音声等の情報であってもよい。
【００１４】
サーバ１１は、表示装置１２から、ＡＲマーカを識別するための情報（ＡＲマーカＩＤ）を受信すると、対応するＡＲマーカの大きさや形状等を示したＡＲマーカのサイズ情報等を表示装置１２に送信する。また、サーバ１１は、ＡＲマーカＩＤに関連付けて登録されているＡＲオブジェクトを抽出し、抽出したＡＲオブジェクトを表示装置１２に送信する。
【００１５】
サーバ１１は、例えばＰｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ（ＰＣ）等でもよいが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバ等であってもよい。
【００１６】
表示装置１２は、カメラ等の撮像部等により、実空間上にあるＡＲマーカを撮影する。また、表示装置１２は、カメラ等により撮影された入力画像に含まれるＡＲマーカから対応する情報を認識する。また、表示装置１２は、認識したＡＲマーカに対してＡＲオブジェクトの登録を行う。この登録情報は、サーバ１１に送信され、サーバ１１内で管理されてもよく、表示装置１２内部で管理されていてもよい。
【００１７】
また、表示装置１２は、例えば入力画像からの複数のＡＲマーカの認識に応じ、それぞれのＡＲマーカが、他のＡＲマーカそれぞれを、ＡＲマーカとの相対位置情報（相対座標）とＡＲマーカに対する歪み情報とを有する仮想ＡＲマーカ（仮想基準物）として認識する。なお、仮想基準物の認識は、必ずしも複数のＡＲマーカを認識した際にすぐに行わなくてもよく、まず最初に、認識したＡＲマーカに対応するＡＲオブジェクトを表示し、その後で、上述した仮想ＡＲマーカとしての認識を行ってもよい。
【００１８】
また、表示装置１２は、上述した複数のＡＲマーカの何れかが認識されなくなった場合に、認識されているＡＲマーカから得られる、認識されなくなったＡＲマーカに対応する仮想ＡＲマーカの相対位置情報と歪み情報とに基づき、認識されなくなったＡＲマーカに対応付けられたＡＲオブジェクトを表示する。なお、複数のＡＲマーカの何れかとは、例えば複数のＡＲマーカのうちの１又は複数のＡＲマーカを含むが全てのＡＲマーカは除かれる。少なくとも１つのＡＲマーカが認識されていないと、そのＡＲマーカに定義された仮想ＡＲマーカも取得できないからである。
【００１９】
また、表示装置１２は、複数のＡＲマーカの何れかが認識されなくなった場合に、認識されているＡＲマーカから得られる認識されなくなったＡＲマーカに対応付けられたＡＲオブジェクトに関連する情報をサーバ１１から取得してもよい。
【００２０】
また、表示装置１２は、他のＡＲマーカを仮想ＡＲマーカとして認識する場合に、既に他のＡＲマーカに設定されている仮想ＡＲマーカの情報を引き継いで認識してもよい。このように、仮想マーカの情報を順次引き継ぐことにより、同時に関連するＡＲマーカが表示されていない場合でも関連するＡＲマーカを対応付けることができる。
【００２１】
表示装置１２は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。
【００２２】
通信ネットワーク１３は、例えばインターネットやＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）等であるが、これに限定されるものではない。また、通信ネットワーク１３は、有線でも無線でもよく、これらの組み合わせでもよい。
【００２３】
図１に示す表示システム１０において、サーバ１１と表示装置１２とは１対ｎの構成となっているが、これに限定されるものではなく、例えば複数のサーバを有していてもよい。
【００２４】
＜表示装置１２の機能構成の一例＞
次に、上述した表示装置１２の機能構成の一例について、図を用いて説明する。図２は、表示装置の機能構成の一例を示す図である。図２に示す表示装置１２は、撮像部２１と、画像認識部２２と、ＡＲマーカ認識部２３と、歪み検知部２４と、ＡＲオブジェクト表示継続部２５と、表示ＡＲオブジェクト決定部２６と、ＡＲオブジェクト重畳表示部（オブジェクト表示部）２７と、表示部２８と、通信部２９と、記憶部３０とを有する。ＡＲオブジェクト表示継続部２５は、仮想ＡＲマーカ生成部（生成部）２５−１と、仮想ＡＲマーカ認識部２５−２とを有する。また、記憶部３０は、ＡＲマーカデータベース（以下、データベースを「ＤＢ」という）３０−１と、ＡＲ表示オブジェクトＤＢ３０−２と、仮想ＡＲマーカＤＢ３０−３とを有する。
【００２５】
撮像部２１は、例えば予め設定された画角内の実空間の画像を撮影する。画像は、動画像（映像）でもよく、静止画像でもよく、動画像の場合には、複数の画像フレームを有する。撮像部２１は、例えばカメラ等であるが、これに限定されるものではない。
【００２６】
画像認識部２２は、撮像部２１で撮影された画像から、基準物の一例としてのマーカを検出する。また、画像認識部２２は、検出したマーカの位置情報等を取得する。
【００２７】
ＡＲマーカ認識部２３は、画像認識部２２によりマーカが検出された場合に、記憶部３０のＡＲマーカＤＢ３０−１に予め登録されたＡＲマーカのパターン（模様）やサイズ情報（例えば、大きさ、形状等）と照合して、ＡＲマーカの識別情報（例えば、ＡＲマーカＩＤ）等を取得する。
【００２８】
歪み検知部２４は、画像認識部２２で認識したＡＲマーカの画像と、ＡＲマーカＤＢ３０−１に登録された平面のＡＲマーカの画像とを比較して、その歪みの検知処理を行う。ここで、歪みの検知とは、例えばＡＲマーカの物理的な配置が、それを撮影している撮像部２１に対してどういう位置にあるかを検知することである。ＡＲマーカＤＢ３０−１に登録されたＡＲマーカには、正面から歪みのない状態で撮影した場合におけるＡＲマーカのパターン（模様）やサイズ情報（例えば、大きさ、形状等）等を示す情報が格納されているため、この情報に基づいて撮像部２１で撮影されたＡＲマーカが正面位置からどの程度歪んでいるかを検知する。
【００２９】
歪み検知部２４は、例えば歪みのない状態のＡＲマーカを任意の範囲で変形させ、変形させたＡＲマーカと、撮像部２１により撮影されたＡＲマーカとでマッチングを行い、２つのＡＲマーカが一致したときの変形量（例えば、三次元方向の回転量や傾き等）を歪み情報として取得してもよい。歪み検知部２４は、検知した歪み情報（キャリブレーション情報）を、ＡＲマーカ毎にサイズ情報に含めてＡＲマーカＤＢ３０−１に記憶してもよく、また、内部メモリ等に記憶してもよい。
【００３０】
ここで、ＡＲマーカが撮影された画像から複数（２つ以上）同時に認識されていた場合、ＡＲオブジェクト表示継続部２５の仮想ＡＲマーカ生成部２５−１は、各々のＡＲマーカ（例えば、ＡＲマーカＡとＡＲマーカＢ）について、相手のＡＲマーカを仮想のＡＲオブジェクトとして認識し、仮想ＡＲマーカを生成（定義）する。例えば、仮想ＡＲマーカ生成部２５−１により、ＡＲマーカＡは、ＡＲマーカＢを仮想ＡＲオブジェクトｂとし、ＡＲマーカＢは、ＡＲマーカＡを仮想ＡＲオブジェクトａとして、仮想ＡＲマーカを生成（定義）する。
【００３１】
この場合、上述した歪み検知部２４では、ＡＲマーカ認識部２３で取得したＡＲマーカＡの歪みＸａを検知している。したがって、仮想ＡＲマーカ生成部２５−１は、歪み検知部２４で検知された歪みＸａを用いてＡＲマーカＢを補正する（ＢＸａ）。これにより、仮にＡＲマーカＡが平面で、ある基準となる距離で撮像部２１で撮影した場合に、ＡＲマーカＢがＡＲマーカＡに対してどのように画像に映るかを把握することができる。したがって、ＡＲマーカＡを基準とした相対座標が求められ、ＡＲマーカＢをＡＲマーカＡの仮想ＡＲオブジェクトｂとして定義することができる。この結果は、仮想ＡＲマーカＤＢ３０−３に保存される。
【００３２】
仮想ＡＲマーカ生成部２５−１は、同様にＡＲマーカＡをＡＲマーカＢを基準とした仮想ＡＲオブジェクトａとして定義し、定義した情報を仮想ＡＲマーカＤＢ３０−３に保存する。
【００３３】
また、仮想ＡＲマーカ生成部２５−１は、他のＡＲマーカを仮想ＡＲマーカとして認識する場合に、既に他のＡＲマーカに設定されている仮想ＡＲマーカの情報を順次引き継いで定義してもよい。その場合、徐々に仮想ＡＲマーカの数が増加してしまうため、時間や数等に閾値を設けて引き継いでから所定時間経過後に消去したり、又は仮想ＡＲマーカの数が閾値以上の場合に引き継がないようにしてもよい。また、仮想ＡＲマーカ生成部２５−１は、各ＡＲマーカ間の距離に応じて仮想ＡＲマーカを引き継ぐか否かを判断する制御を行ってもよい。
【００３４】
ＡＲオブジェクト表示継続部２５の仮想ＡＲマーカ認識部２５−２は、ＡＲマーカ認識部２３で取得したＡＲマーカＩＤを用いて仮想ＡＲマーカＤＢ３０−３を検索する。また、仮想ＡＲマーカ認識部２５−２は、ＡＲマーカＩＤを基準とした仮想ＡＲオブジェクトが定義されている場合、その仮想ＡＲオブジェクトが表現している仮想ＡＲマーカのＩＤと同一の、実際のＡＲマーカが同一画面にあるかどうかを確認する。仮想ＡＲマーカ認識部２５−２は、同一ＩＤが複数存在する場合には、そのうちの１つを対象とし、残りを無視する。これは、例えばＡＲマーカＡとＡＲマーカＢとが同時に検出され、それぞれに対して仮想ＡＲオブジェクトｂと仮想ＡＲオブジェクトａとが定義されたときに、ＡＲマーカＡと仮想ＡＲオブジェクトａとが同時に処理されないようにするためである。
【００３５】
表示ＡＲオブジェクト決定部２６は、ＡＲマーカ認識部２３で取得したＡＲマーカＩＤを用いて、そのＩＤに関連付けられたＡＲ表示オブジェクトＤＢ３０−２より検索し、表示するＡＲオブジェクトを決定する。
【００３６】
ＡＲオブジェクト重畳表示部２７は、表示ＡＲオブジェクト決定部２６で決定されたＡＲオブジェクト毎にＡＲマーカからの相対座標を取得する。また、ＡＲオブジェクト重畳表示部２７は、歪み検知部２４で得られたＡＲマーカの歪み情報を用いて表示位置や形状に補正を加える。
【００３７】
表示部２８は、撮像部２１で撮影された画像に対して、補正した形状等でＡＲオブジェクトを重畳して表示する。また、表示部２８は、例えばモニタやディスプレイ等である。
【００３８】
通信部２９は、通信ネットワーク１３によりサーバ１１等の外部装置等とのデータの送受信を行うことができる。通信部２９は、例えば複数のＡＲマーカの少なくとも１つが認識されなくなった場合に、認識されなくなったＡＲマーカに対応付けられたオブジェクトに関連する情報をサーバ１１等に問い合わせを行い、対応する情報を取得する。また、ＡＲオブジェクトに関する各種情報等についてもサーバ１１等から取得することができる。
【００３９】
記憶部３０は、本実施形態における表示処理を実行するために必要となる各種情報を記憶する。なお、記憶部３０に記憶される情報としては、上述したＡＲマーカＤＢ３０−１、ＡＲ表示オブジェクトＤＢ３０−２、仮想ＡＲマーカＤＢ３０−３等に限定されるものではなく、例えば、表示処理を実行したときのログ情報（履歴情報）やエラー情報、外部装置とのアクセス情報等を記憶してもよい。
【００４０】
＜表示装置１２のハードウェア構成例＞
次に、表示装置１２のハードウェア構成例について図を用いて説明する。図３は、表示装置のハードウェア構成の一例を示す図である。図３の例において、表示装置１２は、マイクロフォン（以下、「マイク」という）４１と、スピーカ４２と、カメラ４３と、表示部４４と、操作部４５と、センサ部４６と、電力部４７と、無線部４８と、近距離通信部４９と、補助記憶装置５０と、主記憶装置５１と、ＣＰＵ５２と、ドライブ装置５３とを有し、これらはシステムバスＢで相互に接続されている。
【００４１】
マイク４１は、ユーザが発した音声や、その他の音を入力する。スピーカ４２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク４１及びスピーカ４２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。
【００４２】
カメラ４３は、例えば予め設定された画角内の実空間の画像（動画像、静止画像）を撮影する。カメラ４３は、例えば上述した撮像部２１の一例である。
【００４３】
表示部４４は、ユーザに対してＯｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ（ＯＳ）や各種アプリケーションで設定された画面（例えば、実空間にＡＲオブジェクトが重畳された画像等）を表示する。また、表示部４４は、タッチパネルディスプレイ等でもよく、その場合には表示部４４は、入出力部としての機能を有する。
【００４４】
表示部４４は、例えばＬｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。表示部４４は、例えば上述した表示部２８の一例である。
【００４５】
操作部４５は、表示部４４の画面に表示された操作ボタンや表示装置１２の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。
【００４６】
ユーザは、例えば表示部４４の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部４４により画面上のタッチ位置が検出される。また、表示部４４は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。
【００４７】
センサ部４６は、表示装置１２のある時点又は継続的な動作を検出する。例えば、センサ部４６は、表示装置１２の傾き角度、加速度、方向、位置等を検出するが、これに限定されるものではない。なお、センサ部４６としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ（ＧＰＳ、全地球測位網）等であるが、これに限定されるものではない。
【００４８】
電力部４７は、表示装置１２の各構成に対して電力を供給する。電力部４７は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部４７は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。
【００４９】
無線部４８は、例えばアンテナ等を用いて基地局からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。
【００５０】
近距離通信部４９は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の表示装置１２等のコンピュータと近距離通信を行うことができる。上述した無線部４８及び近距離通信部４９は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。
【００５１】
補助記憶装置５０は、例えばＨａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段である。補助記憶装置５０は、ＣＰＵ５２からの制御信号に基づき、本実施形態における実行プログラム（表示プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置５０は、ＣＰＵ５２からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。
【００５２】
主記憶装置５１は、ＣＰＵ５２からの指示により補助記憶装置５０から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置５１は、例えばＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等である。
【００５３】
ＣＰＵ５２は、ＯＳ等の制御プログラム、及び主記憶装置５１に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、出力制御における各処理を実現する。
【００５４】
具体的には、ＣＰＵ５２は、例えば操作部４５等から得られるプログラムの実行指示等に基づき、補助記憶装置５０にインストールされたプログラムを実行させることにより、主記憶装置５１上でプログラムに対応する処理を行う。例えば、ＣＰＵ５２は、表示プログラムを実行させることで、上述した撮像部２１による実空間の撮像、画像認識部２２による画像認識、ＡＲマーカ認識部２３によるＡＲマーカの認識、歪み検知部２４による歪み検知、ＡＲオブジェクト表示継続部２５による仮想ＡＲマーカ生成や仮想ＡＲマーカ認識等の処理を行う。また、ＣＰＵ５２は、表示プログラムを実行させることで、表示ＡＲオブジェクト決定部２６による表示ＡＲオブジェクトの決定、ＡＲオブジェクト重畳表示部２７による重畳表示、表示部２８による表示等の処理を行う。ＣＰＵ５２における処理内容は、上述した内容に限定されるものではない。ＣＰＵ５２により実行された内容は、必要に応じて補助記憶装置５０等に記憶される。
【００５５】
ドライブ装置５３は、例えば記録媒体５４等を着脱自在にセットすることができ、セットした記録媒体５４に記録された各種情報を読み込んだり、所定の情報を記録媒体５４に書き込むことができる。ドライブ装置５３は、例えば媒体装填スロット等であるが、これに限定されるものではない。
【００５６】
記録媒体５４は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体５４は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体５４は、ＵＳＢメモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。
【００５７】
本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、表示プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示処理等を実現することができる。また、上述した表示処理に対応する表示プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。
【００５８】
＜表示処理の一例＞
次に、本実施形態における表示処理の一例についてフローチャートを用いて説明する。図４は、本実施形態における表示処理の一例を示すフローチャートである。図４の例において、撮像部２１は、撮影等により実空間における画像（動画像でも静止画像でもよい）を取得する（Ｓ０１）。なお、Ｓ０１の処理で取得される画像は、表示装置１２以外の装置から撮影された画像であってもよい。次に、画像認識部２２は、Ｓ０１の処理で得られた画像に対する画像認識を行う（Ｓ０２）。
【００５９】
次に、ＡＲマーカ認識部２３は、Ｓ０２における認識処理の結果からＡＲマーカを検出したか否かを判断する（Ｓ０３）。ＡＲマーカを検出した場合（Ｓ０３において、ＹＥＳ）、ＡＲマーカ認識部２３は、ＡＲマーカのＩＤを取得する（Ｓ０４）。次に、ＡＲマーカ認識部２３は、複数のＡＲマーカを検出したか否かを判断し（Ｓ０５）、複数のＡＲマーカを検出した場合（Ｓ０５において、ＹＥＳ）、ＡＲオブジェクト表示継続部２５は、互いのＡＲマーカを仮想ＡＲオブジェクトとして定義する（Ｓ０６）。なお、Ｓ０６の処理において、既に定義されている場合には、再度定義を行わなくてもよい。定義された情報は、仮想ＡＲマーカＤＢ３０−３に記憶される。Ｓ０６の処理の一例については後述する。
【００６０】
次に、Ｓ０６の処理後、又はＳ０５の処理において、複数のＡＲマーカを検出していない場合（Ｓ０５において、ＮＯ）、ＡＲオブジェクト表示継続部２５は、仮想ＡＲマーカＤＢ３０−３を参照し、そのＡＲマーカ（基準ＡＲマーカ）に仮想ＡＲオブジェクトがあるか否かを判断する（Ｓ０７）。ＡＲマーカに仮想ＡＲオブジェクトがある場合（Ｓ０７において、ＹＥＳ）、ＡＲオブジェクト表示継続部２５は、仮想ＡＲオブジェクトと、同一ＩＤのＡＲマーカが同時に検出されたか否かを判断する（Ｓ０８）。
【００６１】
仮想ＡＲオブジェクトと、同一ＩＤのＡＲマーカが同時に検出された場合（Ｓ０８において、ＹＥＳ）、ＡＲオブジェクト表示継続部２５は、例えばＡＲマーカの方を優先し、その仮想ＡＲオブジェクトについては無視する（Ｓ０９）。
【００６２】
また、Ｓ０８の処理において、仮想ＡＲオブジェクトと、同一ＩＤのＡＲマーカが同時に検出されていない場合（Ｓ０８において、ＮＯ）、ＡＲオブジェクト表示継続部２５は、仮想ＡＲオブジェクトの相対座標に歪みを補正して表示する（Ｓ１０）。次に、ＡＲオブジェクト表示継続部２５は、表示した仮想ＡＲオブジェクトを含む画像を取得し（Ｓ１１）、仮想ＡＲマーカをＡＲマーカとして検出する（Ｓ１２）。
【００６３】
次に、表示ＡＲオブジェクト決定部２６は、仮想ＡＲマーカのＩＤを取得し、仮想ＡＲマーカのＩＤに関連付けられたＡＲオブジェクトをＡＲ表示オブジェクトＤＢ３０−２から取得して決定する（Ｓ１３）。次に、ＡＲオブジェクト重畳表示部２７は、表示ＡＲオブジェクト決定部２６により得られた仮想ＡＲマーカのＩＤに関連付けられたＡＲオブジェクトを重畳表示する（Ｓ１４）。
【００６４】
ここで、Ｓ０９の処理後、Ｓ１４の処理後、又はＳ０８の処理において、ＡＲマーカに仮想ＡＲオブジェクトがない場合（Ｓ０８において、ＮＯ）、ＡＲオブジェクト重畳表示部２７は、表示ＡＲオブジェクト決定部２６によりＡＲ表示オブジェクトＤＢ３０−２から取得したＡＲマーカのＩＤに関連付けられたＡＲオブジェクトを重畳表示し（Ｓ１５）、その結果をモニタ等の表示部２８に表示する（Ｓ１６）。
【００６５】
また、上述したＳ０３の処理において、撮像部２１により撮影した画像にＡＲマーカが検出されない場合（Ｓ０３において、ＮＯ）、そのまま表示処理を終了する。本実施形態では、例えば撮像部２１による撮影中は、上述した表示処理が繰り返し行われる。なお、本実施形態では、上述したＳ０６の処理において、例えば他のＡＲマーカのうち予め設定された条件に基づく一部のＡＲマーカを仮想ＡＲオブジェクトとして定義してもよい。また、本実施形態では、まず最初に、画像認識により検出したＡＲマーカに対応するＡＲオブジェクトを表示し、その後で、Ｓ０６の処理のように互いのＡＲマーカを仮想ＡＲオブジェクトとして定義してもよい。
【００６６】
＜Ｓ０６；仮想ＡＲオブジェクト定義処理＞
次に、上述したＳ０６の処理における仮想ＡＲオブジェクト定義処理について、フローチャートを用いて説明する。図５は、仮想ＡＲオブジェクト定義処理の一例を示すフローチャートである。なお、以下の説明では、撮像部２１に撮影された画像中に２つのＡＲマーカＡ，Ｂが存在する場合に、お互いのＡＲマーカに対応するＡＲオブジェクトａ，ｂの定義例について説明するが、これに限定されるものではない。例えば撮影された画像中に３以上のＡＲマーカが存在する場合にも同様の処理を行うことで、仮想ＡＲオブジェクト定義を行うことができる。
【００６７】
図５の例において、仮想ＡＲマーカ生成部２５−１は、相手ＡＲマーカＢに対して、元のＡＲマーカＡが、仮想ＡＲオブジェクトａとして定義済みか否かを判断する（Ｓ２１）。定義済みでない場合（Ｓ２１において、ＮＯ）、歪み検知部２４は、元のＡＲマーカＡの歪みＸａを検知する（Ｓ２２）。
【００６８】
次に、仮想ＡＲマーカ生成部２５−１は、相手ＡＲマーカＢを検知した歪みＸａで補正する（Ｓ２３）。次に、仮想ＡＲマーカ生成部２５−１は、ＡＲマーカＤＢ３０−１を参照し、相手ＡＲマーカＢの本来の大きさＢｓを取得する（Ｓ２４）。なお、本来の大きさＢｓとは、例えば上述したように正面から見た歪みのないマーカの大きさや形状等を示すサイズ情報Ｂｓである。次に、仮想ＡＲマーカ生成部２５−１は、補正したＡＲマーカＢＸａと、本来の大きさＢｓとから、元のＡＲマーカＡに対する仮想ＡＲオブジェクトｂを定義する（Ｓ２５）。
【００６９】
次に、仮想ＡＲマーカ生成部２５−１は、元のＡＲマーカＢに対しても同様に仮想ＡＲオブジェクトａを定義する（Ｓ２６）。定義された情報は、仮想ＡＲマーカＤＢ３０−３に記憶される。なお、上述したＳ２１の処理において、相手ＡＲマーカＢに対して元のＡＲマーカＡが仮想ＡＲオブジェクトａとして定義済みである場合（Ｓ２１において、ＹＥＳ）、そのまま処理を終了する。
【００７０】
なお、上述した処理ではＡＲマーカの大きさ（実サイズ）は、全て同じであると仮定してＢｓを共通として、ＡＲマーカＤＢ３０−１に登録されている。このサイズ情報Ｂｓは、例えばＡＲマーカＡを撮像部２１の画像で撮影した際に、表示部２８上でどのようなサイズで認識されるかを示す歪み情報等を有するパラメータ（キャリブレーション情報）を含んでいてもよい。一方、個々にＡＲマーカを同一の実サイズではなく、カスタムに設定する場合には、ＡＲマーカのサイズ情報Ｂｓは同一とはならない。その場合には、ＡＲマーカ毎にキャリブレーションするための情報を事前に作成してＡＲマーカＤＢ３０−１に保存しておいてもよい。
【００７１】
＜Ｓ１４、Ｓ１５；重畳表示処理＞
次に、上述したＳ１４、Ｓ１５における重畳表示処理の一例について、フローチャートを用いて説明する。図６は、重畳表示処理の一例を示すフローチャートである。
【００７２】
図６の例において、ＡＲオブジェクト重畳表示部２７は、ＡＲマーカのＩＤに関連付けられたＡＲオブジェクトがあるか否かを判断する（Ｓ３１）。Ｓ３１におけるＡＲマーカとは、Ｓ１４の処理の場合には、仮想ＡＲマーカのＩＤであり、Ｓ１５の処理の場合には、ＡＲマーカのＩＤである。
【００７３】
Ｓ３１の処理において、ＡＲオブジェクトがある場合（Ｓ３１において、ＹＥＳ）、例えばＡＲ表示オブジェクトＤＢ３０−２等からＡＲオブジェクト及び相対座標（基準ＡＲマーカに対する相対位置情報）を取得する（Ｓ３２）。
【００７４】
次に、ＡＲオブジェクト重畳表示部２７は、ＡＲマーカの歪み情報等に基づいて表示を補正し（Ｓ３３）、カメラ等の撮像部２１で撮影された画像にＡＲオブジェクトを重畳して表示部２８に表示する（Ｓ３４）。なお、上述したＳ３１の処理において、ＩＤに関連付けられたＡＲオブジェクトがない場合（Ｓ３１において、ＮＯ）、処理を終了する。
【００７５】
なお、図６の処理は、撮影された画像に含まれる１又は複数のＡＲマーカ及び仮想ＡＲマーカについて実行される。例えば、ＡＲマーカのＩＤと仮想ＡＲマーカのＩＤとが同一の場合には、ＡＲマーカのＩＤが優先して実行し、仮想ＡＲマーカのＩＤに対する処理を無視してもよい。
【００７６】
＜データ例＞
次に、本実施形態における表示処理で用いられる各種データ例（ＡＲマーカＤＢ３０−１、ＡＲ表示オブジェクトＤＢ３０−２、仮想ＡＲマーカＤＢ３０−３）について、図を用いて説明する。
【００７７】
図７は、ＡＲマーカＤＢの一例を示す図である。図７に示すＡＲマーカＤＢ３０−１の項目としては、例えば「ＡＲマーカＩＤ」、「ＡＲマーカパターン」、「ＡＲマーカのサイズ情報」等であるが、これに限定されるものではない。ＡＲマーカＩＤは、ＡＲマーカを識別するための識別情報である。ＡＲマーカパターンは、撮像部２１で撮影された画像中にＡＲマーカが存在するか否かを認識する処理において、基準となるマーカパターン（模様や形状）等が記憶される。マーカパターンは、ＩＤ毎に異なるパターンであってよく、また１つのＩＤに対して複数のマーカパターンが存在してもよい。
【００７８】
図７の例では、正面から見た予め設定された基準サイズのマーカパターンが記憶されており、この画像との撮影されたＡＲマーカとの比較により、歪みの検知等を行い、補正情報としてＡＲマーカのサイズ情報に保存される。
【００７９】
ＡＲマーカのサイズ情報は、マーカの大きさや形状等が記憶される。また、サイズ情報は、マーカの大きさや形状をユーザ毎にカスタムにデザインしている場合には、ＡＲマーカの実サイズが同一とはならないため、ＡＲマーカ毎にキャリブレーションするためのサイズ情報を事前に格納している。この情報を用いることで、位置や形状の補正や座標変換等を適切に行うことができる。
【００８０】
図８は、ＡＲ表示オブジェクトＤＢの一例を示す図である。図８に示すＡＲ表示オブジェクトＤＢ３０−２の項目としては、例えば「ＡＲオブジェクトＩＤ」、「ＡＲオブジェクト」、「基準ＡＲマーカＩＤ」、「基準ＡＲマーカＩＤ」、「基準ＡＲマーカからの相対座標」等があるが、これに限定されるものではない。
【００８１】
「ＡＲオブジェクトＩＤ」は、画面に重畳表示するＡＲオブジェクトを識別するための識別情報である。「ＡＲオブジェクト」は、オブジェクトの画像（動画像、静止画像）、テキスト情報等が記憶される。「基準ＡＲマーカＩＤ」は、ＡＲオブジェクトに対応する基準となるＡＲマーカの識別情報である。本実施形態では、ＡＲオブジェクトＩＤと、基準ＡＲマーカＩＤとが１対１で設定されていてもよく、１対ｎ、ｎ対１の関係で設定されていてもよい。図８の例では、基準マーカＩＤ「ＡＲＩＤ１」に対して、ＡＲオブジェクトＩＤ「ＯＢＪＩＤ１」、「ＯＢＪＩＤ２」が設定されている。
【００８２】
「基準ＡＲマーカからの相対座標」は、ＡＲオブジェクトを表示する際に、基準ＡＲマーカの位置を基準に、どの方向にどのくらい離れた位置に表示するか示す情報が記憶される。「基準ＡＲマーカからの相対座標」は、他のＡＲオブジェクトと重ならないような位置に設定されることが好ましい。
【００８３】
図９は、仮想ＡＲマーカＤＢの一例を示す図である。図９（Ａ）は、ＡＲマーカが２つの場合の仮想ＡＲマーカＤＢ３０−３の一例を示し、図９（Ｂ）は、ＡＲマーカが３つの場合の仮想ＡＲマーカＤＢ３０−３の一例を示している。
【００８４】
図９（Ａ），（Ｂ）に示す仮想ＡＲマーカＤＢ３０−３の項目としては、例えば「仮想ＡＲオブジェクトＩＤ」、「仮想ＡＲマーカＩＤ」、「ＡＲオブジェクト」、「基準ＡＲマーカＩＤ」、「基準ＡＲマーカからの相対座標」等であるがこれに限定されるものではない。
【００８５】
「仮想ＡＲオブジェクトＩＤ」は、仮想ＡＲオブジェクトを識別するための識別情報である。「仮想ＡＲマーカＩＤ」は、仮想ＡＲマーカを識別するための識別情報である。「ＡＲオブジェクト」は、仮想ＡＲマーカＩＤに対応するＡＲオブジェクトの情報である。「基準ＡＲマーカＩＤ」は、上述したＡＲ表示オブジェクトＤＢ３０−２に示す基準ＡＲマーカＩＤに相当する。基準ＡＲマーカからの相対座標は、基準となるＡＲマーカからの相対座標である。
【００８６】
図９（Ａ），（Ｂ）の例では、各基準ＡＲマーカＩＤに対して、お互いに他のＡＲマーカが仮想ＡＲオブジェクトとして関連付けられている。図９（Ｂ）に示すように、同一の仮想ＡＲマーカＩＤであっても基準ＡＲマーカＩＤが異なれば、異なる仮想ＡＲオブジェクトＩＤとして定義される。なお、図９（Ａ）、（Ｂ）の例では、更に他のＡＲマーカを仮想ＡＲマーカとして認識する場合に、既に他のＡＲマーカに設定されている仮想ＡＲマーカの情報を記憶してもよい。
【００８７】
上述した図７〜図９に示す各データの項目や種類については、これに限定されるものではない。また、図７〜図９に示す各データは、表示装置１２内の記憶部３０に記憶されてもよく、サーバ１１内で管理されていてもよい。例えば、各データがサーバで管理される場合、表示装置１２は、ＡＲマーカ認識部２３により認識されたＡＲマーカＩＤを用いてサーバ１１にデータの取得要求を行い、ＡＲマーカＤＢ３０−１、ＡＲ表示オブジェクトＤＢ３０−２、及び仮想ＡＲマーカＤＢ３０−３のうち少なくとも１つからＡＲマーカＩＤに関連付けられた情報を取得することができる。また、サーバ１１が各データの更新処理を行った場合に、更新されたデータを各表示装置１２に配信してもよい。
【００８８】
＜具体例＞
次に、本実施形態における表示処理の具体例について、図を用いて説明する。本実施形態における表示処理は、例えば設備保守といったビジネスの現場等で使用されるが、これに限定されるものではない。設備保守では、設備の情報や手順、注意事項等をＡＲオブジェクトとして表示する。
【００８９】
ここで、従来技術においては、ＡＲオブジェクトを映像（動画像）に重ねて表示し続けるために、カメラに撮影された映像に、常にＡＲマーカが含まれている必要がある。そのため、ＡＲオブジェクトの位置がカメラに映った映像の範囲内にあったとしても、ＡＲマーカ自体がカメラの撮影範囲（画角）の外に出てしまったり、人や物等の障害物でＡＲマーカが隠れてしまうと、ＡＲオブジェクトは表示できなくなってしまう。
【００９０】
また、ＡＲマーカが認識されなくなったからといって、必ずしもＡＲオブジェクトの表示が不要になるとは限らない。ＡＲマーカが認識されなくなっても、その位置（場所）にいる限り、ＡＲオブジェクトを表示し続けることが求められる。
【００９１】
例えば、高温のパイプの周囲において、そのパイプが危険であることを周知するためにＡＲオブジェクトを表示したいとき、それに対応したＡＲマーカが認識されなくなったからといって、作業者がそのパイプの側から離れたわけではないため、警告等のオブジェクトを表示し続けたい。しかし、ＡＲマーカが認識できないと、ＡＲオブジェクトも消えてしまう。
【００９２】
また、ＡＲマーカは、ＡＲオブジェクトと対応付けるためのＩＤを認識させるための手段であると同時に、カメラの位置を規定する手段でもある。そのため、単にＡＲオブジェクトの情報のみを保持したとしても、カメラが移動したときに、本来表示されるべき位置とは違った位置や形でＡＲオブジェクトが表示されてしまう。
【００９３】
また、ＡＲオブジェクトは、ＡＲマーカを基準とした座標系で描画する位置を特定し、ＡＲマーカの角度や歪みを元に、ＡＲオブジェクトの形を変形する歪み補正（射影）を経て描画される。この歪みは、そのＡＲマーカに依存した補正であり、従来では、別のＡＲマーカより求めた座標には適用できない。あるＡＲマーカに関連付けられたＡＲオブジェクトを、別のＡＲマーカの座標系に変換すると、位置は特定できるが、元のＡＲマーカに設定された補正は、そのまま使えず、新しいＡＲマーカを基準に角度や歪みの補正をし直す必要が生じる。
【００９４】
なお、歪みの補正とは、例えばＡＲマーカのカメラへの映り方に合わせてＡＲオブジェクトを変形させることであるが、これに限定されるものではない。また、ＡＲオブジェクトを画面に表示する際、ＡＲマーカを基準とした座標を算出し、ＡＲマーカの形状（歪み）からＡＲオブジェクトの変形を行う歪み補正の処理がされる。また、ＡＲマーカは、貼られる位置によってＡＲマーカの形状の歪み（カメラの位置に対する傾き）が異なる。これは、ＡＲオブジェクトの座標を特定する際には影響しない。
【００９５】
しかし、ＡＲオブジェクトの射影は、マーカの形状を基準に行われるため、基準となるマーカが変わるとＡＲオブジェクトの変形も変わってしまう。同じ座標であっても、ＡＲマーカＡの形状を基準としたＡＲオブジェクトの変形と、ＡＲマーカＢを基準としたＡＲオブジェクトの変形は変わってしまう。
【００９６】
そこで、本実施形態では、基準となったＡＲマーカが撮影画像中から認識できなくなってもＡＲオブジェクトを表示し続けられるように、ＡＲオブジェクトを複数のマーカに動的に関連付けを行う。ＡＲオブジェクトとＡＲマーカとの動的な関連付けを行うには、動的に相対座標を設定することと、ＡＲマーカの角度や歪みの補正が必要である。しかしながら、ＡＲマーカの角度や歪みの補正は、そのＡＲマーカの座標系に対する補正であり、あるＡＲマーカに関連付けられたＡＲオブジェクトを、別のＡＲマーカの座標系に変換すると角度や歪みの補正をし直す必要が出てしまう。
【００９７】
ＡＲオブジェクトは、基準となるＡＲマーカからの相対座標で定義されている。言い換えると、各ＡＲマーカの中心を基準とした座標系（マーカ座標系）で定義されているといえる。ＡＲオブジェクトを撮像部２１で撮影された画像上に描画（表示）するには、「（１）マーカ座標系のモデル変換（座標変換）」、「（２）マーカ座標系の視界変換（射影）」の順序で座標を変換する必要が生じる。また、あるＡＲマーカ（例えば、ＡＲマーカＡ）の座標系に定義されたＡＲオブジェクトを別のＡＲマーカ（例えば、ＡＲマーカＢ）の座標系に変換する際、座標変換はＡＲマーカＡ座標系のモデル変換とＡＲマーカＢ座標系のモデル変換から計算で求めることができる。
【００９８】
ここで、図１０、図１１は、座標系変換の一例を示す図（その１，その２）である。図１０（Ａ）は、撮影された画像６０−１に含まれる２つのＡＲマーカ（ＡＲマーカＡ，Ｂ）のうち、ＡＲマーカＡを基準にＡＲオブジェクト１の座標系を定義した例を示す。また、図１０（Ｂ）は、ＡＲマーカＢを基準にＡＲオブジェクト１の座標系を定義した例を示す。また、図１１（Ａ），（Ｂ）は、図１０（Ａ），（Ｂ）のカメラ方向とは異なる方向から撮影した画像６０−２におけるＡＲオブジェクト１の見え方の例を示す。
【００９９】
図１０（Ａ），（Ｂ）に示すような射影は、視点の移動、距離に合わせてＡＲオブジェクトを拡縮するために必要な情報である。この拡縮は、例えば実際のＡＲマーカの外周の大きさ（サイズ情報）と座標系上でのＡＲマーカの外周の大きさとの比例関係から求められる。ＡＲマーカＡにおける射影の情報は、ＡＲマーカＡを基準としたＡＲオブジェクトには適用できる。
【０１００】
例えば、上述した図１０（Ａ）の例では、ＡＲオブジェクト１がＡＲマーカＡと関連付けられている場合、ＡＲマーカＡを基準とした座標情報からＡＲオブジェクト１の位置が特定される。また、図１０（Ｂ）に示すように、マーカＡを基準としたＡＲオブジェクト１の位置と重なるように、マーカＢを基準とした座標系におけるＡＲオブジェクト１の座標を算出することはできる。
【０１０１】
しかしながら、図１１（Ａ），（Ｂ）に示すように上述の座標変換でＡＲマーカＢを基準に再定義されたＡＲオブジェクトに対してＡＲマーカＡ又はＡＲマーカＢを基準とした射影の情報を適用することができない。
【０１０２】
つまり、従来では、図１１（Ａ），（Ｂ）の画像６０−２に示すように、射影の情報を動的に定義できていないため、あるＡＲマーカに対して定義済みのＡＲオブジェクトを別のＡＲマーカに自動的に関連付けをし直すことができない。
【０１０３】
図１１（Ａ），（Ｂ）に示すように、図１０（Ａ），（Ｂ）を上から見た状態では、ＡＲオブジェクト１を、マーカＢの射影情報に基づいて変形させると、マーカＡを基準とした場合と見た目が変わってしまう。したがって、同一の結果にするためには、図１１（Ｂ）に示すようにマーカＡが、今のカメラの角度でどのように映っているかを知る必要がある。
【０１０４】
そこで、本実施形態では、あるＡＲマーカ（例えば、ＡＲマーカＡ）が画面内に表示されている状態で別のＡＲマーカ（例えば、ＡＲマーカＢ）を画面内に表示した際に、それぞれの座標系において、画面に映っているお互いＡＲマーカを仮想のＡＲオブジェクト（仮想ＡＲマーカ）として各座標系内に動的に定義する。つまり、マーカＡの座標系内にマーカＢを仮想のＡＲオブジェクトとして生成（定義）し、マーカＢの座標系内にマーカＡを仮想のＡＲオブジェクトとして生成（定義）する。
【０１０５】
＜仮想ＡＲマーカの定義例＞
ここで、図１２〜図１４は、本実施形態における仮想ＡＲマーカの定義例について説明するための図（その１〜その３）である。図１２〜図１４の例において、上述した仮想ＡＲオブジェクトは、仮想ＡＲマーカ生成部２５−１によって、例えば平面の正方形等を基準として、各マーカ座標系内での相対座標で動的に定義される。
【０１０６】
例えば、表示装置１２が撮像部２１により撮影され表示部２８に表示された画像（動画像でも静止画像でもよい）７０−１に２つのマーカ（例えば、ＡＲマーカＡ，Ｂ）が存在している。
【０１０７】
ＡＲマーカ認識部２３は、画像７０−１からＡＲマーカを認識し、ＡＲマーカＡ，Ｂが検出されれば、ＡＲマーカ認識部２３が、ＡＲマーカＤＢ３０−１に予め登録されたＡＲマーカのパターン（模様）、大きさ等と照合して、ＡＲマーカのＩＤを取得する。また、歪み検知部２４は、ＡＲマーカ認識部２３で認識したＡＲマーカの画像と、ＡＲマーカＤＢ３０−１に登録された平面のＡＲマーカの画像を比較して、その歪み（ＡＲマーカの物理的な配置が、それを撮影しているカメラに対してどういう位置にあるか）を検知する。検知した歪み情報は、ＡＲマーカ毎にサイズ情報に含めて記憶してもよく、内部メモリ等に記憶してもよい。
【０１０８】
仮想ＡＲマーカ生成部２５−１は、図１２（Ａ）に示すように、ＡＲマーカＡを基準ＡＲマーカとし、ＡＲマーカＡの座標系を基準にＡＲマーカＢが画面上のどの座標にあるかを取得し、その位置に仮想ＡＲマーカＢとして動的に仮想ＡＲオブジェクトを生成する。なお、図１２（Ａ）の例では、便宜的に仮想マーカＢを実際のＡＲマーカＢの大きさよりも大きく示しているが、実際には画面上で同一に見えるサイズで定義される。
【０１０９】
また、仮想ＡＲマーカ生成部２５−１は、図１２（Ｂ）に示すように、ＡＲマーカＢを基準ＡＲマーカとし、ＡＲマーカＢの座標系を基準にＡＲマーカＡが画面上のどの座標にあるかを取得し、その位置に仮想ＡＲマーカＡとして動的に仮想ＡＲオブジェクトを生成する。なお、図１２（Ｂ）の例でも、便宜的に仮想ＡＲマーカＡを実際のＡＲマーカＡよりも大きく示している。
【０１１０】
なお、図１２（Ａ）,（Ｂ）に示すように各ＡＲマーカＡ，Ｂで相互に定義された仮想ＡＲマーカの識別情報やＡＲマーカからの仮想ＡＲマーカの三次元座標（相対座標）は、仮想ＡＲマーカＤＢ３０−３に記憶される。
【０１１１】
ここで、ＡＲマーカＡが画像７０−２に映らなくなった場合（認識されなくなった場合）、仮想ＡＲマーカ認識部２５−２は、図１３（Ａ），（Ｂ）に示すように、ＡＲマーカＢに関連付けられた仮想ＡＲマーカＡを基準にＡＲマーカＡ座標系（ｘ，ｙ，ｚ）を構築する。また、仮想ＡＲマーカ認識部２５−２は、ＡＲマーカＡに関連付けられたＡＲオブジェクトを仮想ＡＲマーカＤＢ３０−３から取得し、取得したＡＲオブジェクト１を表示することができる。
【０１１２】
例えば、図１３（Ａ）に示すように、仮に画像７０−２にＡＲマーカＡが映らなくなった場合、仮想ＡＲマーカＤＢ３０−３を参照し、ＡＲマーカＢを基準とした仮想ＡＲマーカＡの相対座標を取得する。また、ＡＲマーカの歪みから表示位置に補正を加える。これにより、ＡＲマーカＢの座標系において、仮想ＡＲマーカＡの座標と形状とを求めることができる。
【０１１３】
また、例えば、図１３（Ｂ）に示すように、仮想ＡＲマーカＡの座標系において、ＡＲマーカＡに関連付けられたＡＲオブジェクト１の座標情報を取得して位置を特定し、特定した位置にＡＲオブジェクト１を重畳して表示する。
【０１１４】
また、図１４（Ａ），（Ｂ）は、図１３（Ａ），（Ｂ）の画像７０−２を撮影方向を変えて撮影された画像７０−３である。図１４（Ａ），（Ｂ）に示すように、拡縮に必要な射影の情報は、仮想ＡＲマーカＡの大きさから算出することができる。これは仮想ＡＲマーカＡの本来の形状やサイズが現実のＡＲマーカＡと同一であり、現実のＡＲマーカＡの形状（正方形）やサイズ（例えば、一辺が約２〜５ｃｍ程度）が既に定義されているため、その情報を用いることで、射影の情報を取得することができる。
【０１１５】
例えば、図１４（Ａ）において、仮想ＡＲマーカＡがカメラの視界にどのように映るかは、ＡＲマーカＢからの座標と、ＡＲマーカＢの射影の情報から得ることができる。また、図１４（Ｂ）では、ＡＲマーカＡが実際にカメラに映っていなくても、仮想ＡＲマーカＡの座標と、その座標に対する歪み情報から、どのように撮像部２１で撮影されているかを知ることができる（射影の情報）。したがって、仮想ＡＲマーカＡを用いて、ＡＲオブジェクト１を適切に表示することができる。
【０１１６】
ここで、従来手法において、ＡＲマーカをＡＲオブジェクトとして仮想で定義することは困難であった。なぜなら、ＡＲマーカには「基準となる座標系」と「パターンからＡＲマーカのＩＤを認識する」という２つの役割がある。ＡＲマーカを基準とした座標系に、どのＡＲオブジェクトを描画するかは、ＡＲマーカのパターンから認識したＩＤで決定されており、ＩＤが分からないと描画するＡＲオブジェクトを決められない。つまり、実空間のＡＲマーカでパターンを認識する必要があるため、ＡＲ空間に仮想的に定義ができなかった。
【０１１７】
しかしながら、本実施形態では、予め複数の現実のＡＲマーカを同時に認識される状況において、その時点で認識されたＩＤを仮想ＡＲマーカの情報として持たせることができる。そのため、仮想ＡＲマーカのパターンからＡＲマーカのＩＤを認識するというマーカの役割が不要となり、仮想的に定義することが可能となった。
【０１１８】
上述したように、本実施形態により、同時に複数のマーカを認識していない場合であっても、複数のＡＲマーカそれぞれに対応付けられたオブジェクトを表示させることができる。また、同時に、同一のオブジェクトを複数のＡＲマーカに同じように定義をする必要がなくなる。
【０１１９】
例えば、従来のＡＲオブジェクトの表示技術では、あるＡＲマーカを基準に定義されたＡＲオブジェクトの相対座標を、単純に別のＡＲマーカを基準に動的に定義し直しても、拡縮や歪み（射影）の情報は基準となっているＡＲマーカからしか求めることができない。しかしながら、本実施形態では、あるＡＲマーカの座標系に別のＡＲマーカを仮想ＡＲマーカ（仮想ＡＲオブジェクト）として動的に定義し、この仮想ＡＲマーカにおける歪み（射影）の情報を適用する。これにより、ＡＲオブジェクトの相対座標を画面内にあるＡＲマーカを基準に動的に取得することができ、ＡＲオブジェクトの相対座標を複数のＡＲマーカから定義しなくてよくなる。したがって、例えばオフライン環境で使用する場合にも適用することができる。
【０１２０】
また、本実施形態では、仮想ＡＲオブジェクトが表すＡＲマーカのＩＤ（ＡＲマーカＡ）については、画面上に再度表示しなくてもよい。この場合、ＡＲマーカのＩＤと表示位置の情報だけをもって、ＡＲマーカの歪み検知部２４における仮想ＡＲマーカの歪みを取得する処理に移行してもよい。
【０１２１】
＜本実施形態におけるＡＲオブジェクトの表示例＞
図１５は、ＡＲオブジェクトの表示例を示す図である。図１５（Ａ）の例では、表示装置１２の撮像部２１により撮影された画像が、表示部２８の画面８０に表示されている。なお、画面８０に表示される画像は、表示装置１２以外の装置から撮影された画像であってもよい。
【０１２２】
図１５に示す画面８０には、実空間上に存在する実物体８１−１、８１−２が撮影されている。図１５（Ａ）の例では、実物体の一例としてパイプ（配管）が撮影されているが、これに限定されるものではない。
【０１２３】
例えば、実物体８１−２が高温のパイプであり、この周囲にいるユーザに対して、実物体８１−２が危険であることを周知させる。この場合、実物体８１−２付近にＡＲマーカ８２を配置し、そこから実物体８１−２への相対座標に対して、ＡＲオブジェクト８３−１〜８３−３を表示させる。なお、図１５（Ａ）の例では、ＡＲオブジェクトを表示する対象の実物体８１−２が高温であるため、実際にＡＲマーカ８２を貼ることができない。そこで、図１５の例では、実物体８１−２の近くの別の場所（実物体８１−１）にＡＲマーカ８２を貼り、その位置から相対的な位置に注意を促すＡＲオブジェクト８３−１〜８３−３を表示する。
【０１２４】
また、本実施形態では、ＡＲマーカ８２が認識されなくなった場合でも、ＡＲオブジェクトが表示されるように上述した表示処理を行う。画面８０内に複数のＡＲマーカ（例えば、ＡＲマーカ８２，８４）が認識できた場合に、お互いのＡＲマーカを、仮想ＡＲオブジェクト（仮想ＡＲマーカ）として定義する。
【０１２５】
これにより、例えば図１５（Ｂ）に示すように、表示装置１２の移動により、画面８０からＡＲマーカ８２が認識できなくなった場合でも、画面８０に映っている他のマーカ（例えば、ＡＲマーカ８４）から、仮想ＡＲマーカ（ＡＲマーカ８２）の位置情報に基づいて、上述したＡＲオブジェクト８３−１〜８３−３を表示する。
【０１２６】
これにより、ＡＲマーカ８２が実際にカメラに映っていなくても、ＡＲマーカ８４から画面外にある仮想ＡＲマーカを用いて、ＡＲオブジェクトを描画することができる。
【０１２７】
＜ＡＲマーカを３以上認識した場合の表示処理について＞
上述の例では、ＡＲマーカを２つ認識した場合の例を示したが、ＡＲマーカを３以上認識した場合にも同様に処理することができる。例えば、撮像部２１により撮影された映像中にＡＲマーカが３つ同時に認識されていた場合、各々のＡＲマーカ（ＡＲマーカＡ、ＡＲマーカＢ、ＡＲマーカＣ）について、それぞれＡＲマーカが他の（相手の）ＡＲマーカを仮想のＡＲオブジェクトとして定義する。
【０１２８】
例えば、ＡＲマーカＡは、ＡＲマーカＢとＡＲマーカＣを仮想ＡＲマーカオブジェクトｂ、仮想ＡＲマーカオブジェクトｃとして定義する。また同様に、ＡＲマーカＢは、ＡＲマーカＡとＡＲマーカＣを仮想ＡＲマーカオブジェクトａ、仮想ＡＲマーカオブジェクトｃとして定義する。また、ＡＲマーカＣは、ＡＲマーカＡとＡＲマーカＢを仮想ＡＲマーカオブジェクトａ、仮想ＡＲマーカオブジェクトｂとして定義する。
【０１２９】
ＡＲマーカＡを例にすると、上述したようにＡＲマーカ認識部２３で取得したＡＲマーカＡに対し、歪み検知部２４で歪みＸａを検知する。この歪みＸａでＡＲマーカＢ、ＡＲマーカＣの映像を補正する（ＢＸａ、ＣＸａ）。これにより、仮にＡＲマーカＡが平面で、ある基準となる距離で撮影された場合に、ＡＲマーカＢ，Ｃがどのように画面に表示されるかを把握することができる。
【０１３０】
次に、ＡＲマーカＤＢ３０−１より、ＡＲマーカＢ，Ｃの本来のサイズ情報Ｂｓを取得する。また、補正したＡＲマーカＢＸａ，ＣＸａと本来のサイズ情報Ｂｓから、Ｂｓを平面に置いたＡＲマーカＡからどのような相対位置で、どのように回転して配置すると、上述したＡＲマーカＢＸａ，ＣＸａと一致するかが分かる。これにより、サイズ情報ＢｓのＡＲマーカＡを基準とした相対座標が求められ、ＡＲマーカＡの仮想ＡＲオブジェクトｂ，ｃとして定義することができる。この結果は、仮想ＡＲマーカＤＢ３０−３（例えば、図９（Ｂ））に保存される。
【０１３１】
同様に、ＡＲマーカＢについて、ＡＲマーカＡ，Ｃを、ＡＲマーカＢを基準とした仮想ＡＲオブジェクトａ，ｃとして定義する。また、ＡＲマーカＣについて、ＡＲマーカＡ，Ｂを、ＡＲマーカＣを基準とした仮想ＡＲオブジェクトａ，ｂとして定義する。これらの情報も、仮想ＡＲマーカＤＢ３０−３（例えば、図９（Ｂ））に保存される。
【０１３２】
図１６は、ＡＲマーカが３つの場合の表示例を示す図である。図１６の例では、表示装置１２により撮影された映像が表示された画面９０に、実物体９１−１〜９１−４が存在している。また、画面９０には、３つのＡＲマーカ９２−１〜９２−３が存在している。ここで、ＡＲマーカ９２−１には、既にＡＲオブジェクト９３−１ａ、９３−１ｂが設定されている。また、ＡＲマーカ９２−２には、ＡＲオブジェクト９３−２が設定され、ＡＲマーカ９２−３には、ＡＲオブジェクト９３−３が設定されている。
【０１３３】
このような場合、上述したように、それぞれのＡＲマーカに対して相互に仮想ＡＲマーカの定義付けを行う。図１７は、仮想ＡＲマーカの定義付けの一例を示す図である。なお、図１７の例では、説明の便宜上、各ＡＲオブジェクト９３は非表示にしている。
【０１３４】
図１７（Ａ）の例では、仮想ＡＲマーカ生成部２５−１が、ＡＲマーカ９２−１（ＡＲマーカＡ）に対して、他のＡＲマーカ９２−２，９２−３を仮想ＡＲオブジェクトとして定義している。また、図１７（Ｂ）の例では、仮想ＡＲマーカ生成部２５−１が、ＡＲマーカ９２−２（ＡＲマーカＢ）に対して、他のＡＲマーカ９２−２，９２−３を仮想ＡＲオブジェクトとして定義している。また、図１７（Ｃ）の例では、仮想ＡＲマーカ生成部２５−１が、ＡＲマーカ９２−３（ＡＲマーカＣ）に対して、他のＡＲマーカ９２−１，９２−２を仮想ＡＲオブジェクトとして定義している。
【０１３５】
なお、図１７（Ａ）〜（Ｃ）は、便宜的にそれぞれの仮想ＡＲマーカ９４−１〜９４−３を実際のＡＲマーカ９２−１〜９２−３よりも大きく示しているが、実際には画面９０上でＡＲマーカ９２−１〜９２−３と同一の大きさ及び同じ歪み情報で定義される。
【０１３６】
次に、上述したような設定後に、３つのＡＲマーカのうちの１つが認識できなくなった場合の表示処理について説明する。撮像部２１等により撮影された映像からＡＲマーカが検出された場合、ＡＲマーカ認識部２３は、ＡＲマーカＤＢ３０−１を参照して予め登録されたＡＲマーカのパターン（模様）、サイズ情報（大きさ）等と照合して、ＡＲマーカのＩＤを取得する。また、歪み検知部２４は、ＡＲマーカの画像と、ＡＲマーカＤＢ３０−１に登録されたサイズ情報とを比較して、歪みを検知する。検知した歪み情報は、ＡＲマーカ毎にサイズ情報に含めて記憶してもよく、内部メモリ等に記憶してもよい。
【０１３７】
次に、ＡＲマーカが２つ同時に認識されていた場合、各々のＡＲマーカ（例えば、ＡＲマーカＡとＡＲマーカＢ）について、相手のＡＲマーカを仮想のＡＲオブジェクトとしてその場で一時的に定義するが、仮想ＡＲマーカＤＢ３０−３を参照すると、ＡＲマーカＡには仮想ＡＲオブジェクトａ，ｂが、ＡＲマーカＢには仮想ＡＲオブジェクトａ，ｃが定義済みであるため、仮想ＡＲオブジェクトを定義する処理は行われない。
【０１３８】
次に、表示ＡＲオブジェクト決定部２６は、取得したＡＲマーカのＩＤを元に、仮想ＡＲマーカＤＢ３０−３を検索する。また、ＡＲマーカＩＤを基準とした仮想ＡＲオブジェクトが定義されている場合、その仮想ＡＲオブジェクトに対応する仮想ＡＲマーカのＩＤと同一のＡＲマーカが同一画面上に存在するかを確認する。ここで、同一のＡＲマーカが同一画面上に存在する場合には、仮想ＡＲオブジェクトは無視される。また、同一のＡＲマーカが同一画面上に存在しない場合には、仮想ＡＲオブジェクトを仮想ＡＲマーカとして認識する処理を行う。例えば、ＡＲマーカのＩＤを元に、仮想ＡＲマーカＤＢ３０−３を参照し、ＡＲマーカを基準とした仮想ＡＲオブジェクトの相対座標を取得する。また、取得した仮想ＡＲオブジェクトに対して、歪み情報に基づく表示位置の補正を行う。また、撮影された映像に仮想ＡＲオブジェクトの表示位置が含まれている場合には、補正した形状で仮想ＡＲオブジェクトを重畳して表示する。
【０１３９】
仮想ＡＲマーカ認識部２５−２は、表示された仮想ＡＲオブジェクト（仮想ＡＲマーカ）を認識する。表示ＡＲオブジェクト決定部２６は、仮想ＡＲオブジェクト（仮想ＡＲマーカ）のＩＤを元に、ＡＲ表示オブジェクトＤＢ３０−２を参照し、表示するＡＲオブジェクトを決定する。ＡＲオブジェクト重畳表示部２７は、決定されたＡＲオブジェクト１つ１つに対して、ＡＲマーカからの相対座標を取得し、更にＡＲマーカの歪み情報から表示位置に補正を加え、補正した形状でＡＲオブジェクトを重畳して表示する。
【０１４０】
図１８は、最終的に表示されるＡＲオブジェクトの一例を示す図である。図１８の例では、図１６に示す状態からＡＲマーカ９２−３が画面９０から認識できなくなった場合でも、画面９０から認識可能なＡＲマーカ（例えば、ＡＲマーカ９２−１）に定義付けられた仮想ＡＲマーカ９４−２を用いて、仮想ＡＲマーカ９４−２に対応するＡＲオブジェクト９３−３を表示することができる。
【０１４１】
また、図１８に示す画面９０には、ＡＲマーカ９２−２も表示されている。したがって、画面９０から認識可能なＡＲマーカ９２−２に定義付けられた仮想ＡＲマーカ９４−２を用いてＡＲオブジェクト９３−３を表示させてもよい。なお、ＡＲマーカ９２−１，９２−２の両方から重複してＡＲオブジェクト９３−３が表示されることがないように、何れか一方のＡＲマーカを用いてＡＲオブジェクト９３−３が表示されるように、ＡＲマーカの優先度に応じて制御させてもよい。
【０１４２】
また、図１８の例では、ＡＲマーカ９２−２を用いてＡＲオブジェクト９３−２を表示することができるため、ＡＲマーカ９２−２に対応する仮想ＡＲマーカ９４−１は、表示されない。
【０１４３】
これにより、適切な表示処理を実現することができる。なお、本実施形態では、上述いたＡＲオブジェクトの表示において、例えば「注意事項」等のように、常時表示したいものがある。そのような場合には、予めＡＲ表示オブジェクトＤＢ３０−２等に「常時表示」等の項目を追加し、仮想ＡＲマーカ経由でＡＲオブジェクトを表示する際、「常時表示」にチェックされている場合のみ、ＡＲオブジェクトを表示するようにしてもよい。
【０１４４】
上述したように、本実施形態によれば、認識されなくなったＡＲマーカ（基準物）に対応付けられたオブジェクトを適切な位置に表示することができる。例えば、実施形態によれば、ＡＲマーカを認識できていない状態であっても、そのＡＲマーカに対応付けられたオブジェクトを適切な位置に表示することができる。
【０１４５】
また、本実施形態によれば、同時に複数のＡＲマーカを認識していない場合であっても、複数のＡＲマーカそれぞれに対応付けられたオブジェクトを表示させることができる。例えば、基準となるＡＲマーカが認識できなくなっても、ＡＲオブジェクトを表示し続けることができる。例えば、本実施形態によれば、ＡＲマーカの配置状況に基づいて、ＡＲマーカの認識に応じて行われる表示内容を制御することができる。また、本実施形態によれば、同時に同一のオブジェクトを複数のＡＲマーカに同じように定義をする必要がなくなる。
【０１４６】
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した実施例の一部又は全部を組み合わせることも可能である。
【０１４７】
なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
表示装置が、
入力画像からの複数の基準物の認識に応じ、前記複数の基準物それぞれについて、他の基準物を、当該基準物に対する相対位置情報と当該基準物に対する歪み情報とを有する仮想基準物として認識し、
前記入力画像から前記複数の基準物の何れかが認識されなくなった場合に、認識されている基準物から得られる前記認識されなくなった基準物に対応する前記仮想基準物の前記相対位置情報と前記歪み情報とに基づき、前記認識されなくなった基準物に対応付けられたオブジェクトを表示する、
ことを特徴とする表示方法。
（付記２）
前記認識されなくなった基準物に対応付けられたオブジェクトに関連する情報を外部装置から取得することを特徴とする付記１に記載の表示方法。
（付記３）
前記他の基準物を前記仮想基準物として認識する場合に、前記他の基準物に既に設定された前記仮想基準物の情報を引き継いで認識することを特徴とする付記１又は２に記載の表示方法。
（付記４）
前記他の基準物に既に設定された前記仮想基準物の情報を引き継いでからの時間や引き継いだ前記仮想基準物の数に応じた制御を行うことを特徴とする付記３に記載の表示方法。
（付記５）
前記歪み情報は、前記画像から認識された前記基準物の形状に合わせて、予め設定された歪みのない前記基準物を変形させたときの変形量に基づいて取得されることを特徴とする付記１乃至４の何れか１項に記載の表示方法。
（付記６）
入力画像からの複数の基準物の認識に応じ、前記複数の基準物それぞれについて、他の基準物を、当該基準物に対する相対位置情報と当該基準物に対する歪み情報とを有する仮想基準物として認識し、
前記入力画像から前記複数の基準物の何れかが認識されなくなった場合に、認識されている基準物から得られる前記認識されなくなった基準物に対応する前記仮想基準物の前記相対位置情報と前記歪み情報とに基づき、前記認識されなくなった基準物に対応付けられたオブジェクトを表示する、
処理をコンピュータに実行させる表示プログラム。
（付記７）
入力画像からの複数の基準物の認識に応じ、前記複数の基準物それぞれについて、他の基準物を、当該基準物に対する相対位置情報と当該基準物に対する歪み情報とを有する仮想基準物として生成する生成部と、
前記入力画像から前記複数の基準物の何れかが認識されなくなった場合に、認識されている基準物から得られる前記認識されなくなった基準物に対応する前記仮想基準物の前記相対位置情報と前記歪み情報とに基づき、前記認識されなくなった基準物に対応付けられたオブジェクトを表示するオブジェクト表示部とを有することを特徴とする表示装置。
【符号の説明】
【０１４８】
１０  表示システム
１１  サーバ
１２  表示装置
１３  通信ネットワーク
２１  撮像部
２２  画像認識部
２３  ＡＲマーカ認識部
２４  歪み検知部
２５  ＡＲオブジェクト表示継続部
２６  表示ＡＲオブジェクト決定部
２７  ＡＲオブジェクト重畳表示部（オブジェクト表示部）
２８，４４  表示部
２９  通信部
３０  記憶部
４１  マイク
４２  スピーカ
４３  カメラ
４５  操作部
４６  センサ部
４７  電力部
４８  無線部
４９  近距離通信部
５０  補助記憶装置
５１  主記憶装置
５２  ＣＰＵ
５３  ドライブ装置
５４  記録媒体
６０，７０  画像
８０，９０  画面
８１，９１  実物体
８２，８４，９２  ＡＲマーカ
８３，９３  ＡＲオブジェクト
９４  仮想ＡＲマーカ
【図１】
2015204079.tif 000003
【図２】
2015204079.tif 000004
【図３】
2015204079.tif 000005
【図４】
2015204079.tif 000006
【図５】
2015204079.tif 000007
【図６】
2015204079.tif 000008
【図７】
2015204079.tif 000009
【図８】
2015204079.tif 000010
【図９】
2015204079.tif 000011
【図１０】
2015204079.tif 000012
【図１１】
2015204079.tif 000013
【図１２】
2015204079.tif 000014
【図１３】
2015204079.tif 000015
【図１４】
2015204079.tif 000016
【図１５】
2015204079.tif 000017
【図１６】
2015204079.tif 000018
【図１７】
2015204079.tif 000019
【図１８】
2015204079.tif 000020