(57)【特許請求の範囲】
【請求項１】
実環境視像における仮想情報の表示方法であって、
サーバ（２）のデータベース（３）において、地理的グローバル座標系（２００）に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定を容認する第１ポーズデータ（ＰＷ１０）と共に提供する工程と、
モバイル機器（３０）を用いて、少なくとも１つの実環境（４０）の画像（５０）を撮影し、前記画像が撮影された前記地理的グローバル座標系に関連したどの位置であり、どの方位であるかとの決定を容認する第２ポーズデータ（ＰＷ５０）を提供する工程と、
前記モバイル機器のディスプレイ（３１）に前記画像（５０）を表示する工程と、
前記サーバ（２）のデータベース（３）内の仮想オブジェクト（１０）にアクセスし、前記第１及び第２ポーズデータ（ＰＷ１０，ＰＷ５０）に基づいて、前記ディスプレイに示された前記画像（５０）に前記仮想オブジェクト（１０）を位置付ける工程と、
前記仮想オブジェクト（１０）を操作する、若しくは前記ディスプレイに表示された前記画像（５０）内の対応する位置に位置付けることにより、別の仮想オブジェクト（１１）を追加する工程と、
前記画像（５０）における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）内の前記画像（５０）の位置付けに一致する第３ポーズデータと共に更なる仮想オブジェクト（１１）を提供する工程と、を具備し、
更に、カメラによって撮影された、前記地理的グローバル座標系（２００）に関する位置及び方向について与えられる決定を容認するポーズデータと共に、実環境の参照視像を伴って、参照データベース（４）を提供する工程と、
少なくとも１つの前記参照視像に含まれる現実オブジェクトの少なくとも一部分と共に前記画像に示される、少なくとも１の現実オブジェクト（４１，４２）を比較し、前記少なくとも１つの参照視像のポーズデータと、前記画像の第２ポーズデータ（ＰＷ５０）とのマッチング工程と、
前記整合の結果として、前記少なくとも１つの参照視像のポーズデータの少なくとも一部分に基づいて、前記第２ポーズデータ（ＰＷ５０）の少なくとも一部分を修正する工程とを具備し、
前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認していることを特徴とする実環境視像における仮想情報の表示方法。
【請求項２】
前記画像（５０）は、前記第２ポーズデータ（ＰＷ５０）と共に前記サーバ上に提供される請求項１に記載の方法。
【請求項３】
実環境視像における仮想情報の表示方法であって、
サーバ（２）のデータベース（３）において、地理的グローバル座標系（２００）に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトのグローバルポジション及び方位について与えられる決定を容認する第１ポーズデータ（ＰＷ１０）と共に提供する工程と、
データグラス（２０）を用いて、そのデータグラスが位置付けされた前記地理的グローバル座標系（２００）に関連したどのポジションでありどの方位であるかという決定を容認する第２ポーズデータと共に、実環境（４０）の少なくとも１つの視像（７０）を提供する工程と、
カメラ（２２）を用いて、少なくとも１つの実環境の画像を撮影し、その画像が撮影された前記地理的グローバル座標系（２００）に関連したどの位置であり、どの方位であるかとの決定を容認する第２ポーズデータを提供する工程と、
前記サーバ（２）のデータベース（３）内の仮想オブジェクト（１０）にアクセスし、前記第１及び第２ポーズデータに基づいて、前記視像の中に前記仮想オブジェクト（１０）を位置付けする工程と、
前記仮想オブジェクト（１０）を操作する、若しくは前記視像内の対応する位置に位置付けることにより、更なる仮想オブジェクト（１１）を追加する工程と、
前記視像（７０）における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）における前記視像（７０）の位置付けに関連した第３ポーズデータと共に更なる仮想オブジェクト（１１）を提供する工程とを具備し、
更に、カメラによって撮影された、前記地理的グローバル座標系（２００）に関する位置及び方向について与えられる決定を容認するポーズデータと共に、実環境の参照視像を伴って、参照データベース（４）を提供する工程と、
少なくとも１つの前記参照視像に含まれる現実オブジェクトの少なくとも一部分と共に前記画像に示される、少なくとも１の現実オブジェクト（４１，４２）を比較し、前記少なくとも１つの参照視像のポーズデータと、前記画像の第２ポーズデータ（ＰＷ５０）とのマッチング工程と、
前記整合の結果として、前記少なくとも１つの参照視像のポーズデータの少なくとも一部分に基づいて、前記第２ポーズデータ（ＰＷ５０）の少なくとも一部分を修正する工程とを具備し、
前記修正第１ポーズデータ及び第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認していることを特徴とする実環境視像における仮想情報の表示方法。
【請求項４】
前記モバイル機器（３０）若しくは前記データグラス（２０）は、前記第２ポーズデータを発生させるための手段（２４，３４）を具備する、又は該手段に連結されている請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記ポーズデータ（ＰＷ１０，ＰＷ５０）は、位置及び方位について、それぞれ三次元的な値を含む請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記実環境の前記画像（５０）の方位は、地球表面（２０１）とは無関係に定義される請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
前記サーバ（２）の記録場所は、実環境のそれぞれの画像（５０）の中、若しくは実環境のそれぞれの視像（７０）の中に記録し、それぞれの仮想オブジェクトの仮想オブジェクト（１０）は、ポーズデータが設けられている請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
更に、前記画像に位置付けられる前記仮想オブジェクト（１０）の第１ポーズデータ（ＰＷ１０）の少なくとも一部分が、前記少なくとも１つの参照視像のポーズデータと、前記第２ポーズデータとのマッチングの結果として、修正される請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
前記サーバ（２）のデータベース（３）において、前記第２ポーズデータ（ＰＷ５０）と共に、前記実環境の少なくとも１つの画像（５０）を提供する工程と、
前記サーバ（２）上の前記実環境の画像（５０）にアクセスし、前記画像を表示するためのクライアント装置（１）に伝送する工程と、
前記仮想オブジェクト（１０）を操作、若しくは前記クライアント装置上に表示される前記実環境の画像内の対応する位置に位置付けることにより、更なる仮想オブジェクト（１１）を追加する工程と、
前記クライアント装置に表示された前記画像における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に、操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）において、前記クライアント装置に表示された前記画像の位置付けに関連した第３ポーズデータと共に、更なる前記仮想オブジェクト（１１）を提供する工程とを更に具備し、
前記修正第１ポーズデータ及び第３ポーズデータは、前記操作された若しくは更なる仮想オブジェクトの全地球位置及び方向について与えられる決定をそれぞれ容認している請求項１乃至８のいずれか１項に記載の方法。
【請求項１０】
前記サーバ（２）上の前記実環境の画像（５０）にアクセスし、前記画像を見るための第２クライアント装置に前記画像を伝送する工程と、
前記第２クライアント装置の前記画像の前記視像に示されている前記実環境の中にある前記グローバルポジションの仮想オブジェクトを表示している前記第２クライアント装置の前記画像の前記視像と共にサーバに備え付けられる仮想オブジェクト（１０）にアクセスする工程とを更に具備する請求項９に記載の方法。
【請求項１１】
前記モバイル機器のディスプレイにマップビュー（８０）を提供する工程と、前記実環境の少なくとも１つの画像を撮影している視像方向を選択するために、ユーザに対して選択を提供する工程とを更に具備する請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
前記実環境の画像の中及び前記モバイル機器のディスプレイに備え付けられるマップビュー（８０）の中に、少なくとも１つの仮想オブジェクト（１０）を認識する工程と、
前記画像の決定された位置及び備え付けられた前記マップビュー（８０）における前記少なくとも１つの仮想オブジェクト（１０）の位置から前記実環境の画像（５０）の方向を決定する工程とを具備する請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記サーバ（２）に対するネットワーク接続の不具合が起こった場合、サーバ上に記憶されるためのデータは、前記モバイル機器上にバッファされ、前記ネットワーク接続が再び使用可能になるとすぐに、前記サーバに伝送される請求項１乃至１２のいずれか１項に記載の方法。
【請求項１４】
前記ユーザは、実環境の領域における、シーンの収束を検索でき、該シーンは、近接に若しくは地図上にソートされ、又は拡張現実を用いたリストの選考のために、ユーザに都合のいいように作り出される請求項１乃至１３のいずれか１項に記載の方法。
【請求項１５】
前記画像若しくは前記仮想情報は、一意的に同定特性を有し、且つ既にクライアント若しくは前記モバイル機器上に存在する画像若しくは仮想情報は、もはや前記サーバからダウンロードされなく、ローカルデータストレージから読み込まれる請求項１乃至１４のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実環境視像における仮想情報の表示方法に関する。
【背景技術】
【０００２】
拡張現実（感）（ＡＲ）とは、バーチャルデータが現実の上に置かれ、それ故に、現実とデータの統合を容易にする技術である。モバイルＡＲシステムの使用は、既に先行技術として知られている。この数年の間に、高いパフォーマンスのモバイル機器（例えば、スマートフォン（登録商標））が、ＡＲアプリケーションに適するように生産されている。その間、これらの機器は、比較的大きなカラーディスプレイ、複数の設置カメラ、優れたプロセッサ、並びに例えば方位センサ及びＧＰＳといったような追加センサを有するようになっている。更に付け足せば、その機器の場所は、無線ネットワークを経由して概算することができる。
【０００３】
過去に、ＡＲを用いたモバイル機器に関して、実行された種々の計画があった。先ず、該機器の場所及び方位を確認するために専用の光学マークが使用された。広いエリアにも使用され、それ故域ＡＲと称されるＡＲに関しては、ＨＭＤｓ（ヘッドマウントディスプレイ。例えば非特許文献３参照。）に関連したオブジェクトの知覚的表示のための手がかりも公開されている。更に近年では、ＧＰＳ及び最新機器の方位センサシステムを利用するアプローチもなされている（例えば非特許文献１、２、４、５参照）。
【０００４】
しかしながら、公開されたそのアプローチは、ＡＲ分野において、他のユーザのシンプルな統合を認めないという欠点を有する。更に付け足せば、ＧＰＳ及びコンパスに基づいた大抵のシステムは、これらの機器が、適切に備え付けられなくてはならなく、かつ大きな誤差の発生があり得るという欠点を有する。
【０００５】
米国特許出願公開第２００９／０１７９８５号明細書（特許文献１）は、実環境の画像における三次元メモ若しくは注釈（“ストリートビュー”）の統合方法を記載している。前記画像中の選択ボックスの手段により、ユーザは、注釈が統合される場所を選択する。その後、該選択ボックスは、画像に関連した注釈の場所を決定するために、三次元モデルに写しだされる。更には、三次元モデル上の映像に関連した場所データが決定され、ユーザによって入力された注釈に統合される。前記注釈は、サーバのデータベースの中に場所データと共に保存され、場所データに一致する実環境の別の画像に統合される。
【０００６】
一般的及び次の場合における“タッギング（〜を付加する）”なる用語は、ユーザによる追加情報によって、現実性を高めることを述べるときに使用される。タッギングに関連して実現されるアプローチに関する限り、特定の場所ポイントにテキストメッセージを作り出すと同時に、マップビュー（例えばグーグルマップ（登録商標））のオブジェクトを設置し、場所ポイントの写真を撮影し、追加コメントと共にこれらの画像を保存することが含まれる。そこには、遠隔の閲覧者及びユーザが、世界におけるインタラクティブなシーンへのＡＲアクセスを得ることは出来ない、という欠点がある。ＡＲ分野のいわゆるスクリーンショット（スクリーン画像）を閲覧することは出来るが、改変することは出来ない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２００９／０１７９８５号明細書
【非特許文献】
【０００８】
【非特許文献１】ＡＲアプリ“Wikitude”，インターネット＜URL:http://www.mobilizy.com/wikitude.php.＞
【非特許文献２】ナビゲーションアプリ“Enkin”，インターネット＜URL:http://www.Enkin.net.＞
【非特許文献３】S. Feiner, B. Maclntyre,T. Hollerer, A. Webstar, “A touring  machine:Prototyping  3d  mobile  augmented  reality  systems  for  exploring  the  urban  environment”,Proceeding  of  the  1st  International  Symposium  on  Wearable  Computers,pp74-81,1997.
【非特許文献４】セカイカメラ“Sekai  Camera”，インターネット＜URL:http://www.tonichidot.com./product-info.html.＞
【非特許文献５】レイヤードットコム，インターネット＜URL:http://www.layer.com.＞
【非特許文献６】国家画像地図局（ＮＩＭＡ）、米国防総省ＤｏＤ（Department  of.Defense）の世界測地系  １９８４，テクニカルレポート  ＴＲ  ８３５０．２，第３版，２０００年１月．
【非特許文献７】Manolos  I.A.Lourakis;Antonis  A.Argyros  A;“SBA:A  Software  Package  for  Generic  Sparse  Bundle  Adjustment”,ACM  Transactions  on  Mathematical  Software,Vol.36,No.1,Article  2(March  2009).
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の事情に鑑み、本発明の目的は、実環境視像における仮想情報の表示方法であって、拡張現実を用いて他のユーザにより作り出されたＡＲ画像場面をユーザがインタラクティブな形式で見ることを可能にし、そうする（インタラクティブな形式で見る）時に、高い精度及びユーザの利便性を保証することを可能にする表示方法を提供する。
【課題を解決するための手段】
【００１０】
本発明の第１実施形態によれば、実環境視像における仮想情報の表示方法であって、サーバのデータベースにおいて、地理的グローバル座標系に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定を容認する第１ポーズデータと共に提供する工程と、モバイル機器を用いて、少なくとも１つの実環境の画像を撮影し、前記画像が撮影された前記地理的グローバル座標系に関連したどの位置であり、どの方位であるかとの決定を容認する第２ポーズデータを提供する工程と、前記モバイル機器のディスプレイに前記画像を表示する工程と、前記サーバのデータベース内の仮想オブジェクトにアクセスし、前記第１及び第２ポーズデータに基づいて、前記ディスプレイに示された画像に前記仮想オブジェクトを位置付ける工程と、前記仮想オブジェクトを操作する、若しくは前記ディスプレイに表示された前記画像内の対応する位置に位置付けることにより、更に仮想オブジェクトを追加する工程と、前記画像における位置付けに一致する修正第１ポーズデータと共に操作された仮想オブジェクト、若しくは前記サーバの前記データベース内の前記画像の位置付けに一致する第３ポーズデータと共に更なる仮想オブジェクトを提供し、前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認する工程とを具備する表示方法が提供される。このことに関連して、前記画像は、例えば前記第２ポーズデータと共に、前記サーバ上に提供することができる。
【００１１】
本発明の更なる目的によれば、実環境視像における仮想情報の表示方法であって、サーバのデータベースにおいて、地理的グローバル座標系に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトのグローバルポジション及び方位について与えられる決定を容認する第１ポーズデータと共に提供する工程と、データグラス（例えば、光学シースルーグラス若しくはビデオシースルーグラスと称される）を用いて、データグラスが位置付けされた前記地理的グローバル座標系に関連したどのポジションでありどの方位であるかという決定を容認する第２ポーズデータと共に、少なくとも１つの実環境視像を提供する工程と、前記サーバの前記データベース内の仮想オブジェクトにアクセスし、前記第１及び第２ポーズデータに基づいて、前記視像において前記仮想オブジェクトを位置付ける工程と、前記仮想オブジェクトを操作する、若しくは前記視像内の対応する位置に位置付けることにより、更に仮想オブジェクトを追加する工程と、前記視像における位置付けに一致する修正第１ポーズデータと共に操作された仮想オブジェクト、若しくは前記サーバの前記データベースにおける前記視像の位置付けに関連した第３ポーズデータと共に更なる仮想オブジェクトを提供し、前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認している工程とを具備する表示方法が提供される。
【００１２】
本発明の実施形態では、前記モバイル機器若しくは前記データグラスが、前記第２ポーズデータの発生手段を具備又は該手段に連結されている。
【００１３】
例えば、前記ポーズデータには、位置及び方位に関係する３次元（３Ｄ）の値がそれぞれ含まれている。また、実環境の画像方位は、地球の表面とは無関係に定義される。
【００１４】
本発明における別の実施形態においては、サーバ上に記録された位置は、実環境のそれぞれの画像又は実環境のそれぞれの視像で記憶し、それぞれの仮想オブジェクトには、ポーズデータが備わっている。
【００１５】
モバイル機器の位置が、例えばＧＰＳ（ＧＰＳ：グローバル・ポジショニング・システム）センサによって決定される場合、モバイル機器の位置が、相対的に不正確な状態のまま決定されるということが、センサ誤差若しくはＧＰＳに内在する誤差により起こり得る。他の画像や異なった視野角において、このことは、地理的グローバル座標系に関連した画像に、統合された仮想オブジェクトが対応する誤差を伴って位置付けられるという結果になり、そのために他の画像や異なる視野角において、そこで統合された仮想オブジェクトが、現実に対して、対応する移動した状態で示されてしまう。
【００１６】
実環境の画像における、仮想オブジェクトの表示や位置の精度を上げるために、本発明の方法における実施形態では、それぞれの参照視界がカメラによって撮影された地理的グローバル座標系に関連したどの位置及び方位であるかとの結果を容認するポーズデータと共に、実環境の参照視界を伴った参照データベースを提供する工程と、前記参照視界の少なくとも１つに含まれた現実オブジェクトの少なくとも一部分を伴った画像に示されている現実オブジェクトの少なくとも一部分を比較し、少なくとも１つの前記参照視像のポーズデータを伴った画像の第２ポーズデータをマッチングする工程と、前記マッチングの結果である、少なくとも１つの参照視像のポーズデータの少なくとも一部分に基づいて、前記第２ポーズデータの少なくとも一部分を修正する工程とを具備する。
【００１７】
更に、別の実施形態としては、前記少なくとも１つの参照視像のポーズデータを伴った画像の前記第２ポーズデータのマッチングの結果である、該画像に位置付けられた仮想オブジェクトの第１ポーズデータの少なくとも一部分を修正する工程を具備する。
【００１８】
本発明の更なる展開及び実施形態は、特許請求の範囲の従属請求項に記載の事項から理解される。
【図面の簡単な説明】
【００１９】
【図１Ａ】本発明に係る方法を実行するために使用される、システム装置の第１実施形態の概略構成を示す平面図である。
【図１Ｂ】本発明に係る方法を実行するために使用される、システム装置の第２実施形態の概要を示す平面図である。
【図１Ｃ】本発明に係る方法を実行するためのシステムの一実施形態におけるデータの構成の例を示す概略図である。
【図２】本発明の実施形態における共有座標系の外観を示す概略図である。
【図３】本発明の実施形態における方法の典型的な工程を示す図である。
【図４】本発明のもう一つの実施形態による方法の、特に画像ポーズを改良するために任意の手段によって補足される方法の典型的な工程を示す図である。
【図５】ポーズの改善がもたらされること無く仮想オブジェクトが配置される実環境の典型的な場面を示す図である。
【図６】ポーズの改善がもたらされた後に、仮想オブジェクトが配置される実環境の典型的な場面を示す図である。
【図７Ａ】仮想オブジェクトが配置された実世界の典型的なマップビューを示す図である。
【図７Ｂ】図７Ａと同じ場面を示す典型的な透視図である。
【発明を実施するための形態】
【００２０】
以下に、図面を参照しながら、本発明をより詳細に説明する。
【００２１】
図１Ａは、本発明に係る方法を実行するために使用される、システム装置の第１実施形態の概略構成を示す平面図である。
【００２２】
図１Ａにおいて、ユーザは、ディスプレイ機器として、システム装置２０の一部であるディスプレイ２１を具備するヘッドマウントディスプレイ（“ヘッドマウントディスプレイ”。以下、ＨＭＤと略す。）システムを身に着けている。システム装置２０の少なくとも一部分は、１つ以上の互いに接続される構成要素を具備するモバイル機器としてみなされるが、詳細は後述する。構成要素は、ワイヤ接続及び／又はワイヤレスの方法により、互いに接続される。更に、例えばコンピュータ２３のような構成要素のいくつかは、固定した構成要素として備え付けられ、それゆえ、ユーザと共に移動しないことも有り得る。例えば、ディスプレイ２１は、コンピュータ２３により与えられた仮想情報が、既知の方法で統合されているいわゆる光学シースルーデータグラス（現実がデータグラスの半透明な構造を通して見ることの出来る“光学シースルーディスプレイ”）の様式又はいわゆるビデオシースルーデータグラス（現実が、ユーザの頭部の前面に装着しているスクリーン上に表示される“ビデオシースルーディスプレイ”）の様式で、一般的に知られているデータグラスである。ユーザはそのとき、ディスプレイ２１を通して若しくはディスプレイ２１上で見られる、視角若しくは開口角２６の範囲内における現実世界の視像７０において、仮想情報１０に統合され拡張させることの出来る実環境４０のオブジェクト（現実世界に関連した、例えばＰＯＩオブジェクトと略して言及される、いわゆるポイントオブインタレスト（Point  of  interest）オブジェクトと称されるもの）を見る。仮想オブジェクト１０は、ユーザが、仮想オブジェクト１０がまるで実環境４０における概位に配置されているかのように知覚するように統合される。この仮想オブジェクト１０の位置はまた、地球座標系のような、地理的グローバル座標系に関連したグローバルポジションとして保存されるが、それについては後述する。この方法においては、システム装置２０は、本発明に係る方法に使用することの出来る、一般的に知られている拡張現実システムの第１実施形態を構成する。
【００２３】
ディスプレイ２１は、回転センサ、ＧＰＳセンサ又は超音波センサのような増設センサ２４と、それに備え付けられた光学追跡又は１つ以上の画像（“視像（views）”と称される）を撮影するためのカメラ２２とを有する。ディスプレイ２１は、半透明にすることが出来、或いはカメラ２２のカメラ画像により現実の画像を写すようにしても良い。半透明なディスプレイ２１の場合には、ユーザの目２５とディスプレイ２１の間で較正（キャリブレーション）が必要である。シースルー較正と称されるこの較正は、当業者に知られている。該較正は有利に、カメラ２２に対して、目のポーズを同時に決定することができる。カメラは、他のユーザが利用しやすいようにするために、視像を撮影若しくは録画するために使用され得るが、そのことについては後述する。通常におけるポーズは、参照座標系に関連したオブジェクトの位置若しくは方位であると解される。ポーズを決定することに関しては、先行技術として文章化され、且つ専門家に知られた種々な方法がある。ディスプレイ２１若しくはユーザの体上のどこか、又はコンピュータ２３においても有利に、実世界４０における地理的ポジション決定システム装置２０（例えば、経度、緯度及び高度に応じて）を可能にするための、例えばＧＰＳセンサ（ＧＰＳ：全地球測位システム）のような位置センサもまたインストールされる。該システム装置のいずれの箇所におけるポーズ決定も、原則として、その結果をユーザの位置及び視像方向で提供することが可能である。
【００２４】
図１Ｂは、例えば最新の携帯電話（“スマートフォン（登録商標）”と称される）においてよく見られる、別の典型的なシステム装置３０を示す。例えば、ディスプレイ機器３１（例えば、ディスプレイスクリーン若しくはディスプレイの形をしたもの）、コンピュータ３３、センサ３４及びカメラ３２は、例えば携帯電話の共通する筐体の中に適合したシステムユニットを構成する。システム装置３０の少なくとも一部分は、言及された１つ以上の構成要素を具備するモバイル機器とみなすことができる。構成要素は、共通の筐体に適合されるか、（一部を）分配され、ワイヤ接続及び／又はワイヤレスの方法により互いに接続することができる。
【００２５】
実環境４０の視像は、視角の中で開口角３６をもって、カメラ３２により捉えられた実環境４０の画像５０を表示しているディスプレイ３１により提供される。拡張現実アプリケーションのために、カメラの画像５０が、ディスプレイ３１に表示され、図１Ａに同様に開示されているように、現実に関連した特定の位置を有する追加仮想情報１０（例えば、現実世界に関連するＰＯＩオブジェクト）によって拡張される。このように、システム装置３０は、一般的に知られている拡張現実（ＡＲ）システムの別の実施形態を構成する。
【００２６】
図１Ａに関して記載されているものと類似した較正は、他のユーザに同様（に利用しやすいようにする）な利便性を与えるために、カメラ３２について仮想オブジェクト１０のポーズを決定するために使用されるが、それについては後述する。ポーズの決定のために、種々の方法が先行技術として文書化され、且つ専門家に知られている。モバイル機器上（特にシステム装置３０がユニット形式である場合）若しくはユーザの体上のいずれかの場所、又はコンピュータ３３にもまた有利に、実世界４０において、システム装置３０の地理的位置の決定（例えば経度及び緯度による）を容認するために、例えばＧＰＳセンサ３４のような位置センサが添え付けられる。ある状況下では、例えばポーズがＧＰＳ及び方位センサによってのみ決定されるとき、ポーズ決定のためにカメラを必要としない。基本的には、結果がユーザの位置及び視界方向で提供される限り、システム装置のいずれの部分でのポーズ決定も、適正である。
【００２７】
基本的に、本発明は、ＡＲの全形態に有効に使用される。例えば、その表示が、半透明ＨＭＤを伴ったいわゆる光学シースルーモード或いはカメラとディスプレイを伴ったビデオシースルーモードにより実行されるかどうかは関連性がない。
【００２８】
本発明は基本的に、立体表示に関連してもまた使用することができ、ビデオシースルーアプローチは有利に、目（視覚）を通じて１つのビデオストリームにそれぞれ録画するための２つのカメラを使用する。いずれの状況においても、仮想情報の項目は、それぞれの目に個別に判断され、及びサーバに一組として保存することができる。
【００２９】
後述するように異なる部分的な工程の処理は基本的に、ネットワーク経由で種々のコンピュータに分配することができる。このように、クライアント／サーバ・アーキテクチャ或いはそれ以上のクライアントベースの解決すること（回答、ソリューション）が、可能である。また、クライアント若しくはサーバは、例えば数個のＣＰＵ若しくは特殊化されたハードウェアコンポーネント、例えば通常知られたＦＰＧＡ、ＡＳＩＣ、ＧＰＵ又はＤＳＰといった数個のコンピュータユニットを具備しても良い。
【００３０】
ＡＲが実現されるには、カメラのポーズ（位置及び方位）に広がりが必要である。このことは、種々の異なった方法で実現される。単にＧＰＳ及び電子コンパス（例えば、いくつかの最新の携帯電話に設置されている）と一体となった方位センサを使用することにより、現実世界におけるポーズを決定することが可能である。しかしながらその場合、ポーズの不確かさは、極めて高い。従って、例えば、光初期化及びトラッキング又はＧＰＳ及び方位センサと一体となった光学的方法の組み合わせなど他の方法を使用することもまた可能である。ＷＬＡＮの位置決めもまた使うことができ、又はＲＦＩＤ（“無線周波数識別”のためのマーカ若しくはチップ）若しくは光学マーカが、位置決め工程をサポートできる。前述したように、クライアント／サーバベースのアプローチは、ここにおいても可能である。特に、クライアントは、光トラッキングに必要である位置特定情報をサーバから要求できる。このような情報は、例えばポーズ情報及び深度情報を伴った周辺環境の参照画像である。これに関連して、本発明の追加の実施形態では、特に、サーバ上の視像のポーズを改良すること、及びこの情報に基づいて、同様に世界内に設置された仮想オブジェクトのポーズも改良することを可能にする。
【００３１】
それに加えて、本発明はまた、モニター、ＨＭＤ或いはヘッドアップディスプレイを使用することで、車両、航空機或いは船に設置、又は搭載することが可能である。
【００３２】
基本的に、例えばポイントオブインタレスト（“ＰＯＩ”）のような仮想オブジェクトは、非常に多くの異なる形の情報について設定され得る。その例としては、次の様なものがある：ＧＰＳ情報を用いた場所の画像を表示することが可能である。インターネットから情報を自動的に抽出することも可能である。例えば、これは、アドレスや評価のページを伴った会社若しくはレストランのウェブサイトであったりする。ユーザは、特定の位置に、テキスト、画像若しくは三次元オブジェクトを蓄積することができ、他者にそれを利用させることもできる。例えばウィキペディア（登録商標）のような情報ページは、地理情報を検索でき、且つＰＯＩとしてアクセス可能である。ＰＯＩは、検索及びモバイル機器のユーザのブラウジング動作から自動的に生成することができる。例えば、地下鉄輸送機関若しくはバス停留所、病院、警察署、内科医師、不動産広告又はフィットネスクラブのような、他の興味事項の位置を示すことが可能である。
【００３３】
このような情報の項目は、現実世界４０の中の特定位置における仮想オブジェクト１０として、画像５０若しくは視像７０（図１Ａ及び図１Ｂと比較）にユーザにより蓄積され、それぞれの場所に対応した位置と共に、他者がアクセスできるようにする。アクセスできた現実世界の視像若しくは画像において、他のユーザは次に例えば、その位置に一致するように統合されたこの情報を操作することができ、更に仮想オブジェクトを追加することもできる。このことは、より詳細に後述する。
【００３４】
図１Ｃは、先ず第１に、本発明の実施形態に対応するように採用されたデータ構造を示しており、それについては次に簡単に説明する。
【００３５】
視像というのは、具体的には視像（図１Ａにおける視像７０）、画像（図１Ｂにおける画像５０）又は画像シーケンス（フィルム若しくは動画）のような、現実世界で捉えられた視像である。視像（画像５０／視像７０）に関連付けられるのは、カメラのパラメータであり、それはカメラ２２、３２の光学的特性（例えば、開口角、フォーカス移動、又は画像歪曲に関連する）を示し、画像５０又は視像７０にそれぞれ関連付けられる。それ以外に、視像はまた、地球に関連した画像５０若しくは視像７０の位置及び方向を示す視像に関連付けられたポーズデータを有する。最終的には、例えば経度及び緯度により、現実世界における地理的グローバルポジションの決定を可能にするために、地理的グローバル座標系は地球に関連付けられる。
【００３６】
設置されたモデルは、図（図１Ａ及び図１Ｂにおけるオブジェクト１０）で示される仮想オブジェクトであり、それもまたポーズデータを有する。該設置されたモデルは、例えばモデルデータベースのモデル例を表示する、すなわちそれを参照することができる。もしこのことがそうであるならば、それぞれの仮想モデル（オブジェクト）１０が現実世界４０内に、画像５０又は視像７０のどちらに設置されるのが有利かによって、蓄積される。このことは、ポーズデータを改良するのに使用されるが、それについての詳細は後述する。シーン（景観）は、画像５０、視像７０と、０〜ｎの設置されたモデル（オブジェクト）１０とのコンビネーションで構成され、作成日が随意に含まれる。データ構造の全て若しくは部分は、更にメタデータにリンクすることができる。例えば、創作者、日付、画像／視像の頻度、評価及びキーワード（の情報）は、蓄積することが可能である。
【００３７】
図１Ｂに係る実施形態に関連する本発明の態様は、次に詳細に説明するが、画像５０は、カメラ３２によって撮影され、統合された仮想オブジェクト１０と共にディスプレイ３１上の閲覧者（ビューア）により、閲覧される。しかしながら、これに関するステートメント（記述）は、専門家によって図１Ａに係るＨＭＤを用いた実施形態に関して、容易に類似した記述に置換えることができる。
【００３８】
図２は、本発明の実施形態による参加型座標系の概観を示す。一方では、地球座標系２００（この実施形態においては、地理的グローバル座標系により表示される）が、使用され、接続要素を構成している。地球の表面は、数表示２０１で図２中に表示される。例えば地球座標系２００のような、地理的グローバル座標系を定義するには、種々の基準が、当業者に知られている（例えば、ＷＧＳ８４。ＷＧＳ８４については、国家画像地図局（ＮＩＭＡ）、米国防総省ＤｏＤ（Department  of.Defense）の世界測地系  １９８４、テクニカルレポート  ＴＲ  ８３５０．２，  第３版，  ２０００年１月（非特許文献６）参照。）。更には、カメラ座標系は、表示された仮想オブジェクト１０及び画像５０の間の接続を提供する。専門家に知られた変換手段によって、地球座標系２００におけるカメラ３２のポーズ及び画像５０から、画像５０に関連したオブジェクト１０のポーズＰ５０＿１０（“画像におけるポーズモデル”）を計算することが可能である。グローバル画像ポーズＰＷ５０（“世界におけるポーズ画像”）は、例えば、ＧＰＳ及び／又は方位センサを経由して計算される。次に、ポーズＰＷ５０及びＰ５０＿１０から、仮想オブジェクト１０のグローバルポーズＰＷ１０（“世界におけるポーズモデル”）が、計算される。
【００３９】
似たような方法で、第２画像６０に関連したオブジェクト１０のポーズＰ６０＿１０（“画像２におけるポーズモデル”）を、別の地球座標系２００におけるグローバルポーズＰＷ６０と共に第２画像６０のポーズから計算することが可能である。グローバル画像ポーズＰＷ６０（“世界におけるポーズ画像２”）もまた、例えば、ＧＰＳ及び／又は方位センサを経由して計算される。
【００４０】
このように、第１画像（画像５０）に仮想オブジェクト１０を配置し、その近傍に位置する地球上の位置において、第２画像（画像６０）に同じ仮想オブジェクトを異なる視野角からの位置に表示させることが可能である。例えば、オブジェクト１０は、ポーズＰＷ５０と共に第１画像５０の中に、第１ユーザにより配置される。モバイル機器と共に第２ユーザが、画像６０による視像を発生させる時に、画像６０は、開口角若しくは視野角の中でポーズＰＷ１０のグローバルポジションを含む現実世界の一部、をカバーする（に及ぶ）ならば、第１ユーザによって配置された仮想オブジェクト１０は、ポーズＰＷ１０に対応する同じグローバルポジションにおいて、画像６０の中に自動的に統合される。
【００４１】
次に、本発明に係る実施形態を、図３及び図４のフローチャート（作業工程経路図）により、他の図を参照しながら、詳細に説明する。
【００４２】
図３は、本発明の実施形態における方法の典型的なコースを示す。第１ステップ１．０において、世界に関連したデータが生成される。これらは、例えばインターネットから抽出されるか、又はカメラ（図１Ｂ）若しくはカメラと一体となったＨＭＤ（図１Ａ）を使用する第１ユーザにより生成される。最終的に、ステップ１．０におけるユーザは、世界における位置及び方位（ポーズ）が確定される（ステップ２．０）ことに関連した視像（画像若しくは捉えられたビュー）を撮影する。この確定は、例えばＧＰＳ及びコンパスを使用することで行うことができる。発生したデータの不確かさに関する情報を、随意に追加記録することもできる。
【００４３】
視像（画像若しくはキャプチャされたビュー）が存在するとき、ユーザは有利に、モバイル機器上で、視像の中に仮想オブジェクトを直接配置することができる（ステップ３．０）。有利に、該オブジェクトは、カメラ座標系において配置及び操作される。このような場合、視像のグローバルポーズ及びカメラ座標系におけるオブジェクトのポーズ、現実世界（例えば、座標系２００に関連する）における仮想オブジェクトのグローバルポーズから、ステップ４．０において、計算される。これは、クライアント１若しくはサーバ２上で実行することができる。
【００４４】
クライアントとは、サーバのサービスを使用するために、サーバ上の別のプログラムとの接触を確立する、機器上のプログラムである。内在するクライアント−サーバモデルは、コンピュータネットワークにおいて異なるコンピュータにタスクが分配されることを容認する。クライアントは、１つ以上の特定のタスクそれ自体を決定するのではなく、サーバによってタスクを実行又はサービスを提供するという趣旨で、サーバから、関連データを受信している。基本的に、このシステムの工程の多くは、サーバ上若しくはクライアント上のどちらか一方で、実行される。高いコンピュータ能力を伴うクライアントでは、例えばできる限り多くの計算をクライアントにさせてサーバを楽にさせるという、利点がある。
【００４５】
ステップ５．０において、ステップ４．０からの情報のこれらの項目は、図１Ｃに関する利点として記載されているように、次にサーバ２のデータベースの中に記録される。ステップ６．０において、同じユーザ若しくは別のクライアントのユーザは次に、実環境の画像を撮影し（若しくはＨＭＤの手段によって該環境の特定部分を見）、次にサーバ２から見られた実環境の位置に関連して、ステップ５．０に記録されたデータを読み込む。拡張現実を用いた位置関連情報及び地球空間機能の特色を有利に備えているデータベースを読み込んで表示することは、技術的に知られている。ユーザは、こうして今や前もって記録された若しくは新しい視野角から前もって記録された情報を見、変化（すでに存在している及び／又は新しく追加された仮想情報を操作）を達成する能力があり、その変化は、順にサーバ２に記録される。ここで、ユーザは存在しなくてもよいが、オフィスで勤務中、例えば、インターネットへ接続可能なクライアントにおいて、前もって且つ有利に記録された現実上のウィンドウとしての視像を使用することができる。
【００４６】
図１及び２の例においては、ユーザはこのようにして、仮想オブジェクト１０のグローバルポジション及び方位についての決定を容認するポーズデータ（ポーズＰＷ１０）と共に、地理的グローバル座標系２００に関連したグローバルポジション及び方位を有するサーバ２のデータベース３上に、仮想オブジェクト１０を供給若しくは発生させる。このユーザ若しくは別のユーザは、画像５０が影された地理的グローバル座標系２００に関して位置及び方位についての決定を容認するポーズデータ（ポーズＰＷ５０）と共に、モバイル機器３０を用いて実環境４０の少なくとも１つの画像５０を撮影する。画像５０は、該モバイル機器のディスプレイ３１に表示される。サーバのデータベース３内の仮想オブジェクト１０にアクセスが行われ、且つ、次に仮想オブジェクト１０は、ポーズＰＷ１０及びＰＷ５０のポーズデータに基づいて、ディスプレイに表示された画像５０に位置付けられる。仮想オブジェクト１０は次に、ディスプレイ上に表示される（例えば、取り替えられた）画像５０における位置付け（図１Ｂにおける矢印ＭＰ）に対応することによって操作されるか、又はディスプレイ上に表示された画像５０における位置付けに対応することによって追加された、別の仮想オブジェクト１１があるかもしれない。
【００４７】
このような画像５０における位置付けに準じた修正ポーズデータ（修正ポーズＰＷ１０）と共に操作された仮想オブジェクト１０若しくは画像５０における位置付けに準じたそれのポーズデータと一体となった更なる仮想オブジェクト１１は、座標系２００に関連して操作されたオブジェクト１０若しくは更なる仮想オブジェクト１１のグローバルポジション及び方位についての決定を、それぞれ容認する修正ポーズデータＰＷ１０及び新しい仮想オブジェクト１１のポーズデータを伴って、サーバ２のデータベース３に記録される。
【００４８】
サーバに到達できないということ、それにより新しいシーンの記録ができないということが、ある場合において起こり得る。この事象において、サーバが再び利用できるまで、システムが、情報をバッファするように、対処及び準備することが有利に可能である。１つの実施形態では、サーバへのネットワーク接続が不具合の場合には、サーバに記録されるべきデータが、モバイル機器にバッファされ、ネットワーク接続が再び利用できる時に、サーバに伝送される。
【００４９】
別の実施形態において、ユーザは、近接若しくは地図上、又は拡張現実を用いてオーダーされたリストの中で、ユーザの選択のために利用できるようにされた実環境（例えば、ユーザの周囲若しくはローカルエリア）の領域におけるシーンの一群を検索することができる。
【００５０】
別の実施形態では、画像若しくは仮想情報は、ユニークに識別する特性（例えばユニークな名前等）を有し、クライアント上若しくはモバイル機器上（これは、仮想モデルデータ若しくは視像であろう）に既に存在している画像若しくは仮想情報は、サーバからはもはやダウンロードされず、ローカルデータストレージから読み込まれ（ロードされ）る。
【００５１】
図４は、特に画像ポーズを改良するための任意の手段によって補完される、本発明の別の実施形態における方法の典型的な工程を示す。該方法は、ステップ１．０〜図３のステップ６．０から成る。更に、図４のステップ７．０及び８．０において、視像（画像若しくは捉えられたビュー）のポーズは、例えば光学的方法によって、引き続き改良され、どの仮想情報がどの視像手段によって設置されたかとの情報を有利に記録するために、情報のポーズもまた修正される。そうでなければ、視像のポーズは、サーバ２の参照データベース４からクライアント１に、この視像、若しくは近似のポーズと一体となった視像のための、光学的トラッキング参照情報を提供することにより、クライアント１上に視像を作成した直後に改善することができる。そうでなければ、視像の精度もまた、設置された仮想オブジェクトのポーズ（ステップ４．０）を計算する前に達成され、正しい方法で、視像の精度を直接記録することができる。しかしながら、後続のアプローチの利点は、参照データがもはや全ての場所で使用できなくても良く、それゆえ、参照データが使用可能になるとすぐに、そのような視像の修正もまた実行されるということである。
【００５２】
言うまでもなく、特に多くの視像が（記憶）場所で使用可能になるとき、参照データとして使用される他の視像を使用することがまた、可能になる。バンドル調整と称される、この方法は、例えばManolos  I.A.Lourakis;Antonis  A.Argyros  A;“SBA:A  Software  Package  for  Generic  Sparse  Bundle  Adjustment”,ACM  Transactions  on  Mathematical  Software,Vol.36,No.1,Article  2(March  2009)（非特許文献７）.に開示されているように、当業者に知られている。このような場合、点対応の３次元位置、視像のポーズ及び有利に本来備わっているカメラのパラメータもまた、最適化される。このように、本発明におけるアプローチはまた、このようなデータを一般的に使用するために、世界の固有のモデルを作り出す可能性をも提供する。例えば、深さの認識を補足するためのモデルをマスキングするためであったり、リアルタイムにおける光学トラッキングのためであったりする。
【００５３】
図５は、これまでのところ行われてきたポーズの改善無しで、仮想オブジェクトをその中に設置した実環境の典型的なシーンを示す。図５は、修正前の、起こり得るシチュエーションを示す。モバイル機器３０から見ているように、仮想オブジェクト１０（例えば、レストランのレビュー）は、現実オブジェクト４１，４２（例えば、レストランの建物を表示する）に関連した機器３０のディスプレイ３１に表示されている画像の中に設置される。誤った若しくは不正確なＧＰＳデータに基づいて、画像及びオブジェクト１０の両方は、誤って若しくは不正確に決定されたカメラのポーズデータＰ３０−２に対応する様態において、誤った世界座標と一緒に記録される。このことは、オブジェクト１０−２が対応する不正確な方法で記録されるということを導く。この捉えられた画像において、そのようであることは問題にならない。しかしながら、例えば地図上若しくは別の画像の中で見られたとき、仮想オブジェクト１０は、その誤りが明らかになる。
【００５４】
もし、画像が、本物（真正）若しくは正確なカメラのポーズデータＰ３０−１と共に作り出されたとしたら、仮想オブジェクト１０−１の表示によって示されるように、仮想オブジェクト１０は、画像内の位置に表示されるだろうし、仮想オブジェクト１０を作り出したユーザによりこの方法で見られるであろう。しかしながら、誤って記録された仮想オブジェクト１０−２は、誤りのあるカメラポーズデータＰ３０−２が、本物のカメラポーズデータＰ３０−１から移された範囲に応じて、仮想オブジェクト１０の在るべき位置から移された別の画像に示される。このように、モバイル機器３０の画像に誤って記憶された仮想オブジェクト１０−２の表示は、前の画像における作り手であるユーザによる本来の位置付けに一致しない。
【００５５】
実環境の画像における仮想オブジェクトの表示及びそれらの位置の正確さを改善するために、本発明に係る方法の実施形態は、以下の工程を備える：それぞれの参照視像がカメラによって撮影された、地理的グローバル座標系２００に関連した位置及び方位についての決定を容認するポーズデータと共に、実環境の参照視像を伴った参照データベース４が備えられる。次に、画像に示されている現実オブジェクトの少なくとも一部分が、参照視像の少なくとも１つに含まれる現実オブジェクトの少なくとも一部分と比較され、及び少なくとも１つの参照視像のポーズデータと画像のポーズデータのマッチングが達成される。その後、画像のポーズデータの少なくとも一部分は、マッチングの結果としての、各参照視像のポーズデータの少なくとも一部分に基づいて修正される。
【００５６】
また、更なる実施形態では、画像の中に位置付けられた仮想オブジェクトのポーズデータの少なくとも一部分は、各参照視像のポーズデータを伴った画像のポーズデータのマッチング結果として、修正される。
【００５７】
図６は、ポーズの改良が行われた後、仮想オブジェクト１０−１が設置された、図５の実環境のシーンに類似した実環境の典型的なシーンを示す。図６は、一方で画像における画像特徴の認識のメカニズムを示し、もう一方では、画像ポーズ及びオブジェクトポーズの対応する修正を示す。特に、画像特徴４３（例えば現実オブジェクト４１及び４２の顕著な特徴）は、参照データベース４の参照画像の対応する特性と比較し、マッチングされる（画像特徴の“マッチング”として知られる）。
【００５８】
ここで、仮想オブジェクト１０は、他の画像（正しいポーズを持っている画像）では正しく表示される、または配置補正を行うことができる。表示配置修正とは、仮想オブジェクトを透視法で配置することにおいて、ユーザが、地面の上に配置されたオブジェクトの高さについて全く誤った判断をしてしまうことを指摘することである。記憶された現実の部分においてオーバーラップする２つの画像の方法によって、地面レベルを抽出したり、そのような方法で地面上に設置されたオブジェクトを移動させたりすることが可能であるが、画像において、それらオブジェクトが最初に配置された画像の位置と殆ど同じ位置にとどまっているように見える。
【００５９】
図７Ａは、仮想オブジェクトが配置されている現実世界の典型的なマップビューを示すのに対し、図７Ｂは、図７Ａにおける同じシーンの典型的な透視図を示す。特に、図７Ａ及び７Ｂは、カメラポーズのユーザを補助する決定について図示することに役立っている。例えば、モバイル機器が、コンパスが備わっていない状態で使用される時に、ビューイング方向の大きなマーカの見積りを得るのに有効である。最終的に、図７Ｂに示されているように、ユーザは、有効な方法で画像５０を撮影し、現実オブジェクト４１に関連して仮想オブジェクト１０を配置することができる。その後、ユーザは、地図８０上に配置されたオブジェクト１０若しくは図７Ａに示されたように世界の仮想視像８１の位置を再び示すように指示される。画像５０のＧＰＳ位置と地図８０上におけるオブジェクト１０のオブジェクト位置の関係に基づいて、世界における画像５０の方位（方向−ヘッディング）を計算又は修正することが可能である。モバイル機器が、ＧＰＳも搭載していない場合、そのプロセスはまた、２つ若しくは１つの仮想オブジェクト及び現在位置の指示によって、実行される。更にまた、図７Ａに例示されているように、最後の画像の“視像領域”（画像セクションのインジケータ８１）をユーザに示すことが可能であり、修正のために、ユーザが、地図における“視像領域”を対話形式（相互作用方式？）で動かすこと及び再設定（“視像領域”を新しい方向に向けることができる？）することができる。ここで、“視像領域”の開口角は、内在するカメラパラメータに従って示される。
【００６０】
この実施形態によれば、特に、本発明の方法は、モバイル機器のディスプレイ上にマップビュー（マップビュー８０）を提供する工程、及び撮影する画像のビューイング方向をユーザが選択するための選択肢を提供する工程を包含する。このようにして、個別の瞬間において、ユーザがカメラを伴って見るビューイング方向を地図の中で選択することが可能である。
【００６１】
本発明の別の実施形態によれば、本発明の方法は、実環境の画像の中及びモバイル機器のディスプレイ上に提供されたマップビューの中に、仮想オブジェクトを設置する工程と、画像の決定された位置及び提供されたマップビューにおける仮想オブジェクトの位置から画像の方位を決定する工程とを更に具備する。このように、地図上、更にはユーザの方位についての決定を容認する実環境の透視画像の中に、仮想オブジェクトを配置することが可能である。
【００６２】
遠くから（例えば、インターネットを経由して、サーバに通じているクライアント上で）、仮想オブジェクトと共に拡張された実環境の画像を見たり編集したりすることを、他のユーザにも許可するためには、本発明の実施形態に、次に示す更なる工程を具備する本発明の方法が提供される。
【００６３】
サーバのデータベース上に、少なくとも１つの実環境の画像がそのポーズデータと共に提供される。その後、サーバ上の実環境の画像に対してアクセスされクライアント機器上に該画像を表示するために、該画像がクライアント機器に伝送される。ユーザは、仮想オブジェクトを操作するか、又はクライアント機器上に示された実環境の画像の中で、対応する位置付けを行うことにより、別の仮想オブジェクトを追加する。サクライアント機器上に表示された画像における位置付けによる修正ポーズデータと共に、操作された仮想オブジェクト、若しくはクライアント機器上に表示された画像における位置付けによる（新しい）ポーズデータと共に、更なる仮想オブジェクトはそれぞれ、サーバのデータベース上で、その修正ポーズデータ若しくは新しいポーズデータと共に、クライアント機器上に表示された画像における操作された仮想オブジェクト、又は更なる仮想オブジェクトのグローバルポジション及び方位についての決定をそれぞれ容認している。このように、クライアント機器で“リモートアクセス”を伴って、画像における拡張現実シーンは、追加的な仮想情報と共に修正若しくは拡張され、元のサーバに書き込まれる。操作された仮想情報若しくは新しい仮想情報の新たに記録されたグローバルポジションのために、この位置（ポジション）は順に、サーバへのアクセスを通じて、他のユーザにより検索され、グローバルポジションに対応した拡張現実シーンの中で見ることができる。
【００６４】
これに基づいて、本発明の方法における別の実施形態では、サーバ上の実環境の画像にアクセスし、その画像を第２クライアント機器上で見るために、第２クライアント機器に伝送する工程と、第２クライアント機器上における画像の視像の中に表示された実環境の中に、グローバルポジションがある仮想オブジェクトを表示している第２クライアント機器上の画像の視像と共に、サーバ上に提供された仮想オブジェクトにアクセスする工程を更に備えている。このように、別のクライアント機器上で、閲覧者（ビューア）は、それらの仮想オブジェクトが、対応した位置（即ち、そのクライアント機器上における画像の視像の中に表示された実環境の中にあるグローバルポジション）において他のユーザにより、より以前にすでに位置付けされていたということが表示された風景を閲覧することが可能である。言い換えると、ビューアは、視像の可視フィールドにおいて、他のユーザにより既に前もって配置されたそれらの仮想オブジェクトを、ビューアの視野角から見ている。
【符号の説明】
【００６５】
１      クライアント
２      サーバ
３      データベース
１０    仮想オブジェクト
３０    モバイル機器
４０    実環境
４１    現実オブジェクト
５０    画像
８０    地図（マップビュー）
２００  グローバル座標系
【図１Ａ】
0005582548.tif 000002
【図１Ｂ】
0005582548.tif 000003
【図１Ｃ】
0005582548.tif 000004
【図２】
0005582548.tif 000005
【図３】
0005582548.tif 000006
【図４】
0005582548.tif 000007
【図５】
0005582548.tif 000008
【図６】
0005582548.tif 000009
【図７Ａ】
0005582548.tif 000010
【図７Ｂ】
0005582548.tif 000011