(57)【要約】  拡張現実環境内におけるメディアコンテンツの配置を容易にする方法、装置およびシステムが提供される。少なくとも1つの実装形態では、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出するステップと、モバイルデバイスで受信されたユーザ入力に応答して3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付するステップとを含む方法が提供される。
2013538377.tif 000002
【特許請求の範囲】
【請求項１】
モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出するステップと、
前記モバイルデバイスで受信されたユーザ入力に応答して、前記3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付するステップと
を含む方法。
【請求項２】
前記3次元特徴を抽出するステップは、前記3次元特徴に対象認識を適用して、前記3次元特徴の電子表示を取得するステップを含み、
前記3次元特徴の少なくとも一部分に前記提示領域を添付するステップは、前記提示領域の提示面を前記3次元特徴の前記電子表示に関連付けるステップを含む、請求項1に記載の方法。
【請求項３】
前記提示面における前記メディアコンテンツアイテムの提示を開始するステップ
をさらに含む、請求項2に記載の方法。
【請求項４】
前記モバイルデバイスで受信された1つまたは複数の追加のユーザ入力に応答して、前記3次元特徴に関連して前記添付された提示面の位置および/または方位を変えるステップ
をさらに含む、請求項1に記載の方法。
【請求項５】
前記モバイルデバイスのタッチセンシティブグラフィカルディスプレイに前記カメラビューを提示するステップと、
前記3次元特徴に関連して前記添付された提示面の位置および/または方位を少なくとも部分的に定義するために、前記タッチセンシティブグラフィカルディスプレイに前記カメラビューが提示されている間に、前記タッチセンシティブグラフィカルディスプレイを介して前記1つまたは複数の追加のユーザ入力を受信するステップと
をさらに含む、請求項4に記載の方法。
【請求項６】
前記添付された提示面を前記メディアコンテンツアイテムに関連付けるステップ
をさらに含む、請求項1に記載の方法。
【請求項７】
前記モバイルデバイスで受信されたユーザ入力に応答して、前記3次元特徴の少なくとも一部分にメディアコンテンツアイテムのアクティブ化領域を添付するステップと、
前記添付されたアクティブ化領域で受信されたユーザ選択に応答して、第2のモバイルデバイスを介した前記提示領域における前記メディアコンテンツアイテムの提示を有効化するステップと
をさらに含む、請求項1に記載の方法。
【請求項８】
前記抽出された3次元特徴に関連して前記メディアコンテンツアイテムのアクティブ化領域を定義するステップと、
前記メディアコンテンツアイテムを前記アクティブ化領域に関連付けるステップと、
モバイルデバイスにおける前記メディアコンテンツアイテムの提示を、前記モバイルデバイスが前記アクティブ化領域内に入ったことに応答して開始するステップと
をさらに含む、請求項1に記載の方法。
【請求項９】
前記現実世界の対象物の前記3次元特徴を前記抽出するステップは、通信ネットワークを介して前記モバイルデバイスから前記キャプチャされたカメラビューをサーバシステムにおいて受信するステップを含み、
前記3次元特徴の少なくとも前記一部分に前記メディアコンテンツアイテムの前記提示領域を前記添付するステップは、前記通信ネットワークを介して前記モバイルデバイスから前記ユーザ入力を前記サーバシステムにおいて受信するステップと、前記サーバシステムにおいて前記ユーザ入力を受信したことに応答して前記添付するステップを開始するするステップとを含む、請求項1に記載の方法。
【請求項１０】
通信ネットワークを介して前記モバイルデバイスから前記モバイルデバイスの後続のカメラビューをサーバシステムにおいて受信するステップであって、前記後続のカメラビューは前記提示領域をキャプチャする、ステップと、
前記モバイルデバイスの前記後続のカメラビューにキャプチャされた前記提示領域における前記メディアコンテンツアイテムの提示のために、前記通信ネットワークを介した前記サーバシステムから前記モバイルデバイスへの前記メディアコンテンツアイテムの送信を開始することによって、前記提示領域における前記メディアコンテンツアイテムの提示を有効化するステップと
をさらに含む、請求項9に記載の方法。
【請求項１１】
第2のモバイルデバイスにおける前記メディアコンテンツアイテムの提示を、前記第2のモバイルデバイスのカメラビューが前記3次元特徴に添付された前記提示領域をキャプチャしているときに有効化するステップ
をさらに含む、請求項1に記載の方法。
【請求項１２】
前記第2のモバイルデバイスにおける前記メディアコンテンツアイテムの提示を前記有効化するステップは、
通信ネットワークを介して前記第2のモバイルデバイスから前記第2のモバイルデバイスの前記カメラビューをサーバシステムにおいて受信するステップと、
前記第2のモバイルデバイスの前記カメラビューにキャプチャされた前記提示領域における前記メディアコンテンツアイテムの提示のために、前記通信ネットワークを介した前記サーバシステムから前記第2のモバイルデバイスへの、前記メディアコンテンツアイテム、および前記第2のモバイルデバイスの前記カメラビューにおける前記提示領域の場所を定義する提示領域定義の送信を開始するステップと
をさらに含む、請求項11に記載の方法。
【請求項１３】
モバイルデバイスであって、
ユーザ入力を受信するためのユーザ入力デバイスと、
カメラビューをキャプチャするためのカメラと、
前記カメラによってキャプチャされた前記カメラビューを少なくとも提示するためのグラフィカルディスプレイと、
プロセッサと
を含み、前記プロセッサは、
前記カメラのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出し、
前記ユーザ入力デバイスを介して前記モバイルデバイスで受信されたユーザ入力に応答して、前記3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付する
命令でプログラムされる、モバイルデバイス
を含む装置。
【請求項１４】
前記プロセッサは、
前記3次元特徴に対象認識を適用して、前記3次元特徴の電子表示を取得することによって、前記3次元特徴を抽出し、
前記提示領域の提示面を前記3次元特徴の前記電子表示に関連付けることによって、前記3次元特徴の少なくとも一部分に前記提示領域を添付する
命令でさらにプログラムされる、請求項13に記載の装置。
【請求項１５】
前記プロセッサは、
前記グラフィカルディスプレイを介した前記提示領域における前記メディアコンテンツアイテムの提示を開始する
命令でさらにプログラムされる、請求項13に記載の装置。
【請求項１６】
前記プロセッサは、
前記ユーザ入力デバイスで受信された1つまたは複数の追加のユーザ入力に応答して、前記3次元特徴に関連して前記添付された提示面の位置および/または方位を変える
命令でさらにプログラムされる、請求項13に記載の装置。
【請求項１７】
コンピューティングプラットフォームによって、
ワイヤレス通信ネットワークを介してモバイルデバイスからカメラビューを取得し、
前記カメラビューにキャプチャされた1つまたは複数の現実世界の対象物の3次元特徴を抽出し、
前記ワイヤレス通信ネットワークを介して前記モバイルデバイスから受信されたユーザ入力に応答して、前記抽出された3次元特徴の少なくとも一部分にメディアコンテンツの提示領域を添付し、
前記添付された提示領域をメディアコンテンツアイテムに関連付け、
前記ワイヤレス通信ネットワークを介して別のモバイルデバイスに前記メディアコンテンツを送信することによって、前記添付された提示領域における前記メディアコンテンツアイテムの提示を開始する
ように実行可能な命令が記録されたコンピュータ可読記録媒体。
【請求項１８】
前記コンピュータ可読記録媒体は、前記コンピューティングプラットフォームによって、
前記ワイヤレス通信ネットワークを介して前記モバイルデバイスから受信された1つまたは複数の追加のユーザ入力に応答して、前記3次元特徴に関連して前記添付された提示面の位置および/または方位を変える
ように実行可能な命令がさらに記録されている、請求項17に記載のコンピュータ可読記録媒体。
【請求項１９】
前記コンピュータ可読記録媒体は、前記コンピューティングプラットフォームによって、
前記3次元特徴に対象認識を適用して、前記3次元特徴の電子表示を取得することによって、前記3次元特徴を抽出し、
前記提示領域の提示面を前記3次元特徴の前記電子表示に関連付けることによって、前記3次元特徴の少なくとも一部分に前記提示領域を添付する
ように実行可能な命令がさらに記録されている、請求項17に記載のコンピュータ可読記録媒体。
【請求項２０】
モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出するための手段と、
前記モバイルデバイスで受信されたユーザ入力に応答して、前記3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付するための手段と
を含む装置。
【請求項２１】
前記モバイルデバイスで受信された1つまたは複数の追加のユーザ入力に応答して、前記3次元特徴に関連して前記添付された提示面の位置および/または方位を変えるための手段
をさらに含む、請求項20に記載の装置。
【請求項２２】
前記モバイルデバイスのグラフィカルディスプレイを介した前記提示面における前記メディアコンテンツアイテムの提示を開始するための手段
をさらに含む、請求項20に記載の装置。
【請求項２３】
前記3次元特徴を抽出するための前記手段は、前記3次元特徴に対象認識を適用して、前記3次元特徴の電子表示を取得するための手段を含み、
前記3次元特徴の少なくとも一部分に前記提示領域を添付するための手段は、前記提示領域の提示面を前記3次元特徴の前記電子表示に関連付けるための手段を含む、
請求項20に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する主題は、電子デバイスに関し、より具体的には、モバイル電子デバイスに関して拡張現実環境の中で、かつ/または拡張現実環境とともに使用するための方法、装置、およびシステムに関する。
【背景技術】
【０００２】
モバイルコンピューティングデバイス(モバイルデバイス)はユーザに対し、ワイヤレス通信システムを介した様々な情報へのアクセスを提供する。一例として、衛星測位システムおよび/または地上ベース測位システムのような測位システム、たとえば、全地球測位システム(GPS)または他の同様のグローバルナビゲーション衛星システム(GNSS)、ワイヤレスセルラーネットワークおよび/またはWi-FiもしくはWiMAXのようなワイヤレスローカルエリアネットワークをモバイルデバイスが使用して、地理的測位情報を取得することができる。別の例として、ワイヤレスセルラーネットワークおよび/またはWi-FiもしくはWiMAXのようなワイヤレスローカルエリアネットワークでの使用に対応したモバイルデバイスはユーザに対し、インターネットの膨大な情報リソースへのアクセスを提供する。モバイルデバイスにより、ユーザは、コンピュータ生成グラフィカルコンテンツに統合されるか、コンピュータ生成グラフィカルコンテンツによって拡張される物理的な現実世界環境のリアルタイムビューを提供する拡張現実環境を探索することもできる。たとえば、モバイルデバイスに搭載されたカメラをグラフィカルディスプレイとともに使用して、モバイルデバイスのカメラビューにキャプチャされた関心ポイントに関係する補足情報をユーザに提示することができる。そのような補足情報は、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物をオーバーレイする情報層を形成することができる。
【発明の概要】
【課題を解決するための手段】
【０００３】
拡張現実環境内におけるメディアコンテンツの配置に関係する実装形態が、モバイルコンピューティングの文脈において開示される。少なくとも1つの実装形態では、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出するステップと、モバイルデバイスで受信されたユーザ入力に応答して、3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付するステップとを含む方法が提供される。
【０００４】
非限定的かつ非網羅的な態様が、以下の図面を参照して説明され、別段規定されない限り、様々な図面を通じて、同様の参照番号は同様の部分を指す。
【図面の簡単な説明】
【０００５】
【図１】一実装形態による例示的なネットワーク環境の概略ブロック図である。
【図２】一実装形態による例示的なモバイルデバイスの概略ブロック図である。
【図３】一実装形態による拡張現実環境を定義して当該拡張現実環境内にメディアコンテンツを配置するための例示的なプロセスを示す流れ図である。
【図４】様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。
【図５】様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。
【図６】様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。
【図７】様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。
【図８】様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。
【図９】様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。
【発明を実施するための形態】
【０００６】
拡張現実環境に関係する実装形態が、モバイルコンピューティングの文脈において開示される。モバイルデバイスを介してアクセス可能な拡張現実オーサリングツールにより、モバイルデバイスユーザは、拡張現実環境を定義し、当該拡張現実環境内に写真または他のグラフィカル要素を含む画像、ビデオ、アニメーション、テキストおよびオーディオなどのメディアコンテンツを配置することができる。特定のモバイルデバイスユーザによって配置されたメディアコンテンツは、それぞれのモバイルデバイスを介して拡張現実環境を探索する他のモバイルデバイスユーザによってアクセスされ得る。
【０００７】
モバイルデバイスのカメラビューにキャプチャされた建造物または他の適切な関心対象物のような現実世界の対象物の3次元特徴を、たとえば、対象認識技法の適用によって抽出して、3次元特徴の電子表示を取得することができる。そのような電子表示は、3次元特徴のカメラビューから取得された関連記述子を伴う複数の(キー)ポイントを含むことができる。さらに、電子表示は、たとえば、そのような現実世界の対象物のコンピュータ支援設計(CAD)モデルおよび/またはオプティカルスキャンを含む既存の特徴ライブラリから取得されることもある。拡張現実環境をサポートする情報層がモバイルデバイスユーザによって、抽出された3次元特徴のそのような電子表示に添付され得る1つまたは複数の提示領域および/またはアクティブ化領域の適用を通じて、定義され得る。
【０００８】
拡張現実環境内のメディアコンテンツアイテムが提示される場所(たとえば、位置および/または方位)を定義する目的で、メディアコンテンツアイテムの提示領域がユーザによって当該拡張現実環境に配置され得る。ユーザ入力ならびに/またはモバイルデバイスの推定位置および/もしくは方位に応答して、関連提示領域におけるメディアコンテンツアイテムの提示をどのようにして、かつ/またはいつ有効化および/または開始することができるかに関する条件を定義する目的で、メディアコンテンツアイテムのアクティブ化領域がユーザによって拡張現実環境内に配置され得る。これらおよび他の態様について、以下の記述および関連する図に関してより詳細に説明する。
【０００９】
図1は、一実装形態による例示的なネットワーク環境100の概略ブロック図である。ネットワーク環境100は、たとえば、モバイルデバイス120および130など、任意の数のモバイルデバイスを含むことができる。モバイルデバイス120および130は、ネットワーク140を介してサーバシステム110とワイヤレス通信することができる。モバイルデバイス120および130は、いくつかの例を挙げれば、セルラー電話、スマートフォン、携帯情報端末、低衝撃係数通信デバイス、ラップトップコンピュータ、ポータブルメディアプレーヤデバイス、パーソナルナビゲーションデバイス、およびデジタルカメラを含むポータブル電子デバイスを含む任意の適切なモバイルコンピューティングプラットフォームを含むことができる。さらに、いくつかの実装形態では、モバイルデバイス120および130は、1つまたは複数のレンズを通じて閲覧可能な現実世界の対象物上に拡張現実情報層のようなグラフィカルコンテンツを表示するためのそのようなレンズを含む装着型拡張現実アイウェア(たとえば、メガネ)を含むことができる。ネットワーク環境100は、同じくネットワーク140を介してサーバシステム110と通信することができるコンピューティングプラットフォーム122のような非モバイル型コンピューティングプラットフォームをさらに含むことができる。少なくともいくつかの実装形態では、モバイルデバイスは、たとえば、ネットワーク140を利用することなく、有線通信またはワイヤレス通信によってコンピューティングプラットフォーム122とドッキングすることによって通信するように適合し得る。
【００１０】
ネットワーク140は、広域ネットワーク(たとえば、インターネット)、ローカルエリアネットワーク(たとえば、イントラネット)および/またはパーソナルエリアネットワークのうちの1つまたは複数を含むことができる。たとえば、モバイルデバイス120および130は、CDMA、GSM(登録商標)もしくはWCDMAのようなセルラー通信プロトコルおよび/またはWifiもしくはWiMAXのようなワイヤレスローカルエリアネットワーク(WLAN)プロトコルを含む任意の適切な通信プロトコルを介して、サーバシステム110とワイヤレス通信することができる。したがって、そのような実装形態では、ネットワーク140は1つまたは複数のワイヤレストランシーバを含むことができる。また、ネットワーク140のワイヤレストランシーバをモバイルデバイス120および130が利用して、モバイルデバイス位置を推定するための測位情報を取得することができる。
【００１１】
いくつかの実装形態では、三辺測量ベースの手法をモバイルデバイスが利用して、地理的位置を推定することができる。たとえば、CDMAにおけるアドバンストフォワードリンク三辺測量(AFLT)またはGSM(登録商標)における強化観測時間差(EOTD)またはWCDMAにおける観測到達時間差(OTDOA)を含む技法を使用することができ、これらは、送信機を装備したいくつかの基地局の各々から送信されたワイヤレス信号の相対到達時間をモバイルデバイスにおいて測定する。別の例として、モバイルデバイスは、ワイヤレストランシーバに関連する媒体アクセス制御(MAC)アドレスまたは他の適切な識別子を取得し、MACアドレスまたは識別子を当該ワイヤレストランシーバの既知の地理的場所と相関させることによって、自らの位置を推定することができる。
【００１２】
モバイルデバイス120および130は、測位システム150からワイヤレス測位信号をさらに取得して、モバイルデバイス位置を推定することができる。たとえば、測位システム150は、衛星測位システム(SPS)および/または地上ベース測位システムを含むことができる。衛星測位システムには、たとえば、全地球測位システム(GPS)、ガリレオ、GLONASS、NAVSTAR、GNSS、これらのシステムの組合せによる衛星を使用するシステム、または将来開発される任意のSPSが含まれ得る。本明細書で使用するSPSは疑似衛星システムを含むことも理解されよう。ただし、本明細書で提供する特定の測位技法は例示的な測位技法にすぎず、特許請求する主題はこの点について限定されないことを理解されたい。
【００１３】
サーバシステム110は、1つまたは複数のサーバおよび/または他の適切なコンピューティングプラットフォームを含むことができる。したがって、サーバシステム110は、データベース114および命令116が記憶された記憶媒体112を含むことができる。サーバシステム110は、命令116を実行するための、ならびに/またはデータベース114におけるデータの記憶および取出しを容易にするための例示的なプロセッサ118のような1つまたは複数のプロセッサを含むことができる。サーバシステム110は、モバイルデバイス120および130ならびにコンピューティングプラットフォーム122を含むネットワーク140のクライアントとの通信を容易にするための通信インターフェース160をさらに含むことができる。
【００１４】
開示する実装形態の理解を容易にするために、命令116について時々、特定の動作を実行するための1つまたは複数のモジュールに関して説明することがある。一例として、命令116は、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の特徴を抽出する特徴抽出モジュール162を含むことができる。別の例として、命令116は、拡張現実環境内におけるメディアコンテンツの配置を管理するコンテンツ管理モジュール164を含むことができる。コンテンツ管理モジュール164は、ユーザ(たとえば、人間であるユーザ)がモバイルデバイス(たとえば、モバイルデバイス120)または他の適切なコンピューティングプラットフォーム(たとえば、コンピューティングプラットフォーム122)を介してコンテンツ管理モジュールと対話できるようにするいくつかのツールを含むことができる。少なくともいくつかの実装形態では、コンテンツ管理モジュール164は、ユーザが拡張現実環境内にメディアコンテンツを配置できるようにするコンテンツ配置ツール166、拡張現実環境内の1つまたは複数の場所に配置された1つまたは複数のメディアコンテンツアイテムを含むツアーをユーザが作成できるようにするツアー作成ツール168、およびユーザが当該ユーザによって配置されているメディアコンテンツに対する他のユーザのアクセス権を管理できるようにする権利管理ツール170を含むことができる。そのようなツールは、ユーザがモバイルデバイスまたは他の適切なコンピューティングプラットフォームの入力デバイスまたは出力デバイスを介してアクセス可能であり得る。たとえば、モバイルデバイスのグラフィカルディスプレイに提示されるグラフィカルユーザインターフェース(GUI)により、ユーザはツール166、168および170のうちの1つまたは複数を使用することによって、1つまたは複数のメディアコンテンツアイテムを含む拡張現実環境を定義することが可能になり得る。
【００１５】
データベース114は、例示的な関連アイテム176のような1つまたは複数の関連アイテムを含む様々なデータを含むことができる。関連アイテム176は、たとえば、少なくとも1つのメディアコンテンツアイテム178および他の関連データ要素、たとえば、提示領域定義180、アクティブ化領域定義182、ツアー定義184、メタデータ186および抽出特徴定義174を含むことができる。データベース114は、例示的な既存の電子表示194のような、現実世界の3次元特徴の1つまたは複数の既存の電子表示を有する特徴ライブラリ192をさらに含むことができる。そのような既存の電子表示は、たとえば、現実世界の特徴に対するオプティカルおよび/もしくは音波スキャニング技法の適用によって、または現実世界の特徴のコンピュータ支援設計(CAD)モデルの開発(development)を通じて作成され得る。
【００１６】
提示領域定義180は、(たとえば、抽出特徴定義174によって表される)現実世界の対象物の抽出された特徴に関連して、拡張現実環境内のメディアコンテンツ(たとえば、メディアコンテンツアイテム178)が提示され得る場所を定義することができる。提示領域定義180は、ユーザがコンテンツ配置ツール166を介して定義できる。
【００１７】
アクティブ化領域定義182は、ユーザ入力ならびに/またはモバイルデバイスの推定位置および/もしくは方位に応答して、(たとえば、提示領域定義180によって定義される)提示領域におけるメディアコンテンツの提示が、どのようにして、かつ/またはいつ有効化または開始され得るかを定義することができる。アクティブ化領域定義182は、ユーザがコンテンツ配置ツール166を介して定義できる。たとえば、ユーザはコンテンツ配置ツール166を利用して、関連メディアコンテンツアイテム(たとえば、メディアコンテンツアイテム178)に関するアクティブ化領域を定義するアクティブ化領域定義182を作成することができる。
【００１８】
ツアー定義184は、1つまたは複数の関連メディアコンテンツアイテムを含む拡張現実環境内のガイド付きツアーを定義することができる。ユーザはツアー作成ツール168を利用して、ツアー定義184を作成することができる。ツアー定義184は、拡張現実環境内に配置されている任意の適切な数のメディアコンテンツアイテムからなるグループを定義することができる。他のユーザは、モバイルデバイスのカメラビューを介して拡張現実環境内で探索することによって、関連メディアコンテンツアイテムのガイド付きツアーにアクセスすることができる。したがって、データベース114は任意の適切な数の関連メディアコンテンツアイテムを含み得ること、およびメディアコンテンツアイテム178はツアー定義184によって定義された所与のツアーに関連する複数のメディアコンテンツアイテムのうちの1つを含み得ることが諒解されよう。
【００１９】
メタデータ186は、関連メディアコンテンツアイテム178のような配置されたメディアコンテンツアイテムにアクセスするユーザの権利を定義する権利定義188を含むことができる。いくつかの実装形態では、ユーザは権利管理ツール170を使用して、関連メディアコンテンツアイテム178に関する権利定義188を作成することができる。非限定的な例として、ユーザは、精選されたユーザが特定のメディアコンテンツアイテムにアクセスしないようにすること、または拡張現実環境内の特定のメディアコンテンツアイテムにアクセスする権利を精選されたユーザに付与することができる。
【００２０】
メタデータ186は、メディアコンテンツアイテム178に関連するデバイス状態データ190をさらに含むことができる。デバイス状態データ190は、たとえば、モバイルデバイスが関連メディアコンテンツアイテムをキャプチャしている間の、モバイルデバイスの位置および/または方位を含むことができる。いくつかの実装形態では、モバイルデバイスの位置は、参照データに関連して測定された1つまたは複数の緯度、経度および/または高度の値として表され得る。同様に、モバイルデバイスの方位は、参照データに関連して測定された1つまたは複数のロール、ピッチおよび/またはヨーの値によって表され得る。そのような方位値に関する参照データは、たとえば、モバイルデバイスのカメラの照準線の軸として定義され得る。そのようなデバイス状態データは、図2に関してより詳細に後述するように、モバイルデバイスにおいて取得される1つまたは複数の測位信号および/または慣性センサ測定値に基づき得る。
【００２１】
図2は、一実装形態による例示的なモバイルデバイス200の概略ブロック図である。モバイルデバイス200は、少なくともいくつかの実装形態における図1のモバイルデバイス120および130の非限定的な例であり得る。したがって、モバイルデバイス200は、たとえば、図1のサーバシステム110、モバイルデバイス120、130および/またはコンピューティングプラットフォーム122のような他のコンピューティングプラットフォームとの通信を容易にする通信インターフェース228を含むことができる。よって、通信インターフェース228は、例示的なネットワーク140を含む通信ネットワークとのワイヤレス通信を可能にし得る。モバイルデバイス200は、たとえば、例示的な測位システム150のような測位システムから測位信号を受信する受信機230をさらに含むことができる。
【００２２】
モバイルデバイス200は、ユーザ入力を受信する入力デバイス218を含むことができる。入力デバイス218は、たとえば、1つまたは複数の物理的なボタン、キーボード、コントローラ、マイクロフォン、ポインティングデバイス、および/またはタッチセンシティブ面を含むことができる。モバイルデバイス200は、ユーザに情報を提示する出力デバイス221を含むことができる。一例として、出力デバイス221は、グラフィカルユーザインターフェース224を提示するグラフィカルディスプレイ222を含むことができる。グラフィカルディスプレイ222は、液晶ディスプレイ(LCD)、陰極線管(CRT)ディスプレイ、透過投影ディスプレイなどを含む任意の適切な表示デバイスを含むことができる。少なくともいくつかの実装形態では、グラフィカルディスプレイ222は、たとえば、1つまたは複数のタッチジェスチャーを介したユーザ入力を受信することが可能なタッチセンシティブグラフィカルディスプレイ(たとえば、タッチスクリーン)を含むことができる。タッチセンシティブグラフィカルディスプレイは、たとえば、容量性感知、抵抗性感知および/または光学感知の技法を含む、ディスプレイ面またはその近くにおけるユーザ入力を検出するための任意の適切な感知技法を利用することができる。そのようなタッチセンシティブ実装形態において、グラフィカルディスプレイ222は、ユーザ入力を受信するための入力デバイスとグラフィカルコンテンツを提示するための出力デバイスの両方の役割を果たすことができる。いくつかの実装形態では、出力デバイス221は、オーディオコンテンツを提示するためのオーディオスピーカー226をさらに含むことができる。
【００２３】
少なくともいくつかの実装形態では、グラフィカルユーザインターフェース(GUI)224がグラフィカルディスプレイ222に提示され得る。GUI224は、カメラ220を介して取得されたカメラビュー234および情報層236のうちの1つまたは複数を含むことができる。情報層236は、レンダリングされたメディアコンテンツアイテム238のような1つまたは複数のレンダリングされたメディアコンテンツアイテム、およびグラフィカル制御要素240のような1つまたは複数のグラフィカル制御要素を含むことができる。非限定的な例として、レンダリングされたメディアコンテンツアイテム238は、他の適切なグラフィカルコンテンツまたはその一部のうちでも、画像、ビデオ、アニメーションなどのメディアコンテンツアイテム178のレンダリングされた状態に対応し得る。グラフィカル制御要素240は、ユーザがモバイルデバイスの機能を制御するためのユーザ入力を提供できるようにするための1つまたは複数のグラフィカル要素を含むことができる。
【００２４】
モバイルデバイス200は、モバイルデバイス上で慣性センサ測定値を取得する1つまたは複数の慣性センサ232を含むことができる。少なくともいくつかの実装形態では、慣性センサ232は、1つまたは複数の加速度計、ジャイロスコープまたはモバイルデバイスの慣性状態を測定するための他の適切なデバイスを含むことができる。いくつかの実装形態では、モバイルデバイスの位置および/または方位の指示を提供するために、デカルト座標系および/または極座標系における複数の軸に沿って慣性センサ232によって、モバイルデバイスの慣性状態が測定され得る。
【００２５】
慣性センサ232から取得された慣性センサ測定値を処理して(たとえば、経時的に統合して)、モバイルデバイスの位置および/または方位のそのような推定値を取得することができることが諒解されよう。前述したように、モバイルデバイスの位置は、1つまたは複数の緯度、経度および/または高度の値として表すことができ、モバイルデバイスの方位は、参照データに関連して測定された1つまたは複数のロール、ピッチおよび/またはヨーによって表すことができる。モバイルデバイス200は、グラフィカルディスプレイ222に提示され得るカメラビュー234を取得するカメラ220を含むことができる。カメラ220は、いくつかの実装形態では、光に焦点を合わせるための1つもしくは複数のレンズを含むいくつかの光学素子、ならびに/または画像および/もしくはビデオデータを表すデジタル信号に光を変換するための1つもしくは複数の光感知素子を有するデジタルカメラを含むことができる。非限定的な例として、光感知素子は、デジタル信号に光を変換するための光ピックアップ、電荷結合デバイスおよび/または光電デバイスを含むことができる。カメラの1つまたは複数の光感知素子から取得されたデジタル信号は、カメラビュー234としてグラフィカルディスプレイ222において処理および/またはレンダリングされ得る。さらに、いくつかの実装形態では、カメラ220を介して取得されたカメラビューは、画像および/またはビデオコンテンツとして記憶媒体に保存され得る。たとえば、カメラ220から取得されたデジタル信号を符号化して、.jpeg、.mpegまたは他の適切なフォーマットとして記憶媒体210に記憶することができる。カメラビューを表すそのようなデジタル信号は、記憶および/または処理のために他のコンピューティングプラットフォームに送信され得る。たとえば、モバイルデバイスで取得されたカメラビューは、サーバシステムまたは他の適切なコンピューティングプラットフォームに、通信ネットワークを介して、または別のコンピューティングプラットフォームとドッキングすることによって送信され得る。
【００２６】
モバイルデバイス200は、データベース212および命令214が記憶された記憶媒体210をさらに含むことができる。モバイルデバイス200は、命令214を実行し、かつ/またはデータベース212におけるデータの記憶および取出しを容易にするための例示的なプロセッサ216のような1つまたは複数のプロセッサを含むことができる。データベース212は、図1のデータベース114に関して前述したデータ要素の一部または全部を含む様々なデータを含むことができる。たとえば、データベース212は、関連コンテンツアイテム176および特徴ライブラリ192などのデータのうちの1つまたは複数を、ローカルにモバイルデバイス200に保持することができる。そのようなデータをリモートに、たとえば、モバイルデバイスによってワイヤレスネットワークを介してアクセスされ得る図1のサーバシステム110のようなサーバシステムに保持してもよいことが諒解されよう。
【００２７】
命令214は同様に、前述した図1の命令116のモジュールおよび/またはツールのうちの1つまたは複数を含むことができる。たとえば、命令214は、ローカルにモバイルデバイス200に保持された前述の特徴抽出モジュール162およびコンテンツ管理モジュール164を含むことができる。命令214は、グラフィカルディスプレイ222におけるGUI224のレンダリングおよび/または提示を容易にするレンダリングモジュール254をさらに含むことができる。命令は、受信機230を介して取得された測位信号および/または慣性センサ232を介して取得された慣性センサ測定値を処理するためのデバイス状態モジュール256をさらに含むことができる。たとえば、デバイス状態モジュール256は、モバイルデバイス200の位置および/または方位を、そのような測位信号および/または慣性センサ測定値に少なくとも部分的に基づいて推定するように適合し得る。たとえば、デバイス状態データ190に関して前述したように、データベース212にモバイルデバイス200の推定位置および/または方位が記憶され得る。少なくともいくつかの実装形態では、デバイス状態モジュール256は、モバイルデバイスにおけるメディアコンテンツアイテムのキャプチャに応答してモバイルデバイスに関するデバイス状態データを取得するように適合し得る。たとえば、モバイルデバイス200においてカメラ220を介してキャプチャされた画像は、デバイス状態モジュール256に、画像がキャプチャされた時点またはその時点近くにおけるモバイルデバイスの位置および/または方位の推定を行わせることができる。デバイス状態モジュール256は、たとえば、データベース212またはデータベース114において、(たとえば、メタデータとして)当該メディアコンテンツアイテムにデバイス状態データを関連付けるようにさらに適合し得る。
【００２８】
さらに、少なくともいくつかの実装形態では、カメラ220を介して取得されるカメラビューを表すデジタル信号が、静止画像または動的なビデオとしてキャプチャされ得る。そのようなデジタル信号を特徴抽出モジュール162が処理して、カメラビュー内にキャプチャされた現実世界の特徴の電子表示(たとえば、モデル)を取得することができる。現実世界の特徴のそのような電子表示は、抽出特徴定義174としてデータベース212および/またはデータベース114に記憶され、そこではたとえばメディアコンテンツアイテム178のような1つまたは複数のメディアコンテンツアイテムに関連付けられ得る。
【００２９】
図2の例示的なモバイルデバイス200の少なくともいくつかの要素は、図1のコンピューティングプラットフォーム122のような他のモバイル型または非モバイル型のコンピューティングプラットフォームに存在して、そのようなコンピューティングプラットフォームが、本明細書で説明する動作、処理および方法のうちの1つまたは複数を実行できるようにしてよいことが諒解されよう。たとえば、図1のコンピューティングプラットフォーム122は、命令214および/またはデータベース212を含む記憶媒体210のような記憶媒体、プロセッサ216のような1つまたは複数のプロセッサ、1つまたは複数の入力デバイスおよび出力デバイス、ならびに通信インターフェース228のような通信インターフェースを含むことができる。したがって、たとえば、図3に関して本明細書で説明する動作、処理および方法のうちの1つまたは複数は、必ずしもモバイルデバイスに限定されない。
【００３０】
図3は、一実装形態による拡張現実環境を定義して拡張現実環境内にメディアコンテンツを配置するための例示的なプロセス300を示す流れ図である。一例として、プロセス300は、ローカルにモバイルデバイスにおいて、かつ/またはリモートにサーバシステムもしくは他の適切なコンピューティングプラットフォームにおいて命令を実行する1つまたは複数のプロセッサによって実行され得る。したがって、プロセス300の様々な動作は、たとえば、サーバシステム110の記憶媒体112および/またはモバイルデバイス200の記憶媒体210のような1つまたは複数のコンピューティングプラットフォームの記憶媒体に保持されている実行可能命令によって表され得る。
【００３１】
手短に言えば、拡張現実環境内にメディアコンテンツを配置するためのプロセス300は、以下の動作のうちの1つまたは複数を含むことができる。動作310においてモバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出する動作、動作320においてたとえば、モバイルデバイスでメディアコンテンツアイテムをキャプチャすることによって、かつ/または記憶媒体から既存のメディアコンテンツアイテムを取り出すことによって、メディアコンテンツアイテムを取得する動作、動作330において3次元特徴に関連してメディアコンテンツアイテムの提示領域を定義する動作、動作340において3次元特徴に関連してメディアコンテンツアイテムのアクティブ化領域を定義する動作、動作350においてアクティブ化領域に関するユーザ入力および/またはモバイルデバイス推定位置に応答して、提示領域におけるメディアコンテンツアイテムの提示を有効化および/または開始する動作。
【００３２】
動作310を参照すると、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴が抽出され得る。現実世界の対象物は、たとえば、人工対象物(たとえば、建造物、橋、道路など)および/または自然対象物(たとえば、山、木、川など)を含む任意の適切な関心対象物を含むことができる。たとえば、図4も参照すると、一実装形態により、例示的な拡張現実環境のカメラビュー400を含むGUIが示されている。図4では、現実世界の対象物(たとえば、建造物)の例示的な3次元特徴410がカメラビュー400にキャプチャされている。
【００３３】
少なくともいくつかの実装形態では、動作310で実行される特徴抽出プロセスは、モバイルデバイスのカメラビューにキャプチャされた現実世界の3次元特徴に対象認識技法を適用することを含み得る。たとえば、そのような対象認識技法を、モバイルデバイスにおいて、またはリモートにサーバシステムもしくは他の適切なコンピューティングプラットフォームにおいて、特徴抽出モジュール162によって、モバイルデバイスで取得された代表的なカメラビューに対して適用して、現実世界の3次元特徴の電子表示(たとえば、キーポイントおよび記述子、線など)を生成することができる。少なくともいくつかの実装形態では、そのような対象認識技法は標準的かつ/または周知の対象認識技法を含むことができる。キーポイントおよび記述子を生成するためのそのような対象認識技法の非限定的な例には、Scale-Invariant Feature Transform(SIFT)、Ferns、およびSpeeded Up Robust Features(SURF)などがある。特許請求する主題は本明細書で説明する例示的な対象認識技法に限定されないことが諒解されよう。
【００３４】
代表的なカメラビューから生成されたものと比較される現実世界の3次元特徴の参照電子表示は、当該3次元特徴の既存の電子表示(たとえば、モデル、キーポイントおよび記述子)を含むことができ、または電子表示は当該3次元特徴のアドホック電子表示としてカメラビューから作成され得る。さらに、現実世界の特徴は、2次元面および/または3次元面を含むことができる。一例として、2次元の現実世界の特徴に関するモデルが、少なくとも部分的に、モバイルデバイスの単一カメラビューにキャプチャされた現実世界の特徴のキーポイントおよび記述子、線、形または他の視覚的要素から作成され得る。別の例として、3次元の現実世界の特徴に関するモデルが、少なくとも部分的に、現実世界の特徴に関連する様々な位置および/または方位で取得された2つ以上のカメラビューから作成され得る。たとえば、複数の異なる角度、方位などにおいて特定の特徴をキャプチャしている複数のカメラビューを表す複数の2次元画像を使用して、当該特徴の3次元電子表示を(たとえば、三角測量法により)構築することができる。さらに別の例として、現実世界の特徴の既存の3次元電子表示が、たとえば、そのような特徴にスキャニング技法を適用することによって作成され得る。非限定的な例として、オプティカル(たとえば、レーザー)または音波スキャニング技法を、現実世界の対象物、たとえば、建物、都市または景観に適用して、それらの現実世界の対象物の既存の3次元電子表示を作成することができる。さらに別の例として、現実世界の対象物の既存の3次元電子表示が、コンピュータ支援設計(CAD)モデルから生成され得る。現実世界の対象物の既存の電子表示は、モバイルデバイスおよび/またはサーバシステムの記憶媒体に(たとえば、特徴ライブラリ192の一部として)保持され、当該記憶媒体において特徴抽出デバイス162によってアクセスされ得る。
【００３５】
非限定的な例として、既存の電子表示(たとえば、既存の電子表示194)は、現実世界の対象物の3次元特徴を表す任意の適切な数のデータ要素(たとえば、2次元または3次元空間の空間的座標、多次元記述子ベクトル)を含むデータセットを含むことができる。また、測位信号および/または慣性センサ測定値から取得されたモバイルデバイス状態情報(たとえば、デバイス状態データ190)を特徴抽出モジュールが使用して、たとえば、モバイルデバイスの推定位置および/または方位に基づいて、潜在的に関連する既存の電子表示の場所を突き止めて、特徴ライブラリから当該電子表示を取り出すことができる。特徴抽出モジュールは、関連する既存の電子表示の領域を探索して、当該3次元特徴と合致するか当該3次元特徴を含む特定の既存の電子表示を見つけることができる。したがって、モバイルデバイスのカメラビューにキャプチャされた3次元特徴と合致する、当該特徴を表す、または当該特徴を含む特定の既存の電子表示が、対象認識手法を通じて、かつ/またはモバイルデバイスのデバイス位置および/もしくは方位を参照することによって、識別され得る。データベースから取得された既存の電子表示を抽出特徴定義174として利用して、たとえば、メディアコンテンツアイテム178に関連付けることができる。
【００３６】
一方、3次元特徴の既存の電子表示がまだ存在しない、または特徴抽出モジュールによってまだアクセス可能にはなっていない他の例では、3次元特徴をキャプチャしている1つまたは複数のカメラビューの電子表示(たとえば、画像ファイルまたはビデオファイル)を特徴抽出モジュールが利用して、当該3次元特徴のアドホック電子表示を作成することができる。この場合も、このアドホック電子表示は、そのような現実世界の特徴の2次元モデルまたは3次元モデルを含むことができる。一例として、現実世界の特徴の2次元モデルが、少なくとも部分的に、拡張現実環境をオーサリングするために使用されるモバイルデバイスのカメラビューにキャプチャされた現実世界の特徴の角、線、形または他の視覚的要素から作成され得る。別の例として、現実世界の特徴の3次元モデルが、少なくとも部分的に、拡張現実環境をオーサリングするために使用されるモバイルデバイスによって、そのような現実世界の特徴に関連する様々な位置で取得された2つ以上のカメラビューから作成され得る。
【００３７】
アドホック電子表示は、特徴抽出モジュールによって特徴ライブラリに追加され、3次元表示のキャプチャ元であるカメラビューに関連するデバイス状態データ(たとえば、モバイルデバイスの位置および/または方位)をさらに示すことができる。このシナリオの下で、当該3次元特徴の既存の電子表示を使用する代わりに、またはかかる電子表示を使用することに加えて、アドホック電子表示が特徴抽出モジュールによって抽出特徴定義174として利用され得る。
【００３８】
動作320に関して後述するように、抽出特徴定義は、既存の電子表示から取得されたか、アドホック電子表示から取得されたかを問わず、拡張現実環境内に配置されるメディアコンテンツアイテムに関連付けられ得る。動作350に関して後述するように、メディアコンテンツアイテムを提示する目的で(たとえば、他のモバイルデバイスの)他のカメラビューに対象認識を適用する間に、特徴抽出モジュールによって抽出特徴定義が後に参照され得る。
【００３９】
320において、モバイルデバイスでメディアコンテンツアイテムをキャプチャすることによって、かつ/または記憶媒体からメディアコンテンツアイテムを取り出すことによって、メディアコンテンツアイテムが取得され得る。少なくともいくつかの実装形態では、動作320は、コンテンツ配置ツール166を介して受信されたユーザ入力(たとえば、ユーザ選択)に応答して、コンテンツ管理モジュール164によって実行され得る。前述したように、メディアコンテンツアイテムは、オーディオコンテンツ(たとえば、録音)および/または視覚コンテンツ(たとえば、画像、グラフィカル要素、ビデオ、アニメーション、テキストコンテンツ、3次元グラフィカルコンテンツなどのグラフィカルコンテンツなど)を含むことができる。一例として、画像またはビデオコンテンツは、モバイルデバイスのカメラ(たとえば、カメラ220)を介してキャプチャされ得る。別の例として、テキストコンテンツは、テキストコンテンツをキャプチャするのに適したモバイルデバイスの入力デバイス(たとえば、キーボード)を介してキャプチャされ得る。さらに別の例として、オーディオコンテンツは、オーディオコンテンツをキャプチャするのに適したモバイルデバイスの入力デバイス(たとえば、マイクロフォン)を介してキャプチャされ得る。
【００４０】
代替または追加として、モバイルデバイスに搭載された記憶媒体から(たとえば、データベース212において)、またはサーバシステムのような別のコンピューティングプラットフォームに存在する記憶媒体から(たとえば、データベース114において)、メディアコンテンツアイテムは取得され得る。少なくともいくつかの実装形態では、グラフィカルディスプレイを介してモバイルデバイスで提示されるGUIは、ユーザがメディアコンテンツアイテムを、(たとえば、カメラ、マイクロフォン、または他の入力デバイスを介して)当該メディアコンテンツアイテムをキャプチャすることによって、かつ/または当該メディアコンテンツアイテムが保持されている記憶媒体から当該メディアコンテンツアイテムを取り出すことによって取得できるようにするための1つまたは複数のグラフィカル制御要素を含むことができる。たとえば、図4も参照すると、ユーザがモバイルデバイスのカメラを、3次元特徴410のような現実世界の対象物に向けているときに、リアルタイムでモバイルデバイスのグラフィカルディスプレイを介してカメラビュー400が提示され得る例示的なGUIが示されている。一方、少なくともいくつかの実装形態では、カメラビュー400を、後にユーザが別の適切なコンピューティングデバイスを介して参照するか取り出すことができる画像または他の適切なデータフォーマットとして記憶することができる。したがって、モバイルデバイスで以前にキャプチャされたカメラビュー(たとえば、カメラビュー400)は後に、当該カメラビューにキャプチャされた現実世界の対象物のリアルタイムビューを当該カメラビューが表していなくても、拡張現実環境のオーサリングを可能にする目的で、非モバイル型コンピューティングプラットフォーム(たとえば、コンピューティングプラットフォーム122)に提示され得る。少なくともいくつかの実装形態では、ユーザが所望のメディアコンテンツアイテムを取得できるようにするために、グラフィカル制御要素420(たとえば、選択可能なグラフィカルボタンまたはアイコン)がGUIに提示され得る。
【００４１】
330において、動作320で取得されたメディアコンテンツアイテムの提示領域が、動作310で抽出された3次元特徴に関連して定義され得る。メディアコンテンツアイテムの提示領域は、拡張現実環境内のメディアコンテンツアイテムが提示される場所を定義する目的で、ユーザによって当該拡張現実環境に配置され得る。たとえば、図5も参照すると、3次元特徴410に関連してユーザによって提示領域510が定義されている例示的なGUIが示されている。少なくともいくつかの実装形態では、動作330は、コンテンツ配置ツール166を介して受信されたユーザ入力(たとえば、ユーザ選択)に応答して、コンテンツ管理モジュール164によって実行され得る。コンテンツ配置ツール166をモバイルデバイスユーザまたは別のコンピューティングプラットフォームのユーザが使用して、(たとえば、抽出特徴定義174として電子的に表される)抽出された3次元特徴に関連して提示領域を定義する提示領域定義180を作成することができる。
【００４２】
少なくともいくつかの実装形態では、メディアコンテンツアイテムの提示領域が、3次元特徴の少なくとも一部分に提示領域を添付することによって、かつ/または3次元特徴に関連して添付された提示領域の位置および/もしくは方位を変えることによって、3次元特徴に関連して定義され得る。少なくともいくつかの実装形態では、メディアコンテンツアイテムの提示領域が、モバイルデバイス(たとえば、モバイルデバイス120)または他の適切なコンピューティングプラットフォーム(たとえば、コンピューティングプラットフォーム122)で受信されたユーザ入力に応答して、3次元特徴の少なくとも一部分に添付され得る。そのようなユーザ入力は、モバイルデバイスにおいてユーザ入力デバイスを介して、たとえば、ユーザが物理的ボタンを押すことによって、またはモバイルデバイスのタッチセンシティブグラフィカルディスプレイに提示されたグラフィカルボタンもしくはアイコンを押すことによって受信され得る。非限定的な例として、ユーザはモバイルデバイスのタッチセンシティブグラフィカルディスプレイを介して提示されたGUIでタッチジェスチャーを利用して、提示領域を操作、移動および/またはサイズ変更することによって、3次元特徴に関連して当該提示領域の配置を定義することができる。別の例として、再び図5を参照すると、たとえば、3次元特徴410への提示領域510の添付を開始するために、グラフィカル制御要素420がユーザによって選択され得る。
【００４３】
少なくともいくつかの実装形態において、提示領域は、拡張現実環境内のメディアコンテンツアイテムが提示され得る提示面を含むことができる。たとえば、図5の提示領域510は、3次元特徴の建造物の戸口をほぼカバーするように定義されている提示面を含む。そのような実装形態では、たとえば、動作310で取得された3次元特徴の電子表示の少なくとも一部分に提示領域の提示面を関連付けることによって、3次元特徴の少なくとも一部分に提示領域が添付され得る。
【００４４】
たとえば、ユーザは、タッチスクリーンインターフェースまたは他の適切な入力デバイスで受信された1つまたは複数のユーザ入力を通じて、3次元特徴に関連して提示領域を操作することによって、たとえば、520で示されるように、3次元特徴のポイントまたは端に提示領域のポイントまたは端を関連付けることができる。ここでは、上述の特定の実装形態において、そのような3次元特徴は、そのようなタッチスクリーンインターフェースを介して提示されたカメラビューに示された現実世界の対象物を記述し得る。非限定的な例として、ユーザは、提示領域のポイント(たとえば、隅ポイント、中心ポイントなど)または端を選択し、(たとえば、対象認識技法の適用を通じて認識される)3次元特徴のポイントまたは端を選択して、3次元特徴のポイントまたは端に提示領域のポイントまたは端を関連付けることができる。別の例として、ユーザは提示領域のポイントまたは端を選択し、提示領域の選択されたポイントまたは端を3次元特徴のポイントまたは端にドラッグして、3次元特徴のポイントまたは端に提示領域の選択されたポイントまたは端を関連付けることができる。
【００４５】
いくつかの実装形態では、ユーザは、提示領域を選択し(たとえば、タッチスクリーンインターフェース上で押し)、しきい値時間期間にわたりその状態を維持して、3次元特徴に関連し得る提示領域のポイント、端または他の目立つ特徴を示すか強調する1つまたは複数のアイコンを呼び出すことができる。同様に、いくつかの実装形態では、ユーザは、3次元特徴を押し、しきい値時間期間にわたりその状態を維持して、提示領域に関連し得る3次元特徴のポイント、端または他の目立つ特徴を示すか強調する1つまたは複数のアイコンを呼び出すことができる。たとえば、コンテンツ管理モジュールは、ユーザのために提示領域および/または3次元特徴のそのようなポイント、端または他の目立つ特徴を強調して、ユーザがそのような強調された特徴から選択することを可能にするように適合し得る。ユーザが提示領域を3次元特徴に添付したことに応答して、コンテンツ管理モジュールは、当該提示領域の提示領域定義を更新して、3次元特徴の電子表示に関連して提示領域がどのように定義されるかを反映するように適合し得る。そのような例は非限定的であり、他の適切な手法を利用して、カメラビューから抽出された3次元特徴に提示領域を添付できることが諒解されよう。
【００４６】
いくつかの実装形態では、添付される提示領域はユーザによって、1つまたは複数の追加のユーザ入力に応答して、3次元特徴に関連して提示領域を平行移動、再配向またはサイズ変更することによって編集され得る。そのような追加のユーザ入力は、たとえば、モバイルデバイスのタッチセンシティブグラフィカルディスプレイを介して受信される1つまたは複数のタッチジェスチャーを含むことができる。たとえば、図6も参照すると、ベクトル620によって示されるタッチジェスチャーに応答して提示領域430が3次元特徴410に関連して異なる位置610に平行移動し得る例示的なGUIが示されている。そのようなタッチジェスチャーは、たとえば、ドラッグアンドドロップ動作として提示領域で受信され得る。他の例では、提示領域の回転を示す追加のユーザ入力に応答して、提示領域が3次元特徴に関連して回転し得る。
【００４７】
少なくともいくつかの実装形態では、3次元特徴に関連した提示領域の平行移動、回転および/またはサイズ変更によってユーザが提示領域を編集できるようにする情報層630において、タッチジェスチャーまたは他の適切なユーザ入力が受信され得る。情報層630は、任意の適切な数のグラフィカル制御要素を含むメニューを含むことができる。一例として、グラフィカル制御要素632および634をユーザが選択して、提示領域を現在位置の方へ、または現在位置から平行移動することができる。別の例として、グラフィカル制御要素636を選択して、第1の回転軸を中心に提示領域を回転させることができ、かつ/またはグラフィカル制御要素638を選択して、第1の軸とは異なる第2の回転軸を中心に提示領域を回転させることができる。このようにして、ユーザは、3次元空間における提示領域の位置および/または方位を変えることができる。
【００４８】
少なくともいくつかの実装形態では、ユーザがタッチジェスチャーまたは他の適切なユーザ入力を介して提示領域を選択したか押したことに応答して、情報層630のような情報層がユーザに提示され得る。一例として、ユーザは提示領域の編集モードに入ることができ、当該編集モードによって、ユーザが提示領域でタッチ入力を押し、しきい値時間期間(たとえば、1.0秒または他の適切な時間期間)にわたってその状態を維持したことに応答して、情報層630のような情報層が表示され得る。
【００４９】
図7も参照すると、ベクトル710によって示されるように、追加のユーザ入力に応答して、3次元特徴410に関連して提示領域430がサイズ変更され得る例示的なGUIが示されている。添付された提示面を編集するためのそのような追加のユーザ入力は、モバイルデバイスのユーザ入力デバイスを介して、たとえば、タッチセンシティブグラフィカルディスプレイまたは他の適切なユーザ入力デバイスを介して受信され得る。たとえば、ユーザは、モバイルデバイスのタッチセンシティブグラフィカルディスプレイに対して提示領域がレンダリングされる場所で提示領域をタッチし、提示領域の少なくとも一部分を異なる位置にドラッグしてその位置および/または方位を変えることによって、提示領域を編集することができる。
【００５０】
ユーザが提示領域を平行移動、回転またはサイズ変更によって編集したことに応答して、コンテンツ管理モジュールは、当該提示領域の提示領域定義を更新して、3次元特徴の電子表示に関連して提示領域が定義される方法の変化を反映するように適合し得る。非限定的な例として、3次元特徴の座標系に関連して測定される1つまたは複数のポイントによって提示領域が定義される場合、ユーザによるそのような編集は、1つまたは複数のユーザ入力によって示される量だけ、3次元特徴の座標系に関連して1つまたは複数のポイントをずらす(offset)ことができる。ユーザが望む位置および/または方位で提示領域をレンダリングできるように、そのような編集に応答してコンテンツ管理モジュール164によって提示領域定義の更新が実行され得る。
【００５１】
いくつかの実装形態では、コンテンツ配置ツール166は、3次元特徴に提示領域を添付するための部分的に自動化されたプロセスを採用することができる。たとえば、コンテンツ配置ツールは、現実世界の対象物における水平および垂直の特徴、端、隅などのいくつかの特徴を認識し、そのような現実世界の対象物との関係で提示面を配置する方法を示唆することができる。次いでユーザは、(たとえば、空間的観点を加えるために)3次元特徴に関連して提示面の位置および/または方位を編集することによって、提示面の最初の配置を調整することができる。次いでユーザは、たとえば、GUIのグラフィカル制御要素を選択することによって、タッチセンシティブグラフィカルディスプレイで特定のタッチジェスチャー(たとえば、ダブルタップ)を利用することによって、またはユーザ入力デバイスを介して追加入力を行うことによって、追加のユーザ入力に応答して3次元特徴に関連して提示面を所定位置に固定することができる。このようにして、拡張現実環境内に配置されるメディアコンテンツを調整して、当該拡張現実環境に存在する現実世界の対象物の特定の3次元特徴を適合させることができる。
【００５２】
いくつかの実装形態では、提示領域は複数の提示面を定義する3次元ボリュームを含むことができる。そのような3次元ボリュームを利用して、たとえば、グラフィカル要素、アニメーションなどを、拡張現実環境におけるそのような要素またはアニメーションの3次元表示として提示することができる。たとえば、提示領域は、メディアコンテンツが提示され得る規則的な3次元の形(たとえば、球、立方体など)または不規則な3次元の形(たとえば、人型ロボット、動物のキャラクター、家具、車両など)を含むことができる。提示面に関して前述したのと同様に、3次元ボリュームを含む提示領域の位置および方位が変わり得ることが諒解されよう。
【００５３】
340において、動作320で取得されたメディアコンテンツアイテムのアクティブ化領域が、動作310で抽出された3次元特徴に関連して定義され得る。ユーザ入力および/またはモバイルデバイスの推定位置に応答して、提示領域におけるメディアコンテンツアイテムの提示をどのようにして有効化および/または開始することができるかを定義する目的で、メディアコンテンツアイテムのアクティブ化領域がユーザによって拡張現実環境内に配置され得る。
【００５４】
たとえば、図8も参照すると、アクティブ化領域810が提示領域430に少なくとも部分的に重なるように、当該アクティブ化領域が3次元特徴410に関連して定義され得る例示的なGUIが示されている。この特定の例では、アクティブ化領域810は、選択可能なグラフィカルボタンまたはアイコンとして示されている。モバイルデバイスユーザは1つまたは複数のユーザ入力を利用して、たとえば、アクティブ化領域810を選択することによって、提示領域430におけるメディアコンテンツアイテムの提示を開始することができる。この特定の例では、アクティブ化領域810は、提示面に関して前述したように、3次元特徴410の電子表示に関連付けられ得るアクティブ化面を含むことができる。
【００５５】
別の例として、モバイルデバイスユーザがアクティブ化領域820内でモバイルデバイスを物理的に動かすことによって、提示面におけるメディアコンテンツアイテムの提示を有効化および/または開始できるように、アクティブ化領域820が3次元特徴410に関連して定義される。たとえば、アクティブ化領域820は、追加のユーザ入力を必要とすることなく、アクティブ化領域820内にモバイルデバイスが入ったときに、提示領域430におけるメディアコンテンツアイテムの提示を開始するように定義され得る。他の例では、アクティブ化領域820は、アクティブ化領域820内にモバイルデバイスが入ったときに、提示領域430におけるメディアコンテンツアイテムの提示を有効化するように定義され得る。メディアコンテンツの提示が有効化されると、ユーザはたとえば、アクティブ化領域810のような別のアクティブ化領域またはモバイルデバイスの任意の適切な入力デバイスでユーザ入力を提供することによってメディアコンテンツアイテムの提示を開始するように促され得る。
【００５６】
少なくともいくつかの実装形態では、提示領域を定義するための動作330で上述したプロセスと同様のプロセスを使用してアクティブ化領域が定義され得る。たとえば、メディアコンテンツアイテムのアクティブ化領域が、3次元特徴の少なくとも一部分にアクティブ化領域を添付することによって、かつ/または3次元特徴に関連して添付されたアクティブ化領域の位置および/もしくは方位を編集することによって、3次元特徴に関連して定義され得る。ユーザによるアクティブ化領域の添付および/または編集に応答して、コンテンツ管理モジュールは、当該アクティブ化領域のアクティブ化領域定義を更新して、3次元特徴の電子表示に関連して当該アクティブ化領域がどのように定義されるかを反映するように適合し得る。
【００５７】
少なくともいくつかの実装形態では、アクティブ化領域は、拡張現実環境内で提示され得るアクティブ化面を含むことができる。そのような実装形態では、たとえば、動作310で取得された3次元特徴の電子表示の少なくとも一部分にアクティブ化領域のアクティブ化面を関連付けることによって、3次元特徴の少なくとも一部分にアクティブ化領域が添付され得る。動作330で提示面の編集に関して前述したように、ユーザは添付されたアクティブ化領域の位置および/または方位を変えることもできる。
【００５８】
動作310、320、330および340について、モバイルデバイスの文脈において説明したが、そのような動作のうちの1つまたは複数は、モバイルデバイスとは別個のコンピューティングプラットフォーム(たとえば、コンピューティングプラットフォーム122)で実行できることが諒解されよう。そのような実装形態では、モバイルデバイスユーザは、モバイルデバイスで取得されたカメラビューを、動作310〜340のうちの1つまたは複数を実行するための異なるコンピューティングプラットフォームにアップロードできる。このようにして、拡張現実環境のオーサリングは、モバイルデバイスで実行される動作に必ずしも限定されず、他のコンピューティングプラットフォームにおいて少なくとも部分的に実行できる。
【００５９】
350において、動作330で定義された提示領域におけるメディアコンテンツアイテムの提示が、動作340で定義されたアクティブ化領域に関するユーザ入力および/またはモバイルデバイス推定位置に応答して有効化および/または開始され得る。所与のユーザに対するメディアコンテンツの提示が、当該メディアコンテンツアイテムに関連するアクセス権を条件とし得ることが諒解されよう。動作340に関して前述したように、モバイルデバイスがユーザによってアクティブ化領域内に運ばれたときに、メディアコンテンツの提示を有効化するようにアクティブ化領域は定義され得る。代替的に、モバイルデバイスがユーザによってアクティブ化領域内に運ばれたときに、さらなるユーザ入力を必要とすることなく、メディアコンテンツの提示を開始するようにアクティブ化領域は定義され得る。
【００６０】
さらに、動作350に関して、拡張現実環境内に配置される提示面および/またはアクティブ化面がモバイルデバイスのカメラビューに、当該カメラビューにキャプチャされた3次元特徴の認識に伴い提示され得る。たとえば、抽出特徴定義に関連する1つまたは複数のメディアコンテンツアイテム、提示領域および/またはアクティブ化領域をモバイルデバイスに提示する目的で、当該モバイルデバイスで取得された特定のカメラビューに対象認識技法を適用する間に、当該抽出特徴定義が特徴抽出モジュールによって参照され得る。
【００６１】
そのような対象認識技法は、どの抽出特徴定義が代表的なカメラビューに存在するか識別するために、代表的なカメラビューと1つまたは複数の抽出特徴定義との比較を再び伴い得る。そのような対象認識技法は通常、代表的なカメラビューにおける3次元特徴と抽出特徴定義との間の視点差異を修正するための基礎的な空間変換、たとえば、ホモグラフィー、アフィンなどの決定を含む。所与のカメラビューに関連する抽出特徴定義の識別に伴い、コンテンツ管理モジュールはデータベースから、そのようなデータベースがローカルにモバイルデバイスにあるか、リモートにサーバシステムまたは他のコンピューティングリソースにあるかを問わず、当該抽出特徴定義に関連する提示領域、アクティブ化領域、メディアコンテンツアイテムおよび他の情報を取り出すことができる。
【００６２】
少なくともいくつかの実装形態では、アクティブ化領域定義182はアクティブ化領域を定義することができ、モバイルデバイスが当該アクティブ化領域に入った場合に、関連メディアコンテンツアイテム178の提示が当該アクティブ化領域において開始または有効化され得る。たとえば、アクティブ化領域は物理的な現実世界環境における特定領域を定義することができ、モバイルデバイスの状態によって示されるように、ユーザが当該特定領域内にモバイルデバイスを運んだことに応答して、メディアコンテンツの提示が当該特定領域において開始される。たとえば、所与のアクティブ化領域に関連する所与のモバイルデバイスの位置および/または方位が、モバイルデバイス上で取得された測位信号および/または慣性センサ測定値から取得でき、それによって、モバイルデバイスの状態によって示される位置および/または方位に応答してメディアコンテンツの提示が開始され得ることが諒解されよう。
【００６３】
メディアコンテンツアイテムの提示が開始される場合、アクティブ化領域に関連するメディアコンテンツアイテムが、追加のユーザ入力を必要とすることなく、関連提示領域に提示され得る。対照的に、メディアコンテンツアイテムの提示が有効化される場合、アクティブ化領域に関連するメディアコンテンツアイテムが、たとえばGUIのグラフィカル制御要素で受信された追加のユーザ入力(タッチセンシティブグラフィカルディスプレイで受信されたタッチジェスチャー、または他の適切なユーザ入力デバイスを介して受信されたユーザ入力)に応答して提示され得る。
【００６４】
プロセス300のいくつかの実装形態では、アクティブ化領域が拡張現実環境から省略され得る。たとえば、図9は、カメラビュー400、および3次元特徴410によって定義される特定の戸口に入るように顧客を誘導するためのサインのグラフィカル表示(たとえば、画像)を提示している提示領域910を含む例示的なGUIを示している。したがって、この特定の実装形態では、提示領域910は、関連アクティブ化領域の参照なしにメディアコンテンツアイテムを提示することができる。このようにして、ユーザは、モバイルデバイスのカメラを現実世界の対象物に向け、GUIの情報層に提示されたグラフィカルコンテンツを観察することによって、拡張現実環境を探索することができる。たとえば、第2のモバイルデバイスにおけるメディアコンテンツアイテムの提示が、第2のモバイルデバイスのカメラビューが3次元特徴に添付された提示領域をキャプチャしているときに有効化または開始され得る。
【００６５】
いくつかの実装形態では、ローカルにモバイルデバイスに、またはリモートにサーバシステムに存在するコンテンツ管理モジュールは、モバイルデバイスの位置および/または方位の更新値を受信することができる。そのような実装形態では、ユーザによってモバイルデバイスを介して関連メディアコンテンツにアクセスされ得るアクティブ化領域内においてモバイルデバイスの位置が識別された場合、モバイルデバイスで通知が開始され得る。そのような通知は、モバイルデバイス上の触覚フィードバックデバイスを介したモバイルデバイスの振動、モバイルデバイスのオーディオ出力デバイスによって生成された音声、および/またはモバイルデバイスのグラフィカルディスプレイもしくは発光素子を介して提示される視覚インジケータを含むことができる。このようにして、ユーザは、モバイルデバイスを介してユーザによって探索することができる近くの拡張現実環境の存在について通知され得る。
【００６６】
上記の実装形態では、ユーザには、モバイルデバイスのカメラを介して取得されるカメラビュー(たとえば、リアルタイムカメラビュー)とともにグラフィカルディスプレイのGUIに情報層が提示され得る。所与のカメラビュー向けに提示される情報層は、カメラビューにキャプチャされた現実世界の対象物の電子表示に関連する提示領域および/またはアクティブ化領域によって定義され得る。そのような実装形態は同様に、関連ツアー定義によって定義される任意の適切な数の提示領域および/またはアクティブ化領域を含むガイド付きツアーに適用され得る。そのようなツアー定義は1人または複数のユーザによって、たとえば、同じモバイルデバイスもしくは他のコンピューティングプラットフォームを介して、または2つ以上の別個のモバイルデバイスおよび/もしくは他のコンピューティングプラットフォームを介してオーサリングされ得る。
【００６７】
たとえば、ユーザはガイド付きツアーをツアー作成ツール168を介して、拡張現実環境に配置される1つまたは複数のメディアコンテンツアイテム(たとえば、メディアコンテンツアイテム178)をツアー定義(たとえば、ツアー定義184)に関連付けることによってオーサリングできる。1人または複数の他のユーザも、ツアー作成ツール168を使用して1つまたは複数の他のメディアコンテンツアイテムをツアー定義(たとえば、ツアー定義184)に関連付けることによって、ガイド付きツアーのオーサリングに寄与することができる。したがって、いくつかの実装形態では、2人以上のユーザが共通のガイド付きツアーのオーサリングに寄与することができる。さらに、いくつかの実装形態では、ユーザは権利管理ツール170を利用して、所与のツアーに関する権利定義(たとえば、権利定義188)を、1人または複数の他のユーザが特定のガイド付きツアーのオーサリングに協力するように、または協力しないように定義することができる。たとえば、ユーザは、1人または複数の他のユーザが所与のガイド付きツアーの作成に協力しないようにし、一方で1人または複数の他のユーザに許可を与えることができる。
【００６８】
そのようなガイド付きツアーは、ツアーを作成したユーザによって、または当該ユーザよって関連権利定義(たとえば、権利定義188)を通じてアクセスを許可された他のユーザによって、モバイルデバイスのGUIを介して拡張現実環境内で探索され得る。たとえば、所与のツアーに関連する1つまたは複数のメディアコンテンツアイテムが、第2のユーザがモバイルデバイスのカメラビューを、第1のユーザによって当該ツアーの提示領域および/またはアクティブ化領域が添付されている現実世界の対象物に向けた場合に、第2のユーザに提示され得る。
【００６９】
少なくともいくつかの実装形態では、ツアー定義は、2つ以上の関連メディアコンテンツアイテムのユーザ定義順位リストを含むことができる。そのような実装形態では、メディアコンテンツアイテムは、順位リストによって定義された順位でガイド付きツアーに提示され得る。たとえば、ガイド付きツアーの使用により拡張現実環境を探索しているユーザは、モバイルデバイスのGUIを介して、ツアー定義の順位リストによって定義された順位でメディアコンテンツアイテムが提示される任意の適切な数の現実世界の場所を訪問するように促され得る。さらに、たとえば、図9の提示領域910に関して前述したように、視覚識別子としてそのようなメディアコンテンツアイテムの少なくともいくつかをユーザが配置できることが諒解されよう。そのような視覚識別子は、ツアー定義によって定義された特定のツアー経路に沿ってユーザを案内するためのサインまたは他の適切な識別子としての役割を果たし得る。このようにして、モバイルデバイスユーザは、それぞれのモバイルデバイスのカメラビューを補足する情報層を形成するグラフィカルコンテンツの支援を受けて、周囲の現実世界環境を探索することができる。
【００７０】
本明細書で説明される位置測定技術は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などのような様々なワイヤレス通信ネットワークとともに実装され得る。「ネットワーク」および「システム」という用語はしばしば、互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワークなどであり得る。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などのような、1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95、IS-2000、およびIS-856規格を含む。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書で説明される。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書で説明される。3GPPおよび3GPP2の文書は、公に利用可能である。WLANは、IEEE 802.11xネットワークでもよく、WPANはBluetooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークでもよい。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実装され得る。
【００７１】
本明細書で説明する方法は、特定の適用例に応じて様々な方法で、かつ様々な構成により実施できる。たとえば、そのような方法は、ソフトウェアとともに、ハードウェア、ファームウェア、および/またはこれらの組合せで実施され得る。ハードウェア実装では、たとえば、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するように設計された他のデバイスユニット、および/またはこれらの組合せの中で実装され得る。
【００７２】
本明細書で説明する記憶媒体は、一次、二次および/または三次記憶媒体を含むことができる。一次記憶媒体は、たとえばランダムアクセスメモリおよび/または読取り専用メモリなどのメモリを含むことができる。二次記憶媒体は、磁気またはソリッドステートハードドライブなどの大容量記憶装置を含むことができる。三次記憶媒体は、磁気または光ディスク、磁気テープ、ソリッドステート記憶デバイスなどのようなリムーバブル記憶媒体を含むことができる。いくつかの実装形態では、記憶媒体またはその部分は、プロセッサのようなコンピューティングプラットフォームの他の構成要素を動作可能に受容するか、または場合によってはそれに結合するように構成され得る。
【００７３】
少なくともいくつかの実装形態では、本明細書で説明する記憶媒体の1つまたは複数の部分は、記憶媒体の特定の状態によって表現されるようにデータおよび/または情報を表す信号を記憶することができる。たとえば、データおよび/または情報を表す電子信号は、バイナリ情報(たとえば、1および0)としてデータおよび/または情報を表すように記憶媒体(たとえばメモリ)の一部の状態に影響を与えることによって、またはかかる状態を変化させることによって、記憶媒体のそのような一部に「記憶」され得る。したがって、特定の実装形態では、データおよび/または情報を表す信号を記憶するために記憶媒体の一部の状態を変化させることは、記憶媒体を異なる状態または物に変換することを意味する。
【００７４】
上述の詳細な説明において、多くの具体的な詳細が、特許請求する主題の完全な理解をもたらすために説明されてきた。しかし、特許請求する主題は、これらの具体的な詳細がなくても実行され得ることが、当業者には理解されよう。他の例では、当業者には既知であろう方法および装置は、特許請求する主題を不明瞭にしないために、詳細には説明されていない。
【００７５】
上述の詳細な説明のいくつかの部分は、特定の装置または専用のコンピューティングデバイスまたはプラットフォームのメモリに記憶される、バイナリのデジタル電子信号上の、操作のアルゴリズムまたは記号による表現の形で提示されてきた。この特定の明細書の文脈において、「特定の装置」などの用語は、プログラムソフトウェアからの命令に従って特定の機能を実行するように汎用コンピュータがプログラムされた場合、そのような汎用コンピュータを含む。アルゴリズム記述または記号表現は、当業者が作業内容を他の当業者に伝えるために、信号処理または関連技術において使用する技法の例である。アルゴリズムは本明細書に存在し、一般に、操作または所望の結果に導く同様の信号処理の自己矛盾のない順番であると考えられる。この文脈において、操作または処理は、物理量の物理的な操作を含む。通常、必須ではないが、そのような物理量は、情報を表す電子信号として、記憶され、送信され、組み合わされ、比較され、または場合によっては操作され得る、電気信号または磁気信号の形態であり得る。場合によっては、主に一般に用いられているという理由で、そのような信号を、ビット、データ、値、要素、記号、文字、語、数字、番号、情報などとして言及することが便利であることがわかっている。しかし、これらの用語または同様の用語のすべてが、適切な物理量と関連付けられるべきであり、便宜的な呼び方にすぎないことを、理解されたい。
【００７６】
別段に明記されていない限り、以下の説明から明らかなように、本明細書全体にわたって、「処理する」、「算出する」、「計算する」、「識別する」、「判断する」、「確立する」、「取得する」などの用語を利用する説明は、専用コンピュータまたは同様の専用電子コンピューティングデバイスなど、特定の装置の動作またはプロセスを指すことを諒解されたい。したがって、本明細書の文脈において、専用のコンピュータまたは同様の専用の電子コンピューティングデバイスは、メモリ、レジスタ、または他の情報記憶デバイス、伝送デバイス、または、専用のコンピュータもしくは同様の専用の電子コンピューティングデバイスの表示デバイスの中に、通常は物理的で電子的な量または磁気的な量として表される信号を、操作または変換することができる。この特定の特許出願の文脈において、「特定の装置」という用語は、汎用コンピュータがプログラムソフトウェアからの命令に従って特定の機能を実行するようにプログラムされた場合、そのような汎用コンピュータを含むことができる。
【００７７】
本明細書を通じて「一例」、「例」、「いくつかの例」または「例示的な実装形態」への言及は、特徴および/または例に関して説明する特定の特徴、構造物または特性が、特許請求する主題の少なくとも1つの特徴および/または例に含まれ得ることを意味する。したがって、本明細書の様々な場所における「一例では」、「例」、「いくつかの例では」もしくは「いくつかの実装形態では」という語句または他の同様の語句の出現は、同じ特徴、例および/または限定にすべて言及しているとは限らない。さらに、特定の特徴、構造物または特性は、1つまたは複数の例および/または特徴に合成されることがある。
【００７８】
例示的な特徴であると現在考えられるものを例示し説明したが、請求する主題から逸脱することなく、様々な他の修正を行うことができ、等価物で置換され得ることが、当業者には理解されよう。加えて、特許請求する主題の教示に具体的な状況を適合させるために、本明細書で説明される中心的な概念から逸脱することなく、多くの修正が行われ得る。したがって、特許請求する主題は、開示される特定の例に限定されず、また、そのような特許請求する主題は添付の特許請求の範囲内にあるすべての態様およびその同等物を含み得ることが意図されている。
【符号の説明】
【００７９】
100  ネットワーク環境
110  サーバシステム
112  記憶媒体
114  データベース
116  命令
118  プロセッサ
120  モバイルデバイス
122  コンピューティングプラットフォーム
130  モバイルデバイス
140  ネットワーク
150  測位システム
160  通信インターフェース
162  特徴抽出モジュール
164  コンテンツ管理モジュール
166  コンテンツ配置ツール
168  ツアー作成ツール
170  権利管理ツール
174  抽出特徴定義
176  関連アイテム、関連コンテンツアイテム
178  メディアコンテンツアイテム
180  提示領域定義
182  アクティブ化領域定義
184  ツアー定義
186  メタデータ
188  権利定義
190  デバイス状態データ
192  特徴ライブラリ
194  既存の電子表示
200  モバイルデバイス
210  記憶媒体
212  データベース
214  命令
216  プロセッサ
218  入力デバイス
220  カメラ
221  出力デバイス
222  グラフィカルディスプレイ
224  グラフィカルユーザインターフェース(GUI)
226  オーディオスピーカー
228  通信インターフェース
230  受信機
232  慣性センサ
234  カメラビュー
236  情報層
238  レンダリングされたメディアコンテンツアイテム
240  グラフィカル制御要素
254  レンダリングモジュール
256  デバイス状態モジュール
300  プロセス
400  カメラビュー
410  3次元特徴
420  グラフィカル制御要素
430  提示領域
510  提示領域
610  異なる位置
620  ベクトル
630  情報層
632  グラフィカル制御要素
634  グラフィカル制御要素
636  グラフィカル制御要素
638  グラフィカル制御要素
710  ベクトル
810  アクティブ化領域
820  アクティブ化領域
910  提示領域
【図１】
2013538377.tif 000003
【図２】
2013538377.tif 000004
【図３】
2013538377.tif 000005
【図４】
2013538377.tif 000006
【図５】
2013538377.tif 000007
【図６】
2013538377.tif 000008
【図７】
2013538377.tif 000009
【図８】
2013538377.tif 000010
【図９】
2013538377.tif 000011
【国際調査報告】
2013538377.tif 000012
2013538377.tif 000013
2013538377.tif 000014