(57)【要約】サーバは、１つ以上の装置のアプリケーションから、分析データを受信し分析する。アプリケーションは、コンテンツジェネレータに対応する。サーバは、分析データの分析に基づき、コンテンツジェネレータを使用して、可視化コンテンツデータセットを生成する。可視化コンテンツデータセットは、１セットの画像及び、これに加えて、１つ以上の装置を用いて取り込まれ、セットの画像の中で認識された物理オブジェクトの画像と係合するべき、対応する分析仮想オブジェクトモデルを含む。分析データ及び可視化コンテンツデータセットは、サーバの記憶装置に格納されてもよい。【選択図】図２
2016514865.tif 000002
【特許請求の範囲】
【請求項１】
分析計算モジュール及びコンテンツジェネレータを含むプロセッサであって、
前記分析計算モジュールは、１つ以上の装置のアプリケーションから分析データを受信及び分析するように構成され、前記アプリケーションは前記コンテンツジェネレータに対応し、
前記コンテンツジェネレータは、前記分析データの分析に基づいて、可視化コンテンツデータセットを生成するように構成され、前記可視化コンテンツデータセットは、１セットの画像と、前記１つ以上の装置で取り込まれ、前記セットの画像の中で認識された物理オブジェクトの画像と係合するべき、対応する分析仮想オブジェクトモデルと、を含むプロセッサと、
前記分析データ及び前記可視化コンテンツデータセットを格納するように構成された記憶装置と、
を有するサーバ。
【請求項２】
前記コンテンツジェネレータは、前記物理オブジェクトに対する前記装置の位置に基づいて、装置のディスプレイに描画されるべき分析仮想オブジェクトモデルを生成するように構成され、前記仮想オブジェクトの可視化は、前記装置で取り込まれた前記物理オブジェクトの前記認識された画像と係合する、前記分析仮想オブジェクトモデルに対応し、前記仮想オブジェクトは前記画像に対応する、
請求項１に記載のサーバ。
【請求項３】
前記分析計算モデルは、装置を用いて取り込まれた前記物理オブジェクトに対する前記装置の姿勢推定、前記装置を用いて取り込まれた前記物理オブジェクトに対する前記装置の姿勢持続期間、前記装置を用いて取り込まれた前記物理オブジェクトに対する前記装置の姿勢方位、及び前記装置を用いて取り込まれた前記物理オブジェクトに対する前記装置の姿勢相互作用を分析するように構成される、
請求項１に記載のサーバ。
【請求項４】
前記姿勢推定は、前記装置が狙いをつけた前記物理又は仮想オブジェクト上の位置を含み、
前記姿勢持続期間は、１つの時間持続期間を含み、この時間持続期間の中で、前記装置は前記物理又は仮想オブジェクト上の同じ位置に狙いをつけ、
前記姿勢方位は、前記物理又は仮想オブジェクトに狙いをつける前記装置の方位を含み、及び、
前記姿勢相互作用は、前記物理オブジェクトに対応する前記仮想オブジェクトに関して、前記装置に対する前記ユーザの相互作用を含む、
請求項３に記載のサーバ。
【請求項５】
前記コンテンツジェネレータは、複数の装置からの前記姿勢推定、前記姿勢持続期間、前記姿勢方位、及び前記姿勢相互作用に基づいて、複数の装置に対する前記可視化コンテンツデータセットを生成するように構成される
請求項４に記載のサーバ。
【請求項６】
前記コンテンツジェネレータは、前記装置からの前記姿勢推定、前記姿勢持続期間、前記姿勢方位、及び前記姿勢相互作用に基づいて、前記装置に対する前記可視化コンテンツデータセットを生成するように構成される、
請求項４に記載のサーバ。
【請求項７】
前記記憶装置は、１次コンテンツデータセット及び文脈的コンテンツデータセットを格納するように構成され、前記１次コンテンツデータセットは、第１セットの画像及び対応する分析仮想オブジェクトモデルを含み、前記文脈的コンテンツデータセットは、第２セットの画像及び対応する分析仮想オブジェクトモデルを含む、
請求項１に記載のサーバ。
【請求項８】
前記コンテンツジェネレータは、前記装置から受信され、取り込まれた画像が、前記１次コンテンツデータセットにおいて認識されないと判断し、前記装置に対する前記文脈的コンテンツデータセットを生成するように構成される、
請求項１に記載のサーバ。
【請求項９】
前記分析データは前記装置の使用条件を含む、
請求項１に記載のサーバ。
【請求項１０】
前記装置の前記使用条件は、前記装置のユーザのソーシャル情報、及び前記アプリケーションを用いた前記装置の、位置使用情報及び時間情報を含む、
請求項９に記載のサーバ。
【請求項１１】
１つ以上の装置のアプリケーションから分析データを受信して分析するステップであって、前記アプリケーションはコンテンツジェネレータに対応する、ステップと、
前記分析データの分析に基づき、サーバのプロセッサによって履行されるコンテンツジェネレータを使用して、可視化コンテンツデータセットを生成するステップであって、前記可視化コンテンツデータセットは、１セットの画像と、１つ以上の装置で取り込まれ、前記セットの画像の中で認識された物理オブジェクトの画像と係合するべき、対応する分析仮想オブジェクトモデルと、を含む、ステップと、
前記分析データ及び前記可視化コンテンツデータセットを、前記サーバの記憶装置に格納するステップと、
を有する、コンピュータ実装方法。
【請求項１２】
前記物理オブジェクトに対する前記装置の位置に基づいて、装置のディスプレイに描画されるべき、分析仮想オブジェクトモデルを生成するステップを更に含み、前記仮想オブジェクトの可視化は、前記装置で取り込まれた物理オブジェクトの、認識された画像と係合する前記分析仮想オブジェクトモデルに対応し、前記仮想オブジェクトは前記画像に対応する、
請求項１１に記載のコンピュータ実装方法。
【請求項１３】
前記装置で取り込まれた前記物理又は仮想オブジェクトに対する装置の姿勢推定、前記装置で取り込まれた前記物理又は仮想オブジェクトに対する前記装置の姿勢持続期間、前記装置で取り込まれた前記物理又は仮想オブジェクトに対する前記装置の姿勢方位、及び前記装置で取り込まれた前記物理オブジェクトに対する前記装置の姿勢相互作用を分析するステップを更に有する、
請求項１１に記載のコンピュータ実装方法。
【請求項１４】
前記姿勢推定は、前記装置が狙いをつける前記物理又は仮想オブジェクト上の位置を含み、
前記姿勢持続期間は、１つの時間持続期間を含み、この時間持続期間の中で、前記装置は、前記物理又は仮想オブジェクト上の同じ位置に狙いをつけ、
前記姿勢方位は、前記物理又は仮想オブジェクトに狙いをつける前記装置の方位を含み、及び、
前記姿勢相互作用は、前記物理オブジェクトに対応する前記仮想オブジェクトに関して、前記装置の前記ユーザの相互作用を含む、
請求項１３に記載のコンピュータ実装方法。
【請求項１５】
複数の装置からの前記姿勢推定、前記姿勢持続期間、前記姿勢方位、及び前記姿勢相互作用に基づいて、複数の装置に対する前記可視化コンテンツデータセットを生成するステップを更に含む、
請求項１４に記載のコンピュータ実装方法。
【請求項１６】
１つの装置からの前記姿勢推定、前記姿勢持続期間、前記姿勢方位、及び前記姿勢相互作用に基づいて、前記装置に対する前記可視化コンテンツデータセットを生成するステップを更に含む、
請求項１４に記載のコンピュータ実装方法。
【請求項１７】
前記サーバの前記記憶装置に、１次コンテンツデータセット及び文脈的コンテンツデータセットを格納するステップを更に含み、前記１次コンテンツデータセットは、第１セットの画像及び対応する分析仮想オブジェクトモデルを含み、前記文脈的コンテンツデータセットは、第２セットの画像及び対応する分析仮想オブジェクトモデルを含む、
請求項１１に記載のコンピュータ実装方法。
【請求項１８】
前記装置から受信され、取り込まれた前記画像が、前記１次コンテンツデータセットにおいて認識されないと判断するステップと、
前記装置に対して前記文脈的コンテンツデータセットを生成するステップと、
を更に含む、
請求項１１に記載のコンピュータ実装方法。
【請求項１９】
前記分析データは前記装置の使用条件を含み、前記装置の前記使用条件は、前記装置のユーザのソーシャル情報、前記アプリケーションを用いた前記装置の、位置使用情報及び時間情報を含む、
請求項１１に記載のコンピュータ実装方法。
【請求項２０】
命令を含む非一時的マシン可読な媒体であって、マシンの１つ以上のプロセッサによって実行される場合、
前記１つ以上の装置のアプリケーションから分析データを受信して分析し、前記アプリケーションはコンテンツジェネレータに対応し、
前記分析データの分析に基づき、サーバのプロセッサによって履行される前記コンテンツジェネレータを使用して、可視化コンテンツデータセットを生成し、前記可視化コンテンツデータセットは、１セットの画像と、前記１つ以上の装置を用いて取り込まれ、前記セットの画像の中で認識された物理オブジェクトの画像と係合するべき、対応する分析仮想オブジェクトモデルとを含み、
前記分析データ及び前記可視化コンテンツデータセットを、前記サーバの記憶装置に格納すること、を含む動作を前記マシンに実行させる
命令を含む非一時的マシン可読な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
優先出願
本願は、２０１３年３月１５日に申請された米国特許出願第１３／８４０，３５９号の利益を主張し、この特許出願は、参照によりその全体を本明細書に援用する。
【０００２】
本明細書に開示される主題は、一般に、データ処理に関する。具体的には、本開示は、現実世界の分析可視化のためのシステム及び方法を扱う。
【背景技術】
【０００３】
装置を用いて取り込まれた画像に加えて、データを生成し表示することが可能な装置がある。例えば、拡張現実感（ＡＲ）は、生の、直接的又は間接的な、物理的現実世界環境の視野であり、物理的現実世界環境の要素が、音、ビデオ、グラフィック、又はＧＰＳデータのような、コンピュータで生成された知覚入力によって拡張される。高度なＡＲ技術（例えば、コンピュータビジョン及び物体認識を追加する）の支援によって、ユーザの周囲の現実世界についての情報は相互作用的になる。環境及びそのオブジェクトについての、装置によって生成された（例えば、人工的な）情報は、現実世界の上に被せることが可能である。
【図面の簡単な説明】
【０００４】
幾つかの実施形態は、例として示されており、添付図の図面には限定されない。
【０００５】
【図１】図１は、幾つかの実施例による、現実世界の分析可視化サーバを動作させるのに適切なネットワークの例を示すブロック図である。
【図２】図２は、幾つかの実施例による、装置のモジュール（例えば、構成要素）を示すブロック図である。
【図３】図３は、幾つかの実施例による、文脈的ローカル画像認識モジュールのモジュール（例えば、構成要素）を示すブロック図である。
【図４】図４は、幾つかの実施例による、分析追跡モジュールのモジュール（例えば、構成要素）を示すブロック図である。
【図５】図５は、幾つかの実施例による、サーバのモジュール（例えば、構成要素）を示すブロック図である。
【図６】図６は、幾つかの実施例による、本装置の文脈的ローカル画像認識モジュールの動作を示すラダー図である。
【図７】図７は、幾つかの実施例による、現実世界の分析可視化サーバの動作を示すラダー図である。
【図８】図８は、幾つかの実施例による、本装置の文脈的ローカル画像認識データセットモジュールの動作例を示すフローチャートである。
【図９】図９は、幾つかの実施例による、本装置の文脈的ローカル画像認識データセットモジュールの別の動作例を示すフローチャートである。
【図１０】図１０は、幾つかの実施例による、本装置での現実世界の分析可視化の別の動作例を示すフローチャートである。
【図１１】図１１は、幾つかの実施例による、サーバでの現実世界の分析可視化の別の動作例を示すフローチャートである。
【図１２】図１２は、幾つかの実施例による、マシンの構成要素を示すブロック図であり、このマシンは、マシン可読な媒体から命令を読み取り、本明細書で議論される任意の１つ以上の方法論を実施することが可能である。
【発明を実施するための形態】
【０００６】
方法及びシステムの例は、現実世界の分析可視化に向けられる。本例は、可能な変形例を単に代表するだけである。明確に断らない限り、構成要素及び機能は、選択自由であり、結合又は細分化されてもよく、動作は、順序が変化しても、結合又は細分化されてもよい。次の記述には、説明のために、多くの具体的詳細が、実施例の十分な理解のために明記されている。しかしながら、本主題は、これらの具体的詳細がなくても実施可能であることは、当業者にとって明白であろう。
【０００７】
サーバは、１つ以上の装置の拡張現実感アプリケーションから、分析データを受信すると共に分析する。消費的なアプリケーションは、体験ジェネレータに対応する。サーバは、分析データの分析に基づき、体験ジェネレータを使用して、可視化コンテンツデータセットを生成する。可視化コンテンツデータセットは、１セットの画像及び、これに加えて、１つ以上の装置を用いて取り込まれ、そのセットの画像の中で認識された物理オブジェクトの画像に被せられるべき、対応する分析仮想オブジェクトモデルを有する。分析データ及び可視化コンテンツデータセットは、サーバの記憶装置に格納されてもよい。
【０００８】
拡張現実感アプリケーションは、ユーザが、装置のカメラによって取り込まれた物理オブジェクトの写真上に被せられた三次元仮想オブジェクトのような形態で、情報を体験することを可能にする。物理オブジェクトは、拡張現実感アプリケーションが識別できる視覚基準を含んでもよい。物理オブジェクトの画像に被せられる又は係合される三次元仮想オブジェクトなど、追加情報の可視化は、本装置のディスプレイの中で生成される。三次元仮想オブジェクトは、認識された視覚基準に基づいて選択されてもよい。三次元仮想オブジェクトの可視化の描画は、視覚基準に対するディスプレイの位置に基づいてもよい。
【０００９】
本装置における文脈的ローカル画像認識モジュールは、サーバから１次コンテンツデータセットを取得する。１次コンテンツデータセットは、第１セットの画像及び対応する三次元分析仮想オブジェクトモデルを含む。例えば、第１セットの画像は、本装置のユーザが本装置で取り込みそうな、最も一般的な画像を含んでもよい。文脈的コンテンツデータセットは、第２セットの画像及びサーバから取得した対応する三次元分析仮想オブジェクトモデルを含む。文脈的ローカル画像認識モジュールは、本装置で取り込まれた画像に基づいて、文脈的コンテンツデータセットを生成及び更新する。本装置の記憶装置は、１次コンテンツデータセット及び文脈的コンテンツデータセットを格納する。
【００１０】
図１は、幾つかの実施例による、装置の拡張現実感アプリケーションを動作させるのに適したネットワーク環境１００を示すネットワーク図である。ネットワーク環境１００は、装置１０１及びサーバ１１０を含み、これらは、ネットワーク１０８を介して、互いに通信可能に接続されている。装置１０１及びサーバ１１０は、図７に関して以下で説明されるように、各々がコンピュータシステムの中に、全体的に又は部分的に履行されてよい。
【００１１】
サーバ１１０は、ネットワークベースのシステムの一部であってもよい。例えば、ネットワークベースのシステムは、三次元モジュールのような追加情報を装置１０１に提供するクラウドベースのサーバシステムであるか、又は、そのクラウドベースのサーバシステムを含むものであってよい。
【００１２】
図１は、装置１０１を使用するユーザ１０２を示す。ユーザ１０２は、人のユーザ（例えば、人間）、マシンユーザ（例えば、ソフトウェアプログラムによって、装置１０１と相互作用するように構成されたコンピュータ）、又は、これらの適切な任意の組み合わせ（例えば、マシンによってアシストされた人、又は、人によって監督されたマシン）であってもよい。ユーザ１０２は、ネットワーク環境１００の一部ではなく、装置１０１に関連付けられている、装置１０１のユーザ１０２であってもよい。例えば、装置１０１はデスクトップコンピュータ、車載コンピュータ、タブレットコンピュータ、ナビゲーション装置、ポータブルメディア装置、又はユーザ１０２に属するスマートフォンであってもよい。
【００１３】
ユーザ１０２は、装置１０１の中のアプリケーションのユーザであってもよい。アプリケーションは、二次元の物理オブジェクト１０４（例えば、写真）、又は、三次元物理オブジェクト１０６（例えば、像）のような物理オブジェクトによってもたらされる体験を、ユーザ１０２に提供するように構成された拡張現実感アプリケーションを含んでもよい。例えば、ユーザ１０２は、二次元物理オブジェクト１０４の画像を取り込むために、装置１０１のカメラを向けてよい。画像は、装置１０１の拡張現実感アプリケーションのローカル文脈認識データセットモジュールを使用して、装置１０１の中のローカルで認識される。それから、拡張現実感アプリケーションは、画像に対応する追加情報（例えば、三次元モデル）を生成し、画像の認識に応じて、装置１０１のディスプレイにこの追加情報を提示する。もし取り込まれた画像が装置１０１の中のローカルで認識されない場合、装置１０１は、ネットワーク１０８を通じてサーバ１１０のデータベースから、取り込まれた画像に対応する追加情報（例えば、三次元モデル）をダウンロードする。
【００１４】
装置１０１は、分析データを取り込み、使用に関する更なる分析のために、及び、ユーザ１０２が物理オブジェクトと如何にして相互作用しているかに関する更なる分析のために、該分析データをサーバ１１０に提出してもよい。例えば、ユーザ１０２が注視した物理又は仮想オブジェクト上の位置は何か（例えば、特徴又は特性）、ユーザ１０２が物理又は仮想オブジェクト上の各位置をどれくらい長く注視したか、物理又は仮想オブジェクトを注視する場合、ユーザ１０２は装置１０１をどのように保持したか、ユーザ１０２が仮想オブジェクトのどの特性と相互作用したか（例えば、ユーザ１０２が仮想オブジェクトにおけるリンクをタップしたかどうか、のような）、及びこれらの適切な任意の組み合わせを、分析データは、追跡してもよい。装置１０１は、分析データに関連する可視化コンテンツデータセット２２２を受信する。装置１０１は、その後、可視化コンテンツデータセット２２２に基づいて、追加的特性若しくは可視化特性、又は新しい体験を有する仮想オブジェクトを生成する。
【００１５】
図１に示されたマシン、データベース、又は装置のいずれかは、本明細書で述べるそのマシン、データベース、又は装置に関する１つ以上の機能を実行するための特殊目的のコンピュータとなるようにソフトウェアによって変更された（例えば、構成又はプログラムされた）汎用コンピュータに履行されてよい。例えば、本明細書で述べる、任意の１つ以上の方法を履行可能なコンピュータシステムは、図１２に関して、以下のように説明される。本明細書で使用されるものとして、「データベース」は、データ記憶リソースであり、テキストファイル、表、スプレッドシート、リレーショナルデータベース（例えば、オブジェクト−リレーショナルデータベース）、トリプルストア、階層データストア、又はこれらの適切な任意の組み合わせのような、構造化されたデータを格納してもよい。さらに、図１に示されたマシン、データベース、又は装置の内の任意の２つ以上は、単一のマシンに結合されてもよく、任意の単一のマシン、データベース又は装置に関する本明細書で述べる機能は、複数のマシン、データベース、又は装置の中で細分化されてもよい。
【００１６】
ネットワーク１０８は、マシン（例えば、サーバ１１０）、データベース及び装置（例えば、装置１０１）の間、又は、これらの中における通信を可能にする任意のネットワークであってよい。従って、ネットワーク１０８は、有線ネットワーク、無線ネットワーク（例えば、モバイルネットワーク又はセルラーネットワーク）、又はこれらの適切な任意の組み合わせであってよい。ネットワーク１０８は、プライベートネットワーク、パブリックネットワーク（例えば、インターネット）、又はこれらの適切な任意の組み合わせを構成する、１つ以上の部分を含んでよい。
【００１７】
図２は、幾つかの実施例による、本装置１０１のモジュール（例えば、構成要素）を示すブロック図である。装置１０１は、センサ２０２と、ディスプレイ２０４と、プロセッサ２０６と、記憶装置２１６と、を含んでよい。例えば、装置１０１は、デスクトップコンピュータ、車載コンピュータ、タブレットコンピュータ、ナビゲーション装置、ポータブルメディア装置、又はユーザのスマートフォンであってよい。ユーザは、人のユーザ（例えば、人間）、マシンユーザ（例えば、ソフトウェアプログラムによって、装置１０１と相互作用するように構成されたコンピュータ）、又はこれらの適切な任意の組み合わせ（例えば、マシンによってアシストされた人、又は人によって監督されたマシン）であってよい。
【００１８】
センサ２０２は、例えば、近接センサ、光学センサ（例えば、カメラ)、方位センサ（例えば、ジャイロスコープ）、オーディオセンサ（例えば、マイクロフォン）、又はこれらの適切な任意の組み合わせを含んでよい。例えば、センサ２０２は、装置１０１の中に、背面カメラ及び前面カメラを含んでもよい。本明細書で述べるセンサは、例示目的としてのものであり、センサ２０２は、説明されるものに限定されないことに注意すべきである。
【００１９】
ディスプレイ２０４は、例えば、タッチスクリーンディスプレイ上の接触を介して、ユーザ入力を受け入れるように構成された、タッチスクリーンディスプレイを含んでもよい。別の例では、ディスプレイ２０４は、プロセッサ２０６によって生成された画像を表示するように構成されたスクリーン又はモニタを含んでもよい。
【００２０】
プロセッサ２０６は、文脈的ローカル画像認識モジュール２０８と、拡張現実感アプリケーション２０９のような消費的なアプリケーションと、分析追跡モジュール２１８とを含んでもよい。
【００２１】
拡張現実感アプリケーション２０９は、装置１０１のディスプレイ２０４の中で、装置１０１のカメラによって取り込まれた物理オブジェクトの画像上に被せられる（例えば、重ね合わせられる、又は、協調して別の方法で表示される）三次元仮想オブジェクトの可視化を生成してもよい。三次元仮想オブジェクトの可視化は、装置１０１のカメラに対する物理オブジェクトの位置（例えば、その物理的場所、方位、又はその両方）を調節することによって操作されてよい。同様に、三次元仮想オブジェクトの可視化は、物理オブジェクトに対する装置１０１の位置カメラを調節することによって操作されてもよい。
【００２２】
一実施形態において、拡張現実感アプリケーション２０９は、取り込まれた画像に関連付けられた仮想オブジェクト（例えば、取り込まれた画像に対応する仮想オブジェクト）の三次元モデルを取得するために、装置１０１の中の文脈的ローカル画像認識モジュール２０８と通信する。例えば、取り込まれた画像は、識別可能な画像、記号、文字、数、マシン可読なコードから構成される視覚基準（マーカーとも呼ばれる）を含んでもよい。例えば、視覚基準は、バーコード、クイックレスポンス（ＱＲ）コード（登録商標）、又は、三次元仮想オブジェクト（例えば、三次元仮想オブジェクトに対応するように以前に決定された画像）に以前に関連付けられた画像を含んでもよい。
【００２３】
文脈的ローカル画像認識モジュール２０８は、取り込まれた画像が、装置１０１における画像及び対応する追加情報（例えば、三次元モデル及び相互作用的特性）のローカルデータベースにローカルに格納されている画像とマッチするかどうかを判断するように構成されてもよい。一実施形態において、文脈的ローカル画像認識モジュール２０８は、１次コンテンツデータセットをサーバ１１０から取得し、装置１０１で取り込まれた画像に基づいて、文脈的コンテンツデータセットを生成及び更新する。
【００２４】
分析追跡モジュール２１８は、ユーザ１０２が物理オブジェクトに如何に関わるかに関連する分析データを追跡してもよい。例えば、ユーザ１０２が注視した物理又は仮想オブジェクト上の位置、物理又は仮想オブジェクト上の各位置をユーザ１０２がどれくらい長く注視したか、物理又は仮想オブジェクトを注視する場合、ユーザ１０２が装置１０１をどのように保持したか、ユーザ１０２が仮想オブジェクトのどの特性と相互作用したか（例えば、ユーザが仮想オブジェクトにおけるリンクをタップしたかどうか、のような）、及びこれらの適切な任意の組み合わせを、分析追跡モジュール２１８は、追跡してもよい。
【００２５】
記憶装置２１６は、視覚基準（例えば、画像）及び対応する体験（例えば、三次元仮想オブジェクト、三次元仮想オブジェクトの相互作用的特性）のデータベースを格納するように構成されてもよい。例えば、視覚基準は、マシン可読なコード、又は、以前に識別された画像（例えば、靴の写真）を含んでもよい。以前に識別された靴の画像は、靴の写真に対する装置１０１の位置を操作することによって、異なる角度から眺めることが可能な靴の三次元仮想モデルに装置してもよい。三次元仮想靴の特性は、靴の三次元仮想モデル上に選択可能なアイコンを含んでもよい。アイコンは、装置１０１上でタップ又は移動することによって、選択又はアクティブ化されてよい。
【００２６】
一実施形態において、記憶装置２１６は、１次コンテンツデータセット２１０と、文脈的コンテンツデータセット２１２と、可視化コンテンツデータセット２２２と、分析データセット２２０とを含む。
【００２７】
１次コンテンツデータセット２１０は、例えば、第１セットの画像及び対応する体験（例えば、三次元仮想オブジェクトモデルとの相互作用）を含む。例えば、画像は、１つ以上の仮想オブジェクトモデルに関連付けられてもよい。１次コンテンツデータセット２１０は、中核セットの画像、又はサーバ１１０によって決定された最も一般的な画像を含んでもよい。中核セットの画像は、サーバ１１０によって識別された、限られた数の画像を含んでもよい。例えば、中核セットの画像は、１０の最も人気のある雑誌の表紙を描いた画像、及びそれらの対応する体験（例えば、１０の最も人気のある雑誌を表す仮想オブジェクト）を含んでもよい。別の例では、サーバ１１０は、サーバ１１０で受信された、最も人気のある画像、又は最も頻繁に走査された画像に基づいて、第１セットの画像を生成してもよい。このように、１次コンテンツデータセット２１０は、装置１０１の拡張現実感アプリケーション２０９によって走査されたオブジェクト又は画像に依存しない。
【００２８】
文脈的コンテンツデータセット２１２は、例えば、第２セットの画像及び、サーバ１１０から取得された対応する体験（例えば、三次元仮想オブジェクトモデル）を含む。例えば、１次コンテンツデータセット２１０では（例えば、サーバ１１０によって）認識されない、装置１０１で取り込まれた画像は、認識のために、サーバ１１０に提出される。もし取り込まれた画像がサーバ１１０によって認識される場合、対応する体験が、装置１０１にダウンロードされ、文脈的コンテンツデータセット２１２に格納されてもよい。このように、文脈的コンテンツデータセット２１２は、装置１０１が使用されてきた文脈を頼りにする。そのため、文脈的コンテンツデータセット２１２は、装置１０１の拡張現実感アプリケーション２０９によって走査されたオブジェクト又は画像に依存する。
【００２９】
分析データセット２２０は、分析追跡モジュール２１８によって収集された分析データに対応する。
【００３０】
可視化コンテンツデータセット２２２は、例えば、可視化セットの画像、及び、分析追跡モジュール２１８によって収集された分析データに基づいてサーバ１１０からダウンロードされた対応する体験を含む。
【００３１】
一実施形態において、装置１０１は、視覚基準と、対応する三次元仮想オブジェクトと、三次元仮想オブジェクトの対応する相互作用的特性とを格納するデータベースの一部分を取得するために、ネットワーク１０８を通じてサーバ１１０と通信してよい。ネットワーク１０８は、マシン、データベース、及び装置（例えば、装置１０１）の間、又は、これらの中での通信を可能にする任意のネットワークであってよい。従って、ネットワーク１０８は、有線ネットワーク、無線ネットワーク（例えば、モバイルネットワーク又はセルラーネットワーク）、又はこれらの適切な任意の組み合わせであってよい。ネットワーク１０８は、プライベートネットワーク、パブリックネットワーク（例えば、インターネット）、又はこれらの適切な任意の組み合わせを構成する、１つ以上の部分を含んでよい。
【００３２】
本明細書で述べる、任意の１つ以上のモジュールは、ハードウェア（例えば、マシンのプロセッサ）、又はハードウェアとソフトウェアの組み合わせを使用して履行されてよい。例えば、本明細書で述べる任意のモジュールは、そのモジュールのための本明細書で述べる動作を実施するためのプロセッサを構成してもよい。その上、任意の２つ以上のこれらのモジュールは、単一のモジュールに結合されてもよく、単一のモジュールのために本明細書で述べる機能は、複数のモジュールの中で細分化されてもよい。更に、様々な実施例によれば、単一のマシン、データベース、又は装置の中に履行されるとして本明細書で説明されるモジュールは、複数のマシン、データベース、又は装置にわたって分散されてもよい。
【００３３】
図３は、幾つかの実施例による、文脈的ローカル画像認識モジュール２０８のモジュール（例えば、構成要素）を示すブロック図である。文脈的ローカル画像認識モジュール２０８は、画像取り込みモジュール３０２と、ローカル画像認識モジュール３０４と、コンテンツ要求モジュール３０６と、文脈コンテンツデータセット更新モジュール３０８とを含んでもよい。
【００３４】
画像取り込みモジュール３０２は、装置１０１のレンズを用いて画像を取り込んでもよい。例えば、画像取り込みモジュール３０２は、装置１０１によって指し示された物理オブジェクトの画像を取り込んでもよい。一実施形態において、画像取り込みモジュール３０２は、１つの画像、又は一連のスナップショットを取り込んでもよい。別の実施形態において、画像取り込みモジュール３０２は、センサ２０２（例えば、振動、ジャイロスコープ、コンパスなど）が、もはや装置１０１は移動していないことを検出する場合に、画像を取り込んでよい。
【００３５】
ローカル画像認識モジュール３０４は、取り込まれた画像が、１次コンテンツデータセット２１０に格納された画像に対応すると判断する。拡張現実感アプリケーション２０９は、その後、装置１０１を用いて取り込まれ、認識された画像に対応する三次元分析仮想オブジェクトモデルを、ローカルで描画する。
【００３６】
別の実施例において、ローカル画像認識モジュール３０４は、取り込まれた画像が、文脈的コンテンツデータセット２１２に格納された画像に対応すると判断する。拡張現実感アプリケーション２０９は、その後、装置１０１で取り込まれた画像に対応する三次元分析仮想オブジェクトモデルを、ローカルで描画する。
【００３７】
コンテンツ要求モジュール３０６は、装置１０１を用いて取り込まれた画像に基づいて、装置１０１を用いて取り込まれた画像に対応する三次元分析仮想オブジェクトモデルをサーバ１１０に要求してもよく、ここで装置１０１を用いて取り込まれた画像は、記憶装置２１６における1次コンテンツデータセット２１０及び文脈的コンテンツデータセット２１２の中の画像セットの１つに対応しない。
【００３８】
コンテンツ要求モジュール３０６によって生成された要求に呼応して、文脈コンテンツデータセット更新モジュール３０８は、装置１０１を用いて取り込まれた画像に対応する三次元分析仮想オブジェクトモデルを、サーバ１１０から受信してもよい。一実施形態において、装置１０１で取り込まれた画像が、装置１０１の記憶装置２１６にローカルに格納された何れの画像にも対応しない場合、文脈コンテンツデータセット更新モジュール３０８は、装置１０１で取り込まれた画像に対応する三次元分析仮想オブジェクトモデルで、文脈的コンテンツデータセット２１２を、サーバ１１０から更新してもよい。
【００３９】
別の実施形態において、コンテンツ要求モジュール３０６は、装置１０１の使用条件を決定し、使用条件に基づいて、第３セットの画像及び対応する三次元仮想オブジェクトモデルについての、サーバ１１０に対する要求を生成してもよい。使用条件は、何時、どんな頻度で、何処で、及び、如何にして、ユーザ１０２が装置１０１を使用しているかを、完全に又は部分的に指し示してもよい。文脈コンテンツデータセット更新モジュール３０８は、第３セットの画像及び対応する三次元仮想オブジェクトモデルで、文脈的コンテンツデータセット２１２を更新してもよい。
【００４０】
例えば、コンテンツ要求モジュール３０６は、ユーザ１０２が、朝の時間に新聞のページにざっと目を通すと判断する。コンテンツ要求モジュール３０６は、次に、朝におけるユーザ１０２の使用に関連する画像セット及び対応する体験についての、サーバ110に対する要求を生成する。例えば、コンテンツ要求モジュール３０６は、ユーザ１０２が朝、最も目を通す可能性のあるスポーツ記事の画像と、スポーツ記事の１つの中で述べられたスポーツチームの仮想スコアボードが更新された対応物とを、取得してよい。体験は、例えば、ユーザ１０２に合わせて個別化された、想像リーグのスコアボード更新を含んでもよい。
【００４１】
別の例では、コンテンツ要求モジュール３０６は、ユーザ１０２が新聞のビジネス欄にしばしば目を通すと判断する。コンテンツ要求モジュール３０６は、次に、ユーザ１０２に関連する１セットの画像及び対応する体験物についての、サーバ１１０に対する要求を生成する。例えば、コンテンツ要求モジュール３０６は、次発行のビジネス記事が利用可能になるや否や、次発行の新聞のビジネス記事の画像を取得してよい。体験は、例えば、次発行のビジネス記事の画像に対応するビデオリポートを含んでもよい。
【００４２】
更に別の実施例では、コンテンツ要求モジュール３０６は、装置１０１のユーザ１０２のソーシャル情報を判断し、そのソーシャル情報に基づいて、別のセットの画像及び対応する三次元仮想オブジェクトモデルについての、サーバ１１０に対する要求を生成してよい。ソーシャル情報は、装置１０１の中のソーシャルネットワークアプリケーションから獲得されてもよい。ソーシャル情報は、ユーザ１０２が誰と相互作用したか、及び、ユーザ１０２は、装置１０１の拡張現実感アプリケーション２０９を使用した体験を誰と共有したかを、完全に又は部分的に含んでもよい。文脈コンテンツデータセット更新モジュール３０８は、他のセットの画像及び対応する三次元仮想オブジェクトモデルで、文脈的コンテンツデータセット２１２を更新してもよい。
【００４３】
例えば、ユーザ１０２は、雑誌の数ページに目を通したかもしれない。コンテンツ要求モジュール３０６は、ユーザ１０２が、同様の興味を共有し、且つ別の雑誌を読む別のユーザと友人同士であることを、ソーシャルネットワークアプリケーションから判断する。そのため、コンテンツ要求モジュール３０６は、他の雑誌に関連する１セットの画像及び対応する体験（例えば、分類、興味分野、フォーマット、発行スケジュール）についての、サーバ１１０に対する要求を生成してもよい。
【００４４】
別の例では、もしコンテンツ要求モジュール３０６が、ユーザ１０２が同じ雑誌から１つ又は２つの画像に目を通したと判断する場合、コンテンツ要求モジュール３０６は、同じ雑誌の中の他の画像に関連する追加コンテンツについての要求を生成してよい。
【００４５】
図４は、幾つかの実施例による、分析追跡モジュール２１８のモジュール（例えば、構成要素）を示すブロック図である。分析追跡モジュール２１８は、姿勢推定モジュール４０２と、姿勢持続期間モジュール４０４と、姿勢方位モジュール４０６と、姿勢相互作用モジュール４０８とを含む。姿勢は、装置１０１が、関連する物理オブジェクトに、如何にして、どれくらい長く保持されるかを含んでもよい。
【００４６】
姿勢推定モジュール４０２は、装置１０１が狙いをつけている仮想オブジェクト又は物理オブジェクト上の場所を検出するように構成されてもよい。例えば、装置１０１は、装置１０１を物理オブジェクト１０４に向けることによって生成される仮想的彫像の頂点に狙いをつけてもよい。別の例では、装置１０１は、雑誌の写真の中の人の靴に狙いをつけてもよい。
【００４７】
姿勢持続期間モジュール４０４は、装置１０１が、（例えば、ユーザ１０２によって）物理オブジェクト又は仮想オブジェクト上の同じ場所に向けられている時間持続期間を判断するように構成されてよい。例えば、姿勢持続期間モジュール４０４は、ユーザ１０２が、装置１０１を雑誌の中の人の靴に向け、装置をその状態で維持した時間の長さを測定してもよい。靴への感想及び興味は、ユーザ１０２が、靴に狙いをつけた状態で装置１０１を保持した時間の長さに基づいて、推論されてもよい。
【００４８】
姿勢方位モジュール４０６は、物理又は仮想オブジェクトに（ユーザ１０２によって）狙いをつけられた装置１０１の方位を判断するように構成されてもよい。例えば、姿勢方位モジュール４０６は、ユーザ１０２が装置１０１を横置きモードで保持していると判断してもよく、従って、装置１０１の横置き方位に基づいて、ユーザ１０２の感想及び興味を推論してもよい。
【００４９】
姿勢相互作用モード４０８は、物理オブジェクトに対応する仮想オブジェクトに対して、装置１０１に関するユーザ１０２の相互作用を判断するように構成されてもよい。例えば、仮想オブジェクトは、仮想的なメニュー又はボタンのような特性を含んでもよい。ユーザ１０２が仮想的なボタンをタップすると、装置１０１におけるブラウザアプリケーションが起動され、タップされた仮想のダイアログボックスに関連付けられている、前もって選択されたウェブサイトにつながる。姿勢相互作用モジュール４０８は、ユーザ１０２がどのボタンをタップしたか、各仮想的ボタンに対するクリック率、拡張現実感アプリケーション２０９からユーザが訪問したウェブサイト１０２などを、測定すると共に判断してもよい。姿勢相互作用モジュールはまた、ユーザ１０２と拡張現実感アプリケーション２０９との間の他の相互作用（例えば、アプリケーションが使用された場合、どの機能が使用され、どのボタンがタップされたか）を測定してもよい。
【００５０】
図５は、幾つかの実施例による、サーバ１１０のモジュール（例えば、構成要素）を示すブロック図である。サーバ１１０は、体験ジェネレータ５０２と、分析計算モジュール５０４と、データベース５０６とを含む。
【００５１】
体験ジェネレータ５０２は、物理オブジェクトに対する装置１０１の位置に基づいて、装置１０１のディスプレイ２０４の中で描画されるべき分析仮想オブジェクトモデルを生成してもよい。分析仮想オブジェクトモデルに対応する仮想オブジェクトの可視化は、装置１０１で取り込まれた物理オブジェクトの認識された画像と係合してもよい。仮想オブジェクトは、認識された画像に対応する。換言すれば、各画像は、それ自身の一意的な仮想オブジェクトを有してもよい。
【００５２】
分析計算モジュール５０４は、装置１０１で取り込まれた物理オブジェクトに対する装置１０１の姿勢推定、装置１０１で取り込まれた物理オブジェクトに対する装置１０１の姿勢持続期間、装置１０１で取り込まれた物理オブジェクトに対する装置１０１の姿勢方位、及び装置１０１で取り込まれた物理オブジェクトに対する装置１０１の姿勢相互作用を分析してもよい。以前に説明されたように、姿勢推定は、装置１０１が狙いをつけた物理オブジェクト又は仮想オブジェクト上の位置を含んでもよい。姿勢持続期間は、装置１０１が物理オブジェクト又は仮想オブジェクト上の同じ位置に狙いをつける、ある時間持続期間を含んでもよい。姿勢方位は、物理又は仮想オブジェクトに狙いをつけた装置１０１の方位を識別してもよい。姿勢相互作用は、物理オブジェクトに対応する仮想オブジェクトに関して、装置１０１に対するユーザ１０２の相互作用を識別してもよい。
【００５３】
データベース５０６は、１次コンテンツデータセット５０８と、文脈的コンテンツデータセット５１０と、可視化コンテンツデータセット５１２と、分析データ５１４とを格納してもよい。
【００５４】
１次コンテンツデータセット５０８は、１次コンテンツデータセット５０８及び文脈的コンテンツデータセット５１０を格納してもよい。１次コンテンツデータセット５０８は、第１セットの画像及び対応する仮想オブジェクトモデルを含む。体験ジェネレータ５０２は、装置１０１から受信される取り込まれた画像が、１次コンテンツデータセット５０８において認識されないと判断し、装置１０１に対して文脈的コンテンツデータセット５１０を生成する。文脈的コンテンツデータセット５１０は、第２セットの画像及び対応する仮想オブジェクトモデルを含んでもよい。
【００５５】
可視化コンテンツデータセット５１２は、分析計算モジュール５０４による分析データ５１４の分析に基づいて生成されたデータを含む。可視化コンテンツデータセット５１２は、１セットの画像と、装置１０１で取り込まれた物理オブジェクトの画像と係合され該セットの画像の中で認識されるべき、対応する分析仮想オブジェクトモデルとを含む。
【００５６】
例えば、雑誌のページに対応する「ヒートマップ」データセットが生成されてもよい。「ヒートマップ」は、対応するページに狙いをつける場合、装置１０１上に表示される仮想的マップであってもよい。「ヒートマップ」は、ユーザが最もよく注視する領域を指し示してもよい。
【００５７】
別の例では、分析仮想オブジェクトモデルは、１つの仮想オブジェクトを含んでもよく、この仮想オブジェクトの振舞い、状態、色、又は形状は、物理オブジェクトの画像に対応する分析結果に依存する。例えば、靴カタログのページの実時間画像は、仮想的情報に被せられてもよく、この仮想的情報は、ページ上のどの靴が最もよく販売され、最もよく眺められるか、又は選択されるのかを示すことが可能であろう。その結果、カタログページ上で最も人気のある靴の画像に対応する仮想オブジェクト（例えば、靴の拡大された３Ｄモデル、仮想フラッグピン、仮想矢印）が生成され、表示されてもよい。ページ上で最も人気の無い靴は、対応するより小さな仮想オブジェクト（例えば、靴のより小さな３Ｄモデル）を有するであろう。そのため、ユーザが装置をカタログページに向ける場合、ユーザは、カタログページの画像の周りに浮遊している、カタログページからの靴の幾つかの３Ｄモデルを見るかもしれない。各３Ｄ靴モデルは、カタログページの中の、その対応する靴写真の周りに浮遊しているかもしれない。別の例では、最も人気のある靴だけが生成され、カタログページの画像を注視している装置上に表示されてもよい。
【００５８】
分析仮想オブジェクトは、物理オブジェクトの画像の分析結果に基づいて生成される、１つ以上の仮想オブジェクトモデルを含んでもよい。
【００５９】
分析データ５１４は、拡張現実感アプリケーション２０９をインストールした装置１０１から集められた分析データを含んでもよい。
【００６０】
一実施形態において、体験ジェネレータ５０２は、複数の装置からの姿勢推定、姿勢持続期間、姿勢方位、及び姿勢相互作用に基づいて、複数の装置に対する可視化コンテンツデータセット５１２を生成する。
【００６１】
別の実施形態において、体験ジェネレータ５０２は、装置１０１からの姿勢推定、姿勢持続期間、姿勢方位、及び姿勢相互作用に基づいて、装置１０１に対する可視化コンテンツデータセット５１２を生成する。
【００６２】
図６は、幾つかの実施例による、装置１０１の文脈的ローカル画像認識モジュール２０８の動作を示すラダー図である。動作６０２では、装置１０１は、拡張現実感アプリケーション２０９をサーバ１１０からダウンロードする。拡張現実感アプリケーション２０９は、１次コンテンツデータセット２１０を含んでもよい。１次コンテンツデータセット２１０は、例えば、１０の人気雑誌の最も頻繁に目を通された写真、及び、対応する体験を含んでもよい。動作６０４では、装置１０１は、画像１０１を取り込む。
【００６３】
動作６０６では、装置１０１は、取り込まれた画像を、１次コンテンツデータセット２１０からの、及び、文脈的コンテンツデータセット２１２からのローカル画像と比較する。もし取り込まれた画像が、１次コンテンツデータセット及び文脈的コンテンツデータセットの両方で認識されない場合、装置１０１は、動作６０８で、取り込まれた画像に関連付けられるコンテンツ又は体験物を引き出すことを、サーバ１１０に要求する。
【００６４】
動作６１０では、サーバ１１０は、取り込まれた画像を識別し、取り込まれた画像に関連付けられたコンテンツを取得する。
【００６５】
動作６１２では、装置１０１は、取り込まれた画像に対応するコンテンツを、サーバ１１０からダウンロードする。
【００６６】
動作６１４では、装置１０１は、そのローカル記憶を更新して、コンテンツを含める。一実施形態において、装置１０１は、動作６１２でダウンロードされたコンテンツに関して、その文脈的コンテンツデータセット２１２を更新する。
【００６７】
別の実施例において、動作６１６では、装置１０１からの入力条件は、サーバ１１０に提出される。入力条件は、使用時間情報、場所情報、走査された画像の履歴、及びソーシャル情報を含んでもよい。サーバ１１０は、動作６１８で、入力条件に関連付けられたコンテンツを取得してもよい。例えば、もし入力条件が、ユーザ１０２が装置１０１をほとんど位置Ａから動作させることを示している場合、場所Ａ（例えば、レストランの近辺）に関連するコンテンツが、サーバ１１０から取得されてもよい。
【００６８】
動作６２０では、装置１０１は、動作４１８において取得されたコンテンツをダウンロードし、取得されたコンテンツに基づいて、文脈的コンテンツデータセットを更新する。
【００６９】
図７は、幾つかの実施例による、現実世界の分析可視化サーバ１１０の動作を示すラダー図である。動作７０２では、装置１０１は、姿勢推定、姿勢持続期間、姿勢方位、及び姿勢相互作用を追跡する。動作７０４では、装置１０１は、装置１０１の記憶ユニットに分析データをローカルに格納してもよい。動作７０６では、装置１０１は、分析のために、分析データ５１４をサーバ１１０に送信する。動作７０８では、サーバ１１０は、１つ以上の装置（例えば装置１０１）からの分析データ５１４を分析する。例えば、サーバ１１０は、複数の装置によって多く眺められた新聞ページ領域を追跡してもよい。別の例では、サーバ１１０は、複数の装置によって多く眺められた、又は単一の装置１０１によって比較的長い期間（複数の装置からの場合の平均時間を超えて）眺められた、雑誌ページ領域を追跡してもよい。
【００７０】
動作７１０では、サーバ１１０は、１つの携帯装置のユーザからの、又は複数の携帯装置の多くのユーザからの分析データに関連する可視化コンテンツデータセット５１２を生成する。
【００７１】
動作７１２では、サーバ１１０は、可視化コンテンツデータセット５１２を装置１０１に送信する。装置１０１は、動作７１４で、可視化コンテンツデータセット５１２を格納してもよい。動作７１６では、装置１０１は、可視化コンテンツデータセット２２２によって認識された画像を取り込む。動作７１８では、装置１０１は、可視化コンテンツデータセット２２２に基づいて、可視化体験を生成する。例えば、「ヒートマップ」は、物理オブジェクトに対して、ユーザが最もよく注視した領域を表示してもよい。ヒートマップは、ヒートマップの要素（例えば、ラベル、アイコン、色付きの指示子）が物理オブジェクトの画像に対応するための、物理オブジェクトの画像の上に被せられる仮想的マップであってもよい。
【００７２】
図８は、幾つかの実施例による、装置１０１の文脈的ローカル画像認識モジュール２０８の動作例を示すフローチャートである。
【００７３】
動作８０２では、文脈的ローカル画像認識データセットモジュール２０８は、１次コンテンツデータセット２１０を装置１０１に格納する。
【００７４】
動作８０４では、拡張現実感アプリケーション２０９は、画像が装置１０１で取り込まれたと判断する。
【００７５】
動作８０６では、文脈的ローカル画像認識データセット２０８は、取り込まれた画像を、装置１０１における１次コンテンツデータセット２１０のローカルに格納された１セットの画像と比較する。もし取り込まれた画像が、装置１０１における１次コンテンツデータセット２１０のローカルに格納された画像セットからの画像に対応する場合、拡張現実感アプリケーション２０９は、動作８０８で、認識された画像に基づいて、体験を生成する。
【００７６】
もし取り込まれた画像が、装置１０１における１次コンテンツデータセット２１０のローカルに格納された画像セットからの画像に対応しない場合、文脈的ローカル画像認識モジュール２０８は、取り込まれた画像を、動作８１０で、装置１０１における文脈的コンテンツデータセットのローカルに格納された１セットの画像と比較する。
【００７７】
もし取り込まれた画像が、装置１０１における文脈的コンテンツデータセット２１２のローカルに格納された画像セットからの画像に対応する場合、拡張現実感アプリケーション２０９は、動作８０８で、認識された画像に基づいて、体験を生成する。
【００７８】
もし取り込まれた画像が、装置１０１における文脈的コンテンツデータセット２１２のローカルに格納された画像セットからの画像に対応しない場合、文脈的ローカル画像認識モジュール２０８は、動作８１２で、取り込まれた画像を含む要求をサーバ１１０に提出する。
【００７９】
動作８１４では、装置１０１は、取り込まれた画像に対応するコンテンツを、サーバ１１０から受信する。
【００８０】
動作８１６では、文脈的ローカル画像認識モジュール２０８は、受信されたコンテンツに基づいて、文脈的コンテンツデータセット２１２を更新する。
【００８１】
図９は、幾つかの実施例による、本装置の文脈的ローカル画像認識モジュールの別の動作例を示すフローチャートである。
【００８２】
動作９０２では、文脈的ローカル画像認識モジュール２０８は、装置１０１の入力条件を取り込む。以前に説明されたように、入力条件は、使用時間情報、場所情報、走査された画像の履歴、及びソーシャル情報を含んでもよい。
【００８３】
動作９０４では、文脈的ローカル画像認識モジュール２０８は、入力条件をサーバ１１０に伝達する。動作９０６では、サーバ１１０は、装置１０１の入力条件に関連する新しいコンテンツを引き出す。
【００８４】
動作９０８では、文脈的ローカル画像認識データセットモジュール２０８は、新しいコンテンツに関して、文脈的コンテンツデータセット２１２を更新する。
【００８５】
図１０は、幾つかの実施例による、装置１０１での現実世界の分析可視化の別の動作例１０００を示すフローチャートである。動作１００２では、装置１０１の分析追跡モジュール２１８は、装置１０１での姿勢推定、姿勢持続期間、姿勢方位、及び姿勢相互作用を追跡する。
【００８６】
動作１００４では、装置１０１の分析追跡モジュール２１８は、分析データをサーバ１１０に送信する。動作１００６では、装置１０１の拡張現実感アプリケーション２０９は、分析データに基づいて、可視化コンテンツデータセットを受信する。動作１００８では、装置１０１の拡張現実感アプリケーション２０９は、装置１０１によって取り込まれた画像が、可視化コンテンツデータセット２２２において認識されるかどうかを判断する。もし取り込まれた画像が可視化コンテンツデータセット２２２において認識される場合、装置１０１の拡張現実感アプリケーション２０９は、可視化体験を生成する。
【００８７】
図１１は、幾つかの実施例による、サーバでの現実世界の分析可視化の別の動作例１１００を示すフローチャートである。
【００８８】
動作１１０２では、サーバ１１０の分析計算モデル５０４は、装置（例えば、ユーザ１０１）のユーザ（例えば、ユーザ１０２）から、分析データを受信すると共に統合し、各々は、拡張現実感アプリケーション２０９を実行する。動作１１０４では、サーバ１１０の分析計算モジュール５０４は、ユーザの装置（例えば、装置１０１のユーザ１０２）から分析データを受信する。動作１１０６では、サーバ１１０のコンテンツジェネレータ５０２は、統合分析データ及び特定の装置の分析データに基づいて、可視化コンテンツデータセット５１２を生成する。例えば、可視化コンテンツデータ５１２は、物理オブジェクトの画像に対応する分析仮想オブジェクトモデルを含んでもよい。分析仮想オブジェクトモデルは、ユーザから収集された分析データに関する分析計算の結果を示す仮想マップ、又は仮想ディスプレイ、仮想オブジェクトを生成するために、使用されてもよい。このように、例えば、高い評価を有するレストランは、本装置のディスプレイの中のレストランの画像に被せられた、より大きな仮想オブジェクト（例えば、他のレストランの仮想記号よりも大きな仮想記号）を有してもよい。
【００８９】
動作１１０８では、サーバ１１０の体験物モジュール５０２は、可視化コンテンツデータセット５１２を特別な装置に送信する。
【００９０】
図１２は、幾つかの実施例による、マシン１２００の構成要素を示すブロック図であり、マシン１２００は、マシン可読な媒体（例えば、マシン可読な記憶媒体、コンピュータ可読な記憶媒体、又はこれらの適切な任意の組み合わせ）から命令を読み取り、本明細書で述べる任意の１つ以上の手順を全体的に又は部分的に実行することが可能である。具体的には、図１２は、コンピュータシステムの形態例におけるマシン１２００の図式的表現を示し、この中で、本明細書で述べる任意の１つ以上の手順を実行させるための命令１２２４（例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、又は他の実行可能なコード）が、全体的又は部分的に実行されてもよい。代替的実施形態では、マシン１２００は、スタンドアロン装置として動作するか、又は、他のマシンに接続されて（例えば、ネットワーク化されて）もよい。ネットワーク化された配備では、マシン１２００は、サーバ・クライアント・ネットワーク環境の中でサーバマシン又はクライアントマシンの能力において動作するか、又は、分散された（例えば、ピア・ツー・ピア）ネットワーク環境におけるピアマシンとして動作してもよい。マシン１２００は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セットトップボックス（ＳＴＢ)，携帯情報端末（ＰＤＡ)、携帯電話、スマートフォン、ウェブ機器、ネットワークルーター、ネットワークスイッチ、ネットワークブリッジ、又は、マシンによって取られるべきアクションを指定する命令１２２４を順次に又は別の方法で実行可能な任意のマシンであってよい。更に、単一のマシンだけが示されている一方で、用語「マシン」はまた、集合的なマシンを含むと捉えられるべきものであり、この集合的なマシンとは、本明細書で述べる任意の１つ以上の手順の全て又は一部を実行するために、命令１２２４を個々に又は共同で実行する。
【００９１】
マシン１２００は、プロセッサ１２０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ)、特定用途向け集積回路（ＡＳＩＣ）、無線周波数集積回路（ＲＦＩＣ）、又はこれらの適切な任意の組み合わせ）と、メインメモリ１２０４と、スタティックメモリ１２０６とを含み、これらは、バス１２０８を介して、互いに通信するように構成される。マシン１２００は、グラフィックディスプレイ１２１０（例えば、プラズマ・ディスプレイ・パネル（ＰＤＰ）、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ)、プロジェクタ、又は陰極線管（ＣＲＴ））を更に含んでもよい。マシン１２００はまた、文字数字入力装置１２１２（例えば、キーボード）と、カーソル制御装置１２１４（例えば、マウス、タッチパッド、トラックボール、ジョイスチック、運動センサ、又は他の指示機器）と、記憶ユニット１２１６と、信号発生装置１２１８（例えば、スピーカ）と、ネットワークインターフェース装置１２２０と、を含んでもよい。
【００９２】
記憶ユニット１２１６はマシン可読な媒体１２２２を含み、この媒体上に、本明細書で述べる任意の１つ以上の手順又は機能を具体化する命令１２２４が格納される。命令１２２４はまた、完全に又は少なくとも部分的に、メインメモリ１２０４内に、プロセッサ１２０２内に（例えばプロセッサのキャッシュメモリ内に）、又はその両方に、マシン１２００によって命令が実行される間、存在してもよい。従って、メインメモリ１２０４及びプロセッサ１２０２は、マシン可読な媒体と考えられてもよい。命令１２２４は、ネットワークインターフェース装置１２２０を介してネットワーク１２２６上（例えば、ネットワーク１０８）で、送信又は受信されてよい。
【００９３】
本明細書で使用されるように、用語「メモリ」は、データを一時的又は永久に格納できるマシン可読な媒体を指し、限定されるものではないが、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、バッファメモリ、フラッシュメモリ、及びキャッシュメモリを含むと捉えられてもよい。マシン可読な媒体１２２２は、実施例では単一の媒体であるとして示されるが、その一方で、用語「マシン可読な媒体」は、命令を格納できる単一の媒体又は複数の媒体（例えば、集中型データベース若しくは分散型データベース、又は、関連するキャッシュ及びサーバ）を含むと捉えられるべきである。用語「マシン可読な媒体」はまた、任意の媒体又は複数の媒体の組み合わせを含むと捉えられるべきものであり、これは、マシン（例えば、マシン１２００）によって実行されるための命令を格納することが可能であり、それによって、命令は、マシン（例えば、プロセッサ１２０２）の１つ以上のプロセッサによって実行される場合、本明細書で述べる任意の１つ以上の手順をマシンに実行させる。従って、「マシン可読な媒体」は、複数の記憶機器若しくは記憶装置を含む、「クラウドベース」の記憶システム又は記憶ネットワークはもちろんのこと、単一の記憶機器若しくは記憶装置を指す。用語「マシン可読な媒体」は、従って、限定されるものではないが、固体メモリ、光媒体、磁気媒体、又はこれらの適切な任意の組み合わせの形態における、１つ以上のデータリポジトリを含むと捉えられるべきである。
【００９４】
この明細書を通して、複数の事例は、単一の事例として述べられる構成要素、動作、又は構造を履行してもよい。１つ以上の方法の個々の動作は、別個の動作として示され、述べられているが、１つ以上の個々の動作は同時に実行されてもよく、示された順番で動作が実行されることは要求されない。構成例において、別個の構成部品として提示された構造及び機能性は、組み合わされた構造又は組み合わされた構成要素として履行されてもよい。同様に、単一の構成要素として提示された構造及び機能性は、別個の構成要素として履行されてもよい。これらの及び他の変形例、変更例、追加例、及び改善例は、本明細書における主題の範囲内である。
【００９５】
ある実施形態は、本明細書では、ロジック若しくは多数の構成要素、モジュール、又は機械仕掛けを含むものとして説明される。モジュールは、ソフトウェアモジュール（例えば、マシン可読な媒体上で、又は伝送信号において具体化されたコード）、又はハードウェアモジュールのいずれかを構成してもよい。「ハードウェアモジュール」は、ある動作を実行可能な有形ユニットであり、ある物理的方法において構成されるか、又は配列されてもよい。様々な実施例において、１つ以上のコンピュータシステム（例えば、スタンドアロン・コンピュータ・システム、クライアント・コンピュータ・システム、又はサーバ・コンピュータ・システム）、又は、コンピュータシステム（例えば、プロセッサ又は一群のプロセッサ）の１つ以上のハードウェアモジュールは、本明細書で述べられるような、或る動作を実行するために動作するハードウェアモジュールとして、ソフトウェア（例えば、アプリケーション又はアプリケーションの部分）によって構成されてもよい。
【００９６】
幾つかの実施形態では、ハードウェアモジュールは、機械的に、電子的に、又はこれらの適切な任意の組み合わせで履行されてよい。例えば、ハードウェアモジュールは、ある動作を実行するように定常的に構成される、専用の回路又はロジックを含んでもよい。例えば、ハードウェアモジュールは、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又はＡＳＩＣのような特殊用途プロセッサであってもよい。ハードウェアモジュールはまた、或る動作を実行するようにソフトウェアによって一時的に構成される、プログラム可能なロジック又は回路を含んでもよい。例えば、ハードウェアモジュールは、汎用プロセッサ又は他のプログラム可能なプロセッサの中に包含されるソフトウェアを含んでもよい。正しく理解されることであろうが、専用かつ定常的に構成された回路において、又は一時的に構成された（例えば、ソフトウェアによって構成された）回路において、ハードウェアモジュールを機械的に履行するための決断は、コスト及び時間を考慮することによって行われる。
【００９７】
従って、表現「ハードウェアモジュール」は、有形実体を包含すると理解されるべきであり、物理的に構築される、定常的に構成される（例えば、ハードウェアにより実現される）、又は、或る方法で動作するように若しくは本明細書で述べる或る動作を実行するように一時的に構成される（例えば、プログラムされる）、実体であるべきである。本明細書で使用されるように、「ハードウェア履行モジュール」は、ハードウェアモジュールを指す。ハードウェアモジュールが一時的に構成される（例えば、プログラムされる）実施形態を考えれば、ハードウェアモジュールの各々は、時間におけるいずれの段階にあっても、構成される必要が無いか、又は実証される必要が無い。例えば、ハードウェアモジュールが、特殊用途プロセッサになるように、ソフトウェアによって構成された汎用プロセッサを備える場合、その汎用プロセッサは、異なる時間には、それぞれ異なる特殊用途のプロセッサ（例えば、異なるハードウェアモジュールを備える）として構成されてもよい。従ってソフトウェアは、例えば、時間の或る１つの段階では特別なハードウェアモジュールを構成し、時間の異なる段階では異なるハードウェアモジュールを構成するように、プロセッサを構成してもよい。
【００９８】
ハードウェアモジュールは、他のハードウェアモジュールへ情報を提供し、他のハードウェアモジュールから情報を受信することが可能である。従って、前述のハードウェアモジュールは、通信的に結合されていると見なされてもよい。複数のハードウェアモジュールが同時に存在するところでは、通信は、２つ以上のハードウェアモジュール間での、又は、２つ以上のハードウェアモジュールの中での（例えば、適切な回路及びバスを通じての）信号伝送によって達成されてもよい。複数のハードウェアモジュールが異なる時間に構成又は実証される実施形態において、そのようなハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスするメモリ構造における情報の記憶及び取得によって達成されてもよい。例えば、１つのハードウェアモジュールは、動作を実行し、その動作の出力を、該ハードウェアモジュールが結合されるメモリ装置に格納してもよい。更なるハードウェアモジュールは、その後、より遅い時間に、格納された出力を取得して処理するために、メモリ装置にアクセスしてもよい。ハードウェアモジュールはまた、入力装置又は出力装置との通信を開始してもよく、リソース上で動作することが可能である（例えば、情報の収集）。
【００９９】
本明細書で説明された方法例の様々な動作は、少なくとも部分的には、１つ以上のプロセッサによって実行されてもよく、該１つ以上のプロセッサは、関連する動作を実行するように一時的に（例えば、ソフトウェアによって）構成されるか、又は、定常的に構成されてよい。一時的に又は定常的に構成されるそのようなプロセッサは、本明細書で述べる１つ以上の動作又は機能を実行するために動作する、プロセッサ履行モジュールを構成してもよい。本明細書で使用されるように、「プロセッサ履行モジュール」は、１つ以上のプロセッサを使用して履行されるハードウェアモジュールを指す。
【０１００】
同様に、本明細書で述べる方法は、少なくとも部分的にはプロセッサ履行であってもよく、プロセッサはハードウェアの一例である。例えば、方法の少なくとも幾つかの動作は、１つ以上のプロセッサ又はプロセッサ履行モジュールによって実行されてもよい。その上、１つ以上のプロセッサはまた、「クラウドコンピューティング」環境における、又は、「サービスとしてのソフトウェア（ＳａａＳ）」としての、関連する動作の性能を支援するために動作してもよい。例えば、少なくとも幾つかの動作は、一群のコンピュータ（プロセッサを含むマシンの例として）によって実行されてもよく、これらの動作は、ネットワーク（例えば、インターネット）、又は、１つ以上の適切なインターフェース（例えば、アプリケーション・プログラム・インターフェース（ＡＰＩ））を介してアクセス可能である。
【０１０１】
ある動作の性能は、１つ以上のプロセッサの中で分散されてもよく、これら１つ以上のプロセッサは、単一マシン内に常駐するだけでなく、多数のマシンにわたって配置されてよい。幾つかの実施例では、１つ以上のプロセッサ又はプロセッサ履行モジュールは、単一の地理的場所（例えば、ホーム環境、オフィス環境、又サーバファームの中で）に位置してもよい。他の実施例では、１つ以上のプロセッサ又はプロセッサ履行モジュールは、多数の地理的場所にわたって分散されてもよい。
【０１０２】
本明細書で述べた主題のいくつかの部分は、マシンメモリ（例えば、コンピュータメモリ）内でビット又は２値のデジタル信号として格納されたデータ上の、動作のアルゴリズム又は記号的表現の観点で提示されてもよい。そのようなアルゴリズム又は記号的表現は、データ処理技術において当業者によって使用される技術例であり、自分達の仕事の要旨を他の当業者に伝えるためのものである。本明細書で使用される「アルゴリズム」は、自己矛盾がない動作系列、又は望ましい結果に導く同様な処理である。この文脈では、アルゴリズム及び動作は、物理量の物理的操作を含む。典型的には、しかし必ずしもというわけではないが、そのような量は、電気的信号、磁気的信号、又は光学的信号の形態を取ってもよく、これらの信号は、マシンによって、格納され、アクセスされ、転送され、組み合わされ、比較され、若しくは他の方法で操作され得る。主に通常の使用においては、「データ」、「コンテンツ」、「ビット」、「値」、「構成要素」、「記号」、「文字」、「用語」、「数」、「数字」などのような単語を用いて、そのような信号を指すことが時には簡便である。しかしながら、これらの単語は単なる簡便な標識であり、適切な物理量に関連付けられるべきものである。
【０１０３】
特に断らない限り、「処理する」、「コンピュートする」、「計算する」、「決定する」、「提示する」、「表示する」などのような単語を用いた、本明細書の説明は、マシン（例えば、コンピュータ）のアクション又はプロセスを指してもよく、該アクション又はプロセスは、１つ以上のメモリ（例えば、揮発性メモリ、不揮発性メモリ、又はこれらの適切な任意の組み合わせ）、レジスタ、又は情報を受信し、格納し、送信し、若しくは表示する他のマシン構成要素の中で、物理的（例えば、電気的、磁気的、光学的）量として表されたデータを操作し、変換する。更に、特に断らない限り、本明細書で使用される用語「１つの（「ａ」又は「ａｎ」）」は、通常の特許文献におけるように、１つ以上の事例を含む。最後に、本明細書で使用されるように、接続詞「又は」は、特に断らない限り、非排他的な「又は」を指す。
【図１】
2016514865.tif 000003
【図２】
2016514865.tif 000004
【図３】
2016514865.tif 000005
【図４】
2016514865.tif 000006
【図５】
2016514865.tif 000007
【図６】
2016514865.tif 000008
【図７】
2016514865.tif 000009
【図８】
2016514865.tif 000010
【図９】
2016514865.tif 000011
【図１０】
2016514865.tif 000012
【図１１】
2016514865.tif 000013
【図１２】
2016514865.tif 000014
【国際調査報告】
2016514865.tif 000015
2016514865.tif 000016