(57)【要約】  ２次元（２Ｄ）画像の表現を含む文書を取得できる（３００ｂ）。２次元（２Ｄ）画像の少なくとも一部の選択を示す選択指標を取得することができる。２Ｄ画像の選択された部分とオブジェクトデータベース（１５０）内に記憶された３次元（３Ｄ）画像オブジェクトとの間の、ウェブクローラ解析結果に基づく一致対応を決定できる。２Ｄ画像の選択された部分に対応する３次元画像オブジェクトの３Ｄレンダリングを開始できる。【選択図】図１
2015531921.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサによって実行可能な命令を記憶した少なくとも１つの有形のコンピュータ可読記憶媒体とを備え、前記実行可能命令が、少なくとも１つのデータ処理装置に、
質問結果を取得させ、
前記取得した質問結果に基づいて画像を表す第１の画像オブジェクトを含む文書を取得させ、
前記画像の少なくとも一部の選択を表す選択指標を取得させ、
以前に画像アソシエーションデータベースインデックスに記憶されたウェブクローラ画像マッチング解析結果に基づいて、前記画像の前記選択された部分とデータベースの３次元（３Ｄ）画像オブジェクトとの間の一致対応を決定させ、
前記画像の前記選択された部分に対応する前記データベース３Ｄ画像オブジェクトの３Ｄレンダリングを開始させるように構成された、システム。
【請求項２】
前記実行可能命令が、前記少なくとも１つのデータ処理装置に、
前記データベース３Ｄ画像オブジェクトに関連付けられた１つ又は複数の注釈を取得させ、
前記画像の前記選択された部分に対応する前記データベース３Ｄ画像オブジェクトのオブジェクトデータベースからの検索を開始させるように構成され、
前記３Ｄレンダリングを開始することが、前記取得した注釈を用いて、前記画像の前記選択された部分に対応する前記検索されたデータベース３Ｄ画像オブジェクトの前記３Ｄレンダリングを開始することを含む、請求項１に記載のシステム。
【請求項３】
前記実行可能命令が、前記少なくとも１つのデータ処理装置に、
質問に応答して、前記質問結果を取得させ、
１つ又は複数のアクティブな画像に関連付けられたウォブルアクティビティのレンダリングを開始すること、又は
前記１つ又は複数のアクティブなイメージに関連付けられた１つ又は複数のアクティブな画像の視覚指標のレンダリングを開始することのうち１つ以上に基づいて、前記１つ又は複数のアクティブな画像の表示のレンダリングを開始させるように構成され、
前記表示の前記レンダリングのための前記１つ又は複数のアクティブな画像の選択が、
前記質問に関連付けられた属性、
ユーザプロファイルから取得した属性、
最近の質問履歴に関連付けられた属性、
ソーシャルネットワーキング情報から取得した属性、
スポンサーコンテンツの１つ又は複数のスポンサーから取得した属性、又は、
前記画像アソシエーションデータベースインデックスから取得した一致情報のうち１つ以上に基づき、前記実行可能命令が、
１つ又は複数のアクティブな画像の前記表示の前記３Ｄレンダリングで前記スポンサーコンテンツの出力を開始すること、又は
前記データベース３Ｄ画像オブジェクトの前記３Ｄレンダリングで前記スポンサーコンテンツの出力を開始することのうち１つ以上に基づいて、前記少なくとも１つのデータ処理装置に、前記画像の前記選択された部分に対応するスポンサーコンテンツの出力を開始させるように構成された、請求項１に記載のシステム。
【請求項４】
各々が対応する２次元（２Ｄ）画像に関連付けられた３Ｄモデルを表す複数のデータベース３次元（３Ｄ）画像オブジェクトを取得することと、
デバイスプロセッサを介して、３Ｄモデルデータベース内への前記複数のデータベース３Ｄ画像オブジェクトの記憶を開始することと、
ウェブクロール操作に基づいて、第１の２Ｄ画像を表す画像オブジェクトを含む文書を取得することと、
前記取得した画像オブジェクトと、前記第１の２Ｄ画像に関連付けられた一致３Ｄモデルを表す、前記データベース３Ｄ画像オブジェクトの一致する１つの画像オブジェクトとの間の一致対応を決定することと、
前記文書内に含まれる前記取得した画像オブジェクトと３Ｄモデルデータベース内に記憶された前記一致するデータベース３Ｄ画像オブジェクトとの間の前記一致対応を示す一致指標の画像アソシエーションデータベースインデックス内への入力を開始することとを含む、方法。
【請求項５】
前記一致対応を決定することが、前記取得した画像オブジェクトの一部と前記第１の２Ｄ画像の一部に関連付けられた３Ｄモデルを表す、前記データベース３Ｄ画像オブジェクトの前記一致する１つの画像オブジェクトとの間の一致対応を決定することを含み、
前記一致指標の入力を開始することが、前記文書内に含まれる前記取得した画像オブジェクトの前記一部と前記３Ｄモデルデータベース内に記憶された前記一致するデータベース３Ｄ画像オブジェクトの部分との間の一致対応を示す一致指標の画像アソシエーションデータベースインデックス内への入力を開始することを含む、請求項４に記載の方法。
【請求項６】
前記一致対応を決定することが、
前記取得した文書内の前記取得された画像オブジェクトのコンテキスト、
ユーザから取得した一致選択、又は
前記取得した画像オブジェクトに関連付けられた記憶アドレス指標
のうち１つ以上に基づいて、前記取得した画像オブジェクトと前記データベース３Ｄ画像オブジェクトの前記一致する１つの画像オブジェクトとの間の前記一致対応を決定することを含む、請求項４に記載の方法。
【請求項７】
前記取得した文書が、
ウェブページ、
ビデオファイル、
１つ又は複数の埋め込まれた画像を含むテキスト文書、
１つ又は複数の埋め込まれた画像を含むｅメールメッセージ、又は
１つ又は複数の添付画像を含む文書
のうち１つ以上を含み、
前記取得した文書がビデオファイルを含む場合、前記一致対応を決定することが、前記ビデオファイル内に含まれる２Ｄフレームと、前記２Ｄフレームの少なくとも一部に対応する３Ｄ画像モデルを表す、前記データベース３Ｄ画像オブジェクトの前記一致する１つの画像オブジェクトとの間の前記一致対応を決定することを含む、請求項４に記載の方法。
【請求項８】
前記データベース３Ｄ画像オブジェクトの第１の画像オブジェクトに関連付けられた複数の注釈を取得することと、
前記注釈と、前記データベース３Ｄ画像オブジェクトの前記第１の画像オブジェクトと前記複数の注釈との間の関連付けを示す指標を注釈データベース内に記憶することとをさらに含む、請求項４に記載の方法。
【請求項９】
前記データベース３Ｄ画像オブジェクトの第１の画像オブジェクトに関連付けられた前記複数の注釈を取得することが、
ユーザ、
マーケティングアプリケーション、又は
ソーシャルネットワーキングアプリケーション
のうち１つ以上から前記データベース３Ｄ画像オブジェクトの第１の画像オブジェクトに関連付けられた前記複数の注釈を取得することを含む、請求項８に記載の方法。
【請求項１０】
コンピュータプログラムプロダクトであって、コンピュータ可読記憶媒体上に有形に具現化され、少なくとも１つのデータ処理装置に、
２次元（２Ｄ）画像の表現を含む文書を取得させ、
前記２Ｄ画像の少なくとも一部の選択を示す選択指標を取得させ、
デバイスプロセッサを介して、前記２Ｄ画像の前記選択された部分とオブジェクトデータベースに記憶された３次元（３Ｄ）画像オブジェクトとの間のウェブクローラ解析結果に基づく一致対応を取得させ、
前記２Ｄ画像の前記選択された部分に対応する前記３次元画像オブジェクトの３Ｄレンダリングを開始させる実行可能コードを含む、コンピュータプログラムプロダクト。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  電子デバイスのユーザは、テキストと画像とを含むことがあるアイテムを頻繁に検索する。例えば、ユーザが購入するアイテムを検索している場合、最初にアイテムの画像を表示することが望ましいことがある。さらに、商店主は、ユーザが視覚的に瞬時に自社製品を購入する気持ちにさせられることを期待して、自社製品の高品質画像を投稿したいと考える場合がある。別の例として、ユーザは、旅行のための航空券を予約する前に、様々な環境の「雰囲気」を得るために、訪問したい場所の画像を表示したいという場合がある。
【発明の概要】
【０００２】
[0002]  一般的な一態様によれば、システムは、１つ又は複数のプロセッサと、該１つ又は複数のプロセッサによって実行可能な命令を記憶した少なくとも１つの有形のコンピュータ可読記憶媒体とを含んでいてもよい。実行可能命令は、少なくとも１つのデータ処理装置に質問結果を取得させ、取得した質問結果に基づいて画像を表す第１の画像オブジェクトを含む文書を取得させるように構成されていてもよい。さらに、少なくとも１つのデータ処理装置は、画像の少なくとも一部の選択を表す選択指標を取得できる。さらに、少なくとも１つのデータ処理装置は、以前に画像アソシエーションデータベースインデックスに記憶されたウェブクローラ画像マッチング解析結果に基づいて、画像の選択された部分とデータベースの３次元（３Ｄ）画像オブジェクトとの間の一致対応を決定することができる。さらに、少なくとも１つのデータ処理装置は、画像の選択された部分に対応するデータベース３Ｄ画像オブジェクトの３Ｄレンダリングを開始することができる。
【０００３】
[0003]  別の態様によれば、複数のデータベースの３次元（３Ｄ）画像オブジェクトを取得できる。データベース３Ｄ画像オブジェクトの各々は、対応する２次元（２Ｄ）画像に関連付けられた３Ｄモデルを表すことができる。３Ｄモデルデータベース内の複数のデータベース３Ｄ画像オブジェクトの記憶を開始できる。ウェブクロール操作に基づいて、第１の２Ｄ画像を表す画像オブジェクトを含む文書を取得できる。取得された画像オブジェクトと一致するデータベース３Ｄ画像オブジェクトの１つとの間の一致対応を決定できる。一致するデータベース３Ｄ画像オブジェクトは、第１の２Ｄ画像に関連付けられた一致３Ｄモデルを表すことができる。画像アソシエーションデータベースインデックス内への一致指標の入力を開始できる。一致指標は、文書に含まれる取得した画像オブジェクトと３Ｄモデルデータベース内に記憶された一致するデータベース３Ｄ画像オブジェクトとの間の一致対応を示すことができる。
【０００４】
[0004]  別の態様によれば、コンピュータ可読記憶媒体上に有形に具現化されるコンピュータプログラムプロダクトは、少なくとも１つのデータ処理装置に２次元（２Ｄ）画像の表現を含む文書を取得させる実行可能コードを含んでいてもよい。さらに、少なくとも１つのデータ処理装置は、２Ｄ画像の少なくとも一部の選択を示す選択指標を取得することができる。さらに、少なくとも１つのデータ処理装置は、デバイスプロセッサを介して、２Ｄ画像の選択された部分とオブジェクトデータベースに記憶された３次元（３Ｄ）画像オブジェクトとの間の、ウェブクローラ解析結果に基づく一致対応を取得できる。さらに、少なくとも１つのデータ処理装置は、２Ｄ画像の選択された部分に対応する３次元画像オブジェクトの３Ｄレンダリングを開始することができる。
【０００５】
[0005]   この概要は本開示の概観をもたらし、以下で「課題を解決するための手段」においてさらに述べられる、選定された概念を導入する。この概要は、特許請求される主題の主要な特徴または本質的な特徴を特定するものではなく、特許請求される主題の範囲を単独で決定するための補助として用いられることを意図するものでもない。１つ又は複数の実施態様の詳細を添付の図面及び以下の説明に記載する。その他の特徴は、説明及び図面から、また請求の範囲から明らかであろう。
【図面の簡単な説明】
【０００６】
【図１】[0006]文書内の３次元オブジェクトの閲覧のための例示的なシステムのブロック図である。
【図２】[0007]文書内の３次元オブジェクトの閲覧のための例示的なシステムのブロック図である。
【図３】[0008]文書中の例示的な３次元オブジェクトの閲覧のユーザビューの例を示す図である。
【図４】[0009]文書中の例示的な３次元オブジェクトの閲覧のユーザビューの例を示す図である。
【図５】[0010]文書内の３次元オブジェクトの閲覧のための例示的なシステムのブロック図である。
【図６】[0011]文書内の３次元オブジェクトの閲覧のための例示的なシステムのブロック図である。
【図７】[0012]図１のシステムの動作例を示すフローチャートである。
【図８】[0013]図２のシステムの動作例を示すフローチャートである。
【図９】[0014]図１のシステムの動作例を示すフローチャートである。
【発明を実施するための形態】
【０００７】
[0015]  検索エンジンのユーザは、頻繁に、より楽しい視覚的な（又はそうでなければ感覚的な）閲覧体験を提供する検索されたアイテムの画像を求める。本明細書で説明する例示の技術は、ウェブ上の画像内のオブジェクトを選択する（例えば、クリック、タッチ、音声コマンド、又はその他のジェスチャーを介して）能力を提供し、オブジェクトの３次元（３Ｄ）表示を受信して、例えば、ウェブブラウザ内でポップアップ表示をし、ユーザがオブジェクト自体を画像の外に引き出したかのような視覚的なユーザ体験を提供することができる。例えば、ユーザは、３Ｄ表現を操作して（例えば、３Ｄ画像を回転させて）、別の角度からオブジェクトを表示することができる。例えば、ユーザがその画像が表すアイテムをどこで購入したらよいか、またそのアイテムに関する他のユーザの感想などの注釈を参照できる。本明細書で説明した例示の技術は、このように、少なくとも、検索、閲覧、及び広告体験のために使用できる。
【０００８】
[0016]  実施形態例によれば、オブジェクトを操作する際にコミュニティ注釈へのリンクが表示され、ユーザはそのアイテムに関する他のユーザの感想を表示できる。例えば、ユーザがＰＲＩＵＳの画像をクリックすると、その性能などについてのレビュー、テスティモニアル、説明のセットをクリックする機会が与えられる。例えば、オブジェクトは、一般的に、任意の画像内のオブジェクトの表示をクリックするとアクセスできるウィキペディアのような情報サイトへのエントリポイントを提供できる。本明細書で説明する実施形態例によれば、オブジェクトの起動及び／又は操作と同時に、スポンサーリンク及び音声を表示再生できる。
【０００９】
[0017]  実施形態例によれば、サーバ又はクラウドプロバイダ（又はプロバイダのグループ）は、３Ｄオブジェクトモデルの少なくとも１つのデータベースを維持することができ、検索エンジン（例えば、ＢＩＮＧ、ＧＯＯＧＬＥ、ＹＡＨＯＯ！）内のウェブクロールの一部として、画像内３Ｄオブジェクトモデルを求めてスキャンを開始できる。実施形態例によれば、オブジェクトが画像内に検出された場合、その後のユーザクリック（又は他の選択動作）によって、データベース内の３Ｄモデルをインスタンス化して操作することができる。
【００１０】
[0018]  本明細書で詳述するように、３Ｄ画像オブジェクトの１つ又は複数のデータベースを維持することができる。例えば、３Ｄ画像オブジェクトに関連付けられた画像は、オフラインのウェブクロールの一部としてスキャンされてもよい。例えば、スキャンするオブジェクトのセットは、関連付けられたウェブページのテキスト内のアイテムに基づいて決定することができる。
【００１１】
[0019]  別の例として、ユーザが最近検索したアイテムについて画像を要求に応じてスキャンすることができる。例えば、ユーザがＳＷＩＮＧＬＩＮＥステープラーを検索する場合、その後表示される画像をスキャンしてＳＷＩＮＧＬＩＮＥステープラーの存在を確認できる。
【００１２】
[0020]  本明細書で詳述するように、特定の画像内にあるオブジェクト、及びそれがどこにあるかを示す関連データベースを維持することができる。本明細書で詳述するように、ウェブブラウザを修正して、ブラウザのユーザが文書内の現在表示されている画像の一部を選択する（例えば、クリックまたはその他の選択アクションによって）と、関連付けられた３Ｄオブジェクトのインスタンス化及び３Ｄオブジェクトの表示を提供することができる。
【００１３】
[0021]  実施形態例によれば、コミュニティ注釈は、データベース内の３Ｄオブジェクトに関連付けることができる。さらに、コミュニティ注釈をそれぞれの関連付けられた３Ｄオブジェクトに関連付けて表示してもよい。
【００１４】
[0022]  実施形態例によれば、ユーザがインスタンス化されたオブジェクトを操作したときにスポンサーコンテンツ（例えば、スポンサー広告）を提供できる（例えば、表示、再生できる）。
【００１５】
[0023]  実施形態例によれば、文書（例えば、ウェブページ）を閲覧するときに、データベース内の３Ｄオブジェクトに関連付けられた画像を「アクティブなオブジェクト」として表示してもよい。これらのオブジェクトは、視聴者に対して３Ｄに動画化できるということを知らせる幾つかの属性を自発的に表示できるため、これらのオブジェクトは「アクティブ」と呼ばれる。例えば、文書（例えば、ウェブページ）を閲覧するときに、関連付けられた画像を、自発的にウォブリング動作するか又は動いている（又は強調表示され若しくは動画化されている）画像として表示してもよい。
【００１６】
[0024]  実施形態例によれば、そのようなアクティブオブジェクトを広告一形態として使用できる。例えば、トヨタなどの企業が、ＰＲＩＵＳを含む画像が視聴されるたびに、赤いＰＲＩＵＳが現れるとウェブページ上で自発的ウォブリング動作させることが利益になる。例えば、そのようなアクティビティによって、ユーザに対して画像上でクリックし（又は別の方法で画像を選択し）、製品情報をさらに調べるように仕向けることができる。
【００１７】
[0025]  実施形態例によれば、コンテキストベースのフィルタリングを用いて、ユーザが文書を閲覧するときにどのオブジェクトを活性化又は動画化することができるかを決定できる。例えば、ユーザコンテキスト（例えば、最新の検索質問、ユーザの公知の趣味）を用いていつオブジェクトの動画化を許可するかを決定できる。例えば、ユーザが「ＰＲＩＵＳ」を検索し、他の情報がない場合にトヨタＰＲＩＵＳやホンダアコードのいずれかに合致する可能性があるページを閲覧する場合、ユーザがあいまいな領域をクリックするとＰＲＩＵＳモデルが活性化されることを決定できる。或いは、ユーザがトヨタＰＲＩＵＳとホンダアコードの両方の画像を含むページを閲覧する場合、トヨタＰＲＩＵＳの画像だけが活性化され、選択されたときに３Ｄでレンダリングするという決定が可能である。
【００１８】
[0026]  さらに本明細書で詳述するように、図１は、文書内の３次元オブジェクトの閲覧のためのシステム１００のブロック図である。図１に示すように、システム１００は、例えば、質問結果１０６を取得するように構成することができる質問マネージャ１０４を含む３次元（３Ｄ）オブジェクトハンドラ１０２を含んでいてもよい。例えば、質問１０８に応答して質問結果１０６を得ることができる。例えば、ユーザ１１０は、ユーザ入力デバイスを介して質問１０８を入力することができる。
【００１９】
[0027]  実施形態例によれば、３Ｄオブジェクトハンドラ１０２、又はその１つ又は複数の部分は、後述するように、有形のコンピュータ可読記憶媒体上に記憶できる実行可能命令を含んでいてもよい。実施形態例によれば、コンピュータ可読記憶媒体は、分散デバイスを含む任意の数の記憶デバイス及び任意の数の記憶媒体タイプを含んでいてもよい。
【００２０】
[0028]  実施形態例によれば、３Ｄオブジェクトハンドラ１０２は、１つ又は複数のユーザデバイスに関連して実施できる。例えば、３Ｄオブジェクトハンドラ１０２は、ブラウザのプラグイン又はアドオンとしてユーザデバイス上で実施することができる。例えば、以下に詳述するように、３Ｄオブジェクトハンドラ１０２はサーバと通信することができる。
【００２１】
[0029]  例えば、エンティティリポジトリ１１２は、１つ又は複数のデータベースを含んでいてもよく、データベースインターフェイスコンポーネント１１４を介してアクセスできる。本明細書で説明するリポジトリ情報を記憶するための様々なタイプのデータベース構成（例えば、リレーショナルデータベース、階層型データベース、分散データベース）及び非データベース構成などの多くの技術があることは、データ処理の当業者には明らかであろう。
【００２２】
[0030]  実施形態例によれば、３Ｄオブジェクトハンドラ１０２は、質問結果１０６を記憶できるメモリ１１６を含んでいてもよい。ここで、「メモリ」は、データ及び／又は命令を記憶するように構成された単一のメモリデバイス又は複数のメモリデバイスを含んでいてもよい。さらに、メモリ１１６は複数の分散記憶デバイスにまたがることができる。
【００２３】
[0031]  実施形態例によれば、ユーザインターフェイスコンポーネント１１８は、ユーザ１１０と３Ｄオブジェクトハンドラ１０２との間の通信を管理できる。ユーザ１１０は、ディスプレイ１２２及びその他の入力／出力デバイスに関連付けることができる受信デバイス１２０に関連付けることができる。例えば、ディスプレイ１２２は、内部デバイスバス通信を介して、又は少なくとも１つのネットワーク接続を介して受信デバイス１２０と通信するように構成してもよい。
【００２４】
[0032]  実施形態例によれば、ディスプレイ１２２は、フラットスクリーンディスプレイ、印刷形式ディスプレイ、２次元ディスプレイ、３次元ディスプレイ、静的ディスプレイ、動画ディスプレイ、タクタイル出力などの知覚ディスプレイ、音声出力、及びユーザ（例えば、ユーザ１１０）と通信するためのその他の任意の形態の出力として実施することができる。
【００２５】
[0033]  実施形態例によれば、３Ｄオブジェクトハンドラ１０２は、３Ｄオブジェクトハンドラ１０２と、少なくとも１つのネットワーク１２６を介して３Ｄオブジェクトハンドラ１０２と通信可能なその他のエンティティとの間のネットワーク通信を管理できるネットワーク通信コンポーネント１２４を含んでいてもよい。例えば、ネットワーク１２６は、少なくとも、インターネット、少なくとも１つの無線ネットワーク、又は少なくとも１つの有線ネットワークの１つを含んでいてもよい。例えば、ネットワーク１２６は、セルラネットワーク、無線ネットワーク、又は３Ｄオブジェクトハンドラ１０２のためのデータの送信をサポートする任意のタイプのネットワークを含むことができる。例えば、ネットワーク通信コンポーネント１２４は、３Ｄオブジェクトハンドラ１０２と受信デバイス１２０との間のネットワーク通信を管理することができる。例えば、ネットワーク通信コンポーネント１２４は、ユーザインターフェイスコンポーネント１１８と受信デバイス１２０との間のネットワーク通信を管理できる。
【００２６】
[0034]  実施形態例によれば、３Ｄオブジェクトハンドラ１０２、又はその１つ又は複数の部分は、ユーザデバイスに関連付けられたブラウザプラグインを介して実施できる。
【００２７】
[0035]  文書取得コンポーネント１２８は、取得した質問結果１０６に基づいて、画像１３４を表す第１の画像オブジェクト１３２を含む文書１３０を取得するように構成されてもよい。例えば、画像１３４は２次元（２Ｄ）画像を含んでいてもよい。
【００２８】
[0036]  セレクタコンポーネント１３６は、画像１３４の少なくとも一部の選択を表す選択指標１３８を取得するように構成できる。
【００２９】
[0037]  画像マッチングコンポーネント１４０は、以前に画像アソシエーションデータベースインデックス１４６内に記憶されたウェブクローラ画像マッチング解析結果に基づいて、デバイスプロセッサ１４２を介して、画像１３４の選択された部分とデータベース３次元（３Ｄ）画像オブジェクト１４４との間の一致対応を決定するように構成できる。
【００３０】
[0038]  ここで、「プロセッサ」は、処理システムに関連付けられた命令を処理するように構成された単一のプロセッサ又は複数のプロセッサを含んでいてもよい。したがって、プロセッサは、並列の形で、及び／又は分散した形で１つ又は複数のプロセッサの処理命令を含むことができる。図１ではデバイスプロセッサ１４２は３Ｄオブジェクトハンドラ１０２の外部にあるように示されているが、データ処理分野の当業者は、デバイスプロセッサ１４２が単一のコンポーネントとして、及び／又は３Ｄオブジェクトハンドラ１０２の内部又は外部に位置する分散ユニットとして、及び／又はその要素のいずれかとして実施できることを理解するであろう。
【００３１】
[0039]  例えば、システム１００は、１つ又は複数のプロセッサ１４２を含んでいてもよい。例えば、システム１００は、本明細書に記載する、システム１００内に含まれる様々な例示的なコンポーネントに関連付けられた動作を少なくとも１つのデータ処理装置に実行させるように構成された１つまたは複数のプロセッサによって実行可能な命令を記憶した少なくとも１つの有形のコンピュータ可読記憶媒体を含んでいてもよい。例えば、１つ又は複数のプロセッサ１４２を、少なくとも１つのデータ処理装置内に含んでもよい。本明細書での説明に従って、そのような内容の精神から逸脱することなく、構成可能なプロセッサ及びデータ処理装置の多くの構成があることをデータ処理分野の当業者は理解するであろう。
【００３２】
[0040]  ここで、「コンポーネント」は、一定の動作を実行するように構成することができる命令又はハードウェアを指してもよい。そのような命令は、命令のコンポーネントグループ内に含んでもよく、又は複数のグループにわたって分散してもよい。例えば、第１のコンポーネントの動作に関連付けられた幾つかの命令を、第２のコンポーネント（又はさらに多くのコンポーネント）の動作に関連付けられた命令のグループ内に含んでもよい。
【００３３】
[0041]  ３Ｄレンダリングコンポーネント１４８は、画像１３４の選択された部分に対応するデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始するように構成されてもよい。
【００３４】
[0042]  例えば、データベース３Ｄ画像オブジェクト１４４のオブジェクトデータベース１５０を維持することができる。例えば、３Ｄ画像オブジェクト１４４は、３Ｄモデルを含んでいてもよい。例えば、３Ｄ画像オブジェクト１４４のデータベース１５０は、検索エンジン又はウェブクローラに関連付けて維持することができる。例えば、３Ｄモデルを、スピン撮影、レーザスキャン、例えばＫＩＮＥＣＴ入力デバイス、ＬＩＦＥＣＡＭカメラ、それぞれのユーザによって生成されたコンピュータ支援設計（ＣＡＤ）モデルなどの３Ｄカメラデバイスを介してデータベース１５０に入力することができる。例えば、製造業者及び／又は小売業者は、彼らの現在の製品の提供に関連付けられた３Ｄモデルをアップロードすることができる。
【００３５】
[0043]  例えば、ウェブクローラは、画像内の３次元モデルに関連付けられたオブジェクトを検出できる。例えば、ウェブクローラは、ウェブ文書内に含まれる画像のキャプションに基づいて、関連付けられたオブジェクトを検出できる。
【００３６】
[0044]  実施形態例によれば、３Ｄレンダリングコンポーネント１４８は、画像１３４の選択された部分に関連付けられた３Ｄポップアップ画像のレンダリングを開始することに基づいて３Ｄレンダリングを開始するように構成してもよい。
【００３７】
[0045]  例えば、画像マッチングコンポーネント１４０は、ウェブクローラ画像マッチング解析結果に基づいて一致対応を決定し、質問１０８、取得した文書１３０内の取得した第１の画像オブジェクト１３２の所定の近傍内にあるテキスト、取得した文書１３０に関連付けられたタイトル、取得した文書１３０を参照するソースを介して取得した情報、又は取得した第１の画像オブジェクト１３２に関連付けられた記憶アドレス指標のうち１つ以上に基づいてコンテキスト１５２を決定するように構成してもよい。
【００３８】
[0046]  注釈コンポーネント１５４は、データベース３Ｄ画像オブジェクト１４４に関連付けられた１つ又は複数の注釈１５６を取得するように構成できる。例えば、注釈１５６は、データベース３Ｄ画像オブジェクト１４４に関連付けられた様々なユーザ体験、コメント、及び／又はテスティモニアルなどのコミュニティ注釈を含んでいてもよい。そのような注釈１５６は、それぞれのユーザから直接得ることができ、又は、ソーシャルネットワークアプリケーション又は「ウィキ」タイプのソースのようなその他のソースから得ることもできる。例えば、注釈１５６は、データベース３Ｄ画像オブジェクト１４４に関連付けられた３Ｄ画像の様々な部分を記述する記述アイテムを含んでいてもよい。
【００３９】
[0047]  例えば、注釈１５６は、データベース３Ｄ画像オブジェクト１４４を介して３Ｄ画像として描かれるようなカメラ、動物、構造、電子機器などのアイテムの様々な部分の名前を含んでいてもよい。例えば、注釈１５６は、例えば、データベース３Ｄ画像オブジェクト１４４を介して、グループ内の３Ｄ画像として描くことができる構造又は建物の名前を含んでいてもよい。例えば、ユーザがデータベース３Ｄ画像オブジェクト１４４に対応する２Ｄ画像などのオブジェクトをクリックしたときに３Ｄレンダリングで注釈１５６を表示することができる。
【００４０】
[0048]  例えば、注釈１５６は、テキスト、音声、及び／又は変化する圧力、変化する温度、表示されるオブジェクトの色の変更、ガタガタする壁、煙、蒸気、においなどのその他の知覚データを含んでいてもよい。
【００４１】
[0049]  実施形態例によれば、画像オブジェクト検索コンポーネント１５８は、画像１３４の選択された部分に対応するデータベース３Ｄ画像オブジェクト１４４の、オブジェクトデータベース１５０からの検索を開始するように構成してもよい。
【００４２】
[0050]  実施形態例によれば、３Ｄレンダリングコンポーネント１４８は、取得した注釈１５６を用いて、画像１３４の選択された部分に対応する検索したデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始するように構成してもよい。
【００４３】
[0051]  実施形態例によれば、注釈コンポーネント１５４は、ユーザ、マーケティングアプリケーション、ソーシャルネットワーキングアプリケーション、又は注釈データベースのうち１つ以上から、データベース３Ｄ画像オブジェクト１４４に関連付けられた１つ又は複数の注釈１５６を取得するように構成することができる。
【００４４】
[0052]  実施形態例によれば、注釈１５６の少なくとも一部は、注釈１５６の部分に含まれる注釈１５６の各々に関連付けられたデータベース３Ｄ画像オブジェクト１４４内のローカリティを示す１つ又は複数の画像ロケール指標１６０を含んでいてもよい。
【００４５】
[0053]  実施形態例によれば、３Ｄレンダリングコンポーネント１４８は、検索したデータベース３Ｄ画像オブジェクト１４４内の表示されたローカリティに関連付けて表示される注釈１５６の部分を用いて、画像１３４の選択された部分に対応する検索したデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始するように構成することができる。
【００４６】
[0054]  実施形態例によれば、ユーザ操作コンポーネント１６２は、ユーザ入力デバイスから操作指標１６４を取得するように構成してもよい。３Ｄレンダリングコンポーネント１４８は、受信した操作指標１６４に基づいて、画像１３４の選択された部分に対応するデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始するように構成してもよい。
【００４７】
[0055]  例えば、３Ｄレンダリングコンポーネント１４８は、データベース３Ｄ画像オブジェクト１４４に関連付けられた異なる複数の３Ｄ回転画像ビューの３Ｄレンダリングに基づいて、データベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始するように構成することができる。例えば、操作指標１６４は、入力デバイスの指向性ユーザ運動に関連付けられた座標を含んでいてもよい。例えば、ユーザ１１０がマウスを右に動かした場合、操作指標１６４は右に移動するマウスに関連付けられた変化する座標を含むことができ、３Ｄレンダリングコンポーネント１４８は操作指標１６４を用いてデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始し、関連付けられた３Ｄ画像の右回転を示すことができる。
【００４８】
[0056]  例えば、操作指標１６４は、関連付けられた３Ｄ画像に向けたユーザモーフィングアクションを示すことができる。例えば、ユーザ１１０は、「在庫の」結婚指輪に関連付けられた３Ｄ画像を表示することができ、必要に応じて、指輪の様々な部分のモーフィングに基づいて、指輪をカスタマイズする選択ができる。例えば、ユーザ１１０は、３Ｄ印刷デバイスへのカスタマイズされた指輪の印刷を開始できる。例えば、３Ｄ印刷バージョンを実際のカスタマイズされた結婚指輪のための金型として使用してもよい。データ処理分野の当業者は、本発明の精神から逸脱することなく、そのようなモーフィングアクティビティの多くの他の用途があることを理解するであろう。
【００４９】
[0057]  実施形態例によれば、３Ｄレンダリングは、データベース３Ｄ画像オブジェクト１４４の３Ｄ印刷を介して達成可能である。例えば、３Ｄプリンタは、３Ｄ−ＳＹＳＴＥＭＳ及びＤＥＳＫＴＯＰ  ＦＡＣＴＯＲＹなどの会社から購入することができる。
【００５０】
[0058]  別の例として、ユーザ１１０は、異なる３次元画像に３Ｄ画像をモーフィングでき、その後、オブジェクトデータベース１５０への異なる３Ｄ画像の記憶を開始できる。
【００５１】
[0059]  例示の動画コンポーネント１６６は、１つ又は複数のアクティブな画像の表示のレンダリングを開始するように構成できる。例えば、レンダリングは、１つ又は複数のアクティブ画像に関連付けられたウォブルアクティビティのレンダリング、又は１つ又は複数のアクティブな画像に関連付けられた１つ又は複数のアクティブ画像視覚指標のレンダリングを含んでいてもよい。例えば、表示のレンダリングのための１つ又は複数のアクティブな画像の選択は、質問（１７０）に関連付けられた属性１６８、ユーザプロファイル１７２から取得した属性、最近の質問履歴１７４に関連付けられた属性、ソーシャルネットワーキング情報１７６から取得した属性、スポンサーコンテンツ１８０の１つ又は複数のスポンサー１７８から取得した属性、又は画像アソシエーションデータベースのインデックスから取得した一致情報のうち１つ以上に基づく。
【００５２】
[0060]  例えば、ユーザ１１０は、「おもちゃの鳥」などの検索アイテムのウェブ検索を開始することができる。例えば、ウェブ検索に関連付けられたウェブブラウザは、すべての検索されたウェブページ内に出現した検索アイテムの活性化（動画などを介した）を開始することができる。例えば、動画は、２Ｄ画像に関連付けられた３Ｄレンダリングを選択し（例えば、クリックし）、操作するようにユーザの注意をひくことができる。
【００５３】
[0061]  実施形態例によれば、スポンサーコンテンツコンポーネント１８２は、１つ又は複数のアクティブな画像の表示の３Ｄレンダリングを用いたスポンサーコンテンツの１８０の出力を開始することと、データベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを用いたスポンサーコンテンツ１８０の出力を開始することのうち１つ以上に基づいて、画像１３４の選択された部分に対応するスポンサーコンテンツ１８０の出力を開始するように構成できる。
【００５４】
[0062]  例えば、ユーザがオブジェクトを選択又はクリックしたときに、ユーザは、スポンサーリンクを体験し（例えば、見たり聞いたり感じて）、及び／又はスポンサー音声を聞き、又は選択されたオブジェクトに関連付け得るその他の知覚アクティビティを体験することができる。例えば、スポンサーコンテンツ１８０は、スポンサーに関連付けられたウェブページへのリンクとして、又はスポンサーコンテンツ１８０の視聴者が利用可能な販売及び割引の広告として表示できる。実施形態例によれば、スポンサーコンテンツ１８０は、データベース３Ｄ画像オブジェクト１４４の３Ｄレンダリング及び／又は１つ又は複数のアクティブな画像の表示の３Ｄレンダリングに伴うコマーシャルジングル又は製品テスティモニアルなどのスポンサー音声トラックを含んでいてもよい。
【００５５】
[0063]  別の態様によれば、図２に示すように、３Ｄオブジェクトサーバ２０２は、複数のデータベース３Ｄ画像オブジェクト２０６を取得するように構成できるデータベース取得コンポーネント２０４を含んでいてもよい。データベース３Ｄ画像オブジェクト２０６の各々は、対応する２次元（２Ｄ）画像２０８に関連付けられた３次元（３Ｄ）モデルを表すことができる。例えば、３Ｄオブジェクトサーバ２０２は、３Ｄオブジェクトハンドラ１０２と通信することができる。例えば、３Ｄオブジェクトサーバ２０２は、直接に、又は１つ又は複数のネットワークを介して３Ｄオブジェクトハンドラ１０２と通信することができる。
【００５６】
[0064]  実施形態例によれば、３Ｄオブジェクトサーバ２０２、又はその１つ又は複数の部分は、後述するように、コンピュータ可読記憶媒体上に記憶できる実行可能な命令を含んでいてもよい。実施形態例によれば、コンピュータ可読記憶媒体は、分散デバイスを含む任意の数の記憶デバイス及び任意の数の記憶メディアタイプを含んでいてもよい。
【００５７】
[0065]  例えば、エンティティリポジトリ２１２は、１つ又は複数のデータベースを含むことができ、データベースインターフェイスコンポーネント２１４を介してアクセスできる。様々なタイプのデータベース構成（例えば、リレーショナルデータベース、階層型データベース、分散データベース）及び非データベース構成などの本明細書に記載するリポジトリ情報を記憶する多数の技術があることは、データ処理分野の当業者には明らかであろう。
【００５８】
[0066]  実施形態例によれば、３Ｄオブジェクトサーバ２０２は、データベース３Ｄ画像オブジェクト２０６を記憶できるメモリ２１６を含むことができる。上述したように、「メモリ」は、データ及び／又は命令を記憶するように構成された単一のメモリデバイス又は複数のメモリデバイスを含んでいてもよい。さらに、メモリ２１６は複数の分散記憶デバイスにまたがることができる。
【００５９】
[0067]  実施形態例によれば、ユーザインターフェイスコンポーネント２１８は、ユーザ２２０と３Ｄオブジェクトサーバ２０２との間の通信を管理できる。ユーザ２１８は、ディスプレイ２２２及びその他の入力／出力デバイスに関連付けられる受信デバイス２２０に関連付けることができる。例えば、ディスプレイ２２２は、内部デバイスバス通信を介して、又は少なくとも１つのネットワーク接続を介して受信デバイス２２０と通信するように構成することができる。
【００６０】
[0068]  例示的な実施形態によれば、ディスプレイ２２２は、フラットスクリーンディスプレイ、印刷形式ディスプレイ、２次元ディスプレイ、３次元ディスプレイ、静的ディスプレイ、動画ディスプレイ、タクタイル出力などの知覚ディスプレイ、音声出力、及びユーザ（例えば、ユーザ２１８）と通信するためのその他の任意の形態の出力として実施することができる。
【００６１】
[0069]  実施形態例によれば、３Ｄオブジェクトサーバ２０２は、３Ｄオブジェクトサーバ２０２と、少なくとも１つのネットワーク２２６を介して３Ｄオブジェクトサーバ２０２と通信可能なその他のエンティティとの間のネットワーク通信を管理できるネットワーク通信コンポーネント２２４を含んでいてもよい。例えば、ネットワーク２２６は、少なくとも、インターネット、少なくとも１つの無線ネットワーク、又は少なくとも１つの有線ネットワークの１つを含んでいてもよい。例えば、ネットワーク２２６は、セルラネットワーク、無線ネットワーク、又は３Ｄオブジェクトサーバ２０２のためのデータの送信をサポートする任意のタイプのネットワークを含むことができる。例えば、ネットワーク通信コンポーネント２２４は、３Ｄオブジェクトサーバ２０２と受信デバイス２２０との間のネットワーク通信を管理することができる。例えば、ネットワーク通信コンポーネント２２４は、ユーザインターフェイスコンポーネント２１８と受信デバイス２２０との間のネットワーク通信を管理できる。
【００６２】
[0070]  データベース記憶コンポーネント２２８は、デバイスプロセッサ２３０を介して、オブジェクトデータベース２３２内の複数のデータベース３Ｄ画像オブジェクト２０６の記憶を開始できる。例えば、オブジェクトデータベース２３２は３Ｄモデルデータベースを含んでいてもよい。
【００６３】
[0071]  上述したように、「プロセッサ」は、処理システムに関連付けられた命令を処理するように構成された単一のプロセッサ又は複数のプロセッサを含んでいてもよい。したがって、プロセッサは、並列の形で、及び／又は分散した形で１つ又は複数のプロセッサの処理命令を含むことができる。図２ではデバイスプロセッサ２３０は３Ｄオブジェクトサーバ２０２の外部にあるように示されているが、データ処理分野の当業者は、デバイスプロセッサ２３０が単一のコンポーネントとして、及び／又は３Ｄオブジェクトサーバ２０２の内部又は外部に位置する分散ユニットとして、及び／又はその要素のいずれかとして実施できることを理解するであろう。
【００６４】
[0072]  文書取得コンポーネント２３４は、ウェブクロー動作に基づいて、第１の２Ｄ画像２０８を表す画像オブジェクト２４０を含む文書２３８を取得できる。
【００６５】
[0073]  一致マネージャ２４２は、取得された画像オブジェクト２４０と、第１の２Ｄ画像２０８に関連付けられた一致する３Ｄモデルを表す一致するデータベース３Ｄ画像オブジェクト２０６の一致する１つとの間の一致対応を決定することができる。
【００６６】
[0074]  基礎となるシーンの一般的な３Ｄジオメトリを利用した人気サイトの膨大な写真のコレクションを閲覧し編集するためのシステムが、Noah Snavely、Steven M. Seitz、Richard Szeliski著の、「Photo tourism: Exploring photo collections in 3D」、ACM Transactions on Graphics (SIGGRAPH Proceedings), 25(3)、2006年、pp.835-846に記載されている。同書に記載された方法は、画像それ自体から、基礎となるシーンのまばらな３Ｄ幾何学的表現と共に、写真家の位置と向きとを決定する手順に基づく。
【００６７】
[0075]  例えば、一致マネージャ２４２は、データベース３Ｄ画像オブジェクト２０６と追加のソースから得られた画像との間の一致も決定することができる。例えば、一致マネージャ２４２は、データベース３Ｄ画像オブジェクト２０６とビデオから取得したフレーム又はユーザ入力から取得した画像との間の一致を決定することができる。
【００６８】
[0076]  インデックスエントリマネージャ２４４は、文書２３８内に含まれる取得した画像オブジェクト２４０とオブジェクトデータベース２３２内に記憶された一致するデータベース３Ｄ画像オブジェクト２０６との間の一致対応を示す一致指標２４６の画像アソシエーションデータベースインデックス２４８内への入力を開始することができる。
【００６９】
[0077]  実施形態例によれば、インデックス作成の際に、潜在的な一致が、検索エンジンによるアイテムの検索後すぐに閲覧されたウェブページ上のアイテムの検索に基づいて制限される場合がある。さらに、画像に関連付けられたテキストを用いて、潜在的な一致のセットをさらに制限できる。実施形態例によれば、実行時に、検索エンジンによる特定のアイテムの検索において、後続の検証ステップが実行されてもよく、また、検証が成功した場合に検索されたオブジェクトだけを活性化又は動画化してもよい。
【００７０】
[0078]  実施形態例によれば、関連付けられたテキストとユーザの検索履歴を用いて認識（例えば、「何がこの画像に表示されるか？」という質問に答えること）支援することができ、潜在的に認識の態様を検出（例えば、「この画像に、ＭＩＣＲＯＳＯＦＴ  ＴＢＯＸコンソールがあるか？」という質問に答えること）へ低減できる。特に、ユーザが検索エンジン質問を発行するか、ショッピングウェブサイトの製品ページを訪れると必ず、続いて見られる画像や動画内で検索の対象を決定できる。
【００７１】
[0079]  実施形態例によれば、一致対応を決定することは、取得した画像オブジェクト２４０の一部と第１の２Ｄ画像２０８の一部に関連付けられた３Ｄ画像モデルを表す一致するデータベース３Ｄ画像オブジェクト２０６の１つとの間の一致対応を決定することを含む。
【００７２】
[0080]  実施形態例によれば、一致指標２４６の入力を開始することは、文書２３８内に含まれる取得した画像オブジェクト２４０の一部とオブジェクトデータベース２３２内に記憶された一致するデータベース３Ｄ画像オブジェクト２０６との間の一致対応を示す一致指標の２４６の画像アソシエーションデータベースインデックス２４８内への入力を開始することを含む。
【００７３】
[0081]  実施形態例によれば、一致対応を決定することは、取得した文書２３８内の取得された画像オブジェクト２４０のコンテキスト２５０、ユーザから取得した一致選択２５２、又は取得した画像オブジェクト２４０に関連付けられた記憶アドレス指標２５４のうち１つ以上に基づいて、取得した画像オブジェクト２４０と一致するデータベース３Ｄ画像オブジェクト２０６の１つとの間の一致を決定することを含む。
【００７４】
[0082]  実施形態例によれば、コンテキスト２５０は、取得した文書２３８内の取得した画像オブジェクト２４０の所定の近傍内にあるテキスト、取得した文書２３８に関連付けられたタイトル、又は取得した文書２３８を参照するソースを介して取得した情報のうち１つ以上を含んでいてもよい。
【００７５】
[0083]  実施形態例によれば、記憶アドレス指標２５４は、ユニフォームリソースロケータ（ＵＲＬ）を含む。例えば、ＵＲＬは、取得された画像オブジェクト２４０自体のＵＲＬを含んでいてもよく、又は取得した文書２３８のＵＲＬを含んでいてもよい。
【００７６】
[0084]  例えば、取得した文書２３８は、ウェブページ、ビデオファイル、１つ又は複数の埋め込まれた画像を含むテキスト文書、１つ又は複数の埋め込まれた画像を含むｅメールメッセージ、又は１つ又は複数の添付画像を含む文書のうち１つ以上を含む。例えば、取得した文書２３８がビデオファイルを含む場合、一致対応を決定することは、ビデオファイル内に含まれる２Ｄフレームと、２Ｄフレームの少なくとも一部に対応する３Ｄ画像モデルを表す一致するデータベース３Ｄ画像オブジェクト２０６の一致する１つとの間の一致対応を決定することを含む。
【００７７】
[0085]  実施形態例によれば、３Ｄオブジェクト要求コンポーネント２６０は、データベース３Ｄ画像オブジェクト２０６の要求された１つを求める要求２６２を受信するように構成でき、要求２６２は、第２の２Ｄ画像２０８を表す第２の画像オブジェクト２４０に関連付けられた指標を含む。
【００７８】
[0086]  ３Ｄオブジェクト要求コンポーネント２６０は、画像アソシエーションデータベースインデックス２４８内に記憶された第２の一致指標２４６にアクセスすることに基づいて、要求されたデータベース３Ｄ画像オブジェクト２０６を取得することができ、第２の一致指標２４６は、第２の画像オブジェクト２４０とオブジェクトデータベース２３２内に記憶された要求されたデータベース３Ｄ画像オブジェクト２０６との間の一致対応を示す。
【００７９】
[0087]  実施形態例によれば、注釈取得コンポーネント２６４は、データベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクトに関連付けられた複数の注釈２６６を取得するように構成してもよい。
【００８０】
[0088]  注釈コンポーネント２６４は、注釈２６６と、データベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクトと注釈データベース２６８内の複数の注釈２６６との間の関連を示す指標とを記憶することができる。
【００８１】
[0089]  実施形態例によれば、要求２６２を受信することは、データベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクトを求める要求２６２を受信することを含んでいてもよい。
【００８２】
[0090]  実施形態例によれば、要求されたデータベース３Ｄ画像オブジェクト２０６を取得することは、要求されたデータベース３Ｄ画像オブジェクト２０６を取得することと、注釈データベース２６８からの関連付けられた複数の注釈２６６の検索を開始することを含んでいてもよい。
【００８３】
[0091]  実施形態例によれば、データベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクトに関連付けられた複数の注釈２６６を取得することは、ユーザ、マーケティングアプリケーション、又はソーシャルネットワーキングアプリケーションのうち１つ以上からデータベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクトに関連付けられた複数の注釈２６６を取得することを含んでいてもよい。
【００８４】
[0092]  実施形態例によれば、データベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクトに関連付けられた複数の注釈２６６を取得することは、複数の注釈２６６の各々に関連付けられたデータベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクト内のローカリティを示す画像ロケール指標２７０を取得することを含んでいてもよい。
【００８５】
[0093]  本明細書に記載する実施形態例によれば、２Ｄ画像によれば、インターネット上の製造されたアイテムの２Ｄ画像は、ユーザが回転させ、あらゆる角度から表示し、対話できる３Ｄオブジェクトに関連付けることができる。例えば、製造業者と技能工は彼らの製品の３Ｄモデルを生成してそれらをオブジェクトデータベース２３２内にアップロードすることができる。検索エンジンが検索のためにウェブページをインデクシングする際に、埋め込まれた画像をスキャンしてデータベースオブジェクトの存在を決定できる。その後、ブラウザのユーザが画像内のオブジェクトの１つをクリックすると、フル３Ｄモデルがページから飛び出し、ユーザはこのモデルと対話できる。ユーザがオブジェクトを回転させると、ユーザはコミュニティ注釈（例えば、レビュー、体験、及び一般情報）とスポンサーリンク及びコマーシャル情報（例えば、オブジェクトをどこで購入できるか、価格）とを表示することができる。本明細書に記載する実施形態例によれば、ユーザコンテキストを用いて、画像内のどのオブジェクトを活性化するか、またオブジェクトを操作したときに何の情報を表示するかを決定できる。
【００８６】
[0094]  例えば、ユーザコンテキストを用いて、３Ｄレンダリングでユーザに対して表示できる注釈１５６をフィルタリングすることができる。実施形態例によれば、特定のユーザへの表示のための注釈１５６は、ユーザのソーシャルネットワーク「友人」から受信した注釈１５６又は特定のユーザの知られている関心に関連する注釈１５６に制限することができる。
【００８７】
[0095]  図３は、文書中の例示的な３次元オブジェクトの閲覧の例示的なユーザビューを示す。図３ａに示すように、ブラウザウィンドウ３０２は、検索テキストボックス３０４を含む。図３ａに示すように、ユーザは、検索テキストボックス３０４に「デジタルカメラ」の検索質問を入力した。図３ａに示すように、検索の８つの結果がブラウザウィンドウ３０２に表示され、様々なデジタルカメラの２Ｄ画像を含む様々な検索されたアイテムのブランドや価格帯を示している。
【００８８】
[0096]  図３ｂに示すように、３つの検索された画像が活性化され、それぞれのデジタルカメラを囲むように描かれたアクティブな矢印３０８、３１０，３１２によって示されている。本明細書に記載する例示的な実施形態によれば、アクティブな矢印３０８、３１０，３１２に関連付けられた画像は、動画機能（例えば、「ウォブル」又は回転運動）で表示でき、アクティブな矢印３０８、３１０，３１２に関連付けられた画像を３Ｄ起動のために選択できるということをさらにユーザに通知する。
【００８９】
[0097]  また、図３ｂに示すように、アクティブな矢印３０８、３１０、及び／又は３１２に関連付けられた画像に３１２に関連付けられたスポンサーコンテンツ３１４を表示できる。例えば、アクティブな矢印３０８、３１０，３１２に関連付けられた画像に関連付けられたアイテムに関する詳細情報を提供できるウェブページへのリンクを表示することができる。
【００９０】
[0098]  図３ｃに示すように、ユーザがアクティブな矢印３１２（例えば、「ブランドＨ」）に関連付けられた画像を選択して、関連付けられたデジタルカメラの３Ｄポップアップ画像３１６が表示される。図３ｃに示すように、関連付けられたデジタルカメラの様々な特徴を示す注釈３１８も表示され、カメラ上のそれぞれの特徴（例えば、フラッシュホットシュー、モードセレクタ、レンズレリーズ、調節ダイヤル、シャッタレリーズ）を示している。例えば、ブラウザは、インデックス２４８にアクセスして、どのデータベース３Ｄ画像オブジェクト２０６がアクティブな矢印３１２に一致するかを決定し、決定されたデータベース３Ｄ画像オブジェクト２０６の３Ｄレンダリングを提供することができる。例えば、ブラウザは、３Ｄポップアップ画像３１６と共に注釈３１６を表示する（関連付けられた画像ロケール指標２７０を用いて）ために、注釈データベース２６８から関連付けられた注釈２６６をさらに検索することができる。
【００９１】
[0099]  ユーザは、表示された３Ｄのポップアップ画像３１６を操作して、回転ビュー、図３ｄ、図３ｅ、図３ｆ、図３ｇ、及び図３ｈを得ることができ、又はブラウザが自発的に回転ビューを提供することができる。図３ｄ、図３ｅ、図３ｆ、図３ｇ、及び図３ｈに示すように、ブラウザによって注釈３１６を変化させて、回転ビュー内に現れその後消えるデジタルカメラの部分に整列させることができる。
【００９２】
[0100]  図４は、文書内の例示的な３次元オブジェクト閲覧の例示的なユーザビューを示す。図４ａに示すように、ブラウザウィンドウ４０２は、検索テキストボックス４０４を含む。図４ａに示すように、ユーザは検索テキストボックス４０４に「ニューヨーク市」を検索質問に入力した。図４ａに示すように、「ニューヨーク市の光景」を示す結果が、エンパイアステートビルディング、周囲の構造物の画像４の画像４０６と共に表示されている。図４ａに示すように、キャプション４０８は、画像がエンパイアステートビルを示していることを示し、リンク４１０は、リンク４１０を選択することで、エンパイアステートビルディングに関する更なる情報の可用性を示している。
【００９３】
[0101]  図に４ｂに示すように、検索された画像４０６が画像４０６を取り囲むように描かれたアクティブな矢印４１２で示すように活性化されている。本明細書に記載の例示的な実施形態によれば、アクティブな矢印４１２に関連付けられた画像は、動画機能（例えば、「ウォブル」又は回転運動）で表示でき、アクティブな矢印４１２に関連付けられた画像を３Ｄ起動のために選択できるということをさらにユーザに通知する。
【００９４】
[0102]  図４ｃに示すように、ユーザがアクティブな矢印に関連付けられた画像を選択し、エンパイアステートビルディングの３Ｄポップアップ画像４１４が表示されている。ユーザは、３Ｄポップアップ画像４１４を操作して回転ビュー図４ｄ、図４ｅ、図４ｆ、図４ｇ、図４ｈ、図４ｉ、及び図４ｊを得ることができ、又はブラウザが自発的に回転ビューを提供することができる。図４ｄ、図４ｅ、図４ｆ、図４ｇ、図４ｈ、図４ｉ及び図４ｊに示すように、回転ビューは、それぞれの回転ビューからから見たニューヨーク市のエンパイアステートビルを囲む様々な構造物を示すことができる。
【００９５】
[0103]  図４ｃ、図４ｄ、図４ｅ、図４ｆ、図４ｇ、図４ｈ、図４ｉ、及び図４ｊには示していないが、スポンサーコンテンツも活性化オブジェクトを備えていてもよい。例えば、様々なビューに、音声説明を付加してビューを回転させる際に表示される目印を説明し、又は関連付けられた風景の様々な部分に関連付けられた歴史的事実を説明することができる。別の例として、観光客のための情報の説明を提供して、ユーザに可能な様々な旅行の手配（例えば、近くのホテル、レストラン、ショー）を知らせることができる。
【００９６】
[0104]  図５は、文書内の３次元オブジェクトの閲覧のための例示的システムのブロック図である。同図に示すように、クライアント５０２は、クラウドシステム５０４と通信することができる。例えば、クライアント５０２は、ブラウザをユーザデバイス上に備えたブラウザプラグインを含んでいてもよい。図５に示すように、クライアント５０２は、質問コンポーネント５０６（例えば、質問マネージャ１０４）、ビューコンポーネント５０８、及び注釈コンポーネント５１０（例えば、注釈コンポーネント１５４）を含む。
【００９７】
[0105]  さらに図５に示すように、クラウドシステム５０４は、画像データベース５１２、インデックス５１４（例えば、インデックス１４６、２４８）、オブジェクトデータベース５１６（例えば、オブジェクトデータベース１５０、２３２）、及び画像マッチングデータベース５１８を含む。画像マッチングデータベース５１８は、画像内にどのオブジェクトが存在し、またそれがどこにあるかを決定し追跡することができる。例えば、画像マッチングデータベース５１８は、画像のＵＲＬをオブジェクトのセットと、画像内でのその位置及び向きとに関連付けることができる。
【００９８】
[0106]  図５に示すように、質問コンポーネント５０６は、画像データベース５１２にアクセスして、取得した文書内に含まれ得る（又はフレームとしてビデオから取得できる）２Ｄ画像に関連付けられた一致する３Ｄ画像オブジェクトを決定することができる。
【００９９】
[0107]  また、図５に示すように、クラウドシステム５０４は、オブジェクトデータベース５１６に関連付けられたインテイクコンポーネント５２０を含む。例えば、ユーザは、本明細書で詳述するように、オブジェクトデータベース５１６内に３Ｄ画像オブジェクトを手作業で入力できる。ビューコンポーネント５０８は、オブジェクトデータベースにアクセスして、取得した文書に含まれる可能性がある２Ｄ画像の活性化のために３Ｄ画像オブジェクトを取得することができる（例えば、３Ｄレンダリングコンポーネント１４８を介して）。
【０１００】
[0108]  注釈データベース５２２は、３Ｄ画像オブジェクトに関連付けられた注釈（例えば、注釈１５６、２６６）を記憶することができる。図５に示すように、注釈コンポーネント５１０は、注釈データベース５２２にアクセスして注釈を記憶し検索することができる。本明細書で詳述するように、関連付けられた３Ｄ画像（例えば、画像ロケール指標１６０）上の場所を示す注釈に関連付けられたロケール情報を注釈データベース５２２内に記憶することができる。
【０１０１】
[0109]  図６は、文書内の３次元オブジェクトの閲覧のための例示的システムのブロック図である。実施形態例によれば、図６は、文書内の３次元オブジェクトの閲覧のための例示的なシステムの概要を提供できる。
【０１０２】
[0110]  図６に示すように、オブジェクトスキャンコンポーネント６０２は、オブジェクトデータベース６０４（例えば、オブジェクトデータベース１５０、２３２）に３Ｄ画像オブジェクトを提供できる。本明細書で詳述するように、３Ｄ画像オブジェクトは、様々なソースから得ることができる。例えば、商店主は、現在の自社製品に対応する３Ｄ画像オブジェクトを提供することができる。
【０１０３】
[0111]  別の例として、愛好家、コレクター、ホビイスト、及びアーティストは、オブジェクトをアップロードしてウェブ上に表示でき、３Ｄ画像オブジェクトをスキャンして、それらのアップロードされたオブジェクトに対応付けることができる。例えば、車の所有者は、自分でＥＢＡＹ又はＡＵＴＯＴＲＡＤＥＲ上に掲載する中古車広告に３次元オブジェクトを利用することができる。例えば、ティーンエイジャーは、ＦＡＣＥＢＯＯＫ上で子供らしい３次元ポーズを共有できる。さらに別の例として、有名な目標物と日常的な場所の３次元レンディションを、ＢＩＮＧ  ＭＡＰＳやＧＯＯＧＬＥ  ＭＡＰなどの地図サービスに埋め込むことができる。
【０１０４】
[0112]  実施形態例によれば、ＰＨＯＴＯＳＹＮＴＨを用いて複数の写真を３Ｄ表現に合成できる。例として、個々の愛好家は、オブジェクトを合成する元になる写真のコレクション（例えば、１９６６年版ＣＡＭＡＲＯの愛好家の）にアクセスすることができる。
【０１０５】
[0113]  実施形態例によれば、３Ｄモデル作成のために、ターンテーブル写真技術が、少なくとも、ＦＯＴＯＲＯＢＯＴ、ＳＰＩＮＭＥ、及びＳＮＡＰ３６から利用できる。例えば、ＡＵＴＯＤＥＳＫ  ＰＨＯＴＯＦＬＹアプリケーションを用いて、ユーザはターンテーブルなしで写真から３Ｄモデルを作成できる。さらに、ＡＲＱＳＰＩＮは携帯電話を使った３Ｄモデルを作成するＩＰＨＯＮＥアプリケーションに関連付けられている。さらに、レーザスキャンを用いて３Ｄモデルを取得できる。
【０１０６】
[0114]  ウェブクロールコンポーネント６０６は、オブジェクトデータベース６０４及びウェブページ６０８から情報を得て、オブジェクトデータベース６０４内の３Ｄ画像オブジェクトとウェブページ６０８内に含まれる画像との関連付けを決定することができる。次いで、ウェブクロールコンポーネント６０６は、画像／オブジェクトインデックス６１０に関連付け情報を提供し、ウェブインデックス６１２に関連付け及びその他の情報を提供することができる。
【０１０７】
[0115]  ユーザ質問６１４を検索エンジン６１６に提供でき、検索エンジン６１６はユーザ質問６１４の処理結果としてページ結果６１８を提供できる。ウェブブラウザ６２０は、ページ結果６１８（例えば、文書１３０を含む質問結果１０６として）を取得することができる。ウェブブラウザ６２０は、ページ結果内に含まれる画像オブジェクト１３２とデータベース３Ｄ画像オブジェクト１４４との間の一致を決定でき（画像／オブジェクトインデックス６１０を介して）、オブジェクトデータベース６０４内の一致するデータベース３Ｄ画像オブジェクト１４４の検索を開始できる。
【０１０８】
[0116]  実施形態例によれば、ブラウザプラグイン、又はアドオンは、注釈付きの画像を解釈し、データベースバックエンドにアクセスし、出現するオブジェクトを動画化し、スポンサー広告及びコミュニティ注釈を表示するために実施することができる。例えば、図１の３Ｄオブジェクトハンドラ１０２は、そのようなブラウザプラグイン又はアドオンの機能性を含んでいてもよい。例えば、検索エンジンによる検索の場合、ブラウザ６２０は、検索エンジン（例えば、ＢＩＮＧ、ＧＯＯＧＬＥ）の呼び出しを開始することができる。画像を表示する前に、ブラウザ６２０は、インデックス６１０をチェックして、画像内に何らかのオブジェクトが存在するかどうかを決定できる。次に、ブラウザ６２０は、動画機能を実施し、オブジェクトデータベース６０４にアクセスして、該当する３Ｄモデルを取得できる。ブラウザ６２０は、その後、コミュニティ注釈データベース６２６にアクセスして注釈を表示できる。ブラウザ６２０は、次に、スポンサー注釈データベース（図６では別個のデータベースとして図示せず）にアクセスしてスポンサー注釈を表示できる。
【０１０９】
[0117]  少なくともページ結果６１８の一部と一致するデータベース３Ｄ画像オブジェクト１４４をユーザに対して表示できる（６２２）（例えば、３Ｄレンダリングコンポーネント１４８を介して）。図６に示すように、ユーザは、注釈データベース６２６（例えば、注釈データベース２６８）にユーザ注釈６２４を提供してもよい。本明細書で詳述するように、画像ロケール指標１６０を取得し、ユーザ注釈６２４と共に注釈データベース６２６内に記憶できるように、ユーザはデータベース３Ｄ画像オブジェクト１４４の１つに関連付けられた３Ｄ画像のレンダリングを表示する際にユーザ注釈（例えば、ユーザ注釈１５６）を提供できる。本明細書で詳述するように、注釈データベース６２６内に記憶された注釈をウェブブラウザ６２０が用いて、ユーザ６２２への表示として対応するデータベース３Ｄ画像オブジェクト１４４に関連付けられた表示を行なうこともできる。
【０１１０】
[0118]  実施形態例によれば、図６のシステムは、３Ｄ画像内に描かれたオブジェクトの対称性を解析し、初期２Ｄビュー内で明らかな配色とその他の視覚属性を３Ｄ画像の様々な回転ビューに転送することができる。例えば、ユーザは、「ＡＩＲＢＵＳ  Ａ３２０」の検索質問を提出できる。ユーザは、滑走路、丘、及び空を示す背景に対して、ほとんど白色で尾部が青色のＡ３２０航空機の２Ｄ画像を取得することができる。ユーザが画像を選択すると、航空機の３Ｄバージョンをレンダリングしてそれをユーザは回転させることができる。例えば、航空機の１枚の写真からの白と青のペイントジョブを、オブジェクトの対称性の自動探索と同一のベイントジョブの両面への投影とに基づいて、３Ｄモデルに転送し、ユーザの対話作業が可能になる。
【０１１１】
[0119]  別の例として、ユーザは、「フォードＦ−１５０」を検索して「Ｖｉｄｅｏｓ」でその結果を表示できる。実施形態例によれば、ユーザがいずれかのビデオ上にホバーすると、小さいプレビューが再生を開始する。プレビューは高速道路上の赤のＦ−１５０の運転を表示できる。ユーザがピックアップトラックを選択すると（例えば、クリックすると）、ビデオは停止し、３Ｄレンダリングとしてトラックが表示される。例えば、ユーザは、トラックを回転させて任意の角度から表示することができ、元に戻すと、ビデオが再開する。
【０１１２】
[0120]  実施形態例によれば、ユーザがビデオを再び停止させ、右クリックすると、新しいウィンドウが現れ（例えば、ディスプレイの隅に）、Ｆ−１５０のその他の画像は点滅する。例えば、ユーザは、オブジェクトポータルを入力することができる。ユーザがオブジェクトポータルをクリックすると、ウェブの隅々から収集したその他のＦ−１５０の画像のコレクションのサイトに移行する。
【０１１３】
[0121]  図７は、例示的な実施形態による図１のシステムの動作例を示すフローチャートである。図７ａの例では、質問結果が得られる（７０２）。例えば、上述したように、質問マネージャ１０４は質問結果１０６を取得できる。
【０１１４】
[0122]  取得した質問結果に基づいて、画像を表す画像オブジェクトを含む文書を取得することができる（７０４）。例えば、上述したように、文書取得コンポーネント１２８は文書１３０を取得できる。
【０１１５】
[0123]  画像の少なくとも一部の選択を表す選択指標を取得できる（７０６）。例えば、上述したように、セレクタコンポーネント１３６は、選択指標１３８を取得できる。
【０１１６】
[0124]  画像の選択された部分とデータベース３次元（３Ｄ）画像オブジェクトとの間の一致対応は、以前に画像アソシエーションデータベースインデックスに記憶されたウェブクローラ画像マッチング解析結果に基づいて決定することができる（７０８）。例えば、上述したように、画像マッチングコンポーネント１４０は、デバイスプロセッサ１４２を介して、画像１３４の選択された部分とデータベース３Ｄ画像オブジェクト１４４との間の一致対応を決定することができる。
【０１１７】
[0125]  画像の選択された部分に対応するデータベース３Ｄ画像オブジェクトの３Ｄレンダリングを開始できる（７１０）。例えば、上述したように、３Ｄレンダリングコンポーネント１４８は、データベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始することができる。
【０１１８】
[0126]  例えば、質問に応答して、質問結果を取得することができる（７１２）。
【０１１９】
[0127]  実施形態例によれば、３Ｄレンダリングを開始することは、画像の選択された部分に関連付けられた３Ｄポップアップ画像のレンダリングを開始することを含んでいてもよい（７１４）。例えば、上述したように、３Ｄレンダリングコンポーネント１４８は、画像１３４の選択された部分に関連付けられた３Ｄポップアップ画像のレンダリングを開始することに基づいて、データベース３Ｄ画像オブジェクト１４４のレンダリングを開始できる。
【０１２０】
[0128]  例えば、ウェブクローラ画像マッチング解析結果に基づいて一致対応を決定し、質問、取得した文書内の取得された第１の画像オブジェクトの所定の近傍内に位置するテキスト、取得した文書に関連付けられたタイトル、取得した文書を参照するソースを介して得た情報、又は取得した第１の画像オブジェクトに関連付けられた記憶アドレス指標のうち１つ以上に基づいて一致対応を決定することができる（７１６）。
【０１２１】
[0129]  実施形態例によれば、操作指標は、ユーザ入力デバイスから得ることができる（７１８）。例えば、上述したように、ユーザ操作コンポーネント１６２は、ユーザ入力デバイスから操作指標１６４を得ることができる。
【０１２２】
[0130]  実施形態例によれば、３Ｄレンダリングを開始することは、受信した操作指標に基づいて、画像の選択された部分に対応するデータベース３Ｄ画像オブジェクトの３Ｄレンダリングを開始することを含んでいてもよい（７２０）。例えば、上述したように、３Ｄレンダリングコンポーネント１４８は、受信した操作指標１６４に基づいて、画像１３４の選択された部分に対応するデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始することができる。
【０１２３】
[0131]  例えば、３Ｄレンダリングを開始することは、データベース３Ｄ画像オブジェクトに関連付けられた複数の異なる３Ｄ回転画像ビューの３Ｄレンダリングに基づいて、画像の選択された部分に対応するデータベース３Ｄ画像オブジェクトの３Ｄレンダリングを開始することを含んでいてもよい（７２２）。例えば、上述したように、３Ｄレンダリングコンポーネント１４８は、データベース３Ｄ画像オブジェクト１４４に関連付けられた複数の異なる３Ｄ回転画像ビューの３Ｄレンダリングに基づいて、画像１３４の選択された部分に対応するデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始することができる。
【０１２４】
[0132]  実施形態例によれば、図７ｃの例では、データベース３Ｄ画像オブジェクトに関連付けられた１つ又は複数の注釈を取得することができる（７２４）。例えば、上述したように、注釈コンポーネント１５４は、データベースの３Ｄ画像オブジェクト１４４に関連付けられた１つ又は複数の注釈１５６を得ることができる。
【０１２５】
[0133]  実施形態例によれば、オブジェクトデータベースから、画像の選択された部分に対応するデータベース３Ｄ画像オブジェクトの検索を開始することができる（７２６）。例えば、上述したように、画像オブジェクト検索コンポーネント１５８は、オブジェクトデータベース１５０から、画像１３４の選択された部分に対応するデータベース３Ｄ画像オブジェクト１４４の検索を開始することができる。
【０１２６】
[0134]  例えば、３Ｄレンダリングを開始することは、取得した注釈を用いて、画像の選択された部分に対応する検索されたデータベース３Ｄ画像オブジェクトの３Ｄレンダリングを開始することを含んでいてもよい（７２８）。例えば、上述したように、３Ｄレンダリングコンポーネント１４８は、取得した注釈１５６を用いて、画像１３４の選択された部分に対応する検索されたデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始することができる。
【０１２７】
[0135]  ユーザ、マーケティングアプリケーション、ソーシャルネットワーキングアプリケーション、又は注釈データベースのうち１つ以上から、データベース３Ｄ画像オブジェクトに関連付けられた１つ又は複数の注釈を取得することができる（７３０）。
【０１２８】
[0136]  注釈の少なくとも一部は、注釈の一部に含まれる注釈の各々に関連付けられたデータベース３Ｄ画像オブジェクト内のローカリティを示す１つ又は複数の画像ロケール指標を含んでいてもよい（７３２）。例えば、上述したように、注釈１５６の少なくとも一部は、一部に含まれる注釈１５６の各々に関連付けられたデータベース３Ｄ画像オブジェクト１４４内のローカリティを示す１つ又は複数の画像ロケール指標１６０を含んでいてもよい
【０１２９】
[0137]  実施形態例によれば、３Ｄレンダリングを開始することは、検索されたデータベース３Ｄ画像オブジェクト内の表示されたローカリティに関連付けて表示される注釈の部分を用いて、画像の選択された部分に対応する検索されたデータベース３Ｄ画像オブジェクトの３Ｄレンダリングを開始することを含む（７３４）。例えば、上述したように、３Ｄレンダリングコンポーネント１４８は、データベース３Ｄ画像オブジェクト１４４内の表示されたローカリティに関連付けて表示される注釈１５６の部分を用いて、画像１３４の選択された部分に対応する検索されたデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始することができる。
【０１３０】
[0138]  実施形態例によれば、図７ｄの例では、質問に応答する質問結果を取得することができる（７３６）。１つ又は複数のアクティブな画像に関連付けられたウォブルアクティビティのレンダリングを開始すること、又は１つ又は複数のアクティブな画像に関連付けられた１つ又は複数のアクティブな画像の視覚指標のレンダリングを開始することのうち１つ以上に基づいて、１つ又は複数のアクティブな画像の表示のレンダリングを開始することができる（７３８）。表示のレンダリングのための１つ又は複数のアクティブな画像の選択は、質問に関連付けられた属性、ユーザプロファイルから取得した属性、最近の質問履歴に関連付けられた属性、ソーシャルネットワーキング情報から取得した属性、スポンサーコンテンツの１つ又は複数のスポンサーから取得した属性、又は画像アソシエーションデータベースインデックスから取得した一致情報のうち１つ以上に基づいていてもよい（７４０）。
【０１３１】
[0139]  実施形態例によれば、１つ又は複数のアクティブな画像の表示の３Ｄレンダリングでスポンサーコンテンツの出力を開始すること、又はデータベース３Ｄ画像オブジェクトの３Ｄレンダリングでスポンサーコンテンツの出力を開始することのうち１つ以上に基づいて、画像の選択された部分に対応するスポンサーコンテンツの出力を開始することができる（７４２）。例えば、上述したように、スポンサーコンテンツコンポーネント１８２は、画像１３４の選択された部分に対応するスポンサーコンテンツ１８０の出力を開始することができる。
【０１３２】
[0140]  図８は、例示的な実施形態による図２のシステムの動作例を示すフローチャートである。図８ａの例では、各々が対応する２次元（２Ｄ）画像に関連付けられた３Ｄモデルを表す複数のデータベース３次元（３Ｄ）画像オブジェクトを取得することができる（８０２）。例えば、上述したように、データベース取得コンポーネント２０４は、複数のデータベース３Ｄ画像２０６を取得することができる。
【０１３３】
[0141]  ３Ｄモデルデータベース内への複数のデータベース３Ｄ画像オブジェクトの記憶を開始することができる（８０４）。例えば、上述したように、データベース記憶コンポーネント２２８は、デバイスプロセッサ２３０を介して、オブジェクトデータベース２３２内への複数のデータベース３Ｄ画像オブジェクト２０６の記憶を開始することができる。
【０１３４】
[0142]  ウェブクロール操作に基づいて、第１の２Ｄ画像を表す画像オブジェクトを含む文書を取得することができる（８０６）。例えば、上述したように、文書取得コンポーネント２３４は、ウェブクロールの動作は、ウェブクロール操作に基づいて、第１の２Ｄ画像２０８を表す画像オブジェクト２４０を含む文書２３８を取得することができる。
【０１３５】
[0143]  取得した画像オブジェクトと、第１の２Ｄ画像に関連付けられた一致３Ｄモデルを表す一致するデータベース３Ｄ画像オブジェクトの１つとの間の一致対応を決定することができる（８０８）。例えば、上述したように、一致マネージャ２４２は、取得した画像オブジェクト２４０及びデータベース３Ｄ画像の１つのオブジェクト２０６との間の一致対応を決定してもよい。
【０１３６】
[0144]  文書内に含まれる取得した画像オブジェクトと３Ｄモデルデータベース内に記憶された一致するデータベース３Ｄ画像オブジェクトとの間の一致対応を示す一致指標の画像アソシエーションデータベースインデックス内への入力を開始することができる（８１０）。例えば、上述したように、インデックスエントリマネージャ２４４は、文書２３８内に含まれる取得した画像オブジェクト２４０とオブジェクトデータベース２３２内に記憶された一致するデータベース３Ｄ画像オブジェクト２０６との間の一致対応を示す一致指標２４６の画像アソシエーションデータベースインデックス２４８内への入力を開始することができる。
【０１３７】
[0145]  上述したように、図８ｂの例では、一致対応を決定することは、取得した画像オブジェクトの一部と第１の２Ｄ画像の一部に関連付けられた３Ｄモデルを表す一致するデータベース３Ｄ画像オブジェクトの１つとの間の一致対応を決定することを含むことができる（８１２）。一致指標の入力を開始することは、文書内に含まれる取得した画像オブジェクトと３Ｄモデルデータベース内に記憶された一致するデータベース３Ｄ画像オブジェクトの部分との間の一致対応を示す一致指標の画像アソシエーションデータベースインデックス内への入力を開始することを含むことができる（８１４）。
【０１３８】
[0146]  例えば、一致対応を決定することは、取得した文書内の取得された画像オブジェクトのコンテキスト、ユーザから取得した一致選択、又は取得した画像オブジェクトに関連付けられた記憶アドレス指標のうち１つ以上に基づいて、取得した画像オブジェクトと一致するデータベース３Ｄ画像オブジェクトの１つとの間の一致対応を決定することを含むことができる（８１６）。
【０１３９】
[0147]  例えば、コンテキストは、取得した文書内の取得された画像オブジェクトの所定の近傍内に位置するテキスト、文書に関連付けられたタイトル、又は取得した文書を参照するソースを介して得た情報のうち１つ以上を含んでいてもよい（８１８）。
【０１４０】
[0148]  例えば、取得した文書は、ウェブページ、ビデオファイル、１つ又は複数の埋め込まれた画像を含むテキスト文書、１つ又は複数の埋め込まれた画像を含むｅメールメッセージ、又は１つ又は複数の添付画像を含む文書のうち１つ以上を含んでいてもよい（８２０）。実施形態例によれば、取得した文書がビデオファイルを含む場合、一致対応を決定することは、ビデオファイル内に含まれる２Ｄフレームと、２Ｄフレームの少なくとも一部に対応する３Ｄ画像モデルを表す一致するデータベース３Ｄ画像オブジェクトの１つとの間の一致対応を決定することを含んでいてもよい（８２２）。
【０１４１】
[0149]  実施形態例によれば、図８ｃの例では、要求されたデータベース３Ｄ画像オブジェクトの１つを求める要求であって、第２の２Ｄ画像を表す第２の画像オブジェクトに関連付けられた指標を含む要求が受信される（８２４）。例えば、上述したように、３Ｄオブジェクト要求コンポーネント２６０は、要求されたデータベース３Ｄ画像オブジェクト（２０６）の１つを求める要求２６２を受信するように構成できる。
【０１４２】
[0150]  実施形態例によれば、上述したように、画像アソシエーションデータベースインデックス内に記憶された、第２の画像オブジェクトと３Ｄモデルデータベース内に記憶された要求されたデータベース３Ｄ画像オブジェクトとの間の一致対応を示す第２の一致指標にアクセスすることに基づいて要求されたデータベース３Ｄ画像オブジェクトを取得することができる（８２６）。例えば、３Ｄオブジェクト要求コンポーネント２６０は、要求されたデータベース３Ｄ画像オブジェクト２０６を取得することができる。
【０１４３】
[0151]  データベース３Ｄ画像オブジェクトの第１の画像オブジェクトに関連付けられた複数の注釈を取得することができる（８２８）。例えば、上述したように、注釈取得コンポーネント２６４は、データベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクトに関連付けられた複数の注釈２６６を取得することができる。例えば、注釈と、データベース３Ｄ画像オブジェクトの第１の画像オブジェクトと複数の注釈との間の関連付けを示す指標とを注釈データベース内に記憶することができる（８３０）。例えば、上述したように、注釈取得コンポーネント２６４は、注釈２６６と、データベース３Ｄ画像オブジェクト２０６の第１の画像オブジェクトと複数の注釈２６６との間の関連付けを示す指標を注釈データベース２６８内に記憶することができる。
【０１４４】
[0152]  例えば、データベース３Ｄ画像オブジェクトの第１の画像オブジェクトに関連付けられた複数の注釈を取得することは、ユーザ、マーケティングアプリケーション、又はソーシャルネットワーキングアプリケーションのうち１つ以上からデータベース３Ｄ画像オブジェクトの第１の画像オブジェクトに関連付けられた複数の注釈を取得することを含んでいてもよい（８３２）。
【０１４５】
[0153]  例えば、データベース３Ｄ画像オブジェクトの第１の画像オブジェクトに関連付けられた複数の注釈を取得することは、複数の注釈の各々に関連付けられたデータベース３Ｄ画像オブジェクトの１つの内のローカリティを示す画像ロケール指標を取得することを含んでいてもよい（８３４）。
【０１４６】
[0154]  図９は、実施形態例による図１のシステムの動作例を示すフローチャートである。図９ａの例では、２次元（２Ｄ）画像を含む文書を取得することができる（９０２）。例えば、上述したように、文書取得コンポーネント１２８は、文書１３０を取得することができる。２Ｄ画像の少なくとも一部の選択を示す選択指標を取得できる（９０４）。例えば、上述したように、セレクタコンポーネント１３６は、画像１３４の少なくとも一部の選択を示す選択指標１３８を取得できる。
【０１４７】
[0155]  ２Ｄ画像の選択された部分とオブジェクトデータベース内に記憶された３次元（３Ｄ）画像オブジェクトとの間のウェブクローラ解析結果に基づく一致対応を決定できる（９０６）。例えば、上述したように、画像マッチングコンポーネント１４０は、画像１３４の選択された部分と、データベース３Ｄ画像オブジェクト１４４との間のウェブクローラ解析結果に基づく一致対応を決定することができる。
【０１４８】
[0156]  ２Ｄ画像の選択された部分に対応する３Ｄ画像オブジェクトの３Ｄレンダリングを開始することができる（９０８）。例えば、上述したように、３Ｄレンダリングコンポーネント１４８は、画像１３４の選択された部分に対応するデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始することができる。
【０１４９】
[0157]  実施形態例によれば、文書取得コンポーネント１２８は、検索質問以外のソースに基づいて文書１３０を取得することができる。したがって、３Ｄレンダリングコンポーネント１４８は、任意のソース（すなわち、検索エンジン結果に限定されない）から取得した文書に基づいてデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを開始することができる。例えば、ユーザは、ＡＭＡＺＯＮなどの市場にナビゲートし、表示されたＡＭＡＺＯＮ製品に関連付けることができるデータベース３Ｄ画像オブジェクト１４４の３Ｄレンダリングを体験できる。
【０１５０】
[0158]  実施形態例によれば、オブジェクトデータベースに関連付けられたデータベースインデックス内の少なくとも一つのエントリに基づいて、２Ｄ画像の選択された部分と３Ｄ画像オブジェクトとの間の一致対応を決定することができる（９１０）。
【０１５１】
[0159]  例えば、図９ｂの例では、３Ｄ画像オブジェクトに関連付けられた注釈情報の表示を開始することができる（９１２）。例えば、上述したように、３Ｄレンダリングコンポーネント１４８は、画像１３４の選択された部分に対応するデータベース３Ｄ画像オブジェクト１４４の注釈１５６を伴う３Ｄレンダリングを開始することができる。
【０１５２】
[0160]  例えば、注釈情報は、広告情報、３Ｄ画像オブジェクトに関連付けられた説明情報、又は取得した文書に関連付けられたソーシャルメディア情報のうち１つ以上を含んでいてもよい（９１４）。例えば、取得した文書は、ウェブページ、ビデオファイル、１つ又は複数の埋め込まれた画像を含むテキスト文書、１つ又は複数の埋め込まれた画像を含むｅメールメッセージ、又は１つ又は複数の添付画像を含む文書のうち１つ以上を含んでいてもよい（９１６）。例えば、取得した文書がビデオファイルを含む場合、２Ｄ画像の少なくとも一部の選択は、ビデオファイルのフレーム画像の少なくとも一部の選択を含んでいてもよい（９１８）。
【０１５３】
[0161]  ２Ｄ画像の少なくとも一部がオブジェクトデータベース内に記憶された３Ｄ画像オブジェクトに一致するという決定、質問に関連付けられた属性、ユーザプロファイルから取得した属性、最近の質問履歴に関連付けられた属性、ソーシャルネットワーキング情報から取得した属性、又はスポンサーコンテンツの１つ又は複数のスポンサーから取得した属性のうち１つ以上に基づいて２Ｄ画像の動画表示を開始することができる（９２０）。例えば、上述したように、動画コンポーネント１６６は、２Ｄ画像１３４の動画表示を開始することができる。
【０１５４】
[00162]  実施形態例によれば、２Ｄ画像の選択された部分に関連付けられた３Ｄポップアップ画像のレンダリングを開始すること、２Ｄ画像の選択された部分に対応する３Ｄ画像オブジェクトに関連付けられた複数の異なる３Ｄ回転画像ビューの３Ｄレンダリングを開始すること、又は２Ｄ画像の選択された部分に対応する３Ｄ画像オブジェクトの３Ｄレンダリングを開始することのうち１つ以上に基づき、ユーザ入力デバイスから得た操作指標に基づいて、ユーザブラウザ内に含まれるブラウザプラグインを介して２Ｄ画像の選択された部分に対応する３Ｄ画像オブジェクトの３Ｄレンダリングを開始することができる（９２２）。
【０１５５】
[00163]  データ処理分野の当業者であれば、本発明の精神から逸脱することなく、文書内の３Ｄオブジェクトを閲覧する多くの方法があることを理解するであろう。
【０１５６】
[00164]  顧客のプライバシーと機密性は、長年の間、データ処理環境での継続的な考慮事項となっている。したがって、文書内の３Ｄオブジェクトの閲覧を使用する例示的な技術は、閲覧に関連付けられた関連アプリケーション又はサービスを備えた１つ又は複数のサブスクリプション契約（例えば、「利用規約」（ＴＯＳ）契約）を介してパーミッションを提供しているユーザによって提供されるユーザ入力及び／又はデータを使用することができる。例えば、ユーザは、自己の入力／データを送信しデバイスに記憶することに合意を与えることができるが、各当事者は、送信及び／又は記憶の方法と、記憶のどのレベル又は継続期間（もしあれば）を維持するかを管理することができる旨を明示的に表す（例えば、ユーザが認めた契約書を介して）ことができる。
【０１５７】
[00165]  本明細書に記載する様々な技術の実施態様は、ディジタル電子回路、又はコンピュータハードウェア、ファームウェア、ソフトウェア、或いはそれらの組み合わせ（例えば、様々な機能を実行する命令を実行するように構成された装置）によって実施することができる。実施態様は、伝搬される信号又は、別法として、コンピュータプログラムプロダクト、すなわち、データ処理装置、例えば、プログラマブルプロセッサ、コンピュータ、又は複数のコンピュータによって実行される、若しくはそれらの動作を制御する、情報担体内に、例えば、マシン使用可能又は有形のマシン可読デバイス（例えば、ユニバーサルシリアルバス（ＵＳＧ）記憶デバイス、テープ、ハードディスクドライブ、コンパクトディスク、ディジタルビデオディスク（ＤＶＤ）など）内に実施されたコンピュータプログラムとして実施することができる。上記のコンピュータプログラムなどのコンピュータプログラムはコンパイル、インタプリタ形式、又はマシン語を含む任意の形式の言語で記述することができ、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、又はコンピュータ環境での使用に適したその他の単位を含み、任意の形態で配備することができる。コンピュータプログラムは、マシン使用可能又はマシン可読記憶デバイス（例えば、コンピュータ可読媒体）上の実行可能コード（例えば、実行可能命令）として有形に具現化できる。上記の技術を実施できるコンピュータプログラムを配備して、１つのサイト上の１つのコンピュータ、又は１つのサイト上の、若しくは複数のサイトに分散され通信ネットワークによって相互接続された複数のコンピュータ上で実行することができる。
【０１５８】
[00166]  コンピュータプログラムを実行して入力データを処理して出力を生成することで機能を実行する１つ又は複数のプログラマブルプロセッサによって、方法ステップを実行することができる。１つ又は複数のプログラマブルプロセッサは命令を並列に実行でき、及び／又は分散処理のための分散構成に配置できる。本明細書に記載する例示的な機能は、少なくとも部分的に、１つ又は複数のハードウェア論理コンポーネントによって実行でき、装置は１つ又は複数のハードウェア論理コンポーネントとして、少なくとも部分的に実施できる。例えば、使用可能な例示的なタイプのハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、Program-specific Integrated Circuit（ＡＳＩＣ）、Program-specific Standard Product（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、複合プログラマブル論理デバイス（ＣＰＬＤ）などを含むが、これらに限定されない。
【０１５９】
[00167]  コンピュータプログラムの実行に適したプロセッサは、例えば、汎用及び特定目的マイクロプロセッサの両方、及び任意の１つ又は複数の任意の種類のディジタルコンピュータを含む。一般に、プロセッサは読み出し専用メモリ又はランダムアクセスメモリ或いはその両方から命令とデータを受信する。コンピュータの要素は、命令を実行する少なくとも１つのプロセッサと、命令とデータを記憶する１つ又は複数のメモリデバイスとを含む。一般に、コンピュータは、データを記憶する１つ又は複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、又は光ディスクを含むか又はそれらに動作可能に接続されてデータを受信し、又は送信し、或いはその両方を実行する。コンピュータプログラム命令とデータを実施するのに適した情報担体は、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスク若しくはリムーバブルディスク、光磁気ディスク、並びにＣＤ  ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリを含むが、これらに限定されない。プロセッサ及びメモリは、特定目的論理回路によって補完され、又はその内部に組み込まれる。
【０１６０】
[00168]  ユーザとの対話を提供するために、ユーザに対して情報を表示するディスプレイデバイス、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、又はプラズマモニタと、キーボードと、ユーザがコンピュータへの入力を提供するためのポインティングデバイス、例えば、マウス又はトラックボールとを有するコンピュータ上で実施態様を実施することができる。別の種類のデバイスを用いてもユーザとの対話を提供できる。例えば、ユーザに提供されるフィードバックは、任意の形態の知覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又はタクタイル（触覚）フィードバックであってもよい。例えば、出力は、視覚出力（例えば、視覚ジェスチャー、ビデオ出力）、音声出力（例えば、音声、デバイス音響）、タクタイル出力（例えば、タッチ、デバイスの移動）、温度、においなどを含む（が、これらに限定されない）任意の形態の知覚出力を介して提供することができる。
【０１６１】
[00169]  さらに、ユーザからの入力は、音声、音響、又はタクタイル入力を含む任意の形態で受信できる。例えば、入力は、視覚入力（例えば、視覚ジェスチャー、ビデオ入力）、音声入力（例えば、音声、デバイス音響）、タクタイル入力（例えば、タッチ、デバイスの移動）、温度、においなどを含む（が、これらに限定されない）任意の形態の知覚入力を介して受信可能である。
【０１６２】
[00170]  さらに、ナチュラルユーザインターフェイス（ＮＵＩ）を用いてユーザとインターフェイスすることができる。ここで、「ＮＵＩ」は、ユーザが、マウス、キーボード、リモートコントロールなどの入力デバイスが課す人工的な制約を受けない「自然な」形でデバイスと対話できるようにするあらゆるインターフェイス技術を指す。
【０１６３】
[00171]  ＮＵＩ技術の例は、音声認識、タッチ及びスタイラス認識、画面上又は画面付近のジェスチャー認識、エアジェスチャー、頭及び目の追跡、音声、視覚、タッチ、ジェスチャー、及び機械知能に依拠する技術を含んでいてもよい。例示的なＮＵＩ技術は、これらに限定されないが、タッチセンシティブディスプレイ、音声認識、意図及びゴールの理解、デプスカメラを用いたモーションジェスチャー検出（例えば、ステレオカメラシステム、赤外線カメラシステム、ＲＧＢ（赤、緑、青）カメラシステム及びそれらの組み合わせ）、加速度計／ジャイロスコープを用いたモーションジェスチャー検出、顔面認識、３Ｄディスプレイ、頭、目及び視線追跡、イマーシブオーグメンタルリアリティ及びバーチャルリアリティシステムを含んでいてもよく、それらはすべてより自然なインターフェイスを提供でき、電界センシング電極を用いた脳活動を検知する技術（例えば、脳波検査法（ＥＥＧ））及び関連する技術を提供できる。
【０１６４】
[00172]  実施態様は、バックエンドコンポーネント、例えば、データサーバ、又はミドルウェアコンポーネント、例えば、アプリケーションサーバ、又はフロントエンドコンポーネント、例えば、グラフィカルユーザインターフェイス又はユーザが実施態様と対話するためのウェブブラウザ、又はそのようなバックエンド、ミドルウェア、若しくはフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステム内で実施することができる。コンポーネントは通信ネットワークなどの任意の形態のディジタルデータ通信又はその媒体によって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク、例えば、インターネットを含む。
【０１６５】
[00173]  構造的な特徴及び／又は動作方法に特有の専門用語で発明の主題について説明してきたが、添付の請求の範囲に記載する発明の主題は上記の具体的な特徴又は動作に必ずしも限定されない。具体的な特徴及び動作は請求項を実施する例示的な形態として開示されている。記載された実施態様の一定の特徴が本明細書に記載するように例示されているが、当業者であれば多数の修正、代替、変更及び等価物を直ちに思い付くであろう。したがって、添付の請求の範囲は実施形態の範囲を逸脱しないような修正及び変更に及ぶことを理解されたい。
【図４ｃ】
2015531921.tif 000003
【図４ｄ】
2015531921.tif 000004
【図４ｅ】
2015531921.tif 000005
【図４ｆ】
2015531921.tif 000006
【図４ｇ】
2015531921.tif 000007
【図４ｈ】
2015531921.tif 000008
【図４ｉ】
2015531921.tif 000009
【図４ｊ】
2015531921.tif 000010
【図１】
2015531921.tif 000011
【図２】
2015531921.tif 000012
【図３ａ】
2015531921.tif 000013
【図３ｂ】
2015531921.tif 000014
【図３ｃ】
2015531921.tif 000015
【図３ｄ】
2015531921.tif 000016
【図３ｅ】
2015531921.tif 000017
【図３ｆ】
2015531921.tif 000018
【図３ｇ】
2015531921.tif 000019
【図３ｈ】
2015531921.tif 000020
【図４ａ】
2015531921.tif 000021
【図４ｂ】
2015531921.tif 000022
【図５】
2015531921.tif 000023
【図６】
2015531921.tif 000024
【図７ａ】
2015531921.tif 000025
【図７ｂ】
2015531921.tif 000026
【図７ｃ】
2015531921.tif 000027
【図７ｄ】
2015531921.tif 000028
【図８ａ】
2015531921.tif 000029
【図８ｂ】
2015531921.tif 000030
【図８ｃ】
2015531921.tif 000031
【図９ａ】
2015531921.tif 000032
【図９ｂ】
2015531921.tif 000033
【国際調査報告】
2015531921.tif 000034
2015531921.tif 000035