(57)【要約】  写真から生成されるナビゲート可能な店頭を作成する技術が提示される。そのような技術は、画像を受信するステップと、画像マッチング・アルゴリズムを介して画像を処理するステップとを含む。そのような画像は、例えば、カメラによって撮影された写真を含む。更に、画像は、関連する又は近隣の画像と共に関連付けられるために、識別子タグによってタグ付けされる。更に、特定の画像の選択が商品／サービス情報の表示をもたらすよう、商品／サービス情報が画像と関連付けられ得る。
2010527072.tif 000002
【特許請求の範囲】
【請求項１】
写真から生成されるナビゲート可能な店頭を管理する方法を実行するために媒体上に具現化されたコンピューター利用可能命令を有する、一つ又はそれ以上のコンピューター読み取り可能媒体であって、該方法が、
写真から生成されるナビゲート可能な画像環境に組み込まれる第一の画像を受信するステップ（９０２）と、
前記第一の画像内の一つ又はそれ以上のキーポイントを特定するステップ（９０４）と、
前記一つ又はそれ以上のキーポイントのうちの少なくとも一つに基づいて、前記第一の画像にタグ識別子を割り当てるステップ（９０６）と、
前記タグ識別子を、前記第一の画像内の少なくとも一つのアイテムに関連する説明情報と関連付けるステップ（９０８）と、
前記タグ識別子と前記説明情報との前記関連付けを、データベースに格納するステップ（９１０）と、
を備える、コンピューター読み取り可能媒体。
【請求項２】
請求項１記載の媒体であって、前記方法は、更に、前記写真から生成されるナビゲート可能な画像環境において前記画像が選択された際に、前記説明情報を提供するステップを含む媒体。
【請求項３】
請求項２記載の媒体であって、前記説明情報が、前記写真から生成されるナビゲート可能な画像環境とは別個のユーザー・インターフェース・セクションに提供される媒体。
【請求項４】
請求項３記載の媒体であって、前記説明情報が、第二の画像へのリンクを含む媒体。
【請求項５】
請求項４記載の媒体であって、前記方法が、更に、前記リンクが選択された際に、前記写真から生成されるナビゲート可能な画像環境内に前記第二の画像を提供するステップを含む媒体。
【請求項６】
請求項１記載の媒体であって、前記方法が、更に、前記第一の画像以外の一つ又はそれ以上の画像が、前記第一の画像と共通の予め決められた数のキーポイントを有する場合に、該一つ又はそれ以上の他の画像に前記タグ識別子を割り当てるステップと、前記写真から生成されるナビゲート可能な画像環境において、前記一つ又はそれ以上の他の画像のうちの少なくとも一つが選択された場合に、前記説明情報を提供するステップと、を含む媒体。
【請求項７】
請求項１記載の媒体であって、前記方法が、更に、前記説明情報を前記第一の画像と関連付けるステップと、前記写真から生成されるナビゲート可能な画像環境において、前記第一の画像と共通の予め決められた数のキーポイントを有する一つ又はそれ以上の画像が選択された際に、前記説明情報を提供するステップと、を備える媒体。
【請求項８】
請求項１記載の媒体であって、前記方法が、更に、前記タグＩＤを第三の画像の少なくとも一つの領域と関連付けるステップを含む媒体。
【請求項９】
請求項８記載の媒体であって、前記方法が、更に、前記写真から生成されるナビゲート可能な画像環境において、前記第三の画像の前記領域が選択された際に、前記説明情報を提供するステップを含む媒体。
【請求項１０】
請求項９記載の媒体であって、前記方法が、更に、前記第三の画像の前記領域が選択された際に、前記写真から生成されるナビゲート可能な画像環境内に前記第一の画像を提供するステップを含む媒体。
【請求項１１】
写真から生成されるナビゲート可能な店頭を管理する方法を実行するために媒体上に具現化されたコンピューター利用可能命令を有する、一つ又はそれ以上のコンピューター読み取り可能媒体であって、該方法が、
写真から生成されるナビゲート可能な画像環境内の画像へのアクセス要求を受信するステップ（１００２）と、
前記画像と関連付けられた一つ又はそれ以上のタグ識別子を特定するステップ（１００４）と、
前記一つ又はそれ以上のタグ識別子と関連付けられた説明情報の位置を特定するステップ（１００６）と、
グラフィカル・ユーザー・インターフェース内に前記説明情報を提供するステップ（１００８）と、
を備える、コンピューター読み取り可能媒体。
【請求項１２】
請求項１１記載の媒体であって、前記方法が、更に、
前記画像と共通の予め決められた数のキーポイントを有する一つ又はそれ以上の他の画像を特定するステップと、
前記一つ又はそれ以上の他の画像を、前記画像とともにグラフィカル・ユーザー・インターフェース内に提供するステップと、
を備える媒体。
【請求項１３】
請求項１１記載の媒体であって、前記写真から生成されたナビゲート可能な画像環境が、前記グラフィカル・ユーザー・インターフェースの第一のセクション内に提供され、前記説明情報が、前記グラフィカル・ユーザー・インターフェースの第二のセクション内に提供される媒体。
【請求項１４】
請求項１１記載の媒体であって、前記説明情報が、第二の画像へのリンクを含む媒体。
【請求項１５】
請求項１４記載の媒体であって、前記方法が、更に、前記リンクが選択された際に、前記写真から生成されたナビゲート可能な画像環境内に前記第二の画像を提供するステップを含む媒体。
【請求項１６】
一つ又はそれ以上のコンピューター読み取り可能媒体に具現化され、写真から生成されるナビゲート可能な店頭をディスプレイ画面に提示するためにコンピューター上で実行可能なグラフィカル・ユーザー・インターフェースであって、
少なくとも一つの画像（８０４）を含む写真から生成されるナビゲート可能な店頭を表示するよう構成された第一の画面領域（８０２）と、
前記少なくとも一つの画像が選択された際に、前記少なくとも一つの画像内の少なくとも一つのアイテムに関連する説明情報を表示するよう構成された第二の画面領域（８０６）と、
を備えるグラフィカル・ユーザー・インターフェース。
【請求項１７】
請求項１６記載のグラフィカル・ユーザー・インターフェースであって、前記第一の画面領域が、前記少なくとも一つの画像と共通の予め決められた数のキーポイントを有する一つ又はそれ以上の他の画像を表示するグラフィカル・ユーザー・インターフェース。
【請求項１８】
請求項１６記載のグラフィカル・ユーザー・インターフェースであって、第二の画像の前記少なくとも一つの画像のタグ識別子と関連付けられている領域が選択された際に、前記写真から生成されるナビゲート可能な画像環境内に、前記少なくとも一つの画像が表示されるグラフィカル・ユーザー・インターフェース。
【請求項１９】
請求項１６記載のグラフィカル・ユーザー・インターフェースであって、前記説明情報が第三の画像へのリンクを含むグラフィカル・ユーザー・インターフェース。
【請求項２０】
請求項１９記載のグラフィカル・ユーザー・インターフェースであって、前記リンクが選択された際に、前記第三の画像が前記第一の画面領域に表示されるグラフィカル・ユーザー・インターフェース。
【発明の詳細な説明】
【背景技術】
【０００１】
現在の小売業者は、電子商取引サイトを作成する際、一般に、彼らが販売している商品の写真を利用する。写真と物理的な店舗環境との間には、ほとんど又は全く関係がないことが、しばしばある。これは成功モデルであることが立証されてはいるが、このモデルは、小売業者が消費者を彼らの店舗に入らせることを可能にはしない。このモデルは、また、商品の組み立て、写真撮影、及び電子商取引サイトの構築に、大量の作業を必要とする。その上、そのようなモデルは、また、多くの小売業者が出したがらないようなレベルの労力と投資を必要とする。
【０００２】
更に、新しい仮想市場として、Ｓｅｃｏｎｄ  Ｌｉｆｅのような環境が出現してきているが、それらは全くもって仮想であり、つまり、通常、それらの内部には実際の写真及び画像は表示されない。また、これらのオンライン店舗の作成ツールは、しばしば、技術がわからない人々にとっては近寄りがたい。これらの仮想店舗における３次元の購買環境は、一般に、例えばコンピューター・モデリング・ツールを用いて手動で作成される。
【０００３】
売り手が物理的な店舗の写真から簡単に店舗環境を作成することを可能とする、軽量で非技術的なツールを有することは、売り手にとって有益であることがわかる。更に、各アイテムの写真を直接統合して店舗環境の写真にすることも、有益であることがわかる。これらの技術及び方法は、小店舗、小売店、市場、見本市及び展示会にも適用可能である。これらの技術は、また、例えばガレージ・セールのような即席の販売環境や、オンライン・サービスを介してリストアップされ、販売され、又は市場に出されているアイテムにも適用可能である。
【発明の概要】
【課題を解決するための手段】
【０００４】
要約
本要約は、選択された概念を、以下の詳細な説明において更に説明される簡略化された形態で紹介するために提供されるものである。写真から生成されるナビゲート可能な店頭を作成する技術が提示される。そのような技術は、画像の受信と、画像マッチング・アルゴリズムによる画像の処理とを含む。そのような画像には、例えば、カメラで撮られた写真が含まれ得る。更に、画像は、関係のある又は近くの画像を一緒に関連付けするために、識別タグによってタグ付けされる。更に、特定の画像の選択により商品／サービス情報が表示されるように、商品／サービス情報が画像と関連付けられてもよい。
【０００５】
本発明の例としての実施の形態は、参照により援用される添付の図面を参照して、以下に詳細に説明される。
【図面の簡単な説明】
【０００６】
【図１】図１は、本発明の一つの実施の形態を実現する例としてのシステムの実施の形態のブロック図である。
【図２】図２は、本発明の一つの実施の形態に従って該画像上にラベル付けされた、特定されたキーポイントを有する画像の実施の形態を示す。
【図３】図３は、本発明の一つの実施の形態に従って、３次元の写真から生成されたナビゲート可能な画像環境のＵＩにおいて、選択された画像と互いに重なり合う最良の近隣画像を表示する方法３００の実施の形態を示す。
【図４Ａ】図４Ａは、左右の最良近隣メトリックの計算方法の実施の形態を示す２つの画像を表示する。
【図４Ｂ】図４Ｂは、画像Ａと内部画像Ａ（ＡＩ）との関係の実施の形態を示す。
【図５】図５は、ユーザー・インターフェース内の、写真から生成されたナビゲート可能な２次元画像環境において、類似する画像を提示する方法の実施の形態を示す。
【図６Ａ】図６Ａは、写真から生成されたナビゲート可能な２次元画像環境において、選択された画像の周りに、選択された画像と類似する画像を提示するＵＩの実施の形態を示す。
【図６Ｂ】図６Ｂは、写真から生成されたナビゲート可能な２次元画像環境において、選択された画像の周りに、選択された画像と類似する画像を提示するＵＩの実施の形態を示す。
【図６Ｃ】図６Ｃは、写真から生成されたナビゲート可能な２次元画像環境において、選択された画像の周りに、選択された画像と類似する画像を提示するＵＩの実施の形態を示す。
【図６Ｄ】図６Ｄは、写真から生成されたナビゲート可能な２次元画像環境において、選択された画像の周りに、選択された画像と類似する画像を提示するＵＩの実施の形態を示す。
【図７】図７は、本発明の一つの実施の形態に従って、写真から生成されるナビゲート可能な店頭を作成する例としての方法のフロー図である。
【図８Ａ】図８Ａは、写真から生成されたナビゲート可能な３次元画像環境セクションと、商品／サービス情報セクションとを含むウェブサイトＵＩの実施の形態を示す。
【図８Ｂ】図８Ｂは、スプラッター・ビューのナビゲート可能な２次元画像環境セクションと、商品／サービス情報セクションとを含むウェブサイトＵＩの実施の形態を示す。
【図９】図９は、本発明の一つの実施の形態に従って、写真から生成されたナビゲート可能な店頭を管理する方法のフロー図である。
【図１０】図１０は、本発明の一つの実施の形態に従って、写真から生成されたナビゲート可能な店頭を管理するもう一つの方法のフロー図である。
【発明を実施するための形態】
【０００７】
本明細書に開示された発明は、「画像内をナビゲートするためのユーザー・インターフェース」との発明の名称を有する、特許出願第１１／４６１，２８０号（以後、「’２８０号出願」と呼ぶ）の拡張である。本発明は、（’２８０号特許に記載されたような）ナビゲート可能な３次元環境内において、タグを用いて、写真を、表示可能なオンライン・コンテンツに結びつけるために利用される。本概念によれば、写真のグループが、（’２８０号特許に記載された）ナビゲート可能な３次元環境に自動的に組み込まれることが可能であり、写真とともに動的なコンテンツを表示するために、その環境内において写真へのリンクが作成可能である。視聴者は、３次元環境を歩き回りながら様々な写真を選択するだけで、関連するコンテンツ、特に商品詳細を表示させることができる。これらの詳細は、視聴者が商品を購入したり、見本や更なる情報を入手したり、又は、関連する広告を見たりすることを可能とし得る。３次元写真マッチング技術は、静止画に適用されるのと同じ方法で動画にも適用可能であり、動画は３次元環境内で止まった状態にされても、動く状態であってもよい。
【０００８】
当業者が理解する通り、本発明の実施の形態は、他の形態とともに、方法、システム、又はコンピューター・プログラム製品として具現化され得る。従って、実施の形態は、ハードウェアの実施の形態、ソフトウェアの実施の形態、又は、ソフトウェア及びハードウェアを組み合わせる実施の形態を取り得る。一つの実施の形態において、本発明は、一つ又はそれ以上のコンピューター読み取り可能媒体上に具現化された、コンピューター利用可能命令を含むコンピューター・プログラム製品の形を取る。
【０００９】
コンピューター読み取り可能媒体は、揮発性及び不揮発性の、及び着脱式及び非着脱式の媒体を含み、データベース、スイッチ、及び様々な他のネットワーク機器によって読み取り可能なメディアを含む。ネットワーク・スイッチ、ルーター、及び関連する構成要素は、それらとの通信手段がそうであるように、本質的に標準的なものである。非限定的な例として、コンピューター読み取り可能媒体は、コンピューター記憶媒体及び通信媒体を含む。
【００１０】
コンピューター記憶媒体即ちマシン読み取り可能媒体は、情報を格納する任意の方法又は技術で実現される媒体を含む。格納される情報の例には、コンピューター利用可能命令、データ構造、プログラム・モジュール、及び他のデータ表現が含まれる。コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリー又は他のメモリー技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ホログラム・メモリー又は他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、及び他の磁気記憶装置を含むが、それらに限定されるものではない。これらのメモリー要素は、瞬間的、一時的又は恒久的にデータを格納することができる。
【００１１】
通信媒体は、一般に、データ構造及びプログラム・モジュールを含むコンピューター利用可能命令を、変調されたデータ信号に格納する。「変調されたデータ信号」との用語は、信号内の情報をエンコードするために、特性の一つ又はそれ以上が調整又は変更された伝播信号を意味する。例としての変調データ信号は、搬送波又は他の伝送機構を含む。通信媒体は、任意の情報伝送媒体を含む。限定ではない例として、通信媒体は、例えば有線ネットワーク又は直接配線された接続のような有線媒体、並びに、例えば音響、赤外線、無線、マイクロ波、スペクトラム拡散、及び他の無線媒体技術のような無線媒体を含む。上記の組み合わせも、コンピューター読み取り可能媒体の範囲に含まれる。
【００１２】
図１は、本発明の一つの実施の形態を実現する、例としてのシステム１００の実施の形態のブロック図である。システム１００は、例えばクライアント１０２及び画像構成装置（ＩＣＤ）１０６のような装置を含む。各装置は通信インターフェースを備える。通信インターフェースは、装置が任意の他の装置に直接接続されることを可能とする、或いは、装置がネットワーク１０４を介して他の装置に接続されることを可能とするインターフェースであり得る。ネットワーク１０４は、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、又はインターネットを含み得る。一つの実施の形態において、装置は、無線インターフェースを介しネットワーク１０４を通して他の装置と接続されることができる。
【００１３】
クライアント１０２は、デスクトップ又はラップトップのコンピューター、ネットワーク接続可能な（媒体記録／再生能力を備える又は備えない）携帯電話機、無線電子メール・クライアント、或いは、ウェブ・ブラウジング、検索、電子メール（イーメール）並びに他のタスク、アプリケーション及び機能を含む様々なタスクを実行する他のクライアント、マシン又は装置であってよく、又は、それらを含むことができる。クライアント１０２は、更に、例えば、デジタル静止画カメラ機器、（静止画記録機能を備える又は備えない）デジタル・ビデオ・カメラ、個人音楽プレーヤー及び個人ビデオ・プレーヤー等のメディア・プレイヤー、並びに、任意の他の携帯型メディア機器のような、任意の携帯型メディア機器であってよい。クライアント２０２は、また、例えばマイクロソフトＷｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ、Ｘｅｎｉｘ、ＩＢＭ  ＡＩＸ（登録商標）、ヒューレット・パッカードＵＸ（登録商標）、ノベルＮｅｔｗａｒｅ（登録商標）、サン・マイクロシステムズＳｏｌａｒｉｓ（登録商標）、ＯＳ／２（登録商標）、ＢｅＯＳ、Ｍａｃｈ、Ａｐａｃｈｅ、ＯｐｅｎＳｔｅｐ、或いは、他のオペレーティング・システム又はプラットフォームを実行するワークステーションのようなサーバーであってもよく、又は、それらを含んでもよい。
【００１４】
写真から生成されるナビゲート可能な３次元及び２次元の画像環境の作成
上記の通り、本発明は、’２８０号特許出願の拡張である。以下において、写真から生成されるナビゲート可能な３次元及び２次元の画像環境を作成する際に本発明によって採用され得る、’２８０号出願の様々な態様を説明する。
【００１５】
一つの実施の形態において、ＩＣＤ１０６は、また、例えばマイクロソフトＷｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ、Ｘｅｎｉｘ、ＩＢＭ  ＡＩＸ（登録商標）、ヒューレット・パッカードＵＸ（登録商標）、ノベルＮｅｔｗａｒｅ（登録商標）、サン・マイクロシステムズＳｏｌａｒｉｓ（登録商標）、ＯＳ／２（登録商標）、ＢｅＯＳ、Ｍａｃｈ、Ａｐａｃｈｅ、ＯｐｅｎＳｔｅｐ、或いは、他のオペレーティング・システム又はプラットフォームを実行するワークステーションのようなサーバーであってもよく、又は、それらを含んでもよい。もう一つの実施の形態において、ＩＣＤ１０６は、クライアント１０２内で実現されるコンピューター・ハードウェア又はソフトウェア・コンポーネントであってよい。ＩＣＤ１０６は、画像ファイル・システム１０８、集約装置コンポーネント１１０、キーポイント検出装置１１２、キーポイント分析装置１１４、及びユーザー・インターフェース構成装置（ＵＩＣ）１１６を含み得る。本発明の実施の形態において、ＩＣＤ１０６内のコンポーネント（１１０、１１２、１１４及び１１６）のうちの任意の一つが、ＩＣＤ１０６内の一つ又はそれ以上の他のコンポーネントに統合されてもよい。他の実施の形態において、ＩＣＤ１０６内の一つ又はそれ以上のコンポーネント及びファイル・システム１０８は、ＩＣＤ１０６の外部に置かれてもよい。
【００１６】
集約装置コンポーネント１１０は、クライアント・マシンのユーザーによってアップロードされた複数の画像を集約するよう構成され得る。一つの実施の形態において、画像は、（デジタル又は非デジタルの）カメラで撮影された写真であり得る。画像は集約されると、続いて、画像ファイル・システム１０８に格納され得る。一つの実施の形態において、画像は、画像ファイル・システム１０８内において、類似性によりグループ化されて格納され得る。
【００１７】
一つの実施の形態において、画像間の類似性は、各画像のキーポイントを用いて決定され得る。画像のキーポイントは、画像がどこで撮影されたかによっては変わらない可能性が高い、一つの画像におけるポイントを特定するために利用され得る。画像内のキーポイントを検出するために、キーポイント検出装置１１２が利用され得る。キーポイント検出装置１１２は、様々なアルゴリズムを利用して画像内のキーポイントを決定することができる。一つの実施の形態において、キーポイント検出装置１１２は、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）アルゴリズムを用いて画像内のキーポイントを決定してもよい。画像内でキーポイントが検出されると、キーポイントは、当該キーポイントを他のキーポイントから区別することができる特定の識別子と関連付けられる。各画像は、対応するキーポイント及び該キーポイントに割り当てられた識別子とともに、画像ファイル・システム１０８に格納され得る。
【００１８】
一つの実施の形態において、画像間の類似性は、互いに多くの共通なキーポイント識別子を有する画像によって決定されてもよい。典型的には、同じ地理的位置、特徴的建造物、ビル、像、オブジェ、又は画像内に表現された任意の他の区別的な特徴を有する撮影された画像は、同じ又は互いに重なり合うキーポイントを有する可能性が高く、そのため、画像ファイル・システム１０８内で一緒にグループ化される。従って、画像ファイル・システム１０８内には、それぞれが複数の類似した画像を含み得る、多くの画像グループが存在し得る。
【００１９】
キーポイント分析装置１１４は、各画像のキーポイントを分析し、各グループ内のどの画像が互いに最も類似するかを決定するために利用され得る。例えば、キーポイント分析装置１１４は、様々なアルゴリズムを採用して、選択された画像に最も類似する画像のランク付けされた順序を決定するように構成されてもよい。もう一つの例において、キーポイント分析装置１１４は、選択された画像から任意の距離だけ離れた、選択された画像の右、左、上又は下の最良の近隣画像を決定するために利用されてもよい。更に、キーポイント分析装置１１４は、選択された画像の任意の拡大率又は縮小率でズーム・イン又はズーム・アウトされたバージョンを最も良く表す、最良の近隣画像を決定するために利用されてもよい。
【００２０】
ＵＩＣ１１６は、ユーザー・インターフェース（ＵＩ）内で画像をユーザーに提示するクライアントに対し、画像を伝送するために利用され得る。ＵＩＣ１１６は、ユーザーからの要求及びキーポイント分析装置１１４によってなされた決定に基づいて、どの画像を提示するべきか、及び、それらの画像が提示される方法を決定することができる。ＵＩＣ１１６は、配置アルゴリズムを利用して、どのように画像を提示するかを決定することができる。
【００２１】
図２は、本発明の一つの実施の形態従って、画像上にラベル付けされた、特定されたキーポイントを有する画像の実施の形態を示す。画像Ａ、Ｂ、及びＣは、それぞれ、特定されたキーポイントを画像上に有する。各画像内の各キーポイントは、割り当てられた識別子を有するが、２つ以上の画像における同一のキーポイントは、同じ識別子を有してもよい。画像Ａは、画像Ｂのキーポイント２１２、２１４、２１６、２１８及び２２０とそれぞれ同じである、キーポイント２０２、２０４、２０６、２０８、及び２１０を含む。そのため、同一の各キーポイントは、同一の識別子を有してもよい。画像Ａのキーポイント２０４、２０６、２０８及び２１０は、それぞれ、画像Ｃのキーポイント２３２、２３４、２３６及び２３８と同じであり、同一の各キーポイントは同一の識別子を有してもよい。キーポイント２１４、２１６、２１８、２２０、２２２、２２４、２２６及び２２８は、それぞれ、キーポイント２３２、２３４、２３６、２３８、２４２、２４４、２４６及び２４８と同じであり、同一の各キーポイントは同一の識別子を有してもよい。
【００２２】
画像がアップロードされ、それらの対応するキーポイントに従って画像ファイル・システム１０８内にグループ化されると、ユーザーは、３次元の写真から生成されたナビゲート可能な画像空間において、アップロードされた画像を通るナビゲートを開始することができる。本発明は、クライアントのユーザーが、画像ファイル・システム１０８に格納された一つ又はそれ以上の画像を見るためにＩＣＤ１０６と接続することを可能とする。一つの実施の形態において、ユーザーは、画像ファイル・システム１０８に格納された複数の画像から、興味のある特定の画像を選択するために、自らのクライアント上でＵＩを提示され得る。本発明は、ユーザーが、ユーザーのクライアントのＵＩ内において、選択された画像から任意の方向にナビゲートすることを可能とするよう構成され得る。ユーザーがＵＩ内で画像を選択する際、当該選択された画像から他の画像へとナビゲートするために、例えば左、右、上、下、ズーム・イン、又はズーム・アウトのような方向をユーザーが入力することを可能とするオプションが存在し得る。ユーザーが方向を選択すると、本発明は、特定された方向において選択された画像の隣に何があるかを最も良く表す、画像ファイル・システム１０８内の最良の近隣画像を決定するよう構成され得る。最良の近隣画像は、選択された画像と互いに重なり合う部分を含んでもよい。最良の近隣画像は、選択された画像の右、左、上又は下である任意の方向において、選択された画像から離れた任意の距離について決定され得る。更に、最良の近隣画像は、選択された画像の任意の拡大度又は縮小度でズーム・イン又はズーム・アウトされたバージョンを最もよく表すことが決定され得る。
【００２３】
図３は、本発明の一つの実施の形態に従って、写真から生成されたナビゲート可能な３次元画像環境のＵＩにおいて、選択された画像の互いに重なり合う最良の近隣画像を提示する方法３００の実施の形態を示す。処理３０２において、第一の選択された画像が特定される。一つの実施の形態において、該画像は、クライアント１０２の例えばマウス、キーボード、音声認識装置、又はタッチスクリーンのような入力装置を用いるユーザーにより、ＵＩ内で選択され得る。処理３０４において、選択された画像からの方向が特定される。一つの実施の形態において、該方向は、クライアント１０２の例えばマウス、キーボード、音声認識装置、又はタッチスクリーンのような入力装置を用いるユーザーにより、ＵＩ内で選択され得る。処理３０６において、当該方向に基づいて、画像ファイル・システム内の他の画像それぞれに対する最良近隣メトリックが計算され得る。一つの実施の形態において、最良近隣メトリックは、選択された画像と、当該方向に関する比較対象画像との間で、異なるキーポイントによって測定された距離を表し得る。また、比較対象画像は、選択された画像に対し現在比較されている他の画像からの画像であってよい。一つの実施の形態において、比較対象画像は、選択された画像と同一グループ内の画像から選ばれてもよい。もう一つの実施の形態において、比較対象画像は、画像ファイル・システム１０８内の全ての画像から選ばれてもよい。
【００２４】
最良近隣メトリックの計算は、選択される特定の方向に依存し得る。一つの実施の形態において、各方向について、選択された画像及び比較対象画像に対する最良近隣メトリックを計算するための異なるアルゴリズムが利用され得る。更に、２つの画像に対する最良近隣メトリックを計算するために各方向が利用するよう構成され得るアルゴリズムは、２種類以上存在し得る。
【００２５】
以下の２つのアルゴリズムは、選択された画像の右及び左方向について、それぞれ最良近隣メトリックを計算するために利用可能である。
【００２６】
【数１】
2010527072.tif 000003
【００２７】
アルゴリズム１は、選択された画像と比較対象画像との間の右側の近隣距離を表す、最良近隣メトリックを計算する。アルゴリズム１は、選択された画像と比較対象画像との間の右側の近隣距離（「ＮＤＲ（Ｓｅｌ  Ｉｍ，  Ｃｏｍｐ  Ｉｍ）」）を計算するように、比較対象画像の左半分及び選択された画像の右半分が共通に有するキーポイントの総数（「Ｃｏｍｍｏｎ  Ｋｅｙｐｏｉｎｔｓ（Ｌｔ−Ｈ  Ｃｏｍｐ，  Ｒｔ−Ｈ  Ｓｅｌ  Ｉｍ）」）を、選択された画像の右半分内で特定されたキーポイントの総数（「Ｔｏｔａｌ  Ｋｅｙｐｏｉｎｔｓ（Ｒｔ−Ｈ  Ｓｅｌ  Ｉｍ）」）から減算することを示している。
【００２８】
アルゴリズム２は、選択された画像と比較対象画像との間の左側の近隣距離を表す、最良近隣メトリックを計算する。アルゴリズム２は、選択された画像と比較対象画像との間の左側の近隣距離（「ＮＤＬ（Ｓｅｌ  Ｉｍ，  Ｃｏｍｐ  Ｉｍ）」）を計算するように、比較対象画像の右半分及び選択された画像の左半分が共通に有するキーポイントの総数（「Ｃｏｍｍｏｎ  Ｋｅｙｐｏｉｎｔｓ（Ｒｔ−Ｈａｌｆ  Ｃｏｍｐ，  Ｌｔ−Ｈ  Ｓｅｌ  Ｉｍ）」）を、選択された画像の左半分内で特定されたキーポイントの総数（「Ｔｏｔａｌ  Ｋｅｙｐｏｉｎｔｓ（Ｌｔ−Ｈ  Ｓｅｌ  Ｉｍ）」）から減算することを示している。また、アルゴリズム１及び２について、共通のキーポイントは、選択された画像及び比較対象画像内で、同一の割り当てられた識別子を有するキーポイントを特定することにより決定され得る。
【００２９】
図４Ａは、左右の最良近隣メトリックの計算方法の一つの実施の形態を示す２つの画像を提示する。まず、右の最良近隣メトリックの計算方法の実施の形態を説明する。画像Ａは選択された画像であり、画像Ｂは比較対象画像であると仮定する。画像Ａから画像Ｂへの右側の近隣距離を計算する際、各画像は、垂直に半分に分割され得る。比較対象画像の左半分及び選択された画像の右半分において見出される共通のキーポイントが決定され得る。この例においては、４つの共通キーポイントが存在する。次いで、画像Ａの右半分において見出される全体キーポイントが特定され、この例においては、４つのキーポイントである。次に、画像Ａの右半分において特定されたキーポイントの総数から、共通キーポイントが減算され得る。この例において、結果は、右側の最良近隣メトリック０となる。一つの実施の形態において、最良近隣メトリックが小さければ小さいほど、比較対象画像が、選択された画像に対する、より良い最良の近隣であると判断される。
【００３０】
次に、左側の最良近隣メトリックを計算する実施の形態について説明する。画像Ｂは選択された画像であり、画像Ａは比較対象画像であると仮定する。ここでも、両画像は垂直方向に半分に分割され得る。比較対象画像の右半分及び選択された画像の左半分において見出される共通のキーポイントが決定され得る。この例においては、４つの共通キーポイントが存在する。次いで、画像Ｂの左半分において見出される全体キーポイントが特定され、この例においては、９つのキーポイントである。次に、画像Ｂの左半分において特定されたキーポイントの総数から、共通キーポイントが減算され得る。この例において、結果は、右側の最良近隣メトリック５となる。ここでも、最良近隣メトリックが小さければ小さいほど、比較対象画像が、選択された画像に対する、より良い最良の近隣であると判断される。従って、画像Ａが画像Ｂの左側の最良近隣画像であるよりも、画像Ｂが画像Ａの右側の最良近隣画像であるほうが、より良い最良近隣画像であると考えられ得る。
【００３１】
以下の２つのアルゴリズムは、選択された画像の上下方向について、それぞれ最良近隣メトリックを計算するために利用可能である。
【００３２】
【数２】
2010527072.tif 000004
【００３３】
アルゴリズム３は、選択された画像と比較対象画像との間の上側の近隣距離を表す最良近隣メトリックを計算する。アルゴリズム３は、選択された画像と比較対象画像との間の上側の近隣距離（「ＮＤＵ（Ｓｅｌ  Ｉｍ，  Ｃｏｍｐ  Ｉｍ）」）を計算するように、比較対象画像の下半分及び選択された画像の上半分が共通に有するキーポイントの総数（「Ｃｏｍｍｏｎ  Ｋｅｙｐｏｉｎｔｓ（Ｌｏ−Ｈ  Ｃｏｍｐ，  Ｕｐ−Ｈ  Ｓｅｌ  Ｉｍ）」）を、選択された画像の上半分内で特定されたキーポイントの総数（Ｔｏｔａｌ  Ｋｅｙｐｏｉｎｔｓ（Ｕｐ−Ｈ  Ｓｅｌ  Ｉｍ））から減算することを示している。
【００３４】
アルゴリズム４は、選択された画像と比較対象画像との間の下側の近隣距離を表す最良近隣メトリックを計算する。アルゴリズム４は、選択された画像と比較対象画像との間の下側の近隣距離（「ＮＤＤ（Ｓｅｌ  Ｉｍ，  Ｃｏｍｐ  Ｉｍ）」）を計算するように、比較対象画像の上半分及び選択された画像の下半分が共通に有するキーポイントの総数（「Ｃｏｍｍｏｎ  Ｋｅｙｐｏｉｎｔｓ（Ｕｐ−Ｈ  Ｃｏｍｐ，  Ｌｏ−Ｈ  Ｓｅｌ  Ｉｍ）」）を、選択された画像の下半分内で特定されたキーポイントの総数（「Ｔｏｔａｌ  Ｋｅｙｐｏｉｎｔｓ（Ｌｏ−Ｈ  Ｓｅｌ  Ｉｍ）」）から減算することを示している。再び、アルゴリズム３及び４においても、共通のキーポイントは、選択された画像及び比較対象画像内の、同一の識別子を割り当てられたキーポイントを特定することにより決定され得る。
【００３５】
上下の最良近隣メトリックスを計算する際、各画像の上半分及び下半分は、各画像を水平に半分に分割することにより決定され得る。しかしながら、他の全ての計算は、上記の左右の最良近隣メトリックスを計算する際と全く同じ方法で行われる。一つの実施の形態において、任意の画像の左半分、右半分、上半分又は下半分に置かれたキーポイントを特定する際、キーポイントが画像の分割線上に直接置かれている場合には、アルゴリズムは、当該キーポイントを、その半分に対するキーポイントの総数の一部として含むよう構成されてもよい。他の実施の形態において、アルゴリズムは、当該キーポイントを、その半分に対するキーポイントの総数から無視するように構成されてもよい。
【００３６】
以下の２つのアルゴリズムは、選択された画像に対するズーム・イン及びズーム・アウトに対応する方向について、それぞれ最良近隣メトリックを計算するために利用可能である。
【００３７】
【数３】
2010527072.tif 000005
【００３８】
アルゴリズム５は、選択された画像と比較対象画像との間の外側の近隣距離を表す最良近隣メトリックを計算する。外側の近隣距離は、選択された画像のズーム・アウトしたバージョンを示す画像を表すために利用され得る。アルゴリズム５は、選択された画像と比較対象画像との間の外側の近隣距離（「ＮＤＯ（Ｓｅｌ  Ｉｍ，  Ｃｏｍｐ  Ｉｍ）」）を計算するように、内側の比較対象画像と、選択された画像全体とが共通に有するキーポイントの総数（「Ｃｏｍｍｏｎ  Ｋｅｙｐｏｉｎｔｓ（Ｉｎｔｅｒｉｏｒ  Ｃｏｍｐ  Ｉｍ，  Ｓｅｌ  Ｉｍ）」）を、選択された画像全体において特定されたキーポイントの総数（Ｔｏｔａｌ  Ｋｅｙｐｏｉｎｔｓ（Ｓｅｌ  Ｉｍ））から減算することを示している。一つの実施の形態において、内側の比較対象画像は、比較対象画像と同じ中心点を有する、比較対象画像の任意の断片／部分であってよい。他の実施の形態において、内側の比較対象画像は、比較対象画像とは異なる中心点を有してもよい。内側の比較対象画像は、例えば、比較対象画像の４分の１であってよい。図４Ｂは、画像Ａと、内側画像Ａ（ＡＩ）との関係の実施の形態を示す。
【００３９】
アルゴリズム６は、選択された画像と比較対象画像との間の内側の近隣距離を表す最良近隣メトリックを計算する。内側の近隣距離は、選択された画像のズーム・インしたバージョンを示す画像を表すために利用され得る。アルゴリズム６は、選択された画像と比較対象画像との間の内側の近隣距離（「ＮＤＩ（Ｓｅｌ  Ｉｍ，  Ｃｏｍｐ  Ｉｍ）」）を計算するように、比較対象画像と選択された画像全体とが共通に有するキーポイントの総数（「Ｃｏｍｍｏｎ  Ｋｅｙｐｏｉｎｔｓ（Ｃｏｍｐ  Ｉｍ，  Ｓｅｌ  Ｉｍ）」）を、内側の選択された画像内で特定されたキーポイントの総数（「Ｔｏｔａｌ  Ｋｅｙｐｏｉｎｔｓ（Ｉｎｔｅｒｉｏｒ  Ｓｅｌ  Ｉｍ）」）から減算することを示している。一つの実施の形態において、内側の選択された画像は、比較対象画像と同じ中心点を有する、選択された画像の任意の断片／部分であってよい。他の実施の形態において、内側の比較対象画像は、比較対象画像とは異なる中心点を有してもよい。内側の選択された画像は、例えば、比較対象画像の４分の１であってよい。再び、アルゴリズム５及び６においても、共通のキーポイントは、選択された画像及び比較対象画像内の、同一の識別子を割り当てられたキーポイントを特定することにより決定され得る。
【００４０】
一つの実施の形態において、内側画像内に置かれたキーポイントを特定する際、キーポイントが内側画像の分割線上に直接置かれている場合には、アルゴリズムは、当該キーポイントを、内側画像に対するキーポイントの総数の一部として含むよう構成され得る。他の実施の形態において、アルゴリズムは、当該キーポイントを、内側画像のキーポイントの総数から無視するように構成されてもよい。
【００４１】
図３に戻って、他の画像それぞれに対する最良近隣メトリックが計算されると、処理３０８において、その方向に対する最良近隣画像が決定される。一つの実施の形態において、最低の最良近隣メトリックを有する画像が、選択された画像の当該方向における最良近隣であると考えられ得る。一つの実施の形態において、同じ最低の最良近隣メトリックを有する複数の画像が存在する場合、それらの画像のうちの一つが、ランダムに、最良近隣画像に選ばれ得る。他の実施の形態において、複数の画像が同じ最低の最良近隣メトリックを有する場合、最良近隣画像は、例えば画像解像度、焦点距離、カメラ・アングル、画像が撮影された日時、画像がどれだけ最近に撮影されたか、及び画像の人気度等であるがそれらに限定されない係数を評価することによって選ばれてもよい。一つの実施の形態において、人気度は、例えば、当該画像を選択したユーザー数、及びユーザーが当該画像を画面上に表示させていた秒数を含む（がそれらに限定されない）係数から決定されてもよい。他の実施の形態において、人気度は、同じ最低の最良近隣メトリックを有する画像が複数存在する場合以外にも、最良近隣画像を決定するために利用されてもよい。例えば、より低い計算された最良近隣メトリックを有するであろう人気のある画像は、より高い計算された最良近隣メトリックを有する画像を超えて、最良近隣画像として選ばれ得る。処理３１０において、最良近隣画像が決定されると、当該最良近隣画像がＵＩ内でユーザーに提示され得る。
【００４２】
図５は、本発明の一つの実施の形態に従って、ユーザー・インターフェース内の写真から生成されたナビゲート可能な２次元画像環境において、類似した画像を提示する方法５００の実施の形態を示す。本発明は、クライアントのユーザーが、画像ファイル・システム１０８内に格納された一つ又はそれ以上の画像を見るために、ＩＣＤ１０６に接続することを可能とし得る。一つの実施の形態において、ユーザーは、画像ファイル・システム１０８に格納された複数の画像から興味のある特定の画像を選択するために、クライアント上でＵＩを提示され得る。処理５０２において、第一の選択された画像が特定される。一つの実施の形態において、該画像は、クライアント・マシン１０２の例えばマウス、キーボード、音声認識装置又はタッチスクリーンのような入力装置を用いるユーザーにより、ＵＩ内で選択され得る。処理５０４において、選択された画像内のキーポイントのセットが特定される。一つの実施の形態において、選択された画像が最初に画像ファイル・システム１０８に集約される際に、選択された画像のキーポイントが予め決定されている場合、キーポイントの特定は、画像とともに格納されていた対応するキーポイントの特定を含んでもよい。もう一つの実施の形態において、選択された画像内のキーポイントの特定は、選択された画像が選択されてから、キーポイント検出装置１１２によってオンザフライで実行されてもよい。
【００４３】
処理５０６において、画像ファイル・システム１０８内の他の画像のキーポイントが特定される。一つの実施の形態において、他の画像は、選択された画像と同一グループ内の画像を含んでもよい。もう一つの実施の形態において、他の画像は、ファイル・システム１０８内の全ての画像を含んでもよい。一つの実施の形態において、他の画像のキーポイントが、他の画像が最初に画像ファイル・システム１０８に集約される際に予め決定されている場合、キーポイントの特定は、他の各画像とともに格納されていた対応するキーポイントの特定を含んでもよい。もう一つの実施の形態において、他の画像内のキーポイントの特定は、選択された画像が選択されてから、キーポイント検出装置１１２によってオンザフライで実行されてもよい。
【００４４】
処理５０８において、選択された画像と他の各画像とに対する類似性メトリックが決定され得る。類似性メトリックは、選択された画像と他の各画像との間の類似性レベルを決定するために利用され得る。一つの実施の形態において、類似性メトリックは、選択された画像と比較対象画像との間の差のキーポイントによって測定された距離を表し得る。比較対象画像は、選択された画像と現在比較されている他の画像からの画像であってよい。他の実施の形態において、類似性メトリックは、特定の距離要素を考慮することにより決定されてもよい。そのような距離要素は、選択された画像と比較対象画像とに対するカメラ位置間のユークリッド距離、選択された画像及び比較対象画像が撮られた／撮影された方向に対応するベクトル間の角度分離、及び／又は、選択された画像及び比較対象画像の焦点距離間の差を含み得るが、それらに限定されない。更に、他の実施の形態において、類似性メトリックは、非空間的距離要素を用いて決定されてもよい。そのような非空間的距離要素は、画像輝度、時間帯、光の方向、及びメタデータに関連する係数を含み得るが、それらに限定されない。
【００４５】
本発明は、上に列挙された類似性メトリックの様々な異なる実施の形態を決定するために、多数の異なる種別のアルゴリズムを利用するよう構成され得る。例えば、決定されるべき類似性メトリックが、選択された画像と比較対象画像との間の差異点によって測定された距離である場合に、幾つかの異なる種別のアルゴリズムが採用され得る。そのようなアルゴリズムの一つは、
【００４６】
【数４】
2010527072.tif 000006
【００４７】
である。
【００４８】
上記のアルゴリズム７は、選択された画像と比較対象画像との間の差異点によって測定された距離（「Ｄｉｓｔ（Ｓｅｌ  Ｉｍ，Ｃｏｍｐ  Ｉｍ）」）を決定するように、選択された画像及び比較対象画像が共通に有するキーポイントの数の２倍（「（２×Ｃｏｍｍｏｎ  Ｋｅｙｐｏｉｎｔｓ）」）を、選択された画像及び比較対象画像において特定された全体キーポイントの和（「Ｔｏｔａｌ  Ｋｅｙｐｏｉｎｔｓ（Ｓｅｌ  Ｉｍ＋Ｃｏｍｐ  Ｉｍ）」）から減算することを示す。共通のキーポイントは、選択された画像及び比較対象画像内で同一の識別子を割り当てられたキーポイントを特定することにより、決定可能である。
【００４９】
ここで図２を参照して、上記のアルゴリズムを用いて類似性メトリックを決定する例を説明する。画像Ａは選択された画像であり、画像Ｂ及びＣは、画像Ａと比較される他の画像であると仮定する。画像Ｂが比較対象画像である場合、画像Ａは、画像Ｂのキーポイント２１２、２１４、２１６、２１８及び２２０とそれぞれ同じであるキーポイント２０２、２０４、２０６、２０８及び２１０を含むと決定され得る。従って、画像Ａ及び画像Ｂは、５つの共通キーポイントを有する。画像Ａは、５つの全体キーポイントを含み、画像Ｂは９つの全体キーポイントを含み、両方の画像において特定された全体キーポイントは１４個あることになる。そのため、アルゴリズム１により、類似性メトリックは、１４−（２×５）、即ち４となり、この４は、画像Ａと画像Ｂとの間の差異点により測定された距離を表す。
【００５０】
画像Ｃが比較対象画像である場合、画像Ａは、画像Ｃのキーポイント２３２、２３４、２３６及び２３８とそれぞれ同じであるキーポイント２０４、２０６、２０８及び２１０を含むと決定され得る。従って、画像Ａ及び画像Ｃは、４つの共通キーポイントを有する。画像Ａは５つの全体キーポイントを含み、画像Ｃは１０個の全体キーポイントを含み、両方の画像において特定された全体キーポイントは１５個あることになる。そのため、アルゴリズム１により、類似性メトリックは、１５−（２×４）、即ち７となり、この７は、画像Ａと画像Ｃとの間の差異点により測定された距離を表す。
【００５１】
選択された画像と比較対象画像との間の差異点によって測定された距離を知るように類似性メトリックを決定する際、２つの画像間の距離が小さければ小さいほど、それらは類似していると判断される。例えば、画像Ａと画像Ｂとの間の距離は４であり、画像Ａと画像Ｃとの間の距離は７である。そのため、画像Ｂは、画像Ｃよりも画像Ａに類似していると判断される。画像Ｂ及び画像Ｃにアルゴリズム１が適用される際、距離は３と決定され、これは、画像Ｂ及びＣが、各画像が画像Ａに対するよりも、互いに類似していることを意味する。
【００５２】
図５に戻って、処理５１０において、選択された画像と比較される他の画像が、それら画像と対応する決定された類似性メトリック基づいて、ランク付けされ得る。一つの実施の形態において、他の画像は、各画像の類似性メトリックを用いて、類似性の降順にランク付けされ得る。他の画像がランク付けされると、処理５１２において、ユーザーのクライアントのＵＩ内の２次元環境において、選択された画像の周りに、他の画像がランク付けされた順序で表示され得る。
【００５３】
図６Ａ、図６Ｂ、図６Ｃ及び図６Ｄは、写真から生成されるナビゲート可能な２次元画像環境において、選択された画像の周りに、選択された画像に類似する画像を表示するＵＩの実施の形態を示す。図６Ａ〜図６Ｄのそれぞれは、「スプラッター・ビュー（ｓｐｌａｔｔｅｒ  ｖｉｅｗ）」と呼ばれる画像の組織を示す。図６Ａは、ランク付けられた他の画像が、画像「０」によって表示される選択された画像の周りの、同心の帯状部分に表示される実施の形態を示す。各帯状部分は、ユーザーに提示される特定の数の他の画像を含むように構成され得る。他の画像は、類似性の降順で帯状部分１〜１０内に置かれ、選択された画像に最も類似する他の画像が、選択された画像の最も近くに提示される。例えば、「１」というラベルの付いた帯状部分は、選択された画像に最も類似する他の画像を含み、「１０」というラベルの付いた帯状部分は、選択された画像に最も類似しない他の画像を含む。
【００５４】
一つの実施の形態において、各帯状部分は、対応する類似性メトリックを有する他の画像を含み得る。例えば、「１」というラベルの付いた帯状部分は、０という対応する類似性メトリックを有する他の画像を含み、「２」というラベルの付いた帯状部分は、１という対応する類似メトリックを有する他の画像を含み、「３」というラベルの付いた帯状部分は、２という対応する類似メトリックを有する他の画像を含み、他も同様であり得る。もう一つの実施の形態において、帯状部分は、或る範囲の類似性メトリックを含み得る。そのような実施の形態において、「１」というラベルの付いた帯状部分は、０〜２の類似性メトリックを有する他の画像を含み、「２」というラベルの付いた帯状部分は、３〜５の類似性メトリックを有する他の画像を含み、他も同様であり得る。
【００５５】
ユーザーのＵＩ内で画像を提示する際、画像は、ユーザーの画面空間の形状に適合するようスケーリングされた方法で提示され得る。図６Ａに示す通り、ユーザーの画面空間６０２はワイドスクリーンである。そのため、選択された画像の左右に、選択された画像の上下よりも多くの、他の画像の帯状部分が提示される。しかしながら、図６Ｂに示す通り、より高く幅の狭い画面空間６０４を有するユーザーは、選択された画像の上下に、選択された画像の左右よりも多くの帯状部分を表示することにより、その画面空間種別に適合するようスケーリングされた同心の帯状部分を有することができる。
【００５６】
図６Ｃは、選択された画像の周りに選択された画像と類似した画像を提示するもう一つの実施の形態を示す。図６Ｃに示す通り、より高い類似性ランキングを有する画像が、選択された画像０のより近くに、且つ、選択された画像０から更に離れた一層低い類似性ランキングを有する画像よりも大きく表示される。
【００５７】
図６Ｄは、選択された画像の周りに選択された画像と類似した画像を提示する更にもう一つの実施の形態を示す。図６Ｄに示す通り、選択画像の周りに画像が螺旋状に表示され得る。他の各画像の計算された類似性メトリックによって決定される、最も類似する画像が、区画「１」に提示され得る。残りの他の画像は、昇順に番号を振られた区画に、関連性の降順で提示され得る。即ち、番号付けられた区画が増加するにつれて、提示される画像の類似性レベルは低下する。ここでも、選択された画像の周りの他の画像の配置は、選択された画像に対する他の各画像の対応する類似性メトリックによって決定され得る。また、図６Ｄに示す通り、より高い類似性ランキングを有する（選択された画像により近い）画像は、より低い類似性ランキングを有する（選択された画像からより離れた）画像よりも大きく提示され得る。更にもう一つの実施の形態において、複数の画像を含む帯状部分は、選択された画像の周りに螺旋状に提示されてもよい。そのような実施の形態において、帯状部分は、同じ類似性メトリックを有する他の画像を含んでもよく、特定の類似性メトリック範囲に対応する他の画像を含んでもよい。例えば、第一の帯状部分は、０から５までの間の類似性メトリックを有する他の画像を含み得る。
【００５８】
写真から生成されるナビゲート可能な３次元及び２次元の店頭の作成
ここでは、写真から生成されるナビゲート可能な３次元及び２次元の画像環境を作成する技術を説明する。本セクションでは、写真から生成されるナビゲート可能な３次元及び２次元の店頭の作成を扱う。写真から生成されるナビゲート可能な３次元及び２次元の店頭は、それぞれ、上記の写真から生成されるナビゲート可能な３次元及び２次元の画像環境を採用し得る。写真から生成されるナビゲート可能な店頭は、商品及び／又はサービスの販売のために商取引環境を操作する任意の主体によって利用され得る。そのような取引環境には、店舗、小売店、市場、見本市、展示会、製造者の倉庫、及びガレージ・セールのような即席の商取引環境が含まれるが、それらに限定されない。
【００５９】
写真から生成されるナビゲート可能な店頭は、商取引環境の運用者又は運用者の代理人によって管理される商取引ウェブサイトに組み込まれ得る。写真から生成されるナビゲート可能な店頭は、物理的な商取引環境内で見られる通りの、商品及びサービスの画像を含むことができる。画像は、例えば、（デジタル又は非デジタルの）カメラで撮影された商品及び／又はサービスの写真であってよい。写真から生成されるナビゲート可能な店頭は、ユーザーがあたかも物理的な商取引環境の場所にいるかのように、商取引環境をナビゲートし、ブラウズすることを可能にし得る。例えば、ＢｅｓｔＢｕｙと類似した商品及びサービスを有する電器店であり得る「店舗１」と名づけられた店舗は、ウェブサイトｗｗｗ．ｓｔｏｒｅ１．ｃｏｍを有し得る。当該ウェブサイトは、ユーザーがウェブサイト上で選択することができるオプションであって、店舗１の店舗全体で集められた、写真から生成される３次元又は２次元の画像環境をユーザーがブラウズすることを可能とする、「写真から生成されるナビゲート可能な店頭」オプションを有し得る。
【００６０】
ウェブサイトのＵＩの第一のセクションにおいて、店舗の画像の、写真から生成されるナビゲート可能な実際の３次元又は２次元の環境が存在し得る。ユーザーは、あたかも彼らが実際に通路を歩いているかのように、例えばテレビ、ＣＤ、電気機器及びビデオゲームを含む該店舗の各部門の通路をブラウズすることができる。ユーザーは、カメラによって集められた画像に基づいて、物理的な店舗の棚の上にあるのと同じように、実際の商品を見ることができる。ウェブサイトのＵＩの第二のセクションでは、ユーザーによって選択された画像内に示された商品又はサービスに関連する情報を提示するウェブページが現れ得る。例えば、ユーザーが売り出し中の特定の携帯電話機を表示する画像へとナビゲートした場合、第二のセクションは、該電話機の名前、型番及び価格を表示し得る。更に、第二のセクションにおいて、該携帯電話機のために購入可能な様々なサービス・プランに関する情報が表示されてもよい。
【００６１】
図７は、本発明の一つの実施の形態に従って、写真から生成されるナビゲート可能な店頭を作成する例としての方法７００のフロー図である。処理７０２において、一つ又はそれ以上の画像が受信される。受信された画像は、商取引環境において撮影された商品又はサービスの画像であり得る。該画像は、そのような商品又はサービスの、カメラによって撮影された写真であり得る。一つの実施の形態において、画像は、ＩＣＤ１０６（図１）によって受信され得る。そのような実施の形態において、画像は、ユーザーがカメラからＩＣＤ１０６へと画像をアップロードすることにより、受信され得る。処理７０４において、各画像はＩＣＤ１０６によって処理される。画像処理に際して、各画像のキーポイントが特定され、他のキーポイントから区別するための識別子を割り当てられる。各キーポイント識別子は、画像ファイル・システム１０８において、対応する各画像と関連付けられて格納される。
【００６２】
処理７０６において、受信された画像が、識別子（タグＩＤ）によってタグ付けされる。タグＩＤは、一つ又はそれ以上の画像と、該画像内の商品／サービスに関する説明情報との間のリンクとして機能する識別子である。関連する説明情報は、写真から生成されるナビゲート可能な３次元又は２次元の画像環境を表示するＵＩの第一のセクションに続く、ウェブサイトのＵＩの第二のセクションにおいて表示され得る。タグＩＤは、任意の単語、語句、商品／サービス番号又はＩＤ、或いは、画像を区別するための任意の他の説明機構であってよい。タグＩＤは、例えばキーボード又はマウスのような入力装置を用いるユーザーから手動で受信されてもよく、音声認識入力システムの利用によってユーザーから受信されてもよい。ユーザーは、対応する各画像について、タグＩＤを単に音声認識システムに向かって話すだけでよい。画像に対するタグＩＤが受信されると、タグＩＤは、画像と関連付けられて画像ファイル・システム１０８に格納される。
【００６３】
一つの実施の形態において、タグＩＤは、選択された画像のキーポイントに基づいて、選択された画像と関連付けられる。例えば、キーポイントを特定の画像の画像ファイル名と関連付ける代わりに、特定の画像のタグＩＤと関連付けることができる。この方法は、ＩＣＤ１０６が、タグ付けられた画像と類似するキーポイントを有する画像に対し、同一のタグＩＤを適用することができるという更なる利点を有する。ＩＣＤ１０６は、一つの画像と同じタグＩＤを他の画像に適用するために必要な共通キーポイントの閾値数を決定するアルゴリズムを用い得る。そのため、画像ファイル・システム１０８にアップロードされた各画像全てにマニュアルでタグ付けしなければならない代わりに、ユーザーは、特定の商品を有する画像の一つの例にタグ付けすることを選択でき、該タグＩＤが、同じ商品を含む他の画像に適用され得る。従って、関連する商品／サービス情報のセットが、一つの選択された画像に対するタグＩＤと関連付けられると、同一の商品／サービス情報が、同一のタグＩＤでタグ付けされた他の画像に適用され、関連付けられ得る。
【００６４】
タグＩＤは、また、単一画像内に複数の商品がある場合に、画像内の複数の商品が、画像ファイル・システム１０８内に、特定の商品のより近くでのビューを表す対応する画像を有する場合を特定するのを助ける。例えば、第一の画像は、売り出し中のソニー、サムソン、及びパナソニック社製テレビを有する通路の棚を含み得る。ユーザーは、ソニー社製テレビのより近くでのビューを表示する画像を見たいと望み得るが、より近くでのビューの画像へどうやってナビゲートするかを知らないかもしれない。ソニー社製テレビのみのより近くでのビューを有する画像があると仮定し、そのような画像がタグＩＤを有する場合、該タグＩＤは、第一の画像（ソニー、サムソン及びパナソニック社製テレビを含む画像）のソニー社製テレビを表示する領域と関連付けられ得る。
【００６５】
タグＩＤが第一の画像の領域と関連づけられると、該方法は、画像ファイル・システム１０８内にソニー社製テレビのより近くでのビューを表示する画像があることを、ユーザーに知らせるよう実現され得る。例えば、一つの実施の形態において、第一の画像内のソニー社製テレビの周り又は隣に、ソニー社製テレビのより近くでのビューの画像があることをユーザーに知らせるために、輝く円又は他の識別子が置かれてもよい。そのような実施の形態において、ユーザーが第一の画像のソニー社製テレビを表示する領域の上でマウス・カーソルをクリックすると、ソニー社製テレビのより近くでのビューを含む画像が取り出されて、ユーザーに表示され得る。第一の画像内の他のテレビが、タグＩＤの付けられた、対応するより近くでのビュー画像を有する場合も同様である。他のテレビそれぞれのタグＩＤは、第一の画像の特定のテレビを表示する領域と関連付けられ、ユーザーが第一の画像内の対応する商品にアクセスすると、より近くでのビュー画像がユーザーに表示され得る。もう一つの実施の形態において、より大きな画像内に表示された、商品のより近くでのビュー画像へのリンクは、ウェブサイトのＵＩの第二のセクションに表示されてもよい。例えば、写真から生成されるナビゲート可能な３次元又は２次元の画像環境において、第一の画像内の商品のより近くでのビューの画像があることをユーザーに知らせるように、何らかの種別の識別機構を配置する代わりに、ウェブサイトのＵＩの第二のセクションにおいて、より近くでのビューの画像それぞれへのリンクが配置されてもよい。第二のセクションにおいてユーザーがリンクを選択すると、より近くでのビューの画像が、３次元又は２次元のナビゲート可能な画像環境（第一のセクション）において、ユーザーに提示され得る。更に、画像内に表示された複数の商品を有する画像は、画像内の各商品が表示されている様々な領域と関連付けられた複数のタグＩＤを有してもよい。
【００６６】
処理７０８において、タグ付けされた画像は、各画像内に示された商品又はサービスに関する商品／サービス情報と関連付けられる。画像は、画像のタグＩＤ、又は例えば画像ファイル名のような他の識別子を商品／サービス情報と関連付けて、画像との関連付けを画像ファイル・システム１０８に格納することにより、商品／サービス情報のセットと関連付づけられる。商品／サービス情報は、画像ファイル・システム１０８に格納されてもよいし、ＩＣＤ１０６の内部に又は外部にあってもよい独立のデータベースに格納されてもよい。商品／サービス情報は、写真から生成されるナビゲート可能な３次元又は２次元の画像環境セクション内の画像に表示されている商品又はサービスに関する、任意の種別のマルチメディア・データを含んでもよい。例えば、商品／サービス情報は、商品／サービスの文脈の説明、商品／サービス購入のための決済サービス、商品／サービスに関する音声又はビデオ・コンテンツを再生するための音声及び／又はビデオ・ファイル、商品／サービスと関連する又はしない物理的な商取引環境の特定の領域のライブのウェブ・カメラ・フィード、ユーザーが商取引環境の販売員とインスタント・メッセージをやり取りすることを可能とするインスタント・メッセンジャー、又は任意の他のマルチメディア・データ項目を含んでよい。一つの実施の形態において、商品／サービス情報を表示する第二のセクションは、マルチメディア・コンテンツを表示するウェブページを含む。
【００６７】
写真から生成されるナビゲート可能な３次元又は２次元の画像環境セクション内の画像が、第二のＵＩセクション内の商品／サービス情報と関連付けられるに際し、本発明は、２つのセクション間に双方向通信があるよう構成され得る。双方向通信は、第一のＵＩセクション（写真から生成されるナビゲート可能な３次元又は２次元の画像環境）内でとられたアクションが、第二のＵＩ（商品／サービス情報）セクションに何が表示されるかに影響し、また、その逆に影響する能力を可能とする。例えば、第一のＵＩセクション内で画像を選択することにより、該画像内の商品のタグＩＤと関連付けられた商品／サービス情報が取り出され、第二のＵＩセクションに表示され得る。ＩＣＤ１０６は、例えば、画像又は画像の一部が第一のセクションにおいて選択されたことを決定し、選択された画像又は部分と関連付けられたタグＩＤを特定し、商品／サービス情報を含むデータベースを検索し、特定されたタグＩＤと関連付けられたマルチメディア・データを有するウェブページを取り出して、該取り出されたマルチメディア・データを第二のＵＩセクションに表示することができる。もう一つの例において、第二のＵＩセクションは、第一のＵＩセクションの画像内に表示された一つ又はそれ以上の製品のより近くでのビュー画像へのリンクを表示するよう構成され得る。特定のリンクの選択は、例えば、ＩＣＤ１０６が、第一のＵＩセクション内で選択されたリンクと関連付けられた、より近くでのビューの画像を取り出して表示することをもたらし得る。
【００６８】
図８Ａ及び図８Ｂは、写真から生成されるナビゲート可能な店頭を表示する商取引環境のウェブサイトの実施の形態である。図８Ａは、ナビゲート可能な３次元画像環境セクション８０２及び商品／サービス情報セクション８０６を含むウェブサイトＵＩ８００の実施の形態を示す。ナビゲート可能な３次元画像環境セクション８０２内には、選択された画像８０８から左、右、上、下、ズーム・イン、ズーム・アウト方向にユーザーがナビゲートすることを可能とする、マウス・カーソルで選択可能なオプション（図示せず）が存在し得る。もう一つの実施の形態において、本発明は、例えばユーザーがナビゲートしたい方向をＩＣＤ１０６に知らせる、キーボード又は他の入力装置からの特定の入力制御を受け付けるよう構成されてもよい。方向が受信されると、現在の選択された画像８０８からの、隣り合う最良近隣画像が表示され得る。図示されている通り、画像８０８の選択は、画像８０８内の商品に関する商品情報が、商品／サービス情報セクション８０６に表示される結果をもたらす。商品情報は、上記の通り、タグＩＤを用いて画像８０８と関連付けられ得る。一つの実施の形態において、図示される通り、選択された画像８０８と類似する画像の列が、ナビゲート可能な３次元画像環境セクション８０２のセクション８０４に表示され得る。セクション８０４に表示される画像は、選択された画像８０８と共有される共通キーポイントに基づき得る。
【００６９】
図８Ｂは、ナビゲート可能な２次元画像環境セクション８１２のスプラッター・ビューを含み、更に商品／サービス情報セクション８１４を含むウェブサイトＵＩ８１０の実施の形態を示す。図示されている通り、画像８１６の選択は、画像８１６内の商品に関する商品情報が商品／サービス情報セクション８１４に表示される結果をもたらす。商品情報は、上記のタグＩＤを用いて画像８１６と関連付けられ得る。一つの実施の形態において、セクション８１２内における画像の選択は、該画像が、写真から生成されるナビゲート可能な３次元画像環境に表示される結果をもたらし得る。図８Ａ及び図８Ｂに示す通り、商品／サービス情報セクションは、写真から生成されるナビゲート可能な３次元又は２次元の画像環境の左側に表示される。しかしながら、他の実施の形態において、商品／サービス情報セクションは、３次元又は２次元の写真から生成されたナビゲート可能な画像環境の上、下、又は右側に表示されてもよい。
【００７０】
図９は、本発明の一つの実施の形態に従って、写真から生成されるナビゲート可能な店頭を管理する方法９００のフロー図である。処理９０２において、第一の画像が受信される。一つの実施の形態において、第一の画像はＩＣＤ１０６によって受信される。第一の画像は、写真から生成されるナビゲート可能な画像環境（３次元又は２次元）に組み込まれてもよい。処理９０４において、第一の画像内の一つ又はそれ以上のキーポイントが特定される。キーポイントは、例えば、ＩＣＤ１０６を用いて特定され得る。処理９０６において、第一の画像のキーポイントに基づいて、第一の画像にタグ識別子が割り当てられる。処理９０８において、タグ識別子は、第一の画像内のアイテムに関連する説明情報と関連付けられる。処理９１０において、タグ識別子と説明情報との関連付けが、データベースに格納される。
【００７１】
図１０は、本発明の一つの実施の形態に従って、写真から生成されるナビゲート可能な店頭を管理するもう一つの方法１０００のフロー図である。処理１００２において、写真から生成されるナビゲート可能な画像環境（３次元又は２次元）内の画像へのアクセス要求が受信される。一つの実施の形態において、要求はＩＣＤ１０６によって受信される。処理１００４において、該画像と関連付けられた一つ又はそれ以上のタグ識別子が特定される。処理１００６において、該タグ識別子と関連付けられた説明情報の位置が特定される。説明情報は、例えばデータベースに格納され、該データベースにおいて、詳細説明がデータベース内のタグ識別子と関連付けられる。処理１００８において、説明情報が、グラフィカル・ユーザー・インターフェース内で提供される。
【００７２】
ここでは、本発明の特定の実施の形態を詳細に例示及び説明したが、本発明の範囲及び趣旨を外れることなく、本発明に対する様々な変更及び修正がなされ得ることが理解されるべきである。ここに説明された実施の形態は、あらゆる点において、例示であって限定を意図するものではない。当業者には、本発明がその範囲を外れることなく関連する代わりの実施の形態が明らかになる。
【００７３】
上記の記載から理解されるように、本発明は、本システム及び方法にとって明らか且つ固有のものである他の利点を備えるとともに、先に述べられた全ての結果及び目的を達成するために十分に適応されるものである。特定の特徴及び副結合は有用であり、他の特徴及び副結合を参照することなく採用され得ることが理解される。
【図１】
2010527072.tif 000007
【図２】
2010527072.tif 000008
【図３】
2010527072.tif 000009
【図４Ａ】
2010527072.tif 000010
【図４Ｂ】
2010527072.tif 000011
【図５】
2010527072.tif 000012
【図６Ａ】
2010527072.tif 000013
【図６Ｂ】
2010527072.tif 000014
【図６Ｃ】
2010527072.tif 000015
【図６Ｄ】
2010527072.tif 000016
【図７】
2010527072.tif 000017
【図８Ａ】
2010527072.tif 000018
【図８Ｂ】
2010527072.tif 000019
【図９】
2010527072.tif 000020
【図１０】
2010527072.tif 000021
【国際調査報告】
2010527072.tif 000022
2010527072.tif 000023