(57)【要約】  本明細書の発明対象は、とりわけ、コンピュータによって実施される物品識別方法において実現することが可能であり、この方法は、リモート電子デバイスから受信した画像中の物品を識別するステップと、その物品の1つまたは複数のベンダに関して、その物品に関する情報を含む検索結果を送信するステップと、その物品の1つまたは複数のベンダが提供している物品の注文を実行するためのコードをリモートデバイスに送信するステップとを含む。
2011525664.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによって実施される物品識別方法であって、
リモート電子デバイスから受信した画像中の物品を識別するステップと、
前記物品の1つまたは複数のベンダに関して、前記物品に関する情報を含む検索結果を送信するステップと、
前記物品の前記1つまたは複数のベンダが提供している前記物品の注文を実行するためのコードを前記リモートデバイスに送信するステップとを含む方法。
【請求項２】
物品を識別するステップは、前記受信された画像からの要素と1つまたは複数の事前に格納されている画像とを比較して前記画像間の一致度を判定するステップを含む請求項1に記載の方法。
【請求項３】
前記1つまたは複数の事前に格納されている画像に関連付けられているテキストメタデータを識別すると共に、前記テキストメタデータに対応する情報を製品検索エンジンにサブミットするステップをさらに含む請求項2に記載の方法。
【請求項４】
前記テキストメタデータは、前記事前に格納されている画像が得られるウェブページから取得される請求項3に記載の方法。
【請求項５】
前記要素は、特徴点を含む請求項2に記載の方法。
【請求項６】
前記コードは、前記リモートデバイス上で選択されたときに、前記デバイスに、前記ベンダから分離している決済システムを通じてベンダへ発注を行わせるコントロールを生成する請求項1に記載の方法。
【請求項７】
前記リモートデバイスのユーザに関する機密情報を選択されたベンダに提供することなく、前記選択されたベンダの金融口座に入金を行うと共に、前記ユーザの金融口座から引き落としを行うステップをさらに含む請求項1に記載の方法。
【請求項８】
前記選択されたベンダに前記ユーザに関する発送情報を送信するステップをさらに含む請求項7に記載の方法。
【請求項９】
コンピュータによって実施される物品識別方法であって、
リモートサーバに、物理的な物品を含む画像をサブミットするステップと、
それに対する応答として、1つまたは複数のベンダが提供している販売中の物品のリストを、前記物理的な物品に対応する前記物品を購入するためのコントロールと共に受信するステップと、
前記ベンダのうちの1つのベンダから前記物品を購入するためのコマンドを送信するステップとを含む方法。
【請求項１０】
前記物品のリストは、前記物品に対する製品検索結果を含む請求項9に記載の方法。
【請求項１１】
前記物品を購入するための複数のコントロールが、ベンダに関する検索結果と共にそれぞれ表示される請求項9に記載の方法。
【請求項１２】
購入確認画面を表示するためデータを受信すると共に、確認書を決済サーバに送信して、選択されたベンダとの取引を完了させるステップをさらに含む請求項9に記載の方法。
【請求項１３】
前記画像内の前記物品の前記地理的位置に基づいて、前記販売中の物品のリストを絞り込むステップをさらに含む請求項9に記載の方法。
【請求項１４】
コンピュータによって実施される物品識別システムであって、
リモートデバイスによってサブミットされるデジタル画像を受信するためのインターフェイスと、
前記受信された画像の特徴を格納されている画像の特徴と比較して、前記受信された画像内の製品を識別するための画像比較器と、
前記格納されている画像に関連する検索語に対応する検索結果を生成するための製品検索エンジンとを備えるシステム。
【請求項１５】
前記格納されている画像は、前記製品検索エンジンにサブミットするための対応するテキストタグを含む請求項14に記載のシステム。
【請求項１６】
前記リモートデバイスのユーザと識別された製品のベンダとの間の金融取引を完了するための決済システムをさらに備える請求項14に記載のシステム。
【請求項１７】
前記製品検索エンジンからの検索結果を、前記検索結果内の製品を購入するためにユーザによって選択可能なコントロールを含むようにフォーマットするための結果フォーマッタをさらに備える請求項14に記載のシステム。
【請求項１８】
前記デジタル画像をサブミットする前記リモートデバイスの位置は、検索結果を生成するための検索語として使用される請求項14に記載のシステム。
【請求項１９】
コンピュータによって実施される物品識別システムであって、
リモートデバイスによってサブミットされるデジタル画像を受信するためのインターフェイスと、
複数のベンダによって販売されている製品を含む複数の画像を格納するメモリと、
前記リモートデバイスのユーザに対して、前記ユーザによる選択に応答して、前記複数のベンダのうちから選択されたベンダによる販売を仲介するための手段とを備えるシステム。
【請求項２０】
前記受信されたデジタル画像中の物品を識別するための手段をさらに備える請求項19に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、一般に、モバイルデバイスなどから取り込んだ画像を利用し、それらの画像から物品を購入するのを補助するステップを説明するものである。
【背景技術】
【０００２】
買い物は、ほとんど国民的娯楽である。人々は、週末をショッピングモールで過ごし、大安売を見つけに何マイルも遠回りをする。買い物はまた、少なくとも従来型の店では、なんと言ってもローテク（low tech）である。買い物客は、製品を手にとって確かめ、値札を見て、レジへ行き、それらの商品の支払いを現金、小切手、またはクレジットカードで済ます。
【０００３】
一般的に、買い物客は、物品を見て買うかどうかを思案しているときに、自分は何が欲しいのか、それが安い買い物かどうかを考えている。買い物客は、買い物に行く前にオンラインでリサーチをある程度済ませて付加的情報を入手している可能性があるか、またはウェブブラウザを搭載したスマートフォンなどのモバイルデバイスを使用して、付加的情報を見つけることも考えられる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Mikolajczyk, K.、Schmid, C.、「A performance evaluation of local descriptors」、IEEE Transactions on Pattern Analysis and Machine Intelligence、27(10)、2005年10月、1615〜1630頁
【非特許文献２】Lowe, D.G.、「Distinctive image features from scale-invariant keypoints」、International Journal of Computer Vision、60(2)、2004年11月、91〜110頁(Springer Netherlands)
【非特許文献３】Lowe, D.、「Local Feature view Clustering for 3D Object Recognition」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'01)、第1巻、2001年、682頁
【非特許文献４】Rothganger, F.、Lazebnik, S.、Schmid, C.、Ponce, J.、「3D Object Modeling and Recognition Using Local Affine-Invariant Image Descriptors and Multi-View Spatial Constraints」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'03)、第2巻、272〜277頁、2003年
【非特許文献５】Grauman, K.、Darrell, T.、「The Pyramid Match Kernel: Discriminative Classification with Sets of Image Features」、Tenth IEEE International Conference on Computer Vision、第2巻、1458〜1465頁、2005年
【発明の概要】
【課題を解決するための手段】
【０００５】
本明細書は、物理的な物品を識別し、その物品をオンラインで購入するための技術を説明する。一般に、買い物客は、購入対象として興味を抱いている物品の電子画像を取得し、その画像を製品関連情報を受け取ることに関心があることを示す指示と共にリモートサーバにサブミットすることができる。サーバは、この画像を、オブジェクトの識別を手助けするさまざまなオブジェクトに関するメタデータに順にリンクされる製品のさまざまな格納済みの画像と照合することを試みることができる。次いで、このような識別情報を手に入れると、サーバは、その情報を製品検索システムにサブミットし、モバイルデバイスに対して、ユーザの前にある物品と一致する販売中の物品に対する検索結果のリストを返すことができる。サーバは、検索結果に示されているベンダの1つから、ユーザが製品を直ちに購入することができるように、決済システムからのデータを統合することもできる。
【０００６】
この方法では、ユーザは、さまざまなオンラインベンダの物品の価格を比較するだけでなく、従来型の店の物品の価格とオンラインベンダの物品の価格とを比較することができて都合がよい。ユーザは、そのような比較結果を、完了した買い物に容易に変換することもできる。このような買い物は、Yahoo! Shoppingなど、これらのベンダとは異なるサードパーティを通じて行うことも可能なので、ユーザは、クレジットカードまたは他の類似のデータをベンダに送信する必要がない。
【０００７】
第1の一般的な態様では、コンピュータによって実施される識別方法が説明される。この方法は、リモート電子デバイスから受信した画像中の物品を識別するステップと、その物品の1つまたは複数のベンダに関して、その物品に関する情報を含む検索結果を送信するステップと、その物品の1つまたは複数のベンダが提供している物品の注文を実行するためのコードをリモートデバイスに送信するステップとを含む。
【０００８】
第2の一般的な態様では、コンピュータによって実施される物品識別方法が説明される。この方法は、リモートサーバに、物理的な物品を含む画像をサブミットするステップと、それに対する応答として、1つまたは複数のベンダが提供している販売中の物品のリストを、物理的な物品に対応する物品を購入するためのコントロール（control）と共に受信するステップと、これらのベンダのうちの1つのベンダから物品を購入するためのコマンドを送信するステップとを含む。
【０００９】
第3の一般的な態様では、コンピュータによって実施される物品識別システムが説明される。システムは、リモートデバイスによってサブミットされるデジタル画像を受信するためのインターフェイスと、受信された画像の特徴を格納されている画像の特徴と比較して受信された画像内の製品を識別するための画像比較器と、格納されている画像に関連する検索語に対応する検索結果を生成するための製品検索エンジンとを備える。
【００１０】
さらに他の一般的な態様では、コンピュータによって実施される物品識別システムが説明される。システムは、リモートデバイスによってサブミットされるデジタル画像を受信するためのインターフェイスと、複数のベンダによって販売されている製品を含む複数の画像を格納するメモリと、リモートデバイスのユーザに対し、そのユーザによる選択に応答して、複数のベンダのうちから選択されたベンダによる販売を仲介するための手段とを備える。
【００１１】
1つまたは複数の実施形態の詳細は、添付の図面および以下の説明で述べられる。本開示の他の特徴、目的、および利点は、説明および図面、さらに請求項から明白になるであろう。
【図面の簡単な説明】
【００１２】
【図１】物品を購入するための画像を取り込むためのシステムの概念図である。
【図２】物品を購入するための画像を取り込むためのシステムの略図である。
【図３Ａ】製品を購入する際に比較する画像を送信するために実行される動作を示す流れ図である。
【図３Ｂ】画像を使用してユーザに対して購入オプションを提供するためのプロセスの例を示す流れ図である。
【図４Ａ】クライアントがさまざまな画像処理サーバおよびコマースサーバを使用することによって画像中の製品に関する情報を取得するために使用できるプロセスを示すシーケンス線図である。
【図４Ｂ】クライアントがさまざまな画像処理サーバおよびコマースサーバを使用することによって画像中の製品に関する情報を取得するために使用できるプロセスを示すシーケンス線図である。
【図５】本明細書で説明されている技術を実装するために使用され得るコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。
【発明を実施するための形態】
【００１３】
さまざまな図面内の類似の参照記号は、類似の要素を示す。
【００１４】
「どこで買ったんですか?」は、多くの社会的な集まりにおいてよく聞く言葉である。多くの場合、所有者は、その物品をどこで手に入れたかを知らず、その物品が贈り物である場合もあれば、所有者がその物品を購入してから、購入先がどこであったかを覚えていないくらい年月が経っていることもある。店が閉店してしまっていたり、所有者が、仲間内で自分だけのものにしておきたい場合もある。探し求めている人は、インターネット検索を試すことができるが、物品を説明することが難しいときもある。「メタリックスカーフ」と打ち込むと数千ものウェブサイトが呼び出されるのに、どれも、探し求めている人がメタリックスカーフとはこういうものだと考えるものに一致しない。探し求めている人がメタリックスカーフを1つ見つけたとしても、値段が高すぎたり、供給元が不明であったりすることがある。他の供給元の物品とある程度比較できないと、探し求めている人がそれを購入する可能性は低くなる。
【００１５】
同様に、製品の買い物をしている消費者は、店舗にある製品を見て、技術仕様、原産国、および他のそのような情報など、その製品に関する詳細を知りたくなることがある。ユーザは、商品価格を比較して、どこの店の商品が最良価格であるかを確認したい場合もある。
【００１６】
一般に、ユーザは、スマートフォンまたは類似のデバイスに内蔵されているカメラなどのデジタルカメラで、物品の写真を撮り、その写真をマルチメディアメッセージングサービス(MMS)を使用して送信することができる。画像は、画像処理サーバに送信され、識別され得る。いったん識別されると、この写真は、さまざまなベンダによって販売されている物品を見つけるために使用することができ、またユーザは所望の供給元から物品を購入することができる。例えば、ユーザは、友人のスカーフの写真を撮ることができる。スカーフの写真は、画像処理サーバによって識別され、さまざまな売り手が、他のサーバによって識別される。ユーザは、「1ボタンで購入」アプリケーションを通じて売り手を選択することができる。1ボタンで購入アプリケーションでは、ユーザは、さまざまな売り手と、売り手のウェブサイトを訪問することなく、安全に取り引きすることができる。有利には、説明されているシステムは、所望の物品を見つけるまでの時間を短縮するなどの、1つまたは複数の利点を提供することができる。
【００１７】
図1は、物品を購入するための画像を取り込むためのプロセス100の概念図である。一般に、プロセス100を使用することで、ユーザは物品の画像を検索エンジンに送信して、複数の売り手を見つけ、その物品に対する価格設定を比較することができる。ユーザは、どの製品を買いたいかを決めた後、GOOGLE CHECKOUTなどのチェックアウトサービスを通じて物品を購入することができる。
【００１８】
図1を参照すると、ユーザは最初に、自分の買いたい物品102を識別することができる。ここでは、物品は、ステレオヘッドホン一式を収納するボックス、またはヘッドホンそれ自体の形態をとっている。モバイルデバイス104を使用するユーザは、物品102の画像106を取り込むことができる。次いで、モバイルデバイス104は、分析のために、インターネットなどを経由してその画像をサーバに送信することができるが、これは取り込まれた画像106によって示されているとおりである。
【００１９】
サーバまたは他の構造は、さまざまな方法で画像106内の物品が何であるかを識別することができる。例えば、サーバは、画像106内の特徴点を識別することができる。特徴点は、物品が終わり、物品の背後の背景が開始する場所など、画像中のデータが急に変化する(例えば、ピクセル色または輝度の急な変化が生じる)領域とすることができる。これらの特徴点は、実際には、一緒に画像中の対象物のある種のデジタル線画を表し得る。
【００２０】
同じ物品および類似の物品の他の画像は、これらの画像に対し生成された特徴点により、システムによってすでにアクセスされている可能性がある。このような他の画像は、それらの物品に対する製造者およびモデル名などの、それらの物品に関するメタデータと共に取得されている可能性がある。例えば、製造者が、メタデータと共に画像をサブミットしているか、またはシステムが、さまざまなベンダのウェブページを動き回って、まだ構造化されていないウェブページからそのような情報を抽出して、それを構造化されたデータに転換している可能性がある。次いで、ユーザによって取得された画像中の特徴点を、すでに格納されている画像中の特徴点と比較して、最も近い“一致物（一致する物）”を見つけ、次いで、一致する画像に対するメタデータを使用して、ユーザが提供する画像中の物品を識別することができる。
【００２１】
例えば、特徴点は、周囲点からの不連続または差異に基づくものとされ得る。計算できる種類の特徴の例は、例えば、Mikolajczyk, K.、Schmid, C.、「A performance evaluation of local descriptors」、IEEE Transactions on Pattern Analysis and Machine Intelligence、27(10)、2005年10月、1615〜1630頁、およびLowe, D.G.、「Distinctive image features from scale-invariant keypoints」、International Journal of Computer Vision、60(2)、2004年11月、91〜110頁(Springer Netherlands)に記載されている。他の実装について、以下でさらに説明する。
【００２２】
物品が識別されると、物品に関連付けられているタグ108も識別され得る。例えば、物品は、最初に、物品番号またはあまり説明的でない識別子によって識別され得ると共に、タグは、物品のモデルの名前など、より説明的なものになり得る。次いで、このような説明的なタグは、検索エンジン110に送信され得る。検索エンジンは、GOOGLE PRODUCT SEARCHサービス(f/k/a FROOGLE)などの、製品固有のインデックスを対象とし得る。
【００２３】
次いで、検索エンジンは、販売中の製品を現在有しているベンダが提供する製品のリストを、それらのベンダへのリンクおよび価格設定情報と共に、見慣れた形にフォーマットして返すことができる。このような情報は、検索エンジンにより、ベンダから直接的に(例えば、事前に承認されているフォーマットでデータをサブミットするベンダによって)、または手動で(例えば、ベンダページから情報をコピーするエージェントによって)、または半手動で(例えば、ページの一部を構成するエージェントと類似フォーマットページから製品データを抽出するシステムとによって)、または自動的に(例えば、さまざまな知られている機械学習技術による学習データセットでの学習などにより製品および価格設定データを認識するクローラプログラマ（crawler programmer）によって)、すでに読み出されている可能性がある。
【００２４】
次いで、検索エンジン110の結果は、コマースモジュールに渡され得ると共に、コマースモジュールは、タグ108および/または検索結果データを使用して、検索結果中のさまざまなベンダに対する“1ボタンで購入表示”112を生成することができる。例えば、モジュールは、特定のベンダおよびそのベンダに関連付けられている価格設定情報を識別し、視覚的な「購入」コントロール、例えば、選択可能なボタンの形態のコントロールを表示させるマークアップコードを生成することができる。ユーザによる「購入」コントロールの選択で、デバイスによって送信された検索結果コードに関連付けられているJava（登録商標）Scriptまたは他のコードがトリガーされ、これにより、選択された物品がショッピングカートに追加されるか、またはユーザは、GOOGLE CHECKOUTからのチェックアウト画面などの、チェックアウトに直接誘導され得る。一般的に、このような状況においては、ベンダはすでにサービスに関連付けられている必要があり、したがって、購入ボタンは、そのような事前承認されたベンダに対する結果の隣にのみ表示される。
【００２５】
図示されているように、1ボタンで購入表示112は、忠実な一致物114および類似の一致物116などのさまざまな製品をユーザに提供するように、モバイルデバイス104に送信され得る。表示112は、画像変更ボタン118を備えており、同じ写真に基づいて異なる検索結果を与えることができる。1ボタンで購入表示112は、現在の検索結果から他の一致物をユーザが表示できるようにする“もっと見るボタン”120を含む場合もある。
【００２６】
それぞれの検索結果に関連付けられている情報も、特定のベンダに対するウェブページに接続するハイパーリンクの形態で提示され得る。ユーザは、このハイパーリンクを選択すると、ベンダのウェブページに移動することができる。このような選択により、ユーザは、技術仕様などの製品に関する追加詳細を見て、提供される製品がユーザの前にある製品と同じであるか、または同等であることを確認し、ベンダが本物であることを確認し、表示価格が正確であることを確認することができる。
【００２７】
一致物は、1ボタンで購入表示112内のソート選択肢122からソートすることができる。例えば、一致物は、最も近い視覚的一致物からより遠い視覚的一致物へとソートするか、またはとりわけ、価格でソートすることができる。ユーザは、自分のモバイルデバイス104上で一致物を選択することができる。モバイルデバイス104は、選択結果をチェックアウトサーバ124に送信し、チェックアウトサーバは、ユーザに確認表示126を見せるための表示を生成することができる。
【００２８】
表示112は、ユーザが自分のモバイルデバイス104を通じて物品を安全に購入する効率的な手段をユーザに提供することができる。いくつかの実装では、ユーザは、自分のモバイルデバイス104を通じてデータを格納しておき、このデータにより、個人情報を入力することなく購入を行うことができる。例えば、ユーザは、GOOGLE CHECKOUTアカウントを通じてデータを格納しておくことができる。表示112を使用すると、ユーザは、このような状況において売り手のウェブサイトに直接入らずに購入を行うこともできる。その結果、ユーザは、クレジット情報を単一の信頼できるソースに提供していた可能性があるが、多数の未知のベンダと、これらのベンダにクレジット情報を与えることなく取り引きすることができる。
【００２９】
他の実装では、ユーザは、売り手のウェブサイトに移動して、売り手から直接購入することができる。同様に、ユーザは、購入を行うために自分の個人情報を売り手に提供することができる。また、表示112は、以下でさらに説明されるように、さまざまな表示構成をとることができる。
【００３０】
いくつかの実装では、検索エンジン110は、好ましいベンダを表示するか、または検索エンジンに登録されているベンダのみを表示することができる。他の実装では、タグ108は、オークション検索エンジンに送信されることができる。同様に、ユーザが購入を行うためにどの検索エンジン110を使用したいかを選べるオプションを、ユーザに与えることができる。さらに他の実装では、プロセス100は、複数の検索エンジンを使用して一致物をユーザに表示することができる。
【００３１】
上述のように、検索エンジン110は、忠実な一致物114と類似の一致物116を供給することができる。図1は、忠実な一致物114を、物品102と同じモデル番号およびブランドであるものとして示している。いくつかの実装では、忠実な一致物114は、物品102と同じ製品でない一致物とすることも可能である。例えば、忠実な一致物114は、物品102と同じ特徴を有する製品とすることができるが、同じブランドではない。忠実な一致物は、サブミットされる画像に忠実ではあるが、十分に忠実ではない一致物であった、画像に対応する物品とすることもできる。図1に示されているように、類似の一致物116は、物品102と同じブランドであるが、異なるモデルである。いくつかの実装では、類似の一致物116は、物品102と同じブランドまたは同じ製品でないが、物品102に関係する製品である、一致物とすることも可能である。例えば、物品102は、図1に示されているヘッドホンとすることができ、類似の一致物116は、一般バージョンのヘッドホンおよびヘッドホンケースなどの製品を含むことができる。他の実装では、検索エンジン110は、忠実な一致物114のみを返すことができる。
【００３２】
格納されている画像が、ユーザによってサブミットされた画像106と十分に一致していない場合、システムは、もっとよい画像を入手するようユーザに要求することがある。例えば、画像106は、照度が不十分であると判定されることがある。システムは、このような状況では、照度の高い画像106が再サブミットされた場合にのみ、十分な一致物があり得ると決定することができる。そのようなものとして、システムは、フラッシュを使用するか、代替光源を使用するかして、もう一度撮像するようユーザに指示するメッセージをデバイス104に返すか、または同様の方法でユーザに指示することができる。同様に、画像は、解像度が不十分であると判定されることがある。そのようなものとして、システムは、高解像度を使用するか、物品102にさらに一歩近づくか、物品102をズームインするかして、もう一度撮像するようユーザに指示するメッセージをデバイス104に返すか、または同様の方法でユーザに指示することができる。システムは、単純に結果を見つけられず、異なる設定を使用してもう一度撮像することをユーザに要求することもある。その後の画像の処理および比較は、元の画像106の場合と似た方法で実行され得る。一致物が見つからなければ、システムはその旨をユーザに通知することができる。
【００３３】
いくつかの実装では、画像変更ボタン118によって、異なるタグ108を生成するために画像106を再び評価させるオプションをユーザに提示することができる。例えば、ユーザがヘッドホンを欲しいと思っているが、画像106がmp3プレーヤの画像も含んでいた場合、画像変更ボタン118で、mp3プレーヤがユーザの望む物品102でないことを示すデータを供給することができる。他の実装では、画像106をモバイルデバイス104上に表示し、物品102が配置されている画像106内の領域をユーザに指定させることができる。さらに他の実装では、物品がイヤーマフであり、初期結果がヘッドホンを示していた場合、画像変更操作は、画像処理サーバが初回の結果と実質的に異なる結果を生成するように、画像処理サーバに、それがその画像比較プロセスにおいて使用するパラメータを、変更させることができる。
【００３４】
もっと見るボタン120は、物品が一致のレベルでソートされたときに、最初の1ボタンで購入表示112に示されているものと比べて物品との関連性が低い一致物か、または物品が価格でソートされた場合に価格が高くなる一致物を、ユーザに提示することができる。他の実装では、もっと見るボタン120は、異なる検索エンジンオプションをユーザに提示することができる。例えば、表示112に複数の忠実な一致物114が入っていて、最初に、ユーザになじみのないベンダの一覧を表示している場合、ユーザは、高評価の売り手から購入することを望み、さらに多くの結果を表示するように要求することができる。ソート選択肢122の評価オプションを使用することで、ユーザは、最高評価の売り手を一覧表のトップに移動することもできる。
【００３５】
すでに説明されているように、画像マッチングは、さまざまな方法を用いて計算され得る。パッチベースの特徴については、例えば、一番上で常に最も明るくなるように部分画像を回転することにより、または上記先行技術文献においても説明されているさまざまな他のスキームを通じて、パッチは、標準方向に正規化されることができる。他の手法では、パッチをスケール不変にするか、またはアフィン変換に対して不変にすることができる。いくつかの実装では、視覚的類似度を使用して画像中の物品を識別することができる。一手法では、特徴点に対し類似度関数を定義することができる。比較関数は、単純なものから複雑なものまでさまざまなものがある。2つの画像を比較するための方法が当技術分野では知られており、幾何学的情報を使用して特徴点の2つの集合の妥当性を確認する複合マッチング関数が、例えば、Lowe, D.、「Local Feature view Clustering for 3D Object Recognition」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'01)、第1巻、2001年、682頁、Lowe, D.、「Distinctive Image Features from Scale-Invariant Keypoints」、International Journal of Computer Vision、60(2)、2004年、91〜110頁、Rothganger, F.、Lazebnik, S.、Schmid, C.、Ponce, J.、「3D Object Modeling and Recognition Using Local Affine-Invariant Image Descriptors and Multi-View Spatial Constraints」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'03)、第2巻、272〜277頁、2003年、およびGrauman, K.、Darrell, T.、「The Pyramid Match Kernel: Discriminative Classification with Sets of Image Features」、Tenth IEEE International Conference on Computer Vision、第2巻、1458〜1465頁、2005年において説明されている。
【００３６】
他の実装では、画像106は、光学式文字認識(OCR)を使用して全部または一部が判定され得る。例えば、物品102が本であるとすると、表紙にタイトルが付けられているか、または国際標準図書番号(ISBN)が付けられている。あるいは、物品は、箱表面に識別情報が印刷されている段ボール箱の中にあり得る。例えば、OCR情報を使用して、画像間比較結果に基づく結果を精密化することができる。上記の例を使用すると、画像間比較によってヘッドホンとイヤーマフに対し近い評価が得られる場合、「ステレオ」、「ヘッドホン」、または他のそのような語を参照する画像中のテキストを使用して均衡を破ることができる。同様に、物品が矩形の箱の中にあるとの判定がなされ、ヘッドホンに関係する格納されている画像は矩形の箱の画像を含んでいるが、イヤーマフの格納されている画像はそうでない可能性がある。他の指標が確定できないときなどに、このような情報を考慮することもできる。
【００３７】
いくつかの実装では、表示112は、ユーザが英数字検索語を入力して一致する物品の大きな一覧表を絞り込むことができる領域を提供するために、検索領域を備えることができる。例えば、プロセス100が青色の帽子に対し5,000を越える一致物の一覧表を返す場合、ユーザは、「ウール」という語で検索を絞り込むことができる。同様に、表示112は、特定の価格範囲またはベンダもしくは製造者の名前を表示することができ、これにより、ユーザは自分の検索を絞り込み、自分が写真を撮った物品102を、より正確に適合させることができる。他の実装では、デバイス104は、システムにさらなるデータを供給するために、GPS対応デバイスとすることができる。例えば、ユーザがTARGET内に存在する場合、画像は、TARGETによって供給されるカタログと照合されることができる。さらに他の実装では、画像106は、ランドマークを含み、これにより、システムはその画像を旅行関係の画像と照合することができる。例えば、画像106が金門橋の一部を含んでいれば、システムはその画像をストリートビューデータと照合することができる。
【００３８】
ユーザは、さまざまな状況において自分が買いたいと思う物品102を探すことができる。ユーザが買いたい物品102は、ユーザが日常生活で見かける物品であり得る。例えば、ユーザは、ヘッドホン、本、衣類、または自動車などの物品を検索することができる。あるいは、ユーザは、テレビ番組また雑誌などのメディアを通じて、物品102を探すことができる。ユーザが公共消費に利用できない物品を探している場合について、以下でさらに説明する。ユーザが複数の画像を撮像してコレクションとしてサブミットすることについても、以下でさらに説明する。
【００３９】
画像106は、典型的には、ユーザにより、モバイルデバイス104を使って撮像されることができるが、画像106は、他のさまざまな方法で入手されることができる。いくつかの実装では、ユーザは、インターネットなどのさまざまなソース、カメラ、および友人からの写真付きメッセージから、画像をダウンロードすることができる。例えば、娘がスカーフの写真を母親に送信して、自分の誕生日にスカーフが欲しいと頼むことができる。母親は、システム内のこの写真を使用して、娘にスカーフを買うことができる。
【００４０】
モバイルデバイス104は、携帯情報端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスなどのさまざまな形態のデバイスを表すことが意図されている。一般に、デバイスは、MMS通信を行うことができ、他の通信モードにも対応できる。モバイルデバイス104は内蔵カメラを備えていて、これで画像106を取り込むか、またはモバイルデバイスはSDカードなどのデバイスを通じて、またはBLUETOOTH対応デバイスを介して、またはインターネット経由で画像106をアップロードすることができる。
【００４１】
物品の購入について説明されているが、このシステムは他の活動向けにも実装することができる。例えば、ユーザは映画に関して印刷された広告を見ることができる。プロセス100は、広告の写真によって、映画を判定し、ユーザにその映画のレビューを提供し、モバイルデバイス104の位置を基準として使用するか、またはそのユーザの格納されている「ホーム」位置を基準として使用して、近くにある映画館の一覧表を提供することができる。他の実装では、プロセス100は、食品の材料を判定するために使用され得る。例えば、ユーザがレストランで出される一皿の料理のレシピを見つけたい場合、ユーザは、その料理の写真を撮り、その写真に一致するものを返してくれる検索を実行することができる。この実装は、食物アレルギーを持っているユーザ、または食事制限を行っているユーザにとって有益なものと思われる。
【００４２】
すでに説明されているように、ユーザが、公共消費に利用できない物品を探している場合もある。例えば、ユーザは、映画の画像を格納しておき、数ヶ月後に発売されたときにDVDを購入することができる。同様に、ユーザは、売り物に利用可能な画像を格納しておき、後日検索することもできる。例えば、ユーザは、休日に数人の人々のために買い物をする場合、ショッピングモールを歩き回って、いくつかの画像106を撮像することができる。一日が終わった後、ユーザは、画像106をソートして、どれを買いたいかを決め、次いで、それらの画像をシステムにサブミットし、それらの画像中にある物品に関する詳細を知ることができる。
【００４３】
すでに説明されているように、ユーザは、システムに複数の画像を供給するが、その際に、それらをコレクションとしてサブミットすることができる。一つの実装において、ユーザは、ニコンD40カメラおよびソニーのカメラの画像を送ることができる。システムは、一方の画像を使用して、他方の画像の絞り込みをしやすくすることができる。例えば、システムが第2の画像をソニーのカメラと明確に識別したが、ニコンD40カメラの第1の画像は容易に判定されない場合、システムは、第2の画像およびその特性を使用して、第1の画像に対する検索を明確にすることができる。他の実装では、ユーザは、複数の特定の画像をコレクションとして保存し、新しい画像をそのコレクションの一部であるものとしてサブミットすることができる。新しい画像は、すでに保存されているコレクションの保存済みパラメータの範囲内で検索されることができる。例えば、ユーザは、ニコンD40カメラの画像およびソニーのカメラの画像を保存しておき、キャノンのカメラの画像を取得することができる。新しい画像は、前のパラメータを使用して検索を絞り込むことで判定することができる。
【００４４】
図2は、物品を購入するための画像を取り込むためのシステム200の略図である。システム200は、コンピューティングデバイス202、画像処理/コマースサーバ204、決済サーバ206、および認証サーバ208を備える。ここで、コンピューティングデバイス202は、インターネット210を介して所望の物品の画像を画像処理/コマースサーバ204に送信することができる。画像処理/コマースサーバ204は、コンピューティングデバイス202によって供給される画像を使用することで、その物品と一致する製品を見つけることができる。画像処理/コマースサーバ204は、ユーザが一致する製品のいずれかを購入することを希望するかどうかを決定できるように、一致する製品のリストをコンピューティングデバイス202に送信することができる。
【００４５】
ユーザが、一致する製品のうちの1つを選択すると、コンピューティングデバイス202は、ユーザの選択結果を決済サーバ206に送信することができる。決済サーバ206は、ユーザの購入を処理するために、ユーザ情報をベンダに提供し、ベンダ情報をユーザに提供することができる。決済サーバ206は、決済情報に関して、認証サーバ208にユーザ認証を要求することができる。決済サーバ206が、認証情報を受信した後、決済サーバ206は、確認データをコンピューティングデバイス202に送信することができる。例えば、ユーザは、地下鉄で見たスカーフを購入したいと思う。ユーザは、スカーフの写真を撮り、それを画像処理/コマースサーバ204にアップロードして、決済サーバ206を通じてスカーフを購入するベンダを見つけることができる。
【００４６】
画像処理/コマースサーバ204は、画像内の物品を識別し、一致する製品を検索するために使用され得る複数のコンポーネントを有する。例えば、画像処理/コマースサーバ204は、特徴点生成器212、画像比較器214、検索エンジン216、製品画像データソース218、製品データソース220、およびベンダデータソース222を有することができる。
【００４７】
特徴点生成器212は、画像を分析して特徴点を決定することができる。さらに上と下で説明されているように、特徴点生成器212は、さまざまな方法を使用して、画像内の物品を判定することができる。画像比較器214は、特徴点生成器212からの特徴点を使用して、画像を表すタグを決定するか、またはすでにタグ付けされている一致する形を識別することができる。一致する製品を見つけるために、検索エンジン216は、特徴点から導出されたタグを使用することができる。
【００４８】
画像処理/コマースサーバ204内のデータソースは、さらによく一致するデータを提供するための比較情報を提供することができる。製品画像データソース218は、特徴点がすでに付与された既知の製品を提示することができる。例えば、画像は製品画像データソース218における製品画像と同じ特徴点を有する場合、画像比較器214は、一致物を識別し、次いで、一致した画像から製品タグを決定することができる。製品タグを決定するために、製品データソース220は、製品画像に対する特徴点と一致する特徴タグを含むことができる。以下でさらに説明されるように、タグは、さまざまな実装を介して決定され得る。
【００４９】
決済サーバ206は、ユーザが物品を購入できるようにするために使用され得る複数のコンポーネントを有する。決済サーバ206は、支払い認証器226、取引モジュール228、およびチェックアウトインターフェイス230を備える決済モジュール224を有することができる。決済サーバは、ベンダデータソース232および購入者データソース234を含むことができる。決済サーバ206の一例は、GOOGLE CHECKOUT機能を提供するサーバのグループである。このような例では、標準のCHECKOUTインターフェイスを使用することができ、画像処理/コマースサーバ204は、デバイス202上で実行されたときにデバイス202を決済サーバ206にリダイレクトして取引を完了させるマークアップコードをデバイス202に単に受け渡すだけである。
【００５０】
決済モジュール224は、コンピューティングデバイス202から製品を購入する要求を受け取ることができる。決済を処理するために、決済モジュールは、決済認証器226を使用して安全な取引を決定することができる。いくつかの実装では、決済認証器226は、認証サーバ208が提供する認証を要求することができる。このような認証は、例えば、ユーザが取引を要求する前または取引を要求した後に、認証サーバ208によってシステムにログインする場合に実行され得る。取引が認証されると、取引モジュール228は、ユーザの決済を処理し、製品をユーザの望む発送先住所に発送するために必要な情報をベンダに提供することができる。チェックアウトインターフェイス230は、データを使用してコンピューティングデバイス202がユーザ用に購入確認ページを作成するための表示を生成することができる。以下でさらに説明されるように、決済モジュール224は、コンピューティングデバイス202を通じてユーザにさらに多くの情報を要求することなく取引を完了することができる。
【００５１】
決済サーバ206におけるデータソースは、ユーザと売り手との間の通信のための情報を提供することができる。ベンダデータソース232は、ベンダと取り引きするための情報を提供することができる。例えば、ベンダデータソース232は、連絡先情報および決済のための銀行支店コードを格納することができる。購入者データソース234は、ユーザからの情報をベンダに提供するための情報を格納することができる。例えば、購入者データソース234は、発送先および請求先住所を含むことができ、発送先住所情報は、ベンダに物品の発送先がわかるように、ベンダに渡され得る。いくつかの実装では、ベンダは、クレジットカード情報を決して直接受け取ることはなく、購入者が認証されたという確認書を受け取るだけである。他の実装では、購入者データソース234は、ベンダに直接送信されるクレジットカード情報を含むことができる。
【００５２】
認証サーバ208は、安全な取引ができるようにユーザの決済情報を認証するために使用され得る複数のコンポーネントを有する。認証サーバ208は、認証器236とユーザデータソース238を有することができる。認証サーバ208は、決済サーバ206から認証要求を受け取り、製品を購入するようにコンピューティングデバイス202を認証することができる。例えば、ユーザは、ユーザのすでに入力されている銀行取引情報にアクセスできるコンピューティングデバイス202上のアカウントにサインインすることができる。
【００５３】
認証サーバ208用のデータソースは、ユーザ固有の決済情報をシステム200に提供することができる。ユーザデータソース238は、クレジットカード情報、銀行口座の銀行支店コード情報、およびセキュリティ情報などの情報を提供することができる。例えば、ユーザが取引をするたび毎に情報を入力しなくても済むように、ユーザのクレジットカード番号およびセキュリティコードをユーザデータソース238に格納しておくことができる。
【００５４】
すでに説明されているように、製品タグは、さまざまな実装を介して決定され得る。例えば、特徴点生成器は、周囲の特徴から対象となる特徴の差異を見つけることによって画像上の特徴点を決定することができる。他の実装では、特徴点生成器212は、OCRを使用して、検索エンジン216用のテキストベースのタグを決定することができる。例えば、画像が図1の画像106の場合と同様に「ヘッドセット」、「スーパーフォン」、および「VX-1」という語を付けた輸送容器（packaging：パッケージング）を含む場合、検索エンジン216は、これらの語をタグとして使用することができる。さらに他の実装では、特徴点生成器212、画像比較器214、または検索エンジン216は、統一商品コード(UPC)またはISBNなどの、画像上の製品に対する一意的なコードを判定することができる。
【００５５】
いくつかの実装では、決済モジュール224は、コンピューティングデバイス202から購入要求を受け取り、ユーザから他の情報を受け取ることなく購入を処理することができる。このタイプの取引は、製品を購入する効率的で安全な手段となり得る。他の実装では、ユーザは、すでに利用可能な方法と異なる決済方法で物品を購入したい場合がある。例えば、妻が夫の誕生日に新しいテレビを購入したいが、オンライン購入に共同の銀行口座を設定している場合、妻は、このプレゼントで驚かせたいので、その口座を使用したくないと考える。決済認証器は、コンピューティングデバイス202から要求を受け取り、購入者データソース234を通じて利用可能な情報と異なる決済情報を使用することができる。このような場合、決済サーバ206は、取引を直接処理するか、またはベンダに決済情報の処理を任せることができる。
【００５６】
すでに説明されているように、認証サーバ208は、ユーザが取引毎に自分の個人情報を入力しなくても購入に対して安全な取引を実行することができる。いくつかの実装では、認証サーバ208は、特定のユーザアカウントに関するユーザデータソース238からデータを提供することができる。例えば、ユーザは、GOOGLE CHECKOUTなどの、クレジットカード情報が格納されているアカウントを持ち、ベンダにクレジットカード番号または他の極秘データを提供することなくベンダに対する決済を行うことができる。他の実装では、認証サーバ208は、情報をベンダに直接提供することができる。
【００５７】
図3Aは、製品を購入する際に比較する画像を送信するためにプロセス300において実行される動作を示す流れ図である。プロセス300は、一般に、画像を受信するステップと、画像中の対象物を識別するステップと、関連するベンダを対象とする物品を検索するステップと、ユーザの物品パラメータを確認するステップと、ユーザの口座に請求を行うステップと、ベンダに取引を報告するステップと、ベンダの口座に入金を行うステップとを伴う。
【００５８】
初期ステップでは、プロセス300は、画像を受け取る(ボックス302)。例えば、ユーザは、購入したい物品の写真を撮ることができる。作成された画像は、分析され得るように、プロセス300を使用して、アップロードされることができる。一例として、ユーザは、友人が身につけているスカーフを目にしたときに、そのスカーフの写真を撮ることができる。スカーフの画像は、画像に関する情報が決定されるように、受信され得る。
【００５９】
次いで、プロセス300は、画像中の対象物を識別する(ボックス304)。例えば、画像は、スカーフを含むことができる。スカーフは、周囲の特徴からの物品の差異を使用して識別され得る、特定の特徴点を有することができる。例えば、スカーフの布地は、布地を形成するように円板がつながれている金属メッシュから作られているかもしれない。材料から反射する光は、光反射の大きな偏移が利用可能なので、特徴点に対する情報源となり得る。特徴点は、以下でさらに説明されるように、数学的にさまざまな方法で識別され得る。
【００６０】
次いで、関連するベンダを対象として物品を検索する(ボックス306)。例えば、特定の物品の取引に先立って、優先的ベンダが識別され得る。他の実装では、その物品に関して、すべてのベンダが検索され得る。一例として、上述のスカーフのあるサイトが判定され得ると共に、スカーフを販売することができるサイトが読み出され得る。いくつかの実装では、そのスカーフは、スカーフとして識別され得るが、特定のスカーフが置かれていない可能性がある。このような状況では、検索は、一般に、複数のスカーフについて単純に行われるだけであり、ユーザは、関心を持っているスカーフのように見えるものについて返された結果の範囲内で閲覧する（browse）ことができる。
【００６１】
次いで、プロセス300は、ユーザによる物品パラメータを確認する(ボックス308)。例えば、画像中のスカーフに最も忠実な一致物が、ユーザに対し表示され、これにより、ユーザは、購入したいスカーフのベンダを決定することができる。いくつかの実装では、ユーザは、新規画像をアップロードすることを要求することができる。他の実装では、ユーザは、画像中の対象物が再び識別されるように要求することができる。さらに他の実装では、ユーザは、元の検索からさらに多くの一致物を求めることができる。
【００６２】
ここで説明されている例では、ユーザは、「1ボタンで購入」アプリケーションを使用してミネアポリスのReGiftsからスカーフを購入することができるが、ReGiftsは、例えば、GOOGLE CHECKOUTの登録ベンダである。(ReGiftsが登録されていない場合、取引は暫定的に記帳され、決済システムは、注文のあったことをReGiftsに連絡し、ReGiftsのマネージャは、注文のサインアップと完了を行うかどうかを決定することができる。)このアプリケーションでは、ユーザは、後述のように、さらに情報を提供しなくてもスカーフを購入することができる。1ボタンで購入アプリケーションは、ユーザが異なるベンダ同士を比較して、ベンダのウェブサイトのどれをも閲覧せずにスカーフを購入することを可能にする。
【００６３】
ボックス310で、ユーザの口座に請求がなされる。例えば、ReGiftsからスカーフを購入したいとユーザが決心すると、さらなる情報を提供するようユーザに要求することなくユーザの口座に請求がなされ得る。すでに説明されているように、課金情報は、Google Checkoutアカウントなどのユーザアカウントから取得できる。ユーザアカウントは、クレジットカード情報または当座預金口座情報などの情報を含み得る。
【００６４】
いくつかの実装では、ユーザが国外の購入者と取り引きすることができる場合、ユーザの言語または通貨とは異なる言語または通貨を使用するサイトを表示することができる。例えば、望んでいる物品が、ハローキティーのハンドバッグである場合、日本語ウェブサイトでそのハンドバッグを売っている可能性がある。いくつかの実装では、ベンダは、物品をさまざまな国に販売するのを望むかどうかを、あらかじめ決定しておくことができる。他の実装では、プロセス300は、ベンダのウェブサイト内のデータから(例えば、通貨記号を識別することによって)ベンダが取引を完了できるかどうかを判定することができる。
【００６５】
図3Bは、画像を使用してユーザに対して購入オプションを提示するためのプロセス320の例を示す流れ図である。一般に、プロセス320は、画像を受け取ってそれを(またはより具体的には、それからの特徴点を)画像中の物品を識別するタグにすでに関連付けられている事前に分析されている画像の画像ライブラリと比較するステップを伴う。一致した場合、タグは、受信された画像に関連付けられ、ユーザに送信され得る結果を生成するために、検索エンジンに適用され得る。以下でさらに詳しく説明されるように、ユーザは、結果との対話操作のための多数のオプションを与えられ得る。
【００６６】
初期ステップで、プロセス320は、画像を受け取る(ボックス322)。例えば、画像メッセージを通じて受信される画像が受信され得る。画像は、ユーザが購入を希望する特製品（specialty item）であり得る。いくつかの実施例では、画像は、チョコレートカップケーキをチョコレートガナッシュおよびバタークリームフロスティングと一緒に示し得る。
【００６７】
次いで、プロセス320は、画像中の特徴点を識別する(ボックス324)。例えば、カップケーキの包装紙上の特徴点は、画像中の影と光を使用してアコーディオン形状から判定され得る。画像のカラーパレットも、カップケーキ内の潜在的な一致する風味を判定するために使用され得る(例えば、チョコレートとレモン)。この時点で、特定の物品が画像中に見つかるかどうかを判定するために、予備検査を実行することもできる−例えば、画像がかなりピンぼけである場合、連続的な点群を見つけられず、ユーザはより良好な画像をサブミットするよう指示を受ける可能性がある。
【００６８】
次いで、プロセス320は、画像と画像ライブラリを比較する(ボックス326)。例えば、カップケーキの画像は、ピッツバーグのDozen CupcakesのEast End Chocolate Stoutカップケーキと一致する可能性がある。この画像は、ピッツバーグのCoco's Cupcakesのクッキーアンドクリームカップケーキとも一致する可能性がある。他の実装では、ネーミングフィルタを通じて比較を決定することができる。例えば、画像ファイルが、「カップケーキ」などの名前を持っている場合、画像ライブラリは、フィルタ処理されて、その中にカップケーキを持つ画像に絞り込まれ得る。それどころか、さまざまなカップケーキが互いにそれほど異ならないので、画像は、「チョコレートカップケーキ」または「レモンカップケーキ」または同様のタグに関連付けられ、カップケーキの特定のブランドには関連付けられていない画像と単純に一致する可能性がある。
【００６９】
次いで、ベンダ識別子メタデータとの比較の結果が送信される(ボックス328)。このような結果は、一致する形に関連付けられているタグを、標準APIを介して製品検索システムにサブミットすることによって生成される検索結果であり得る。例えば、それぞれのベンダの一致するカップケーキに対する画像、説明、数量、および価格設定が送信され得る。(タグが単純に「カップケーキ」を示している場合、カップケーキという語を使用するか、またはベーカリーなどの関連語を使用してローカル検索が実行され得る。)いくつかの実装では、ユーザがベンダおよび製品を比較できるように、最も忠実な一致物が表示され得る。他の実装では、結果は、価格別に表示され得る。さらに他の実装では、物品が正しく識別されたことをユーザが確認できるように、最初に最良一致物が表示され得る。また、一致物は、ローカル検索モードのときに、地図上にピンとして表示され得ると共に、適切なピンを選択すると、ユーザに対して現地ベンダに関する詳細が表示され得る。
【００７０】
ボックス330で、ベンダ識別子と共に購入コマンドを受け取る。例えば、4つのEast End Chocolate Stoutカップケーキに対する購入コマンドを受け取ることができる。購入コマンドは、単一ステップで購入を開始する、“1ボタンで購入”コマンドとすることができる。他の実装では、購入コマンドは、ユーザに対し税金情報、発送情報、および計算された他の情報を含むチェックアウト画面を表示することによって、ユーザがカップケーキを購入する意志のあることを確認するための確認ステップを有することができる。それに加えて、ボタンを選択することで、物品をショッピングカートに追加することができ、またユーザは後でショッピングカートからその物品を削除するか、またはそれ以降にショッピングカートに追加された他の物品と共に購入することを選択することができる。
【００７１】
次いで、プロセス320は、ユーザを認証する(ボックス344)。例えば、ユーザは、GOOGLE CHECKOUTアカウントなどの、財務情報を伴うオンライン口座を持つことができる。この認証では、ユーザの口座へのアクセスを行い、プロセス320に決済情報へのアクセスを許すことができる。
【００７２】
次いで、プロセス320は、ベンダを識別し(ボックス346)、その物品を確認する。例えば、Dozen Cupcakesは、4つのEast End Chocolate Stoutカップケーキに対する識別されたベンダとすることができる。プロセス320は、Dozen Cupcakesがインターネット経由でEast End Chocolate Stoutカップケーキを4個単位で販売することを確認することができる。
【００７３】
ボックス348で、チェックアウトページがユーザのデバイスに送信される。例えば、チェックアウトページは、この取引に対するベンダ、物品、物品の数量、物品の価格、税金、および合計、受渡日、ならびに発送および課金の情報を入れることができる。チェックアウトページは、ユーザにために領収書を用意することができる。あるいは、チェックアウトページは、ユーザに対して、取引を確認または拒絶する機会を提供することができる。
【００７４】
ユーザから確認書を受け取る(ボックス350)。例えば、ユーザは、発送、税金、および課金の情報を検討して、チェックアウトページに載っているすべての物品を購入する(そして対価を支払う)ことを望んでいることを確認することができる。この後、このような確認は、通常はユーザの口座からの出金およびベンダの口座への入金を行わせることを伴う、取引の履行を開始させ得る。当事者同士の事前の合意に従って、取引手数料をユーザの価格に加えたり、またはベンダの売買価格から差し引いたりすることもできる。
【００７５】
次いで、プロセス320は、取引を履行し、報告する(ボックス352)。例えば、取引は、ベンダが注文および注文に対する決済を受けるように送信され得る。ユーザへの報告は、追跡調査要求のための、または発送の進行状況を調べるための確認番号などの情報を提示することができる。他の例では、ベンダは、物品、数量、望む受渡日、および発送先住所の情報を受け取ることができる。
【００７６】
次にプロセスの他の分岐を参照すると、いくつかの実装では、プロセスは、ベンダ識別子メタデータと共に、さらに多くの結果を読み出す(ボックス333)ための「もっと見る」コマンドを受け取ることができる(ボックス332)。例えば、ユーザが、カップケーキを購入したいベンダを見つけられない場合、「もっと見る」コマンドを使用すると、他の購入オプションに対する異なるベンダを読み出すことができる。いくつかの実装では、もっと見るコマンドは、読み出された他の製品を提示することができる。いくつかの場合において、「もっと見る」コマンドは、初期結果の場合ほど忠実な一致物ではなかった結果を返すことがあり、他の場合には、「もっと見る」コマンドを実行すると、異なるパラメータを使用する異なる検索が実行され得る。
【００７７】
他の分岐では、プロセス320は、新しい画像を受け取り、特徴点を識別することができる(ボックス334)。例えば、ユーザは、プロほどではない写真家であり、プロセスが第1の画像中で物品を識別しようとした後に、その画像から望む物品の半分が欠落していることを認識することができる。新しい画像が、識別され、そして検索されるように、受け取られることができる。または、ユーザの最初のサブミットに返された結果が不適切であった場合、ユーザは、自力で、またはシステムから出されるプロンプトで、新しい画像をサブミットすることができる。
【００７８】
他の分岐では、プロセス320は、送信された結果からの物品の情報を要求する情報コマンドを、任意選択により受け取ることもできる(ボックス336)。例えば、特定のカップケーキの材料などの、列挙されている特定の物品に関する情報が要求され得る。情報コマンドを受け取った後、プロセス320は、物品タイプを識別する(338)。例えば、物品タイプは、カップケーキ中の材料であり得るか、または電子的物品の技術仕様であり得るか、または単に、そのページが特定の物品中心になっているベンダのウェブサイトのURLに関係する可能性がある。任意選択のステップ340で、プロセス320は、物品情報を検索する。例えば、プロセスは、材料情報についてベンダのウェブサイトを検索することができる。他の実装では、ベンダは、ユーザが材料、営業時間、配送費、または在庫量などの情報を検索することができる所定の物品を供給することができる。この情報は、必要に応じて、または定期的に更新され得る。最後のステップ342として、プロセス320は物品情報を送信する。例えば、ユーザが購入を続けたいかどうかを決められるように、カップケーキの材料情報を送信することができる。他の物品情報としては、アルバムから抜粋した楽曲のクリップ、または映画の予告編が挙げられる。
【００７９】
ここで例示されている例に示されている4つの経路に加えて、他のオプションも、ユーザから利用できるようにすることが可能である。例えば、ユーザは、示されているのと異なる色の物品を要求することができる。画像は、ウォルナット仕上げの椅子を示しているが、ユーザは、チェリー仕上げの同じデザインの椅子を望んでいる可能性がある。このようなオプションがユーザに対して示され得ると共に、ユーザは、特定の結果を入力するか、またはユーザは、望むオプションを持つ別の画像、ここでは、チェリー仕上げの画像を入力することができる。
【００８０】
図4Aおよび4Bは、それにより、クライアントがさまざまな画像処理サーバおよびコマースサーバを使用することによって画像中の製品に関する情報を取得できるプロセスを示すシーケンス線図である。全般的に、図4Aは、ユーザがクライアントデバイスを介して画像をサブミットし、次いで、システム内のサーバによって返される結果集合のうちから物品を注文する際の基本的インタラクションを示している。図4Bは、全般的に、類似のプロセスを示しているが、この場合、ユーザは、システムによって最初に返された結果に加えてさらに結果を要求する。
【００８１】
次に図4Aを参照すると、最初に、ボックス402において、クライアントデバイス401は、画像を取得する。デバイス401は、デバイス搭載カメラによる撮像、画像付きメッセージの受信、またはインターネットからの画像のダウンロードなど、さまざまな方法を通じて画像を取得することができる。また、デバイス401のユーザがウェブページ上の画像を単純に右クリックするだけで、画像に含まれる物品について学習するためのオプションが表示され、メニューコントロールをクリックするとそのような情報を表示することができる。
【００８２】
次いで、デバイス401は、画像404を画像処理サーバ403に送信する。画像処理サーバ403は、例えば、アップロードされた画像に一致する画像を認識し提示するように構成されているGOOGLEなどのオンライン情報プロバイダの一部である1つまたは複数のサーバを含み得る。
【００８３】
ボックス408で、画像処理サーバ403は、テキスト、コード、形状、または写真などの画像データからタグを抽出する。例えば、画像は、「ヘッドセット」、「スーパーフォン」、および「VX-1」という単語、UPCコード、および物理的な対象物の形状を伴う図1に示されているようなヘッドセットを含み得る。画像処理サーバ403は、ボックス410で一致物を判定することができる。いくつかの実装では、画像処理サーバ403は、関連付けられている特徴点を含む画像のすでに分析されているグループを有することができる。タグは、これらの画像に関連付けられ(例えば、画像がタグを含むウェブページから抽出された場合)、タグは、サブミットされた画像に対して、画像同士が十分な一致度で互いに一致する場合に割り当てられ得る。画像に対する一致物に関する情報と共に、画像処理サーバ403は、一致物をコマースサーバ405にサブミットすることができる(ボックス412)。
【００８４】
次いで、コマースサーバ405は、ボックス414で、関連するベンダを検索する。いくつかの実装では、コマースサーバ405は、特定の1つまたは複数の物品を検索することができる所定のベンダリストを有することができる。例えば、これは、(すべての検索結果が決済システムを通じて取引を確実に生じさせ得るように)決済サーバ407を運用する決済システムにすでに登録されているベンダを検索することができる。他の実装では、コマースサーバ405は、インターネット上のすべてのベンダまたはベンダの何らかの大きな部分集合を検索することができる。このタイプの検索システムの例として、GOOGLE PRODUCT SEARCHが挙げられる。コマースサーバ405がリストを有している場合、コマースサーバ405は、ボックス416において最上位の一致物を識別する。最上位の一致物は、物品への類似度または価格設定のような特徴によって決定される。他の実装では(例えば、製品検索がローカル検索と組み合わされる場合)、最上位の一致物は、クライアント401の所在地住所に対するベンダの所在地住所の近接度によって決定され得る。次いで、ボックス418で、コマースサーバ405は、物品データをクライアント401に送信する。
【００８５】
コマースサーバ405からの最上位の一致物リストによって、クライアントデバイス401は、ボックス420で、データを使用して物品データの表示を生成する。例えば、クライアントデバイス401は、画像内にあるのと同じ製品、または異なる製造者もしくは製品タイプであり得る、さまざまな製品を含む、画像との上位5つの一致物を含む表示を生成することができる。他の実装では、クライアントデバイス401は、正確な一致物のみを有する表示を生成することができる。さらに他の実装では、生成される表示は、正しい物品が識別されたという確認をクライアントデバイス401に要求するための1つの結果を有することができる。
【００８６】
次いで、クライアントデバイス401は、ステップ422で、そのユーザから、特定の物品を購入するための注文確認書を受け取る。例えば、ユーザは、1ボタンで購入アプリケーションを使用して、特定のベンダから物品を購入するボタンを選択することができる。他の実装では、クライアントデバイス401は、その物品、数量、ならびに発送先および請求先住所に関する情報をユーザから受け取ることができる。同様に、クライアントデバイス401は、ベンダのウェブサイトの表示を生成することもできる。注文確認書が受信された後、ボックス424において、クライアントデバイス401は確認書を送信する。
【００８７】
クライアントデバイス401からの確認書は、決済サーバへ直接送信するか、またはコマースサーバ405を通じて受け渡すことができる。例えば、個人データがクライアントデバイス401から送信される安全な取引において、暗号化を使用してユーザを保護することができ、また注文は、直接決済サーバ407に達することができる(例えば、コマースサーバ405は検索結果に対するマークアップコードをフォーマットすることができ、結果の選択により、クライアントデバイス401が適切にフォーマットされたメッセージを決済サーバ407に送信する)。
【００８８】
確認書が、決済サーバ407に到達する前に、コマースサーバ405によって中継されたかどうかに関係なく、決済サーバ407は、確認書を受け取り、ボックス428で、その確認書に記述されているユーザおよびベンダを識別する。例えば、ベンダは、図1に示されているように、HeadPhones, Inc.とすることができる。決済サーバ407は、HeadPhones, Inc.とユーザに対する連絡先情報および決済情報を識別することができる。
【００８９】
ユーザおよびベンダが識別された後、決済サーバ407は、ボックス407におけるチェックアウト情報をクライアントに送信する。いくつかの実装では、チェックアウト情報は、GOOGLE CHECKOUTなどの、オンライン口座からの情報とすることができる。チェックアウト情報は、例えば、消費税額および発送手数料を含むことができる。決済サーバ407は、ユーザおよびベンダに関して決済サーバ407に収められている情報を使用して、例えば、物品の発送に要する距離を決定することができ、またユーザに注文の確認を求める前に、標準送料またはベンダ固有の手数料を適用することができる。
【００９０】
次いで、クライアントデバイス401は、チェックアウト情報を受け取り、ユーザが「注文」コントロールまたは同様のものを選択することなどによって、チェックアウト情報を確認する(ボックス432)。確認書が、決済サーバ407に送信され、次いで、ボックス434で、ユーザの口座からの引き落としおよびベンダの口座への入金を行い、ベンダ409に通知する。ボックス436で、ベンダ409は、決済サーバ407から発送および物品情報を受け取る。クライアント401は、ボックス438で、注文確認書を受け取る。
【００９１】
次に、図4Bを参照すると、クライアントデバイス441は、最初に、上述のさまざまな方法などによって、画像を取得し、その画像を画像処理サーバ442に送信する。ボックス449で、画像処理サーバ442は、画像から特徴点を抽出する。いくつかの実装において、画像の特徴点は、周囲の特徴からの物品の差異を使用して抽出され得る。特徴点が決定された後、画像処理サーバ442は、次いで、ボックス450で、それらの特徴点をライブラリと比較することができる。例えば、撮像された物品の特徴点が、上述の方法と同様の方法で格納済み画像の特徴点と比較され、一致する画像に関連付けられているタグが、コマースサーバ443に送信され得る(ボックス451)。
【００９２】
比較結果を用いて、コマースサーバ443は、さまざまなベンダからの物品のインデックスを検索し(ボックス452)、検索結果から最上位の一致物を識別する(ボックス453)。次いで、コマースサーバ443は、ボックス454で、最上位の一致物からのデータをクライアントデバイス441に送信することができ、クライアントデバイスは、データを表示することができる(ボックス455)。
【００９３】
写真例では、ユーザは、結果が気に入らず、物品の購入をしないことに決めるか、または別の写真を撮ることに決めると、クライアントデバイス441は、ボックス456で、新しい画像を送信し、画像の照合と物品の検索が繰り返され得る。ユーザは、標準検索エンジンから検索結果の第2のページを選択するステップと非常によく似たステップで、追加の一致物を取得するために最初にサブミットされた画像の比較の結果を使用する「もっと見る」コマンドを送信することもできる。別のオプションとして、ユーザは、「情報」コマンドを選択することができ、これにより、コマースサーバ443に、物品に関連付けられているタイプを識別させ(ボックス459)、次いで、タイプ判定結果を使用して物品情報の検索を行わせる(ボックス460)ことができる。例えば、物品のタイプが食品である場合、栄養成分情報を収集するように検索をチューニングすることができるが、物品が家電製品の場合、検索は、その物品の技術仕様を取得することを目的とするようにできる。次いで、コマースサーバ443は、特定された物品の情報を送信することができ(ボックス461)、その表示において、ユーザに、コマースサーバ443がそれらの注文を確認することを望んでいることを示すことができる。
【００９４】
ユーザによる注文確認は、表示されている「購入」ボタンまたは同様のものをユーザが選択するステップを伴い、また物品をショッピングカートに追加し、ショッピングカート内のすべての物品がチェックアウトプロセスにサブミットされなければならないことを示す動作を伴い得る。
【００９５】
中継のため確認書がコマースサーバ444(ボックス464)に送信され(ボックス463)、決済サーバ444に転送されるか(ボックス464)、または直接決済サーバ444に転送されると、決済サーバ444は、取引の精算を開始することができる。例えば、決済サーバ444は、ユーザがすでに、現在のセッションにおいて、1回のサインオンでさまざまなGOOGLEサービスにログインするなど、中央サービスにログインしているかどうかをチェックして調べることができる。このようなチェックは、ユーザの認証、およびたぶんベンダの認証を、認証サーバ445に要求することによって行うことができる(ボックス465)。次いで、認証サーバ445は、ユーザが現在サインオンしていることを確認することにより、またはユーザがログオンするダイアログを起動することにより、ユーザを認証し(ボックス466)、次いで、ユーザが認証されていることを示す指標を決済サーバ444に送り返し(ボックス467)、これにより、ユーザとベンダとを識別することができる。このような識別によって、決済サーバ444は、引き落としを行う口座、入金を行う口座、ベンダに指示する商品の発送先を決定するステップなど、多数の動作を完了することができる。
【００９６】
物品、ユーザ、およびベンダに関するこのような収集された情報から、決済サーバ444は、チェックアウト情報をクライアントデバイス441に送信する。このような情報は、選択された物品、費用小計、ならびに送料および消費税などの費用要素を考慮する費用合計の一覧表などのおなじみの形態をとることができる(ボックス469)。
【００９７】
チェックアウトページを提示された後、ユーザは、注文したいことを確認し(ボックス470)、決済サーバ444は、ユーザの口座から引き落としを行い、ユーザに、例えば、注文確認書、発送最新情報、および同様のものを返して通知することができる。決済サーバは、同様に、発送先の名称および住所、発送する商品の説明および数量、ならびに商品が発送された場合にベンダの口座に適切に入金がなされるという確認書をベンダに送るなどにより、ベンダ446にも通知することができる(ボックス472)。
【００９８】
上では少数の実現方法が詳細に説明されているが、他の修正形態も可能である。さらに、物品を購入するために画像を取り込む他のメカニズムも使用可能である。それに加えて、図に示されている論理の流れは、所望の結果を得るために、図示されている特定の順序、またはシーケンシャルな順序を必要としない。説明されている流れに他のステップを与えるか、または説明されている流れからステップを取り除くこともでき、また他のコンポーネントを説明されているシステムに追加するか、または説明されているシステムから取り除くことができる。したがって、他の実装は、請求項の範囲内に収まる。
【００９９】
図5は、本明細書で説明されている技術と共に使用され得る一般的なコンピュータデバイス500および一般的なモバイルコンピュータデバイス550の一例を示している。コンピューティングデバイス500は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどのさまざまな形態のデジタルコンピュータを表すことが意図されている。コンピューティングデバイス550は、携帯情報端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスなどのさまざまな形態のモバイルデバイスを表すことが意図されている。ここに示されているコンポーネント、それらの接続および関係、ならびにそれらの機能は、例示することのみを意図されており、本明細書において説明され、および/または請求されている発明の実装を制限することを意図されていない。
【０１００】
コンピューティングデバイス500は、プロセッサ502、メモリ504、記憶装置デバイス506、メモリ504および高速拡張ポート510に接続する高速インターフェイス508、ならびに低速バス514および記憶装置デバイス506に接続する低速インターフェイス512を備える。コンポーネント502、504、506、508、510、および512のそれぞれは、さまざまなバスを使用して相互接続され、共通マザーボード上に取り付けられるか、または適宜他の仕方で取り付けられ得る。プロセッサ502は、高速インターフェイス508に結合されているディスプレイ516などの外部入力/出力デバイス上にGUIに関するグラフィック情報を表示するために、メモリ504内に、または記憶装置デバイス506上に格納されている命令を含む、コンピューティングデバイス500内で実行するための命令を処理することができる。他の実装では、複数のプロセッサおよび/または複数のバスが、適宜、複数のメモリおよび複数のタイプのメモリと共に使用され得る。また、複数のコンピューティングデバイス500が、(例えばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムのような、)必要な動作の一部を行うそれぞれのデバイスに接続され得る。
【０１０１】
メモリ504は、コンピューティングデバイス500内に情報を格納する。一つの実装において、メモリ504は、1つまたは複数の揮発性メモリユニットである。他の実装では、メモリ504は、1つまたは複数の不揮発性メモリユニットである。メモリ504は、磁気ディスクまたは光ディスクなどの、他の形態のコンピュータ可読媒体であり得る。
【０１０２】
記憶装置デバイス506は、コンピューティングデバイス500用の大容量記憶装置を構成することもできる。一つの実装において、記憶装置デバイス506は、ストレージエリアネットワーク内のデバイスまたは他の構成のデバイスを含む、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の類似のソリッドステートメモリデバイス、またはデバイスアレイなどのコンピュータ可読媒体であるか、またはそのようなコンピュータ可読媒体を含むことができる。コンピュータプログラム製品は、情報担体で明確に具現化され得る。コンピュータプログラム製品は、実行されると上述のような1つまたは複数の方法を実行する命令も格納することができる。情報担体は、メモリ504、記憶装置デバイス506、プロセッサ502上のメモリ、または伝搬信号などのコンピュータ可読媒体もしくは機械可読媒体である。
【０１０３】
高速コントローラ508は、コンピューティングデバイス500に対する帯域幅を集中的に使用する操作を管理するが、低速コントローラ512は、帯域幅を集中的に使用する程度の低い操作を管理する。機能のこのような割り振りは例示的なものにすぎない。一つの実装において、高速コントローラ508は、メモリ504、(例えば、グラフィックスプロセッサまたはアクセラレータを通じて)ディスプレイ516、およびさまざまな拡張カード(図示せず)を受け入れることができる高速拡張ポート510に結合される。この実装では、低速コントローラ512は、記憶装置デバイス506および低速拡張ポート514に結合される。さまざまな通信ポート(例えば、USB、Bluetooth（登録商標）、Ethernet（登録商標）、無線Ethernet（登録商標）)を含み得る低速拡張ポートは、例えばキーボード、ポインティングデバイス、スキャナのような1つまたは複数の入力／出力装置に、あるいは例えばネットワークアダプタを通してスイッチまたはルータのようなネットワーク装置に、結合され得る。
【０１０４】
コンピューティングデバイス500は、図に示されているように、数多くの異なる形態で実装され得る。例えば、標準サーバ520として、またはそのようなサーバのグループで複数回実施され得る。これは、ラックサーバシステム524の一部としても実装することができる。それに加えて、ラップトップコンピュータ522などのパーソナルコンピューターに実装することもできる。あるいは、コンピューティングデバイス500が提供するコンポーネントをデバイス550などのモバイルデバイス(図示せず)内の他のコンポーネントと組み合わせることができる。このようなデバイスのそれぞれは、コンピューティングデバイス500、550のうちの1つまたは複数を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイス500、550で構成され得る。
【０１０５】
コンピューティングデバイス550は、数ある中でもとりわけ、プロセッサ552、メモリ564、ディスプレイ554などの入力/出力デバイス、通信インターフェイス566、およびトランシーバ568を備える。デバイス550は、追加の記憶装置を構成するためにマイクロドライブまたは他のデバイスなどの記憶装置デバイスを備えることもできる。コンポーネント550、552、564、554、566、および568のそれぞれは、さまざまなバスを使用して相互接続され、これらのコンポーネントのうちのいくつかは、共通マザーボード上に取り付けられるか、または適宜他の仕方で取り付けられ得る。
【０１０６】
プロセッサ552は、メモリ564内に格納されている命令を含む、コンピューティングデバイス550内の命令を実行することができる。プロセッサは、個別の、および複数の、アナログおよびデジタルプロセッサを備えるチップのチップセットとして実装することができる。プロセッサは、例えば、ユーザインタフェース、デバイス550によって実行されたアプリケーション、及びデバイス550による無線通信の制御のような、デバイス550の他のコンポーネントの調整を行うことができる。
【０１０７】
プロセッサ552は、制御インターフェイス558およびディスプレイ556に結合されているディスプレイインターフェイス554を通じてユーザと通信することができる。ディスプレイ554は、例えば、TFT LCD(薄膜トランジスタ液晶ディスプレイ)またはOLED(有機発光ダイオード)ディスプレイまたは他の適切なディスプレイ技術とすることができる。ディスプレイインターフェイス556は、グラフィックおよび他の情報をユーザに提示するようにディスプレイ554を駆動するための適切な回路を備えることができる。制御インターフェイス558は、ユーザからコマンドを受け取り、それらをプロセッサ552に送るために変換することができる。それに加えて、外部インターフェイス562は、デバイス550と他のデバイスとの近距離通信を可能にするために、プロセッサ552との通信に提供され得る。外部インターフェイス562は、例えば、いくつかの実装における有線通信、または他の実装における無線通信を提供し得ると共に、複数のインタフェースが同様に使用され得る。
【０１０８】
メモリ564は、コンピューティングデバイス550内に情報を格納する。メモリ564は、1つまたは複数のコンピュータ可読媒体、1つまたは複数の揮発性メモリユニット、または1つまたは複数の不揮発性メモリユニットのうちの1つまたは複数として実装され得る。更に、拡張メモリ574が提供されて、拡張インターフェイス572を通じてデバイス550に接続されると共に、拡張インターフェイス572は、例えばSIMM(Single In Line Memory Module：シングルインラインメモリモジュール)カードインターフェイスを含み得る。このような拡張メモリ574は、デバイス550に対する付加的な記憶領域を提供し得るか、またはデバイス550用のアプリケーションまたは他の情報を同様に格納し得る。特に、拡張メモリ574は、上述のプロセスを実行するか、または補助する命令を格納することができ、またセキュア情報も格納することができる。したがって、例えば、拡張メモリ574は、デバイス550に対するセキュリティモジュールとして提供され得ると共に、デバイス550の安全な使用を可能にする命令によってプログラムされ得る。それに加えて、例えばハッキング不可能な方法で識別情報をSIMMカード上に配置するように、安全なアプリケーションが、追加の情報と共に、SIMMカードによって提供され得る。
【０１０９】
メモリは、例えば、後述のように、フラッシュメモリおよび/またはNVRAMを含み得る。一つの実装において、コンピュータプログラム製品は、情報担体で明確に具現化される。コンピュータプログラム製品は、実行されると上述のような1つまたは複数の方法を実行する命令を格納する。情報担体は、メモリ564、拡張メモリ574、プロセッサ552上のメモリ、または例えば、トランシーバ568もしくは外部インターフェイス562上で受信され得る伝搬信号などの、コンピュータ可読媒体もしくは機械可読媒体である。
【０１１０】
デバイス550は、通信インターフェイス566を通じて無線で通信することができると共に、通信インターフェイス566は、必要ならばデジタル信号処理回路構成を備えることができる。通信インターフェイス566は、とりわけ、GSM音声電話、SMS、EMS、またはMMSメッセージング、CDMA、TDMA、PDC、WCDMA、CDMA2000、またはGPRSなどの、さまざまなモードもしくはプロトコルの下で通信を行うことができる。このような通信は、例えば、無線周波トランシーバ568を通じて行うことができる。それに加えて、Bluetooth、WiFi、または他のトランシーバ(図示せず)などを使用して、短距離通信を実行することができる。それに加えて、GPS(全地球測位システム)受信機モジュール570は、追加のナビゲーションおよび位置関係無線データをデバイス550に提供することができ、これはデバイス550上で実行するアプリケーションによって適宜使用され得る。
【０１１１】
デバイス550は、オーディオコーデック560を使用して音声で通信することもでき、ユーザから話された情報を受け取り、それを使用可能なデジタル情報に変換することができる。オーディオコーデック560は、例えば、デバイス550のハンドセットのスピーカなどを通じて、ユーザ向けに可聴音を発生することができる。このような音声は、音声電話からの音声を含み、記録された音声を含み(例えば、音声メッセージ、音楽ファイルなど)、またデバイス550上で動作するアプリケーションによって生成される音声を含み得る。
【０１１２】
コンピューティングデバイス550は、図に示されているように、数多くの異なる形態で実施され得る。例えば、携帯電話580として実施され得る。また、更に、スマートフォン582、携帯情報端末、または他の類似のモバイルデバイスの一部として実施され得る。
【０１１３】
本明細書で説明されているシステムおよび技術のさまざまな実装は、デジタル電子回路、集積回路、専用設計ASIC(特定用途向け集積回路)、コンピュータのハードウェア、ファームウェア、ソフトウェア、および/またはこれらの組み合わせで実現されることが可能である。さまざまな実装は、少なくとも1つのプログラム可能なプロセッサを備えるプログラム可能なシステム上で実行可能であるか、および/または解釈可能である、1つまたは複数のコンピュータプログラムによる実装を含むことができると共に、少なくとも1つのプログラム可能なプロセッサは、記憶装置システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受け取り、記憶装置システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスにデータおよび命令を送るように結合された、専用または汎用のプロセッサであり得る。
【０１１４】
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる)は、プログラム可能なプロセッサ用の機械語命令を含み、高水準手続き型および/またはオブジェクト指向プログラミング言語で、および/またはアセンブリ/機械語で実装され得る。本明細書で使用されているように、「機械可読媒体」、「コンピュータ可読媒体」という用語は、機械可読信号として機械語命令を受け取る機械可読媒体を含む、機械語命令および/またはデータをプログラム可能なプロセッサに供給するために使用されるコンピュータプログラム製品、装置、および/またはデバイス(例えば、磁気ディスク、光ディスク、メモリ、プログラム可能論理デバイス(PLD))のことを指す。「機械可読信号」という用語は、機械語命令および/またはデータをプログラム可能なプロセッサに供給するために使用される信号のことを指す。
【０１１５】
ユーザとのインタラクションを行うために、本明細書で説明されているシステムおよび技術は、ユーザに情報を表示するための表示デバイス(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)およびキーボードおよびユーザがコンピュータに入力を送るために使用できるポインティングデバイス(例えば、マウスもしくはトラックボール)を有するコンピュータ上で実施されることができる。他の種類のデバイスも、ユーザとのインタラクションを行うために使用することができ、例えば、ユーザに返されるフィードバックは、任意の形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)とすることができ、ユーザからの入力は、音響、話し声、または触覚入力を含む、任意の形態で受け取られることができる。
【０１１６】
本明細書で説明されているシステムおよび技術は、(例えば、データサーバのような)バックエンドコンポーネントを含むか、または(例えば、アプリケーションサーバのような)ミドルウェアコンポーネントを含むか、または(例えば、それを通してユーザがここで説明されたシステム及び技術の実装と対話することができる、グラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータのような)フロントエンドコンポーネントを含むコンピューティングシステム、またはそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせで実施することができる。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体(例えば、通信ネットワーク)によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットが挙げられる。
【０１１７】
コンピューティングシステムは、クライアントおよびサーバを備えることができる。クライアントおよびサーバは、一般に、互いに隔てられており、典型的には、通信ネットワークを通じてインタラクションを行う。クライアントとサーバとの関係は、コンピュータプログラムが各コンピュータ上で実行され、互いとの間にクライアント-サーバ関係を有することによって発生する。
【０１１８】
多数の実施形態が説明された。しかしながら、本発明の精神および範囲から逸脱することなく、さまざまな修正が実行され得ることが理解されるであろう。例えば、製品を説明する単語の画像を光学式文字認識ソフトウェアと共に使用し、検索語を構成することができる。それに加えて、図に示されている論理の流れは、所望の結果を得るために、図示されている特定の順序、またはシーケンシャルな順序を必要としない。それに加えて、他のステップを与えるか、または説明されている流れからステップを取り除くこともでき、また他のコンポーネントを説明されているシステムに追加するか、または説明されているシステムから取り除くことができる。したがって、他の実施形態は、請求項の範囲内にある。
【符号の説明】
【０１１９】
100  プロセス
102  物品
104  モバイルデバイス
106  画像
108  タグ
110  検索エンジン
112  1ボタンで購入表示
114  忠実な一致物
116  類似の一致物
118  画像変更ボタン
120  もっと見るボタン
122  ソート選択肢
124  チェックアウトサーバ
126  確認表示
200  システム
202  コンピューティングデバイス
204  画像処理/コマースサーバ
206  決済サーバ
208  認証サーバ
210  インターネット
212  特徴点生成器
214  画像比較器
216  検索エンジン
218  製品画像データソース
220  製品データソース
222  ベンダデータソース
224  決済モジュール
226  支払い認証器
228  取引モジュール
230  チェックアウトインターフェイス
232  ベンダデータソース
234  購入者データソース
236  認証器
238  ユーザデータソース
300  プロセス
320  プロセス
401  クライアントデバイス
403  画像処理サーバ
404  画像
405  コマースサーバ
407  決済サーバ
409  ベンダ
441  クライアントデバイス
442  画像処理サーバ
443  コマースサーバ
444  決済サーバ、コマースサーバ
445  認証サーバ
446  ベンダ
500  コンピュータデバイス
502  プロセッサ
504  メモリ
506  記憶装置デバイス
508  高速インターフェイス
510  高速拡張ポート
512  低速インターフェイス
514  低速バス
516  ディスプレイ
520  標準サーバ
522  ラップトップコンピュータ
524  ラックサーバシステム
550  モバイルコンピュータデバイス
552  プロセッサ
554  ディスプレイ
556  ディスプレイインターフェイス
558  制御インターフェイス
560  オーディオコーデック
562  外部インターフェイス
564  メモリ
566  通信インターフェイス
568  無線周波トランシーバ
570  GPS受信機モジュール
572  拡張インターフェイス
574  拡張メモリ
580  携帯電話
582  スマートフォン
【図５】
2011525664.tif 000003
【図１】
2011525664.tif 000004
【図２】
2011525664.tif 000005
【図３Ａ】
2011525664.tif 000006
【図３Ｂ】
2011525664.tif 000007
【図４Ａ】
2011525664.tif 000008
【図４Ｂ】
2011525664.tif 000009
【国際調査報告】
2011525664.tif 000010
2011525664.tif 000011