(57)【特許請求の範囲】
【請求項１】
コンピュータネットワークを通じて、情報サーバ装置が方法の各ステップを実行することによって情報にアクセスする方法であって、
モバイル装置が取り込んだ画像を表す画像データを受け取るステップと、
前記モバイル装置が前記画像を取り込んだ場所を示す場所データを受け取るステップと、
前記画像データから画像属性情報を特定するステップと、
前記画像属性情報が、前記モバイル装置が前記画像を取り込んだ前記場所から所定の距離内で取り込んだ以前の画像を表す以前に取得した画像データから以前に取得した属性情報と所定のマッチング閾値の範囲内でマッチするかどうかを判定するステップと、
前記画像属性情報が、前記以前に取得した属性情報と前記所定のマッチング閾値の範囲内でマッチする場合、前記場所データに基づいて、前記以前に取得した画像データと前記場所とに関連する前記画像のコンテンツを識別する画像コンテンツ情報にアクセスし、ここで、前記以前に取得した属性情報と画像データは、地域密着型の画像認識を可能にする、複数のプロファイルデータ、コンテキストデータ、複数の異なる装置から取り込んだ複数の画像データをさらに含むものであるステップと、
前記取り込んだ画像に関連する検索語を前記画像コンテンツ情報に基づいて決定するステップと、
前記決定された検索語を使用して後続の検索を提出する際に前記モバイル装置によって使用するために、前記決定された検索語を前記モバイル装置に提供するステップと、
を含むことを特徴とする方法。
【請求項２】
前記画像属性情報が前記画像のヒストグラムを含み、前記以前に取得した属性情報が前記以前の画像の以前に求められたヒストグラムを含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像属性情報が、前記画像から光学式文字認識により特定された文字を含み、前記以前に取得した属性情報が、前記以前の画像の以前に特定した文字を含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像属性情報が、前記以前に取得した属性情報と前記所定のマッチング閾値の範囲内でマッチする場合、前記画像コンテンツ情報に基づいて、前記以前に取得した画像データと前記場所とに関連する場所関連情報にアクセスするステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記画像コンテンツ情報が商店の識別子情報を含む、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記以前に取得した画像データが、第２のモバイル装置を使用して取得したものである、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記画像コンテンツ情報に関連する検索語を決定するステップと、
前記検索語に基づいてデータ検索を行うステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記モバイル装置のモバイル装置識別子を受け取るステップと、
前記モバイル装置識別子に関連するプロファイル情報にアクセスするステップと、
前記プロファイル情報に基づいて前記画像コンテンツ情報の一部を選択するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記プロファイル情報が、前記モバイル装置のユーザに関連するユーザ行動情報を含む、
ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記所定の距離内で取り込んだ複数の以前の画像の各々の優先レベルを決定するステップと、
前記以前に取得した画像データにより表される前記以前の画像の決定された優先レベルに基づいて、前記以前に取得した属性情報を選択するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記画像コンテンツ情報を前記モバイル装置に戻すステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項１２】
請求項１に記載のステップを電子装置に実行させる命令を保持する、ことを特徴とする機械可読媒体。
【請求項１３】
情報にアクセスするためのサーバ装置であって、
プロセッサと、
前記プロセッサ及びネットワークと通信する通信インターフェイスと、
前記プロセッサと通信し、データ及び命令を記憶するメモリと、
を備え、前記命令が前記プロセッサに、
前記ネットワークと通信するモバイル装置が取り込んだ画像を表す画像データを受け取る動作と、
前記モバイル装置が前記画像を取り込んだ場所を示す場所データを受け取る動作と、
前記画像データから画像属性情報を特定する動作と、
前記画像属性情報が、前記モバイル装置が前記画像を取り込んだ前記場所から所定の距離内で取り込んだ以前の画像を表す以前に取得した画像データから以前に取得した属性情報と所定のマッチング閾値の範囲内でマッチするかどうかを判定する動作と、
前記画像属性情報が、前記以前に取得した属性情報と前記所定のマッチング閾値の範囲内でマッチする場合、前記場所データに基づいて、前記以前に取得した画像データと前記場所とに関連する前記画像のコンテンツを識別する、データストアからの画像コンテンツ情報にアクセスし、ここで、前記以前に取得した属性情報と画像データは、地域密着型の画像認識を可能にする、複数のプロファイルデータ、コンテキストデータ、複数の異なる装置から取り込んだ複数の画像データをさらに含むものである動作と、
前記取り込んだ画像に関連する検索語を前記画像コンテンツ情報に基づいて決定する動作と、
前記決定された検索語を使用して後続の検索を提出する際に前記モバイル装置によって使用するために、前記決定された検索語を前記モバイル装置に提供する動作と、を含む複数の動作を実行させることを特徴とするサーバ。
【請求項１４】
前記画像属性情報が、
前記画像のヒストグラムと、
前記画像から光学式文字認識により特定された文字と、
のうちの少なくとも一方を含み、
前記画像属性情報が前記画像のヒストグラムを含む場合、前記以前に取得した属性情報が、前記以前の画像の以前に求められたヒストグラムを含み、
前記画像属性情報が前記画像から光学式文字認識により特定された文字を含む場合、前記以前に取得した属性情報が、前記以前の画像の以前に特定された文字を含む、
ことを特徴とする請求項１３に記載のサーバ。
【請求項１５】
前記命令が前記プロセッサに、
前記検索語に基づいて他のデータ検索を行う動作と、
前記他の検索の結果を前記モバイル装置に提供する動作と、をさらに実行させることを特徴とする請求項１３に記載のサーバ。
【請求項１６】
前記命令が前記プロセッサに、
前記モバイル装置のモバイル装置識別子を受け取る動作と、
前記モバイル装置のユーザに関連するユーザ行動情報を含む、前記モバイル装置識別子に関連するプロファイル情報にアクセスする動作と、
前記プロファイル情報に基づいて前記画像コンテンツ情報の一部を選択する動作と、
をさらに実行させることを特徴とする請求項１３に記載のサーバ。
【請求項１７】
コンピュータネットワークを通じて、情報サーバ装置が方法の各ステップを実行することによって情報にアクセスする方法であって、
撮像装置を使用して画像を取り込むステップと、
前記撮像装置の場所を特定するステップと、
前記画像から画像データを作成するステップと、
前記画像データから画像属性情報を特定するステップと、
前記画像属性情報が、前記モバイル装置が前記画像を取り込んだ場所から所定の距離内で取り込んだ以前の画像を表す以前に取得した画像データから以前に取得した属性情報と所定のマッチング閾値の範囲内でマッチするかどうかを判定するための要求とともに、前記画像属性情報をネットワークインターフェイスを介してデータサーバへ送信するステップと、
前記画像属性情報が、前記以前に取得した属性情報と前記所定のマッチング閾値の範囲内でマッチする場合、前記場所データに基づいて、前記以前に取得した画像データと前記場所とに関連する前記画像のコンテンツを識別する画像コンテンツ情報を受け取り、ここで、前記以前に取得した属性情報と画像データは、地域密着型の画像認識を可能にする、複数のプロファイルデータ、コンテキストデータ、複数の異なる装置から取り込んだ複数の画像データをさらに含むものであるステップと、
前記取り込んだ画像に関連する検索語を前記画像コンテンツ情報に基づいて決定するステップと、
前記決定された検索語を使用して後続の検索を提出する際に前記モバイル装置によって使用するために、前記決定された検索語を前記モバイル装置に提供するステップと、
を含むことを特徴とする方法。
【請求項１８】
前記画像コンテンツ情報の少なくとも一部を含む検索要求を検索エンジンへ送信するステップをさらに含む、
ことを特徴とする請求項１７に記載の方法。
【請求項１９】
情報にアクセスできるようにするためのネットワーク装置であって、
プロセッサと、
前記プロセッサ及びネットワークと通信する通信インターフェイスと、
前記プロセッサと通信する画像処理構成要素と、
前記プロセッサと通信する場所検出器と、
前記プロセッサと通信する出力構成要素と、
前記プロセッサと通信し、データ及び命令を記憶するメモリと、
を備え、前記命令が前記プロセッサに、
前記画像処理構成要素に画像を取り込ませる動作と、
前記場所検出器に前記画像を取り込んだ場所を特定させる動作と、
前記画像から画像データを作成する動作と、
前記画像データから画像属性情報を特定する動作と、
前記画像属性情報が、前記モバイル装置が前記画像を取り込んだ場所から所定の距離内で取り込んだ以前の画像を表す以前に取得した画像データから以前に取得した属性情報と所定のマッチング閾値の範囲内でマッチするかどうかを判定するための要求とともに、前記画像属性情報を通信インターフェイスを介してデータサーバへ送信する動作と、
前記画像属性情報が、前記以前に取得した属性情報と前記所定のマッチング閾値の範囲内でマッチする場合、前記場所データに基づいて、前記以前に取得した画像データと前記場所とに関連する前記画像のコンテンツを識別する画像コンテンツ情報を受け取り、ここで、前記以前に取得した属性情報と画像データは、地域密着型の画像認識を可能にする、複数のプロファイルデータ、コンテキストデータ、複数の異なる装置から取り込んだ複数の画像データをさらに含むものである動作と、
前記取り込んだ画像に関連する検索語を前記画像コンテンツ情報に基づいて決定する動作と、
前記決定された検索語を使用して後続の検索を提出する際に前記モバイル装置によって使用するために、前記決定された検索語を前記モバイル装置に提供する動作と、
を含む複数の動作を実行させることを特徴とするネットワーク装置。
【請求項２０】
前記ネットワーク装置がモバイル装置を含む、
ことを特徴とする請求項１９に記載のネットワーク装置。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、２００８年５月１５日に出願された米国特許出願第１２／１２１，２５９号からの優先権を主張するものであり、該特許出願はその全体が引用により本明細書に組み入れられる。
【０００２】
本発明は、撮像に基づいて情報にアクセスすることに関し、より詳細には、近くの場所などの類似するコンテキスト相関要素を含む複数の画像を利用して画像のコンテンツに関する情報を特定することに関する。
【背景技術】
【０００３】
携帯電話又はその他のモバイル装置に情報を打ち込むことは困難である。通常、情報の入力には、小さなキーをタイプして検索ウィンドウ内に小さな単語の組を入力することが伴う。これは、ユニフォームリソースロケータ（ＵＲＬ）及びその他の特別なデータに必要な特殊文字をタイプするときにはさらに困難となる。モバイル装置によっては、タイピングではなくユーザが音声コマンドを入力できるものもある。しかしながら、通常、音声コマンドの数及び種類は極めて限定されている。これらのモバイル装置が音声コマンドから特殊文字を解釈することも困難である。
【０００４】
さらに、多くの場合、ユーザは見えるものに関する情報に関心を抱き、これらは音声コマンド又は音声入力では表現しにくい。現在では、多くのモバイル装置がデジタルカメラを備えている。通常、モバイル装置のユーザは、画像を取り込み、画像をダウンロードし、及び／又は画像を別のコンピュータ装置にメッセージの形で通信することができる。多くの場合、これらのカメラはキーボードよりも安価であるが、３メガピクセル以下のように解像度が低いことも多い。通常、これらの低解像度カメラは物体認識には適していない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｄａｖｉｄ  Ｇ．Ｌｏｗｅ著、「局所的スケール不変特徴からの物体認識」
【非特許文献２】Ｒｏｍａｎ  Ｙａｍｐｏｌｓｋｉｙ著、「光学式文字認識のための特徴抽出法」
【発明の概要】
【課題を解決するための手段】
【０００６】
以下の図面を参照しながら本発明の非限定的かつ非包括的な実施形態について説明する。図面では、特に指定しない限り様々な図を通じて同じ参照数字が同じ部分を示す。
【０００７】
本発明をより良く理解するために以下の実施形態の詳細な説明を参照し、これを添付図面と併せて読まれたい。
【図面の簡単な説明】
【０００８】
【図１】本発明を実施できる例示的なシステムの１つの実施形態を示す図である。
【図２】例示的なモバイル装置の１つの実施形態を示す概略図である。
【図３】例示的なネットワーク装置の１つの実施形態を示す概略図である。
【図４】取り込んだ画像に基づいて画像関連情報を特定して処理するための全体的な論理例を示すフロー図である。
【図５】取り込んだ画像に基づいて検索語及び検索結果を求めるための論理例を示すフロー図である。
【発明を実施するための形態】
【０００９】
以下、本明細書の一部を形成するとともに本発明を実施できる特定の例示的な実施形態を例示として示す添付図面を参照しながら本発明についてより完全に説明する。しかしながら、本発明は多くの異なる形で具体化することができ、本明細書に示す実施形態に本発明が限定されると見なすべきではなく、むしろこれらの実施形態は、本開示を徹底的かつ完全なものにするとともに、当業者に本発明の範囲を完全に伝えるように提供するものである。とりわけ、本発明は方法又は装置として具体化することができる。従って、本発明は、完全にハードウェアの実施形態、又はソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとることができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではない。
【００１０】
明細書及び特許請求の範囲を通じて、以下の用語は、文脈において特に指定しない限り、本明細書で明確に関連付ける意味をとる。本明細書で使用する「１つの実施形態では」という語句は、同じ実施形態を示す場合もあるが、必ずしもそうとは限らない。さらに、本明細書で使用する「別の実施形態では」という語句は、異なる実施形態を示す場合もあるが、必ずしもそうとは限らない。従って、後述するように、本発明の範囲又は思想から逸脱することなく本発明の様々な実施形態を容易に組み合わせることができる。
【００１１】
また、本明細書で使用する場合、「又は」という用語は、文脈において特に指定しない限り包括的な用語「又は」演算子であり、「及び／又は」という用語に相当する。「〜に基づいて」という用語は、文脈において特に指定しない限り包括的なものではなく、説明していない追加の要素に基づくことを可能にするものである。また、明細書全体を通じて、「１つの（英文不定冠詞）」及び「その（英文定冠詞）」の意味は複数の意味を含む。「〜内（ｉｎ）」の意味は、「〜内（ｉｎ）」及び「〜上（ｏｎ）」という意味を含む。
【００１２】
簡潔に言えば、本発明の実施形態は、画像データ及びコンテキストデータを使用してシーンに関する情報を特定することに関する。コンテンツ情報に直接アクセスしてこれをユーザに戻すことができ、コンテンツ情報を検索語として、他の処理への入力として、又はその他の目的に使用することができる。取り込んだ画像データ、以前の画像分析データ、プロファイルデータ、及び数多くのユーザから収集したその他のデータを使用して、取り込んだ画像の対象及びユーザが求める可能性が最も高そうな情報をより良好に特定する。解像度の高い画像及び複雑な画像処理技術に依拠するのではなく、画像及び場所に関する様々な形のデータの集合を地域密着型の認識として使用する。
【００１３】
画像データに、ある同じ場所の近くの１又はそれ以上の画像が含まれることがある。多くの異なるユーザが異なるカメラ又はその他の装置を使用してこれらの画像を撮影することができる。この（単複の）画像は、ロゴ、ランドマークなどの非テキスト情報を含むことがある。これに加えて、或いはこれとは別に、この（単複の）画像は、看板、広告板などに書かれた文字列などのテキスト情報を含むことがある。コンテキストデータは、個々の画像を撮影した場所、画像の１又はそれ以上を撮影したモバイル装置に関連するユーザプロファイルなどを含むことができる。これに加えて、或いはこれとは別に、コンテキストデータは、商店、建物、通り名、その場所の近くの１又はそれ以上のユーザが行う行為に関する情報などの、場所に関して分かっている情報を含むことができる。画像を分析して、画像の特徴を識別するヒストグラムを求めることができる。画像の解像度が許せば、何らかの物体認識を行うことができる。画像を分析して、画像内の文字を探し出して認識することもできる。同じユーザ及び／又は他のユーザが、画像の分析を他の画像の分析と比較して評価し、予想される画像のコンテンツを特定することができる。同様に、コンテキストデータを評価して、予想される画像のコンテンツ及び／又は画像に関して望まれそうな情報を特定又は修正することができる。１つの実施形態では、特定された又は認識されたキーワード、カテゴリ、又はその他の情報をデータ検索システムに提出して、具体的に認識されたユニフォームリソースロケータ（ＵＲＬ）、電話帳情報、広告、又はその他の結果から検索結果、ウェブページを検索することができる。これに加えて、或いはこれとは別に、結果をフィルタリングし、優先順位付けし、分類し、又は別様にさらに処理することができる。
【００１４】
本発明の実施形態は、ユーザが撮影した物体の意味を識別し、この意味をより多くの情報に対する要求として使用する。従来より、画像評価は、画像認識アルゴリズム、埋め込みコード、又はバーコードを使用して行われてきた。これらの画像キューは多くの場合信頼できず、画像品質が低すぎて、画像認識アルゴリズムだけでは所望の精度レベルを提供することができない。十分なコンテキスト情報を使用し、分かっている物体の場所又は以前の検索結果などに基づいて、本発明の実施形態は、ユーザが最新のアクション映画又はその他の特定の情報を宣伝する広告板の写真を撮影していたことを素早く判断することができる。本発明の実施形態は、最新映画などの画像の対象に関するより多くの情報を示すカスタム表示をユーザに示すことができる。追加情報として、最も近い上映場所及び時間、及び／又はその他の情報を含むことができる。
【００１５】
本発明の実施形態は、できる限り多くの補助情報を使用して、ユーザが画像内の何を見ているかを認識する。本明細書では、一般にこの追加情報のことをコンテキスト又はコンテキスト情報と呼ぶ。一般に、コンテキストとして、写真を撮影したときのカメラの場所、時間、この場所で他のユーザが写真を撮影した可能性、他の写真のコンテンツ（これらの一部は高解像度カメラで撮影されている可能性がある）、ユーザが以前探していた情報、同じコンテキストを仮定した場合に異なるユーザがある種の情報を選択した可能性、及びこの場所の近くの物体の既知の場所などが挙げられる。
【００１６】
コンテキストは多くの異なる方法で使用することができる。コンテキストを使用して、ユーザが撮影した写真内に存在していそうな物体のほうに検索を偏らせることができる。集中サーバがユーザから低品質な画像を受け取り、ｌｏｃａｌｉｔｙ−ｓｅｎｓｉｔｉｖｅ  ｈａｓｈｉｎｇなどのアルゴリズムを使用して画像マッチングを行い、同じ場所に存在する同じ物体のより品質の良い画像を見つけることができる。サーバは、過去により良い画像を受け取ったことがあるので、このより良い画像を既に分析し終えている。このより良い画像の事前分析によって得られる情報により、前のユーザが結果として現れるリンクをクリックし、或いは別の行動を行ってこれをサーバが追跡した可能性がある。従って、一般にサーバは、画像の対象に関する求められそうな情報に関するより多くのコンテキスト情報を有する。コンテキスト情報を確率モデルで符号化することができ、これが画像の対象に関する追加コンテキストを提供する。例えば、スターバックスの店頭が目に入る確率は都市部の方が高い。別の例として、場所及びその他のコンテキストを使用して、言語文字などの固有のコミュニティ情報を認識することができる。例えば、普通、アメリカで漢字が見られる可能性のある場所はわずかである。サーバは、ユーザの場所に基づいて、新しい画像の領域内で一般的であることが分かっている言語の最も予想される文字を認識することに努力を集中させることができる。
【００１７】
コンテキスト情報を分散できるのと同じように、画像を分析するための作業をネットワーク全体を通じて分散することができる。ユーザのモバイル装置などの最小限のＣＰＵ能力で計算できる低複雑度アルゴリズムを使用して、画像のための電子指紋を決定することができる。この電子指紋及びユーザの場所をサーバへ送信して、サーバが既にこの画像を受け取ったことがあるかどうかを確認することができる。サーバがこの画像を以前に受け取ったことがある場合、この画像の分析結果を最小限の再分析コスト及び最小限の通信料金で即座に戻すことができる。このネットワークトランザクションが進行中の間、ユーザのモバイル装置は、必要に応じてより詳細な分析を行うためにサーバへ送信することに向けて、画像に対して最初の特徴抽出及び圧縮を行うことができる。この処理は単純な画像マッチングから開始し、より高度なアルゴリズムへ進み、光学式文字認識（ＯＣＲ）を行い、画像内のいずれかのテキストを特定し、ユーザに画像に関する情報を入力するよう要求し、又はその他の分析に進むことができる。本発明のいくつかの実施形態は、できるだけ多くのコンテキスト及び画像情報を使用してユーザ情報要求の範囲を狭め、関連するコンテンツを配信する。以前に追跡したユーザの行動情報を使用して、最も予想される画像のコンテンツ、及び／又はユーザが求める可能性が最も高い情報を決定することができる。分析は、ボタンを１回クリックするだけで、すなわちカメラのシャッターをクリックすることで行うことができる。追加の詳細については、以下の実施形態例の説明において示す。
【００１８】
例示的動作環境
図１は、本発明が動作できる環境の１つの実施形態を示している。しかしながら、本発明を実施するためにこれらの構成要素が全て必要なわけではなく、本発明の思想又は範囲から逸脱することなく構成要素の構成及び種類を変化させることができる。
【００１９】
図示のように、システム１００は、クライアント装置１０２〜１０４、ネットワーク１０５、及びサーバ１０６を含む。ネットワーク１０５は、クライアント装置１０２〜１０４の各々及びサーバ１０６と通信し、これらの間の通信を可能にする。
【００２０】
クライアント装置１０２〜１０４は、コンテンツサーバなどの別のコンピュータ装置との間で及び互いになど、ネットワーク１０５などのネットワークを介してメッセージを送受信できる事実上あらゆるコンピュータ装置を含むことができる。このような装置の組として、携帯電話、スマートフォン、ページャ、ウォーキートーキー、無線周波数（ＲＦ）装置、赤外線（ＩＲ）装置、ＣＢ、前述の装置の１又はそれ以上を組み合わせた統合装置、又は事実上あらゆるモバイル装置などのような、一般に無線通信媒体を使用して接続する装置を挙げることができる。同様に、クライアント装置１０２〜１０４は、携帯情報端末（ＰＤＡ）、ポケットＰＣ、ウェアラブルコンピュータ、及び有線及び／又は無線通信媒体を介して通信することができる他のいずれかの装置などのような、有線又は無線通信媒体を使用して接続することができるいずれの装置であってもよい。このような装置の組として、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、及びネットワークＰＣなどような、一般に有線通信媒体を使用して接続する装置を挙げることもできる。
【００２１】
クライアント装置１０２〜１０４の中の個々のクライアント装置は、ウェブページを送信し、受信し、表示するように構成されたブラウザアプリケーションなどを含むことができる。ブラウザアプリケーションは、以下に限定されるわけではないが、ハイパーテキストマークアップ言語（ＨＴＭＬ）などの汎用マークアップ言語（ＳＭＧＬ）、拡張可能マークアップ言語（ＸＭＬ）、無線マークアップ言語（ＷＭＬ）などのハンドヘルド装置マークアップ言語（ＨＤＭＬ）、ＷＭＬＳｃｒｉｐｔ、及びＪａｖａＳｃｒｉｐｔ（登録商標）などを含む、事実上あらゆるウェブベース言語を利用してグラフィクス、テキスト、マルチメディアなどを受信して表示するように構成することができる。クライアント装置１０２〜１０４は、以下に限定されるわけではないが、インスタントメッセージング（ＩＭ）、電子メール、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、インターネットリレーチャット（ＩＲＣ）、ｍＩＲＣ、及びＪａｂｂｅｒなどを含む別のメカニズムを利用して別のコンピュータ装置との間でメッセージを送信及び／又は受信するように構成されたメッセージングアプリケーションをさらに含むことができる。
【００２２】
ネットワーク１０５は、１つのコンピュータ装置を別のコンピュータ装置に結合してこれらが通信できるようにするように構成される。ネットワーク１０５は、１つの電子装置から別の電子装置に情報を伝達するためのあらゆる形のコンピュータ可読媒体を利用することができる。ネットワーク１０５は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ユニバーサルシリアルバス（ＵＳＢ）ポートなどを介した直接接続、他の形のコンピュータ可読媒体、又はこれらのいずれかの組み合わせに加え、インターネットなどの無線インターフェイス及び／又は有線インターフェイスを含むことができる。異なるアーキテクチャ及びプロトコルに基づくものを含む相互接続されたＬＡＮの組では、ルータがＬＡＮ間のリンクとして機能し、互いにメッセージを送信できるようにする。また通常、ＬＡＮ内の通信リンクとしてツイストペア線又は同軸ケーブルが挙げられるが、ネットワーク間の通信リンクは、アナログ電話回線、Ｔ１、Ｔ２、Ｔ３、及びＴ４を含む全体的又は部分的専用デジタル回線、デジタル信号レベル３（ＤＳ３）、光搬送波３（ＯＣ３）、ＯＣ１２、ＯＣ４８、非同期転送モード（ＡＴＭ）、総合デジタル通信網（ＩＳＤＮ）、デジタル加入者回線（ＤＳＬ）、衛星リンクを含む無線リンク、又は当業者に公知のその他の通信リンクを使用することもできる。さらに、リモートコンピュータ及びその他の関連する電子装置を、モデム及び仮設電話リンクを介してＬＡＮ又はＷＡＮのいずれかに遠隔接続することができる。ネットワーク１０５は、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、無線アプリケーションプロトコル（ＷＡＰ）、ｇｌｏｂａｌ  ｓｙｓｔｅｍ  ｆｏｒ  ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、汎用パケット無線サービス（ＧＰＲＳ）、超広帯域（ＵＷＢ）、及びＩＥＥＥ８０２．１６Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ（ＷｉＭａｘ）などを含む様々な通信プロトコル及び技術とともに使用するように構成される。基本的に、ネットワーク１０５は、情報がクライアント装置１０２〜１０４及び／又はサーバ１０６間を移動できるようにするあらゆる通信方法を含む。
【００２３】
一般に、通信リンク内で情報を送信するために使用する上述したような媒体は、コンピュータ装置がアクセスできるあらゆる媒体を含む。コンピュータ可読媒体は、コンピュータ記憶媒体、有線及び無線通信媒体、又はこれらのいずれかの組み合わせを含むことができる。また通常、コンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータを具体化する。このようなデータを、あらゆる情報配信媒体を含む通信媒体を介して搬送波、データ信号、又はその他の搬送メカニズムなどの変調データ信号の形で通信することができる。「変調データ信号」及び「搬送波信号」という用語は、その特徴セットの１又はそれ以上を有する信号、又は情報、命令、及びデータなどを符号化する方法で信号に変化させた信号を含む。一例として、通信媒体は、音響、ＲＦ、赤外線、及びその他の無線信号のための流体又は空間などの無線媒体、及びツイストペア、同軸ケーブル、光ファイバ、導波、及びその他の有線媒体などの有線媒体を含む。
【００２４】
サーバ１０６は、複数のコンピュータ装置又は単一のコンピュータ装置を含むことができる。サーバ１０６は、ヒストグラムを求めたり、ＯＣＲを実行したり、画像を以前記憶した画像と比較したり、画像に関する情報を特定したり、データベース動作を実行したり、追加情報の検索を実行したり、画像に関する情報を記憶したり、ユーザの行動を追跡したりなどの画像分析サービスを提供することができる。サーバ１０６はまた、コンテンツ、及び／又はウェブサイト、(ブログなどの)オンラインジャーナル、写真、レビューなどのその他のサービス、メッセージング、検索、ニュース、ショッピング、広告、及び／又は同様のものなどのオンラインサービスを提供することもできる。サーバ１０６は、ウェブページなどのネットワークリソース間の関係の作成、修正、及び管理のような管理サービスをさらに提供することができる。簡潔に言えば、サーバ１０６は、ネットワーク１０５に接続できるあらゆるコンピュータ装置を含むことができ、クライアント装置１０２〜１０４のうちの少なくとも１つのユーザなどのネットワークユーザのためのサービスを管理することができる。サーバ１０６として動作できる装置として、専用サーバ装置、パーソナルコンピュータ、デスクトップコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、及びネットワークＰＣなどが挙げられる。サーバ１０６及び／又はクライアント１０２〜１０４のいずれかを、図２に関して説明するクライアントなどの１又はそれ以上のコンピュータ装置に実装することができる。
【００２５】
例示的クライアント装置
図２は、参照データ収集装置として使用される本発明の１つの実施形態による例示的なクライアント装置２００を示している。１つの実施形態では、クライアント装置２００は、ラップトップコンピュータなどのモバイル装置である。モバイル装置の別の例として、１又はそれ以上の無線通信インターフェイスを介して音声通信及びＳＭＳメッセージなどのメッセージを送受信するように構成されたＰＤＡ又は携帯電話が挙げられる。多くの場合、モバイル電子装置は、１又はそれ以上の無線ネットワークに接続すること、単一の無線ネットワークの複数のノードに接続すること、１又はそれ以上のチャネルを介して１又はそれ以上のネットワークに通信すること、或いは１又はそれ以上の通信セッションに別様に関わることによりパーソナル通信を行うことができる。一般に、クライアント装置２００は、あらゆるモバイル電子装置又は固定電子装置を含むことができる。このような装置には、ラップトップ、パームトップ、ＰＤＡ、ハンドヘルドコンピュータ、携帯電話、スマートフォン、ページャ、無線周波数（ＲＦ）装置、赤外線（ＩＲ）装置、及び前述の装置の１又はそれ以上を組み合わせた統合装置などが含まれる。クライアント装置２００はまた、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、ネットワークＰＣ、及びウェアラブルコンピュータなどのその他の電子装置を含むこともできる。
【００２６】
クライアント装置２００が含むことができる構成要素は、図２に示すものより多くても又は少なくてもよい。しかしながら、図示の構成要素は、本発明を実施するための例示的な実施形態を開示するには十分なものである。図示のように、クライアント装置２００は、バス２２４を介して大容量メモリ２３０と通信する処理ユニット２２２を含む。
【００２７】
大容量メモリ２３０は、ＲＡＭ２３２、ＲＯＭ２３４、及びその他の記憶手段を含む。大容量メモリメモリ２３０は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するための別のコンピュータ記憶媒体の例を示している。大容量メモリ２３０は、クライアント装置２００の低レベル動作を制御するための基本入力／出力システム（「ＢＩＯＳ」）２４０を記憶する。大容量メモリは、クライアント装置２００の動作を制御するためのオペレーティングシステム２４１も記憶する。この構成要素は、あるバージョンのＷｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）、又はＬＩＮＵＸ（登録商標）などの汎用オペレーティングシステム、又はＷｉｎｄｏｗｓ  Ｍｏｂｉｌｅ（商標）、又はＳｙｍｂｉａｎ（登録商標）オペレーティングシステムなどの専用モバイル通信オペレーティングシステムを含むことができる。オペレーティングシステムは、Ｊａｖａアプリケーションプログラムを介してハードウェア構成要素及び／又はオペレーティングシステム動作の制御を可能にするＪａｖａ（登録商標）仮想マシンモジュールを含むことができ、或いはこれにインターフェイス接続することができる。
【００２８】
メモリ２３０は１又はそれ以上のデータ記憶ユニット２４２をさらに含み、クライアント装置２００がこれを利用して、とりわけプログラム２４４及び／又はその他のデータを記憶することができる。プログラム２４４は、クライアント装置２００によって実行された場合、ＨＴＭＬページ、ＸＭＬページ、及びＷＡＰページ（ＷＡＰカードと呼ばれることもある）などのマークアップページを送信し、受信し、提供し、及び／又は別様に処理するコンピュータ実行可能命令を含むことができる。従って、プログラム２４４はコンピュータ実行可能命令のブラウザプログラムを含むことができ、これをオペレーティングシステム２４１の制御下で実行して、マークアップページ及び（ＨＴＴＰ、ＴＣＰ／ＩＰ、ＳＭＳ、ＭＭＳ、ＩＭ、電子メール、及び／又はその他のメッセージなどの）メッセージ、オーディオ、ビデオを要求し、受信し、提供できるようにしてこれらを管理し、別のクライアント装置の別のユーザと電気通信できるようにすることができる。アプリケーションプログラムのその他の例として、カレンダー、コンタクトマネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、スプレッドシートプログラム、及びゲームが挙げられる。
【００２９】
また、大容量メモリ２３０は画像処理モジュール２４６を記憶し、これをオペレーティングシステム２４１の制御下で外部モジュールとして、ブラウザ内で、ウェブページ内で、又は別の構成を介してプラグインモジュールとして実行することができる。画像処理モジュール２４６は、画像データ、コンテキスト情報、画像データに対するユーザの要求、及びモバイル装置が取得又は受信した画像に関するその他のデータの初期処理又は完全処理を行うことができる。
【００３０】
クライアント装置２００はまた、電源２２６、１又はそれ以上の無線インターフェイス２５０、オーディオインターフェイス２５２、ディスプレイ２５４、キーパッド２５６、照明器２５８、任意のデータ取り込みモジュール２５９、入力／出力インターフェイス２６０、任意の触覚インターフェイス２６２、及び任意のグローバルポジショニングシステム（ＧＰＳ）受信機２６４も含む。電源２２６がクライアント装置２００に電力を供給する。再充電可能な又は再充電不可能なバッテリを使用して電力を供給することができる。ＡＣアダプタ、又はバッテリを補完及び／又は再充電する電動ドッキングクレードルなどの外部電源により電力を供給することもできる。
【００３１】
クライアント装置２００は、任意に基地局と、又は直接別のクライアント装置と通信することができる。無線インターフェイス２５０は、クライアント装置２００を１又はそれ以上の無線ネットワークに結合するための回路を含み、以下に限定されるわけではないが、ＴＣＰ／ＩＰ、ＵＤＰ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＳＭＳ、ＧＰＲＳ、ＷＡＰ、ＵＷＢ、及びＩＥＥＥ８０２．１６（ＷｉＭａｘ）などを含む１又はそれ以上の通信プロトコル及び技術とともに使用するように構成される。
【００３２】
オーディオインターフェイス２５２は、人間の声及び音楽などの音のようなオーディオ信号を生成し及び／又は受信するように構成される。例えば、オーディオインターフェイス２５２をスピーカ及びマイクロフォン（図示せず）に結合して他者と通信できるようにし、及び／又は何らかの行為に対する音声肯定応答を生成することができる。ディスプレイ２５４は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、発光ダイオード（ＬＥＤ）、又はクライアント装置とともに使用する他のいずれの種類のディスプレイであってもよい。ディスプレイ２５４はまた、スタイラス又は人間の手の指などの物体からの入力を受け取るように構成されたタッチセンサ式画面を含むこともできる。
【００３３】
キーパッド２５６は、ユーザからの入力を受け取るように構成されたあらゆる入力装置を含むことができる。例えば、キーパッド２５６は、キーボード又はプッシュボタン式数字ダイヤルなどを含むことができる。キーパッド２５６はまた、変更可能な処理を選択して実行することに関連する命令ボタンを含むこともできる。照明器２５８は、ステータス表示を提供し、及び／又は光を提供することができる。照明器２５８は、特定の時間にわたって、又はイベントに応答してアクティブのままにしておくことができる。例えば、照明器２５８は、アクティブなときにはキーパッド２５６上のボタンをバックライトで照らすことができ、クライアント装置が給電を受けている間オン状態を保つことができる。また、別のクライアント装置にダイヤルするなどの特定の動作が行われた場合、照明器２５８はこれらのボタンを様々なパターンでバックライト照明することもできる。照明器２５８はまた、モバイル装置の透明又は半透明なケース内に存在する光源を動作に応じて光らせることもできる。照明器２５８を画像取り込み用のフラッシュとしてさらに使用することもできる。クライアント装置２００には、カメラなどのデータ取り込みモジュール２５９を含めることができる。クライアント装置は、画像、ビデオ、温度、圧力、又はその他のデータを取得することができる。
【００３４】
クライアント装置２００はまた、ヘッドホンなどの外部装置と通信するための入力／出力インターフェイス２６０、又は図２には示していないその他の入力又は出力装置も含む。入力／出力インターフェイス２６０は、ＵＳＢ、赤外線、及びＢｌｕｅｔｏｏｔｈ（商標）などの１又はそれ以上の通信技術を利用することができる。任意の触覚インターフェイス２６２は、クライアント装置のユーザに触覚フィードバックを提供するように構成される。例えば、触覚インターフェイスを使用して、クライアント装置の別のユーザが電話をかけてきたときにクライアント装置２００を特定の方法で振動させることができる。
【００３５】
任意のＧＰＳトランシーバ２６４は、地表にあるクライアント装置２００の物理座標を特定することができ、この結果、通常は緯度値及び経度値などの場所が出力される。ＧＰＳトランシーバ２６４はまた、以下に限定されるわけではないが、三角測量、アシスト型ＧＰＳ（ＡＧＰＳ）、拡張観測時間差（Ｅ−ＯＴＤ）、セル識別子（ＣＩ）、サービスエリア識別子（ＳＡＩ）、拡張タイミングアドバンス（ＥＴＡ）、又は基地局サブシステム（ＢＳＳ）などを含むその他のジオポジショニングメカニズムを使用して、地表にあるクライアント装置２００の物理的場所を特定することもできる。異なる条件により、ＧＰＳトランシーバ２６４は、クライアント装置２００の物理的場所をミリメートルの範囲内で特定することもできれば、その他の場合には、特定される物理的場所がメートル又はかなり大きな距離の範囲内のようにそれほど正確ではないこともある。
【００３６】
例示的ネットワーク装置
図３は、本発明の１つの実施形態によるネットワーク装置の１つの実施形態を示している。ネットワーク装置３００が含むことができる構成要素は、図示のものより多くても又は少なくてもよい。しかしながら、図示の構成要素は、本発明を実施するための例示的な実施形態を開示するには十分なものである。ネットワーク装置３００は、例えば分類サーバ１０６、コンテンツサーバ、又は図１の別のクライアント装置を表すことができる。例示を目的として、ネットワーク装置３００をサーバ装置として説明する。
【００３７】
図示のように、サーバ装置３００は、バス３２４を介して大容量メモリ３３０と通信する処理ユニット３２２を含む。一般に、大容量メモリ３３０は、ＲＡＭ３３２、ＲＯＭ３３４、及びその他の記憶手段を含む。大容量メモリ３３０は、ある種のコンピュータ可読媒体、すなわちコンピュータ記憶媒体を示している。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するためのあらゆる方法又は技術において実装される揮発性及び不揮発性の、取り外し可能な及び取り外し不可能な媒体を含むことができる。コンピュータ記憶媒体の他の例として、ＥＥＰＲＯＭ、フラッシュメモリ又はその他の半導体メモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置によりアクセスできるその他のあらゆる媒体が挙げられる。
【００３８】
大容量メモリ３３０は、サーバ装置３００の低レベル動作を制御するための基本入力／出力システム（「ＢＩＯＳ」）３４０を記憶する。大容量メモリはまた、サーバ装置３００の動作を制御するためのオペレーティングシステム３４１も記憶する。この構成要素は、あるバージョンのＷｉｎｄｏｗｓ、ＵＮＩＸ、ＬＩＮＵＸ、又はＳｏｌａｒｉｓなどの汎用オペレーティングシステムを含むことができる。オペレーティングシステムはまた、Ｊａｖａアプリケーションプログラムを介してハードウェア構成要素及び／又はオペレーティングシステム動作の制御を可能にするＪａｖａ仮想マシンモジュールを含むこともでき、或いはこれにインターフェイス接続することもできる。
【００３９】
大容量メモリ３３０は１又はそれ以上のデータ記憶ユニット３４２をさらに含み、サーバ装置３００がこれを利用して、とりわけプログラム３４４及び／又はその他のデータを記憶することができる。プログラム３４４は、ＨＴＴＰ通信を送信し、受信し、及び別様に処理するためのＨＴＴＰハンドラアプリケーション、及びＷＡＰ通信を送信し、受信し、及び別様に処理するためのＷＡＰハンドラアプリケーションなどのマークアップハンドラアプリケーションを実施するためにサーバ装置３００が実行できるコンピュータ実行可能命令を含むことができる。同様に、プログラム３４４は、外部アプリケーションとの通信をセキュアな方法で開始するなどのセキュアな接続を行うためのセキュアソケットレイヤ（ＳＳＬ）ハンドラアプリケーションを含むことができる。アプリケーションプログラムの他の例として、コンテンツ管理アプリケーション、メッセージングアプリケーション、スケジューラ、カレンダー、ウェブサービス、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、及びスプレッドシートプログラムなどが挙げられる。従って、プログラム３４４は、画像、オーディオ、ビデオ、又はマークアップページを処理し、別の電子装置の別のユーザとの通信及び／又はその他のサービスを可能にすることができる。
【００４０】
また、大容量メモリ３３０は画像処理モジュール３４６を記憶する。画像処理モジュール３４６はコンピュータ実行可能命令を含むことができ、これをオペレーティングシステム３４１の制御下で実行して画像を分析したり、画像を比較したり、コンテキスト情報を特定したり、場所に関連する情報にアクセスしたり、ユーザ行動データを評価したり、検索語を決定したり、又は画像に関するその他の処理を実行したりすることができる。１つの実施形態では、一般に画像処理モジュール３４６がクライアント装置の画像処理モジュールと通信する。大容量メモリ３３０は検索モジュール３４８を含むこともでき、これは画像処理モジュール３４６の一部であってもよく、或いは画像処理モジュール３４６と通信するものであってもよい。検索モジュール３４８は、一般にコンテンツ検索などのデータ検索、ネットワークリソースへのリンクの検索、又はデータベース検索などを行う検索エンジンを含むことができる。
【００４１】
サーバ装置３００はまた、キーボード、マウス、ホイール、ジョイスティック、ロッカースイッチ、キーパッド、プリンタ、スキャナ、及び／又は図３には具体的に示していないその他の入力装置などの入力／出力装置と通信するための入力／出力インターフェイス３６０も含む。サーバ装置３００のユーザは入力／出力装置を使用して、オペレーティングシステム３４１、プログラム３４４、及び／又はその他のモジュールと別個のものであってもよく又は一体化したものであってもよいユーザインターフェイスとやりとりすることができる。ユーザインターフェイスとのやりとりは、ディスプレイ及びビデオディスプレイアダプタ３５４を介した目に見えるやりとりを含む。
【００４２】
サーバ装置３００は、コンピュータ可読記憶媒体のための取り外し可能な媒体ドライブ３５２及び／又は恒久的な媒体ドライブ３５３を含むことができる。取り外し可能な媒体ドライブ３５２は、光学ディスクドライブ、フロッピー（登録商標）ディスクドライブ、及び／又はテープドライブのうちの１又はそれ以上を含むことができる。恒久的な又は取り外し可能な記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するためのあらゆる方法又は技術で実装される揮発性の、不揮発性の、取り外し可能な、及び取り外し不可能な媒体を含むことができる。コンピュータ記憶媒体の例として、ＣＤ−ＲＯＭ３５５、デジタル多用途ディスク（ＤＶＤ）又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又はその他のメモリ技術、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置によりアクセスできる他のあらゆる媒体が挙げられる。
【００４３】
サーバ３００は、ネットワーク通信インターフェイスユニット３５０を介して、インターネットなどの広域ネットワーク、ローカルエリアネットワーク、有線電話ネットワーク、携帯電話ネットワーク、又は図１のネットワーク１０５などの他の何らかの通信ネットワークと通信することができる。ネットワーク通信インターフェイスユニット３５０は、トランシーバ、送受信装置、及びネットワークインターフェイスカード（ＮＩＣ）などとして知られていることもある。
【００４４】
例示的論理
図４は、画像データに基づいて情報要求を処理するためのフロー図例４００を示している。１つの実施形態例では、情報要求を、画像から特定されるデータに基づく追加情報を求める検索要求とすることができる。動作４０２において、１又はそれ以上のデータサービスが、場所関連情報、ユーザ関連情報、時間関連データ、又は画像のコンテキストを示す、或いは画像を相関させるために使用するその他のデータなどのコンテキスト相関データからなる１又はそれ以上のデータベースを作成する。コンテキスト相関情報の例として、地理的場所データ、広告情報、商店情報、通信ノード情報、天気情報、交通情報、又はその他の情報を挙げることができる。地理的場所データは、ＧＰＳデータ、郵便番号、通り名、通りの住所、建物名、又はランドマークなどを含むことができる。広告情報は、場所、コンテンツ、及び広告板、塗装した壁看板、街の看板、店頭看板などに関するその他の情報を含むことができる。広告情報は、非商用看板を含むこともできる。商店情報は、商店名、住所、電話番号、商標、ロゴ、ＵＲＬ、電子メールアドレス、提供される製品、在庫情報、又は価格などを含むことができる。通信ノード情報は、携帯基地局の場所、ｗｉｆｉホットスポットの場所、ネットワークアドレス情報、又は通信容量情報などを含むことができる。場所関連情報の（単複の）データベースを介してリアルタイムデータを保持することもできる。例えば、データサービスは、現在の天候状況、交通状況、又はイベント活動などを提供することができる。
【００４５】
同様に、この実施形態では、動作４０４において、（単複の）データサービスがクライアントのオンライン行動を追跡する。一般に、クライアントユーザの行動は行動の場所に関連付けられる。ユーザの許可があれば、（単複の）データサービスが、メッセージング、行なった検索、選択したＵＲＬ、又は行なった購入などを追跡することができる。この（単複の）データサービスは、オンライン行動に関するその他のパラメータを特定することもできる。例えば、データサービスは、何人かのクライアントユーザがメッセージ交換に基づいて互いに知り合っていることを特定することができ、或いはクライアントユーザが持っていると思われる興味などを特定することができる。データサービスはまた、ユーザのソーシャルネットワークを含む間接的関係を特定することもできる。
【００４６】
動作４０６において、クライアントユーザが、モバイルクライアント装置を使用して画像データを取り込む。一般に、撮り込んだ画像データは、場所及び／又は上述したその他のデータなどの１又はそれ以上のコンテキスト相関データ要素と関連付けられる。例えば、ユーザは、携帯電話で広告板の写真を撮影することができる。この画像及び／又は場所データを、タイムスタンプ、携帯基地局の場所、ｗｉｆｉネットワークノードのアドレス、又はその他のデータと関連付けることができる。広告板は、商店名、ロゴ、電話番号、ＵＲＬ、又はその他のコンテンツを含むことがある。クライアント装置は、さらなる処理をローカルで行い、或いは画像及び／又は場所データをサーバに通信することができる。例えば、クライアント装置は、何らかの画像ヒストグラム分析又は画像指紋法分析などを行うことができる。クライアント装置は、このような分析を行って結果をサーバに通信することができる。しかしながら、多くの場合、携帯電話などのクライアント装置の画像処理機能は制限されている。一般に、このような装置は、未加工の又は圧縮した画像データ及び場所データをサーバへ送信する。
【００４７】
任意の動作４０８において、サーバは、電話番号、移動体識別番号、又はユーザ識別子などの画像を取り込んだクライアントのクライアント識別子を受け取ることができる。サーバはこのクライアント識別子を使用して、提出された以前の画像、提出された以前の場所、クライアント装置の機能、ユーザの行動、又はクライアント識別子に関する集約情報などのクライアント識別子に関連する以前に記憶した情報にアクセスすることができる。サーバ又はクライアント装置は、画像の場所に関連するその他の情報を受け取ることもできる。上述したように、このような情報は、事前に立証された場所データであってもよく、又は場所に関するリアルタイムデータを含むものであってもよい。例えば、サーバは、画像取り込み場所の近くの場所に関連する商店情報にアクセスし、或いはこれを受け取ることができる。この商店情報は、商店及びこの商店の画像取り込み場所からの距離を識別することができる。同様に、サーバは、通り名、郵便番号、天候状況、又は交通状況などの画像取り込み場所に関するその他のコンテキストデータにアクセスし、或いはこれを受け取ることができる。
【００４８】
動作４１０において、サーバ又はクライアント装置が、取り込んだ画像を分析して画像ヒストグラムを求める。一般に、画像ヒストグラムは、画像の色パラメータ及びその他の特徴を識別することにより、画像を容易に比較できるようにする。理想的な状況では、全員が同じカメラを使用して同じ場所で写真を撮影した場合、対応する画像画素を比較することによる単純な画像比較により、その画像が同じ物体を撮影したものであるかどうかについての正確な測定が得られるようになる。しかしながら、一般にこの種の単純な測定は十分なものではない。
【００４９】
単純な場合では、画像内で発見される色のヒストグラムを計算することにより、２つの画像を類似点に関して比較することができる。２つの画像が類似しているかどうかを判断するために使用するメトリックは、（何十もの）異なる色の各々における画素の割合を比較するだけのことである。このメトリックが有用である理由は、一般にどのようにカメラを回転させたかに関わらず機能し、スケール及び変換に影響されにくい傾向にあるからである。例えば、色は異なる会社間で固有のものであるため、一般にこのメトリックは、どの広告板が見られているかを判断するためには良好に機能する。このメトリックは、取り込んだ画像内のいくつかのグレーストーンの銀行建物のうちのいずれの前に立っているかを判断するにはそれほど効果的でない場合がある。
【００５０】
一般的には、目立った特徴に基づくもののようなより高度なアプローチの方が堅実である。このアプローチでは、操作者が、画像内の特に目立つ特徴を識別する画像、又は向きがどうであれ飛び出る画像に偶然出くわす。これらは、角などの画像の特徴であることが多い。目立った特徴が識別されると、これらが、色、局所的構造、及び向きを含むいずれかの数の尺度により特徴付けられる。個々の画像内の目立った特徴が高い割合でマッチし、これらが正しく位置合わせされている場合、一般に２つの画像は類似していると判断される。Ｄａｖｉｄ  Ｇ．Ｌｏｗｅによる「局所的スケール不変特徴からの物体認識」にこのような技術例のさらなる詳細が記載されている。
【００５１】
判定動作４１２において、サーバは、以前に記憶したヒストグラム（又は目立った特徴など）が、新しく受け取った画像のヒストグラム（又は目立った特徴など）に所定のマッチング閾値の範囲内でマッチするかどうかをチェックすることができる。この実施形態例では、サーバが、取り込んだ画像のヒストグラム結果と比較するために、以前に受信した画像からのヒストグラムデータを選択する。比較の数を絞り込むために、サーバは、取り込んだ画像の場所からの所定の半径などのコンテキスト相関要素に基づいて、以前の画像分析データを選択することができる。１つの実施形態では、サーバが、「最良」の以前の画像、又は現在取り込まれている画像の特定の距離内の解像度が最も高い上位いくつかの画像を選択することができる。これに加えて、或いはこれとは別に、サーバは他の基準を使用して、以前のヒストグラムデータをフィルタリングし、優先順位付けし、或いは別様に選択することができる。その他の基準として、取り込んだ画像の特定の範囲内のヒストグラムの特徴、様々なデータベース内の画像の解像度、特定のユーザ識別子又は移動体装置識別子の組に関連する以前の画像分析データのみ、又は画像取り込み場所の特定の数の既知のブロックの範囲内の以前の画像分析データなどを挙げることができる。
【００５２】
以前の画像分析データが選択されると、サーバは、選択したデータを取り込んだ画像の画像分析結果と比較する。たとえ他の画像のズーム、光、又はその他の画像パラメータが異なり得るとしても、別の画像が非常に類似した画像パラメータを有していることがある。例えば、１つの画像は、ある距離から及び１日のある時間に広告板を取り込んだものであり得る。別の画像は、異なる距離から及び一日の異なる時間に同じ広告板を取り込んだものであり得る。個々の画像の画像ヒストグラムを比較して、これらが同じ広告板を取り込んだものであるかどうかを判断することができる。或いは、画像の一部のヒストグラムが、別の画像の一部のヒストグラムに非常に類似している場合がある。類似する部分を検出して比較することができる。類似する部分は、ロゴ又はその他の非テキスト記号に対応することがある。個々のヒストグラムは、画像を識別するための電子指紋として機能することができる。同一の又は統計的に所定の閾値範囲内にあるヒストグラムは等しいと考えられる。これらの比較は画像のコンテンツの識別に役立つ。
【００５３】
取り込んだ画像及び以前の画像の少なくとも一方にユーザプロファイルデータが関連付けられている場合、以前のユーザプロファイルデータを選択して、現在取り込まれている画像のものと比較する。このことは、考えられるロゴに関する不確実性の解消に役立ち、以前の商店とやりとりした情報を提供し、或いは取り込んだ画像に関するその他の追加のコンテキスト情報を提供することができる。
【００５４】
一般に、マッチが見出された場合、サーバは、上記のいずれか、又はその他の記述情報、検索語、又は以前の画像に関するその他の情報及び／又は取り込んだ画像に関連付けるために使用したコンテキスト相関データに関する情報にアクセスすることができる。１つの実施形態では、コンテキスト相関データは、現在の及び以前の画像を取り込んだ場所である。いくつかの実施形態では、動作４１４において、サーバは検索を実行したり、他の処理を実行したり、及び／又は以前に記憶した画像関連情報及び／又は以前に記憶した場所関連情報などの画像コンテンツ情報をクライアント装置に即座に戻したりすることができる。画像コンテンツ情報は、画像のコンテンツのみを識別することができ、或いは画像のコンテンツに関する情報を含むことができる。いくつかの実施形態では、サーバは、この時点でサーバの画像処理動作を終了させることができ、或いは図示のようにさらなる処理を継続して、追加の画像関連情報及び／又は場所関連情報を取得することができる。
【００５５】
ヒストグラム評価と同様に、動作４１６において、サーバ又はクライアント装置は、光学式文字認識（ＯＣＲ）分析を行って画像内の文字を識別することができる。この実施形態では、サーバが、取り込んだシーンの画像内に現れる文字を光学的に認識する。一般に、このような画像は単純な白黒のページではなく写真であり、従ってビデオＯＣＲに使用するようなより複雑な技術の方が有用となる。１つの処理は、検出及び認識の２つのステップで構成される。一般に、検出は、画像のテキストであり得ることを示す統計的挙動を含む構造を含みそうな領域を識別する。例えば、欧米のアルファベットは、ごく接近した多くの水平線及び垂直線を有する。可能性のある領域が識別されると、恐らくは可能性のある単語を制約するための言語モデルを含むパターン認識法を使用して、最も可能性のあるテキストを特定する。Ｒｏｍａｎ  Ｙａｍｐｏｌｓｋｉｙによる、Ｒａｉｎｅｒ  Ｌｉｅｎｈａｒｔによる章を含む「光学式文字認識のための特徴抽出法」にＯＣＲのための技術例の詳細が記載されている。
【００５６】
この実施形態の判定動作４１８において、サーバは、取り込んだ画像のＯＣＲ結果と比較するために、以前に受信した画像からのＯＣＲデータを選択する。ヒストグラム分析と同様に、サーバは、取り込んだ画像の場所からの所定の半径などのコンテキスト相関データに基づいて、以前の画像分析データを選択することができる。１つの実施形態では、サーバが、「最良」の以前の画像、又は現在取り込まれている画像の特定の距離内の解像度が最も高い上位いくつかの画像を選択することができる。これに加えて、或いはこれとは別に、サーバは他の基準を使用して、以前のＯＣＲデータをフィルタリングし、優先順位付けし、或いは別様に選択することができる。その他の基準として、様々なデータベース内の画像の解像度、ＯＣＲ結果のものに類似する最低限求められる単語の数、特定のユーザ識別子又は移動体装置識別子の組に関連する以前の画像分析データのみ、又は画像取り込み場所の特定の数の既知のブロックの範囲内の以前の画像分析データなどを挙げることができる。
【００５７】
以前のＯＣＲ画像分析データが選択されると、サーバは、選択したデータを取り込んだ画像の画像分析結果と比較する。認識された文字を比較して、マッチする単語、ＵＲＬ、又は電話番号などを特定することができる。マッチは所定のマッチング閾値に基づくことができる。例えば、取り込んだ画像と以前に取得した画像の間にマッチが存在すると結論を下すためには、所定の割合の文字列がマッチすることが必要である。これらのＯＣＲ比較は、画像のコンテンツの識別に単独で役立ち、或いはこれをヒストグラム比較と併せて使用することができる。
【００５８】
これもヒストグラム分析と同様に、取り込んだ画像及び以前のＯＣＲ画像の少なくとも一方にユーザプロファイルデータが関連付けられている場合、以前のユーザプロファイルデータを選択して、現在取り込まれている画像のものと比較することができる。このことは、部分的に認識された文字又は文字列に関する不確実性の解消、考えられるロゴに基づく不確実性の解消に役立ち、以前の商店とやりとりした情報を提供し、或いは取り込んだ画像に関するその他の追加のコンテキスト情報を提供することができる。
【００５９】
一般に、マッチが見出された場合、サーバは、上記のいずれか、又はその他の記述情報、検索語、又は以前の画像に関するその他の情報及び／又は現在及び以前の画像を取り込んだ場所に関する情報にアクセスすることができる。いくつかの実施形態では、動作４２０において、サーバは検索を実行したり、他の処理を実行したり、及び／又は以前に記憶した画像関連情報及び／又は以前に記憶した場所関連情報などの画像コンテンツ情報をクライアント装置に即座に戻したりすることができる。いくつかの実施形態では、サーバは、この時点でサーバの画像処理動作を終了させることができ、或いは図示のようにさらなる処理を継続して、追加の画像関連情報及び／又は場所関連情報を取得し、クライアントユーザによって求められそうな画像関連情報及び／又は場所情報を特定し、検索を行い、或いはその他の動作を行うことができる。
【００６０】
この実施形態例では、動作４２２において、サーバがヒストグラム及びＯＣＲの分析を通じて取得した情報を使用して、画像関連情報及び／又は場所関連情報に伴う１又はそれ以上の選択可能な又は自動的な動作を行う。このような動作は、統計的分析を行って、現在取り込まれている画像の予想されるコンテンツ、検索語、又はその他の画像関連情報を特定することを含むことができる。サーバは、画像、場所、データベースから得られる近くの関心のあるポイント、又はこの及びその他のユーザから得られるクリックスルーデータなどの、全ての情報ソースにわたって収集した情報を組み合わせることができる。サーバはまた、矛盾する又は曖昧な情報が存在するかどうかを判定することもできる。サーバは、データサービスにアクセスしたり、リンクを戻したり、追加のユーザ入力を要求したり、或いはその他の動作を実行したりすることができる。１つの実施形態では、図５に関してより詳述するように、サーバが検索を行う。
【００６１】
動作４２４において、サーバが、場所情報、ヒストグラム情報、ＯＣＲ情報、動作結果、又はその他のデータを記憶する。一般に、記憶した情報を取り込んだ画像にインデックスすることにより、この記憶した情報を使用して、次に取り込む画像を評価できるようになる。
【００６２】
図５は、取り込んだ画像に基づいて検索語及び検索結果を決定するための論理例のフロー図を示している。いくつかの実施形態では、現在取り込まれている画像データ及び類似の画像データ内の、或いはこれらに基づく有望な検索語によって画像コンテンツ又はユーザ要求情報を識別することができる。この用語は、認識された文字、マッチする文字列、マッチするヒストグラム特徴、手動で事前に入力した用語、又は取り込んだ画像の場所などを含むことができる。取り込んだ画像のヒストグラムデータを、他のヒストグラムのデータベース又は他の画像のデータベースへの検索入力として使用することができる。いくつかの実施形態では、重み付けを使用して、主に電話番号、又はＵＲＬ、又は商店名、或いは現在取り込まれている画像内の、又はこれに基づくその他の好ましい用語を決定することができる。他の実施形態では、重み付けを使用して、主に研究室内などで使用されるような科学用語、又は美術館などで使用されるような芸術用語などを決定することができる。
【００６３】
この画像データに基づいて有望な検索語を決定するための実施形態例では、動作５０２において、サーバがコンテキスト画像関連データを使用して予想される検索語を決定する。ユーザプロファイルデータ、個々の又は集約された行動データ、装置識別子データ、又はその他のこのようなデータを画像関連データに基づいて検索することができる。このコンテキストデータを使用して、最終的な検索語の決定に重み付けすることもできる。例えば、取り込んだデータに関連するユーザプロファイルデータが、画像取り込み用モバイル装置のユーザが頻繁に映画情報を検索していたことを示す場合がある。同じ場所の近くの以前の画像を映画用語に関連付けることもできる。従って、認識された文字及びヒストグラムデータは、現在上映されている映画を記載した劇場の広告板に対応している可能性が高い。従って、サーバは、検索語、フレーズ、俳優名、劇場ブランド、又は映画に関するその他の用語を特定することができる。
【００６４】
追跡した場所データを使用して、検索語に関する確率パターンを求めることもできる。一般に、場所データは画像の特徴と組み合わせられる。一般に、場所推定は１又はそれ以上の確率推定を含む。例えば、推定により、画像がある方向及び距離から撮影された確率を示すことができる。一般的には、これにより、その地点における確率空間内にガウス隆起が形成される。この隆起内で、一般にサーバは、以前の画像及びサーバが知っているいずれかの地理的情報から推定できる確率でいくつかの物体を認識する。例えば、サーバは、取り込んだ画像の場所近くに銀行があることを認識することができる。同様に、画像分類作業又はＯＣＲがこれに関連する確率を有する場合もある。事後確率推定におけるピークを探すことにより、取り込んだ画像の対象の特定を向上させることができる。これは、既知の位置確率推定の乗法関数、取り込んだ画像の近くの領域に関して分かっている以前の情報、及び画像認識の結果であってもよい。新しい建物又は新しい広告板はいつでも建造され得るので、サーバは、以前の情報がゼロになることはないと仮定することにより計算を公式化することもできる。例えば、新しい共通の小売店が短時間で出現することが可能である。
【００６５】
一般に、以前の画像は、以前の画像分析データに基づいて、検索のマッチング及びその他の処理に使用できる個々の以前の画像に関連する意味的用語を有する。例えば、画像に関連する用語は、特定の待ち受けページ、サービス、又はその他のネットワークリソースの場所を識別することができる。広告主又は商店主などがネットワークリソースを提供し、或いはスポンサーすることができる。これに加えて、或いはこれとは別に、画像に関連する用語は、１又はそれ以上の検索結果ページへの鍵を提供することができる。（単複の）検索データベースを、広告主又は商店主の広告板、看板、又は画像の形で取り込むことができるその他のアイテムに関する名前、電話番号、ＵＲＬ、電子メールアドレス、場所、又はその他の情報を提供した登録済みの広告主又は商店主のデータベースに限定することができ、或いはこの（単複の）検索データベースがこれらを含むことができる。配置入札又はプレミアムサービス料金などに基づいて、広告又は商店のデータベース、又はこれらのコンテンツに重み付けしたり、フィルタリングしたり、又は優先順位付けしたりなどを行うことができる。中間結果を取得してこれを使用し、検索語の精度を高めることができる。
【００６６】
サーバは、取り込んだ画像に関連する検索語を戻す。例えば、サーバは、取り込んだ画像の対象である可能性が最も高い商店名、電話番号、及びＵＲＬを戻すことができる。サーバは、戻した検索語に基づいて自動的に情報を取得し、或いは画像を取り込んだモバイル装置にこの用語を送信することができる。モバイル装置のユーザは、戻された用語をブラウザを介して汎用検索エンジンに提出するかどうかを決定することができる。
【００６７】
動作５０４において、サーバ又は別の検索エンジンが、決定した検索語又はユーザが選択した決定した検索語に基づいて検索を行う。１又はそれ以上の検索を繰り返すことができ、及び／又は複数のデータベースを検索することができる。結果動作５０６において、サーバは、ＷＭＬページ、ＸＨＴＭＬページ、テキストページ、ＳＭＳメッセージ、或いは以前の画像にインデックスできるその他の情報を戻すことができる。戻されたページは、画像の形で取り込まれた物体に関するホームページと考えることができる。ホームページを戻すことにより、サーバは、商店主、広告主、又はホームページの（単複の）他のスポンサーに料金を請求できるようになる。この結果、写真当たりのコスト、又はカメラクリック当たりのコストに基づいて収益を生むことができる。
【００６８】
上記明細書、用例、及びデータは、本発明の構成を作成して使用する完全な説明を提供するものである。例えば、マッチするヒストグラム情報のみに基づいて、又はマッチするＯＣＲデータのみに基づいて検索処理又はその他の動作を行うことができる。別の例として、取り込んだオーディオデータを同様に評価して、検索語又は結果情報を決定することができる。同様に、取り込んだビデオデータを同様に評価して、検索語又は結果情報を決定することができる。場所の近くで追加の画像を取得した場合、マッチング閾値を調整することもできる。本発明の思想及び範囲から逸脱することなく本発明の多くの実施形態を作成できるので、本発明は以下に添付する特許請求の範囲に存在する。
【符号の説明】
【００６９】
１００  システム
１０２  クライアント装置
１０３  クライアント装置
１０４  クライアント装置
１０５  ネットワーク
１０６  サーバ
【図１】
0005457434.tif 000002
【図２】
0005457434.tif 000003
【図３】
0005457434.tif 000004
【図４】
0005457434.tif 000005
【図５】
0005457434.tif 000006