(57)【要約】【課題】対象の変更を要することなく取り込んだ画像をデジタル的に識別する。【解決手段】データベース装置中の複数の対象から対象を特定するために画像の特性を使用する識別方法である。デジタル画像中の実際の対象を識別するために、データは、一つ又は複数のデータベースの対象データとの形状比較、グレースケール比較、ウェブレット比較、及びカラーキューブ比較のようなパラメータに分解される。【選択図】図１
2015007992.tif 000002
【特許請求の範囲】
【請求項１】
画像を取り込むカメラと、
前記画像の少なくとも一部にデータ処理操作を行ってデータを生成し、このデータをサービスに送信する、ネットワーク対応装置と
を備え、
前記サービスは、前記データを受信し、前記画像内の対象を識別し、種々の種類の目標対象を含む目標対象のデータ特性を記憶しているデータベースを使用して前記画像に存在する対象を他のものから区別し、前記対象を情報のアドレスと関連付け、かつ前記アドレスを前記ネットワーク対応装置に返信するようにプログラムされ、かつ
前記ネットワーク対応装置はさらに、前記対象に関連する情報のアイテムを検索するために前記アドレスを使用するようにプログラムされているシステム。
【請求項２】
前記ネットワーク対応装置はハンドヘルドコンピュータ又は携帯電話を備える、請求項１に記載のシステム。
【請求項３】
前記サービスは第２のデータ処理操作を前記画像の少なくとも一部に実行する、請求項１に記載のシステム。
【請求項４】
前記サービスはさらに、前記画像又は前記データの少なくとも一部に対して多数のアルゴリズムを適用することで前記対象を識別し、かつ前記多数のアルゴリズムの結果と関連付けられた信頼度の関数として前記画像を識別するようにプログラムされている、請求項１に記載のシステム。
【請求項５】
前記対象はいかなるデータとも符号化されていない、請求項１に記載のシステム。
【請求項６】
前記画像内に含まれるバーコード又は他の記号の識別を含み、前記サーバは前記バーコード又は他の記号からの情報のアイテムを第２の装置に送信する、請求項１に記載のシステム。
【請求項７】
前記ネットワーク対応装置に対して遠隔のコンピュータが前記サービスのホストとして機能する、請求項１に記載のシステム。
【請求項８】
前記サービスはさらに、前記ネットワーク対応装置での表示に適したフォーマットのコンテンツを規定する複数のアドレス間からアドレスを選択するようにプログラムされている、請求項１に記載のシステム。
【請求項９】
前記情報のアイテムは前記対象に関する商取引を実行するために使用できるデータを含む、請求項１に記載のシステム。
【請求項１０】
前記ネットワーク対応装置はさらに、前記対象に関する商取引を実行するために前記アドレスを使用するようにプログラムされている、請求項１に記載のシステム。
【請求項１１】
前記ネットワーク対応装置はさらに、遠隔のコンピュータのソフトウエアプロセスを開始するために、前記アドレスと前記情報のアイテムのうち少なくとも一つを使用するようにプログラムされている、請求項１に記載のシステム。
【請求項１２】
前記ネットワーク対応装置はさらに、電話通話を開始するために、前記アドレスと前記情報のアイテムのうち少なくとも一つを使用するようにプログラムされている、請求項１に記載のシステム。
【請求項１３】
前記ネットワーク対応装置はさらに、無線通信を開始するために、前記アドレスと前記情報のアイテムのうち少なくとも一つを使用するようにプログラムされている、請求項１に記載のシステム。
【請求項１４】
前記ネットワーク対応装置はさらに、前記サービスから受信したデータをウェブサイトへ送信するために、前記アドレスと前記情報のアイテムのうち少なくとも一つを使用するようにプログラムされている、請求項１に記載のシステム。
【請求項１５】
前記ネットワーク対応装置はさらに、グラフィックスを表示するために前記アドレスの少なくとも一つと前記情報のアイテムを使用するようにプログラムされている、請求項１に記載のシステム。
【請求項１６】
前記ネットワーク対応装置はさらに、可聴音を生成するために、前記アドレスの少なくとも一つと前記情報のアイテムを使用するようにプログラムされている、請求項１に記載のシステム。
【請求項１７】
前記末端のサービスはさらに、前記アドレスの少なくとも一つと前記情報のアイテムから電話通話を開始するようにプログラムされている、請求項１に記載のシステム。
【請求項１８】
（ａ）前記データのプロセスと（ｂ）前記データ中の対象の認識のうちの少なくとも一方が前記装置と前記サーバの間で分配される、請求項１に記載のシステム。
【請求項１９】
前記ネットワーク対応装置は、前記サーバへのビデオ情報を含む動画像を送信する、請求項１に記載のシステム。
【請求項２０】
前記データプロセス動作は、コントラスト強調、ノイズ除去、及びぼけ鮮鋭化からなる群から選択される、請求項１に記載のシステム。
【請求項２１】
前記データプロセス動作が前記対象の識別の前に前記画像に対して適用される、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２００１年９月５日に出願された米国仮出願第６０／３１７５２１号と２０００年１１月６日に出願された米国仮出願第６０／２４６２９５号に利益を主張する２００１年１１月５日に出願された米国特許第０９／９９２９４２号の一部継続出願である。
【０００２】
本発明は、データベース中の複数の対象（object）から対象を識別するための特有のデータを使用して、デジタル的に取得された対象の画像から対象を識別する方法及び手順（process）に関する。
【背景技術】
【０００３】
対象の変更や美観の毀損を伴わずに、デジタル的に取得された対象を画像のデーダースから識別することが要求されている。以下の例がある。
【０００４】
大型の美術館での絵画や他の芸術作品の識別。この場合、美術館が美術館中に所望の対象を展示でき、かつ展示物が記号やコンピュータのスクリーンで隠れたり追いやられたりすることがないようにしつつ、美術館中の対象に関する付加的な情報を可搬のディスプレイにより提供することが望まれる。
【０００５】
単にその機械の視覚的なデータを用いることによる、機械との通信リンクの確立。
【０００６】
影、反射、部分遮蔽、及び視覚的ジオメトリの振動、又は完全な画像を取得する上での他の障害（obstructions）の存在下でのデータ中の対象の外観に基づく対象の位置及び向きの計算。デジタルカメラ内蔵の携帯電話のようなデータ取得ハードウエアが市場に出回ってきており、それらは遠隔の場所への伝送のための写真撮影以外の用途にも有用であることが好ましい。また、あらゆる識別システムが利用可能な計算能力を効率的に利用し、データベースの規模や利用可能な計算能力に応じて、識別に必要な計算をローカルで実行し、インターネット接続されたコンピュータと共同で実行し、又はリモートで実行できることが望ましい。加えて、サーチ及び情報検索の高速化に利用であれば、このように識別システムがバーコード、特別な目標（special  target）、又は文字言語のような毀損の識別記号を使用できることが好ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前述の要求を解決する。データがいったんデジタル的に取り込まれると、このデータのサーチによって画像内に記号のコンテンツ（symbol  content）が含まれているか否かが決定される。記号が含まれていれば、記号が復号化されて適切なデータベースとの通信が開始され、この通信は通常はインターネットを使用し、その記号についての最良の適合が戻される。いくつかの場合には記号が検知されるが、非多義的な識別は可能でない。この場合及び記号データが検知できない場合には、データに特有の特性を検知する識別アルゴリズム（identification  algorithms）によって、データが分解される。次に、これらの特性がデータベース中での一つ又は複数の最良の適合ないしはマッチ（match  or  matches）を与えるために使用され、利用可能な場合には、部分的な記号情報により「最良」の決定が支援される。
【課題を解決するための手段】
【０００８】
従って、本発明はインターネットのようなネットワークを介した対象及び画像の情報へのリンク付けを収容することができる技術及びプロセスを提供し、リンク付けされた対象に変更を加える必要はない。画像ないしは対象はその可視の外観のみによって識別されるので、バーコードの適用、無線又は光学トランシーバないしは送信器、又は対象を識別するための幾つかの他の手段、又はその中に検知可能な情報を符号化するような画像又は対象の変更を含む対象をデジタル情報にリンク付けする伝統的な方法は、必要とされない。ユーザ又は装置は、対象に対して「リンク付け（linking）」することで対象と対話することもできる。例えば、ユーザは「ポイント・アンド・クリック」することで自動販売機にリンクできる。インターネットを介して自動販売機を所有する会社に装置を接続することができる。一方、会社は自動販売機との接続を確立し、それによってユーザは自動販売機に対して確立された通信チャンネルを取得し、自動販売機と対話することができる。
【０００９】
本発明の分解アルゴリズム(decomposition  algorithms)では、見える形状に影、反射、部分閉塞、及び変化があったとしても、画像中の可視の外観に基づいて、高速で信頼性の高い画像及び／又は対象の検知及び認識を行うことができる。前述のように、本発明は、アルファベット文字、バーコード、又は２次元マトリクスコードのような対象上に現われている一般的な記号に基づいて、画像及び対象を検出、復号化、及び識別することもできる。
【００１０】
特定の対象が識別されると、画像が取り込まれた時のユーザに対する対象の位置及び向きを、画像中の対象の外観に基づいて決定することができる。これは、セキュリティシステムにおいて多数のカメラでスキャンされた人々の位置及び／又は身元、ＧＰＳよりも正確であるかＧＰＳ信号を受信できない領域でも使用可能なパッシブ型のロケータ・システム、乗物からの送信を必要としない乗物の位置、及び他の多くの用途となり得る。
【００１１】
携帯電話のような可搬の装置に本発明を組み込むと、その装置のユーザは、当該対象に装置をポインティングないしは向けることでそのユーザの環境下で画像及び対象にリンクし、「ポイント・アンド・クリック」して画像を取り込むことができる。その後、装置が他のコンピュータ（サーバ）に画像を送信し、サーバでは画像が分析されて当該対象又は画像が検知及び認識される。次に、対象と対応する情報のネットワークアドレスが当該「サーバ」から可搬の装置に返信され、可搬の装置はネットワークアドレスを使用して情報にアクセスすることが可能となるので、システムのデータベースに対象に関する情報の一部のみを記憶しておけばよい。
【００１２】
画像／対象の検知及び／又は画像中で検知された記号の復号化を含む画像処理の一部又はすべてを、可搬の（クライアント）装置とサーバとの間で任意に分配することができる。換言すれば、ある処理をクライアントで実行し、ある処理をサーバで実行してもよい。また、いずれの特定の処理をクライアントとサーバのいずれで実行されるかを特定することなく実行してもよい。しかしながら、すべての処理を一方又は他方のプラットフォームで実行してもよく、あるいは一つのプラットフォームを構成するように二つのプラットフォームを組み合わせてもよい。データ処理は並列計算法で実行することができるので、データベースサイズ及びトラフィック負荷に関するシステムの基準化が容易である。
【００１３】
従って、本発明の目的は、対象の変更を要することなく取り込んだ画像をデジタル的に識別するための、システム及び方法を提供することにある。
【００１４】
他の目的は、製造業者が決して予期していないような方法でデジタルキャプチャ装置を使用することにある。
【００１５】
他の目的は、対象の部分的なビュー（views）ないしは視像から対象を識別可能とすることである。
【００１６】
他の目的は、公衆接続（public  connection）を要しない操作装置を備える通信手段を提供することである。
【００１７】
他の目的は、取り込んだデータから引き出された情報及びデータを電話装置がサーバに伝送できることである。
【００１８】
本発明のさらに他の目的は、動画像をサーバに伝送できる電話装置を提供することである。
【００１９】
他の目的は、データ自体を伝送するのではなく、データから引き出された情報／データを電話装置がサーバに伝送できる通信手段を提供することである。
【００２０】
本発明の他の目的は、電話装置がサーバに動画像及び／又は静止画像を伝送できるようにすることである。
【００２１】
本発明のさらに他の目的は、サーバが情報のアイテムを他の末端の装置に送信できるようにすることである。
【００２２】
本発明のさらに他の目的は、システムがデータ処理、データのコントラスト強調（contrast  enhancement）、ノイズ除去、及びデータぼけ鮮鋭化ないしはぼけ補正（de-blurring）を実行できるようにすることである。
【００２３】
本発明のさらに他の目的は、認識及び／又はサーチプロセスの前にシステムがデータ処理を実行できるようにすることである。
【００２４】
また、本発明のさらに他の目的は、データの認識及び／又はサーチプロセスが失敗した場合でもシステムがデータ処理を実行できるようにすることである。
【００２５】
本発明のこれらの及び他の目的並びに利点は、添付図面を参照した以下の詳述を考慮すると当業者にとって明らかである。
【図面の簡単な説明】
【００２６】
【図１】最上位レベルのアルゴリズムのフローチャートを示す概略的なブロック図。
【図２】画像取込の概念図。
【図３Ａ】本発明のプロセスの詳細を示す概略的なブロック図。
【図３Ｂ】本発明のプロセスの詳細を示す模式的なブロック図。
【発明を実施するための形態】
【００２７】
本発明は、物理的な対象の画像をリモートで取り込みないしは取得することのみにより、インターネットのコンテンツのような情報をユーザに提示することができる新規なプロセスを含む。符号化された情報がリモートで取得した画像に含まれていてもよいが、対象の画像以外の物理的な対象に関する追加の情報が、リンクされた対象に符号化されている必要はないので、符号化された情報がリモートで取得した画像に含まれている必要はない。いかなる追加の符号ないしは装置、無線、光学等も、対象に埋め込まれ又は添付されている必要はない。画像リンクされた対象は、データの取得とリンクの実行に使用するための装置に返信される関連する情報のアドレスと共に、デジタル画像処理のみにより、ユーザの取得した画像内で位置付けして識別することができる。このプロセスは、デジタルデータのノイズ及び破損（損失のあるデータの圧縮/解凍の結果生じ得る。）、遠近法的誤り（perspective  error）、回転、並進（translation）、縮尺の相違、光源の相違により生じる照明の変化、及び付影、反射、又は遮蔽により起こる目標(target)の部分的な掩蔽に対してロバスト性を有する。
【００２８】
現在の技術では、マシン・ビジョンないしは機械視覚の「目標の位置特定及び識別（target  location  and  identification）」について多くの異なる例がある。しかしながら、これらはすべて任意の限定された検索領域についての最良の解決手段を提供する傾向がある。本発明の中心は、広範な潜在的な入力画像に含まれる目標の対象にあいまいでないマッチないしは適合を戻す高速画像マッチングエンジンである。データマッチングないしはデータ適合に対するこの特有の試みには、少なくとも目標の対象のある部分がユーザの取得した画像中に見出されるという利点がある。また、識別及び伝送の前に取込装置又はサーバによるデータプロセスを可能とする他の特有のアプローチがある。本検索技術で実行される並行データ比較プロセスは、ひとまとめにして考えると、このプロセスに特有のものである。また、さらなる及び/又は異なる分解パラメータ関数（decomposition  parameterization  functions）を包含する検索ループの全体構造内で使用されるプロセスの付加的な改良は、限定されない。詳細なプロセスを以下に説明する。図１は全体的なプロセスの流れとステップを示す。これらのステップは以後の段落でさらに詳細に説明する。
【００２９】
画像の取り込み１０のために、ユーザ１２（図２）はコンピュータ、携帯電話（mobile  phone）、携帯情報端末（personal  digital  assistant）、又はデータセンサ（ＣＣＤ型やＣＭＯＳ型のデジタルカメラ）を備える他の同様の装置１４を使用する。ユーザ１２はデータ取込装置１４のセンサの照準を目的の対象１６に合わせる。次に、ユーザ１２による装置１４ないしはセンサのボタンの押下、データが取得されることを自動的に認識する装置１４内のソフトウエア、ユーザの音声命令、又は他の適切な手段を含む適切な手段によりリンク処理が開始される。装置１４は、それが向けられた光景のデジタル画像１８を取得する。この画像１８は、入力画像の生のＲＧＢ（赤、緑、青）表現に対応した画素の３つの別個の２次元マトリクスとして表現される。この実施形態における分析プロセスを標準化する目的で、装置１４がＲＧＢフォーマット以外のフォーマットでデータを供給する場合には、ＲＧＢへの変換がなされる。必要があれば、これらの分析はいかなる標準的な色フォーマットにおいても実行することができる。
【００３０】
データ／サーバ２０が装置１４に対して物理的に分離されていれば、通常のデジタルネットワーク又は無線ネットワーク手段を介して、ユーザが取得した画像が装置１４からデータ／サーバ２０に送信される。しかしながら、データ／サーバ２０へデータを送信する前に、データの取込に使用される装置１４がコントラスト強調、ノイズ除去、ぼけ鮮鋭化等のデータプロセスを最初に実行してもよい。このデータプロセスの手順はデータ／サーバ２０へのデータの伝送前に実行しても、装置１４にサーチ結果が返信された後に実行してもよい。
【００３１】
圧縮アーティファクツないしは圧縮誤差（compression  artifacts）が構成されたデータ１８に導入するような方法でデータ１８が圧縮された場合（例えば、損失のあるＪＰＥＧ  ＤＣＴ）には、例えば追加の処理の前に再構成されたデータに通常のデスペックルフィルタないしは斑点除去フィルタ（despeckle  filter）を適用することで、これらの誤差を部分的に除去してもよい。また、装置１４は例えば動画映像（video  transmission）のような動画像を伝送してもよい。この動画像は一つ又は複数の静止画像とは独立に又はこれらと関連してサーバに伝送されてもよい。
【００３２】
入力データ１８を操作して入力データがバーコード、マトリクスコード、又は英数字のような認識可能なシンボルないしは記号を含むか否かを決定するディスクリミネータ・アルゴリズムないしは認識アルゴリズム（discriminator  algorithm）でデータの種類の決定２６がなされる。そのような記号が見付け出されれば、データ１８は記号の復号２８の処理に送られる。ディスクリミネータ・アルゴリズムが記号を見付け出す信頼度（confidence  level）に応じて、画像１８が目的の対象を含んでいてもよく、あるいは記号に代えて目的の対象を含み、従って画像１８を処理フローの対象データの分岐にも送ってもよく、あるいは記号画像の分岐に代えてデータ１８が対象画像の分岐に送られる。例えば、入力データ１８がバーコードと対象の両方を含んでいれば、バーコードが検出される明瞭度に応じて、データを対象データの分岐と記号データの分岐の両方で分析し、最も高レベルで識別が成功した分岐が対象の識別及び対象からのリンクに使用される。
【００３３】
記号の復号２８では、データが分析されて記号の位置、寸法、及び性質が決定されてもよい。記号はそれらの種類に応じて分析され、それらが含む情報が引き出される。例えば、バーコード及び英数字は数字及び／又はテキストの情報となる。
【００３４】
対象画像については、本発明では入力データの分解３４において、高解像度の入力データを数個の異なる種類の定量化可能な特徴パラメータ（salient  parameter）に「分解（decomposition）」する。これによって多数の独立した収斂性の検索プロセスを並行して行うことができ、データベースとのマッチング３６におけるデータの適合ないしはマッチングの速度と、マッチングのロバスト性が大幅に向上する。前述のように、装置１４とサーバ２０との間でこの動作を任意に分配してもよい。次に、記号の復号２８又はデータのデータベースとのマッチング３６のいずれか、又は両方に基づく最良のマッチないしは適合３８が決定される。特定のＵＲＬ（又は他のオンラインアドレス）が画像と関連付けられれば、ＵＲＬのルックアップないしは参照４０が実行され、ＵＲＬ返信４２においてインターネットアドレスが返信される。また、プロセス中、サーバが情報のアイテムを他の末端の装置（図示せず）に送信してもよい。例えば、雑誌中のテレビ番組表のデータがサーバ２０へ伝送されると、サーバがデータをテレビ番組表として認識し、インターネット接続されたテレビに表中のチャンネルに変更する命令を送信してもよい。
【００３５】
入力画像の分解プロセスの全体のフローは以下の通りである。
放射量補正（Radiometric  Correction）
セグメンテーション（Segmentation）
セグメントグループの生成（Segment  Group  Generation）
各セグメントグループについて（For  each  segment  group）
バウンディングボックスの生成（Bounding  Box  Generation）
幾何正規化（Geometric  Normalization）
ウェブレット分解（Wavelet  Decomposition）
カラーキューブ分解（Color  Cube  Decomposition）
形状分解（Shape  Decomposition）
低解像度のグレースケール画像の生成（Low-Resolution  Grayscale  Image  Generation）
フォー・エンド（For  END）
【００３６】
以下に前記各ステップをさらに詳細に説明する。放射量補正のために、通常、入力画像が色平面毎に８ビットのＲＧＢ表現に変換される。このＲＧＢ画像はすべての３つのチャンネルにおいて放射量的に（radiometrically）正規化される。この正規化は、リニアゲインとオフセット変換によりなされ、各カラーチャンネル内の画素値は全８ビットのダイナミックレンジ（２５６の離散値をとり得る。）にわたる。８ビットのダイナミックレンジは十分であるが、光学的取込装置がより高解像度の画像を生成し、コンピュータがより高速化し、かつメモリがより低価格化しているので、１６ビット、３２ビット、又はそれ以上の高ビットダイナミックレンジを使用してもよい。
【００３７】
セグメンテーションのために、放射量が正規化されたＲＧＢ画像が、「セグメント」毎、ないしは同様の色の領域、すなわち赤、緑、及び青について画素値がほぼ等しい領域毎に分析される。これらのセグメントはそれらの境界で画定され、境界は（ｘ，ｙ）点の対の組からなる。セグメント境界のマップが生成され、このマップはＲＧＢの入力画像とは別個に維持され、ＲＧＢ画像とアスペクト比が等しいｘ，ｙ境界画像マップにフォーマットが設定される。
【００３８】
セグメントグループの生成のために、セグメントを可能性のあるすべての組み合わせにグループ化する。これらのグループは「セグメントグループ（segment  groups）」として知られ、入力画像中の可能性のあるすべての画像ないしは目標の対象を表している。セグメントグループは、それらが評価される順序に基づいて分類される。種々の評価順序の方式が可能である。ここで説明する特定の実施形態は以下の「センターアウト(center-out)」方式を使用する。第１のセグメントグループは画像の中心のセグメントのみを含む。次のセグメントグループは、前のセグメントに加えて（画素数が）最大で前のセグメントに隣接（接触）するセグメントを含む。セグメントがなくなるまで、追加のセグメントがセグメント基準で追加される。新たなセグメントが追加される各ステップで、新たな特有のセグメントグループが生成される。
【００３９】
バウンディングボックスの生成のために、考慮しているセグメントグループの楕円主軸（セグメントグループ全体を含むのに十分な大きさの楕円の主軸）が計算される。次に、画像座標系内で、楕円に主軸に長辺が平行であり、セグメントグループのすべての画素を完全に含むのにちょうど十分な寸法の矩形が構成される。
【００４０】
幾何正規化のために、考慮しているセグメントグループに含まれないすべての画素が中間レベルのグレーに設定されるように、入力画像のコピーを変更する。この結果は再サンプリングされて「標準アスペクト（standard  aspect）」の出力テスト画像空間にマッピングされ、バウンディングボックスの隅部がこの出力テスト画像の隅部にマッピングされる。標準アスペクトはデータベースの生成に使用される参照画像と寸法及びアスペクト比が同じである。
【００４１】
ウェブレット分解のために、幾何正規化のステップで得られた幾何的に正規化された画像からフルカラーの画像のグレースケールの表現が生成される。グレースケールの表現を引き出すために以下の手順が使用される。以下の等式を使用して標準補正色画像のＲ、Ｇ、及びＢの各画素を比例的に加えることで、３つの色平面を１つのグレースケール画像に低減する。
【００４２】
【数１】
2015007992.tif 000003
【００４３】
また、最も近い整数値に四捨五入する。必要であれば、０と２５５で切り捨てる。得られたマトリクスＬは標準グレースケール画像である。このグレースケール表現はフルカラー画像と同じ空間解像度を有し、ダイナミックレンジは８ビットである。グレースケール画像の多重解像度ウェブレット分解が実行され、いくつかの倍率についてウェブレット係数を生じる。種々の倍率のウェブレット係数は画像内でのそれらの重み付けに応じてランク付けされる。
【００４４】
カラーキューブ分解のために、幾何正規化で得られるＲＧＢ画像に画像セグメンテーションが実行される（前述の「セグメンテーション」を参照）。次に、ＲＧＢ画像は正規化された強度（Intensity）、位相(In-phase)、及び直角位相（Quadrature  phase）の色空間(ＹＩＱ)に変換される。同様の色の画素をセグメント境界が囲んでいるので、セグメントマップが画像の主色領域を識別するために使用される。各セグメントの平均Ｙ、Ｉ、及びＱ値と、それらの個々の成分の標準偏差が計算される。各セグメントについて色、色の変化、及びサイズないしは寸法を表す以下のパラメータの組が得られる。
【００４５】
Ｙavg＝強度平均
Ｉavg＝位相平均
Ｑavg＝直角位相平均
Ｙsigma＝強度標準偏差
Ｉsigma＝位相標準偏差
Ｑsigma＝直角位相標準偏差
Ｎpixels＝セグメント中の画素数
【００４６】
これらのパラメータは各セグメントにおける色の強度及び変化を含む。あるセグメントグループのすべてのセグメントをひとまとめにして考えると、これらのパラメータは３次元色空間中の点（さらに正確には、標準偏差を考慮すると領域）を含み、セグメントグループ中の色の強度及び変化を表現している。
【００４７】
形状分解のために、カラーキューブ分解のステップで実行されたセグメンテーションで得られたマップが使用され、グループの外縁境界、この境界で囲まれる全領域、及びその領域の図心を引き出すためにセグメントグループが評価される。また、正味楕円率（そのグループに最も近接する楕円の準長軸を準短軸で割る）が決定される。
【００４８】
低解像度のグレースケール画像の生成のために、ウェブレット分解のステップで得られた画像の最大解像度のグレースケール表現についてｘ及びｙ方向の係数で副標本を取る。この実施形態の例では、３：１の副標本が考えられる。３×３のセル内の画素の重み付けした平均により、副標本化された画像が生成される。輝度の瓶（bin）の離散（ＴＢＤ）の数内に含まれるすべての画素に対する「瓶化された平均（binned  average）」に基づいて、各画素に割り当て可能な離散値の数を減少させることで、得られた結果がコントラスト瓶化（contrast  binned）される。
【００４９】
以上の本実施形態に組み込まれる特定の分解方法の説明は、本発明の範囲で追加の又は代案の分解方法を使用することができないことを示すことを意図するものではない。
換言すれば、以下の通りである。
【００５０】
各入力画像のセグメントグループについて（For  each  input  image  segment  group）
各データベースの対象について（For  each  database  object）
この対象の各ビューについて（For  each  view  of  this  object）
このデータベースの対象の視像の各セグメントグループについて（For  each  segment  group  in  this  view  of  this  database  object）
形状比較（Shape  Comparison）
グレースケール比較（Grayscale  Comparison）
ウェブレット比較（Wavelet  Comparison）
カラーキューブ比較（Color  Cube  Comparison）
複合化したマッチスコアの計算（Calculate  Combined  Match  Score）
エンド・フォー（END  FOR）
エンド・フォー（END  FOR）
エンド・フォー（END  FOR）
エンド・フォー（END  FOR）
【００５１】
以下、前記各ステップをさらに詳細に説明する。
【００５２】
各入力画像のセグメントグループについて
このループは、「セグメント生成」のステップに格納された順番で、入力画像のセグメントグループの各組み合わせを考慮する。各セグメントグループは、それが考慮される時は、画像中の目的の対象の候補であり、種々のテストを使用してデータベースの対象と比較される。
【００５３】
このループ内でセグメントグループが考慮される、多くの可能な例のうちの１つの好適な実例は、「セグメントグループの生成」で述べた「センターアウト」アプローチである。この方法では、画像の中心から始まって、セグメントグループに対して隣接するセグメントの追加を行う順番でセグメントグループを考慮する。この方法では、考慮される新たなグループのそれぞれが前のグループに加え１つの追加の隣接する画像セグメントを備える。新たなグループはデータベースと比較される。新たなグループが前のグループよりもデータベースとのマッチングのスコアが高ければ、新たなグループは保持される。新たなグループが前のグループよりもマッチングのスコアが低ければ、新たなグループは放棄されてループが再開する。特定のセグメントグループが特に高度のマッチを示すスコアであれば、このセグメントグループは正確なマッチとみなされ、それ以上の検索は正当化されない。この場合、現在のグループとマッチングするデータベースのグループとがマッチとして選択され、ループが終了する。
【００５４】
各データベースの対象について
このループでは、現在の入力セグメントグループと比較するために、データベースの各対象が考慮される。
【００５５】
この対象の各視像について
このループでは、現在の入力セグメントグループと比較するために、現在のデータベースの対象の各視像が考慮される。データベースは、各対象について、異なる視野角からの複数の視像を含む。
【００５６】
このデータベースの対象の視像の各セグメントグループについて
このループでは、データベースの対象の現在の視像のセグメントグループの各組み合わせが考慮される。これらのセグメントグループは、入力画像のセグメントグループと同じ方法で生成されている。
【００５７】
形状比較
入力：
入力される画像及び全てのデータベースの画像について：
Ｉ．セグメントグループの輪郭
II.セグメントグループの面積
III．セグメントグループの図心位置
IV．セグメントグループのバウンディングの楕円の楕円率
【００５８】
アルゴリズム：
V．ＴＢＤの範囲内で入力されたセグメントグループと面積がほぼ等しいデータベースのセグメントグループを識別し、「マッチ」のそれぞれについて面積マッチングスコアを計算する。
VI．ＴＢＤの範囲内かつ、前のステップで識別されたマッチの組内で、入力されたセグメントグループと楕円率がほぼ等しいデータベースのセグメントのグループを識別し、「マッチ」のそれぞれについて楕円率位置マッチングスコアを計算する。
VII．ＴＢＤの範囲内かつ、前のステップで識別されたマッチの組内で、入力されたセグメントグループと図心位置がほぼ等しいデータベースのセグメントグループを識別し、「マッチ」のそれぞれについて図心位置マッチングスコアを計算する。
VIII．ＴＢＤの範囲内かつ、前のステップで識別されたマッチの組内で、入力されたセグメントグループと輪郭がほぼ等しいデータベースのセグメントグループを識別し、「マッチ」のそれぞれについて輪郭マッチングスコアを計算する。これは２つの輪郭を比較して、それらが一致する範囲を分析的に決定することによりなされる。
【００５９】
備考：このアルゴリズムはステップ１から４の順序で実行される必要はない。以下のような代案のプロセスが可能である。
【００６０】
各データベースセグメントグループについて（For  each  database  segment  group）
グループがステップ１を通過すれば（If  the  group  passes  Step  1）
グループがステップ２を通過すれば（If  the  group  passes  Step  2）
グループがステップ３を通過すれば（If  the  group  passes  Step  3）
グループがステップ４を通過すれば（If  the  group  passes  Step  4）
比較が成功で、結果を保存（Successful  comparison,  save  result）
エンド・イフ（END  IF）
エンド・イフ（END  IF）
エンド・イフ（END  IF）
エンド・イフ（END  IF）
エンド・フォー(END  FOR)
【００６１】
グレースケール比較
入力：
入力画像及びすべてのデータベースの画像について
XI.バウンディングボックス内の画素の低解像度で、正規化され、コントラスト瓶化されたグレースケールの画像。セグメントグループの外側の画素は標準の背景色に設定される。
【００６２】
アルゴリズム：
低解像度の画像内に一連の同軸な（concentric）矩形の画素の「層（tires）」があれば、入力画像の画素値をデータベースのすべての画像の画素値と比較する。以下のように、各比較について、ＴＢＤの範囲内でマッチングスコアを有するデータベースの画像を識別する。
【００６３】
各データベースの画像について（FOR  each  database  image）
各層について最も内側から始まって最も外側に向けて（For  each  tier,  starting  with  the  innermost  and  progressing  to  the  outermost）
入力画像とデータベースの画像間で画素値を比較（Compare  the  pixel  values  between  the  input  and  database  image）
マッチングスコアの総計を計算（Calculate  an  aggregate  matching  score）
もしマッチングスコアがいくつかのＴＢＤ限度よりも大きければ（すなわち、ほとんどマッチしている。）（IF  matching  score  is  greater  than  some  TBD  limit  (i.e.,  close  match)）
比較は成功で、結果を保存（Successful  comparison,  save  result）
エンド・イフ（END  IF）
エンド・イフ（END  IF）
エンド・フォー（END  FOR）
【００６４】
ウェブレット比較
入力：入力画像及びデータベースのすべての画像について：
X．セグメントグループのバウンディングボックス内の高解像度のグレースケール画像からのウェブレット係数
【００６５】
アルゴリズム：
最低位の係数から初めて最高位の係数へ向けて、入力セグメントグループの画像とデータベースの各セグメントグループの画像のウェブレット係数を連続的に比較する。各比較についてマッチングスコアを比較する。各新たな係数について、ＴＢＤ限度内の前の（一つ低い位）の係数でマッチングスコアを有していたデータベースのグループのみを考慮する。
【００６６】
各データベースの画像について（FOR  each  database  image）
ＴＢＤ限度内で入力画像Ｃ０がデータベース画像Ｃ０と等しければ（IF  input  image  C0  equals  database  image  C0  within  TBD  limit）
ＴＢＤ限度内で入力画像Ｃ１がデータベース画像Ｃ１と等しければ（IF  input  image  C1  equals  database  image  C1  within  TBD  limit）
・・・
ＴＢＤ限度内で入力画像ＣＮがデータベース画像ＣＮと等しければ（IF  input  image  CN  equals  database  image  CN  within  TBD  limit）
マッチを終了し、結果とマッチスコアを保存（Close  match,  save  result  and  match  score）
エンド・イフ（END  IF）
・・・
エンド・イフ（END  IF）
エンド・イフ（END  IF）
エンド・フォー（END  FOR）
【００６７】
備考：
Ｉ．「Ｃ１」は、Ｃ０が最低位の係数で、ＣＮが最高位の係数であるウェブレット係数である。
II．係数を比較するとき、算術的差ではなく、統計学的（例えばガウシアン）基準で比較する。
III．Ｃｉ値に応じてデータベース画像に速やかにアクセスできるように、データインデックス技術が使用される。これによりアルゴリズムが最低位から最高位に進むのに伴って、目的のデータベースの部分を連続的に絞り込むことができる。
【００６８】
カラーキューブ比較
入力：
Ｉ.入力されるセグメントグループの画像
II．各データベースのセグメントグループの画像
における、各セグメントについて［Ｙａｖｇ，Ｉａｖｇ，Ｑａｖｇ，Ｙｓｉｇｍａ，Ｑｓｉｇｍａ，Ｎｐｉｘｅｌｓ］のデータの組（「カラーキューブの点」）
【００６９】
アルゴリズム：
各データベースの画像について（FOR  each  database  image）
データベースの画像の各セグメントグループについて（FOR  each  segment  group  in  the  database  image）
データベースのセグメントグループの各カラーキューブについてＮpixelsが減少する順で（FOR  each  Color  Cube  Point  in  database  segment  group,  in  order  of  descending  Npiexels  value）
入力の（Ｙ，Ｉ，Ｑ）とデータベースの（Ｙ，Ｉ，Ｑ）との間でガウシアンがマッチすれば（IF  Gaussian  match  between  input  (Y,I,Q)  and  database  (Y,I,Q)）
Ｉ．このセグメントについてマッチスコアを計算（Calculate  match  score  for  this  segment）
II．セグメントについてのマッチスコアの総計にセグメントのマッチスコアを累計（Accumulate  segment  match  score  into  aggregate  match  score  for  segment  group）
III．マッチングスコアの総計があるＴＢＤ限度より大きければ（すなわち、ほとんどマッチ）（IF  aggregate  matching  score  is  greater  that  some  TBD  limit  (i.e.,  close  match)）
比較は成功で、結果を保存（Successful  comparison,  save  result）
エンド・イフ（END  IF）
エンド・フォー（END  FOR）
エンド・フォー（END  FOR）
エンド・フォー（END  FOR）
終了（END  FOR）
【００７０】
備考：
Ｉ．あらゆるＹ，Ｉ，Ｑ点のガウシアンエンベロップは、その点のＹ、Ｉ、及びＱの標準偏差のＲＳＳにより決定される。
【００７１】
複合化したマッチスコアの計算
４つの対象の画像の比較（形状比較、グレースケール比較、ウェブレット比較、カラーキューブ比較）はそれぞれ正規化されたマッチングスコアに戻される。データベースの画像に対する入力画像の顕著な特徴のマッチの独立した複数の評価がある。あらゆる単一の比較プロセスにおける不確実性の影響を最小化し、それによって誤ったマッチを返すおそれを最小化するために、現在マッチ＝ＳＱＲＴ(ＷｏｃＭｏｃ２＋ＷCCCＭCCC２＋ＷWCＭWC２＋ＷSGCＭSGC２)という根二乗和の関係を使用して個々の比較の結果が画像のマッチスコアに組み込まれる。ＷｓはＴＢＤパラメータ重み付け係数でＭＳは４つの異なる比較の個々のマッチスコアである。
【００７２】
特有のデータベース検索法とそれに続く対象マッチングスコアが、特別の関心に値する本発明の新規な面である。参照画像と入力画像の領域の個々の分解（decomposition）が画像の顕著な特徴の独立した特性の記述を表している。ウェブレット分解、カラーキューブ分解、形状分解、及び副標本を取った入力画像の低解像度クレースケール評価のすべてが、画像を独立の方法で表現する一組のパラメータを生成する。テストされる画像についてこれら４種類のプロセスのすべてが完了すると、各特性記述（characterization）により供給されるパラメータが、予め計算されてデータベースに記憶されている参照画像の同一の特性記述の結果と比較される。これらの比較ないしは検索は並列で実行される。各検索の結果は、「適合ないしはマッチ（match）」する（すなわち、統計学的に等価である）顕著な特性の数の重み付けされた測定値である、数値スコアである。殆ど等価であることも留意され、累積スコアに計算されるが、重み付けは大幅に低減される。
【００７３】
本発明のデータベース検索方法の新規な側面は、独立の検索が並列に実行されるだけでなく、すべての低解像度グレースケール比較が「収束性（convergent）」である点にある。この収束性は、データベース全体のより小さなサブセットについて入力画像パラメータが連続的に検索されることを意味する。統計的マッチ及びほぼマッチを見付け出すために、すべてのデータベースのレコードにおいて画像からの最大の重み付けを持っているパラメータが最初に比較される。この比較に基づいて、正規化された仮のスコア（例えばゼロから１に縮尺された値で、１は完全なマッチでゼロは全くマッチしないことを示す。）が計算される。次に、許容し得る最小の閾値を上回る初期値の仮のスコアを有するデータベースのレコードについてのみ、入力画像特性記述による重み付けが次に大きいパラメータが検索される。これによって、累積的に仮のスコアに組み込まれてスコアが増加する。次に、前述の累積的なテストの組において同一の許容可能な最小の閾値を上回る仮のスコアの累積を有するデータベースのレコードについてのみ、後続の重み付けが小さくなるパラメータの比較が評価される。
【００７４】
この検索技術によりロバスト性のあるマッチが迅速に完了すると共に、後続の組み合わせマッチ計算（combined  match  calculation）における制限が確立し、このプロセスの速度が上がる。これらの比較における検索の収束性により、データベース全体のサブセットが順位付けられる。
【００７５】
これらのデータベース比較の個々の結果は、分解検索法の機能としての、各画像のマッチ品質の順位である。許容し得る閾値を上回る最終的な累積スコアを有する画像のみが、次のステップである組み合わせマッチ評価で評価される。
【００７６】
４つのデータベース比較プロセス、すなわち形状比較、グレースケール比較、ウェブレット比較、及びカラーキューブ比較が実行される。これらの処理は連続的に実行してもよいが、一般に並列計算プラットフォームで並列的に実行されることが好ましい。各比較法は、それらの画像のマッチングスコアに従って、特定のアルゴリズムにより画像データベース全体を検索して最良のマッチを与える画像を戻す。これらの比較アルゴリズムはセグメントグループについて実行され、各入力画像のセグメントグループは各データベースの各セグメントグループと比較される。
【００７７】
図３Ａ及び図３Ｂは、データベースマッチングプロセス中のプロセスフローを示す。こでは最も内側のループ内に４つの並列プロセスを有する４つのネストループを含むものとしてアルゴリズムが表現されている。この構造は提示及び説明のみのためのものである。最も内側の層で同じ操作を実行しているが、現実の実施ないしは実装では、並列計算及びデータインデックス技術のような処理速度向上技術の利益を最大限に達成するために異なる構造を採用することができる。ループ構造は、図３Ａ及び３Ｂに示すような共用のアプローチではなく、内部の個々の比較について独立に実行できることに留意することが重要である。
【００７８】
好適には、複数のＣＰＵ（中央演算処理ユニット）、電話装置１４、及び／又はコンピュータ間でタスクを分割するために並列処理が使用される。全体のアルゴリズムを以下のような幾つかの方法で分割することができる。
【００７９】
外側のループの共用：
この方法では、すべてのＣＰＵが外側のループを含むアルゴリズム全体を実行するが、１つのＣＰＵは最小のＮサイクルについてループを実行し、次のＮサイクルについては残りのＣＰＵが同時に実行する。
【００８０】
比較の共用：
この方法では、１つのＣＰＵがループ機能を実行する。比較が実行されるときには、各比較は別個のＣＰＵに渡されて並列に実行される。
【００８１】
データベースの共用：
この方法では、ＣＰＵ間でのデータベース検索の分割を伴い、各ＣＰＵがデータベースの１つのセクションの検索を担当し、複数のＣＰＵでセクションが並列に検索される。これは本質的には前記「外側のアルゴリズムの共用」技術の一形態である。
【００８２】
実際の実装では利用可能なハードウエア上でプロセスを最適化する前記技術のいくつかを組み合わせることができる。
【００８３】
速度を最大にするために使用できる他の技術はデータインデキシング（data  indexing）である。この技術では、データベースの潜在的にマッチを含む部分を検索するためだめに、データがどこに存するについての「事前」の認識を利用する。ハッシュテーブル、データ区画化（ある値範囲内のデータがある場所に格納される。）、データソーティング、及びデータテーブルインデキシングのような種々の形態のインデキシングを使用することができる。形状比較アルゴリズム（以下参照）におけるそのような技術の例では、値Ａの領域全体についてデータベースが検索される場合には、アルゴリズムがこの近似値（approximate  value）をどのデータベースが登録しているのか、ないしはどのデータベース領域が有するかを知っており、データベース全体を検索する必要がない。
【００８４】
このように、データベース装置中の複数の対象から対象を特定するために画像の特性を使用し、かつ要求されるすべての目的と利点を充足する、デジタル的に取り込んだ対象の画像から対象を識別する新規な方法とプロセスを示した。本発明の多くの変更、代案、改良、及び他の用途や応用は添付図面と共に明細書を考慮した後には当業者にとって明らかである。本発明の意図及び範囲から離れない限りすべてのそのような変更、代案、及び改良は、請求の範囲のみによって限定される本発明によって保護される。
【符号の説明】
【００８５】
１２  ユーザ
１４  装置
１８  デジタル画像
２０  サーバ
【図１】
2015007992.tif 000004
【図２】
2015007992.tif 000005
【図３Ａ】
2015007992.tif 000006
【図３Ｂ】
2015007992.tif 000007
【手続補正書】
【提出日】平成26年9月2日(2014.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光景の画像を取り込むカメラと、
対象の識別および送信の前に画像の少なくとも一部にデータ処理操作を行って画像データを少なくとも部分的に含む光景データを生成し、この光景データをサービスに送信する、ネットワーク対応携帯電話装置と
を備え、
前記サービスは、
前記光景データを受信し、
受信した前記光景データ内の対象を識別し、
対象の識別に失敗した後、受信した前記光景データの少なくとも一部に第２のデータ処理操作を行い、第２のデータ処理操作がコントラス強調、ノイズ除去およびぼけ鮮鋭化の少なくとも１つを含み、
種々の種類の目標対象を含む目標対象のデータ特性を記憶しているデータベースを使用して前記光景データに存在する対象を他のものから区別し、
前記対象を情報のアドレスと関連付け、かつ
前記アドレスを前記ネットワーク対応装置に返信するようにプログラムされ、かつ
前記ネットワーク対応装置はさらに、前記対象に関連付けられたアクションを行うために前記情報のアドレスを使用するようにプログラムされている、システム。
【請求項２】
前記ネットワーク対応装置はハンドヘルドコンピュータを備える、請求項１に記載のシステム。
【請求項３】
ネットワーク対応携帯電話装置は、光景データをサービスに送信するのに先立って光景データを圧縮するようにさらに構成され、サービスは、受信した光景データにデスペックルフィルタを適用して受信した光景データから圧縮アーティファクツを除去するようにさらにプログラムされている、請求項１に記載のシステム。
【請求項４】
前記サービスはさらに、前記光景データの少なくとも一部に対して多数のアルゴリズムを適用することで前記対象を識別し、かつ前記多数のアルゴリズムの結果と関連付けられた信頼度の関数として前記画像を識別するようにプログラムされている、請求項１に記載のシステム。
【請求項５】
前記光景データはディスクリミネーションアルゴリズムに認識可能な記号を含む、請求項１に記載のシステム。
【請求項６】
前記記号はバーコードを含み、前記サービスは前記バーコードから導き出された情報のアイテムを第２の装置に送信する、請求項５に記載のシステム。
【請求項７】
前記ネットワーク対応装置に対して遠隔のコンピュータが前記サービスのホストとして機能する、請求項１に記載のシステム。
【請求項８】
前記サービスはさらに、前記ネットワーク対応装置での表示に適したフォーマットのコンテンツを規定する複数のアドレス間からアドレスを選択するようにプログラムされている、請求項１に記載のシステム。
【請求項９】
前記アクションは前記対象に関する商取引を実行することを含む、請求項１に記載のシステム。
【請求項１０】
前記アクションは前記対象に関連付けられた情報のアイテムを取り出すために情報のアドレスを使用することを含む、請求項１に記載のシステム。
【請求項１１】
前記アクションは遠隔のコンピュータのソフトウエアプロセスを開始することを含む、請求項１に記載のシステム。
【請求項１２】
前記サービスは、放射量補正変換を用いて受信した光景データを放射量的に正規化するようにさらにプログラムされている、請求項１に記載のシステム。
【請求項１３】
前記サービスは、同様の色の領域について受信した光景データを分析してセグメント境界のマップを生成するようにさらにプログラムされている、請求項１に記載のシステム。
【請求項１４】
前記アクションは前記サービスから受信したデータをウェブサイトへ送信することを含む、請求項１に記載のシステム。
【請求項１５】
前記アクションはグラフィックスを表示することを含む、請求項１に記載のシステム。
【請求項１６】
前記サービスは、受信した光景データのコピーを幾何学的に正規化してセグメントグループのアスペクト比をテストするようにさらにプログラムされている、請求項１に記載のシステム。
【請求項１７】
前記サービスはさらに、前記アドレスから電話通話を開始するようにプログラムされている、請求項１に記載のシステム。
【請求項１８】
（ａ）前記光景データのプロセスと（ｂ）前記光景データ中の対象の認識のうちの少なくとも一方が前記装置と前記サービスの間で分配される、請求項１に記載のシステム。
【請求項１９】
前記ネットワーク対応装置は、前記サービスへのビデオ情報を含む動きデータを送信する、請求項１に記載のシステム。
【請求項２０】
データ処理は、サーチ結果が装置に戻された後に行われる、請求項１に記載のシステム。