(57)【特許請求の範囲】
【請求項１】
複数の画像を検索するコンピューターにより実施される方法であって、
画像を含む検索クエリーを受信するステップと、
画像処理コンポーネントが、前記検索クエリーに基づいて複数の第１の記述子識別子を識別するステップであって、前記第１の記述子識別子の各々は、前記画像内のそれぞれの関心のある点を含む前記画像の画素のサブセットを含む前記画像のそれぞれの部分を記述するそれぞれの記述子に対応する、ステップと、
検索コンポーネントが、前記第１の記述子識別子の１つ又は複数を、画像ストアに格納された複数のインデックス付き画像の各々に関連付けられる１つ又は複数の第２の記述子識別子と比較することにより、前記複数のインデックス付き画像を検索するステップと、
前記検索コンポーネントが、前記第１の記述子識別子の１つ又は複数と一致するしきい値の数の記述子識別子を各々が有する、１つ又は複数のインデックス付き画像を識別するステップと、
ランク付けコンポーネントが、前記比較に基づいて前記１つ又は複数のインデックス付き画像をランク付けするステップと
を含み、
１つ又は複数の候補画像が検索エンジンの逆索引から識別され、前記逆索引は、前記複数のインデックス付き画像の各々について前記第２の記述子識別子が各インデックス付き画像の前記第２の記述子識別子に続くドキュメント終了識別子とともに連続してリストされる、メモリーに格納されたフラットインデックス位置空間に基づき、各第２の記述子識別子及びドキュメント終了識別子は、前記フラットインデックス位置空間におけるそれぞれの位置を示す位置識別子を含む方法。
【請求項２】
前記検索クエリーは１つ又は複数のテキストの単語を含む請求項１に記載のコンピューターにより実施される方法。
【請求項３】
前記少なくとも１つの第１の記述子識別子を複数のインデックス付き画像の各々に関連付けられる１つ又は複数の第２の記述子識別子と比較することにより前記複数のインデックス付き画像を検索するステップは、
最低値を備えた位置識別子を有する所定の数の第２の記述子識別子を識別するために前記インデックスを検討するステップと、
前記最低の位置識別子値を有する前記所定の数の第２の記述子識別子の最大の位置識別子値に続くドキュメント終了位置識別子を識別するステップと、
前記ドキュメント終了位置識別子によって識別される候補インデックス付き画像についてドキュメント開始位置の値を識別するステップと、
前記最低の位置識別子値を有するすべての前記所定の数の記述子識別子の位置識別子が前記ドキュメント開始位置の値以上である場合に、前記候補インデックス付き画像を候補画像として返すステップ、又は
前記最低の位置識別子値を有する前記所定の数の第２の記述子識別子のうちの１つ又は複数についての位置識別子が前記ドキュメント開始位置の値未満である場合に、前記所定の数の第２の記述子識別子のうちの１つ又は複数のうちの少なくとも１つについてのドキュメント開始位置の値より小さい次の最低の位置識別子値を識別するステップと
をさらに含む請求項１に記載のコンピューターにより実施される方法。
【請求項４】
前記所定の数の第２の記述子識別子は、候補画像のグループにおける候補画像についての一致する第２の記述子識別子の最小の総数に基づいて増加させられる請求項３に記載のコンピューターにより実施される方法。
【請求項５】
前記検索クエリーはテキストの単語を含み、前記少なくとも１つの第１の記述子識別子を識別するステップは、前記テキストの単語に関連付けられる１つ又は複数の記述子識別子を識別するステップを含む請求項１に記載のコンピューターにより実施される方法。
【請求項６】
実行されるとコンテンツベースの画像検索のための方法を実行するコンピューター読み取り可能な命令がその上に具体化された１つ又は複数のコンピューター読み取り可能な記憶媒体であって、前記方法は、
画像を含む検索クエリーを受信するステップと、
画像処理コンポーネントが、前記画像内の複数の関心のある点を識別するステップであって、各々の関心のある点は、前記複数の関心のある点を識別するために前記画像を分析するように動作するオペレーターアルゴリズムによって識別される前記画像内の点、領域、又はエリアのうちの１つを含む、ステップと、
画像処理コンポーネントが、前記複数の関心のある点に関連付けられる１つ又は複数のメトリックに基づいてさらなる処理のために関心のある点のサブセットを選択するステップと、
画像処理コンポーネントが、それぞれの関心のある点を含む前記画像の画素のサブセットを含む領域を含む、前記関心のある点のサブセット内の各々の関心のある点について画像パッチを決定するステップと、
画像処理コンポーネントが、各パッチについて記述子を決定するステップと、
画像処理コンポーネントが、各記述子を複数の第１の記述子識別子の各々にマッピングするステップと、
画像処理コンポーネントが、前記マッピングに基づいて前記画像を前記複数の第１の記述子識別子の組として表すステップと、
検索コンポーネントが、前記第１の記述子識別子の１つ又は複数を、画像ストアに格納された複数のインデックス付き画像の各々に関連付けられる１つ又は複数の第２の記述子識別子と比較することにより、前記複数のインデックス付き画像を検索するステップと、
前記検索コンポーネントが、前記第１の記述子識別子の１つ又は複数と一致するしきい値の数の記述子識別子を各々が有する、１つ又は複数のインデックス付き画像を識別するステップと、
ランク付けコンポーネントが、前記比較に基づいて前記１つ又は複数のインデックス付き画像をランク付けするステップと
を含み、
１つ又は複数の候補画像が検索エンジンの逆索引から識別され、前記逆索引は、前記複数のインデックス付き画像の各々について前記第２の記述子識別子が各インデックス付き画像の前記第２の記述子識別子に続くドキュメント終了識別子とともに連続してリストされる、メモリーに格納されたフラットインデックス位置空間に基づき、各第２の記述子識別子及びドキュメント終了識別子は、前記フラットインデックス位置空間におけるそれぞれの位置を示す位置識別子を含むコンピューター読み取り可能な記憶媒体。
【請求項７】
前記画像の記述子識別子にインデックスを付けるステップをさらに含む請求項６に記載のコンピューター読み取り可能な媒体。
【請求項８】
すべての前記パッチを同じサイズで提供するために、前記関心のある点の各々について前記画像パッチを正規化するステップをさらに含む請求項６に記載のコンピューター読み取り可能な媒体。
【請求項９】
前記パッチが前記関心のある点を含み、前記パッチのサイズが前記オペレーターアルゴリズムの出力から決定される請求項６に記載のコンピューター読み取り可能な媒体。
【請求項１０】
前記各パッチについて記述子を決定するステップは、
前記パッチに含まれる画素を表すベクトルを決定するステップをさらに含む請求項６に記載のコンピューター読み取り可能な媒体。
【請求項１１】
前記各記述子を複数の第１の記述子識別子の各々にマッピングするステップは、それぞれの記述子識別子に関連付けられる１つ又は複数の代表的な記述子を含む量子化テーブルを使用し、各記述子はそれが一致するかほぼ一致する１つ又は複数の代表的な記述子にマッピングされる請求項６に記載のコンピューター読み取り可能な媒体。
【請求項１２】
１つ又は複数の前記第１の記述子識別子を１つ又は複数のテキストの単語にマッピングするステップをさらに含む請求項６に記載のコンピューター読み取り可能な媒体。
【請求項１３】
有料の検索結果をアルゴリズムの画像ベースの検索結果と関連付ける方法であって、
検索クエリーを受信するステップと、
画像処理コンポーネントが、前記検索クエリーに基づいて第１の組の記述子識別子を形成する複数の第１の記述子識別子を識別するステップであって、各記述子識別子は画像ベースの関心のある点を記述する記述子に対応する、ステップと、
検索コンポーネントが、検索結果を生成するために、前記第１の組の記述子識別子を、画像ストアに格納された複数のインデックス付き画像に関連付けられる第２の組の記述子識別子と比較することにより、前記複数のインデックス付き画像を検索するステップであって、前記検索結果は、前記検索クエリーからの前記第１の組の記述子識別子からの記述子識別子と一致する各々の画像についてのある数の記述子識別子に基づいて選択される１つ又は複数の画像の組を含む、ステップと、
少なくとも１つの有料の検索結果を生成するために、少なくとも１つの有料の検索リストを前記第１の組の中の記述子識別子のうちの少なくとも１つと関連付けるステップと
を含み、
１つ又は複数の候補画像が検索エンジンの逆索引から識別され、前記逆索引は、前記複数のインデックス付き画像の各々について前記第２の組の記述子識別子が各インデックス付き画像の前記第２の組の記述子識別子に続くドキュメント終了識別子とともに連続してリストされる、メモリーに格納されたフラットインデックス位置空間に基づき、前記第２の組の記述子識別子及びドキュメント終了識別子の各々は、前記フラットインデックス位置空間におけるそれぞれの位置を示す位置識別子を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツベースの画像検索に関する。
【背景技術】
【０００２】
[0001]インターネットを介して検索エンジンによるなどして情報の検索及び取得をするための様々な方法が当技術分野において知られている。そのような方法は、通常、テキストベースの検索を使用している。テキストベースの検索は、単語やフレーズなどの1つ又は複数のテキスト要素を含む検索クエリーを使用している。テキスト要素は、一致する又は意味的に類似するテキスト形式のコンテンツ、メタデータ、ファイル名、又は他のテキスト表現を含む、ウェブページ、文書、画像などを識別するために、インデックスや他のデータ構造と比較される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
[0002]テキストベースの検索についての既知の方法は、テキストベースのドキュメントについては比較的よく機能するが、画像ファイルやデータに適用することが困難である。テキストベースのクエリーを介して画像ファイルを検索するために、画像ファイルは、タイトル、ファイル名、又は他のメタデータやタグなどの1つ又は複数のテキスト要素に関連付ける必要がある。テキストベースの検索に用いる検索エンジン及びアルゴリズムは画像の内容に基づいて画像ファイルを検索することはできないので、画像に関連付けられるデータのみに基づいて検索結果の画像を識別することに制限される。さらに、このような検索エンジンは画像を含む検索クエリーに基づいて検索を実行することはできない。
【０００４】
[0003]画像のコンテンツベースの検索のための方法は、視覚的に似た画像を識別するために画像の内容についての１つ又は複数の分析を利用して開発されてきた。しかし、これらの方法は、面倒であり、検索が実行可能になる前に画像を特徴づけるためにユーザーからの大量の入力を必要とする場合がある。さらに、このような方法は非効率的であり、例えば、数十億の画像をすばやく検索して、識別し、ユーザーに検索結果の画像を提供する必要がある大規模なものへとうまく拡大しない。
【課題を解決するための手段】
【０００５】
[0004]本発明の実施例は、この概要ではなく、特許請求の範囲によって基底される。したがって、本発明の様々な態様の高レベルの概要が、本開示の概要を提供し、以下の詳細な説明の項においてさらに記載される概念のうちの選択されたものを導入するために、ここに提供される。この概要は、特許請求の主題の重要な特徴や不可欠な特徴を特定するようには意図されず、特許請求の主題の範囲を決定するために単独で補助として使用されるようにも意図されない。
【０００６】
[0005]本発明の実施例は、一般に、コンテンツベースの画像検索に関する。画像の内容が分析され、検索結果を識別するために使用される。画像を含み得る検索クエリーが受信される。画像は、その中の関心のある点を識別するために処理される。関心のある点の１つ又は複数について記述子が決定され、各々が、記述子の識別子にマッピングされる。検索は、検索要素として記述子の識別子を使用して検索インデックスを介して行われる。検索インデックスは、多くのインデックス付き（indexed）画像の記述子の識別子が格納され、各インデックス付き画像の記述子の識別子の間で位置識別子インジケーターによって分離される、フラットインデックス位置空間（flat index location space）に基づいて逆索引（inverted index）を使用する。少なくとも所定の数の一致する記述子の識別子を含む候補画像は、インデックス付き画像から識別される。候補画像はランク付けされ、検索クエリーに応答して提供される。１つ又は複数のテキストの単語又はテキストベースの検索はまた、画像の内容に基づいて候補画像を識別するため及び／又は１つもしくは複数のテキストベースの検索クエリーを提供するために含まれてもよい。
【０００７】
[0006]本発明の例示的な実施例は、添付の図面を参照して以下に詳細に説明される。
【図面の簡単な説明】
【０００８】
【図１】[0007]本発明の実施例での使用に適した例示的なコンピューティング装置を示すブロック図である。
【図２】[0008]本発明の実施例での使用に適した例示的なネットワーク環境を示すブロック図である。
【図３】[0009]本発明の実施例によるコンテンツベースの画像検索のためのシステムを示すブロック図である。
【図４】[0010]本発明の実施例による、コンテンツベースの画像検索のために画像の内容の表現を生成する方法を示すフロー図である。
【図５】[0011]本発明の実施例による、図４に示すコンテンツベースの画像検索のために画像の内容の表現を生成する方法をさらに示すフロー図である。
【図６】[0012]本発明の実施例による、記述子識別子にインデックスを付ける方法を示すフロー図である。
【図７】[0013]本発明の実施例による画像を検索する方法を示すフロー図である。
【図８】[0014]本発明の実施例による、コンテンツベースの候補画像及びテキストベースの検索結果を提供する方法を示すフロー図である。
【図９】[0015]本発明の実施例による、テキストベースの検索クエリーに応答してコンテンツベースの候補画像を提供する方法を示すフロー図である。
【図１０】[0016]本発明の実施例による、検索クエリーとして受信した画像についてコンテンツベースの候補画像を提供する方法を示すフロー図である。
【図１１】[0017]本発明の実施例による、コンテンツベースの画像クエリーを実行する方法を示すフロー図である。
【図１２】[0018]本発明の実施例による、画像中の複数の特徴点（関心のある点、interest points）を示すグラフィック画像の線を引いた表現である。
【図１３】[0019]本発明の実施例による、画像中の特徴点の周りの領域を示すグラフィック画像の線を引いた表現である。
【図１４】[0020]本発明の実施例による、図１３の画像から決定されたパッチの組についての線を引いた表現である。
【図１５】[0021]本発明の実施例による、図１４のパッチの組から決定される記述子ヒストグラムの組の表現である。
【図１６】[0022]本発明の実施例での使用に適した量子化テーブルの表現である。
【図１７】[0023]本発明の実施例による、有料の検索結果をアルゴリズム的な画像ベースの検索結果と関連付ける方法を示すフロー図である。
【発明を実施するための形態】
【０００９】
[0024]本発明の実施例の主題は、法定要件を満たすために、本明細書においては特異性をもって記載される。しかし、記載自体は、必ずしも特許請求の範囲を制限することを意図されていない。むしろ、特許請求の主題は、他の現在又は将来の技術とともに、本明細書に記載されるものとは異なるステップ又は同様のステップの組み合わせを含むように他の方法で具体化されてもよい。用語は、個々のステップの順序が明示的に記載されていない限り又はそのように記載されている場合を除き、本明細書に開示された様々なステップ間でのいかなる特定の順序を示すようにも解釈されるべきではない。
【００１０】
[0025]本発明の実施例は、コンテンツベースの（内容に基づいた、content-based）画像検索を提供するための方法、システム、及びコンピューター読み取り可能な媒体を含む。コンテンツベースの画像検索は、視覚的に類似する画像について検索を実行するために、画像の実際の内容を分析し、使用する。画像の内容は、画像から導出することができる、色、テクスチャー、シェーディング、形状、又は他の特徴もしくは情報のうちの1つ又は複数を含むことができる。コンテンツベースの画像検索はまた、当技術分野で知られているような、コンテンツベースの画像検索（ＣＢＩＲ）、画像コンテンツによるクエリー（ＱＢＩＣ）、又はコンテンツベースの視覚的な情報検索（ＣＢＶＩＲ）として説明することができる。後述するように、いくつかの実施例において、画像及びその内容に関する追加のテキストベースの情報が、コンテンツベースの検索に情報を与え且つ当該コンテンツベースの検索と並行して追加のテキストベースの検索を実行するために、様々なソースから取得することができる。
【００１１】
[0026]ある実施例において、画像を検索するためのコンピューターにより実施される方法が提供される。検索クエリーが受信される。コンピューティングデバイスは、検索クエリーに基づいて、第１の記述子識別子（記述子の識別子、descriptor identifier）を識別する。第１の記述子識別子は、画像内の特徴点（関心のある点、interest point）を記述する記述子に対応する。インデックス付き画像は、第１の記述子識別子を当該インデックス付き画像の各々に関連付けられる第２の記述子識別子と比較することにより、検索される。インデックスを付けられた1つ又は複数の画像は当該比較に基づいてランク付けられる。
【００１２】
[0027]別の実施例において、実行されると、コンテンツベースの画像検索のために画像の内容の表現を生成する方法を実行する、コンピューター読み取り可能な命令がその上に具体化されたコンピューター読み取り可能な媒体が提供される。画像が受信される。特徴点が画像中で識別される。特徴点は、オペレーターのアルゴリズムによって識別される画像中の点、領域、又はエリアである。それぞれの特徴点を含む画像の領域を含む画像パッチが、各特徴点について決定される。記述子はパッチごとに決定される。各記述子は記述子識別子にマッピングされる。当該マッピングに基づいて、画像が記述子識別子の組として表される。
【００１３】
[0028]別の実施例において、有料の検索結果をアルゴリズムの画像ベースの検索結果と関連付ける方法が記載される。検索クエリーが受信される。記述子識別子の第１の組を形成する記述子識別子が、検索クエリーに基づいて、コンピューティングデバイスによって識別される。各記述子識別子は、画像ベースの特徴点を記述する記述子に対応する。インデックスを付けられた画像は、検索結果を生成するために、記述子識別子の第１の組をインデックス付き画像に関連付けられる記述子識別子の第２の組と比較することにより、検索される。有料の検索リストは、有料の検索結果を生成するために、第１の組における記述子識別子のうちの少なくとも1つに関連付けられる。
【００１４】
[0029]最初に図１を参照すると、特に、本発明の実施例を実施するための例示的なコンピューティングデバイスが示され、コンピューティングデバイス１００として一般的に指定される。コンピューティングデバイス１００は、適切なコンピューティングデバイスの一例にすぎず、本発明の実施例の使用又は機能の範囲についていかなる限定を示唆するものでもない。コンピューティングデバイス１００は、図示されるコンポーネントの任意の１つ又は組み合わせに関連するいかなる依存関係も要件も有するものとして解釈されるべきではない。
【００１５】
[0030]本発明の実施例は、パーソナルデータアシスタント又はハンドヘルドデバイスなどのコンピューター又は他のマシンによって実行される、プログラムモジュールなどのコンピューター実行可能命令を含むコンピューターコード又はマシン使用可能な命令の一般的なコンテキストにおいて説明することができる。一般に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含むプログラムモジュールは、特定のタスクを実行し又は特定の抽象データ型を実施するコードを指す。本発明の実施例は、ハンドヘルド機器、民生用電子機器、汎用コンピューター、より専門的なコンピューティングデバイスなどを含む、様々なシステム構成で実施することができる、本発明の実施例はまた、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境において実施することができる。
【００１６】
[0031]図１を参照すると、コンピューティングデバイス１００は、直接的又は間接的に次のデバイスを結合するバス１１０を含む：メモリー１１２、1つ又は複数のプロセッサー１１４、1つ又は複数の提示コンポーネント１１６、入出力ポート１１８、入出力コンポーネント１２０、及び例示的な電源１２２。バス１１０は、1つ又は複数のバス（アドレスバス、データバス、又はそれらの組み合わせなど）であり得るものを表す。図１の様々なブロックは明瞭さのために線で示されているが、実際には、様々なコンポーネントの線引きはそれほど明確ではなく、例えると、より正確には線はグレーであり曖昧なものである。例えば、表示装置としての提示コンポーネントをＩ／Ｏコンポーネントであると考えてもよい。また、プロセッサーはメモリーを有する。そのようなことは技術の本質であることが理解され、図１の図が本発明の1つ又は複数の実施例に関連して使用できる例示的なコンピューティングデバイスの単なる例示であることを改めて述べたい。「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルドデバイス」などのカテゴリーは、すべてが図１の範囲内で考慮され、「コンピューティングデバイス」に言及するので、このようなカテゴリー間では区別がなされない。
【００１７】
[0032]コンピューティングデバイス１００は、通常、様々なコンピューター読み取り可能な媒体を含む。限定ではなく例として、コンピューター読み取り可能な媒体は、ランダムアクセスメモリー（ＲＡＭ）、読み取り専用メモリー（ＲＯＭ）、電子的に消去可能なプログラマブル読み取り専用メモリー（ＥＥＰＲＯＭ）、フラッシュメモリーもしくは他のメモリー技術、コンパクトディスク読み取り専用メモリー（ＣＤ−ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）又は他の光学的もしくはホログラフィー媒体、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、又は所望の情報を符号化するために使用することができ、コンピューティングデバイス１００によってアクセスすることができる、任意の他の媒体を含み得る。
【００１８】
[0033]メモリー１１２は、揮発性及び／又は不揮発性メモリーの形式のコンピューター記憶媒体を含む。メモリー１１２は、取り外し可能であってもよく、取り外し不能であってもよく、又はそれらの組み合わせであってもよい。例示的なハードウェアデバイスは、固体メモリー、ハードディスクドライブ、光ディスクドライブなどを含む。コンピューティングデバイス１００は、メモリー１１２又はＩ／Ｏコンポーネント１２０などの様々なエンティティからデータを読み取る１つ又は複数のプロセッサーを含む。提示コンポーネント１１６は、ユーザー又は他のデバイスに対してデータ表示を提示する。例示的な提示コンポーネント１１６は、表示装置、スピーカー、印刷コンポーネント、振動成分などを含む。
【００１９】
[0034]Ｉ／Ｏポート１１８は、コンピューティングデバイス１００が、一部が内蔵のものであってもよいＩ／Ｏコンポーネント１２０を含む他のデバイスに論理的に結合されることを可能にする。例示的なコンポーネントは、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナー、プリンター、ワイヤレスデバイスなどを含む。
【００２０】
[0035]さらに図２を参照すると、本発明の実施例での使用に適した例示的なネットワーク環境２００を示すブロック図が示される。環境２００は、本発明の実施例において使用することができ、様々な構成で任意の数のコンポーネントを含み得る環境の1つの例にすぎない。本明細書において提供される環境２００の説明は、例示を目的としたものであり、本発明の実施例を実施することができる環境の構成を限定するようには意図されていない。
【００２１】
[0036]環境２００は、ネットワーク２０２、クエリー入力装置２０４、及び検索エンジンサーバー２０６を含む。ネットワーク２０２は、限定ではなく、例えば、インターネット、イントラネット、プライベートローカルネットワーク及びパブリックローカルネットワーク、並びにワイヤレスデータネットワーク又は電話ネットワークなどの、任意のコンピューターネットワークを含む。クエリー入力装置２０４は、検索クエリーを提供することのできる、コンピューティングデバイス１００などの、任意のコンピューティングデバイスである。たとえば、クエリー入力装置２０４は、とりわけ、パーソナルコンピューター、ラップトップ、サーバーコンピューター、携帯電話もしくは無線デバイス、パーソナルデジタルアシスタント（ＰＤＡ）、又はデジタルカメラであってもよい。実施例において、数千、数百万のクエリー入力装置２０４などの複数のクエリー入力装置２０４は、ネットワーク２０２に接続される。
【００２２】
[0037]検索エンジンサーバー２０６は、コンピューティングデバイス１００などの任意のコンピューティングデバイスを含み、コンテンツベースの検索エンジンを提供するための機能の少なくとも一部を提供する。実施例において、検索エンジンサーバー２０６群は、ユーザー集団に検索エンジンの動作を提供するために必要な機能を共有し又は分散している。
【００２３】
[0038]画像処理サーバー２０８は環境２００においても提供される。画像処理サーバー２０８は、コンピューティングデバイス１００などの任意のコンピューティングデバイスを含み、以下により十分に説明するように、画像の内容を分析し、表現し、インデックス付けするように構成される。画像処理サーバー２０８は、画像処理サーバー２０８のメモリーに格納され、又は画像処理サーバー２０８によってリモートアクセスできる量子化テーブル２１０を含む。量子化テーブル２１０は、後述するように、検索すること及びインデックスを付けることを可能にするために、画像のコンテンツのマッピングを通知するために画像処理サーバー２０８によって使用される。
[0039]検索エンジンサーバー２０６及び画像処理サーバー２０８は、画像ストア２１２及びインデックス２１４に通信可能に結合される。画像ストア２１２及びインデックス２１４は、ハードディスクドライブ、フラッシュメモリー、光メモリー装置等の任意の利用可能なコンピューター記憶装置、又はそれらの複数を含む。画像ストア２１２は、本発明の実施例のコンテンツベースの検索に応答して提供することができる画像ファイルのためのデータストレージを提供する。インデックス２１４は、画像ストア２１２に格納される画像のコンテンツベースの検索のための検索インデックスを提供する。インデックス２１４は、任意のインデックスデータ構造やフォーマットを利用し、好ましくは逆索引フォーマットを使用してもよい。
【００２４】
[0040]逆索引は、データ構造におけるコンテンツの位置を示すマッピングを提供する。たとえば、特定の単語について文書を検索するとき、当該単語の位置を見つけるために文書を検索するのではなく、文書内の当該単語の位置を特定するような逆索引によって、当該単語が見つけられる。
【００２５】
[0041]実施例において、検索エンジンサーバー２０６、画像処理サーバー２０８、画像ストア２１２、及びインデックス２１４のうちの１つ又は複数は、単一のコンピューティングデバイスに統合されるか、又は、ネットワーク２０２を横断することなくデバイス間の直接的な通信を可能にするように、直接的に通信可能に結合される。
【００２６】
[0042]図３を参照すると、本発明の実施例によるコンテンツベースの画像検索のためのシステム３００が記載されている。システム３００は、図２に関して上述した、検索エンジンサーバー２０６、画像処理サーバー２０８、量子化テーブル２１０は、画像ストア２１２及びインデックス２１４などの、1つ又は複数のコンピューティングデバイスやコンポーネントに具体化することができ、これらにわたって分散することができる。システム３００は、画像処理コンポーネント３０２は、インデックス作成コンポーネント３０４、検索コンポーネント３０６、ランク付けコンポーネント３０８、及び提示コンポーネント３１０を含む。別の実施例において、システム３００は、追加のコンポーネント、サブコンポーネント、又はコンポーネント３０２から３１０のうちの１つ又は複数の組み合わせを含むことができる。
【００２７】
[0043]画像処理コンポーネント３０２は、コンテンツベースの画像検索のために画像を受信して処理する。画像は、検索クエリーとして又は画像ストア２１２などのデータストアへの画像のアップロードとして、クエリー入力装置２０４などのコンピューティングデバイスを介して、ユーザーから受信される。画像はまた、ネットワーク２０２と通信する1つ又は複数の他のコンピューティングデバイスから受信され又は収集されてもよい。
[0044]画像処理コンポーネント３０２によって受信される画像は、限定ではなく、例えば、ジェイペグ（ＪＰＥＧ）、ビットマップ（ＢＭＰ）、タグ付け画像ファイルフォーマット（ＴＩＦＦ）、及び生画像フォーマット（ＲＡＷ）を含むラスターフォーマット、コンピューターグラフィックスメタファイル（ＣＧＭ）及びスケーラブル・ベクトル・グラフィックス（ＳＶＧ）を含むベクトルフォーマット、並びに、ポータブルネットワークグラフィックスステレオ（ＰＮＳ）、ＪＰＥＧステレオ（ＪＰＳ）又はマルチ画像オブジェクト（ＭＰＯ）、他のフォーマットを含む三次元フォーマットなどの、任意の電子画像フォーマットである。画像サイズ、カラースキーム、解像度、品質、及び画像のファイルサイズなどの特性は、限定されるものではない。画像の内容も限定されるものではなく、例えば、写真、芸術品、図面、スキャンされる媒体などを含んでもよい。また、実施例において、画像は、ビデオファイル、オーディオ・ビデオ、又は他のマルチメディアファイルを含んでもよい。
【００２８】
[0045]次に、図１２−１６をさらに参照すると、システム３００による例示的な画像１２００の処理が本発明の実施例に従って説明される。実施例において、受信した画像１２００を処理するために、画像処理コンポーネント３０２は演算アルゴリズムを使用する。演算アルゴリズムは画像１２００中の複数の特徴点１２０２を識別する。演算アルゴリズムは、画像１２００の特徴点１２０２を識別するために使用可能である利用可能な任意のアルゴリズムを含む。実施例において、演算アルゴリズムは、当技術分野で知られているようなガウシアンアルゴリズム又はラプラシアンアルゴリズムの違いである。実施例において、演算アルゴリズムは２次元の画像１２００を分析するように構成される。さらに、別の実施例において、画像１２００がカラー画像である場合、画像１２００はグレースケールに変換される。
【００２９】
[0046]図１２に示すように、特徴点１２０２は画像１２００中の任意の点を含むほか、図１３に示すような、領域１３０２、エリア、画素群、又は画像１２００中の特徴を含む。明確さ及び簡潔さのために、特徴点１２０２及び領域１３０２はこれ以降特徴点１２０２と呼ばれるが、特徴点への言及は、特徴点１２０２及び領域１３０２の両方を含むように意図される。実施例において、特徴点１２０２は、安定していて画像１２００において特徴のある又は識別可能な特徴を含む、画像１２００中のエリアに位置している。たとえば、特徴点１２０２は、１２０２ａ及び１３０２ａにおいて示されるような特徴の間でコントラストの高いはっきりした特徴を有する画像の領域に位置している。逆に、特徴点は、１２０４によって示されるような一定の色又はグレースケールの領域などの、明確な特徴やコントラストがない領域には配置されない。
【００３０】
[0047]演算アルゴリズムは、例えば、何千もの特徴点などの、画像１２００中の任意の数の特徴点１２０２を識別する。特徴点１２０２は、画像１２００中の点１２０２と領域１３０２の組み合わせであってもよいし、その数は、画像１２００のサイズに基づいていてもよい。画像処理コンポーネント３０２は、特徴点１２０２の各々についてメトリック（metric）を計算し、特徴点１２０２をメトリックに従ってランク付けする。メトリックは、特徴点１２０２における画像１２００の信号強度や信号対雑音比の測定値を含んでもよい。画像処理コンポーネント３０２は、ランク付けに基づくさらなる処理のために特徴点１２０２のサブセット（部分集合、subset）を選択する。実施例において、最も高い信号対雑音比を有する１００個の最も顕著な特徴点１２０２が選択されるが、任意の所望の数の特徴点１２０２を選択することができる。別の実施例においては、サブセットが選択されず、すべての特徴点がさらなる処理に含まれる。
【００３１】
[0048]図１４に示すように、画像処理コンポーネント３０２は、選択された特徴点１２０２に対応するパッチ１４００の組を識別する。各パッチ１４０２は、単一の選択された特徴点１２０２に対応する。パッチ１４０２は、それぞれの特徴点１２０２を含む画像１２００のエリアを含む。画像１２００から取られるべき各パッチ１４０２のサイズは、選択された特徴点１２０２の各々についてのオペレーターアルゴリズムからの出力に基づいて決定される。パッチ１４０２の各々は異なるサイズであってもよく、パッチ１４０２に含まれるべき画像１２００のエリアは重複してもよい。また、パッチ１４０２の形状は、正方形、長方形、三角形、円形、楕円形などを含む任意の所望の形状である。図示される実施例において、パッチ１４０２は形状が正方形である。
【００３２】
[0049]画像処理コンポーネント３０２は、図１４に示すように、パッチ１４０２を正規化（標準化、正常化、normalize）する。実施例において、パッチ１４０２は、パッチ１４０２の各々をＸピクセル×Ｘピクセルの正方形のパッチなどの同じサイズに適合するように正規化される。パッチ１４０２を同じ大きさに正規化することは、他の動作の中で、パッチ１４０２のサイズ及び／又は解像度を増加又は減少させることを含み得る。パッチ１４０２はまた、コントラスト強調、染み取り（despeckling）、鮮明化を適用すること、及びグレースケールを適用することなどの、1つ又は複数の他の動作を介して正規化することができる。
【００３３】
[0050]画像処理コンポーネント３０２はまた、各正規化されたパッチの記述子を決定する。記述子は、パッチ１４０２のピクセルの統計値を計算することによって決定される。実施例において、記述子は、パッチ１４０２のピクセルのグレースケール勾配の統計値に基づいて決定される。記述子は、図１５に示す記述子１５０２などの、各パッチのヒストグラムとして、視覚的に表すことができる（図１４のパッチ１４０２は図１５の同様に配置された記述子１５０２に対応する）。記述子はまた、限定ではなく、例えば、画素のグレースケール統計データであるＴ２Ｓ２  ３６次元のベクトルなどの多次元ベクトルとして記述されてもよい。
【００３４】
[0051]図１６に示すように、量子化テーブル１６００は、各記述子１５０２の記述子識別子１６０２を識別するために画像処理コンポーネント３０２によって使用される。量子化テーブル１６００は、記述子識別子１６０２に記述子１５０２をマッピングするのに使用可能な任意のテーブル、インデックス、チャート、又は他のデータ構造を含む。量子化テーブル１６００の様々な形式は当技術分野で既知であり、本発明の実施例において使用可能である。実施例において、量子化テーブル１６００は、画像ごとに記述子１５０２を識別するために、最初に、例えば１００万個の画像などの大量の画像を処理することによって生成される。そこから識別される記述子１５０２は、次いで、類似の又は統計的に類似した値を持つ記述子１５０２のクラスター又はグループを識別するために、統計的に分析される。たとえば、Ｔ２Ｓ２ベクトル中の変数の値は類似している。各クラスターの代表的な記述子１６０４が選択され、対応する記述子識別子１６０２と同様に、量子化テーブル１６００内の位置を割り当てられる。記述子識別子１６０２は、対応する代表的な記述子１６０４を識別するためにシステム３００によって使用可能である任意の所望のインジケーターを含む。たとえば、記述子識別子１６０２は、図１６に示すような整数値、又は文字数字値、数値、記号、及びテキストを含む。
【００３５】
[0052]画像処理コンポーネント３０２は、各記述子１５０２について、量子化テーブル１６００において最も密接に一致する代表的な記述子１６０４を識別する。たとえば、図１５に示す記述子１５０２ａは、図１６の量子化テーブル１６００の代表的な記述子１６０４ａと最も密接に対応する。記述子１５０２の各々について記述子識別子１６０２は、それによって、画像１２００に関連付けられる（例えば、記述子１５０２ａが記述子識別子１６０２「１」に対応する）。画像１２００に関連付けられる記述子識別子１６０２は互いに異なってもよく、又は、記述子識別子１６０２の1つ又は複数は、複数回、画像１２００と関連付けられてもよい（例えば、画像１２００は、「１，２，３，４」又は「１，２，２，３」の記述子識別子を有してもよい）。実施例において、画像の変化などの特徴を考慮するために、記述子１５０２は、記述子１５０２と最も近く一致する複数の代表的な記述子１６０４及びそれらについてのそれぞれの記述子識別子１６０２を識別することによって、複数の記述子識別子１６０２にマッピングされてもよい。このように、画像処理コンポーネント３０２は、識別された特徴点１２０２の組に基づいて、画像１２００の内容を表す記述子識別子１６０２の組を提供する。
【００３６】
[0053]続いて図３を参照すると、インデックス作成（indexing）コンポーネント３０４は、記述子識別子１６０２にインデックスを付け、インデックス２１４などのインデックスをメモリーに格納する。実施例において、インデックス作成コンポーネント３０４は、インデックスをベースにするフラットなインデックス位置空間を使用する。フラットインデックス位置空間（flat index location space）（以下、「フラットインデックス」）は、記述子識別子１６０２が連続してリストされる一次元のリスト又は配列である。位置識別子はまた、フラットインデックス内のそれぞれの記述子識別子１６０２の位置を示すフラットインデックスにリストされる各記述子識別子１６０２に提供される。画像１２００の記述子識別子１６０２は、連続してリストされ、フラットインデックスにおいて一緒にグループ化される。
[0054]ドキュメント終了（end-of-document）識別子が、画像１２００の記述子識別子１６０２に連続して続いてインデックス作成コンポーネント３０４によって提供される。ドキュメント終了識別子はまた、位置識別子とともに提供され、特定の画像１２００に関連付けられる記述子識別子１６０２のグループの終わりを示すために使用可能である。このように、複数の画像１２００の記述子識別子１６０２がフラットインデックスにおいてインデックスを付けられる場合、各画像１２００の記述子識別子１６０２は、一緒にグループ化され、その間に配置されたドキュメント終了識別子によって別の画像１２００の記述子識別子１６０２から分離される。
【００３７】
[0055]たとえば、５つの画像（例えば、画像１２００）とそれぞれの記述子識別子（例えば、記述子識別子１６０２）の例示的な組が、表１に記載されている。表1の記述子識別子はアルファベット文字であるが、記述子識別子は、上述したように、任意の数、記号、又は文字を使用することができる。表２は、フラットインデックスにおける各記述子識別子の位置を示す５つの画像のフラットインデックス表現のほか、各画像の記述子識別子の間のドキュメント終了識別子を示す。
【００３８】
【表１】
0005596792.tif 000002
【００３９】
【表２】
0005596792.tif 000003
【００４０】
[0056]実施例において、インデックス作成コンポーネント３０４はまた、フラットインデックスに基づいて、インデックス２１４などの逆索引を決定する。逆索引は、上述のようなフラットインデックスにリストされる及び/又は量子化テーブル１６００に含まれるすべての記述子識別子のリストを提供するデータ構造を含む。記述子識別子の各々がフラットインデックスにおいて生じる位置が、記述子識別子に関して示される。たとえば、表３は、本発明の実施例による、表２のフラットインデックスの逆索引のリストを示す。ドキュメント終了（ 「ＥＤＯＣ」"）の位置もまた逆索引で示される。
【００４１】
【表３】
0005596792.tif 000004
【００４２】
[0057]このように、インデックス作成コンポーネント３０４は、記述子識別子に基づいて複数の画像にインデックスを付けることができる。実施例において、インデックス作成コンポーネント３０４は、画像ストア２１２などの1つ又は複数のデータストアに格納されている数十億の画像についてインデックスを提供する。図２に関して前述したように、インデックス作成コンポーネント３０４によって提供された、インデックス２１４などのインデックスは、コンピューターのメモリーに格納される。また、インデックス作成コンポーネント３０４は、1つ又は複数の画像データストアについて複数のインデックスを生成してもよい。
【００４３】
[0058]続いて図３を参照すると、検索コンポーネント３０６は、効率的なコンテンツベースの検索を提供する。実施例において、検索コンポーネント３０６は、効率的な部分一致（partial-matching）コンテンツベースの画像検索を実行するために、逆索引を使用する。システム３００は、ユーザー又は他のコンピューティングデバイスから検索クエリーを受信する。実施例において、検索クエリーは、画像１２００などの画像であってもよい。システム３００は、上述の画像処理コンポーネント３０２を介して、画像１２００を表す記述子識別子１６０２を識別する。検索コンポーネント３０６は、画像１２００の表現として識別される記述子識別子１６０２に基づいて、画像ストアに格納され且つ逆索引においてインデックスを付けられている画像について、効率的な部分一致検索を実行する。以降、検索は、明確さ及び簡潔さのために、単一のインデックス及び画像ストアに関して記載されるが、本発明の実施例の応用を単一のインデックス及び画像ストアに限定するようには意図されない。
[0059]部分一致検索を実行するために、インデックス付き画像（例えば、画像ストアに格納され、その記述子識別子が逆索引でインデックス付けられる画像）が候補画像（例えば、可能性のある検索結果）であると考える必要のある、一致する記述子識別子の最小の数（「Ｍ」）が識別される。最小の数Ｍは、候補画像として識別されることが望まれる候補画像の数などの要因に基づいて予め決定される。実施例において、最小の数Ｍは、管理者又はユーザーによって予め決定される。
【００４４】
[0060]検索コンポーネント３０６は、最小値を有する画像１２００の記述子識別子１６０２の各々について位置識別子を識別するために、逆索引を検討する。最小値は、それらの値のうちのＭ個の最小のものを識別するために比較される。検索コンポーネント３０６はまた、Ｍ個の最小値の最も高い位置識別子値の値よりも大きな最小値を有するドキュメント終了位置識別子（「ＥＤＯＣ−ｅｎｄ］）を決定する。ＥＤＯＣ終了（ＥＤＯＣ−ｅｎｄ）位置識別子は、フラットインデックス位置空間において記述子識別子がＥＤＯＣ終了位置識別子の直前にくるインデックス付き画像を識別する。さらに、インデックス付き画像の下限位置（ドキュメントの開始、「start-of-document」）（例えば、インデックス付き画像についてリストされた最初の記述子識別子の位置）は、以前のＥＤＯＣ位置識別子値を識別し、次いで1つの値を挙げることによって、決定することができる。このように、検索コンポーネント３０６は、Ｍ個の最小値が、ドキュメント開始位置識別子値を含む、ドキュメント開始の位置識別子値とＥＤＯＣ終了位置識別子値との間で生じる必要があることを確認する。Ｍ個の最小値が識別した位置識別子値の範囲内にあると検索コンポーネント３０６が決定する場合、それぞれのインデックス付き画像は候補画像として返される。
【００４５】
[0061]Ｍ個の最小値が、ドキュメント開始及びＥＤＯＣ終了位置識別子の値の範囲内にないと検索コンポーネント３０６が決定する場合、Ｍ個の最小値の次の組を識別するために処理の第２の反復が完了する。たとえば、最も低い位置識別子値を有する記述子識別子１６０２についての位置識別子が、次のインデックス付き位置識別子値へインクリメントされ、Ｍ個の最小値が再評価されてもよい。逆索引が十分に検討されるまで処理が繰り返される。
【００４６】
[0062]上記の表１−３に示す例示的な画像について続けると、検索コンポーネント３０６の処理の例示的な反復が記載されている。例のために、クエリー記述子識別子、ａ、ｄ、ｈ、ｇ、ｎによって表される画像を含む検索クエリーが受信されると仮定する。また、インデックス付き画像を候補画像として返すために２つの記述子識別子がインデックス付き画像と一致しなければならないと仮定する（例えば、Ｍ＝２）。表３に示す逆索引に基づいて、検索クエリー画像を表すクエリー記述子識別子についての位置識別子の最小値は次のとおりである。
【００４７】
【表４ａ】
0005596792.tif 000005
【００４８】
[0063]したがって、検索コンポーネント３０６は、最も低い２つの位置識別子の値が１と３であり、Ｍ個の最小の位置識別子値のうちの最大の位置識別子値より大きいＥＤＯＣの最小の位置識別子値が４であること（ ＥＤＯＣ終了＝４）を決定する。さらに、ドキュメント開始位置識別子の値は1である。したがって、値１と３は、ドキュメント開始及びＥＤＯＣ終了（ドキュメント開始位置識別子値を含む）の間にあり、位置１−３における記述子識別子によって表されるインデックス付き画像、画像1が、候補画像として返される。
【００４９】
[0064]この例を続けると、画像１が一旦返されると、ＥＤＯＣ終了位置識別子の値は、その次の位置識別子の値、７（例えば、現在のＥＤＯＣ終了＝７）へと移動される。現在のドキュメント開始は、ＥＤＯＣ終了の以前の値より１大きく設定される（ドキュメント開始＝４＋１＝５）。記述子識別子ａ及びdの位置識別子の値は、それぞれ、ドキュメント開始位置識別子の値を下回らない次の位置識別子値にインクリメントされる、というのは、それらは候補画像として返されたインデックス付き画像に含まれていたためである。また、この例には示されていないが、ドキュメント開始位置識別子の値よりも小さな位置識別子値を有する任意のクエリー記述子識別子が仮にある存在するのならば、それらのクエリー記述子識別子の位置識別子の値はまた、ドキュメント開始位置識別子値を下回らない次の値にインクリメントされる。記述子識別子ｎの位置識別子値は、その値がドキュメント開始位置識別子値よりも大きかったので、インクリメントされない。したがって、上記の表３に示す最小の位置識別子値の次の組は、次のとおりである。
【００５０】
【表４ｂ】
0005596792.tif 000006
【００５１】
[0065]検索コンポーネント３０６は、ＥＤＯＣ位置識別子の値未満である２つの位置識別子値が存在しないことを確認して、ＥＤＯＣ位置識別子の値を、逆索引にリストされている最小の２つの位置識別子値より大きい、逆索引にリストされている次の最小値へとインクリメントする；この例では、ＥＤＯＣ位置識別子値は１６へとインクリメントされる（ＥＤＯＣ終了＝１６）。ドキュメント開始は１１であると特定される（例えば、逆索引において次のより小さいＥＤＯＣの値よりも大きい、ある位置）。検索コンポーネント３０６は、２つの位置識別子値、１３及び１２が、ドキュメント開始位置識別子値とＥＤＯＣ終了位置識別子値（ドキュメント開始位置識別子の値を含む）との間にあり、位置１１−１５にリストされる記述子識別子によって表されるインデックス付き画像、画像４が、候補画像として返されることを決定する。全体の逆索引が検討されるまで、検索コンポーネント３０６はこの処理を続行する。
【００５２】
[0066]検索コンポーネント３０６の処理は、少なくともＭ個の一致する記述子識別子を含まない画像をスキップできるようにドキュメント終了位置識別子を使用することにより、逆索引を効率的に検索する。たとえば、表１−４に関して上述した例では、画像２と３についての記述子識別子がスキップされた。表４ａに示す最初の反復に続いて、次の可能性のある一致インデックス付き画像は画像４として識別された。このように、画像２と３の記述子識別子を検索コンポーネント３０６が考慮する必要はない。上記の部分一致検索の利点は、大規模画像の記憶及び取り出しに適用される本発明の実施例においてはるかに大きなスケールで実現される。たとえば、検索コンポーネント３０６が数十億の画像を検索することを課せられ、一致する記述子識別子の最小の数が、各インデックス付き画像について格納される１００個の記述子識別子のうちの１０個である場合、最小数の一致する記述子識別子を含まないインデックス付き画像スキップするか又は迅速に特定する能力は、検索の効率を大きく向上させる。
[0067]別の実施例において、一致する記述子識別子の最小の数Ｍは、検索処理中に調整される。検索クエリーに応答して提供されるべき検索結果の画像の総数又は最大数（「Ｋ」）が識別される。一致する記述子識別子の最小の数Ｍは、０を含む任意の所定の値に設定することができる。検索コンポーネント３０６はインデックスを検討して、上述のように、検索画像と一致する少なくともＭ個の記述子識別子を有する少なくともＫ個のインデックス付き画像を識別する。
[0068]Ｋ個の識別されたインデックス付き画像の各々についての一致する記述子識別子の合計数が追跡される。Ｋ個の識別されたインデックス付き画像の各々についての一致する記述子識別子の総数は、Ｋ個の識別されたインデックス付き画像についての一致する記述子識別子の最小の総数（「Ｌ」）を決定するために比較される。別の実施例において、Ｋ個の識別されたインデックス付き画像の各々の個々のインデックス付き画像の値を追跡して比較するのではなく、Ｋ個の識別されたインデックス付き画像のグループについて、一致する記述子識別子の最小の合計数Ｌが追跡される。Ｍの値は、以前のＭの値と等しいか又はより大きいＬに等しく設定される。
【００５３】
[0069]さらに、少なくともＭ個の一致する記述子識別子（ここでＭはＬに等しい）を有する追加のインデックス付き画像が検索コンポーネント３０６によって識別される場合、追加のインデックス付き画像は、Ｋ個の識別されたインデックス付き画像のグループに追加され、最も少ない数の一致する記述子識別子を有するグループ内のインデックス付き画像はグループから削除される。Ｌの値はグループについて再計算され、Ｍは新たな値に等しく設定される。このように、Ｍの値は、最上位のＫ個の識別されたインデックス付き画像において見つかった一致する記述子識別子の数に基づいて、検索処理中に増加させられる。したがって、検索処理が進むにつれて、より多くのインデックス付き画像がＭの増加する値に基づいてスキップすることができるので、検索処理の効率が増加する。
【００５４】
[0070]たとえば、Ｍが最初に１０に等しく設定され、検索コンポーネント３０６は、少なくとも１０個の一致する記述子識別子を有する、インデックスにおける最初のＫ個のインデックス付き画像を識別すると仮定する。検索コンポーネント３０６はまた、Ｋ個の識別されたインデックス付き画像のすべてが実際に少なくとも３２個の一致する記述子識別子を有すると決定する。したがって、Ｌは３２に等しく、Ｍは次いで３２に等しく設定される。検索コンポーネント３０６が検索処理を続けるとき、インデックス付きの画像は、ここでは、少なくとも３２個の一致する記述子識別子を有する必要がある。検索処理は続行し、上述のように、グループについての一致する記述子識別子の最小の総数Ｌが増加するにつれて、Ｍの値は継続的に増加されてもよい。
【００５５】
[0071]検索コンポーネント３０６は、逆索引を検討するのを支援するために任意の利用可能な動作及びデータ処理機能を処理することができる。実施例において、検索コンポーネント３０６は、ヒープなどの動的なメモリー割り当てを使用し、検索の処理を支援するためにそれに関連する動作を使用する。さらに、インデックス付き画像のための大量のメモリーストレージに関連付けられる複数の逆索引を検索するために１つ又は複数の検索コンポーネント３０６を用いることができる。
[0072]別の実施例において、検索コンポーネント３０６は、画像検索クエリーとともに、テキスト検索要素、タグ、及び／又はメタデータを受信する。検索コンポーネント３０６は、追加のテキストベースの検索を実行するため及び／又はコンテンツベースの検索を知らせるために、任意の利用可能なでテキスト検索要素を使用する。
【００５６】
[0073]別の実施例において、テキストワードなどの1つ又は複数のテキスト検索の要素は、1つ又は複数の記述子識別子に関連付けられる。このように、検索コンポーネント３０６が、画像を含み、テキスト検索要素に関連付けられる１つ又は複数の記述子識別子により表される検索クエリーを受信するとき、検索コンポーネント３０６は、テキスト検索要素に基づいて追加のテキストベースの検索を実行する。代替的に又はそれに加えて、1つ又は複数の記述子識別子に関連付けられるテキスト検索要素が検索コンポーネント３０６によって受信されると、検索コンポーネントは、テキスト検索要素に関連付けられる記述子識別子を識別し、関連した記述子識別子を含む画像についてのコンテンツベースの検索を提供する。
【００５７】
[0074]さらに、実施例において、検索クエリーとともに受信され又は記述子識別子に関連付けられる、メタデータ、タグ及び他の情報を含むテキスト検索要素は、広告、バナー広告、有料の検索結果などの有料リストを選択して提示するために使用される。テキスト検索の要素は、有料リストを直接的に識別するために、又は、検索クエリーに応答した提示のために1つ又は複数の有料リストを選択するよう使用可能である、検索クエリーのカテゴリー、コンテキスト、主題、又は別の特性を識別するために、使用されてもよい。同様に、検索クエリーとともに受信され又はそこから識別される記述子識別子は、有料リストを直接識別するため、又は、検索クエリーに応答して有料リストを識別するために使用可能なカテゴリーなどを識別するために、使用されてもよい。
【００５８】
[0075]候補画像として返されるインデックス付き画像は次にランク付けコンポーネント３０８によって処理される。任意の利用可能な方法又は特性及びそれらの組み合わせは、候補画像をランク付けするために使用することができる。さらに、候補画像のランク付けリストを切り捨てることを含む任意の所望の動作を利用することもできる。実施例において、候補画像は、候補画像の記述子識別子に一致する検索画像１２００の記述子識別子１６０２の合計数に基づいてランク付けられる。候補画像のランク付けリストは、次いで、一致する記述子識別子の数が最も少なく、したがって視覚的に検索画像１２００に類似している可能性が最も低い候補画像を除去するために切り捨てられる。
【００５９】
[0076]実施例において、ランク付けコンポーネント３０８は、用語の頻度のランク付け並びに候補画像及び／又はその各々の記述子識別子の1つ又は複数の幾何学的な照合と変換を実行する。変換は、限定でなく、例えば、相似変換やアフィン変換などの２次元又は３次元の変換を含んでもよい。変換は、候補画像群を再度ランク付けし、ソートし、又は狭めるために、ランク付けコンポーネント３０８が、候補画像と記述子識別子をさらに分析することを可能にする。
【００６０】
[0077]実施例において、検索の画像１２００と候補画像の画像内容に加えて、ランク付けコンポーネントは、候補画像のランク付けを支援又は通知するために、検索画像１２００又は1つ又は複数の候補画像に関連付けられる1つ又は複数のデータ要素を識別する。たとえば、検索画像１２００は、画像１２００又は1つもしくは複数のテキスト検索要素に関連付けられる1つ又は複数のメタデータ要素とともに受信されてもよい。このようなデータ要素と検索要素は、検索を実行する際に、検索の内容及びユーザーの意図や関心のコンテキストに関してランク付けコンポーネント３０８にさらに通知する。代替的に、又はそれに加えて、1つ又は複数の候補画像は、候補画像をランク付けするのを支援するためにランク付けコンポーネント３０８によって使用可能である、メタデータ又はそれに関連する他のデータ要素を有する。
【００６１】
[0078]ランク付けされた候補画像は、提示コンポーネント３１０によって構成され、配置される。提示コンポーネント３１０は、ユーザーに対してユーザーインターフェースを介して検索結果画像として候補画像を提示し、任意の関連する有料の検索結果をその提示に組み込んでもよい。実施例において、検索結果の画像は、検索結果ウェブページを介して、クエリー入力装置２０４などのコンピューティングデバイスにおいてユーザーに提示される。その後、ユーザーは、1つ又は複数の検索結果画像を選択して画像を表示することができ、また、当技術において利用可能な様々な他のユーザーインタラクションの中で、検索結果の画像が公開されているウェブページへと案内されてもよい。さらに、追加のテキストベースの検索が、テキスト検索要素、メタデータ、又はその他の方法に基づいて行われる場合には、提示コンポーネントはまた、テキストベースの検索結果及び有料のリストをユーザーにを提示してもよい。
【００６２】
[0079]図４を参照すると、本発明の実施例による、コンテンツベースの画像検索のために画像の内容の表現を生成する方法４００を示すフロー図が記載されている。４０２において、画像１２００などの画像が受信される。４０４において示されるように、特徴点１２０２などの特徴点は、オペレーターアルゴリズムの使用を介して画像において識別される。
【００６３】
[0080]上記で以前に説明し４０６に示すように、画像パッチが１つ又は複数の特徴点について決定される。画像パッチは、それぞれの特徴点を含む画像の領域を含み、画像から決定される他のパッチに重なってもよい。４０８に示されるように、記述子がパッチごとに決定される。記述子は、パッチに含まれる画像の画素の特性を記述する。たとえば、記述子は、パッチ内の画素のグレースケールもしくはカラーグラデーションを記述し、又はピクセルの統計分析を記述する。
【００６４】
[0081]４１０において、記述子は、それぞれ、量子化テーブルの中で最も密接に類似した代表的な記述子に対応する記述子識別子にマッピングされる。４１２に示されるように、画像は、記述子識別子の組として表される。このように、画像の内容は、視覚的に類似している画像を識別するために、コンピューティングデバイスによって、同様に定量化された他の画像の内容と比較することができるような方法で定量化される。
【００６５】
[0082]ここで図５を参照すると、本発明の実施例による、図４に示すコンテンツベースの画像検索のための画像の内容の表現を生成する方法４００をさらに示すフロー図が記載されている。上記のように及び４０４に示されるように、画像の特徴点の識別に続いて、特徴点は、４０４ａに示すように、メトリックに基づいてランク付けられる。特徴点は、限定ではなく、例えば、特徴点における又は特徴点のまわりの、画像の信号強度又は信号対雑音比などの、任意の利用可能なメトリックについてランク付けされてもよい。４０４ｂに示すように、特徴点のサブセットがランキングに基づいて選択される。サブセットは、所望の数の最も目立った又は最も高くランク付けされた特徴点のみを含んでもよいし、又はすべての特徴点を含んでもよい。別の実施例において、サブセットのランク付け及び選択は、特徴点について実行されるのではなく、むしろ、後述する以降の手順で決定されるパッチ又は記述子について実行される。
【００６６】
[0083]前述のように、４０６ａにおいて、画像パッチはサブセット内の各特徴点について決定される。画像パッチは、４０６ｂに示すように、すべての画像パッチが同じサイズを持つように正規化される。すべての画像パッチが２５ピクセル×２５ピクセルなどの等しい高さと幅の画素寸法を有するように、画像パッチは解像度を増加させられたり減少させられたりしてもよい。４０８ａにおいて、それぞれのパッチを表すベクトルが決定される。ベクトルは、パッチ内のピクセルのグレースケールグラデーションを表す、３６次元を有するＴ２Ｓ２ベクトルなどの多次元ベクトルである。
【００６７】
[0084]次に図６に移ると、本発明の実施例による、記述子識別子にインデックスを付ける方法６００を示すフロー図が記載されている。６０２において、画像１２００などの画像の記述子識別子は、フラットインデックス位置空間においてインデックスを付けられる。記述子識別子は、一緒にグループ化されてフラットインデックス位置空間に連続してリストされ、６０４に示されるように、ドキュメント終了識別子が後に続く。記述子識別子及びドキュメント終了識別子の各々には、フラットインデックス位置空間におけるそれぞれの位置を示す位置識別子が提供される。実施例において、記述子識別子は実際には位置識別子を提供されず、むしろ、それぞれの位置がフラットインデックス位置空間内で単に追跡されるか又は識別可能である。６０６において、逆索引が、記述子識別子及びフラットインデックス位置空間においてインデックスを付けられたそれぞれの位置識別子に基づいて生成される。逆索引は、フラットインデックス位置空間内のそれぞれの位置の指示と共に記述子識別子のリストを提供する。上記のように、ドキュメント終了識別子もまた逆索引に含まれる。
【００６８】
[0085]図７を参照すると、本発明の実施例による、コンテンツベースの候補画像を提供する方法７００を示すフロー図が記載されている。７０２において、検索クエリーが受信される。１つの実施例において、検索クエリーは、検索クエリーとして画像を含む。実施例において、検索クエリーは、画像に加えて又はその代わりに、テキスト要素を含む。別の実施例において、画像及び／又は検索クエリーの意図やコンテキストを記述するメタデータなどの1つ又は複数のデータ要素が、クエリーとともに受信される。さらなる実施例において、検索クエリーは、テキストベースの検索クエリーである。
【００６９】
[0086]７０４に示すように、記述子識別子の組が検索クエリーに対して識別される。前述したように、記述子識別子は、検索クエリーが画像を含む場合、画像の内容から識別される。実施例において、当該組は、１００個の記述子識別子を含む。このような実施例においては、１００個の記述子識別子を使用することによって画像の内容のコンパクトな表現が提供される一方、検索から価値のある結果を生成するのに十分なコンテンツ情報が提供される。実施例において、組に含まれる記述子識別子の数は、検索を実行するために検索エンジンによって使用可能な検索要素の最大数に対応する。別の実施例において、テキストベースの検索クエリーを受信する場合、記述子識別子は、記述子識別子へのテキストベースの検索クエリーのテキスト要素のマッピングから識別される。マッピングは、所与のテキスト要素に関連付けられる1つ又は複数の記述子識別子を示す、テーブル、又は他のデータ構造を提供することによって完了してもよい。
【００７０】
[0087]７０６において、記述子識別子の組は、候補画像が検索クエリーの画像に一致する記述子識別の少なくとも所定の数を含むインデックス付けされた画像であるような、候補画像を識別するために検索を実行するのに利用される。実施例において、検索を実行することにより、検索クエリーの記述子識別子の組がインデックス付き画像の各々に関連付けられる記述子識別子の組と比較される。別の実施例において、当該組は１００個の記述子識別子を含み、要求される一致する記述子識別子の数は１０であると判断される。少なくとも１０個の一致する記述子識別子を有するインデックスを付けられた画像を識別することにより、所望のレベルの精度を維持しながら、十分な数の一致する候補画像が提供される。
【００７１】
[0088]７０８に示されるように、候補画像は、一致する記述子識別子の合計数に基づいてランク付けられる。実施例において、候補画像は、等しい多重度（multiplicity）のデータベースについて複数の逆索引を使用して実行される複数の検索によって識別される。複数の検索の結果は、次いで、単一のコンピューティングデバイスに報告され、上記のように、一致する記述子識別子の合計数に基づいて予めランク付けされる。結果は、その後、単語頻度逆文書頻度（term frequency-inverse document frequency、ＴＦ−ＩＤＦ）を使用して、又は1つ又は複数の変換、解析、画像の特性などに基づいて、再ランク付けされる。
【００７２】
[0089]ここで図８を参照すると、本発明の実施例による、テキストベースの検索クエリーに応答してコンテンツベースの候補画像を提供する方法８００を示すフロー図が記載されている。８０２において、単語やフレーズなどの1つ又は複数のテキスト検索要素を含むテキストベースの検索クエリーが受信される。８０４において、テキスト検索要素のうちの１つ又は複数が、テキスト検索要素に関連付けられる１つ又は複数の記述子識別子にマッピングされる。
【００７３】
[0090]1つ又は複数の記述子識別子とテキスト検索要素との間の関連付けは、事前に定義され、そのような関連付けが受信したテキストベースの検索クエリーとともに存在する場合に識別するために検索エンジンによって使用可能であるテーブル又は他のデータ構造に格納することができる。たとえば、記述子識別子の組は、常に、又はほとんど常にサッカーボールの画像中に生じ得る。例えば「サッカー」などのサッカーボールに関連するテキストワードは、記述子識別子のその組に関連付けられてもよい。したがって、それらの単語のいずれかが検索クエリーにおいて受信された場合、８０６に示すように、記述子識別子の関連付けられる組を識別することができ、コンテンツベースの検索がそれとともに実行される。８０８において、候補者画像は検索を介して識別され、それによって、テキストベースの検索クエリーの結果としての画像についてコンテンツベースの検索を提供する。８１０において、候補画像がランク付けされる。ランク付けは、候補画像と検索クエリーの記述子識別子との間の一致する記述子識別子の合計数に基づくランク付けを含む、任意の所望の特性やアルゴリズムに基づいてもよい。
【００７４】
[0091]別の実施例において、テキスト検索結果は、検索クエリーが画像である場合、検索クエリーに応答して提供される。上記のように、クエリー画像に視覚的に類似した画像が、コンテンツベースの検索によって識別される。1つ又は複数の視覚的に類似した画像に関連付けられるテキスト要素、メタデータ、及び他の情報が集められる。次いで、集められたデータの少なくとも一部は、検索クエリーに応答してテキスト検索結果として提供される。たとえば、ユーザーは、テレビなどの製品の画像を自分の携帯電話にキャプチャーし、当該画像に基づいて検索クエリーを実行してもよい。その後、製品の名前とモデル番号、小売業者において見られるテレビの価格、仕様などの集められた情報を画像に基づいて表示するユーザーインターフェースが、ユーザーに提示される。集められた情報は、百科事典的又は類似の情報フォーマットで提示されてもよいし、又は、様々なウェブページへのリンクを備える標準的な検索結果ページフォーマットなどを利用してもよい。
【００７５】
[0092]図９を参照すると、本発明の実施例による、検索クエリーとして受信した画像についての候補画像を提供する方法１０００を示すフロー図が記載される。９０２において、画像は検索クエリーとして受信される。９０４において、画像は前述のように記述子識別子の組として表される。９０６に示されるように、部分一致のコンテンツベースの検索が、検索要素として記述子識別子の各々を使用して、及び反転検索インデックスを使用して、実行される。９０８において、候補画像は、検索クエリー画像と候補画像との間の一致する記述子識別子の数に基づいて、検索から識別される。９１０に示されるように、識別された候補画像は、検索クエリー画像との一致する記述子識別子の合計数に少なくとも基づいてランク付けされる。
【００７６】
[0093]図１０を参照すると、本発明の実施例による、コンテンツベースの候補画像及びテキストベースの検索結果を提供する方法１０００を示すフロー図が記載される。１００２において、画像クエリーは画像の内容を表す記述子識別子の組とともに受信される。１００４において、検索クエリーの記述子識別子とともに少なくとも所定の数の一致する記述子識別子を含む候補画像が識別される。１００６に示されるように、候補画像は、一致する記述子識別子の合計数に基づいてランク付けされる。
【００７７】
[0094]１００８において、候補画像に関連付けられるキーワードが識別される。キーワードは、１つ又は複数の候補画像について集められたデータ要素から識別される。データ要素は、候補画像が公開されているウェブページから、候補画像のファイル名から、候補画像に関連付けられるメタデータから、収集され集められる。１０１０において、テキストベースの検索は、1つ又は複数の識別されたキーワードに基づいて実行される。１０１２に示されるように、候補画像は、1つ又は複数のテキストベースの検索結果とともに、検索結果の画像として提示される。検索結果の画像とテキストベースの検索結果は、例えば検索結果のウェブページを介するなど、当技術分野において知られた任意の方法で提示される。テキストベースの検索結果は、限定ではなく、例えば、ウェブページへのリンク、画像などを含む。当該分野で知られた任意の形式の非コンテンツベースの検索結果を含む。
【００７８】
[0095]図１１を参照すると、本発明の実施例による、コンテンツベースの画像クエリーを実行する方法１１００を示すフロー図が記載される。１１０２において、検索クエリーが受信される。１１０４において示され前述されたように、記述子識別子の組が検索クエリーから識別される。１１０６において、最も低い位置識別子の値を有する所定の数の記述子識別子を識別するために、インデックスの一部が検討される。実施例において、インデックスは逆索引である。１１０８において、最も低い位置識別子の値を有する所定の数の記述子識別子の最大の位置識別子の値に続くドキュメント終了位置識別子が識別される。１１１０において、ドキュメント開始位置の値が、ステップ１１０８で識別されたドキュメント終了位置識別子に関連付けられるインデックス付き画像について識別される。実施例において、ドキュメント開始位置識別子の値は、ステップ１１０８で識別されたドキュメント終了位置識別子の直前のドキュメント終了位置識別子の位置識別子値より大きい位置に等しい。
【００７９】
[0096]１１１２において、最も低い位置識別子値を有する所定の数の記述子識別子に含まれる記述子識別子のすべての位置識別子値がドキュメント開始位置識別子の値以下である場合、ドキュメント開始位置識別子の値より小さい位置識別子値を有する１つ又は複数の記述子識別子の位置識別子の値は、ドキュメント開始位置識別子値より大きい、それぞれの記述子識別子についての次の最低の値へとインクリメントされる。次に、処理は１１０６に戻って繰り返される。
【００８０】
[0097]１１１４において、すべての識別された位置識別子値がドキュメント開始位置識別子の値以上である場合、関連付けられる画像は候補画像として返される。所定の数の一致する記述子識別子を含み得るより多くのインデックス付き画像がインデックス内に存在する場合には、処理は１１０６に戻って繰り返される。１１１６において、候補画像は、候補画像と検索クエリーとの間の一致する記述子識別子の合計数に基づいてランク付けされる。候補画像の数は、その後、ランク付けに基づいて低減されてもよく、１１１８に示されるように、残りの候補画像は、1つ又は複数の幾何学的検証、変換、又は他の比較に基づいて、再ランク付けされる。次いで、１つ又は複数の再ランク付けされた候補画像は、ウェブページ又は当技術分野で知られている他のユーザーインターフェースを介してユーザーに検索結果画像として提示されてもよい。
【００８１】
[0098]別の実施例において、クエリー画像Ｑに基づく部分一致コンテンツベースの画像検索は、以下の擬似コードに従う検索アルゴリズムを使用する。
While Current (EDOC) < MAX_LOC {
Init: num_match = 0;
EndDoc = Current(EDOC);
StartDoc = Previous(EDOC) + 1;
H.Clear();  / /ヒープＨをクリア,
各記述子識別子について、Ｑにおけるｗ
Seek(w, StartDoc);
If loc(w) < EndDoc // 現在のドキュメントは記述子識別子ｗを含む
num_match <- num_match + 1;
NextDoc = EndDoc + 1;
else
NextDoc = loc(w);
If H.Size < M
H.Add(NextDoc);
else if H.Top > NextDoc
H.Pop(); //ヒープから先頭要素を削除する。
【００８２】
H.Add(NextDoc);
If num_match >= M
return current document;
else
Seek(EDOC, H.Top);
}
[0099]本発明の実施例は、上述のように実行される検索クエリーに応答して返される検索結果画像及び情報の関連性及び値を高めるために利用し適合させることができる。そのようないくつかの例示的な実施例が以下に記載される。
【００８３】
[00100]１つの実施例において、コンテンツベースの検索は、クエリー画像について、インデックスに対して実行される。クエリー画像は、インデックスからのサンプル画像、又はユーザーから受信した新たな画像である。検索から返される１つ又は複数の検索結果画像に関連付けられるメタデータ、タグ、及び他の追加のデータが集められる。集められたデータから、意味のある関連するタグ又はメタデータが構築又は識別され、クエリー画像に関連付けられる。このように、クエリー画像及び／又は検索結果画像のうちの１つに基づく将来のコンテンツベースの検索は、より多くの情報が与えられ、関連付けられるメタデータ及びタグを使用して、より関連性の高い検索結果を提供することができる。さらに、追加のテキストベースの検索を、追加の検索結果を提供するために、クエリー画像について実行することができる。
[00101]別の実施例において、同一又は類似のドメイン、ドキュメント、又は主題に属しているインデックス付き画像のグループが識別される。識別されたインデックス付き画像は、当該画像の内容又は当該画像が属するドメインを記述する1つ又は複数のデータ要素を含む。コンテンツベースの検索は、視覚的に類似する検索結果画像を識別するために、グループ内の画像の各々について、インデックスに対して実行される。コンテンツ又はドメインを記述するデータ要素は、次いで、検索結果画像へ伝播されてもよい。このように、画像は、インデックスの将来の検索をさらに通知するために、主題、コンテンツタイプ、又はドメインに関連してもよい。たとえば、アダルトコンテンツを示す画像のグループは、インデックス内の視覚的に類似した検索結果の画像を識別するために使用することができる。その後、検索結果の画像はアダルトコンテンツとしてタグ付けすることができる。さらに、それらの画像が取得され又は公開されるウェブサイトやドメインは、後続のコンテンツベース及びテキストベースの検索を通知するために、アダルトコンテンツとして識別することができる。
【００８４】
[00102]別の実施例において、インデックス内の複製の又はほぼ複製の画像が、コンテンツベースの検索を介して識別される。重複した画像の各々に関連付けられるキーワードが識別され、集められる。集められたキーワードは、その後、将来の画像ベースの検索又はテキストベースの検索において使用可能となるように、重複した画像の各々に関連付けられる。
【００８５】
[00103]本発明の別の実施例において、コンテンツベースの検索は、ユーザーに対する有料リストや広告の提示に利用することができる。図１７は、本発明の実施例による、有料の検索結果をアルゴリズムの画像ベースの検索結果と関連付けるそのような方法１７００を示す。１７０２において、検索クエリーが受信される。検索クエリーは、追加のテキストデータ、メタデータ、タグなどを有する画像を含んでもよいし、又はテキストベースの検索クエリーであってもよい。１７０４に示されるように、記述子識別子の組が検索クエリーに基づいて識別される。１７０６に示されるように、インデックスを付けられた画像が、上記のように記述子識別子の組をインデックス付き画像に関連付けられる記述子識別子の組と比較することによって、検索される。
【００８６】
[00104]１７０８において、少なくとも１つの有料の検索結果を生成するために、有料検索のリストが1つ又は複数の記述子識別子に関連付けられる。例えば、上記実施例で説明したように、画像又は画像のグループについてメタデータ、タグ、キーワード、ドメイン、及び他の情報を集めることにより、関連する有料の検索リストは、集められたデータに基づいて識別することができ、クエリー検索結果とともに有料の検索結果としてユーザーに提示することができる。別の実施例において、1つ又は複数の有料検索リストは記述子識別子のグループに関連付けられる。このように、1つ又は複数の有料リストは、記述子識別子のグループに関連付けられる検索クエリーの受信に応答してユーザーに提示される。代替的に、広告は、１つ又は複数の記述子識別子にさらに関連付けられるキーワードに関連付けられてもよい。したがって、1つ又は複数の記述子識別子を示す検索クエリーが受信される場合、キーワードが記述子識別子に基づいて決定され、広告がキーワードに基づいて識別される。
【００８７】
[00105]また、コンテンツベースの検索は、有料のリストや広告の目的のために、画像及び画像コンテンツの販売やオークションで使用することができる。広告の権利は、画像の記述識別子の組に基づいて識別することができる特定の画像や一般的な画像の対象について、販売することができ、競売にかけることができ、割り当てることができる。広告の権利は、特定の画像又は特定の画像もしくは画像のグループに関連付けられる記述子識別子の組について、販売することができる。
【００８８】
[00106]示された多くの異なる構成の様々なコンポーネントのほか、示されていないコンポーネントが、以下の特許請求の範囲から逸脱することなく可能である。本技術の実施例は、限定的なものではなく例示的なものであることを意図して記載された。本明細書を読んだ後及び読むことにより、代替的な実施例が読者にとって明らかとなろう。前述のものを実施する代替的な手段は、以下の特許請求の範囲から逸脱することなく達成することができる。特定の機能やサブコンビネーションが有用であり、他の特徴及びサブコンビネーションを参照することなく使用することができ、特許請求の範囲において考慮される。
【図１】
0005596792.tif 000007
【図２】
0005596792.tif 000008
【図３】
0005596792.tif 000009
【図４】
0005596792.tif 000010
【図５】
0005596792.tif 000011
【図６】
0005596792.tif 000012
【図７】
0005596792.tif 000013
【図８】
0005596792.tif 000014
【図９】
0005596792.tif 000015
【図１０】
0005596792.tif 000016
【図１１】
0005596792.tif 000017
【図１２】
0005596792.tif 000018
【図１３】
0005596792.tif 000019
【図１４】
0005596792.tif 000020
【図１５】
0005596792.tif 000021
【図１７】
0005596792.tif 000022
【図１６】
0005596792.tif 000023