(57)【要約】  特徴のクエリ集合を構築し、データベースにおける画像から最小の非類似性メトリックを有する画像を表示することによって、画像のデータベースから画像を抽出する、コンテンツ・ベースの画像読出システム。非類似性メトリックは、クエリ集合における特徴とデータベースにおける画像の特徴との間の距離の加重総和である。この方法は、ウェブ・ベースの画像読出および顔認識など、画像検索に有用である。
2009539152.tif 000002
【特許請求の範囲】
【請求項１】
画像の集合から画像を抽出する方法であって、
１つ以上の選択された画像から特徴の集合を抽出することによって、クエリ集合を構築することと、
クエリ集合における特徴と画像の集合における画像の特徴との間の距離の加重総和として非類似性メトリックを構築することと、
最小の非類似性メトリックを有する画像を表示することと、からなる方法。
【請求項２】
クエリ集合は２つ以上の画像から抽出される請求項１に記載の方法。
【請求項３】
クエリ集合は特徴ツールセットを用いて抽出される請求項１に記載の方法。
【請求項４】
クエリ集合は画像の低次構造記述を用いて抽出される請求項１に記載の方法。
【請求項５】
特徴は、色彩、テクスチャ、色調、輝度、構造、場所および顔の特徴のうちの１つ以上から選択される請求項１に記載の方法。
【請求項６】
クエリ集合は特徴の集合の加重和として構築された理想画像である請求項１に記載の方法。
【請求項７】
理想画像は次式を満たす
【数１】
2009539152.tif 000020
［ここで、ｘｉは特徴であり、ｗｉは該特徴に適用される重みである］
請求項６に記載の方法。
【請求項８】
加重総和はクエリ集合から導出される重みを用いる請求項１に記載の方法。
【請求項９】
非類似性メトリックは次式を満たす請求項１に記載の方法。
【数２】
2009539152.tif 000021
【請求項１０】
表示される画像の表示順の順位を決定することをさらに含む請求項１に記載の方法。
【請求項１１】
順位決定は類似性の順である請求項７に記載の方法。
【請求項１２】
１つ以上のコンピュータ可読媒体に組み込まれたソフトウェアであって、実行時に
１つ以上の選択された画像から特徴の集合を抽出することによってクエリ集合を構築し、
クエリ集合における特徴と画像の集合における画像の特徴との間の距離の加重総和として非類似性メトリックを構築し、
最小の非類似性メトリックを有する画像を表示するように動作可能であるソフトウェア。
【請求項１３】
実行時に最小の非類似性メトリックを有する画像を類似性の順に順位決定するようにさらに動作可能である請求項１２に記載のソフトウェア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の読出用の検索ツールに関する。詳細には、本発明は画像の内容に基づき画像を読み出す方法に関する。
【背景技術】
【０００２】
情報化時代に直面される最も重大な問題のうちの１つは、アクセス可能な、特にワールド・ワイド・ウェブを介してアクセス可能な、莫大な量の情報から必要な情報を識別するという問題である。多数の文字ベースのサーチエンジンが開発され、展開されている。それらのうちで最もよく知られているのは、キーワード検索を用いてワールド・ワイド・ウェブからページを読み出す有名なサーチエンジンである。それらのエンジンには、Ｇｏｏｇｌｅ（登録商標）やＹａｈｏｏ（登録商標）が含まれる。
【０００３】
百聞は一見にしかずと言われるが、画像読出技術が文字ベースの読出技術ほど発展しているとは言えない。画像の大きな集合からの画像の読出は、重大な問題のままである。ユーザがサムネイルの集合をブラウジングして所望の画像を選択することは、もはや実用的でない。例えば、本明細書の記述時点において、「シドニー・オペラハウス（Ｓｙｄｎｅｙ  Ｏｐｅｒａ  Ｈｏｕｓｅ）」のような簡単な検索では、Ｇｏｏｇｌｅ（登録商標）画像検索において２６０００件のヒットが生じる。
【０００４】
画像の大きなコーパスから特定の画像を読み出すことに対する既存の解決策には、３つの関連する問題が伴う。第１に、画像が何らかの手法によりインデックス化されている必要があり、第２に、クエリが構築される必要があり、第３に、クエリの結果が関連を除いて示される必要がある。従来、画像はインデックス化され、キーワードを用いて検索されており、その結果は何らかの形態の関連性メトリックを用いて示されている。一般にキーワードの割当には時間集約的な処理である人間によるタグ付けが必要であり、多くの画像は複数のキーワードによって説明されるため、そのような手法は困難に満ちている。
【０００５】
これに代わる手法は、ワン（Ｗａｎｇ）らが非特許文献１において記載したような、セマンティクス分類法を用いることである。この文献には、色彩、テクスチャ、形状および場所によって領域を特徴づける、領域ベースの読出システムについて記載されている。システムは、テクスチャあり／テクスチャなし、図表／写真など、意味論的なカテゴリに画像を分類する。次いで、画像は、画像における全領域の特性を統合する領域マッチング方式に基づき類似性尺度を構築することによって、読み出される。ワンらの文献には、既知のコンテンツ・ベースの画像読出技術の有用な要約も含まれている。
【０００６】
別の手法がジェイコブ（Ｊａｃｏｂｓ）らによる非特許文献２に記載されている。ジェイコブらは、ウェーブレット分解を用いてデータベース中の各画像の署名を構築する前処理の手法について記載している。クエリ画像用の署名は、同じ処理を用いて取得される。次いで、このクエリ署名は画像のデータベースの署名にアクセスを行うために用いられ、同様の署名を用いて画像を選択するためにメトリックが構築される。この手法による問題は、署名を導出するために、検索可能な全ての画像を前処理する必要があることである。
【０００７】
イクバル（Ｉｑｂａｌ）とアガルワル（Ａｇｇａｒｗａｌ）は、その論文（非特許文献３）において読出精度に対する特徴統合の影響を調査している。両者は、１０２２１枚の画像のデータベースにおいて画像から構造、色彩およびテクスチャの特徴を抽出した。次いで、両者は、構造のみ、色彩のみ、テクスチャのみ、色彩およびテクスチャ、ならびに構造、色彩およびテクスチャを用いて、読出性能を測定した。画像読出には、両者は、オ
ースティンのテキサス大学が開発したＣＩＲＥＳ（コンテンツ・ベース画像読出システム；Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  Ｉｍａｇｅ  ＲＥｔｒｉｅｖａｌ  Ｓｙｓｔｅｍ）を用いた。驚くべきことではないであろうが、両者は、構造、色彩およびテクスチャが用いられたとき、画像読出が最も効果的であることを見出した。また、両者は、多クエリ画像を用いることによって画像読出がより効果的となることを見出した。
【０００８】
さらに、イクバルおよびアガルワルは、関連性フィードバックを介したユーザ対話の利益について調査した。関連性フィードバックによって、最初のクエリによって画像が返される場合、ユーザが集合から正、否および不定の画像を示すことが可能となる。クエリはユーザ・フィードバックによって修正され、再び実行される。両者は、ユーザ・フィードバックを用いる画像読出において有意な改良を見出した。
【０００９】
画像読出における最近の従来技術はワールド・ワイド・ウェブから画像を読み出す問題に偏向しているが、当業者には、この問題がデータ・ストアの性質とは無関係であることが認められる。同じ従来技術は、パーソナル・コンピュータ上の画像のローカル・ストアから画像を選択することに関連する。
【非特許文献１】「シンプリシティ：画像ライブラリ用セマンティクス−センシティブ統合マッチング（ＳＩＭＰＬＩｃｉｔｙ：Ｓｅｍａｎｔｉｃｓ−Ｓｅｎｓｉｔｉｖｅ  Ｉｎｔｅｇｒａｔｅｄ  Ｍａｔｃｈｉｎｇ  ｆｏｒ  Ｐｉｃｔｕｒｅ  Ｌｉｂｒａｒｉｅｓ）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００１年９月、第２３巻、第９号
【非特許文献２】「高速多解像度画像クエリ（Ｆａｓｔ  Ｍｕｔｌｉｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｅ  Ｑｕｅｒｙｉｎｇ）」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＨ  ９５，  Ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｅｄｉｎｇｓ，  Ａｎｎｕａｌ  Ｃｏｎｆｅｒｅｎｃｅ  Ｓｅｒｉｅｓ，  １９９５、ＡＣＭ  ＳＩＧＧＲＡＰＨ、ニューヨーク、１９９５年
【非特許文献３】「画像読出における特徴統合、多画像クエリおよび関連性フィードバック（Ｆｅａｔｕｒｅ  Ｉｎｔｅｇｒａｔｉｏｎ，  Ｍｕｌｔｉ−ｉｍａｇｅ  Ｑｕｅｒｉｅｓ  ａｎｄ  Ｒｅｌｅｖａｎｃｅ  Ｆｅｅｄｂａｃｋ  ｉｎ  Ｉｍａｇｅ  Ｒｅｔｒｉｅｖａｌ）」、６ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｖｉｓｕａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍｓ、フロリダ州マイアミ、２００３年９月２４〜２６日、ｐ．４６７〜４７４
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、コンテンツ・ベースの画像読出用のサーチ方法を提供することにある。
さらなる目的は、以下の記載から明らかとなる。
【課題を解決するための手段】
【００１１】
概して、本発明は画像の集合から画像を抽出する方法に関する。この方法は、１つ以上の選択された画像から特徴の集合を抽出することによって、クエリ集合を構築することと、クエリ集合における特徴と画像の集合における画像の特徴との間の距離の加重総和として非類似性メトリックを構築することと、最小の非類似性メトリックを有する画像を表示することと、を含む。
【００１２】
好適には、加重総和はクエリ集合から導出される重みを用いる。
適切には、この方法は、表示される画像の表示順の順位を決定することをさらに含む。画像は、最も非類似でないものから非類似性を増す順に表示されてもよいが、サイズ、時
期、ファイル名など、他の順位決定方式も可能である。
【発明を実施するための最良の形態】
【００１３】
本発明の様々な実施形態を記載するにあたり、同様の部材を記載するために共通の参照符号を用いる。
この方法の目標は、画像の特徴コンテンツおよびユーザのクエリ概念に基づき画像を読み出すことである。ユーザのクエリ概念は、ユーザによって供給または選択された画像例から自動的に導出される。これによって、高速かつ正確な読出結果を与える画像の視覚的特徴の知覚的な重要性や計算上効率的な線形加重非類似性メトリックを抽出する、革新的な方法により目標が達成される。
【００１４】
多画像クエリシステムでは、クエリは次式で示される画像例の集合である。
【００１５】
【数１】
2009539152.tif 000003
【００１６】
この画像例の集合は、１を含む任意の数の画像であってよい。従来技術の多くは１つのクエリ画像に基づきクエリを構築しているが、本発明の好適な手法では、ユーザは、２つ以上、好適には３つの画像を提供する。ユーザによって供給される画像は、データベースから直接的に選択されてもよく、上述のＧｏｏｇｌｅ（登録商標）Ｉｍａｇｅｓを用いてなど、従来の画像サーチを通じて識別されてもよい。
【００１７】
以下の記載では、対象画像集合（画像データベースとも呼ばれる）は、次式のように定義される。
【００１８】
【数２】
2009539152.tif 000004
【００１９】
クエリ基準は、対象画像集合における、クエリ集合Ｑと画像Ｉｊとの間で類似性尺度Ｓ（Ｑ，Ｉｊ）として表される。クエリ系Ｑ（Ｑ，Ｓ，Ｔ）は、類似性Ｓ（Ｑ，Ｉｊ）にしたがって対象画像集合Ｔの順列Ｔｐに対しクエリ集合Ｑをマッピングしたものである。ここで、Ｔｐは次式の通りであり、Ｓ（Ｑ，Ｉｍ）＞Ｓ（Ｑ，Ｉｍ＋１）となるように部分的に順に並んだ集合である。
【００２０】
【数３】
2009539152.tif 000005
【００２１】
原理的には、この順列はデータベース全体の順列であるが、実用に際しては、上位の出力
画像のみが評価される。
このコンテンツ・ベースの画像読出の方法は図１に要約されている。この方法について、より詳細に以下で説明する。この方法はクエリ集合１で開始する。特徴抽出処理２は、特徴ツールセット３を用いて特徴の集合を抽出する。この特徴ツールセットは、上述のものを含む種々のサードパーティーの特徴ツールのいずれかであってもよい。次いで、抽出された特徴からクエリが形成される（４）。
【００２２】
このクエリは、クエリ集合における画像を表すように構築された理想画像として考えられる。
本発明の重要な態様は、クエリを形成する特徴の集合に類似する画像を識別するために対象画像集合６に適用される、非類似性メトリック５の算出である。この画像は、次いで、順位決定され（７）、ユーザに対し示される（８）。
【００２３】
特徴抽出
特徴抽出処理は、クエリを画像の低次構造記述に基づかせる。画像オブジェクトＩは次式の特徴の集合によって記述される。
【００２４】
【数４】
2009539152.tif 000006
【００２５】
各特徴は次式のｋｎ次元のベクトルによって表わされる。
【００２６】
【数５】
2009539152.tif 000007
【００２７】
Ｒは実数である。第ｎ番目の特徴抽出は、画像Ｉから特徴ベクトルへの次式のようなマッピングである：
【００２８】
【数６】
2009539152.tif 000008
【００２９】
本発明は、いかなる特定の特徴の集合の抽出にも限定されない。色彩、テクスチャまたは顔の特徴など、様々な視覚的特徴が用いられてよい。サードパーティーの視覚的特徴抽出ツールがシステムのプラグインとして用いられてよい。
【００３０】
例えば、有名なＭＰＥＧ−７の視覚ツールは適切であり、ＭＰＥＧ−７ＣＬＤ（Ｃｏｌｏｒ  Ｌａｙｏｕｔ  Ｄｅｓｃｒｉｐｔｏｒ；色彩レイアウト記述子）は非常に小型であり、高速画像読出に適切な解像度によって変化しない色彩表現である。このツールでは、
３つの集合からのコンテンツを記述するために８×８ＤＣＴの１２個の係数（輝度に対し６個、各色差に対し３個）しか用いておらず、これは次式のように表される。
【００３１】
【数７】
2009539152.tif 000009
【００３２】
ＭＰＥＧ−７ＥＨＤ（Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ  Ｄｅｓｃｒｉｐｔｏｒ；エッジ・ヒストグラム記述子）は、１６枚の副画像からのコンテンツを記述するために８０のヒストグラム・ビンを用いる。これは次式のように表される。
【００３３】
【数８】
2009539152.tif 000010
【００３４】
ＭＰＥＧ−７のツールセットは有用であるが、本発明はこの特徴抽出ツールのセットに限定されない。従来技術から明らかであるように、色彩、色調、輝度、構造、テクスチャ、場所などの特徴に従って画像を特徴づける種々の特徴抽出ツールが存在する。
【００３５】
上述のように、本発明は、顔のデータベースから１つの顔を識別するために顔の特徴の集合に適用されてもよい。この特徴抽出処理は、両眼の間の距離、眼の色、鼻の幅、口の大きさなど、顔の特徴を抽出することができる。
【００３６】
クエリ特徴形成
ユーザのクエリ概念は、ユーザによって選択された例画像によって示唆される。クエリ特徴形成モジュールは、例画像から導出される仮想的なクエリ画像特徴集合を生成する。
【００３７】
１つの画像を形成する特徴の融合は、次式によって表される。
【００３８】
【数９】
2009539152.tif 000011
【００３９】
クエリ画像の集合については、特徴の融合は次式のようになる。
【００４０】
【数１０】
2009539152.tif 000012
【００４１】
クエリ特徴形成は、特徴抽出ステップにおいて用いられる特徴集合における各特徴に重みを加えることによって構築される、理想画像を示唆する。第ｉ番目の特徴ｘｉに適用される重みは、次式の通りである：
【００４２】
【数１１】
2009539152.tif 000013
【００４３】
次いで、クエリ画像Ｑの集合から構築される理想画像ＩＱが、特徴集合における特徴ｘｉの加重和であると考えられる：
【００４４】
【数１２】
2009539152.tif 000014
【００４５】
非類似性の算出
特徴メトリック空間Ｘｎは、ｋｎ次元のベクトル空間Ｒｋｎの有界閉凸部分集合である。したがって、特徴ベクトルの平均（すなわち区間）は特徴集合における１つの特徴ベクトルである。これは、クエリ点移動およびクエリ・プロトタイプ・アルゴリズムの基礎である。しかしながら、平均特徴ベクトルが他の特徴ベクトルの良い代表でない場合がある。例えば、灰色が白色および黒色の良い代表ではない場合がある。
【００４６】
多画像クエリの場合、距離は、クエリ画像集合
【００４７】
【数１３】
2009539152.tif 000015
【００４８】
と、画像
【００４９】
【数１４】
2009539152.tif 000016
【００５０】
との間で、次式のように測定される。
【００５１】
【数１５】
2009539152.tif 000017
【００５２】
本発明では、個々の特徴距離の加重総和として表される次式の距離関数を用いる。
【００５３】
【数１６】
2009539152.tif 000018
【００５４】
この式は、クエリ特徴ｘｑとクエリの行われた特徴ｘｎとの間の距離メトリックｄの加重総和である尺度を算出する。
重みｗｉは式（６）を用いてクエリ集合に従って更新される。例えば、ユーザが明るい色の車の画像を見つけようとしているとする。従来の文字ベースの検索は、クエリ「車」によって任意の色のすべての車が読み出されるため補助にならず、「明るい車」による検索では、その語によって記述されている画像のみが読み出されるが、そのような画像はありそうにない。しかしながら、車による最初の文字検索では、様々な型および色の一定の範囲のの車が読み出される。ユーザが明るい画像のクエリ集合を選択すると、クエリ特徴形成によって、例えば、色彩またはテクスチャよりも輝度特徴に、より大きな重みが与えられる。一方、ユーザが青い車を探している場合、クエリ集合は青い車のみから選択される。クエリ特徴形成によって、輝度またはテクスチャよりも青い色彩および色調の特徴に、より大きな重みが与えられる。
【００５５】
各々の場合において、非類似性の算出によって、求められている特定の特徴の集合をユーザが定義する必要なく、ユーザによって選択されたクエリ集合の特徴に基づいた類似性の値が決定されている。これは、従来技術において利用可能であるより、はるかに直感的な画像検索手法であることが認められる。
【００５６】
結果の順位決定
クエリ集合を用いて画像集合から抽出された画像は、関連性の順位に従って簡便に表示される。出力画像の順位を決定するいくつかの手法が存在し、本発明は任意の特定の処理に限定されない。簡便な１つの手法は、上述の非類似性尺度を用いることである。すなわち、最も非類似でない（最も類似の）画像が最初に表示され、幾つかの、より非類似の画像がそれに続く。典型的には、２０の最も非類似でない画像が表示される。
【００５７】
したがって、データベースにおけるクエリ画像集合と対象画像との間の距離は、尺度空間において通常定義されるように、次式のように定義される。
【００５８】
【数１７】
2009539152.tif 000019
【００５９】
式（１０）の尺度は、上位の画像が例画像のうちの１つに類似するという利点を有しており、この利点は読出システムにおいて非常に期待されるものである。一方、プロトタイプのクエリの場合、上位の画像は平均特徴の画像に類似することになり、例画像のうちのいずれかに非常に類似してはいない。大抵の用途では、前者がユーザによりよい体験を与える。
【００６０】
［実施例１］
Ａｐａｃｈｅ  Ｔｏｍｃａｔ（登録商標）ウェブ・アプリケーション・サーバによってサポートされるＪａｖａ（登録商標）  ＳｅｒｖｌｅｔおよびＪａｖａ（登録商標）Ｓｅｒｖｅｒのページ技術を用いて、本発明のデモンストレーション実施例を実装した。ここでは、Ｇｏｏｇｌｅ（登録商標）またはＹａｈｏｏ（登録商標）などのキーワード・ベースの商用画像検索サービスを介して、インターネット上の画像コンテンツに基づく画像を検索している。この実施例には、Ｉｎｔｅｒｎｅｔ  ＥｘｐｌｏｒｅｒまたはＭｏｚｉｌｌａ／Ｆｉｒｅｂｏｘなど任意のウェブブラウザを用いてアクセス可能である。この実施例は、インターネットからイメージを検索するための３ステップの処理からなる。
【００６１】
本発明の動作を実証するために、上述のＧｏｏｇｌｅ（登録商標）Ｉｍａｇｅｓを用いてシドニー・オペラハウスの画像を見つける例に本発明を適用した。
１）第１のステップ：キーワード・ベースの検索（図２に示す）。キーワードを用いて文字ベースの画像検索サービスを介してインターネットから画像を読み出し、図３に示すように最初の画像集合を形成する。
２）第２のステップ：最初の検索結果から図４に示すように例画像を選択する。キーワード・ベースの検索結果からユーザに示された画像のチェックボックスをクリックすることによって、ユーザが検索を意図する画像例を選択する。
３）第３のステップ：サンプル画像から構築されたクエリを用いて全画像の検索を行う。図５に示すように類似性メトリックに従って順位の決定された順に結果が示される。
【００６２】
この例から分かるように、図５に示した結果の集合の画像はすべて関連しているが、図３に示した画像は関連性の疑われる画像を含む。
［実施例２］
本発明は、Ｗｉｎｄｏｗｓ（登録商標） ＥｘｐｌｏｒｅｒまたはＭａｃ  ＯＳ  Ｘ  
Ｆｉｎｄｅｒ（登録商標）などのデスクトップ・ファイル・マネージャ（現在、いずれも画像ファイル名や、サイズ、ファイル形式など他のファイル属性に従って、画像ファイルのブラウジングおよびソートを行う性能を有する）に統合されることが可能である。典型的なフォルダの画像を、図６にサムネイルとして示す。ユーザは、所望の画像に最も近い画像をハイライト表示させることによって、クエリ集合を構築するための幾つかの画像を選択する。図７の例では、ユーザは、シドニー・オペラハウスに対しシドニー・ハーバー・ブリッジ（Ｓｙｄｎｅｙ  Ｈａｒｂｏｕｒ  Ｂｒｉｄｇｅ）を背景としている画像を選択している。
【００６３】
次いで、ユーザは画像読出プログラムを起動する。このプログラムは、簡便にはプラグインとして実装される。図６および図７では、本発明は、ツールバー上のチック・アイコン９をクリックすることによって作動される。
【００６４】
結論
上述のコンテンツ・ベースの画像読出の方法は、従来技術系と比較して次を含む数々の利点を有する。
・知覚的な重要性がユーザの例から自動的に導出される。
・検索処理が直感的である。
・ユーザが特徴または特徴の重みを選択する必要がない。
・加重非類似性メトリックは汎用的なものであり、全特徴に適用可能である。
・重み生成および非類似性生成は計算上効率的であり、非常に高速な読出結果を与える。・特徴抽出ツールはプラグイン可能である。すなわち、標準的な特徴およびサードパーティーの特徴をアーキテクチャに統合可能である。
・ユーザが否定例を供給する必要がない。
【図面の簡単な説明】
【００６５】
【図１】コンテンツ・ベースの画像読出の方法における主要なステップを表示するフローチャート。
【図２】本発明の第１のアプリケーションの開始点としての最初のサーチを例示するスクリーンショットを示す図。
【図３】最初のサーチからの画像の集合を例示するスクリーンショットを示す図。
【図４】クエリ集合を形成するように３つの画像が選択された図３のスクリーンショットを示す図。
【図５】本発明によるコンテンツ・ベースの画像読出の結果のスクリーンショットを示す図。
【図６】ディレクトリの画像サムネイルのスクリーンショットを示す図。
【図７】クエリ集合を形成するように３つの画像が選択された図６のスクリーンショットを示す図。
【図２】
2009539152.tif 000022
【図３】
2009539152.tif 000023
【図４】
2009539152.tif 000024
【図５】
2009539152.tif 000025
【図６】
2009539152.tif 000026
【図７】
2009539152.tif 000027
【図１】
2009539152.tif 000028
【手続補正書】
【提出日】平成20年8月22日(2008.8.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つ以上の処理システムにおいて実行される、対象画像集合（Ｔ）から１つ以上の画像を識別する方法であって、
２つ以上の画像をクエリ画像集合（Ｑ）として識別することと、
クエリ画像集合（Ｑ）を形成する前記２つ以上の画像の各々から特徴（ｘｉ）の集合を抽出し、抽出した特徴（ｘｉ）の集合からクエリ特徴（ｘｑｉ）を取得することと、
クエリ特徴（ｘｑｉ）の各々について重み（ｗｉ）を導出することと、
クエリ特徴（ｘｑｉ）と対象画像集合（Ｔ）における個々の画像（Ｉｊ）から抽出された対応する対象特徴（ｘｎｉ）との間の特徴距離（ｄｉ）の総和として非類似性メトリック（Ｄ）を構築することと、特徴距離（ｄｉ）は重み（ｗｉ）によって加重されていることと、
非類似性メトリック（Ｄ）に基づき対象画像集合（Ｔ）から１つ以上の識別された画像を選択することと、
前記１つ以上の識別された画像を表示することと、からなる方法。
【請求項２】
非類似性メトリック（Ｄ）は次式を満たす請求項１に記載の方法。
【数１】
2009539152.tif 000029
【請求項３】
特徴（ｘｉ）の集合は特徴ツールセットを用いて抽出される請求項１に記載の方法。
【請求項４】
特徴（ｘｉ）の集合はクエリ画像集合（Ｑ）の低次構造記述を用いて抽出される請求項１に記載の方法。
【請求項５】
特徴は、色彩、テクスチャ、色調、輝度、構造、場所および顔の特徴からなる群から選択される請求項１に記載の方法。
【請求項６】
クエリ特徴（ｘｑｉ）の各々に重み（ｗｉ）を加えることによって理想クエリ画像（ＩＱ）が提供される請求項１に記載の方法。
【請求項７】
理想クエリ画像は次式を満たす
【数２】
2009539152.tif 000030
［ここで、ｘｉはクエリ特徴であり、ｗｉは該クエリ特徴に適用される重みである］
請求項６に記載の方法。
【請求項８】
特徴距離（ｄｉ）の加重総和はクエリ画像集合（Ｑ）を形成する前記２つ以上の画像から導出される重みを用いる請求項１に記載の方法。
【請求項９】
ユーザが特徴を定義する必要がない請求項１に記載の方法。
【請求項１０】
最小の非類似性メトリック（Ｄ）を有する識別された画像に基づき、所定の数の識別された画像が選択され、表示される請求項１に記載の方法。
【請求項１１】
前記１つ以上の識別された画像の表示順の順位を決定することをさらに含む請求項１に記載の方法。
【請求項１２】
順位決定は類似性の順である請求項１１に記載の方法。
【請求項１３】
順位は最小の非類似性メトリック（Ｄ）によって決定される請求項１１に記載の方法。
【請求項１４】
前記２つ以上の画像はユーザによって選択され、前記１つ以上の識別された画像はさらなるユーザ入力なしで選択される請求項１に記載の方法。
【請求項１５】
対象画像集合から画像を抽出するためのコンピュータ・プログラム製品であって、
２つ以上の画像の選択を受信してクエリ画像集合を形成し、
クエリ画像集合を形成する前記２つ以上の画像の各々から特徴の集合を抽出し、
クエリ画像集合から各々の特徴に対する重みを導出し、
クエリ画像集合における加重特徴と対象画像集合における画像の特徴との間の距離の総和として非類似性メトリックを構築し、
最小の非類似性メトリックを有する対象画像集合から抽出された画像を表示するように構成されているコンピュータ・プログラム製品。
【請求項１６】
抽出された画像を類似性の順に順位決定するようにさらに構成されている請求項１５に記載のコンピュータ・プログラム製品。
【国際調査報告】
2009539152.tif 000031
2009539152.tif 000032