(57)【特許請求の範囲】
【請求項１】
データベースに格納された複数の画像の各々が、前記画像の視覚的内容の少なくとも１つの特性を表す第１のタイプのデータ項目に関連付けられており、前記複数の画像中の例示画像から画像を探す画像検索方法であって、
前記データベースに新しい画像が格納されるたびに、前記新しい画像の少なくとも１つの関心領域の位置を表す第２のタイプのデータ項目を前記新しい画像に関連付けるステップと、
前記例示画像内の少なくとも１つの関心領域の位置を表す前記第２のタイプのデータ項目を受け取るステップと、
前記例示画像に関連付けられた前記第１のタイプのデータ項目を得るステップと、
前記例示画像と前記格納された画像の少なくとも１つの部分集合の中の画像の各々との間の類似性を計算するステップであって、前記類似性が、それぞれ前記例示画像および前記格納された画像に関連付けられた前記第１のタイプおよび前記第２のタイプのデータから計算されるステップと、
前記データベースの、結果画像と呼ばれる少なくとも１つの画像を供給するステップであって、前記少なくとも１つの結果画像が、前記例示画像との類似性の度合に従って前記データベース内の前記格納された画像の中から選択されるステップとを含み、
前記第１のタイプの前記データ項目が、前記格納された画像の各々および前記例示画像について、前記画像を所定の数Ｎ個のブロックに分割する第１の動作、およびそれに続く前記ブロックの視覚的内容を表すデータ項目のブロックの各々（Ｂi）に関する第２の抽出動作の実行によって得られ、前記第１のタイプの前記データ項目は、それぞれが前記画像のブロックについて抽出された前記視覚的内容を表す前記データ項目であるＮ個の成分を有するベクトル（Ｇ（Ｉｍ））からなることを特徴とする画像検索方法。
【請求項２】
前記例示画像Ｑと格納された画像の少なくとも１つの部分集合の中からの画像の各々Ｄとの間の、ＳＩＭで表される類似性を計算する前記ステップが、前記例示画像に関連付けられたベクトルＧ（Ｑ）と検討中の前記格納された画像に関連付けられたベクトルＧ（Ｄ）との間の距離を計算することによって実行され、前記距離が、複数Ｎ個の重み付け係数Ｗiによって重み付けされ、前記重み付け係数Ｗiの各々の値は、前記例示画像に関連付けられた関心領域および検討中の前記格納された画像の関心領域の、前記画像の前記分割から生じるブロックの１つＢi内での近接の度合を示すことを特徴とする請求項１に記載の画像検索方法。
【請求項３】
類似性ＳＩＭを計算する前記ステップが、値の合計を計算することによって行われ、ｄｉｓｔ（ｑi、ｄi）と表される前記値の各々が、前記例示画像の所与のブロックＢiに対応するベクトルＧ（Ｑ）の成分ｑiと検討中の前記格納された画像の同じブロックに対応するベクトルＧ（Ｄ）の成分ｄiとの間の類似性の尺度であり、前記類似性尺度ｄｉｓｔ（ｑi、ｄi）が、前記重み付け係数Ｗiによって重み付けされ、前記重み付け係数Ｗiの値は、前記例示画像に関連付けられた関心領域と検討中の前記格納された画像に関連付けられた関心領域との、前記ブロック内での近接の度合を示すことを特徴とする請求項２に記載の画像検索方法。
【請求項４】
前記類似性ＳＩＭが、式
【数１】
0004579404.tif 000007
によって得られることを特徴とする請求項３に記載の画像検索方法。
【請求項５】
前記重み付け係数Ｗiが、前記例示画像に関連付けられた前記関心領域と、検討中の前記格納された画像に関連付けられた前記関心領域と、前記例示画像および検討中の前記格納された画像の検討中の前記ブロックとの間の交わりの表面積の関数である値を有することを特徴とする請求項２から４のいずれか１項に記載の画像検索方法。
【請求項６】
前記例示画像Ｑが、ＲＯＩr（Ｑ）と表される整数Ｒ個の関心領域を含み、ｒが１とＲとの間の整数であり、検討中の前記格納された画像Ｄが、ＲＯＩt（Ｄ）と表される整数Ｔ個の関心領域を含み、ｔは１とＴとの間の整数であり、前記重み付け係数Ｗiの各々が、下式
【数２】
0004579404.tif 000008
に従って得られ、索引ｉが、１と前記ブロックの定義済みの数Ｎとの間の整数であることを特徴とする請求項５に記載の画像検索方法。
【請求項７】
前記画像のブロックの前記視覚的内容を表す前記データ項目が、前記ブロック内の色の分布（Ｈi）を表すことを特徴とする請求項１から６のいずれか１項に記載の画像検索方法。
【請求項８】
請求項３から６のいずれか１項と組み合わされた時、前記例示画像の所与のブロックＢiに対応する前記ベクトルＧ（Ｑ）の成分ｑiと、検討中の前記格納された画像の同じブロックに対応する前記ベクトルＧ（Ｄ）の成分ｄiとの間の前記類似性の尺度ｄｉｓｔ（ｑi、ｄi）のそれぞれが、これら２つの成分の間の交わりを計算することによって得られることを特徴とする請求項７に記載の画像検索方法。
【請求項９】
前記格納された画像の各々および前記例示画像の少なくとも１つの関心領域の前記位置を表す前記第２のタイプの前記データ項目が、前記少なくとも１つの関心領域の形状および前記画像の前記画像平面内のその位置を示す２次元点の集合からなることを特徴とする請求項１乃至８のいずれか１項に記載の画像検索方法。
【請求項１０】
ブロックの前記所定の数Ｎが１６に等しいことを特徴とする請求項１から９のいずれか１項に記載の画像検索方法。
【請求項１１】
データベースに格納された複数の画像の各々が、前記画像の視覚的内容の少なくとも１つの特性を表す第１のタイプのデータ項目に関連付けられており、前記複数の画像中の例示画像により画像を検索する画像検索装置であって、
前記データベースに新しい画像が格納されるたびに、前記新しい画像の少なくとも１つの関心領域の位置を表す第２のタイプのデータ項目を前記新しい画像に関連付ける手段と、
前記例示画像内の少なくとも１つの関心領域の位置を表す前記第２のタイプのデータ項目を受け取る手段と、
前記例示画像に関連付けられた前記第１のタイプのデータ項目を得る手段と、
前記例示画像と前記格納された画像の少なくとも１つの部分集合の中の画像の各々との間の類似性を、それぞれ前記例示画像および前記格納された画像に関連付けられた前記第１のタイプおよび前記第２のタイプのデータから計算する計算手段と、
前記例示画像との類似性の度合に従って前記データベース内の前記格納された画像の中から選択された結果画像と呼ばれる少なくとも１つの画像を供給する手段とを含み、
前記第１のタイプの前記データ項目が、前記格納された画像の各々および前記例示画像について、前記画像を所定の数Ｎ個のブロックに分割する第１の動作、およびそれに続く前記ブロックの視覚的内容を表すデータ項目のブロックの各々（Ｂi）に関する第２の抽出動作の実行によって得られ、前記第１のタイプの前記データ項目は、それぞれが前記画像のブロックについて抽出された前記視覚的内容を表す前記データ項目であるＮ個の成分を有するベクトル（Ｇ（Ｉｍ））からなることを特徴とする画像検索装置。
【請求項１２】
ディジタル画像に索引を付ける方法であって、索引を付ける画像Ｉｍの各々について、
定義済みの数Ｎ個のブロックＢiを含む区分に従って、前記画像Ｉｍの画像平面を分割するステップと、
前記ブロックの視覚的内容の少なくとも１つの特性を表す第１のタイプのデータ項目を、前記ブロックの各々から抽出するステップと、
前記画像内で少なくとも１つの関心領域を定義し、前記画像の少なくとも１つの関心領域の位置を表す第２のタイプのデータ項目を得るステップと、
前記ブロックＢiの各々について、前記少なくとも１つの関心領域の前記画像の検討中の前記ブロックＢiでの存在の度合を示す第１の係数ＷiImを計算するステップと、
Ｎ個の成分を有し、前記成分の各々が前記第１のタイプのデータ項目の１つである第１のベクトルＧ（Ｉｍ）、および、Ｎ個の成分を有し、前記成分の各々が前記第１の係数ＷiImの１つである第２のベクトルＷ（Ｉｍ）からなる索引を前記画像Ｉｍに関連付けるステップと、
を含むことを特徴とする画像索引付け方法。
【請求項１３】
前記画像Ｉｍが、ＲＯＩrと表される整数Ｒ個の関心領域を含み、ｒが、１とＲとの間の整数であり、前記ブロックＢiの各々について第１の係数を計算する前記ステップにおいて、前記第１の係数ＷiImが、下式
【数３】
0004579404.tif 000009
によって得られ、Ｗoが定義済みの定数であり、Ｐirが、画像Ｉｍの画像平面の検討中の前記ブロックＢi内での対応する関心領域ＲＯＩrの存在の度合を示す係数であることを特徴とする請求項１２に記載の画像索引付け方法。
【請求項１４】
各係数Ｐirが、検討中の前記ブロックＢiと前記対応する関心領域ＲＯＩrとの間の交わりの表面積と、検討中の前記ブロックＢiの表面積との間の比を計算することによって得られることを特徴とする請求項１３に記載の画像索引付け方法。
【請求項１５】
前記画像内での前記少なくとも１つの関心領域の前記位置を表す前記第２のタイプの前記データ項目が、前記少なくとも１つの関心領域の形状および前記画像の前記画像平面内のその位置を示す２次元点の集合からなることを特徴とする請求項１２から１４のいずれか１項に記載の画像索引付け方法。
【請求項１６】
前記画像のブロックの前記視覚的内容の少なくとも１つの特性を表す前記第１のタイプの前記データ項目が、前記ブロック内の色の分布を表すことを特徴とする請求項１２から１５のいずれか１項に記載の画像索引付け方法。
【請求項１７】
前記画像Ｉｍの前記画像平面が、矩形グリッドに従って分割されることを特徴とする請求項１２から１６のいずれか１項に記載の画像索引付け方法。
【請求項１８】
ブロックの前記定義済みの数Ｎが１６に等しいことを特徴とする請求項１７に記載の画像索引付け方法。
【請求項１９】
データベースに格納された複数の画像の中の例示画像から画像を探す画像検索方法であって、
前記例示画像および前記格納された画像の各々が、請求項１２から１８のいずれか１項に記載の画像索引付け方法に従って索引を付けられることを特徴とする画像検索方法。
【請求項２０】
例示画像Ｑと前記格納された画像の少なくとも１つの部分集合の中からの画像の各々Ｄとの間の類似性ＳＩＭを計算するステップであって、
前記類似性が、それぞれ前記例示画像Ｑおよび前記格納された画像Ｄに関連付けられた第１のベクトルＧ（Ｑ）およびＧ（Ｄ）と第２のベクトルＷ（Ｑ）およびＷ（Ｄ）とから計算されるステップと、
前記データベース内の、結果画像と呼ばれる少なくとも１つの画像を供給するステップであって、前記少なくとも１つの結果画像が、前記例示画像との類似性の度合に従って前記データベース内の前記格納された画像の中から選択されるステップとを含むことを特徴とする請求項１９に記載の画像検索方法。
【請求項２１】
前記例示画像Ｑと前記格納された画像の少なくとも１つの部分集合の中からの前記画像の各々Ｄとの間の類似性ＳＩＭを計算する前記ステップが、前記例示画像に関連付けられた第１のベクトルＧ（Ｑ）と検討中の前記格納された画像に関連付けられた第１のベクトルＧ（Ｄ）との間の距離を計算することによって実施され、前記距離が、複数Ｎ個の重み付け係数Ｒiによって重み付けされ、前記重み付け係数Ｒiの値が、それぞれ前記例示画像Ｑおよび検討中の前記格納された画像Ｄに関連付けられた第２のベクトルＷ（Ｑ）およびＷ（Ｄ）の成分ＷiQおよびＷiDの関数として計算されることを特徴とする請求項２０に記載の画像検索方法。
【請求項２２】
重み付け係数Ｒiの値が、式
ＷiQおよびＷiDの両方が前記定義済みの定数Ｗoより厳密に大きい場合には
Ｒi＝ＷiQ＋ＷiDで表され、
それ以外の場合には、
Ｒi＝ＷiQ＋ＷiD−Ｗoによって得られることを特徴とする請求項２１に記載の画像検索方法。
【請求項２３】
前記類似性値ＳＩＭが、値の和を計算することによって得られ、前記値の各々が、ｄｉｓｔ（ｑi、ｄi）と表され、前記例示画像Ｑの所与のブロックＢiに対応する第１のベクトルＧ（Ｑ）の成分ｑiと検討中の前記格納された画像Ｄの同じブロックに対応する第１のベクトルＧ（Ｄ）の成分ｄiとの間の類似性の尺度であり、これらの類似性尺度ｄｉｓｔ（ｑi、ｄi）が、重み付け係数Ｒiによって重み付けされることを特徴とする請求項２１又は２２に記載の画像検索方法。
【請求項２４】
前記類似性ＳＩＭが、式
【数４】
0004579404.tif 000010
によって得られることを特徴とする請求項２３に記載の画像検索方法。
【請求項２５】
請求項１６、１７、または１８のいずれか１項と組み合わされた時、前記例示画像Ｑの所与のブロックＢiに対応する前記ベクトルＧ（Ｑ）の成分ｑiと検討中の前記格納された画像Ｄの同じブロックに対応する前記ベクトルＧ（Ｄ）の成分ｄiとの間の前記類似性の尺度ｄｉｓｔ（ｑi、ｄi）のそれぞれが、これら２つの成分の間の交わりを計算することによって得られることを特徴とする請求項２４に記載の画像検索方法。
【請求項２６】
ディジタル画像に索引を付ける画像索引付け装置であって、
索引を付ける画像Ｉｍの各々について、
定義済みの数Ｎ個のブロックＢiを含む区分に従って、前記画像Ｉｍの画像平面を分割する手段と、
前記ブロックの視覚的内容の少なくとも１つの特性を表す第１のタイプのデータ項目を、前記ブロックの各々から抽出する手段と、
前記画像内で少なくとも１つの関心領域を定義し、前記画像の少なくとも１つの関心領域の位置を表す第２のタイプのデータ項目を得る手段と、
前記ブロックＢiの各々について、前記少なくとも１つの関心領域の前記画像の検討中の前記ブロックＢiでの存在の度合を示す第１の係数ＷiImを計算する手段と、
Ｎ個の成分を有し、前記成分の各々が前記第１のタイプのデータ項目の１つである第１のベクトルＧ（Ｉｍ）、および、Ｎ個の成分を有し、前記成分の各々が前記第１の係数ＷiImの１つである第２のベクトルＷ（Ｉｍ）からなる索引を前記画像Ｉｍに関連付ける手段と、
を含むことを特徴とする画像索引付け装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、第１の態様によれば、データベースに格納された複数の画像の中の例示画像を使用して、画像を探す方法であって、格納された画像の各々が、画像の視覚的内容の少なくとも１つの特性を表すデータ項目に関連付けられる方法に関する。本発明は、そのような方法を実施することができる装置にも関する。
【０００２】
第２の態様によれば、本発明は、画像内の関心領域の位置を考慮に入れたディジタル画像を索引付けする方法に関する。本発明は、データベースに格納された複数の画像であって、上述の索引付け方法に従って索引を付けられた画像の中の例示画像から画像を探す方法にも関する。本発明は、そのような画像の索引付け方法および検索方法を実施することができる装置にも関する。
【０００３】
【従来の技術】
画像を含むデータベースでのディジタル画像検索の従来の方法は、データベース内の画像に索引を付けるシステムに基づく。
【０００４】
索引付けシステムの目的は、画像の索引として参照される画像の内容の特性を表す情報の項目を、ベース内の各画像に関連付けることである。これらの情報項目のすべてが、データベースの索引を形成する。
【０００５】
その後、ユーザは、探す画像の種類の特性を表す情報の項目を含む要求により画像データベースに問い合わせることができる。この要求の内容が、検索方法に従って、データベースの索引の内容と比較される。
【０００６】
最後に、その索引付け情報項目が要求の内容に対する最大の類似性を有するベース内の画像が抽出される。またデータベースから抽出される複数の画像を、要求に対する類似性の度合に従って順序付けてユーザに提示することもできる。
【０００７】
ディジタル画像に索引を付ける従来のシステムでは、データベースの索引は、格納された画像のテキスト記述から構成される。
【０００８】
ユーザの要求は、探す画像の内容の特性を記述するキーワードからなる。
【０００９】
この種のテキスト記述による索引付けは、具体的には、同じ画像が異なるユーザによって異なる形で記述される可能性があるので、非実用的であるという欠点を有する。
【００１０】
したがって、この種の欠点を軽減するために、ディジタル画像の意味内容を表現し、抽出する技法を開発する必要が生じていた。
【００１１】
画像を構成する色またはテクスチャの分布に従って、画像の特性を表す方法が現れてきている。
【００１２】
他の方法では、画像を構成するオブジェクトの形状または輪郭線によって画像の特性が表される。
【００１３】
しかし、画像の「プリミティブ」と呼ばれるこれらの記述子のすべてが、画像の物理的特性だけを反映しているため、低い意味レベルを有する。
【００１４】
画像の索引付けの意味特性を向上させるために、低水準プリミティブの組合せを使用する索引付けシステムが現れ始めた。
【００１５】
最もよく知られた方法の１つが、ＩＢＭ社によって開発されたＱＢＩＣ（「query-by-image-content」）システムである。
【００１６】
このシステムに関する詳細を得るために、IBM Computer Sciences Research  Report、第１〜第２０ページ、（１９９３年２月１日）に記載のニブラック（Niblack, W）他による論文「The QBIC Project:  Querying Images by Content Using Color, Texture, and Shape」を参照することができる。また、ＩＢＭ社による米国特許第５５７９４７１号明細書を参照することができる。
【００１７】
ＱＢＩＣシステムによって、例示による要求からディジタル固定（またはビデオ）画像を見付けることが可能になる。固定画像の具体的な例では、この要求は、完全な画像として、又は、画像から抽出されるかユーザによって定義される矩形又は任意の形状を有するオブジェクトとしてのいずれかで定義される。
【００１８】
データベース内の画像の内容は、その色分布（ヒストグラム）、テクスチャ、および形状によって特性が表わされる。
【００１９】
要求が画像の部分（領域とも呼ばれる）として定義される場合、類似性の尺度に、この領域の空間的位置も考慮される。
【００２０】
【発明が解決しようとする課題】
しかし、ＱＢＩＣシステムおよびこの種の索引付けシステムでは、データベースに格納される画像の索引付けが、画像の全内容に関し、特に画像の視覚的内容を表すゾーンまたは領域が考慮されない。
【００２１】
さらに、この要求は、例示画像の単一の部分だけに関するものにしかすぎない。
【００２２】
しかし、所与の画像内で、複数の別個の領域に、大量の意味情報が含まれる場合がある。その結果、画像の内容の索引付けのための複数のプリミティブの組合せにも拘わらず、この種の索引付けは、画像の意味内容を十分に表現していない。
【００２３】
したがって、ＱＢＩＣシステム型の索引付けシステムでは、要求から導出された索引と格納された画像から導出された索引の間の類似性の分析が、通常は、まだ十分に正確ではない。
【００２４】
以下の説明では、表現「関心領域」（ＲＯＩ）が、画像の視覚的内容の特性を表す要素を含むものとして、すなわち、大量の意味的情報を含むものとして、事前に定義された所与の画像の区切られた部分を意味するのに使用される。
【００２５】
本発明は、従来技術の検索システムおよび索引付けシステムの前述の問題点を解決することを目的とする。
【００２６】
【課題を解決するための手段】
この目的のために、第１の態様によれば、本発明は、データベースに格納された複数の画像の中の例示画像から画像を探す方法であって、格納された画像の各々が、その画像の視覚的内容の少なくとも１つの特性を表す第１のタイプのデータ項目に関連付けられる方法に関する。本発明によれば、この画像検索方法には、
新しい画像がデータベースに格納されるたびに、新しい画像の少なくとも１つの関心領域の位置を表す第２のタイプのデータ項目を新しい画像に関連付けるステップと、
例示画像の少なくとも１つの関心領域の位置を表す第２のタイプのデータ項目を受け取るステップと、
例示画像に関連付けられた第１のタイプのデータ項目を得るステップと、
例示画像と前記格納された画像の少なくとも１つの部分集合の中の画像の各々との間の類似性を計算するステップであって、類似性が、それぞれ例示画像および格納された画像に関連付けられた第１のタイプおよび第２のタイプのデータから計算されるステップと、
データベースの、結果画像と呼ばれる少なくとも１つの画像を供給するステップであって、結果画像が、例示画像との類似性の度合に従って、データベース内に格納された画像の中から選択されるステップとが含まれ、
前記第１のタイプの前記データ項目が、前記格納された画像の各々および前記例示画像について、前記画像を所定の数Ｎ個のブロックに分割する第１の動作、およびそれに続く前記ブロックの視覚的内容を表すデータ項目のブロックの各々（Ｂi）に関する第２の抽出動作の実行によって得られ、前記第１のタイプの前記データ項目は、それぞれが前記画像のブロックについて抽出された前記視覚的内容を表す前記データ項目であるＮ個の成分を有するベクトル（Ｇ（Ｉｍ））からなることを特徴とする。
【００２７】
このような構成により、例示画像内およびデータベースの画像内の、少なくとも１つの関心領域の位置を表すデータ（第２のタイプのデータ項目）を考慮に入れることによって、データベース内の画像の検索が、より正確になる。これは、一方では、データベース内の画像ごとに、データベース管理者が、この第２のタイプのデータ項目を介して画像の意味内容を分離するように取り計らったからである。その一方で、ユーザは、例示画像に関連付けられた第２のタイプのデータ項目を介して、自分が探したい領域に対応する画像内のある領域を選択することによって、自分の要求を指定することもできる。その結果、例示画像とデータベース内の画像の両方でこのタイプのデータが考慮されない時に得られるものと比較して、より現実に近い類似性が得られる。
【００２８】
本発明は、データベースに格納された複数の画像の中の例示画像から画像を探す装置にも関する。また本発明によれば、この装置は、上で簡潔に定義された画像検索方法を実施するように適合された手段を有する。
【００２９】
また本発明は、上記定義した画像検索方法を実施するように適合された画像検索装置または画像検索手段を含むコンピュータにも関する。また本発明は、プログラムがコンピュータにロードされ、実行される時に、上で定義した画像検索方法を実施することができる１つまたは複数の命令のシーケンスを含むコンピュータ・プログラムにも関する。本発明は、そのようなコンピュータ・プログラムを含むことを特徴とする、ディスケットまたはコンパクトディスク（ＣＤ）などの情報担体にも関する。
【００３０】
この装置、コンピュータ、コンピュータ・プログラム、および情報担体の利点は、上で簡潔に開示した方法の利点と同じである。
【００３１】
また本発明の第２の態様によれば、本発明は、ディジタル画像に索引を付ける方法に関する。本発明によれば、この索引付け方法には、索引を付けられる画像Ｉｍの各々について、
定義済みの数Ｎ個のブロックＢiを含む区分に従って、画像Ｉｍの画像平面を分割するステップと、
ブロックの各々から、ブロックの視覚的内容の少なくとも１つの特性を表す第１のタイプのデータ項目を抽出するステップと、
画像内で少なくとも１つの関心領域を定義し、画像内の少なくとも１つの関心領域の位置を表す第２のタイプのデータ項目を得るステップと、
ブロックＢiの各々について、領域または領域群または関心の画像の検討中のブロック内での存在の度合を示す第１の係数ＷiImを計算するステップと、
Ｎ個の成分を有し、成分の各々が第１のタイプのデータ項目の１つである、第１のベクトルＧ（Ｉｍ）と、Ｎ個の成分を有し、成分の各々が第１の係数ＷiImの１つである、第２のベクトルＷ（Ｉｍ）からなる索引を画像Ｉｍに関連付けるステップとが含まれる。
【００３２】
この構成により、画像の意味内容に関する代表性に関してはるかに正確な索引が、画像ごとに得られる。これは、このようにして得られる索引が、ベクトルＷ（Ｉｍ）による少なくとも１つの関心領域の位置を表すデータ項目（第２のタイプのデータ項目）およびベクトルＧ（Ｉｍ）による画像のブロックごとの画像の視覚的内容の少なくとも１つの特性を表すデータ項目（第１のタイプのデータ項目）を考慮に入れているからである。画像の分割から生じるブロックによるこれら２タイプのデータの組合せも、画像に関連付けられた索引の精度を高めるのに役立つ。
【００３３】
これに相関して本発明は、データベースに格納された複数の画像の中の例示画像から画像を探す方法に関する。この画像検索方法は、例示画像と格納された画像の各々とが、上で手短に定義した画像索引付け方法に従って索引を付けられるという特徴がある。
【００３４】
したがって、例示画像およびデータベースに格納された画像に索引を付ける前記の方法の使用によって、これによって得られる画像検索方法が、この種の画像索引付けを使用しない従来技術の検索システムよりはるかに正確な検索結果を得ることを可能にする。
【００３５】
これは、一方では、データベース管理者が、データベース内の画像ごとに、画像の関心領域の定義によって画像の意味的内容を指定するように取り計らい、これらの関心領域が、画像の索引に存在するベクトルＷ（Ｉｍ）を介して考慮されるからである。その一方で、ユーザは、例示画像に関連付けられた第２のタイプのデータ項目を介して、自分が見付けたい領域に対応する領域を画像内で選択することによって、自分の要求を指定することもできる。画像の索引に関連付けられたベクトルＷ（Ｉｍ）の計算によって、これらの関心領域を検索で考慮に入れることが可能になる。
【００３６】
本発明は、データベースに格納された複数の画像の中の例示画像から画像を探す装置にも関する。本発明によれば、この装置は、本発明の第２の態様に関連付けられて、上記のように簡潔に定義した如く、画像に索引を付ける方法または画像を探す方法もしくはその両方を実施するように適合された手段を有する。
【００３７】
本発明は、本発明の第２の態様に関して上記定義した、画像に索引を付ける方法または画像を探す方法もしくはその両方を実施するように適合された手段を有するか、上述の画像を探す装置を有する、コンピュータにも関する。また本発明は、プログラムがコンピュータにロードされ、実行される時に、前記の画像検索方法を実施することができる１つ又は複数の命令のシーケンスを含むコンピュータプログラムにも関する。本発明は、前記のコンピュータプログラムを含むことを特徴とする、ディスケットまたはコンパクトディスク（ＣＤ）などの情報担体にも関する。
【００３８】
この画像検索装置、このコンピュータ、このコンピュータ・プログラム、およびこの情報担体の利点は、簡潔に上記開示した画像の索引付け／検索方法の利点と同じである。
【００３９】
本発明の他の特殊性および利点も、以下の説明から明らかになるであろう。
【００４０】
【発明の実施の形態】
まず、図１を参照して、本発明による画像検索装置（１）の全般的なアーキテクチャを示すブロック図を説明する。装置１には、ハードウェア要素およびソフトウェア要素が含まれる。
【００４１】
図１に示された装置には、格納される新しい画像のデータベース１１への入力と、格納された画像または格納された画像で索引付けされるデータもしくはその両方の読み出しを可能にするための画像データ入出力装置１０が含まれる。
【００４２】
例示画像を入力するためのユニット３０が、入力装置３１に関連付けられて、ユーザが例示画像を入力または指示できるようにし、データベースに格納された画像と、この例示画像の比較によって、検索の結果として１つまたは複数の画像を得ることが可能になる。これら検索された画像は、表示ユニット９０に表示することができる。
【００４３】
装置１には、データベース１１から取り出されたデータ、または入力ユニット３０および入力装置３１によって得られた例示画像に関連付けられたデータを一時的に記憶する目的の画像データ記憶ユニット２０も含まれる。
【００４４】
図１の装置には、状況に応じて、データベース１１に格納された画像に関連付けられた索引データを取り出すため、または、データベースに格納される画像に関連付けられた索引データを抽出するための、ユニット４０も含まれる。
【００４５】
同様に、ユニット５０は、例示画像の索引の抽出または取り出しを行うためのものである。
【００４６】
類似性計算ユニット６０は、例示画像とデータベース画像の類似性を評価するものである。画像選択ユニット７０は、例示画像との類似性に従ってデータベース画像をソートし、検索の結果として格納される１つまたは複数の画像を選択する。本発明の好ましい実施形態では、選択された画像が、表示ユニット９０に表示される。
【００４７】
最後に、図１に示された画像検索装置は、装置の全体的な機能を制御する制御ユニット８０を有する。
【００４８】
データベース１１に格納された画像の各々は、次のように索引を付けられる。新しい画像がデータベースに格納される時には、その画像から前もって抽出された、その画像の視覚的内容の少なくとも１つの特性を表すデータ項目がある。本発明の好ましい実施形態によれば、このデータ項目は、画像内の色の分布の特性（色のヒストグラム）である。
【００４９】
本発明は、画像が圧縮形式で格納される場合にも適用される。この場合、画像は、ビットストリームによって表される。たとえば、圧縮アルゴリズムで、最新技術から既知のディジタル・ウェーブレット変換が使用される場合、画像の特定のサブバンドを検討することによって、元の画像の内容の特性を表すことができる。
【００５０】
本発明によれば、画像内の少なくとも１つの関心領域の位置を表す第２のデータ項目も、データベースに格納される画像の各々に関連付けられる。
【００５１】
これらの関心領域（ＲＯＩ）は、画像のうちで大量の意味情報を含むと思われる領域であるが、データベースを管理する人物が、たとえばユーザ用の上述のものに類似の手段（マウス、キーボードなど）を使用して、個人的知覚に従って、その画像の特性を表す視覚的情報に基づくＲＯＩを定義することができる。
【００５２】
関心領域は、他の判断基準に従って、画像がデータベースに入力される時に自動的に定義することもできる。具体的に言うと、画像が圧縮形式で格納される場合に、その関心領域は、その画像の特定のゾーンをより微細にコーディングするために圧縮アルゴリズムに関して指定された画像領域と一致するものとすることができる。
【００５３】
本発明の特定の実施形態では、データベースに格納された画像に関連付けられた１つまたは複数のＲＯＩを表すデータ項目が、２次元点（２Ｄ点）の集合を含む。こうして、コンピュータ・リソースに関して安価であり、利用の観点から十分である、関心領域を表す方法が得られる。
【００５４】
最後に、データベースに格納された各画像に、本明細書の残りの部分で「内容データ項目」または「第１のタイプのデータ項目」と呼ばれる、画像の視覚的内容の少なくとも１つの特性を表す第１のデータ項目と、本明細書の残りの部分で「ＲＯＩを表すデータ項目」または「第２のタイプのデータ項目」と呼ばれる、画像の少なくとも１つの関心領域の位置を表す第２のデータ項目が関連付けられる。
【００５５】
データベースに格納される画像の索引付けは、前に述べたように、格納された画像の索引の抽出／取出しユニット４０によって行われる。
【００５６】
次に図２を参照して、図１に示された画像検索装置（１）によって実施される、本発明による画像検索方法を説明する。
【００５７】
この検索方法は、ステップＳ１で開始され、ここで、人間のユーザが、データベース内の画像を検索するための基準となる例示画像を定義するために、入力装置３１に関連付けられた例示画像入力ユニット３０を使用する。ユーザは、例示画像の定義に関して、データベース内の画像を指定するか、データベースの外部の画像を供給するかを選択できる。
【００５８】
本発明の好ましい実施形態によれば、入力装置３１は、マウスなどのポインティング装置ならびにキーボードを有し、表示ユニット９０には画面（スクリーン）が含まれる。
【００５９】
ユーザが例示画像としてデータベース内の画像を選択できるようにするために、検索装置は、画面９０に、データベース内の画像を表すアイコンを表示する。そしてユーザは、マウスによって、自分が探している１つまたは複数の画像の内容に最も近い内容を有すると思われる画像のアイコンを選択することができる。この変形例として、ユーザがキーボードを使用して、例示画像として選択する格納された画像の参照を入力することもできる。
【００６０】
またユーザが、データベースの外部の画像を供給することを選択する場合には、ユーザは、たとえば、入力装置３１に統合されたディスクドライブまたはコンパクトディスク（ＣＤ−ＲＯＭ）ドライブを介してアクセス可能な例示画像へのアクセスパスを検索装置１に供給することができる。
【００６１】
図２を参照すると、ユーザが、画像検索装置１に例示画像を入力した（ステップＳ１）後に、画像入力装置１が、ステップＳ２で、その例示画像に関連付けられた１つまたは複数の関心領域（ＲＯＩ）を定義する。
【００６２】
本発明の好ましい実施形態によれば、選択された例示画像が、画面に表示され、ユーザが入力装置３１のマウスを使用して、たとえば、「ドラッグ・アンド・ドロップ」によって既知の方法に従ってマウスを使用することによって、画像の関心領域（ＲＯＩ）の輪郭を描く。ここで描かれる輪郭線は、円、多角形、またはなんらかの形状などの通常の幾何形状とすることができる。こうして関心領域の輪郭が描かれた後に、ユーザは、たとえばキーボードのキーを押下することによって、その輪郭を有効にする。この輪郭は、画像平面上でのこの領域の形状および空間的位置を定義する２Ｄ点の集合に変換される。
【００６３】
ユーザは、同じ動作に従って複数の関心領域を定義することができる。
【００６４】
例示画像の関心領域に対応するデータの集合が、画像データ記憶ユニット２０に格納される。
【００６５】
注：例示画像がデータベースの外部の画像である時に、ユーザが、選択した例示画像内で関心領域を定義しない場合には、検索装置は、類似性計算のために、デフォルトでデータベース内の例示画像について定義済みの関心領域を使用する。
【００６６】
次のステップＳ３に進み、例示画像の索引の抽出／取出しユニット５０が、例示画像の視覚的内容に関する情報の項目、すなわち、例示画像の視覚的内容の少なくとも１つの特性を表すデータ項目を得る。
【００６７】
このデータ項目は、データベースに格納された画像に対する索引になるデータ項目と同じタイプである。
【００６８】
ここで２つの場合が生じる可能性がある。例示画像が格納された画像である場合には、ユニット５０は、データベース（１１）内のこの画像に関連付けられた索引内でこのデータ項目を探す。
【００６９】
一方、例示画像が、ユーザによって供給される、データベースの外部の画像である場合には、例示画像が、まず装置１のユニット２０のメモリにコピーされる。その後、ユニット５０が、例示画像から内容データ項目（画像の視覚的内容の少なくとも１つの特性を表す）を抽出する。
【００７０】
ここで例示画像から内容データ項目を抽出する方法が、データベースに格納される画像に適用される方法と同じであることに留意されたい。画像から内容データ項目を抽出する方法は、後に図３、図５、および図８に関する説明で詳細に述べる。
【００７１】
こうして内容データ項目が抽出または取り出された後に、その内容データ項目が、例示画像の索引を構成するために、前のステップＳ２で得られたＲＯＩを示すデータ項目と関連付けられる。その後、例示画像の索引が、後続の処理で使用するために画像データ記憶ユニット２０に保管される。
【００７２】
次のステップＳ４では、格納された画像の索引取出しユニット４０が、データベースから、格納された画像の少なくとも１つの部分集合の中からの画像に関連付けられた索引を取り出す。前に説明したように、各索引には、内容データ項目とＲＯＩを示すデータ項目が含まれる。その後、データベースから抽出された索引が、画像データ記憶ユニット２０に保管される。
【００７３】
上述のように、格納された画像の一部だけに関連付けられた索引をデータベースから抽出することで十分である可能性がある。実際に、データベースが階層的に編成され、データベース内の画像が異なるクラスにグループ化されている時にはこうなる可能性がある。この場合、クラスの各々は、異なる意味値を有する索引によって表される。したがって、これらの索引の各々に関連付けられた類似性尺度を定義することによって、データベースが階層的に編成されていない場合に作用されるはずの回数より少ない数の類似性計算で済むことになる。
【００７４】
次にステップＳ５に進み、類似性計算ユニット６０が、格納された画像の索引と、ユニット２０に前に格納された例示画像の索引を取出し、例示画像と、データベースから索引が抽出され、格納された画像の各々との間の類似性の計算を行う。
【００７５】
本発明によれば、ステップＳ５で行われる類似性計算で、例示画像および所与の格納された画像にそれぞれが関連する内容データおよびＲＯＩデータが考慮される。
【００７６】
本発明の好ましい実施形態による類似性計算方法は、後に図４および図７に関して詳細に述べる。
【００７７】
ステップＳ５で類似性計算を実行した後に、ステップＳ６で、例示画像との類似性の度合に応じて、例示画像と比較された格納された画像のソートおよび選択が実行される。
【００７８】
たとえば、本発明の特定の実施形態によれば、計算された類似性の度合が定義済みの閾値より大きい格納された画像だけが、保持される。後者の中で、最も高い類似性の度合を有する、定義済みの数の画像（たとえば１０個）だけが選択される。選択された画像は、類似性の順（昇順または降順）で、画面に表示される（ステップＳ７）。その後、ユーザが選択を行う。
【００７９】
変形例として、例示画像と比較された画像のすべてが、類似性の順で画面に表示されても良い。
【００８０】
第２の変形例では、例示画像に対する最大の類似性を有するデータベース内の画像だけが表示される。
【００８１】
ステップＳ６（ソート／選択）およびＳ７（表示）は、図１に示された画像検索装置１の画像選択ユニット７０によって実施される。
【００８２】
この装置１の制御ユニット８０は、画像検索方法のステップのシーケンシングを制御し、前記装置を構成する異なるユニットの間の相互動作を管理する。
【００８３】
ここで図３を参照して、本発明の第１の態様の好ましい実施形態による、画像の視覚的内容を表す情報の項目を抽出する方法を説明する。
【００８４】
図３に示された抽出方法は、データベースに格納される画像の索引付け中に内容データ項目を抽出する場合と、例示画像がユーザによってデータベースの外部から供給される時に、その例示画像の内容データ項目を抽出する場合の両方に使用される。第１の場合には、その動作は、格納された画像の索引の抽出／取出しユニット４０によって実行される。後者の場合には、内容データ項目の抽出は、例示画像の索引の抽出／取出しユニット５０によって実行される。
【００８５】
図３に示された抽出方法は、ステップＳ３１０で開始され、ここで、処理される画像Ｉｍが取り出される。例示画像の場合であれば、これは、前に画像データ記憶ユニット２０に格納されたビットマップ表現の形で取り出すことができる。
変形例として、画像を、圧縮画像の形で取り出すことができる。
【００８６】
またステップＳ３１０で、カウンタｉを、値“１”に初期化する。次にステップＳ３１２に進み、取り出された画像Ｉｍを、Ｎ個（Ｎは整数）のブロックＢ1からＢNの区分に従って分割する。
【００８７】
ここで、用語「区分」を、以下に示す数学的な意味で理解しなければならないことを述べる必要がある。
【００８８】
集合の区分とは、この集合を別々の対で空でない部分に分割することであり、それらの部分の組合せは集合に等しい。
【００８９】
この区分は、任意のタイプとすることができ、データベースに格納された画像の各々および例示画像について異なるものとすることができることに留意されたい。しかし、ブロック数が同じであることと、各ブロック（Ｂi）の画像点（「画素」）の数が十分であることが必要である。実際には、点の数は、“１００”を超えなければならない。これは、この条件が充たされない場合に、本発明の好ましい実施形態に従ってブロックから抽出される色のヒストグラムが、所与のブロックの視覚的内容においてほんの少しの意味しか持たなくなるからである。
【００９０】
本発明の好ましい実施形態では、処理される画像が、図８に示されているように１６ブロック（Ｎ＝１６）の矩形グリッドに分割され、図８では、索引を付けられる画像２が、同じ表面積を有する１６個のブロックＢ1からＢ16に分割されている。図３に関して以下で説明するように、画像を構成するブロックの各々は、そのブロックの視覚的内容を表す情報を抽出するために、代わるがわる検討される。前に述べたように、この情報は、本発明の好ましい実施形態では色のヒストグラムである。
【００９１】
図３に戻って、処理される画像がＮ個のブロックに分割された（ステップＳ３１２）後に、次のステップＳ３１４で、画像のブロックＢiを選択する。カウンタｉは前に“１”に初期化されている（ステップＳ３１０）ので、最初のステップは、ブロックＢ1（ｉ＝１）を選択することになる。
【００９２】
次にステップＳ３１６に進み、その選択されたブロックＢiに関連付けられた色のヒストグラムＨiを計算する。
【００９３】
本発明において、画像から色のヒストグラムを計算するのに使用される方法は、最新技術から既知である。色に基づく画像の索引付けに関する詳細を得るために、たとえば、スウェイン（M. J. Swain）およびバラッド（D. H. Ballard）による論文、「Color Indexing」、International Journal of Computer Vision,７：１、１９９１年を参照することができる。
【００９４】
次にステップＳ３１８に進み、選択された画像のブロックについて前のステップ（Ｓ３１６）で計算された色のヒストグラムを、画像データ記憶ユニット２０に保管する。
【００９５】
次にステップＳ３２０に進み、カウンタｉを増分（＋１）する。そしてステップＳ３２２に進み、カウンタｉが定義済みの数Ｎ（画像内のブロック数）より大きいか否かを判定する。
【００９６】
ここで否定の場合には、対応する色のヒストグラムを計算するために（ステップＳ３１６およびＳ３１８）画像の次のブロックを選択するためにステップＳ３１２をもう一度実行し、その後、カウンタｉがもう一度増分され（Ｓ３２０）、テストされる（Ｓ３２２）。
【００９７】
こうしてカウンタｉがブロック数Ｎより大きくなると、選択された最後のブロックがブロックＢNであることを意味する。その結果、画像内のすべてのブロックが処理済みとなる。この場合は最終ステップＳ３２４に進み、ここで、画像Ｉｍの異なるブロックに対応する計算された色のヒストグラムのすべてが、次のＮ個の成分のベクトルに一緒にグループ化される。
【００９８】
Ｇ（Ｉｍ）＝［Ｈ1，…，ＨN］
ベクトルＧ（Ｉｍ）の成分Ｈiの各々は、画像のブロックＢiについて計算された色のヒストグラムに対応する。
【００９９】
Ｃが、使用可能な色（色のパレット）の総数である場合に、各ヒストグラムＨiにＣ個の要素が含まれることに留意されたい。
【０１００】
また、本発明の好ましい実施形態では、使用される色の空間がＲＧＢ空間であるが、たとえばＨＳＶ空間などの他の空間も使用することができることに留意されたい。
【０１０１】
画像Ｉｍに関連付けられたベクトルＧ（Ｉｍ）は、画像の視覚的内容の少なくとも１つの特性を表す「内容データ項目」または「第１のタイプのデータ項目」を構成する。本発明の好ましい実施形態による、画像のブロックに関連付けられた色の分布（ヒストグラム）のすべてからなる画像の視覚的内容の特性が得られる。
【０１０２】
したがって、画像ごとに、「ローカルな」特性（ブロック単位）を有する画像の視覚的内容の少なくとも１つの特性を表すデータ項目（第１のタイプのデータ項目）が得られる。この「ローカルな」特性によって、図４に関連付けられて後で詳細に述べる本発明による類似性計算処理を実施することが可能になる。
【０１０３】
その結果、データベースから生成されるか、或いは例示画像として入力される画像Ｉｍの索引は、取り出されるか抽出された後に、上で定義したベクトルＧ（Ｉｍ）と、これ以降ＲＯＩ（Ｉｍ）と表される画像の少なくとも１つの関心領域の位置を表すデータ項目（ＲＯＩを示すデータ項目）からなる。
【０１０４】
この説明の残りの部分では、用語「ＲＯＩ（Ｉｍ）」を使用して、画像Ｉｍに関連付けられた関心領域、またはこの画像の関心領域を表すデータ項目のいずれかを偏頗なく指定する。
【０１０５】
したがって、任意の画像Ｉｍに関連付けられた索引は、次の形でＩｎｄｅｘ（Ｉｍ）として表すことができる。
【０１０６】
Ｉｎｄｅｘ（Ｉｍ）＝（Ｇ（Ｉｍ）；ＲＯＩ（Ｉｍ））
次に図４を参照して、本発明の第１の態様の好ましい実施形態による、例示画像とデータベース内の画像の間の類似性を計算する方法を説明する。図４のフローチャートには、前に説明した図２のステップＳ５の詳細が示されている。
【０１０７】
本発明の説明を簡単にするために、図４に示された例の実施形態では、格納される画像の各々および例示画像について、索引を付けられるＲＯＩを示すデータ項目が、画像内の、１つの関心領域だけの位置を表すと仮定する。
【０１０８】
しかし、この説明で後述するように、本発明は、任意の個数の関心領域が、格納された画像および例示画像内で定義されている場合にも適用される。
【０１０９】
さらに、本発明の説明を簡単にするために、例示画像および格納された画像が、すべて同じサイズを有すると仮定する。
【０１１０】
しかし、本発明は、画像が異なるサイズを有する場合にも適用可能である。この場合には、画像分割グリッド（図８に図示）が、関連する索引の計算のために、格納された画像の場合と例示画像の場合で同じであることを保証する必要がある。
【０１１１】
図４では、類似性計算方法が、この方法によって使用される変数の初期化のステップＳ４１０から開始され、この初期化には、特に下記が含まれる。
【０１１２】
“１”に初期化されるカウンタｉ
“０”に初期化される変数Ｗ1からＷN。これらは、類似性の計算に使用される重み付け係数に対応する。
【０１１３】
“０”に初期化される変数ＩＮＴＥＲ。この変数には、類似性の計算の中間結果が格納される。
【０１１４】
“０”に初期化される変数ＳＩＭ。これは、類似性計算の最終結果を受け取るためのものである。
【０１１５】
この初期化ステップの後に、並列に実行される２つのステップ、ステップＳ４１２およびＳ４１４が続き、これらのステップで、Ｉｎｄｅｘ（Ｑ）で表される例示画像Ｑの索引と、Ｉｎｄｅｘ（Ｄ）で表されるデータベースに格納された画像Ｄの索引が取り出される。前に述べたように、２つのインデックスの各々には、各成分が色のヒストグラムであるＮ個の成分のベクトル（Ｇ（Ｑ）、Ｇ（Ｄ）と、ＲＯＩを示すデータ項目（ＲＯＩ（Ｑ）、ＲＯＩ（Ｄ））が含まれる。
【０１１６】
検討中の格納された画像の索引および例示画像の索引は、それらが前に格納された（図２のステップＳ２からＳ４）画像データ記憶ユニット２０で取り出される。
【０１１７】
次にステップＳ４１６に進み、画像の各々（ＱおよびＤ）のブロックＢiが選択され、カウンタｉが前に値“１”に初期化されている（ステップＳ４１０）ので、ブロックＢ1から開始される。ブロックＢiの「選択」は、ここでは、例示画像および格納された画像の各々について、画像の各々に対応する画像平面内の検討中のブロックの、２Ｄ座標に関する位置の検討を意味する。
【０１１８】
したがって、ブロックＢiを選択した後に、次のステップＳ４１８に進み、検討中のブロック（Ｂi）、例示画像に対して索引を付けられる関心領域（ＲＯＩ（Ｑ））、および検討中の格納された画像に対して索引を付けられる関心領域（ＲＯＩ（Ｄ））の間の、表面積に関する交わりを計算する。この交わりの値を、「ＩＮＴＥＲ」で表す。
【０１１９】
次にステップＳ４２０に進み、前のステップで計算された交わりの面積ＩＮＴＥＲが“０”であるか否かを判定する判断ステップを実行する。
【０１２０】
ここで肯定の場合、選択されたブロックＢiに対応する係数Ｗiが、ステップＳ４２０で初期化された値“０”を保つ（ステップＳ４２２）。本発明の変形実施形態によれば、ステップＳ４２２でＷiに与えられる値を、“０”と異なるものになるように選択することができる。
【０１２１】
否定の場合はステップＳ４２４に進み、係数Ｗiに、前に計算された表面積ＩＮＴＥＲと現在のブロックＢiの総表面積（ＳＵＲＦＡＣＥ（Ｂi））の間の比によって得られる値を割り当てる。
【０１２２】
次にステップＳ４２６に進み、カウンタｉを増分（＋１）する。次のステップＳ４２８は、カウンタｉが、画像内で定義されるブロックの数Ｎより大きいか否かを判定する判断ステップである。
【０１２３】
否定の場合は、次のブロックを選択するためにステップＳ４１６をもう一度実行し、前と同様にこのブロックに関連付けられた交わりの表面積ＩＮＴＥＲを計算し（Ｓ４１８）、それ相応に対応する係数Ｗiに値を割り当てる（ステップＳ４２０、Ｓ４２２、Ｓ４２４）。次に、カウンタｉをもう一度増分し（Ｓ４２６）、テストする（Ｓ４２８）。
【０１２４】
ステップＳ４２８に戻って、カウンタｉが、ブロックの数Ｎより大きい場合、これは、選択された最後のブロックがブロックＢNであることを意味する。その結果、画像平面内のすべてのブロックが処理済みとなった事を表している。
【０１２５】
その後、ステップＳ４３０に進み、次式に従って、例示画像Ｑと検討中の格納された画像Ｄの間の、変数ＳＩＭに割り当てられる類似性の値を判定する。
【０１２６】
【数５】
0004579404.tif 000002
【０１２７】
ここで、ｑiは、画像Ｑに関連付けられたベクトルＧ（Ｑ）のブロックＢiに対応する成分を表し、ｄiは、画像Ｄに関連付けられたベクトルＧ（Ｄ）の、同じブロックＢiに対応する成分を表し、ｄｉｓｔ（ｑi、ｄi）は、２つの色のヒストグラムの間の類似性の尺度を表す。
【０１２８】
本発明の好ましい実施形態で使用される尺度は、最新技術から既知のヒストグラムの間の交わりである。ヒストグラムの間の交わりに関する詳細を得るために、たとえば、スウェイン（M. J. Swain）およびバラッド（D. H. Ballard）による論文、「Color Indexing」、International Journal of Computer Vision,７：１、１９９１年を参照することができる。
【０１２９】
例示画像および検討中の格納された画像の各ブロックの色の分布の比較によって、テクスチャなどの別の記述子の使用と比較して、画像検索の精度を高めることが可能になる。
【０１３０】
最後に、ステップＳ４３２で、図２に関して前に説明した（ステップＳ６）例示画像との類似性の度合の関数として格納された画像をソート／選択するステップで後に使用するために、例示画像と検討中の格納された画像の間の類似性の値（ＳＩＭ）を、画像データ記憶ユニット２０に保管する。
【０１３１】
図４に関して、上記説明した類似性計算処理は、例示画像と比較される格納された画像の各々について再開される。
【０１３２】
したがって、例示画像と比較される格納された画像の各々について、類似性の値が得られ、その計算で、それぞれ例示画像および格納された画像に関連付けられた内容データ（色のヒストグラム）および関心領域を表すデータが考慮される。
【０１３３】
一般的には、例示画像と格納された画像の間の類似性（ＳＩＭ）の計算は、例示画像に関連付けられたベクトルＧ（Ｑ）と、検討中の格納された画像に関連付けられたベクトルＧ（Ｄ）の間の距離の計算によって行われると言うことができる。この距離は、Ｎ個の重み付け係数Ｗiによって重み付けされ、Ｗiの各々の値は、例示画像に関連付けられた関心領域と、検討中の格納された画像に関連付けられた関心領域の、ブロックＢiの１つの中での近接の度合を示す。
【０１３４】
したがって、これらの重み付け係数（Ｗi）の単純な計算により、関心領域を考慮に入れることが、例示画像とデータベース内の画像の間の類似性の計算に反映される。
【０１３５】
本発明の好ましい実施形態によれば、重み付け係数Ｗiは、例示画像に関連付けられた関心領域、検討中の格納された画像に関連付けられた関心領域、および、例示画像の画像平面と検討中の格納された画像の画像平面の検討中のブロックの間の交わりの表面積の関数である値を有する。
【０１３６】
より正確に言うと、前に定義した類似性の値（ＳＩＭ）（式１（数式１））は、値の合計の結果であり、これらの値の各々は、例示画像の所与のブロックに関連付けられた色のヒストグラムと、検討中の格納された画像の同じブロックに関連付けられた色のヒストグラムとの間の交わりの計算によって得られる。交わりの値の各々は、本発明に従って、重み付け係数Ｗiによって重み付けされ、Ｗiの値は、例示画像に関連付けられた関心領域および格納された画像に関連付けられた関心領域の、画像平面の検討中のブロックＢi内での「近接度合」を表す。
【０１３７】
したがって、例示画像の関心領域と検討中の格納された画像の関心領域の間の、画像平面のブロック内の近接が、正確に評価される。
【０１３８】
この「近接度合」が大きいほど、重み付け係数（Ｗi）の値が大きくなり、したがって、内容データの成分（ヒストグラム）の間の交わりの一定の値に対して、得られる類似性値（ＳＩＭ）が大きくなる。
【０１３９】
これは、交わりの表面積ＩＮＴＥＲの値が大きくなるほど、対応する重み付け係数Ｗiが大きくなるからである。所与のブロックＢiについて、重み付け係数Ｗiの値は、“０”と“１”の間（ＩＮＴＥＲがＢiの表面積に等しい時）であることに留意されたい。
【０１４０】
さらに、上の式１からわかるように、類似性値（ＳＩＭ）は、ヒストグラムの交わりの重み付き合計を重み付け係数の和で割ることによって、“１”に標準化される。
【０１４１】
さらに、画像の分割ブロックの数Ｎが大きくなるほど、領域の「近接度合」の計算の粒度が高くなり、したがって、同じことが、計算される類似性の値の精度にもあてはまる。
【０１４２】
本発明によれば、図４に関して上記説明した類似性計算方法を、例示画像内およびデータベース内に格納された画像内に任意の数の関心領域が定義される場合に拡張することができる。
【０１４３】
例示画像Ｑに、Ｒ個（Ｒは整数）の関心領域ＲＯＩr（Ｑ）、ただし、ｒ∈｛１，２，…，Ｒ｝が含まれ、検討中の格納された画像Ｄに、Ｔ個（Ｔは整数）の関心領域ＲＯＩt（Ｄ）、ただし、ｔ∈｛１，２，…，Ｔ｝が含まれると仮定する。
【０１４４】
すると、重み付け係数Ｗiを決定する一般式は、下式のようになる。
【０１４５】
【数６】
0004579404.tif 000003
【０１４６】
結論として、画像（例示画像および格納された）の所与のブロック内の、これらの画像内で定義される関心領域の近接の評価に関連付けられた、色の分布などこれらの画像の視覚的内容の記述子の比較は、上述の重み付け係数の計算によって、本発明の画像検索方法に、これまでに従来技術の画像検索方法で未知の精度および効率を与えると言うことができる。
【０１４７】
次に図５を参照して、本発明の第２の態様の好ましい実施形態による、画像の視覚的内容を表す情報の項目と、関心領域の存在を考慮に入れた画像のブロックによって関連付けられる重み付け係数とから画像に索引を付ける方法を説明する。
【０１４８】
図５に示された索引付け方法は、データベースに格納される画像の索引付け中に内容データを抽出することと、例示画像がユーザによってデータベースに外部から供給される時にその画像の内容データ項目を抽出することの両方のために使用される。第１の場合には、格納された画像の索引の抽出／取出しユニット４０によって実行される。後者の場合には、内容データ項目の抽出は、例示画像の索引の抽出／取出しユニット５０によって実行される。
【０１４９】
図５に示された抽出方法は、ステップＳ５１０で開始され、処理される画像Ｉｍが取り出される。例示画像の場合には、画像データ記憶ユニット２０に前に格納されたビットマップ表現の形でこれを取り出すことができる。変形例として、画像は、圧縮画像の形で取り出すことができる。
【０１５０】
まずステップＳ５１０で、カウンタｉを値“１”に初期化する。次にステップＳ５１２に進み、取り出された画像Ｉｍを、Ｎ個（Ｎは整数）のブロックＢ1からＢNの区分に従って分割する。
【０１５１】
ここで、用語「区分」が、本明細書では、以下に示す数学的な意味で理解されなければならないことを得る必要がある。
【０１５２】
集合の区分とは、この集合を別々の対で空でない部分に分割することであり、それらの部分の組合せは、全体に等しい。
【０１５３】
本発明の好ましい実施形態では、処理される画像が、図８に示されているように、長方形グリッドに従って１６ブロック（Ｎ＝１６）に分割され、図８では、索引を付けられる画像２が、同じ表面積を有する１６個のブロックＢ1からＢ16に分割される。図５に関して以下で説明するように、画像を構成するブロックの各々は、このブロックの視覚的内容を表す情報を抽出するために、代わるがわる検討される。
【０１５４】
図５に戻って、処理される画像をＮ個のブロックに分割（ステップＳ５１２）した後に、次のステップＳ５１４で、画像のブロックＢiを選択する。このカウンタｉは、前に“１”に初期化されている（ステップＳ５１０）ので、最初の動作は、ブロックＢ1（ｉ＝１）を選択することになる。
【０１５５】
次のステップＳ５１６に進み、選択されたブロックＢiに関連付けられた色のヒストグラムＨiを計算する。
【０１５６】
本発明において、画像から色のヒストグラムを計算するのに使用される方法は、最新技術から既知である。色に基づく画像の索引付けに関する詳細を得るために、たとえば、スウェイン（M. J. Swain）およびバラッド（D. H. Ballard）による論文、「Color Indexing」、International Journal of Computer Vision,７：１、１９９１年を参照することができる。
【０１５７】
次にステップＳ５１８に進み、選択された画像のブロックについて前のステップ（Ｓ５１６）で計算された色のヒストグラムを、画像データ記憶ユニット２０に保管する。
【０１５８】
次にステップＳ５２０において、まずカウンタｉを増分し、次にｉの値が画像の分割から生ずるブロックの数Ｎより大きいか否かを判定する判断ステップを実行する。
【０１５９】
否定の場合、画像の次のブロックの対応する色のヒストグラムを計算（ステップＳ５１６およびＳ５１８）するために画像の次のブロックを選択するためにステップＳ５１２をもう一度実行し、カウンタｉをもう一度増分し、テストする（Ｓ５２０）。
【０１６０】
カウンタｉがブロックの数Ｎより大きい場合には、選択された最後のブロックがブロックＢNであることを意味する。その結果、画像のすべてのブロックが処理済みとなる。この場合、ステップＳ５２２に移り、画像Ｉｍの異なるブロックに対応する計算された色のヒストグラムのすべてを、Ｎ個の成分の次のベクトルに一緒にグループ化する。
【０１６１】
Ｇ（Ｉｍ）＝［Ｈ1，…，ＨN］
ベクトルＧ（Ｉｍ）の成分Ｈiの各々が、画像のブロックＢiについて計算された色のヒストグラムに対応する。
【０１６２】
Ｃが、使用可能な色（色のパレット）の総数を表す場合に、各ヒストグラムＨiにＣ個の要素が含まれることに留意されたい。
【０１６３】
本発明の好ましい実施形態では、使用される色の空間がＲＧＢ空間であるが、たとえばＨＳＶ空間などの他の空間も使用可能であることにも留意されたい。
【０１６４】
画像Ｉｍに関連付けられたベクトルＧ（Ｉｍ）は、画像の視覚的内容の少なくとも１つの特性を表す「内容データ」または「第１のタイプのデータ」を構成する。画像の視覚的内容の特性は、本発明の好ましい実施形態によれば、画像のブロックに関連付けられた色の分布（ヒストグラム）のすべてからなる。
【０１６５】
図５に戻って、次のステップＳ５２４で、前に計算されたベクトルＧ（Ｉｍ）のヒストグラムの各々に割り振られる重み付け係数ＷiImまたは重みについて計算が実行され、この重みは、図７に関して以下で説明する類似性計算に使用される。これらの重み付け係数は、その計算を図６を参照して以下で詳細に示すが、検討中の画像内の関心領域の位置を考慮したものである。
【０１６６】
ステップＳ５２６では、重み付け係数をベクトルＷ（Ｉｍ）の形で保管する。Ｗ（Ｉｍ）の各成分ＷiImは、画像に関連付けられたヒストグラムＧ（Ｉｍ）のベクトルの対応する成分Ｈiに関連付けられた重みである。
【０１６７】
最後のステップＳ５２８で、Ｉｎｄｅｘ（Ｉｍ）と表され、前に計算されたベクトルＧ（Ｉｍ）およびＷ（Ｉｍ）からなる索引が、検討中の画像（Ｉｍ）と関連付けられる。
【０１６８】
その結果、データベースから生成されるか、或いは例示画像として入力された画像Ｉｍの索引は、索引が取り出されるか抽出された後に、上で定義したベクトルＧ（Ｉｍ）と重み付け係数のベクトルＷ（Ｉｍ）からなる。
【０１６９】
したがって、画像Ｉｍに関連付けられた索引は、次の形でＩｎｄｅｘ（Ｉｍ）で表すことができる。
【０１７０】
Ｉｎｄｅｘ（Ｉｍ）＝（Ｇ（Ｉｍ）；Ｗ（Ｉｍ））
これ以降では、表記を簡単にするために、ＲＯＩ（Ｉｍ）を使用して、画像Ｉｍに関連付けられた１つまたは複数の関心領域または画像の１つまたは複数の関心領域の位置を示すデータ項目を偏頗なく指定する。
【０１７１】
ここで図６を参照して、図５の重み付け係数ＷiImの計算のステップ（Ｓ５２４）を詳細に説明する。
【０１７２】
例示画像またはデータベース内の画像のいずれかとすることができる画像Ｉｍが、Ｒ個（Ｒは整数）の関心領域ＲＯＩr、ただしｒ∈｛１，２，…Ｒ｝を有すると仮定する。これによってＲＯＩ（Ｉｍ）＝｛ＲＯＩ1、ＲＯＩ2，…，ＲＯＩR｝が与えられる。
【０１７３】
図６では、重み付け係数を計算する方法が、初期化ステップＳ５２６０から開始され、このステップでは、まず、検討中の画像Ｉｍに関連付けられた関心領域ＲＯＩ（Ｉｍ）の位置を示すデータのすべてが取り出される。次に、この方法によって使用される変数が初期化されるが、特筆すべきものを下に示す。
【０１７４】
“１”に初期化される、２つのカウンタｉおよびｒ
“０”に初期化される変数Ｗ1ImからＷNIm。これらの変数は、重み付け係数の計算値を受け取るためのものである
次のステップＳ５２６１で、カウンタｉが前もって値“１”に初期化されているので（ステップＳ５２６０）、ブロックＢ1から始めて、画像ＩｍのブロックＢiを選択する。このブロックＢiの「選択」とは、本明細書では、検討中の画像Ｉｍについて、この画像に対応する画像平面内の検討中のブロックの２Ｄ座標に関する位置を検討することを意味する。
【０１７５】
次のステップで、カウンタｒが前もって値“１”に初期化されているので（ステップＳ５２６０）、ＲＯＩ1によって参照される関心領域から始めて、画像Ｉｍの関心領域ＲＯＩrを選択する。
【０１７６】
次のステップＳ５２６３で、ブロックＢiと選択された関心領域ＲＯＩrの間の交わりの表面積と、ブロックＢiの表面積との間の比（Ｐir）を、次式に従って計算する。
【０１７７】
【数７】
0004579404.tif 000004
【０１７８】
このようにして、この単純な計算を介して得られる各係数Ｐirの値によって、例示画像とデータベースに格納された画像の間の類似性の計算中に画像の各ブロックに与えられる重要性を定量化することが可能になる。
【０１７９】
次のステップ（Ｓ５２６４）は、計算したばかりの比Ｐirの値を一時的に保管するステップである。
【０１８０】
次のステップＳ５２６５は、まずカウンタｒを増分（＋１）し、次に、ｒの値が画像Ｉｍで定義された関心領域の数Ｒより大きいか否かを判定する判断ステップである。
【０１８１】
否定の場合、これは、まだ画像Ｉｍのすべての関心領域が考慮されてはいないことを意味する。この場合、新しいカウンタ値ｒに対応する別の関心領域を選択するためにステップＳ５２６２に戻り、前に説明したようにステップＳ５２６３からＳ５２６５を再開する。
【０１８２】
ステップＳ５２６５に戻って、カウンタｒの値が、画像Ｉｍについて定義された関心領域の数Ｒより厳密に大きいとテストされる場合には、これは、選択された関心領域がＲＯＩRであったことを意味する。
【０１８３】
その場合、ステップＳ５２６６に進み、選択されたブロックｉに対応する画像Ｉｍの重み付け係数ＷiImの値を計算する。
【０１８４】
この目的のために、それぞれが画像の関心領域に対応する前に保管された（Ｓ５２６４）すべての比Ｐirを合計する。この和に対して、画像内で関心領域が定義されていない場合に係数ＷiImのデフォルト値になる定義済みの定数Ｗoの定義済みの値を加算する。本発明の好ましい実施形態では、Ｗoの値は、“１”に等しくなるように選択される。
【０１８５】
したがって、現在のブロックＢi（選択されている）に対応する重み付け係数ＷiImの値は、次式によって得られる。
【０１８６】
【数８】
0004579404.tif 000005
【０１８７】
注：
比Ｐirの各々は、ＢiとＲＯＩrの間の交わりが空集合である時の“０”と、この交わりがＢiに等しい時の“１”との間の値をとることができる。
【０１８８】
その結果、各重み付け係数ＷiImは、Ｗoと（Ｗo＋Ｒ）の間の値をとることができる。
【０１８９】
この様にして、画像ブロックごとに計算された係数ＷiImが、係数Ｗo（関心領域の考慮なし）による画像の大域的内容または「背景」内容と、同じブロックから計算された係数Ｐirの合計による関心領域の特定の内容の両方を考慮に入れたものになる。係数Ｗoを変更することによって、関心領域の内容の重要性と比較した画像の背景の内容の重要性を変更することが可能になる。
【０１９０】
図５に戻って、重み付け係数ＷiImを計算した（Ｓ５２６６）後に、その値を保管する（ステップＳ５２６７）。
【０１９１】
次のステップＳ５２６８は、まずカウンタｉを増分し、次に、ｉの値が、画像Ｉｍの画像平面の分割から生じるブロックの数Ｎより大きいか否かを判定する判断ステップである。
【０１９２】
否定の場合、これは、まだ画像Ｉｍに関連付けられたすべてのブロックＢiが考慮されてはいないことを意味する。この場合、新しいカウンタ値ｉに対応する別のブロックを選択するためにステップＳ５２６１に戻り、前に説明したようにステップＳ５２６２からＳ５２６８を再開する。
【０１９３】
ステップＳ５２６８に戻って、カウンタｉの値が、画像Ｉｍの画像平面内で分割されるブロックの数Ｎより厳密に大きいとテストされる場合には、これは、選択された最後のブロックがブロックＢNであったことを意味する。
【０１９４】
その後、最終ステップＳ５２６に移り、ここで、図５に関して前に述べたように、重み付け係数がベクトルＷ（Ｉｍ）の形で保管される。Ｗ（Ｉｍ）の各成分ＷiImは、対応する成分、すなわち、画像に関連付けられたベクトルＧ（Ｉｍ）の、同じランクを有する、又は画像平面の同じブロックに関連付けられた成分に関連付けられた重み付け係数である。
【０１９５】
ここで、ベクトルＧ（Ｉｍ）の各成分が、画像のブロックの視覚的内容を表すデータ項目であることを述べる必要がある。本発明の好ましい実施形態のデータ項目は、色のヒストグラムである。
【０１９６】
したがって、計算された係数Ｐir（ステップ（Ｓ５２６３）の各々は、画像Ｉｍの画像平面の検討中のブロックＢi内の対応する関心領域ＲＯＩrの「存在」の度合を示すと言うこともできる。
【０１９７】
したがって、各係数ＷiImが、この画像について定義された１つまたは複数の関心領域の、画像の検討中のブロックＢi内の存在の度合を示すと言うこともできる。
【０１９８】
図７を参照して、本発明の第２の態様の好ましい実施形態に係る、例示画像とデータベース内の画像の間の類似性を計算する方法を説明する。図７のフローチャートは、前に説明した図２のステップＳ５を詳細に示したものである。
【０１９９】
本発明の開示を簡単にするために、例示画像と格納された画像のすべてが、同じサイズを有すると仮定する。
【０２００】
しかし、本発明は、画像が異なるサイズを有する場合にも適用される。この場合には、画像の分割グリッド（図８に図示）が、関連する索引の計算のために、例示画像の場合と格納された画像の場合で同じであることを保証する必要がある。
【０２０１】
図７では、類似性計算方法が、この方法によって使用される変数の初期化のステップＳ７１０から開始され、この初期化には、特に下記が含まれる。
【０２０２】
“１”に初期化されるカウンタｉ
“０”に初期化される変数ＳＩＭ。これは、類似性計算の最終結果を受け取るためのものである
“０”に初期化される変数Ｒ1からＲN。これらは、類似性の計算に使用される最終的な重み付け係数（結果）に対応する
この初期化ステップに、並列に実行される２つのステップ、ステップＳ７１２およびＳ７１４が続き、これらのステップでは、それぞれ、Ｉｎｄｅｘ（Ｑ）と表される例示画像Ｑの索引と、Ｉｎｄｅｘ（Ｄ）と表されるデータベースに格納された画像Ｄの索引が取り出される。上述のように、２つの索引の各々には、各成分が色のヒストグラムである、Ｎ個の成分を有するベクトル（Ｇ（Ｑ）、Ｇ（Ｄ））と、図６で説明した方法によって計算される重み付け係数のベクトル（Ｗ（Ｑ）、Ｗ（Ｄ））が含まれる。これによって、次式が与えられる。
【０２０３】
Ｗ（Ｑ）＝［Ｗ1Q、…，ＷNQ］、および
Ｗ（Ｄ）＝［Ｗ1D、…，ＷND］
Ｎは、画像の各々の画像平面の分割から生じるブロックの数である。
【０２０４】
検討中の格納された画像の索引および例示画像の索引が、前にそれらが格納された（図２、ステップＳ２からＳ４）画像データ記憶ユニット２０内で取り出される。
【０２０５】
次のステップは、ブロックＢ1（１に初期化されたカウンタｉの値に従う）に対応するものから始めて、画像ＱおよびＤに関連付けられた、ブロックＢiに対応する重み付け係数ＷiQおよびＷiDを検討する判断ステップである。その後、現在の係数ＷiQおよびＷiDが共に、デフォルト値Ｗoより大きいかどうかを判定する。
【０２０６】
肯定の場合はステップＳ７１８に進み、ここで、これらの係数の合計を、次式に従って、現在のブロックＢiに対応する結果の重み付け係数Ｒiに割り振る。
【０２０７】
Ｒi＝ＷiQ＋ＷiＤ
逆に、否定の場合はステップＳ７２０に進み、ここで、画像ＱおよびＤの係数の合計からＷoの値を引いたものを、現在のブロックＢiに対応する結果の重み付け係数Ｒiに割り振る。
【０２０８】
Ｒi＝ＷiQ＋ＷiD−Ｗo
ここで、
ＷiQ＝ＷiD＝Ｗoの場合には、Ｒi＝Ｗoである。
【０２０９】
ＷiQ＝ＷoかつＷiDがＷoと異なる場合には、Ｒi＝ＷiDである。
【０２１０】
ＷiD＝ＷoかつＷiQがＷoと異なる場合には、Ｒi＝ＷiQである
したがって、係数Ｒiは、使用されるコンピュータ・リソースに関して安価な単純な計算によって得られ、それによって得られる値は、例示画像および検討中の格納された画像の関心領域の、検討中のブロック内に同時に存在する度合を示す。
【０２１１】
図７に戻って、次のステップＳ７２２は、まずカウンタｉを増分し、次に、ｉの値が、画像ＱおよびＤの画像平面の分割から生じるブロックの数Ｎより大きいか否かを判定する判断ステップである。
【０２１２】
否定の場合、これは、まだ画像に関連付けられた全てのブロックＢiが考慮されていないことを意味する。この場合、次の係数ＷiQおよびＷiDをテストするためにステップＳ７１６に戻り、その後、前と同様にステップＳ７１８またはＳ７２０を実行する。
【０２１３】
ステップＳ７２２に戻って、カウンタｉがブロックの数Ｎより大きい場合には、選択された最後の係数がブロックＢNに対応することを意味する。その結果、結果の係数Ｒiのすべてが計算済みとなる。
【０２１４】
その後、ステップＳ７２４に進み、次式に従って、例示画像Ｑと検討中の格納された画像Ｄの間の、変数ＳＩＭに割り振られる類似性値を判定する。
【０２１５】
【数９】
0004579404.tif 000006
【０２１６】
ここで、ｑiは、画像Ｑに関連付けられたベクトルＧ（Ｑ）の、ブロックＢiに対応する成分を表し、ｄiは、画像Ｄに関連付けられたベクトルＧ（Ｄ）の、同じブロックＢiに対応する成分を表し、ｄｉｓｔ（ｑi、ｄi）は、この２つの成分の間の類似性の尺度を表す。
【０２１７】
本発明の好ましい実施形態で使用される尺度は、成分が色のヒストグラムである最新技術の既知のヒストグラムの間の交わりである。ヒストグラムの間の交わりに関する詳細を得るために、たとえば、スウェイン（M. J. Swain）およびバラッド（D. H. Ballard）による論文、「Color Indexing」、International Journal of Computer Vision,７：１、１９９１年を参照することができる。
【０２１８】
最後に、ステップＳ７２６で、例示画像と、検討中の格納された画像の間の類似性値（ＳＩＭ）を、前に図２に関連付けられて説明した、例示画像に対する類似性の度合の関数として格納された画像をソート／選択するステップ（ステップＳ６）中において後で使用するために、画像データ記憶ユニット２０に保管する。
【０２１９】
図７に関して上記説明した類似性計算処理は、例示画像と比較される格納された画像の各々について再開される。
【０２２０】
従って、例示画像と比較される格納された画像の各々について、類似性値が得られ、その計算では、内容データ（色のヒストグラム）と、それぞれ例示画像および格納された画像に関連付けられた関心領域を示すデータが考慮される。
【０２２１】
一般的には、例示画像と、格納された画像の間の類似性（ＳＩＭ）の計算は、例示画像に関連付けられたベクトルＧ（Ｑ）と、検討中の格納された画像に関連付けられたベクトルＧ（Ｄ）の間の距離の計算によって行われると言うことができる。この距離は、Ｎ個の重み付け係数Ｒiによって重み付けされ、Ｒiの各々の値は、例示画像に関連付けられた関心領域と、検討中の格納された画像に関連付けられた関心領域の、ブロックＢiの１つの中での存在の度合を示す。
【０２２２】
ベクトルの間のこの距離の計算が、単純で計算時間に関して安価な、例示画像と格納された画像の間の類似性の計算の使用をもたらす。
【０２２３】
正確に言うと、前に定義した類似性値（ＳＩＭ）（式５（数式９））は、それぞれが例示画像の所与のブロックに関連付けられた色のヒストグラムと検討中の格納された画像の同じブロックに関連付けられた色のヒストグラムの間の交わりの計算によって得られる値の合計の結果である。各交わりの値は、本発明に従って、例示画像および検討中の格納された画像の検討中のブロックの内容（色の分布）の重要性に、これらの画像に存在する関心領域の関数として重み付けする値を有する重み付け関数Ｒiが乗算される。
【０２２４】
さらに、上の式（式５）からわかるように、類似性値（ＳＩＭ）は、類似性尺度ｄｉｓｔ（ｑi、ｄi）の重み付き合計を結果の重み付け係数の合計で割ることによって、“１”に標準化される。
【０２２５】
さらに、画像分割ブロックの数Ｎが大きいほど、これらのブロック内の関心領域の存在の度合の評価がより正確になり、したがって、同じことが、計算される類似性の値の精度にあてはまる。こうして得られる類似性の尺度は、より高い精度を有する検索結果を供給する。
【０２２６】
ここで図９を参照して、本発明による、前に図２から図８に関して説明した画像索引付け方法および画像検索方法を実施するように適合されたコンピュータを説明する。図９に示されたコンピュータは、図１に関して前に説明した一般的な装置の特定の好ましい実施形態であることに留意されたい。
【０２２７】
この実施形態では、本発明による索引付け方法および画像検索方法が、コンピュータ・プログラムの形で実施される。これらのプログラムには、１つまたは複数の命令のシーケンスが含まれ、前記コンピュータによるこのシーケンスの実行によって、本発明による画像索引付け方法および画像検索方法のステップを実施できるようになる。
【０２２８】
図９では、通常はマイクロコンピュータまたはワークステーションとすることができるコンピュータ３が、コンピュータ３に索引を付けられる情報（画像、ビデオ）を供給する、たとえばディジタルカメラ３１０または、スキャナなどの他の画像獲得装置または画像記憶装置などの異なる周辺機器に接続される。これらの画像は、ハードディスク３０４などの、コンピュータから使用可能な記憶手段に格納することができる。
【０２２９】
コンピュータ３は、たとえばインターネットなど、索引付けされるディジタル情報をコンピュータに送ることができる通信ネットワーク３０９に接続された通信インターフェース３０８も有する。
【０２３０】
コンピュータ３は、ハードディスク３０４、または、ディスケット３０５にデータを書き込み、これらのデータを読み取るためのディスクドライブ３０５などのデータ記憶手段も有する。コンピュータは、データベース内の画像を格納することができるコンパクト・ディスク（ＣＤ−ＲＯＭ）ドライブ（図示せず）ならびにコンピュータ・カードリーダ（ＰＣカード）（図示せず）も有することができる。
【０２３１】
本発明の好ましい実施形態によれば、本発明による索引付け方法および画像検索方法を実施するためのプログラムの実行可能コードは、ハードディスク３０４に格納される。
【０２３２】
変形実施形態によれば、これらのプログラムの実行可能コードは、コンピュータの読取専用メモリ３００（ＲＯＭ）に格納される。
【０２３３】
第２の変形実施形態によれば、１つまたは複数のプログラムの実行可能コードを、ハードディスク３０４に格納するために、通信インターフェース３０８を介して通信ネットワーク３０９からダウンロードすることができる。
【０２３４】
コンピュータ３は、索引を付けられる画像または索引を付けられた画像を表示し、特筆すべきことに、ユーザがマウスまたは光学ペンなどのポインティング装置（図示せず）およびキーボード３０３を使用して例示画像を提示し、関心領域を定義できるようにする、ユーザとのグラフィカル・インターフェースとして働く画面３０２も有する。
【０２３５】
コンピュータは、読取専用メモリ３００またはハードディスク３０４に格納された本発明の１つまたは複数のプログラムの命令の実行を制御し、指示する、たとえばマイクロコンピュータなどの中央処理装置（ＣＰＵ）３０１を有する。中央処理装置３０１は、図１に関して上で説明した制御ユニット８０の機能を実現する。
【０２３６】
コンピュータは、図９のランダムアクセスメモリ（ＲＡＭ）の拡大表現からわかるように、プログラムの実行中に作成され変更される変数、特筆すべきは、図４、図６、および図７の説明に関して上述の変数を格納する目的のレジスタを含むランダムアクセスメモリ３０７も有する。
【０２３７】
最後に、コンピュータは、コンピュータ３を構成する異なる前述のユニットの間の通信および相互運用性をもたらす通信バス３１１を有する。
【０２３８】
当然、本発明の範囲から逸脱せずに、上で説明した本発明の実施形態に対して、数値的変更を行うことができる。
【図面の簡単な説明】
【図１】本発明によるデータベース内での画像検索装置の全般的アーキテクチャを示すブロック図である。
【図２】本発明による画像検索方法のステップのシーケンスを示す流れ図である。
【図３】本発明の好ましい実施形態に係る、画像の視覚的内容を表す情報の項目を抽出する方法を示すフローチャートである。
【図４】本発明の第１の態様の好ましい実施形態に係る、例示画像とデータベース内の画像との間の類似性を計算する方法を示すフローチャートである。
【図５】本発明の第２の態様の好ましい実施形態に係る、画像の視覚的内容を表す情報の項目と、関心領域の存在を考慮に入れた画像のブロックに関連付けられた重み付け係数とから画像に索引を付ける方法を示すフローチャートである。
【図６】図５に示された画像に索引を付ける方法の重み付け係数の計算処理の詳細を示すフローチャートである。
【図７】本発明の第２の態様の好ましい実施形態に係る、例示画像とデータベース内の画像の類似性を計算する方法を示すフローチャートである。
【図８】本発明の好ましい実施形態に係る、画像をＮ個のブロックに分割する方法の例を示す図である。
【図９】本発明による、画像に索引を付け、検索する方法を実施するように適合されたコンピュータを概略的に示す図である。
【図１】
0004579404.tif 000011
【図２】
0004579404.tif 000012
【図３】
0004579404.tif 000013
【図４】
0004579404.tif 000014
【図５】
0004579404.tif 000015
【図６】
0004579404.tif 000016
【図７】
0004579404.tif 000017
【図８】
0004579404.tif 000018
【図９】
0004579404.tif 000019