(57)【特許請求の範囲】
【請求項１】
画像データベースに蓄積された複数の蓄積画像から所望の画像を検索する画像検索装置における画像検索方法であって、
前記画像検索装置の検索画像入力部が、閉領域を含む検索したい画像の入力を受け付ける入力工程と、
前記画像検索装置の比較手段が、前記入力工程で入力された前記閉領域の面積の画像全体に対する比を計算する工程と、
前記画像検索装置の比較手段が、前記蓄積画像のそれぞれを分割した領域の色と前記検索したい画像の閉領域の色とを比較し、前記閉領域の色に近似している近似色を有する各蓄積画像の領域の面積の合計の画像全体に対する比と前記閉領域の比とを比較する工程と、
前記画像検索装置の判断手段が、前記比較の結果、前記閉領域の比に対する前記領域の面積の合計の比の割合が所定値よりも大きい蓄積画像を検索対象と判定する判定工程と、
前記画像検索装置の類似度判別手段が、前記判定工程で検索対象と判定された蓄積画像のそれぞれに対して前記検索したい画像との整合を判定して類似度を求め、各蓄積画像ごとにバッファに記憶する工程と、
前記画像検索装置の表示手段が、前記バッファに記憶された前記類似度が所定値以上の画像を検索結果として前記画像検索装置の表示部に表示する表示工程と、
を有することを特徴とする画像検索方法。
【請求項２】
前記複数の蓄積画像のそれぞれは複数の領域に分割され、該複数の領域のそれぞれの色と面積との組みを色空間上にマッピングして前記画像データベースに保存されていることを特徴とする請求項１に記載の画像検索方法。
【請求項３】
前記検索したい画像は、色、位置、形状を持つ閉領域を含むことを特徴とする請求項１に記載の画像検索方法。
【請求項４】
前記表示工程では、前記類似度の大きい順にソートして表示することを特徴とする請求項１に記載の画像検索方法。
【請求項５】
蓄積された複数の蓄積画像から所望の画像を検索する画像検索装置であって、
閉領域を含む検索したい画像を入力する入力手段と、
前記蓄積画像のそれぞれを分割した領域の色と前記検索したい画像の閉領域の色とを比較し、前記閉領域の色に近似している近似色を有する各蓄積画像の領域の面積の合計の画像全体に対する比と前記閉領域の面積の画像全体に対する比とを比較する比較手段と、
前記比較手段による比較の結果、前記閉領域の比に対する前記領域の面積の合計の比の割合が所定値よりも大きい蓄積画像を検索対象と判断する判断手段と、
前記判断手段により検索対象と判断された蓄積画像のそれぞれに対して前記検索したい画像との整合を判定して類似度を求める類似度判別手段と、
前記類似度判別手段により求められた前記類似度が所定値以上であると判別された画像を検索結果として表示する表示手段と、
を有することを特徴とする画像検索装置。
【請求項６】
前記複数の蓄積画像のそれぞれは複数の領域に分割され、該複数の領域のそれぞれの色と面積との組みが色空間上にマッピングされて蓄積されていることを特徴とする請求項５に記載の画像検索装置。
【請求項７】
前記入力手段により入力される画像は、色、位置、形状を持つ閉領域を含むことを特徴とする請求項５に記載の画像検索装置。
【請求項８】
前記表示手段は、前記類似度の大きい順にソートして検索した画像を表示することを特徴とする請求項５に記載の画像検索装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、検索が指示された画像を基に蓄積されている画像を検索する画像検索方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来、画像データベースから所望の画像を検索する方法として、以下のような方法があった。
【０００３】
まず、データベースに画像を入力する際に、その画像をいくつかの一様な領域に区分けし、それぞれの領域を記述したデータの形式で画像ファイルに記憶しておく。そして、検索者（オペレータ）により、その画像ファイルよりの画像の検索が指示されると、その検索者から指示された画像もしくは図形と、画像ファイルに記憶されている各領域を記述したデータとの間で整合を調べ、面積・二次モーメントなどの類似度を計算する。そして、この値が大きいものを類似画像として選択する方法があった（資料１：平田・原、「概略画像を用いた画像検索」、情報処理学会研究会資料、ＤＥ９２−２）。
【０００４】
以上の方法を用いて画像の検索を行う場合、画像ファイルの全ての蓄積画像に対して、その画像の各領域と指定された検索したい画像または図形（以下、検索画像）とのマッチングを調べるための計算が必要になり、蓄積画像の量が多い場合に計算量が膨大になり、検索に要する時間が多大なものになる。そこで蓄積画像と検索画像の色の情報とを用いて蓄積画像の絞り込みを行うことにより、マッチングを調べるための計算の対象となる画像の量を減らして、検索処理を高速化するという方法がすでに紹介されている（資料２：平田・原、「ハイパーメディアにおけるメディア・ナビゲーション」、情報処理学会ヒューマン・インタフェース研究会資料ＨＩ−４７−１０（1993））。
【０００５】
この方法について詳しく説明する。
（１）画像をデータベースに登録する際に、既知の方法で領域分割を行い、各領域毎に代表色を得る。
（２）この代表色を領域毎に図３のような色空間（例えばＨＳＶ）にマッピングする。ここでは各画像、各領域の数だけマッピングを行う。
（３）検索時には、検索者が一つまたは複数の閉領域という形で示した検索画像に利用されている色情報（図３ではＣ１，Ｃ２，Ｃ３）を同様に色空間にマッピングする。
（４）検索画像に利用されている色情報の近傍（例えば、各色を中心とした球状領域。図３でハッチングを施した部分）にマッピングされていない画像は検索候補から外し、近傍内の画像に対してのみ、それ以後の検索画像と蓄積画像の各領域とのマッチングの処理を行うという形の絞り込み処理を行う。図３の例では、画像３を候補から外す。こうして、色情報の近傍の大きさを変化させることにより、検索の高速化率と柔軟性を調整する。
【０００６】
【発明が解決しようとする課題】
しかしながら上記の検索方法では、例えば蓄積画像に様々な色を持った細かい領域が大量に含まれているような場合は、どのような画像を検索画像として指定しても、その検索画像で指定した閉図形の色と似た色がその蓄積画像に含まれている可能性が高くなる。その結果、そのような領域を含む画像が、検索対象と成り得ない画像であっても距離計算の対象となってしまい、絞り込み処理の効果が現れないという欠点があった。
【０００７】
本発明は上記従来例に鑑みてなされたもので、検索が指示された検索画像の閉領域の面積に関する情報を利用して、高速の画像検索を行うことができる画像検索方法及びその装置を提供することを目的とする。
【０００８】
また本発明の目的は、検索対象となり得る画像を絞りこんだ後、その画像に対してのみ類似度を判定することにより、画像検索を高速に行うことができる画像検索方法及びその装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明の画像検索装置は以下のような構成を備える。即ち、
蓄積された複数の蓄積画像から所望の画像を検索する画像検索装置であって、
閉領域を含む検索したい画像を入力する入力手段と、
前記蓄積画像のそれぞれを分割した領域の色と前記検索したい画像の閉領域の色とを比較し、前記閉領域の色に近似している近似色を有する各蓄積画像の領域の面積の合計の画像全体に対する比と前記閉領域の面積の画像全体に対する比とを比較する比較手段と、
前記比較手段による比較の結果、前記閉領域の比に対する前記領域の面積の合計の比の割合が所定値よりも大きい蓄積画像を検索対象と判断する判断手段と、
前記判断手段により検索対象と判断された蓄積画像のそれぞれに対して前記検索したい画像との整合を判定して類似度を求める類似度判別手段と、
前記類似度判別手段により求められた前記類似度が所定値以上であると判別された画像を検索結果として表示する表示手段とを有することを特徴とする。
【００１０】
上記目的を達成するために本発明の画像検索方法は以下のような工程を備える。即ち、
画像データベースに蓄積された複数の蓄積画像から所望の画像を検索する画像検索装置における画像検索方法であって、
前記画像検索装置の検索画像入力部が、閉領域を含む検索したい画像の入力を受け付ける入力工程と、
前記画像検索装置の比較手段が、前記入力工程で入力された前記閉領域の面積の画像全体に対する比を計算する工程と、
前記画像検索装置の比較手段が、前記蓄積画像のそれぞれを分割した領域の色と前記検索したい画像の閉領域の色とを比較し、前記閉領域の色に近似している近似色を有する各蓄積画像の領域の面積の合計の画像全体に対する比と前記閉領域の比とを比較する工程と、
前記画像検索装置の判断手段が、前記比較の結果、前記閉領域の比に対する前記領域の面積の合計の比の割合が所定値よりも大きい蓄積画像を検索対象と判定する判定工程と、
前記画像検索装置の類似度判別手段が、前記判定工程で検索対象と判定された蓄積画像のそれぞれに対して前記検索したい画像との整合を判定して類似度を求め、各蓄積画像ごとにバッファに記憶する工程と、
前記画像検索装置の表示手段が、前記バッファに記憶された前記類似度が所定値以上の画像を検索結果として前記画像検索装置の表示部に表示する表示工程と、
を有することを特徴とする。
【００１２】
【実施例】
以下、添付図面を参照して本発明の好適な実施例を詳細に説明する。
【００１３】
（第１実施例）
図１は本発明の一実施例の画像検索装置の機能構成を示すブロック図である。同図において、１は画像登録処理部で、画像データベースシステム２に画像を登録する前に後述の前処理を行う。２は画像データベースシステム、３は検索者が描画し、本実施例の画像検索装置に提示する例示画像（検索画像）の入力部、４は検索結果を表示する表示部である。
【００１４】
次に、画像登録処理部１の構成を説明する。１１は登録画像入力部で、データベースに登録する画像を入力する。１２は領域分割処理部で、入力された画像を色の似た領域毎に分割する。１３は領域特徴量抽出部で、領域分割処理部１２で分割された各領域毎に各種特徴量（色や形など）を抽出する。１４はカラーインデックス作成部で、領域特徴量抽出部１３で得られた各領域毎の色データから登録画像のカラーインデックスを作成する。
【００１５】
次に、画像データベースシステム２の構成を説明する。
【００１６】
２１は画像蓄積部で、登録画像入力部１１より入力された登録画像を蓄積する。２２は領域特徴量蓄積部で、登録画像を領域分割し、領域特徴量抽出部１３で抽出された各領域の特徴量を、各登録画像の各領域毎に蓄積する。２３はカラーインデックス蓄積部で、カラーインデックス作成部１４で作成された各登録画像のカラーインデックスを蓄積している。２４はスクリーニング処理部で、検索者が本実施例の画像検索装置に提示した検索画像とカラーインデックスとを比較し、後段の領域類似度計算部２５において、領域の類似度の計算を行うかどうかを決定している。領域類似度計算部２５は、スクリーニング処理部２４でのスクリーニング処理により、処理対象から除かれなかった画像について検索画像の各領域と蓄積画像の各領域とのマッチングを行って、それらの類似度を計算する。２６は中間結果バッファで、領域類似度計算部２５における各画像毎の類似度の計算結果を一時的に格納する。２７は候補順位決定部で、中間バッファ２６に格納された各画像毎の類似度を参照して類似度の高い画像を選択し表示部４に表示させる。
【００１７】
本実施例は、画像データベースからの画像検索方法として、検索者（オペレータ）が１つ以上の閉領域を位置、形、色を指定して描いたものを検索画像とし、その閉領域の位置、形状、色を用いて画像データベースに蓄積された画像の検索を行う場合の例を示す。
【００１８】
図４は本実施例の画像検索装置において、画像を画像データベースシステム２に登録する際の処理を示すフローチャートである。
【００１９】
まずステップＳ１で、画像データベースシステム２に登録する画像を登録画像入力部１１から入力し、画像蓄積部２１に格納する。次にステップＳ２に進み、その入力した画像を、領域分割処理部１２において等色領域に分割する。この分割の方法についてはいろいろあるが、例えば前述した資料１に開示される方法を用いてもよい。
【００２０】
次にステップＳ３に進み、ステップ２で入力画像を等色領域に分割した各領域について、各種の特徴量を抽出し、その結果を領域特徴量として、入力画像ごとに領域特徴量蓄積部２２に格納する。この領域特徴量としては、領域の代表色（ＨＳＶ値とする）、領域の面積、領域の形状（領域を多角形近似した際の多角形の各頂点の座標）を用いる。次にステップＳ４に進み、入力画像の領域分割結果に基づいてカラーインデックスを作成する。
【００２１】
以下、本実施例のカラーインデックス作成部１４におけるカラーインデックスの作成方法について説明する。
【００２２】
ステップ３で抽出された各領域の代表色を、図３と同様にＨＳＶ色空間にマッピングする。その際に、マッピングされた各座標に対して、それに対応する領域の面積（値は画像全体に対する比を指し、以後「面積」と言えばこの比を指すものとする）を記憶しておく。マッピング済みの色空間をカラーインデックスとし、カラーインデックス蓄積部２３に蓄積画像ごとに格納しておく。以上で画像登録時の処理が終了する。
【００２３】
次に、こうして画像データベースシステム２に登録された画像を検索する際の処理を説明する。
【００２４】
図５は本実施例の画像検索装置における画像検索処理を示すフローチャートである。まずステップＳ１１で、検索者がドローイング・エディタなどによる手描きあるいはスキャナなどを用いて、検索用の画像或は図形（検索画像）を入力する。これは例えば、検索者が図２（ａ）に示すような画像を検索したいと思ったとき、その画像の記憶に基づき、その画像中の等色領域を、例えば図２（ｃ）のように１つの閉図形２００として、その形状及び色を指定して入力する。この図形を検索画像と呼ぶ。
【００２５】
次にステップＳ１２に進み、図２（ｃ）の検索画像から、その指定された閉図形２００の面積Ｓｃを計算する。この面積は上記と同様に、検索画像全体に対する、その閉図形２００の面積の比で算出する。次にステップＳ１３に進み、画像蓄積部２１に記憶されている蓄積画像のある１つの画像に関し、既に作成されているカラーインデックスをカラーインデックス蓄積部２３から読み出す。
【００２６】
次にステップＳ１４に進み、検索画像の色をＨＳＶ値に変換し、ステップＳ１３でロードしたカラーインデックスと同じ色空間上に、図６に示すようにマッピングする。
【００２７】
図６は蓄積画像中の各領域の色と、検索画像の色との比較を説明するための図である。図６において、Ｐｉはその蓄積画像における領域ｉの色の色空間での座標を示し、Ｃは検索画像の色の色空間での座標を示す。また、Ｓｉは、その領域ｉの面積表わしている。
【００２８】
次にステップＳ１５に進み、この色空間上で、Ｃを中心として半径ｒ（所定値）の球面６００を描き、その球の内部に含まれるＰｉを探す。そして、球面６００にある全ての座標Ｐｉについて、その面積Ｓｉを求め、その合計Ｓｐを計算する。
【００２９】
次にステップＳ１６に進み、Ｓｐ（Ｓiの合計）/Ｓｃ（閉図形２００の面積）を計算し、その値が所定値ｘ（＜１）より小さい場合、すなわち「その蓄積画像中において、検索画像に近い色を持つ領域の面積の合計」よりも「検索画像の面積」がかなり大きい場合は、「検索者が意図した検索画像の等色領域が、その蓄積画像に無い」、すなわち「その蓄積画像は、検索者が意図した画像とは明らかに異なる」とみなし、以後の検索処理の対象から外すと判断してステップＳ１７へ進み、次の蓄積画像をのカラーインデックスをロードしてステップＳ１４に戻る。
【００３０】
そうでない場合はステップＳ１８へ進み、ステップＳ１６で処理対象から除かれなかった蓄積画像について、その画像の領域特徴量を領域特徴量蓄積部２２から読み出し、領域類似度計算部２５において、その各領域と検索画像とのマッチング判定処理を行う。このマッチング判定処理の結果得られた、検索画像と蓄積画像との類似度の値を、蓄積画像ごとに中間バッファ２６に保存する。
【００３１】
そしてステップＳ１９に進み、画像蓄積部２１に蓄積された全ての蓄積画像について、以上の検索処理が終わったかどうかを調べる。終わっていなければステップＳ１７に進み、次の蓄積画像についての処理を開始する。こうして全ての蓄積画像に対する処理が終了するとステップＳ２０に進み、候補順位決定部２７において、各蓄積画像と検索画像との類似度（中間バッファ２６に保存されている）をソートし、領域マッチングの処理を行なった画像のうち、類似度の高いものを表示部４に表示して全検索処理を終了する。
【００３２】
以上のような処理を行うことにより、処理時間のかかる領域マッチング処理を行う対象となる蓄積画像の数を効率的に絞り込むことができ、結果として検索時間が短縮される。
【００３３】
（第２実施例）
前述の第１実施例において、カラーインデックスの色空間上で検索画像の色を中心とした球面を描き、その球面内に含まれる色を持つ蓄積画像中の領域の面積を合計したが、これでは検索のための時間がかかるので、以下のようにして処理を簡略化することにより検索時間をより短縮することもできる。
【００３４】
各蓄積画像についてカラーインデックスを作成する際に、ＨＳＶ色空間を図７（ａ）のように適当なブロックに分割し、色空間上で、そのブロックに含まれる色を持つ領域の面積をそのブロック毎に合計し、その値（ブロックｊについてＴｊとする）をブロック単位でカラーインデックスとしてカラーインデックス蓄積部２３に格納する。
【００３５】
そして画像の検索時には、前述の第１実施例と同様に、検索画像の色を色空間上にマッピングし、図７（ｂ）のように、その座標から所定値ｒ2以内の距離に含まれる全ブロックについて、そのブロックに対応するＴｊの値を合計した値をＴｐとする。そして、Ｔｐ/Ｓｃの値が所定値ｘ2（＜１）より小さければ、その蓄積画像は検索者が意図した画像とは明らかに異なるとして、上記と同様に以後の処理が対象から外す。
【００３６】
（第３実施例）
前述の第１及び第２実施例においては、検索画像は一つの閉領域を有する図形として入力されるものとしたが、本発明はこれに限らず、複数の閉領域として入力しても良い。
【００３７】
このような場合も、各閉領域について上記（第１実施例の図５のフローチャートのステップＳ１７まで）と同様の処理を行い、全ての閉領域に対して検索対象から除かれなかった蓄積画像に対してのみ、ステップＳ１８以降の処理を行えば良い。
【００３８】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置に本発明を実施するプログラムを供給することによって達成される場合にも適用できる。
【００３９】
以上説明したように本実施例によれば、検索画像として指定した閉領域の面積のデータを用いることにより、以後の段階である領域マッチング処理の対象となる画像の量を絞り込むスクリーニング作業をより有効に行うことができ、結果として検索に要する時間を大幅に減らすことができる。
【００４０】
【発明の効果】
以上説明したように本発明によれば、検索が指示された検索画像の閉領域の面積に関する情報を利用して、高速の画像検索を行うことができる効果がある。
【００４１】
また本発明によれば、検索対象となり得る画像を絞りこんだ後、その画像に対してのみ類似度を判定することにより、画像検索を高速に行うことができるという効果がある。
【００４２】
【図面の簡単な説明】
【図１】本発明の一実施例の画像検索装置の機能構成を示すブロック図である。
【図２】本実施例における画像の検索を説明するための図で、（ａ）は検索者が検索したい蓄積画像を示す図、（ｂ）は、その蓄積画像を等色領域に分割した例を示す図、および（ｃ）は、検索者が作成した検索画像の一例を示す図である。
【図３】従来の検索処理を説明するための図である。
【図４】本実施例の画像検索装置において、画像を画像データベースシステムに登録する際の処理を示すフローチャートである。
【図５】本実施例の画像検索装置における画像検索処理を示すフローチャートである。
【図６】本実施例における蓄積画像中の各領域の色と、検索画像の色との比較を説明するための図である。
【図７】本発明の第２実施例を説明するための図で、（ａ）はＨＳＶ色空間をブロックに分割した状態を示す図、（ｂ）は、そのブロック単位で検索画像に近い色を探す処理を説明するための図である。
【符号の説明】
１          画像登録処理部
２          画像データベースシステム
３          検索画像入力部
４          表示部
１１        登録画像入力部
１２        領域分割処理部
１３        領域特徴量抽出部
１４  カラーインデックス作成部
２１  画像蓄積部
２２  領域特徴量蓄積部
２３  カラーインデックス蓄積部
２４  スリーニング処理部
２５  類似度計算部
２６  候補順位決定部
【図１】
0003727967.tif 000002
【図２】
0003727967.tif 000003
【図３】
0003727967.tif 000004
【図４】
0003727967.tif 000005
【図５】
0003727967.tif 000006
【図６】
0003727967.tif 000007
【図７】
0003727967.tif 000008