(57)【特許請求の範囲】
【請求項１】
検索参照画像により検索が行われる画像検索装置に用いられる検索用要素画像抽出装置において、
複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、
前記画像分割手段により分割された要素画像の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段で抽出された画像特徴に基づいて、要素画像毎に、中心ベクトルを算出し、算出された要素画像の中心ベクトルに基づいて、前記画像分割手段により分割された要素画像のクラス分けを行い、更に、クラス毎に、クラスの中心ベクトルに最も近い要素画像を代表的な要素画像として抽出する主要特徴ブロック抽出手段と、
とを有することを特徴とする検索用要素画像抽出装置。
【請求項２】
検索参照画像により検索が行われる画像検索装置に用いられる検索参照画像入力装置において、
請求項１に記載された検索用要素画像抽出装置によって抽出された代表的な要素画像を表示する表示手段と、
前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段とを有することを特徴とする検索参照画像入力装置。
【請求項３】
コンピュータを、
複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、
前記画像分割手段により分割された要素画像の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段で抽出された画像特徴に基づいて、要素画像毎に、中心ベクトルを算出し、算出された要素画像の中心ベクトルに基づいて、前記画像分割手段により分割された要素画像のクラス分けを行い、更に、クラス毎に、クラスの中心ベクトルに最も近い要素画像を代表的な要素画像として抽出する主要特徴ブロック抽出手段と、
として機能させるための検索用要素画像抽プログラムを記録した記録媒体。
【請求項４】
コンピュータを、
請求項３に記載された検索用要素画像抽プログラムによって抽出された代表的な要素画像を表示する表示手段と、
前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段として機能させるための検索参照画像入力プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、検索用要素画像抽出装置、検索参照画像入力装置及びプログラムを記録した記録媒体に係り、特に、検索対象画像から切り出した代表的な要素画像を用いて検索することを可能とした検索用要素画像抽出装置、検索参照画像入力装置及びプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
最近、画像の被写体の内容でなく画像全体の類似性に基づいて画像検索を行う技術が研究されている。
そのような画像検索技術において、ユーザが画像描画装置を用いて描画した画像をユーザの意図に反映した検索参照画像とする様々な手法が研究されている。
【０００３】
例えば、特開平２０００−７６２７０号公報（発明の名称：「画像検索システム及びその制御方法、画像検索装置及びその制御方法、コンピュータ可読メモリ」）には、描画ツールを用いて、ユーザ描画領域に検索対象の画像に似せた画像を描画して検索を行う方法が記載されている。なお、その検索は、画像をＮ等分して、それぞれの画像特徴量に基づいて、類似画像検索により行われる。
【０００４】
また、西山晴彦  他「画像の構図を用いた絵画検索システム」、情報処理学会論文誌、Vol３７.No１.Ｐ１０１（１９９６）には、略画を用いて検索する方法が記載されている。なお、検索用の略画は、色の指定、領域情報の入力、オブジェクト情報の入力及び特徴情報の入力により作成される。
【０００５】
また、紺谷精一  他「画像の内容検索技術」、画像ラボ、199.6.Ｐ5-9には、検索条件の入力方法の一つとして、スケッチによる入力方法が記載されている。この入力方法においては、画像エデタを用いて似た画像を入力するようにされている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の手法のものは、描画装置が検索対象の画像の画像特徴を反映したテクスチャ等を描画する機能を有していなかったため、色や濃淡に基づいた画像特徴による検索には適しているが、画像のテクスチャ等の複雑性や分布等による画像特徴を手がかりとした画像検索ができなかった。
【０００７】
本発明は、前記問題に鑑みなされたものであり、検索対象画像から切り出した代表的な要素画像を用いて検索することにより、画像のテクスチャ等の複雑性や分布等による画像特徴（以下、「テクスチャ画像特徴」という。 ）を手がかりとした画像検索を可能とし、精度の良い画像検索を可能とすることを目的とするものである。
【０００８】
【課題を解決するための手段】
前記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
請求項１に記載された発明は、検索参照画像により検索が行われる画像検索装置に用いられる検索用要素画像抽出装置において、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、前記画像分割手段により分割された要素画像の画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段で抽出された画像特徴に基づいて、要素画像毎に、中心ベクトルを算出し、算出された要素画像の中心ベクトルに基づいて、前記画像分割手段により分割された要素画像のクラス分けを行い、更に、クラス毎に、クラスの中心ベクトルに最も近い要素画像を代表的な要素画像として抽出する主要特徴ブロック抽出手段と、とを有することを特徴とする検索用要素画像抽出装置である。
【００１０】
請求項２に記載された発明は、検索参照画像により検索が行われる画像検索装置に用いられる検索参照画像入力装置において、請求項１に記載された検索用要素画像抽出装置によって抽出された代表的な要素画像を表示する表示手段と、前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段とを有することを特徴とする検索参照画像入力装置である。
請求項３に記載された発明は、コンピュータを、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、前記画像分割手段により分割された要素画像の画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段で抽出された画像特徴に基づいて、要素画像毎に、中心ベクトルを算出し、算出された要素画像の中心ベクトルに基づいて、前記画像分割手段により分割された要素画像のクラス分けを行い、更に、クラス毎に、クラスの中心ベクトルに最も近い要素画像を代表的な要素画像として抽出する主要特徴ブロック抽出手段と、して機能させるための検索用要素画像抽プログラムを記録した記録媒体である。
【００１１】
請求項４に記載された発明は、コンピュータを、請求項３に記載された検索用要素画像抽プログラムによって抽出された代表的な要素画像を表示する表示手段と、前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段として機能させるための検索参照画像入力プログラムを記録した記録媒体である。
【００１２】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【００１３】
本発明は、ユーザが画像描画装置を用いて描画した画像を用いて検索するものであり、図１にその方法を示す。
【００１４】
図１の方法は、検索対象画像の取得（Ｓ１０）、特徴ブロック・特徴ベクトル抽出（Ｓ１１）、主要特徴ブロック抽出（Ｓ１２）、検索参照画像入力（Ｓ１３）、検索参照画像特徴ベクトル抽出（Ｓ１４）、検索（Ｓ１５）及び出力（Ｓ１６）の手順から構成されている。
【００１５】
以下、他の図を参照しながら、その詳細を説明する。
【００１６】
先ず、ステップ１０で検索対象画像が蓄積されているデータベースから、検索対象画像Ｉ（Ｉ＝０、１、、．．、ＮＤ−１）を取得する。
【００１７】
次いで、ステップ１１で、取得した検索対象画像の特徴ブロックと特徴ベクトルを抽出する。この特徴ブロックと特徴ベクトルの抽出処理は、図２に示されているフローにより行われる。
【００１８】
図２のステップ２０で、図３（Ａ）に示すように、取得したＮＤ枚の検索対象画像を幅Ｗ、高さＨのＷ×Ｈの格子Ｄｘ個とＤｙ個に分割する。この格子（ｍ、ｎ）が特徴ブロック（ｍ、ｎ）である。
【００１９】
但し、ｍ＝０、１、、．．、Ｄｘ−１、ｎ＝０、１、、．．、Ｄｙ−１
このように、取得した全ての検索対象画像を幅Ｗ、高さＨのＷ×Ｈの格子Ｄｘ個とＤｙ個に分割することにより、全ての検索対象画像の特徴ブロックを取得する。
【００２０】
なお、取得した検索対象画像は全て同じ大きさ（幅Ｗ×Ｄｘ、高さＨ×Ｄｙ）に正規化されているものとする。
【００２１】
また、各特徴ブロックは、図３（Ｂ）に示すように、後述するＴ個の特徴ベクトル、Ｎｃ個のベクトル要素を有している。
【００２２】
次いで、図２のステップ２１で、画像特徴を求める。
【００２３】
各特徴ブロック（Ｉ、ｍ、ｎ）からそのブロックのテクスチャ画像特徴（複雑性、分布、鋭さ等）を良く表すであろうＴ個の画像特徴ｆ０（Ｉ、ｍ、ｎ）、ｆ１（Ｉ、ｍ、ｎ）、．．、ｆＴ（Ｉ、ｍ、ｎ）を求める。
【００２４】
このＦ（Ｉ、ｍ、ｎ）＝（ｆ０（Ｉ、ｍ、ｎ）、ｆ１（Ｉ、ｍ、ｎ）、．．、ｆＴ（Ｉ、ｍ、ｎ））をこの特徴ブロックの特徴ベクトルとする。
【００２５】
なお、特開平２０００−７６２７０号公報に用いられているフラクタルベクトルは、画像特徴の一つの例である。
【００２６】
ここで、図１に戻る。ステップ１１で、取得した検索対象画像の特徴ブロックと特徴ベクトルを抽出した後で、ステップ１２で、主要特徴ブロックの抽出を行う。この主要特徴ブロックの抽出の詳細を、図４を用いて説明する。
【００２７】
先ず、要素が空きのカテゴリ群Ｃo［ｋ］を準備する（Ｓ３０）。但し、ｋ＝０、１、、．．、ＮＤ×Ｄｘ×Ｄｙ−１である。
【００２８】
次いで、カテゴリＣo［Ｉ×ｍ×ｎ］にＦ（Ｉ、ｍ、ｎ）を入れる（Ｓ３１）。但し、Ｉ＝０、１、、．．、ＮＤ−１、ｍ＝０、１、、．．、Ｄｘ−１、ｎ＝０、１、、．．、Ｄｙ−１である。
【００２９】
このときのカテゴリ数Ｃnは、
Ｃn＝ＮＤ×Ｄｘ×Ｄｙ
である。
【００３０】
次いで、各カテゴリについて、中心ベクトルＶｃ［ｋ］を求める（Ｓ３２）。但し、ｋ＝０、１、、．．、Ｃn−１である。
【００３１】
また、現時点で、各ブロックは、Ｔ個の特徴ベクトルを有し、Ｎｃ個のベクトルを要素として持つものとする。
【００３２】
つまり、Ｃo［ｋ］は、
Ｆ０［ｋ］＝（ｆ００［ｋ］、ｆ０１［ｋ］、．．、ｆ０Ｔ［ｋ］）、Ｆ1［ｋ］＝（ｆ１０［ｋ］、ｆ１１［ｋ］、．．、ｆ１Ｔ［ｋ］）、．．．、ＦＮＣ［ｋ］＝（ｆＮＣ０［ｋ］、ｆＮＣ１［ｋ］、．．、ｆＮＣＴ［ｋ］）のＮｃ個のベクトルを要素として持つ。
【００３３】
次いで、各特徴ブロック毎に、中心ベクトルＶｃ［ｋ］を次の式を用いて算出する。
【００３４】
【数１】
0004331882.tif 000002
次に、全てのカテゴリについて、任意に選んだ二つのカテゴリの中心ベクトルＶｃ［ｋ］の２乗距離ｄ（ｋ、ｋ’）を求める。但し、ｋ＝０、１、、．．、Ｃn−１、ｋ’＝０、１、、．．、Ｃn−１、ｋ≠ｋ’である。
【００３５】
次いで、次のように、要素のクラス分けを行う（Ｓ３３）。
（１）ｄ（ｋ、ｋ’）＜Ｄthであるような全てのＣo［ｋ］Ｃo［ｋ’］の要素が必ず同じクラスに属する。
（２）ｄ（ｋ、ｋ’）＞Ｄthであるような全てのＣo［ｋ］Ｃo［ｋ’］の要素はどれもお互いに異なるクラスに属する。
（３）全てのＣo［ｋ］の要素は、重複なくどれかのクラスに属する。
（４）現在同じカテゴリに属する要素同士が異なるクラスに分割されることはない。
【００３６】
以上の４つの条件を満たす新しいクラス群Ｃn［ｐ］を作る。但し、ｐ＝０、１、、．．、Ｃnn（Ｃnn≦Ｃn）
例えば、図５に示すように、２１０のクラスには、クラス分け前のカテゴリ１１０、１２０、１３０、１４０、１５０が含まれる。なお、１１１、１２１、１３１、１４１、１５１は、各カテゴリの中心ベクトルを示している。また、２１１は、後述するクラスの中心ベクトルを示している。
【００３７】
なお、クラスを考えるときは、カテゴリ１１０、１２０、１３０、１４０、１５０の意識はない。
【００３８】
また、各カテゴリには、Ｎc個のベクトル（要素）を有する。
【００３９】
また、説明を簡単にするために、各カテゴリは重複しないように図示されているが、実際には各カテゴリの要素は複雑に入り組んでいる。
【００４０】
次いで、クラスＣn［ｐ］の内、要素数の多い順にＮＴ個のクラスのみで新しいクラス群Ｃt［ｐ］を作る（Ｓ３４）。
【００４１】
また、そのクラスの中心ベクトルをＶtc［ｐ］を求める（Ｓ３５）。但し、ｐ＝０、１、、．．、ＮＴ−１である。
【００４２】
次いで、各Ｃt［ｐ］（ｐ＝０、１、、．．、ＮＴ−１）について、クラスの中心ベクトルＶtc［ｐ］との２乗距離が最も小さい要素（Ｆc［ｋ］）を求める（Ｓ３６）。
【００４３】
例えば、図６は、図５の部分拡大図である。１１２、１３２〜１３６、１５２〜１５４は、要素を示している。２１１が、このクラスの中心ベクトルＶtc［ｐ］であるので、クラスの中心ベクトルＶtc［ｐ］との２乗距離が最も小さい要素Ｆc［ｋ］は、要素１３５である。この要素１３５は、クラス１３０の代表的な要素である。
【００４４】
次いで、各Ｆc［ｋ］について、その抽出元となる特徴ブロックＴ［ｋ］を検索対象データベースから画像として切り出す。
【００４５】
例えば、Ｆc［ｋ］∈Ｆ（a,b,c）の場合は、ファイルの番号がａの画像の（b,c）格子を切り出す。
【００４６】
図６では、Ｆc［ｋ］の特徴ブロックは、クラス分け前の特徴ブロック１３０の要素である。従って、特徴ブロック１３０を、検索対象画像データベースから切り出す。
【００４７】
このように、ＮＴ個のクラスについて、それぞれのクラスの中心ベクトルＶtc［ｐ］との２乗距離が最も小さい要素Ｆc［ｋ］を求め、その抽出元となる特徴ブロックＴ［ｋ］を検索対象データベースから画像として切り出す。
【００４８】
そうして、ＮＴ個の主要特徴ブロックのＴ［０］、Ｔ［１］、．．、Ｔ［Ｎt］を抽出する（Ｓ３７）。
【００４９】
ここで、図１に戻る。ステップ１２で、主要特徴ブロックを抽出した後、ステップ１３で、この主要特徴ブロックを利用して、検索参照画像の入力を行う。
【００５０】
ステップ１４では、入力された検索参照画像の特徴ベクトルを抽出する。
【００５１】
次いで、ステップ１５で、検索参照画像の特徴ベクトルを検索条件として、検索対象画像データベースの検索を行い、その検索した画像を出力する（Ｓ１６）。
【００５２】
このようにして、検索対象画像から切り出した代表的な要素画像を用いて、検索対象画像データベースの検索を、精度良く行うことができる。
【００５３】
図７に検索装置の例を示す。検索装置１は、検索対象画像データベース２に接続されて、検索を行うことができる。
【００５４】
図７では、検索装置１は、特徴ブロック・特徴ベクトル抽出部１０、主要特徴ブロック抽出部１１、表示部１２、検索参照画像入力部１３、検索参照画像特徴ベクトル抽出部１４、検索部１５及び検索装置制御部１６から構成されている。
【００５５】
特徴ブロック・特徴ベクトル抽出部１０は、検索対象画像が蓄積されているデータベースの特徴ブロックと特徴ベクトルを抽出する。特徴ブロック・特徴ベクトル抽出部１０で、図２の処理フローの処理を行う。
【００５６】
主要特徴ブロック抽出部１１は、検索対象画像の特徴ブロックと特徴ベクトルに基づいて、検索対象画像から切り出した主要な特徴ブロックの抽出を行う。主要特徴ブロック抽出部１１で、図４の処理フローの処理を行う。
【００５７】
表示部１２は、図１に示すような処理フローにおいて、検索処理における必要な表示を行う。
【００５８】
例えば、検索を行うための制御画面、検索条件の入力画面、検索の結果画面等の表示を行う。
【００５９】
検索参照画像入力部１３は、検索条件の入力画面に検索条件を入力する。検索条件は、検索参照画像で行い、この検索参照画像は、検索対象画像から切り出した主要な特徴ブロック（代表的な要素画像）を用いて作成する。
【００６０】
図８に検索条件の入力画面を示す。
【００６１】
２０は、画像部である。この画像部２０の描画領域の大きさは、検索対象データベースの画像と同じ大きさ（幅Ｗ×Ｄｘ、高さＨ×Ｄｙ）である。この画像部２０は、検索対象画像をＷ×Ｈの特徴ブロックに分割したと同じように、点線で領域が分割されている。
【００６２】
２１は、要素画像部であり、要素画像部２１には、検索対象画像から切り出した代表的な要素画像Ｔ［０］、Ｔ［１］、．．、Ｔ［Ｎt］が表示されている。この代表的な要素画像Ｔ［０］、Ｔ［１］、．．、Ｔ［Ｎt］は、画像付きボタンとして表示されている。そこで、ボタンＴ［ｋ］をマウスでクリックし、次に、画像部２０のある領域をクリックすると、その領域に画像Ｔ［ｋ］が埋まるようになっている。
【００６３】
２２は、ドロウイング部である。ドロウイング部２２は、既存のドロウイングツールと同じ機能を有する。このドロウイング部２２により、色又は濃淡レベルを指定して円や多角形を書いたり、塗りつぶす等の処理を行う。
【００６４】
図２の検索参照画像特徴ベクトル抽出部１４は、検索参照画像入力部１３により入力された検索参照画像の特徴ベクトルの抽出を行う。
【００６５】
要素画像部２１及びドロウイング部２２を用いて描画した画像部２０の画像を、Ｗ×Ｈ（点線）で分割する。この分割領域（ｍ、ｎ）が特徴ブロック（ｍ、ｎ）である。但し、ｍ＝０、１、、．．、Ｄｘ−１、ｎ＝０、１、、．．、Ｄｙ−１である。
【００６６】
検索参照画像特徴ベクトル抽出部１４は、各特徴ブロック（ｍ、ｎ）について、図２のステップ２１で求めたと同じように、画像特徴ベクトルＦ＝（ｆ０（ｍ、ｎ）、ｆ１（ｍ、ｎ）、．．、ｆＴ（ｍ、ｎ））を計算する。
【００６７】
次いで、Ｄｘ×Ｄｙ×Ｔ次元ベクトルＦ＝（Ｆ（０、０）、Ｆ（１、０）、．．、Ｆ（Ｄｘ−１、Ｄｙ−１））を出力する。
【００６８】
検索部１５は、検索参照画像特徴ベクトル抽出部１４で抽出された検索参照画像特徴ベクトルを用いて、検索対象画像データベースを検索する。
【００６９】
検索装置制御部１６は、ＣＰＵ（Central Ｐrocessing Ｕnit ：中央処理装置）、画像検索に係るアプリケーションを含み検索装置としての機能が果たされるように、検索装置１全体を制御する。
【００７０】
また、検索装置１には、コンピュータを動作させて、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、前記画像分割手段により分割された要素画像から代表的な要素画像を選択する選択手段とを機能させるためのプログラムを記録した記録媒体を備えてもよい。
【００７１】
同じく、また、検索装置１には、コンピュータを動作させて、検索対象画像から切り出された所定の大きさの要素画像であって、代表的な要素画像を表示する表示手段と、前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段とを機能させるためのプログラムを記録した記録媒体を備えてもよい。
【００７２】
また、図７において、また、検索装置１は、特徴ブロック・特徴ベクトル抽出部１０、主要特徴ブロック抽出部１１、表示部１２、検索参照画像入力部１３、検索参照画像特徴ベクトル抽出部１４、検索部１５及び検索装置制御部１６から構成されていると説明した。
【００７３】
しかしながら、図７における検索装置１の部分を独立した装置としてもよい。
【００７４】
例えば、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、前記画像分割手段により分割された要素画像から代表的な要素画像を選択する選択手段とで検索用要素画像抽出装置のような独立した装置構成としてもよい。
【００７５】
また、検索対象画像から切り出された所定の大きさの要素画像であって、代表的な要素画像を表示する表示手段と、前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段とで検索参照画像入力装置のような独立した装置構成としてもよい。
【００７６】
また、検索装置は、一体でも、検索用要素画像抽出装置、検索参照画像入力装置等を組み合わせて構成するようにしてもよい。
【００７７】
また、検索装置は、直接検索対象画像データベースに接続されていても、通信回線で接続されていてもよい。
【００７８】
なお、上記説明では、全てのカテゴリについて、任意に選んだ二つのカテゴリの中心ベクトルＶｃ［ｋ］の２乗距離ｄ（ｋ、ｋ’）を求めた例について説明したが、本件発明は、２乗距離に限らず、他の距離を用いてもよい。
【００７９】
また、上記実施の形態では、クラス分けを１回行う例について説明したが、クラス分けを複数回行うようにしてもよい。
【００８０】
【発明の効果】
検索対象画像中に出現頻度の高いテクスチャ等の代表的な要素画像を用いて、描画することで、ユーザの意図に反映した画像検索を良精度で行うことができる。
【００８１】
【図面の簡単な説明】
【図１】本発明の検索の処理フローである。
【図２】特徴ブロックと特徴ベクトルの抽出の処理フロー図である。
【図３】検索対象画像の分割を説明するための図である。
【図４】主要特徴ブロックの抽出の処理フローである。
【図５】クラス分けを説明するための図である。
【図６】図５の部分拡大図である。
【図７】本発明の検索装置を説明するための図である。
【図８】検索条件の入力画面を説明するための図である。
【符号の説明】
１０    特徴ブロック・特徴ベクトル抽出部
１１    主要特徴ブロック抽出部
１２    表示部
１３    検索参照画像入力部
１４    検索参照画像特徴ベクトル抽出部
１５    検索部
１６    検索装置制御部
２０    画像部
２１    要素画像部
２２    ドロウイング部
【図１】
0004331882.tif 000003
【図２】
0004331882.tif 000004
【図３】
0004331882.tif 000005
【図４】
0004331882.tif 000006
【図５】
0004331882.tif 000007
【図６】
0004331882.tif 000008
【図７】
0004331882.tif 000009
【図８】
0004331882.tif 000010