(57)【要約】【課題】  検索対象領域の抽出処理を容易に変更可能とする画像検索装置を提供する。【解決手段】  画像登録時には、登録対象の画像から画像領域を抽出し、該画像領域から画像の特徴量を抽出して画像特徴量データベース５０へ登録しておき、画像検索時には、指定画像から画像領域を抽出し、該画像領域から画像の特徴量を抽出し、前記画像特徴量データベース５０の特徴量と比較して類似する特徴量を検索する画像検索装置において、検索するときには、領域抽出スクリプト６０を解釈実行して、検索画像から抽出した画像領域の特徴量を用いて検索する。また、画像の種別ごとに持たせた前記画像特徴量データベース５０と、画像から領域を抽出する領域抽出スクリプト６０を画像の種別ごとに持たせ、入力画像の種類を識別した後に、この識別した種類に対応する領域抽出スクリプト６０を解釈実行させるようにした。【選択図】  図１
2006235715.tif 000002
【特許請求の範囲】
【請求項１】
画像から抽出対象領域を抽出する領域抽出部と、該領域抽出部により抽出した対象領域から画像の特徴量を抽出する特徴量抽出部と、画像登録時には、前記領域抽出部により登録対象の画像から画像領域を抽出し、前記特徴量抽出部により該画像領域から画像の特徴量を抽出して画像特徴量データベースへ登録する画像登録処理部と、画像検索時には、前記領域抽出部により指定画像から画像領域を抽出し、前記特徴量抽出部により該画像領域から画像の特徴量を抽出し、前記画像特徴量データベースの特徴量と比較して類似する特徴量を検索する画像検索処理部と、を有する大量画像を対象として画像検索する画像検索装置において、画像から領域を抽出する領域抽出スクリプトを備え、前記領域抽出部は前記領域抽出スクリプトを解釈実行させて、領域を抽出するようにしたことを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において、前記領域抽出部は画像の種別ごとに前記画像特徴量データベースと、前記画像の種類ごとに画像から領域を抽出する領域抽出スクリプトとを持ち、入力画像の種類を識別した後に、この識別した種類に対応する領域抽出スクリプトを解釈実行させるようにしたことを特徴とする画像検索装置。
【請求項３】
請求項１または２に記載の画像検索装置において、前記画像登録処理部は、前記領域抽出部により複数の領域を抽出した場合は、個々の領域を個別の画像として登録するようにして、単一の登録画像の各部分領域を検索できるようにしたことを特徴とする画像検索装置。
【請求項４】
画像登録時には、登録対象の画像から画像領域を抽出し、該画像領域から画像の特徴量を抽出して画像特徴量データベースへ登録しておき、画像検索時には、指定画像から画像領域を抽出し、該画像領域から画像の特徴量を抽出し、前記画像特徴量データベースの特徴量と比較して類似する特徴量を検索する画像検索方法において、画像から領域を抽出する領域抽出スクリプトを備え、該領域抽出スクリプトを解釈実行して抽出した画像領域の画像の特徴量を用いて検索するようにしたことを特徴とする画像検索方法。
【請求項５】
コンピュータに、請求項１、２または３に記載の画像検索装置の機能を実現させるためのプログラム。
【請求項６】
コンピュータが読み取り可能な記録媒体であって、請求項５に記載のプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像検索方法、プログラムおよび記録媒体に関し、特に、大量の画像から指定された画像と類似する部分領域画像を検索するときの領域抽出に関する。
【背景技術】
【０００２】
従来、多数の画像ファイルの中から所望の画像ファイルを検索する場合は、すべての画像ファイルについて画像内容を表す画像特徴量を求めておき、所望の画像ファイルの特徴量に近い特徴量を持つ画像ファイルを候補として検索して表示していた。
しかし、画像の検索を行う場合に、画像内容を表す画像特徴量のみで検索することは極めて少なく、実際にはテキストや日付、位置情報または画像の撮影環境に関する情報、さらには音声といった多様な画像関連データをも検索条件に入れて検索を行うのが一般的である。
このような場合に画像検索だけの機能と、他の情報による検索機能をアプリケーションプログラム側で統合しようとすると、アプリケーションプログラム側の負担が大きくなる。
このような場合、特許文献１では、画像検索プログラムとは独立に、画像の前処理をプログラムとして作成しておき、前処理時にそのプログラムを呼び出して処理するようにしている。
【特許文献１】特開２００４−１３３８１２公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１の場合、前処理プログラムは、画像検索プログラムと独立しているので取り替えることは容易であるが、単独に動作するプログラムとして作成しなければならないので、コンパイルやリンクといった作業が発生し、その処理内容を容易に変更することができないという問題がある。
また、一般の画像の場合には画像全体を検索する場合もあるが、画像内の特定の部分を検索する場合が多い。例えば、図８に示すような商標画像の場合には背景が単色（ほとんどの場合は白）であるから、白い背景部分を除去することで商標画像の領域を抽出することができる。
また、図９に示すような花画像を検索する花画像データベースを想定した場合、花の画像領域を背景から分離する必要がある。この場合には、背景が単色ではないので商標画像と同じ方法では領域が抽出できない。このように、対象とする画像によって領域を抽出する方法が異なってくる。
特定の画像用の領域抽出がプログラムに込みこまれていると対象とする画像の種類が変わった場合には変更できず、また、特許文献１のように、独立したプログラムであれば入れ替えは容易であるが、処理の内容を変更することは困難である。
本発明は、上述した実情を考慮してなされたもので、検索対象領域の抽出処理を容易に変更可能とする画像検索装置、画像検索方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記の課題を解決するために、請求項１に記載の発明は、画像から抽出対象領域を抽出する領域抽出部と、該領域抽出部により抽出した対象領域から画像の特徴量を抽出する特徴量抽出部と、画像登録時には、前記領域抽出部により登録対象の画像から画像領域を抽出し、前記特徴量抽出部により該画像領域から画像の特徴量を抽出して画像特徴量データベースへ登録する画像登録処理部と、画像検索時には、前記領域抽出部により指定画像から画像領域を抽出し、前記特徴量抽出部により該画像領域から画像の特徴量を抽出し、前記画像特徴量データベースの特徴量と比較して類似する特徴量を検索する画像検索処理部と、を有する大量画像を対象として画像検索する画像検索装置において、画像から領域を抽出する領域抽出スクリプトを備え、前記領域抽出部は前記領域抽出スクリプトを解釈実行させて、領域を抽出するようにしたことを特徴とする。
請求項２に記載の発明は、請求項１に記載の画像検索装置において、前記領域抽出部は画像の種別ごとに前記画像特徴量データベースと、前記画像の種類ごとに画像から領域を抽出する領域抽出スクリプトとを持ち、入力画像の種類を識別した後に、この識別した種類に対応する領域抽出スクリプトを解釈実行させるようにしたことを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の画像検索装置において、前記画像登録処理部は、前記領域抽出部により複数の領域を抽出した場合は、個々の領域を個別の画像として登録するようにして、単一の登録画像の各部分領域を検索できるようにしたことを特徴とする。
請求項４に記載の発明は、画像登録時には、登録対象の画像から画像領域を抽出し、該画像領域から画像の特徴量を抽出して画像特徴量データベースへ登録しておき、画像検索時には、指定画像から画像領域を抽出し、該画像領域から画像の特徴量を抽出し、前記画像特徴量データベースの特徴量と比較して類似する特徴量を検索する画像検索方法において、画像から領域を抽出する領域抽出スクリプトを備え、該領域抽出スクリプトを解釈実行して抽出した画像領域の画像の特徴量を用いて検索するようにしたことを特徴とする。
請求項５に記載の発明は、コンピュータに、請求項１、２または３に記載の画像検索装置の機能を実現させるためのプログラムである。
請求項６に記載の発明は、コンピュータが読み取り可能な記録媒体であって、請求項５に記載のプログラムを記録したことを特徴とする記録媒体である。
【発明の効果】
【０００５】
本発明によれば、大量の画像から指定された画像と類似する部分領域画像を検索するときの領域抽出処理を容易に変更可能にすることができる。
例えば、検索対象領域処理をプログラムとして組み込むのではなく、処理をテキストで記述したスクリプトとしてデータベースごとに保持するようにして、プログラム自体を変更することなく、データベースごとに様々な画像種別に適した領域抽出処理に容易に変更することが可能となった。
また、画像種別ごとに領域処理を設定可能とすることにより、より領域抽出処理を容易にすることができる。
また、１画像に複数の検索対象領域がある場合に、個々の検索対象領域を登録することにより、より領域抽出処理を容易にすることができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して、本発明の好適な実施形態を詳細に説明する。
＜実施形態１＞
図１は、本発明の実施形態１に係る画像検索装置の機能構成を示すブロック図である。なお、図１では画像検索装置をスタンドアローンとして構成しているが、Ｗｅｂサーバなどを利用してクライアント／サーバシステムとして構成するようにしてもよい。
同図において、画像検索装置は、検索条件の入力や検索結果の出力処理等を実行するＧＵＩ部１０、画像ファイル４０に格納された画像の検索対象の領域を抽出してその領域の特徴量を特徴量ＤＢ５０へ登録する画像登録処理部２０、画像ファイル４０に格納された画像から検索対象の領域の特徴量を用いて特徴量ＤＢ５０と比較して類似画像を検索する画像検索処理部３０、登録対象となる画像あるいは類似検索の元画像を格納した画像ファイル４０、検索対象の画像から抽出した特徴量が登録されている特徴量ＤＢ５０、検索画像の領域を抽出するためのスクリプトを登録した領域抽出スクリプト６０から構成される。ただし、登録部分と検索部分を別々の装置とする構成でもよい。
図２は、画像登録処理部２０の処理手順を示すフローチャートである。
画像ファイル４０に格納された登録画像から検索対象とする領域を抽出し（ステップＳ１０）、登録画像に対して対象領域を示すマスク画像を生成する（ステップＳ１１）。ここで複数の領域を抽出するために、個々の領域を示す複数のマスク画像を生成するようにしてもよい。
マスク画像に対応する登録画像の領域を抽出し、この抽出した登録対象領域から特徴量を抽出する（ステップＳ１２）。
ここで、抽出する特徴量としては、次のものが利用できる。
（１）色や形状や模様。
（２）領域中の各色のピクセル数をカウントして生成したカラーヒストグラム。
（３）領域の円形度（周囲長／面積）などの形状。
（４）領域内の画像についてフーリエ変換を行ったときの周波数スペクトル。
これらの特徴量の一つ又は複数の特徴量を組み合わせて利用してもよい。
また、複数の検索対象領域が抽出されている場合には、それぞれから特徴量を抽出する。
抽出した各特徴量を、登録画像ファイル名などの画像を特定する情報と一緒に特徴量ＤＢ（データベース）５０に登録する（ステップＳ１３）。
また、画像登録の領域抽出時に複数の領域を抽出した場合には、抽出した個々の領域を個別の画像として、特徴量を抽出して特徴量ＤＢ５０へ登録するようにして、単一の登録画像の各部分領域を検索できるようにしてもよい。
【０００７】
図３は、画像検索処理部３０の処理手順を示すフローチャートである。
まず、画像ファイル４０に格納された検索画像から検索対象とする領域を抽出し（ステップＳ２０）、検索画像に対して対象領域を示すマスク画像を生成し、このマスク画像に対応する検索画像の領域を抽出し、この抽出した検索対象領域から特徴量を抽出する（ステップＳ２１）。ここで抽出する特徴量は、登録時と同じものとする。
次に、抽出した特徴量と特徴量ＤＢ５０に登録された全特徴量との距離を算出する（ステップＳ２２）。
この算出した距離を小さい順にソートし（ステップＳ２３）、このソートされた画像のうち所定数の上位画像のリストを表示装置へ出力し、ユーザはこのリストの中の画像を表示させて所望の画像を探す（ステップＳ２４）。
なお、クライアントサーバ型の場合には、クライアントから画像をサーバに送って、サーバが上述のように検索対象の画像から特徴量を抽出して類似画像を検索するようにしてもよいし、クライアント側で特徴量を抽出し、この特徴量をサーバに送って特徴量による検索処理だけをサーバで行うようにしてもよい。
【０００８】
次に、上述した登録対象および検索対象とする画像領域の抽出方法について説明する。
一般に、画像データベースは、花画像データベースや商標画像データベースなど特定の画像種別ごとのデータベースとなる場合が多い。そこでデータベースごとに異なる領域抽出を指定できる枠組みが必要となってくる。
本発明では、この問題を解決するために、領域抽出の処理手順をテキストで記述したスクリプトファイルを用意し、領域抽出実行時（上記図２におけるＳ１０、図３におけるＳ２０）にこのスクリプトを読み込み、その内容を解釈実行することによって領域抽出した後に、その領域から特徴量を抽出するようにする。
この領域抽出のスクリプトは、簡単なプログラムのようなものであるがコンパイルを必要とせず編集が容易なテキストデータである。このスクリプトには、対象とする領域の位置や範囲等を画像処理のコマンドを列挙して指定する。
例えば、背景が単一色の場合の領域抽出「色によるラベリング処理をして、左上端のラベル以外のラベルをマージして同一ラベルとする」には、図４のような２行のスクリプトを作成する。
スクリプトで記述できるコマンドとして、汎用性のある画像処理のコマンドを豊富に用意しておけば、様々な画像に対する前処理がスクリプトのみで記述できる。
さらに、複数の特徴量を利用している場合には、各特徴量を抽出する前に画像処理が必要となる場合がある。そこで、領域抽出スクリプトと同様に各特徴量抽出の前処理スクリプトを用意し、特徴量抽出前に対象領域に対して前処理スクリプトで示された処理を解釈実行した後に特徴量を抽出するというように拡張することもできる。
図５は、登録処理（図２）および検索処理（図３）における「画像からの領域抽出処理」の処理手順を示すフローチャートである。
画像ファイル４０に格納された画像を読み込み（ステップＳ３０）、領域抽出スクリプト６０に記述したスクリプトを読み込む（ステップＳ３１）。
次に、読み込んだスクリプトを解釈実行して、読み込んだ画像から抽出する領域を決定する（ステップＳ３２）。
上記で決定した領域に対して、マスク領域を生成し、このマスク領域を使って読み込んだ画像から登録あるいは検索対象とする画像を抽出する（ステップＳ３３）。
【０００９】
＜実施形態２＞
実施形態１では、一つのデータベースには一種類の画像しか入力されないという前提でデータベースごとに領域抽出スクリプトを用意したが、アプリケーションによっては複数種類の画像を一つのデータベースに登録する場合もある。
例えば、一つのデータベースに次のような３種類の画像が入力されているとする。
１）商品画像（背景が単色）
２）人物画像（肌色を有する）
３）風景画像（上記以外）
この場合には、画像の種別ごとに異なる領域抽出が必要になるので、画像種別ごとに領域抽出スクリプトを用意し、入力された画像の種別を識別した後に対応するスクリプトによって領域を抽出することになる。
例えば、上述の３種類の画像を識別するのは以下のようにして行う。
１）画像中の肌色の面積比率が特定の閾値を超えた場合には人物画像とする。
２）その他の画像に対して画像周辺部の色の分散値を求めて分散値が特定の閾値より低い場合には商品画像とする。
３）その他の画像を風景画像とする。
図６は、本発明の実施形態２に係る画像検索装置の機能構成を示すブロック図である。同図において、図１と同一の部分には同一の符号を付し、相違点についてのみ説明する。
上述のように、特徴量ＤＢ５０および領域抽出スクリプト６０は、取り扱う画像の種類ごとに用意される。
また、画像登録処理部２０および画像検索処理部３０は、画像ファイル４０から読み取られた画像がどの種類であるかを識別する処理が追加される。
読み取られた画像の種類が決定されると、その種類に合った領域抽出スクリプトを読み込んで、そのスクリプトを解釈実行して抽出された画像に対して、特徴量を抽出するようにする。この特徴量に対して、登録するときには、画像の種類に対応した特徴量ＤＢ５０へ登録し、また、検索するときには、画像の種類に対応した特徴量ＤＢ５０を選択して、類似画像を検索するようにする。
【００１０】
図７は、実施形態２における登録処理あるいは検索処理における領域抽出の処理手順を示すフローチャートである。
画像ファイル４０に格納された画像を読み込み（ステップＳ４０）、読み込んだ画像の種類を、上述したように識別する（ステップＳ４１）。
識別された画像の種類に対応するスクリプトを領域抽出スクリプト６０から読み込む（ステップＳ４２）。
次に、読み込んだスクリプトを解釈実行して、読み込んだ画像の抽出領域を決定する（ステップＳ４３）。
上記で決定した領域に対して、マスク領域を生成し、このマスク領域を使って読み込んだ画像から登録対象あるいは検索対象とする画像を抽出する（ステップＳ４４）。
以上のように、実施形態１および２を構成することにより、大量の画像から指定された画像と類似する部分領域画像を検索するときの領域抽出処理を容易に変更可能にすることができる。
また、画像種別ごとに領域処理を設定可能とすることにより、より領域抽出処理を容易にすることができる。
また、１画像に複数の検索対象領域がある場合に、個々の検索対象領域を登録することにより、より領域抽出処理を容易にすることができる。
【００１１】
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の画像検索装置を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
なお、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等を介して接続されたサーバコンピュータの記憶装置にプログラムを格納しておき、インターネット等を通じて他のコンピュータに転送することもできる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
なお、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る画像検索装置の機能構成を示すブロック図である。
【図２】画像登録処理部の処理手順を示すフローチャートである。
【図３】画像検索処理部の処理手順を示すフローチャートである。
【図４】領域抽出スクリプトの例を示す図である。
【図５】実施形態１における登録処理あるいは検索処理における領域抽出の処理手順を示すフローチャートである。
【図６】本発明の実施形態２に係る画像検索装置の機能構成を示すブロック図である。
【図７】実施形態２における登録処理あるいは検索処理における領域抽出の処理手順を示すフローチャートである。
【図８】商標画像の例を示す図である。
【図９】花画像の例を示す図である。
【符号の説明】
【００１３】
１０…ＧＵＩ部、２０…画像登録処理部、３０…画像検索処理部、４０…画像ファイル、５０…特徴量ＤＢ、６０…領域抽出スクリプト。
【図１】
2006235715.tif 000003
【図２】
2006235715.tif 000004
【図３】
2006235715.tif 000005
【図４】
2006235715.tif 000006
【図５】
2006235715.tif 000007
【図６】
2006235715.tif 000008
【図７】
2006235715.tif 000009
【図８】
2006235715.tif 000010
【図９】
2006235715.tif 000011