(57)【特許請求の範囲】
【請求項１】
分類木管理手段が、複数の階層に分類されたカテゴリと、カテゴリに属するキーワードと、キーワードに対応する画像および当該画像の特徴量を有する分類木を管理し、
特徴量抽出手段が、前記分類木を画像検索者に表示し、指定されたキーワードに対応する画像を画像検索者に表示し、選択された画像の特徴量とカテゴリを前記分類木から取得し、
検索手段が、前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量を用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像を検索すること
を特徴とする画像検索方法。
【請求項２】
画像を各画像の特徴量とともに管理している画像データベースと、
複数の階層に分類されたカテゴリと、カテゴリに属するキーワードと、キーワードに対応する画像および当該画像の特徴量を有する分類木を管理する分類木管理手段と、
該分類木管理手段で管理されている分類木を画像検索者に表示し、この表示された分類木から画像検索者が指定したキーワードに対応する画像を画像検索者に表示して画像検索者により選択された画像の特徴量とカテゴリを前記分類木管理手段から取得する特徴量取得手段と、
前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量とを用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像について前記画像データベースを検索し、この検索結果を出力する検索手段と
を有することを特徴とする画像検索装置。
【請求項３】
複数の階層に分類されたカテゴリと、カテゴリに属するキーワードと、キーワードに対応する画像および当該画像の特徴量を有する分類木を管理する処理と、
前記分類木を画像検索者に表示し、指定されたキーワードに対応する画像を画像検索者に表示し、選択された画像の特徴量とカテゴリを前記分類木から取得する処理と、
前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量とを用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像を検索する処理と、
をコンピュータに実行させることを特徴とする画像検索プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索方法および装置に関し、更に詳しくは、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索エンジンにおいて多種多様な画像がカテゴリとともに管理されている環境において画像検索者が所望する画像を検索する際に、検索キーとして画像の特徴量およびカテゴリを示すテキストを用いて類似画像の検索を行なう画像検索方法および装置と画像検索プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、パソコンの高機能化および低価格化に伴い、エンドユーザまで画像データを容易に閲覧して加工できる環境が整ってきた。これに伴い蓄積された画像データを効率良く管理するために、画像データを一元的に管理し、所望する画像データの検索を実現するための研究が活発になっている。
【０００３】
このような従来の画像検索における検索キーの指定の仕方には、画像にキーワードを付与し、キーワードによるテキスト検索の結果として画像を返却する第１の方法や、また画像に対して各画像固有のデータ（色相、彩度、輝度、形状、大きさ、位置）などを抽出しておき、この固有データを検索キーとした類似度の計算結果に基づき画像を返却する第２の方法などがある。
【０００４】
【発明が解決しようとする課題】
上述した従来の画像検索において、前記第１の方法では、画像とキーワードの対応付けが人間による主観に基づくため、同じ画像に対し、常に同じキーワードが付与されるとは限らず、真に画像検索者の所望する検索結果が得られるとは限らないという問題がある。
【０００５】
また、前記第２の方法では、画像検索者がイメージする画像を検索キーとして指定するため、検索キーとして登録されている画像から自らが求める画像を画像検索者が探す必要があるという問題がある。
【０００６】
すなわち、従来の方法では、画像検索者の所望する検索結果が得られない場合や、画像検索を実行する際に画像検索者がイメージする画像を指定するのが困難な場合があり、画像データベースの中から所望の画像を抽出するのに時間と労力が必要であるという問題がある。
【０００７】
本発明は、上記に鑑みてなされたもので、その目的とするところは、画像検索において画像検索者がイメージする画像の指定を容易に実現でき、画像データベースの中から所望の画像を効率的に検索することができる画像検索方法および装置と画像検索プログラムを記録した記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、第１の本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索方法であって、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうことを要旨とする。
【０００９】
本発明にあっては、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうため、分類木を辿ることにより画像検索者が所望する画像イメージを簡単に選択でき、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【００１０】
また、第２の本発明は、第１の発明において、前記特徴量に加えてカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なうことを要旨とする。
【００１１】
本発明にあっては、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうため、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【００１２】
更に、第３の本発明は、第１または第２の発明において、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートすることを要旨とする。
【００１３】
第４の本発明は、第１または第２の発明において、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なうことを要旨とする。
【００１４】
また、第５の本発明は、画像の特徴量を検索キーとして類似画像を検索する画像検索装置であって、画像を各画像の特徴量とともに管理している画像データベースと、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像、画像の特徴量を分類木として管理する分類木管理手段と、該分類木管理手段で管理されている分類木を画像検索者に表示し、この表示された分類木から画像検索者が選択したキーワードに対応する画像を画像検索者に表示して画像検索者により選択された画像の特徴量を前記分類木管理手段から取得する特徴量取得手段と、この取得した画像の特徴量を検索キーとして前記画像データベースを検索し、この検索結果を出力する検索手段とを有することを要旨とする。
【００１５】
本発明にあっては、分類木を画像検索者に表示し、この表示された分類木から画像検索者が選択したキーワードに対応する画像を表示して画像検索者により選択された画像の特徴量を分類木管理手段から取得し、この画像の特徴量を検索キーとして画像データベースを検索し、この検索結果を出力するため、分類木を辿ることにより画像検索者が所望する画像イメージを簡単に選択でき、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【００１６】
更に、第６の本発明は、第５の発明において、前記検索手段が、前記特徴量に加えて、画像検索者が選択した前記キーワードに対応するカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なうことを要旨とする。
【００１７】
本発明にあっては、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうため、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【００１８】
第７の本発明は、第５または第６の発明において、前記検索手段が、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートすることを要旨とする。
【００１９】
また、第８の本発明は、第５または第６の発明において、前記検索手段が、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なうことを要旨とする。
【００２０】
更に、第９の本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索プログラムを記録した記録媒体であって、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【００２１】
本発明にあっては、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう画像検索プログラムを記録媒体に記録しているため、該記録媒体を用いて、その流通性を高めることができる。
【００２２】
第１０の本発明は、第９の発明において、前記特徴量に加えてカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【００２３】
また、第１１の本発明は、第９または第１０の発明において、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートする画像検索プログラムを記録媒体に記録することを要旨とする。
【００２４】
更に、第１２の本発明は、第９または第１０の発明において、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【００２５】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る画像検索装置の構成を示すブロック図である。同図に示す画像検索装置１００は、画像のカテゴリ、キーワードを分類木で管理し、画像検索者へ検索キーとなる画像の入力インタフェースを提供し、指定された画像キーに応じて検索要求を生成し、検索結果として得られた画像を提供するものであって、画像検索者が操作するアプリケーションプログラム２００が通信網を介して接続されるユーザインタフェース部１１０、検索要求を生成する検索要求生成部１２０、実画像および各実画像の特徴量を保存管理している画像ＤＢ（データベース）３００に対して検索を実施するＤＢ検索部１３０、画像ＤＢ３００を管理する画像ＤＢ管理部１５０、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として管理している分類木管理部１４０から構成されている。なお、画像ＤＢ３００は、後述するカテゴリ画像対応表３１０を有している。
【００２６】
ユーザインタフェース部１１０は、分類木管理部１４０にアクセスし、得られた分類木をアプリケーションプログラム２００へ送信し、画像検索者から操作されるアプリケーションプログラム２００からキー画像の特徴量からなる入力データを受け付け、入力データを検索要求生成部１２０に送信する。また、ＤＢ検索部１３０から検索結果である類似画像を受信し、アプリケーションプログラム２００に返却する。
【００２７】
検索要求生成部１２０は、ユーザインタフェース部１１０から受け付けたキー画像の特徴量を元に検索要求を生成し、ＤＢ検索部１３０に送信する。ＤＢ検索部１３０は、検索要求生成部１２０から検索要求を受信し、その検索要求を元に画像ＤＢ３００への問い合わせを行なう。また検索結果として、類似画像を取得し、ユーザインタフェース部１１０に返却する。
【００２８】
分類木管理部１４０は、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として登録管理しており、この分類木情報をユーザインタフェース部１１０を介してアプリケーションプログラム２００に送信する。また、分類木管理部１４０はシステム管理者によって分類木を編集されるようになっている。画像ＤＢ管理部１５０は、画像ＤＢ３００に内包されるカテゴリ画像対応表３１０を編集する。この編集権限はシステム管理者が保有する。
【００２９】
アプリケーションプログラム２００は、画像検索者が操作するプログラムであり、カテゴリとキーワードからなる分類木の表示が可能である。またキー画像の特徴量送信機能、検索結果である類似画像表示機能を有する。
【００３０】
画像ＤＢ３００は、実画像ならびに各実画像の特徴量を管理し、検索要求に応じて類似画像を検索結果として送信する。また、各実画像とカテゴリとの対応表３１０を有する。このカテゴリ−画像対応表３１０は、画像ＤＢ３００にて管理されており、検索要求としてキー画像の特徴量のほかにカテゴリが指定されている場合、本対応表から画像のカテゴリの絞り込みを可能とする。
【００３１】
次に、上述したように構成される画像検索装置の作用について説明する。
【００３２】
最初に、図２に示すフローチャートを参照して、準備フェーズについて説明する。この準備フェーズでは、まずキー画像の設定として画像検索の条件となるキー画像の特徴量を抽出する（図２のステップＳ１１）。この特徴量の抽出は画像ＤＢ管理部１５０により画像ＤＢ３００に対して抽出要求を発行することにより行なわれる。
【００３３】
次に、カテゴリ、キーワードを策定し、上述したようにステップＳ１１で抽出した画像検索の条件となるキー画像の特徴量を属性値として持つ分類木を構築する（ステップＳ１３）。この分類木の構築は分類木管理部１４０に対してシステム管理者が行なう。カテゴリが２階層になっている分類木の構築例について図３に示す。
【００３４】
次に、実画像と特徴量を管理している画像ＤＢ３００に対して、各画像がそれぞれどのカテゴリに属するのかをカテゴリ画像対応表３１０で管理する（ステップＳ１５）。この画像ＤＢ３００とカテゴリの管理はシステム管理者が画像ＤＢ管理部１５０に対して行なう。このカテゴリ画像対応表３１０の設定例を図４に示す。
【００３５】
以上のようにして、分類木が構築され、画像ＤＢ３００の各画像とカテゴリの対応がカテゴリ画像対応表３１０で管理されると、次に画像検索者が本画像検索装置を用いて所望の画像を検索する実行フェーズについて説明する。
【００３６】
まず、分類木管理部１４０で管理されているカテゴリ、キーワードからなる分類木を分類木管理部１４０からユーザインタフェース部１１０を介してアプリケーションプログラム２００に送信し、アプリケーションプログラム２００に表示する。この場合の画面のイメージを図５に示す。
【００３７】
次に、画像検索者は、アプリケーションプログラム２００に表示された分類木を閲覧しながら、画像検索者がイメージする画像に最も近いカテゴリのものを分類木の上位より判断し、キーワードの選択を行なう。ここでは、一例として「クマノミ」を選択した場合について説明する。それから、このように選択したキーワード（クマノミ）の下位にあるキー画像候補の画像名（クマノミ１.jpg，クマノミ２.jpg）を分類木より取得し、アプリケーションプログラム２００にてキー画像候補として表示する。
【００３８】
次に、このように表示された画像（クマノミ１.jpg，クマノミ２.jpg）の中から画像検索者がイメージする画像に最も近い画像を選択する。ここでは、一例として「クマノミ２.jpg」が選択されたものとする。そして、このように選択されたキー画像の持つ特徴量（ａ３，ｂ３，ｃ３，ｄ３）を分類木管理部１４０から取得する。また同時に、キーワード「クマノミ」が属するカテゴリ（動物、魚類）も分類木管理部１４０から取得し、ユーザインタフェース部１１０を介して検索要求生成部１２０に前記データを転送する。
【００３９】
検索要求生成部１２０は、前記データを受け取ると、次に示すような検索要求を生成する。
【００４０】
【表１】
0003683481.tif 000002
なお、図３に示した分類木では、カテゴリが２階層であるため、上述した３パターンの検索要求が生成されるが、Ｎ階層存在する場合には、直系である（Ｎ＋１）パターンおよび直系に付随する兄弟関係の個数分（トップ配下のエントリは除く）の検索要求が生成される。このように生成される複数の検索要求の生成の優先順位を図６に示す。
【００４１】
上述したように生成された検索要求は、検索要求生成部１２０からＤＢ検索部１３０に送られ、ＤＢ検索部１３０において当該検索要求を画像ＤＢ３００に対して検索可能なようにＳＱＬ文を生成する。
【００４２】
そして、ＤＢ検索部１３０は、まず検索要求１−１を元に生成されたＳＱＬ文（最下層のカテゴリ、ここでは魚類）を画像ＤＢ３００に送信して、画像ＤＢ３００を検索し、この検索結果としてヒットしたものが返却される。次に検索要求１−２を元に生成されたＳＱＬ文（ここでは鳥類、哺乳類）を画像ＤＢ３００に送信して画像ＤＢ３００を検索し、この検索結果としてヒットしたものが返却される。
【００４３】
それから、検索要求２を元に生成されたＳＱＬ文（最下層の次に下位に属するカテゴリ、ここでは動物）を画像ＤＢ３００に送信して画像ＤＢ３００を検索し、この検索結果としてヒットしたものが返却される。このようにカテゴリが下位の検索要求から順に、該当するエントリの兄弟関係を優先的に検索条件として生成しながら、より上位のカテゴリを検索要求として含む検索を順次行なう。ここで、カテゴリ画像対応表３１０に存在しないカテゴリを検索要求とする場合には、通常の特徴量検索を実行する。
【００４４】
今回は検索要求１の検索条件の一部である「カテゴリ２が一致するもの」として「カサゴ.jpg」「ハナクマノミ.jpg」「カレクマノミ.jpg」がヒットし、これらが特徴量の近い順にソートされ、検索結果として返却される。
【００４５】
この検索結果は、ＤＢ検索部１３０からユーザインタフェース部１１０を経てアプリケーションプログラム２００に返却され表示される。
【００４６】
上述したように、本実施形態の画像検索装置では、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索可能な画像検索エンジンにおいて多種多様な画像がカテゴリとともに管理されている環境において類似画像を効率良く検索するために、分類木管理部１４０においてキーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として管理し、画像検索者がカテゴリを元に分類木を辿って、該当するキーワードを選択し、この選択したキーワードに対応する画像ファイル名を確認し、この確認した画像ファイル名から実画像の持つ特徴量を取得し、この特徴量およびキーワードの所属するカテゴリを元に画像検索エンジンを用いて、類似画像を検索することにより、画像検索を実行する際に画像検索者がイメージする画像を容易に指定し、カテゴリに合致する画像を優先して検索結果として返却するものである。
【００４７】
この結果、画像検索者が検索キーとなる画像をカテゴリを辿ってキーワード別に指定することが可能となる。また、各キーワードに対して複数の画像が対応している場合、その複数の画像の中から画像検索者がイメージする画像を指定することにより、適切な画像キーを選択することが可能となる。更に、キーワードの属するカテゴリに合致する画像を優先して検索結果として返却することが可能となる。また、検索結果も単にキーワードによる検索結果として画像を返却する場合や、各画像固有の特徴量に基づく類似度計算結果による検索の双方の長所を持ち合わせ、検索効率の向上が見込める。
【００４８】
なお、上記実施形態の画像検索方法の処理手順をプログラムとして記録媒体に記録して、この記録媒体をコンピュータシステムに組み込むとともに、該記録媒体に記録されたプログラムをコンピュータシステムにダウンロードまたはインストールし、該プログラムでコンピュータシステムを作動させることにより、画像検索方法を実施する画像検索装置として機能させることができることは勿論であり、このような記録媒体を用いることにより、その流通性を高めることができるものである。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうので、分類木を辿ることにより画像検索者が所望する画像イメージをキーワード別に簡単に選択でき、キーワードに複数の画像が対応していたり、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【００５０】
また、本発明によれば、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうので、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像検索装置の構成を示すブロック図である。
【図２】図１に示す実施形態の画像検索装置の準備フェーズの処理手順を示すフローチャートである。
【図３】図１に示す実施形態の画像検索装置における分類木の構築例を示す図である。
【図４】図１に示す実施形態の画像検索装置におけるカテゴリ画像対応表の一例を示す図である。
【図５】図１に示す実施形態の画像検索装置においてアプリケーションプログラムに表示される分類木の画面イメージの一例を示す図である。
【図６】図１に示す実施形態の画像検索装置における複数の検索要求の生成の優先順位を示す図である。
【符号の説明】
１００  画像検索装置
１１０  ユーザインタフェース部
１２０  検索要求生成部
１３０  ＤＢ検索部
１４０  分類木管理部
１５０  画像ＤＢ管理部
２００  アプリケーションプログラム
３００  画像ＤＢ
３１０  カテゴリ画像対応表
【図１】
0003683481.tif 000003
【図２】
0003683481.tif 000004
【図３】
0003683481.tif 000005
【図４】
0003683481.tif 000006
【図５】
0003683481.tif 000007
【図６】
0003683481.tif 000008