(57)【特許請求の範囲】
【請求項１】
画像特徴量とキーワードとの関係を記憶する記憶手段と、
前記記憶手段に記憶されている画像特徴量とキーワードとの関係を参照して、入力されたキーワードを、対応する前記画像特徴量に変換するキーワード変換手段と、
データベースに記憶されている画像データを、複数の領域に分割する分割手段と、
前記複数の領域について、各領域の画像データを前記画像特徴量に変換する画像変換手段と、
前記各領域の画像データの画像特徴量と、前記キーワード変換手段により変換された画像特徴量とを比較する比較手段と、
前記比較手段の比較結果に対応して、前記データベースから画像データを検索する検索手段と
を備えることを特徴とする画像検索装置。
【請求項２】
前記画像特徴量またはキーワードには優先度が設定されており、
前記検索手段は、前記優先度に対応して検索を行う
ことを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記画像特徴量は、色情報と形状情報を含み、
前記検索手段は、所定のモードが設定されたとき、前記色情報と形状情報のうちの一方だけで検索を行う
ことを特徴とする請求項１に記載の画像検索装置。
【請求項４】
１つの前記キーワードに対して複数の前記画像特徴量が対応しているか、または、１つの前記画像特徴量に対して複数の前記キーワードが対応している
ことを特徴とする請求項１に記載の画像検索装置。
【請求項５】
画像特徴量とキーワードとの関係を記憶する記憶手段に記憶されている画像特徴量とキーワードとの関係を参照して、入力されたキーワードを、対応する前記画像特徴量に変換するキーワード変換ステップと、
データベースに記憶されている画像データを、複数の領域に分割する分割ステップと、
前記複数の領域について、各領域の画像データを画像特徴量に変換する画像変換ステップと、
前記各領域の画像データの画像特徴量と、前記キーワード変換ステップで変換された画像特徴量とを比較する比較ステップと、
前記比較ステップでの比較結果に対応して、前記データベースから画像データを検索する検索ステップと
を含むことを特徴とする画像検索方法。
【請求項６】
画像データを色を基準にして複数の領域に分割する分割手段と、
前記複数の領域について、各領域の画像データの形状情報を抽出する形状情報抽出手段と、
前記複数の領域について、各領域の画像データの色情報を抽出する色情報抽出手段と、
前記各領域の画像データの形状情報と、入力された形状情報とを比較する形状情報比較手段と、
前記各領域の画像データの色情報と、入力された色情報とを比較する色情報比較手段と、
前記形状情報比較手段と色情報比較手段による比較結果に対応して、データベースから画像データを検索する検索手段と
を備えることを特徴とする画像検索装置。
【請求項７】
前記分割手段は、画像の解像度を低下させた後、同一の色の領域毎に分割を行う
ことを特徴とする請求項６に記載の画像検索装置。
【請求項８】
画像データを色を基準にして複数の領域に分割する分割ステップと、
前記複数の領域について、各領域の画像データの形状情報を抽出する形状情報抽出ステップと、
前記複数の領域について、各領域の画像データの色情報を抽出する色情報抽出ステップと、
前記各領域の画像データの形状情報と、入力された形状情報とを比較する形状情報比較ステップと、
前記各領域の画像データの色情報と、入力された色情報とを比較する色情報比較ステップと、
前記形状情報比較ステップと色情報比較ステップによる比較結果に対応して、データベースから画像データを検索する検索ステップと
を含むことを特徴とする画像検索方法。
【請求項９】
キーワードと画像特徴量との対応関係を表すテーブルを記憶するテーブル記憶手段と、
入力された画像データを複数の領域に分割する分割手段と、
前記複数の領域について、各領域の画像データを画像特徴量に変換する画像変換手段と、
前記テーブルを参照して、前記各領域の画像データの画像特徴量に対応するキーワードを検索する検索手段と
を備えることを特徴とするキーワード抽出装置。
【請求項１０】
前記検索手段により検索された各キーワードが対応する関連キーワードを検索し、検索した関連キーワードの中から所定のものを選択するキーワード選択手段を
さらに備えることを特徴とする請求項９に記載のキーワード抽出装置。
【請求項１１】
入力された画像データを複数の領域に分割する分割ステップと、
前記複数の領域について、各領域の画像データを画像特徴量に変換する画像変換ステップと、
キーワードと画像特徴量との対応関係を表すテーブルを記憶している記憶手段に記憶されているテーブルを参照して、前記各領域の画像データの画像特徴量に対応するキーワードを検索する検索ステップと
を含むことを特徴とするキーワード抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像検索装置、画像検索方法、キーワード抽出装置およびキーワード抽出方法に関し、特に、画像データをキーワードにより、簡単かつ確実に、検索することができるようにした、画像検索装置、画像検索方法、キーワード抽出装置およびキーワード抽出方法に関する。
【０００２】
【従来の技術】
従来、画像を検索する方法として、パターンマッチングによる方法と、キーワードを利用する方法とが知られている。
【０００３】
パターンマッチングによる方法においては、画像データが、画素単位でマッチングするか否かが判定される。
【０００４】
これに対して、キーワードを用いる方法においては、各画像毎に、適当なキーワードをユーザが入力し、画像を検索するとき、画像を入力するのではなく、キーワードを入力し、そのキーワードが対応されている画像を検索するようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、パターンマッチングによる方法は、検索に時間がかかる課題がある。
【０００６】
これに対して、キーワードを用いる方法は、検索は迅速に行うことができるが、そのデータベースを管理する管理者が、各画像毎にキーワードを設定する操作が必要となり、データベースを作成し、維持するのに大きな労力が必要となる。また、検索は、管理者が使用したキーワードを用いて行う必要があるため、自由な用語を用いて検索を行うことができない課題があった。
【０００７】
さらにまた、管理者が設定するキーワードが適切でないと、所望の画像を検索することができなくなってしまい、キーワードの設定操作が、検索の精度に大きく影響する課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、簡単かつ確実に、所望の画像を検索することができるようにするものである。
【０００９】
【課題を解決するための手段】
請求項１に記載の画像検索装置は、画像特徴量とキーワードとの関係を記憶する記憶手段と、記憶手段に記憶されている画像特徴量とキーワードとの関係を参照して、入力されたキーワードを、対応する画像特徴量に変換するキーワード変換手段と、データベースに記憶されている画像データを、複数の領域に分割する分割手段と、複数の領域について、各領域の画像データを画像特徴量に変換する画像変換手段と、各領域の画像データの画像特徴量と、キーワード変換手段により変換された画像特徴量とを比較する比較手段と、比較手段の比較結果に対応して、データベースから画像データを検索する検索手段とを備えることを特徴とする。
【００１１】
画像特徴量またはキーワードには優先度を設定し、その優先度に対応して検索を行わせるようにすることができる。
【００１２】
画像特徴量が、色情報と形状情報とを含む場合、所定のモードが設定されたとき、色情報と形状情報のうちの一方だけで検索を行うようにすることができる。
【００１３】
１つのキーワードには、複数の画像特徴量を対応させたり、また、１つの画像特徴量には、複数のキーワードを対応させることができる。
【００１４】
請求項５に記載の画像検索方法は、画像特徴量とキーワードとの関係を記憶する記憶手段に記憶されている画像特徴量とキーワードとの関係を参照して、入力されたキーワードを、対応する画像特徴量に変換するキーワード変換ステップと、データベースに記憶されている画像データを、複数の領域に分割する分割ステップと、複数の領域について、各領域の画像データを画像特徴量に変換する画像変換ステップと、各領域の画像データの画像特徴量と、キーワード変換ステップで変換された画像特徴量とを比較する比較ステップと、比較ステップでの比較結果に対応して、データベースから画像データを検索する検索ステップとを含むことを特徴とする。
【００１５】
請求項６に記載の画像検索装置は、画像データを色を基準にして複数の領域に分割する分割手段と、複数の領域について、各領域の画像データの形状情報を抽出する形状情報抽出手段と、複数の領域について、各領域の画像データの色情報を抽出する色情報抽出手段と、各領域の画像データの形状情報と、入力された形状情報とを比較する形状情報比較手段と、各領域の画像データの色情報と、入力された色情報とを比較する色情報比較手段と、形状情報比較手段と色情報比較手段による比較結果に対応して、データベースから画像データを検索する検索手段とを備えることを特徴とする。
【００１６】
この分割手段には、画像の解像度を低下させた後、同一の色の領域毎に分割を行わせるようにすることができる。
【００１７】
請求項８に記載の画像検索方法は、画像データを色を基準にして複数の領域に分割する分割ステップと、複数の領域について、各領域の画像データの形状情報を抽出する形状情報抽出ステップと、複数の領域について、各領域の画像データの色情報を抽出する色情報抽出ステップと、各領域の画像データの形状情報と、入力された形状情報とを比較する形状情報比較ステップと、各領域の画像データの色情報と、入力された色情報とを比較する色情報比較ステップと、形状情報比較ステップと色情報比較ステップによる比較結果に対応して、データベースから画像データを検索する検索ステップとを含むことを特徴とする。
【００１８】
請求項９に記載のキーワード抽出装置は、キーワードと画像特徴量との対応関係を表すテーブルを記憶するテーブル記憶手段と、入力された画像データを複数の領域に分割する分割手段と、複数の領域について、各領域の画像データを画像特徴量に変換する画像変換手段と、テーブルを参照して、各領域の画像データの画像特徴量に対応するキーワードを検索する検索手段とを備えることを特徴とする。
【００１９】
キーワードが対応する関連キーワードを選択する、キーワード選択手段をさらに設けることができる。
【００２０】
請求項１１に記載のキーワード抽出方法は、入力された画像データを複数の領域に分割する分割ステップと、複数の領域について、各領域の画像データを画像特徴量に変換する画像変換ステップと、キーワードと画像特徴量との対応関係を表すテーブルを記憶している記憶手段に記憶されているテーブルを参照して、各領域の画像データの画像特徴量に対応するキーワードを検索する検索ステップとを含むことを特徴とする。
【００２１】
請求項１に記載の画像検索装置および請求項５に記載の画像検索方法においては、データベースに記憶されている画像データが画像特徴量に変換される。また、画像特徴量とキーワードとの関係が記憶されており、この記憶されている関係を参照して、入力されたキーワードが、対応する画像特徴量に変換される。画像データから変換された画像特徴量と、キーワードから変換された画像特徴量とが比較され、その比較結果に対応して、データベースから画像データが検索される。
【００２２】
請求項６に記載の画像検索装置および請求項８に記載の画像検索方法においては、画像が複数の領域に分割され、分割された画像の形状情報と色情報が抽出される。そして、抽出された形状情報と色情報に対応して、データベースから画像データが検索される。
【００２３】
請求項９に記載のキーワード抽出装置および請求項１１に記載のキーワード抽出方法においては、キーワードと画像特徴量との対応関係を表すテーブルが記憶されており、このテーブルを参照して、画像特徴量が対応するキーワードに変換され、変換されたキーワードが出力される。
【００２４】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００２５】
請求項１に記載の画像検索装置は、画像特徴量とキーワードとの関係を記憶する記憶手段（例えば、図２の画像特徴データベース２４）と、記憶手段に記憶されている画像特徴量とキーワードとの関係を参照して、入力されたキーワードを、対応する画像特徴量に変換するキーワード変換手段（例えば、図５のステップＳ２）と、データベースに記憶されている画像データを複数の領域に分割する分割手段（例えば、図１２のステップＳ６１）と、複数の領域について、各領域の画像データを画像特徴量に変換する画像変換手段（例えば、図５のステップＳ６）と、画像変換手段により変換された各領域の画像データの画像特徴量と、キーワード変換手段により変換された画像特徴量とを比較する比較手段（例えば、図５のステップＳ８）と、比較手段の比較結果に対応して、データベースから画像データを検索する検索手段（例えば、図５のステップＳ１０）とを備えることを特徴とする。
【００２７】
請求項６に記載の画像検索装置は、画像データを色を基準にして複数の領域に分割する分割手段（例えば、図１２のステップＳ６１）と、分割手段により分割された複数の領域について、各領域の画像データの形状情報を抽出する形状情報抽出手段（例えば、図１２のステップＳ６４）と、分割手段により分割された複数の領域について、各領域の画像データの色情報を抽出する色情報抽出手段（例えば、図１２のステップＳ６３）と、形状情報抽出手段により抽出された各領域の画像データの形状情報と、入力された形状情報とを比較する形状情報比較手段（例えば、図１５のステップＳ８３）と、色情報抽出手段により抽出された各領域の画像データの色情報と、入力された色情報とを比較する色情報比較手段（例えば、図１５のステップＳ８４）と、形状情報比較手段と色情報比較手段による比較結果に対応して、データベースから画像データを検索する検索手段（例えば、図５のステップＳ１０）とを備えることを特徴とする。
【００２８】
請求項９に記載のキーワード抽出装置は、キーワードと画像特徴量との対応関係を表すテーブルを記憶するテーブル記憶手段（例えば、図２の画像特徴データベース２４）と、入力された画像データを複数の領域に分割する分割手段（例えば、図１２のステップＳ６１）と、複数の領域について、各領域の画像データを画像特徴量に変換する画像変換手段（例えば、図５のステップＳ６）と、テーブルを参照して、各領域の画像データの画像特徴量を対応するキーワードに変換する変換手段（例えば、図１９のステップＳ１１２）と、変換手段により変換されたキーワードを出力する出力手段（例えば、図１９のステップＳ１１９）とを備えることを特徴とする。
【００２９】
図１は、本発明の画像検索装置の構成例を表している。キーボード１は、文字を入力するとき、ユーザにより操作される。タブレット２は、ペン２Ａで、その上を操作することで、例えば、検索すべき画像が入力される。再生装置３は、固体メモリ、ディスク、テープなどの記録媒体に記録されている画像データを再生する。ディスプレイ４は、画像を表示する。インタフェース５は、これらのキーボード１乃至ディスプレイ４と、制御回路１０の間のインタフェース処理を行う。制御回路１０は、例えば、マイクロコンピュータなどにより構成され、各部を制御する。
【００３０】
キーワード画像特徴量変換装置６は、キーワードを画像特徴量に変換したり、あるいは逆に、画像特徴量をキーワードに変換する処理を行う。画像データ画像特徴量変換装置７は、画像データを画像特徴量に変換する処理を行う。特徴量マッチング装置８は、キーワード画像特徴量変換装置６、または画像データ画像特徴量変換装置７より供給された画像特徴量を、画像データベース９より読み出された画像特徴量と比較する処理を行う。画像データベース９は、複数の画像の画像データをデータベースとして記憶している。
【００３１】
なお、これらのキーワード画像特徴量変換装置６乃至画像データベース９は、ハードウェアにより構成することもできるが、ソフトウェアプログラムにより構成することもできる。
【００３２】
図２は、キーワード画像特徴量変換装置６の構成例を表している。関連キーワード出力装置２１は、関連キーワードデータベース２３に接続されており、キーワードが入力されたとき、それに関連する関連キーワードを検索し、出力するようになされている。関連キーワードデータベース２３には、所定のキーワードに対応する関連キーワードがデータベースとして登録されている。文字画像変換装置２２は、画像特徴データベース２４に接続されており、キーワードが入力されると、画像特徴データベース２４を参照して、そのキーワードに対応する画像特徴量を出力するかまたはその逆に、画像特徴量が入力されると、対応するキーワードを検索し、出力するようになされている。画像特徴データベース２４には、キーワードと画像特徴量の対応関係を表す変換テーブルが記憶されている。
【００３３】
図３は、画像データ画像特徴量変換装置７の構成例を表している。領域分割装置３１は、入力された画像データを複数の領域に分割し、各領域の画像データを色情報抽出装置３２と形状情報抽出装置３３に出力している。色情報抽出装置３２と形状情報抽出装置３３は、領域分割装置３１より入力された各領域毎の画像データから色情報よりなる画像特徴または形状情報よりなる画像特徴量を抽出し、出力するようになされている。
【００３４】
図４は、特徴量マッチング装置８の構成例を表している。形状情報比較装置４１は、キーワード画像特徴量変換装置６、または画像データ画像特徴量変換装置７が出力した形状情報と、画像データベース９より読み出された形状情報とを比較し、その比較結果（形状類似度）を類似度統合部４３に出力するようになされている。また、色情報比較装置４２は、キーワード画像特徴量変換装置６、または画像データ画像特徴量変換装置７が出力する色情報と、画像データベース９より読み出された色情報とを比較し、その比較結果（色類似度）を、類似度統合部４３に出力している。類似度統合部４３は、形状情報比較装置４１より供給される形状類似度と、色情報比較装置４２より供給される色類似度とを統合して、総合類似度とし、判定部４４に出力している。判定部４４は、総合類似度の値から、２つの画像の類似度を判定し、判定結果を制御回路１０に出力するようになされている。
【００３５】
次に、図５のフローチャートを参照して、画像検索処理について説明する。いま、この処理で、所定のキーワードを入力して、そのキーワードに対応する画像を検索するものとする。
【００３６】
最初に、ステップＳ１において、ユーザは、キーボード１を操作し、所定のキーワード（例えば「自然」）を入力する。制御回路１０は、インタフェース５を介して、このキーワードの入力を受けたとき、ステップＳ２において、このキーワードをキーワード画像特徴量変換装置６に供給し、キーワード画像特徴量変換処理を実行させる。この処理の詳細は、図６のフローチャートに示されている。
【００３７】
すなわち、キーワード画像特徴量変換装置６は、ステップＳ２１において、関連キーワード出力処理を実行する。この関連キーワード出力処理の詳細は、図７のフローチャートに示されている。
【００３８】
最初に、ステップＳ４１において、関連キーワード出力装置２１は、制御回路１０からキーワードが供給されてきたとき、このキーワードを初期キーワードに設定する。いまの場合、「自然」のキーワードが初期キーワードとして設定される。
【００３９】
次に、ステップＳ４２に進み、関連キーワード出力装置２１は、ステップＳ４１で設定した初期キーワードを親キーワードとして設定する。ステップＳ４３においては、親キーワードに対して子キーワードが検索される。すなわち、関連キーワード出力装置２１は、関連キーワードデータベース２３を参照して、「自然」を親キーワードとする子キーワードを検索する。これにより、例えば、図８に示すように、「自然」の親キーワード（初期キーワード）に対して、「海」、「山」、および「空」の３つの第１ランクの子キーワード（関連キーワード）が検索される。
【００４０】
次にステップＳ４４において、関連キーワード出力装置２１は、子キーワードが第３ランクに達したか否かを判定する。いまの場合、第１ランクの子キーワードが検索されただけであるので、ＮＯの判定が行われ、ステップＳ４５に進む。ステップＳ４５においては、子キーワードが、親キーワードにシフトされる。いまの場合、例えば「海」の子キーワードが、親キーワードに設定される。
【００４１】
次に、ステップＳ４３に戻り、「海」の親キーワードに対する子キーワードが、関連キーワードデータベース２３から検索される。これにより、例えば、図８に示すように、「山」、「川」、および「魚」の子キーワードが検索される。
【００４２】
ステップＳ４５においては、他のキーワード「山」と「空」も、それぞれ親キーワードに設定される。その結果、ステップＳ４３においては、「山」の親キーワードに対する子キーワードと、「空」の親キーワードに対応する子キーワードが検索される。図８の表示例においては、「山」の親キーワードに対して、「森」、「川」、および「自然」の子キーワードが検索され、「空」の親キーワードに対して、「青」、「海」、および「地球」の子キーワードが検索されている。以上により、第２ランクの子キーワードが検索されたことになる。
【００４３】
次に、ステップＳ４４に進み、子キーワードが第３ランクに達したか否かが判定される。いまの場合、まだ達していないので、再び、ステップＳ４５とステップＳ４３の処理が実行され、図８に示すように、第２ランクのキーワードを親キーワードとする第３ランクの子キーワードが検索される。このようにして、第３ランクまでの検索が行われると、合計４０個（＝１＋３＋９＋２７）のキーワード（但し、中には同一のキーワードもある）が検索される。
【００４４】
ステップＳ４４において、第３ランクまでの子キーワードが検索されたと判定された場合、ステップＳ４６に進み、関連キーワードに重み付けを行い、関連度を算出する処理が実行される。
【００４５】
ここでは、初期キーワードは関連度が８とされ、第１ランクの関連キーワードは関連度が４とされ、第２ランクのキーワードは関連度が２とされ、第３ランクのキーワードは関連度が１とされる。そして、同一のキーワードが複数のランクで重複して現れている場合、また、同一のランクにおいて、同一のキーワードが重複して現れている場合には、それぞれの関連度の値が加算されて、そのキーワードの関連度とされる。
【００４６】
例えば、図８の例においては、初期キーワードから第２ランクまでの間において、「自然」のキーワードは、初期キーワードと第２ランクに１回ずつ現れる。従って、「自然」の関連度は１０（＝８＋２）とされる。
【００４７】
「海」のキーワードは、第１ランクにおいて１回出現し、第２ランクにおいても１回出現している。そこで、この「海」の関連度は、６（＝４＋２）とされる。「川」のキーワードは、第２ランクにおいて２回出現しているので、その関連度は４（＝２＋２）とされる。
【００４８】
「地球」のキーワードは、第２ランクにおいて１回出現するだけなので、その関連度は２とされる。
【００４９】
以上のようにして、出現したすべてのキーワードに対する関連度の算出が行われたとき、ステップＳ４７において、関連キーワード出力装置２１は、関連度の高い順に５個のキーワードを選択する。そして、ステップＳ４８において、選択した関連キーワードを出力する。
【００５０】
以上のようにして、図６のステップＳ２１の関連キーワード出力処理が完了したとき、関連キーワード出力装置２１は、ステップＳ２２で、ステップＳ２１で選択した５個の関連キーワードを文字画像変換装置２２に出力する。文字画像変換装置２２は、関連キーワード出力装置２１から５個の間連キーワードの供給を受けたとき、ステップＳ２３において、画像特徴データベース２４を参照して、文字画像変換処理を実行する。
【００５１】
画像特徴データベース２４には、例えば、図９に示すように、キーワードと画像特徴量が対応付けて、変換テーブルとして記憶されている。画像特徴量は、色情報と形状情報に区分されている。
【００５２】
図１０と図１１は、画像特徴データベースのキーワードと画像特徴量の対応関係の例を表している。図１０は、「山」のキーワードに、色情報として「緑」が、また、形状情報として「三角形」が、それぞれ対応されている。
【００５３】
図１１の例においては、「海」のキーワードに対して、「青」の色情報と、「四角形」の形状情報が対応されている。
【００５４】
文字画像変換装置２２は、関連キーワード出力装置２１から供給された５個の間連キーワードに対応する画像特徴量（形状情報と色情報）を画像特徴データベース２４から検索し、ステップＳ２４で、その検索の結果得られた画像特徴量を、入力された関連キーワードに対応する画像特徴量として出力する。
【００５５】
以上のようにして、図５のステップＳ２のキーワード画像特徴量変換処理が行われたとき、ステップＳ３において、文字画像変換装置２２が検索した画像特徴量が、特徴量マッチング装置８に供給される。
【００５６】
一方、画像検索が指令されたとき、以上のステップＳ１乃至Ｓ３の処理と並行して、ステップＳ４乃至Ｓ７の処理が実行される。ステップＳ４においては、制御回路１０は、画像データベース９を制御し、そこに記憶されている画像データの読み出しを指令する。画像データベース９は、この指令に対応して、ステップＳ５において画像データを読み出し、これを画像データ画像特徴量変換装置７に供給する。画像データ画像特徴量変換装置７は、画像データの供給を受けたとき、ステップＳ６において、画像データ画像特徴量変換処理を実行する。この画像データ画像特徴量変換処理の詳細は、図１２に示されている。
【００５７】
最初にステップＳ６１において、画像データ画像特徴量変換装置７は、画像データベース９からの画像データの供給を受けると、ステップＳ６１において、領域分割処理を実行する。すなわち、領域分割装置３１は、入力された画像データを複数の領域に分割する処理を行う。図１３は、この領域分割処理の例を表している。いま、例えば、画像データベース９から、木々で覆われ、緑色の山の左上に、赤い太陽が、空色の空の中に浮かんでいる画像が供給されたものとする。この画像においてはまた、山の下に茶色の大地が展開しており、その上に青色の川が流れている。
【００５８】
領域分割装置３１は、この画像を、同一の色が同一の領域に属するように、複数の領域に分割する。すなわち、この例の場合、赤色の領域（太陽）、空色の領域（空）、緑色の領域（山）、茶色の領域（大地）、および青色の領域（川）の５個の領域に分割される。
【００５９】
図１２に戻って、ステップＳ６１で領域分割処理により得られた各領域毎の画像データは、ステップＳ６２で、色情報抽出装置３２と形状情報抽出装置３３に供給される。色情報抽出装置３２と形状情報抽出装置３３は、それぞれ、ステップＳ６３またはステップＳ６４において、それぞれ色情報抽出処理、または形状情報抽出処理を実行する。
【００６０】
図１３の表示例の場合、色情報抽出装置３２は、入力された各領域の画像データの代表色を特定する処理を実行する。図１３の表示例の場合、例えば、太陽の領域の代表色は赤、空の領域の代表色は空色、山の領域の代表色は緑色、大地の領域の代表色は茶色、川の領域の代表色は青色として特定される。
【００６１】
なお、色情報抽出装置３２における領域内の代表色の特定処理には、ステップＳ６１の領域分割処理において基準とした色を、そのまま用いるようにすることもできる。
【００６２】
一方、形状情報抽出装置３３は、各領域の画像データの形状的特徴を抽出する。例えば、図１３の表示例の場合、太陽の領域の形状は円、山の領域の形状は三角形とされる。しかしながら、川の領域の形状、大地の領域の形状、あるいは空の領域の形状は、単純な形状として認識することは困難である。そこで、形状抽出装置３３は、各領域画像の重心位置と面積を計算し、面積が等しい代表的な、予め用意されている所定の形状と重ね合わせを行い、最も重なり部分の大きい形状を、その領域の画像データの形状として抽出する。
【００６３】
図１４は、川の領域を、予め用意されている同一面積の６個の代表的な形状（三角形、正四角形、円、五角形、長方形、十字形）と重ね合わせを行った様子を表している。川の形状は、このようにして、予め用意された代表形状と比較され、最も重なり部分の大きい形状として認識される。
【００６４】
以上のようにして、各領域毎の色情報と形状情報の抽出処理が完了したとき、ステップＳ６５において、抽出した色情報と形状情報が、画像データ画像特徴量変換装置７から出力される。
【００６５】
以上のようにして、図５のステップＳ６の画像データ画像特徴量変換処理が終了したとき、ステップＳ７において、制御回路１０は、画像データ画像特徴量変換装置７が出力した色情報と形状情報を、特徴量マッチング装置８に転送する。
【００６６】
特徴量マッチング装置８は、以上のようにして、キーワード画像特徴量変換装置６と画像データ画像特徴量変換装置７から、画像特徴量の供給を受けると、ステップＳ８において、特徴量マッチング処理を実行する。この処理の詳細は、図１５に示されている。
【００６７】
特徴量マッチング装置８は、ステップＳ８１で、キーワード画像特徴量変換装置６が出力した画像特徴量を取得し、ステップＳ８２で、画像データ画像特徴量変換装置７が出力した画像特徴量を取得する。そして、これらの画像特徴量は、形状情報比較装置４１と、色情報比較装置４２に、それぞれ供給される。形状情報比較装置４１と色情報比較装置４２は、それぞれ２つの形状情報と色情報の供給を受けると、ステップＳ８３またはステップＳ８４において、形状情報比較処理または色情報比較処理を実行する。
【００６８】
形状情報比較装置４１は、代表形状の組み合わせに対応する形状類似度の対応表を有しており、この対応表に従って、形状情報の類似の判定処理を行う。図１６は、このような対応表の例を表している。図１６は、円、三角形、および四角形の代表形状が比較される場合における、形状類似度を表している。円と円、三角形と三角形、または、四角形と四角形といったように、同一の代表形状が比較されるとき、形状類似度は１０とされる。例えば、円と三角形の形状類似度は４とされ、円と四角形の形状類似度は５とされる。また、三角形と四角形の形状類似度は５とされる。このような対応表は、多くの代表図形を組み合わせた場合における形状類似度の判定を複数の人に判定させることにより、実験的に求めることができる。
【００６９】
この例では、形状類似度は１０段階で判定され、その値が大きいほど、２つの形状が類似していることになる。
【００７０】
一方、色情報比較装置４２は、図１７に示すような色情報のダイアグラムを有しており、２つの色情報のダイアグラム上の距離から、色類似度を決定する。２つの色情報の距離が小さいほど、色類似度が大きい値（最大１０）に設定され、距離が大きいほど、色類似度の値は小さい値（最小値０）に設定される。
【００７１】
以上のようにして、ステップＳ８３とステップＳ８４において、形状情報比較処理と色情報比較処理が行われた結果、形状類似度と色類似度が得られると、それらがステップＳ８５またはステップＳ８６で、形状情報比較装置４１または色情報比較装置４２から、類似度統合部４３に出力される。
【００７２】
類似度統合部４３は、形状情報比較装置４１と色情報比較装置４２から、それぞれ形状類似度と色類似度の供給を受けると、ステップＳ８７で、類似度統合処理を行い、総合類似度を演算する。そして、ステップＳ８８において、総合類似度が判定部４４に出力される。この総合類似度は、最大値が１００とされ、最小値が０とされる。２つの画像が類似しているほど、総合類似度の値は大きくなる。
【００７３】
判定部４４は、ステップＳ８９において、総合類似度が、それまで得られた総合類似度の中の最大値より大きいか否かを判定する。最大値より大きくなければ、ステップＳ９０に進み、すべての検索対象についてマッチング処理を行ったか否かを判定し、まだマッチング処理を行っていない画像特徴量が存在する場合には、ステップＳ８２に戻り、次の検索対象とされる画像データベース９からの画像の画像特徴量が選択される。そして、その画像特徴量とキーワードが対応する画像特徴量とのマッチング処理が、上述した場合と同様に実行される。
【００７４】
ステップＳ８９において、得られた総合類似度が、それまでの総合類似度より大きいと判定された場合、ステップＳ９１に進み、それまで記憶していた最大総合類似度を、新たに得られた最大総合類似度で更新する。
【００７５】
以上のようにして、ステップＳ９０において、すべての検索対象についてマッチング処理が行われたと判定された場合、ステップＳ９２に進み、判定部４４は、最大総合類似度に対応する画像特徴量を出力する。
【００７６】
以上のようにして、図５のステップＳ８の特徴量マッチング処理が完了した場合、特徴量マッチング装置８から、最大総合類似度を有する画像特徴量が出力される。制御回路１０は、この画像特徴量の供給を受けると、ステップＳ９において、これを画像データベース９に供給する。画像データベース９は、画像特徴量の供給を受けると、ステップＳ１０で、その供給を受けた画像特徴量を有する画像データを検索する。そして、ステップＳ１１において、検索の結果得られた画像データが制御回路１０に出力される。制御回路１０は、このようにして、画像データベース９から供給を受けた画像データを、インタフェース５を介してディスプレイ４に出力し、表示させる。
【００７７】
図１８は、以上のキーワードからの画像検索処理を概念的に表している。すなわち、以上の例においては、「自然」のキーワードが入力され、このキーワードが、「森」、「山」、「海」、「川」のような関連キーワードに変換され、これらの関連キーワードが、さらに画像特徴量に変換される。例えば、「森」のキーワードは、「三角形」の形状情報と「緑」の色情報に変換される。「山」のキーワードは、「四角形」の形状情報と「緑」の色情報に変換される。「海」のキーワードは、「四角形」の形状情報と「青」の色情報に変換され、「川」のキーワードは、「長方形」の形状情報と「青」の色情報に変換される。
【００７８】
一方、画像データベース９中の画像データが読み出され、複数の領域に分割され、各分割領域毎に画像特徴量が抽出される。そして、この画像特徴量とキーワードを変換して得られた画像特徴量とが比較され、両者がマッチングする画像データが検索される。
【００７９】
画像特徴データベース２４には、予め実験などにより作成したキーワードと画像特徴量との対応関係を表すテーブルを記録しておき、関連キーワードデータベース２３にも、予め実験などにより求めた、自由で自然な関連キーワードのテーブルを記録しておくようにすれば、ユーザは、新たにキーワードや画像特徴量を作成する必要がない。従って、画像検索装置を購入した後、画像データベース９に検索対象となる画像データを記録する処理を行うだけで、直ちに検索処理を開始することが可能となる。その結果、管理者が、新たなキーワードや画像特徴量を規定する手間がいらず、自由で、自然に近いキーワードを用いて、迅速に、かつ正確に、所望の画像を検索することが可能となる。
【００８０】
この画像検索装置においては、以上のようにして、キーワードから所定の画像データを検索することができるだけでなく、画像データを入力して、それに対応するキーワードを検索することもできる。図１９は、その場合の処理（画像認識処理）例を表している。最初にステップＳ１１１において、ユーザは、画像データを入力する。この入力は、例えば、タブレット２上で、ペン２Ａを操作して行ったり、再生装置３で所定の記録媒体再生することで行われる。制御回路１０は、ステップＳ１１１で入力された画像データの供給を受けたとき、これを画像データ画像特徴量変換装置７に供給する。画像データ画像特徴量変換装置７は、ステップＳ１１２において、画像データ画像特徴量変換処理を実行する。この処理の詳細は、図１２に示した通りである。すなわち、画像データ画像特徴量変換装置７は、入力された画像データを複数の領域に分割し、各領域毎の色情報と形状情報を画像特徴量として抽出する。
【００８１】
ステップＳ１１２で、画像特徴量が抽出されたとき、ステップＳ１１３において、制御回路１０は、画像データ画像特徴量変換装置７が出力する画像特徴量をキーワード画像特徴量変換装置６に転送する。キーワード画像特徴量変換装置６は、ステップＳ１１４で文字画像変換処理を実行する。
【００８２】
すなわち、文字画像変換装置２２は、画像データ画像特徴量変換装置７より出力された画像特徴量の入力を受けたとき、画像特徴データベース２４を参照して、対応するキーワードを検索する。検索されたキーワードは、ステップＳ１１５において、文字画像変換装置２２から関連キーワード出力装置２１に転送される。関連キーワード出力装置２１は、ステップＳ１１６において、関連キーワードデータベース２３を参照して、入力されたキーワードに対応する関連キーワードを検索する。この場合においても、図８を参照して上述した場合と同様に、１つのキーワードに対して、第３ランクまでの関連キーワードが検索される。その結果、初期キーワードとあわせて、４０個の関連キーワードが、ステップＳ１１７で得られることになる。
【００８３】
関連キーワード出力装置２１は、このようにして、関連キーワードが得られたとき、ステップＳ１１８でキーワード選択処理を実行する。すなわち、上述した場合と同様に、関連度を演算し、関連度が最も大きいキーワードを、例えば５個選択する。そして、ステップＳ１１９において、選択した５個のキーワードを出力する。
【００８４】
制御回路１０は、キーワード画像特徴量変換装置６から５個のキーワードが出力されたとき、これをインタフェース５を介してディスプレイ４に出力し、表示させる。
【００８５】
図２０は、以上の画像認識処理（キーワード抽出処理）を模式的に表している。同図に示すように、１枚の画像データが入力されると、この画像データが複数の領域の画像データに分割され、各領域毎に画像特徴量が抽出される。そして、各画像特徴量が、対応するキーワードに変換される。変換されたキーワードのうち、最も関連度の高いキーワードが５個選択される。この図２０の表示例においては、「自然」、「山」、「川」のキーワードが、入力された画像データに対応して抽出されている。
【００８６】
なお、１枚の画像を複数の領域に分割する際、上記実施の形態においては、画像を表現する色の数を少なくして（代表色でまとめることで）分割を行うようにしているが、色だけでなく、解像度を低下するようにしても良い。この処理を行うことにより、画像の色が、自動的に代表色によって表現されることになる。これにより、また、認識が困難な複雑な形状を大まかな形状にまとめることができるため、形状抽出処理を簡単に行うことが可能になる。
【００８７】
分割した領域には、優先度を付け、優先度の高い領域から順番に検索を行うようにすることもできる。例えば、１枚の画像の中央部に位置する領域が存在する場合、その領域の画像全体の面積に占める割合が２０％以上であるとき、その領域の画像が重要度の高い画像である、すなわち、優先度の高い領域であると規定する。逆に、中央部にはなく、占める面積が小さい領域の画像は、重要度の低い画像とする。このように、分割領域の位置に対応して優先度を決定するようにしても良い。
【００８８】
また、画像のうち、背景画像と、それ以外の画像（前景画像）とを識別し、背景画像以外の画像（前景画像）を優先度の高い画像とするようにしても良い。
【００８９】
各領域の画像が、背景画像であるのか、それ以外の画像（前景画像）であるのかは、例えば、１枚の画像の外枠の長さの占める割合から判断することができる。
【００９０】
例えば、図２１の表示例においては、青い空の背景画像に、前景画像として、山の画像が配置されている。山の頂上部分は白い雪で覆われており、裾野の部分は茶色の土で覆われている。この１枚の画像が、空の領域、山頂の領域、および裾野の領域の３つに分割されたとする。画面は、Ｌ1，Ｌ2，Ｌ3，Ｌ4の外枠で構成されている。空の領域は、画面の外枠のうち、Ｌ7，Ｌ2，Ｌ3，Ｌ4，Ｌ5を含んでいる。これに対して、裾野の領域は、外枠のうち、Ｌ6を含んでおり、山頂の領域は外枠を含んでない。従って、空の領域の外枠長さの占める割合は、（Ｌ7＋Ｌ2＋Ｌ3＋Ｌ4＋Ｌ5）／（Ｌ1＋Ｌ2＋Ｌ3＋Ｌ4）となる。これに対して、裾野の領域の外枠の占める割合は、（Ｌ6）／（Ｌ1＋Ｌ2＋Ｌ3＋Ｌ4）となり、山頂の領域の外枠の占める割合は０となる。前者の割合が、後２者の割合より大きい。従って、前者の空の領域の方が、後２者の裾野の領域と山頂の領域より、背景画像である確率が高い。そこで、空の領域を背景画像として判定することができる。
【００９１】
このように、背景画像と、それ以外の画像とを識別することができる場合、背景画像の領域と、それ以外の画像の領域とに分割することで、色で判別した場合には、複数の領域に分割されてしまうのを１つの領域とすることができる。すなわち、上述したように、色で領域を分割すると、図２１の表示例は、青色の空の領域、白い雪の山頂の領域、茶色の土の裾野の領域の３つの領域に分割される。しかしながら、背景画像領域と、それ以外の領域に分割するようにすれば、白い雪の山頂の領域と茶色の土の裾野の領域で構成される山の領域（前景画像）を１つの領域とすることができる。すなわち、これにより、「雪を冠した山」を１つの領域とすることができることになる。
【００９２】
以上においては、１つのキーワードに対して１つの画像特徴量を対応させるようにしたが、複数の画像特徴量を対応させるようにしても良い。また、逆に、１つの画像特徴量に対して、複数のキーワードを対応させるようにしても良い。このような場合、また、複数の画像特徴量またはキーワードに対して優先度を付与するようにすることができる。さらに、画像特徴量のうち、色情報だけ、あるいは形状情報だけに優先度を設定することもできる。また、所定の検索モードが指令された場合には、色情報と形状情報のうち、一方だけを用いて検索処理を行うようにすることもできる。このようにすることで、より柔軟な検索処理が可能となる。
【００９３】
なお、上記したような処理を行うプログラムをユーザに伝送する伝送媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００９４】
【発明の効果】
以上の如く、請求項１に記載の画像検索装置および請求項５に記載の画像検索方法によれば、データベースに記憶されている画像データを画像特徴量に変換し、入力されたキーワードを、予め記憶されている画像特徴量とキーワードとの関係を参照して画像特徴量に変換し、それぞれの画像特徴量を比較して、比較結果に対応して、データベースから画像データを検索するようにしたので、自由で、自然に近いキーワードを用いて、所望の画像データを、迅速かつ正確に、検索することが可能となる。
【００９５】
請求項６に記載の画像検索装置および請求項８に記載の画像検索方法によれば、画像を色を基準にして複数の領域に分割し、分割した画像の形状情報と色情報を抽出し、抽出した形状情報と色情報に基づいて、データベースから所定の画像データを検索するようにしたので、迅速かつ確実に、所望の画像データを検索することが可能となる。
【００９６】
請求項９に記載のキーワード抽出装置および請求項１１に記載のキーワード抽出方法によれば、キーワードと画像特徴量との対応関係を表すテーブルを参照して、画像特徴量を対応するキーワードに変換するようにしたので、画像データを入力して、それに対応するキーワードを検索することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像検索装置の構成例を示すブロック図である。
【図２】図１のキーワード画像特徴量変換装置の構成例を示すブロック図である。
【図３】図１の画像データ画像特徴量変換装置の構成例を示すブロック図である。
【図４】図１の特徴量マッチング装置の構成例を示すブロック図である。
【図５】図１の画像検索装置における画像検索処理を説明するフローチャートである。
【図６】図５のステップＳ２のキーワード画像特徴量変換処理を説明するフローチャートである。
【図７】図６のステップＳ２１の関連キーワード出力処理を説明するフローチャートである。
【図８】関連キーワードを説明する図である。
【図９】キーワードと画像特徴量の関係を説明する図である。
【図１０】キーワードと画像特徴量の関係を説明する図である。
【図１１】キーワードと画像特徴量の関係を説明する図である。
【図１２】図５のステップＳ６の画像データ画像特徴量変換処理の詳細を説明するフローチャートである。
【図１３】領域分割を説明する図である。
【図１４】形状情報抽出処理を説明する図である。
【図１５】図５のステップＳ８の特徴量マッチング処理の詳細を説明するフローチャートである。
【図１６】形状類似度の判定を説明する図である。
【図１７】色類似度を説明する図である。
【図１８】類似画像検索処理を説明する図である。
【図１９】画像認識処理を説明するフローチャートである。
【図２０】画像認識処理を説明する図である。
【図２１】背景画像を説明する図である。
【符号の説明】
１  キーボード
２  タブレット
３  再生装置
４  ディスプレイ
５  インタフェース
６  キーワード画像特徴量変換装置
７  画像データ画像特徴量変換装置
８  特徴量マッチング装置
９  画像データベース
１０  制御回路
２１  関連キーワード出力装置
２２  文字画像変換装置
２３  関連キーワードデータベース
２４  画像特徴データベース
３１  領域分割装置
３２  色情報抽出装置
３３  形状情報抽出装置
４１  形状情報比較装置
４２  色情報比較装置
４３  類似度統合部
４４  判定部
【図１】
0003649264.tif 000002
【図２】
0003649264.tif 000003
【図３】
0003649264.tif 000004
【図４】
0003649264.tif 000005
【図５】
0003649264.tif 000006
【図６】
0003649264.tif 000007
【図７】
0003649264.tif 000008
【図８】
0003649264.tif 000009
【図９】
0003649264.tif 000010
【図１０】
0003649264.tif 000011
【図１１】
0003649264.tif 000012
【図１２】
0003649264.tif 000013
【図１３】
0003649264.tif 000014
【図１４】
0003649264.tif 000015
【図１５】
0003649264.tif 000016
【図１６】
0003649264.tif 000017
【図１７】
0003649264.tif 000018
【図１８】
0003649264.tif 000019
【図１９】
0003649264.tif 000020
【図２０】
0003649264.tif 000021
【図２１】
0003649264.tif 000022