(57)【要約】【目的】検索に有効なキーワード等を画像に付与する。【構成】画像20に含まれている被写体21〜24を検出する。検出された被写体21〜24のそれぞれの被写体の被写体名および位置を検出する。検出された被写体名の上位概念を表すキーワードと被写体の位置とを画像20の検索に用いられるデータとして画像20に関連づけて記憶する。画像の検索が行われる場合には，キーワードとして被写体名またはその被写体名の上位概念および被写体の位置が入力される。入力された被写体名等と被写体の位置とに合致する画像が見つけられる。単にキーワードだけで画像を見つけるのではなく,被写体の位置を利用して画像を見つけるので，多くの画像の中から所望の画像を見つける場合に見つかる画像を絞ることができる。【選択図】図４
2010176479.tif 000002
【特許請求の範囲】
【請求項１】
キーワードを付与する付与対象画像データを入力する付与対象画像データ入力手段，
上記付与対象画像データ入力手段から入力した付与対象画像データによって表される付与対象画像から，あらかじめ定められている被写体およびその被写体の位置を検出する第１の検出手段，ならびに
上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画像データに関連づけて記憶媒体に記憶する記憶制御手段，
を備えた画像キーワード付与装置。
【請求項２】
上記第１の検出手段によって検出された被写体の上記付与対象画像における大きさを検出する第２の検出手段をさらに備え，
上記記憶制御手段は，上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータに加えて，上記第２の検出手段によって検出された大きさを表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画総データに関連づけて上記記憶媒体に記憶するものである，
請求項１に記載の画像キーワード付与装置。
【請求項３】
上記第１の検出手段によって検出される被写体の位置は，上記付与対象画像を複数の領域に分割した場合において被写体が存在する領域の位置である，請求項１または２に記載の画像キーワード付与装置。
【請求項４】
上記第１の検出手段によって検出される被写体の位置は，上記付与対象画像における縦方向および横方向の全体の割合によって決定される位置である，請求項１から３のうちいずれか一項に記載の画像キーワード付与装置。
【請求項５】
上記第１の検出手段によって検出された被写体の上位概念の名前を検出する第３の検出手段をさらに備え，
上記記憶制御手段は，上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータに加えて，上記第３の検出手段によって検出された上位概念の名前を表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画総データに関連づけて上記記憶媒体に記憶するものである，
請求項１から４のうちいずれか一項に記載の画像キーワード付与装置。
【請求項６】
キーワードを入力するキーワード入力手段，
上記キーワード入力手段から入力されたキーワードに対応する被写体の位置を入力する位置入力手段，および
上記キーワード入力手段から入力されたキーワードおよびそのキーワードの上位概念の少なくとも一方または上記キーワード入力手段から入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像を多数の画像の中から見つける検索手段，
を備えた画像検索装置。
【請求項７】
上記キーワード入力手段から入力されたキーワードに対応する被写体の画像中での大きさを指定する大きさ指定手段をさらに備え，
上記検索手段は，上記キーワード入力手段から入力されたキーワードに対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像であって，上記大きさ指定手段によって指定された大きさをもつ被写体を含む画像を多数の画像中から見つけるものである，
請求項６に記載の画像検索装置。
【請求項８】
付与対象画像データ入力手段が，キーワードを付与する付与対象画像データを入力し，
検出手段が，上記付与対象画像データ入力手段から入力した付与対象画像データによって表される付与対象画像から，あらかじめ定められている被写体およびその被写体の位置を検出し，
記憶制御手段が，上記検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画像データに関連づけて記憶媒体に記憶する，
画像キーワード付与装置の動作制御方法。
【請求項９】
キーワード入力手段が，キーワードを入力し，
位置入力手段が，上記キーワード入力手段から入力されたキーワードに対応する被写体の位置を入力し，
検索手段が，上記キーワード入力手段から入力されたキーワードおよびそのキーワードの上位概念の少なくとも一方または上記キーワード入力手段から入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像を多数の画像の中から見つける，
画像検索装置の動作制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，画像キーワード付与装置および画像検索装置ならびにそれらの制御方法に関する。
【背景技術】
【０００２】
ディジタル・スチル・カメラを用いて被写体を撮影すると，撮像により得られた画像データに撮影日などの情報が付加される。画像を検索するときには，撮影日などの情報のほかにキーワードが付与されていると便利なので画像にキーワードが付与されることがある。しかしながら，多数の画像がある場合に画像ごとにキーワードを付与するのは面倒な作業となってしまう。
【０００３】
このために，キーワードの付与作業を軽減するためのものがある（特許文献１）。また，画像内の人物を検出し，被写体の人数に応じてキーワードを付与するものもある（特許文献２）。しかしながら，人物が存在しない場合にはキーワードはすべて同じとなってしまうし，被写体人数に応じたキーワードではキーワードとして不十分である。さらに，被写体認識の結果に関連したキーワードを付与するものもある（特許文献３）。しかしながら，家族を撮影した場合などではキーワードが同じとなってしまうことが多い。画像認識するものも存在する（特許文献４）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2007-207031号公報
【特許文献２】特開2006-350552号公報
【特許文献３】特開2007-304771号公報
【特許文献４】特開2001-330882号公報
【発明の概要】
【０００５】
この発明は，検索に有効なキーワードを付与することを目的とする。
【０００６】
第１の発明による画像キーワード付与装置は，キーワードを付与する付与対象画像データを入力する付与対象画像データ入力手段，上記付与対象画像データ入力手段から入力した付与対象画像データによって表される付与対象画像から，あらかじめ定められている被写体およびその被写体の位置を検出する第１の検出手段，ならびに上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画像データに関連づけて記憶媒体に記憶する記憶制御手段を備えていることを特徴とする。
【０００７】
第１の発明は，上記画像キーワード付与装置に適した動作制御方法も提供している。すなわち，この方法は，付与対象画像データ入力手段が，キーワードを付与する付与対象画像データを入力し，検出手段が，上記付与対象画像データ入力手段から入力した付与対象画像データによって表される付与対象画像から，あらかじめ定められている被写体およびその被写体の位置を検出し，記憶制御手段が，上記検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画像データに関連づけて記憶媒体に記憶するものである。
【０００８】
第１の発明によると，付与対象画像データが入力すると，入力した付与対象画像データによって表される付与対象画像から，あらかじめ定められている被写体およびその被写体の位置が検出される。検出された被写体の名前および被写体の位置がキーワードとして付与対象画像に関連付けられる。第１の発明によると，被写体の名前と位置とが検索に用いられるデータとして付与対象画像に付与されるので，それらの名前と位置とを利用して所望の画像を見つけ出すことができる。検索に有効なキーワード（検索条件）を付与対象画像に付与できるようになる。
【０００９】
上記第１の検出手段によって検出された被写体の上記付与対象画像における大きさを検出する第２の検出手段をさらに備えてもよい。この場合，上記記憶制御手段は，たとえば，上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータに加えて，上記第２の検出手段によって検出された大きさを表すデータを，上記付与対象画像のキーワードを表すデータとして上記付与対象画総データに関連づけて上記記憶媒体に記憶するものである。
【００１０】
上記第１の検出手段によって検出される被写体の位置は，たとえば，上記付与対象画像を複数の領域に分割した場合において被写体が存在する領域の位置である。
【００１１】
上記第１の検出手段によって検出される被写体の位置は，上記付与対象画像における縦方向および横方向の全体の割合によって決定される位置でもよい。
【００１２】
上記第１の検出手段によって検出された被写体の上位概念の名前を検出する第３の検出手段をさらに備えてもよい。この場合，上記記憶制御手段は，たとえば，上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータに加えて，上記第３の検出手段によって検出された上位概念の名前を表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画総データに関連づけて上記記憶媒体に記憶するものである。
【００１３】
第２の発明による画像検索装置は，キーワードを入力するキーワード入力手段，上記キーワード入力手段から入力されたキーワードに対応する被写体の位置を入力する位置入力手段，および上記キーワード入力手段から入力されたキーワードおよびそのキーワードの上位概念の少なくとも一方または上記キーワード入力手段から入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像を多数の画像の中から見つける検索手段を備えていることを特徴とする。
【００１４】
第２の発明は，上記画像検索装置に適した動作制御方法も提供している。すなわち，この方法は，キーワード入力手段が，キーワードを入力し，位置入力手段が，上記キーワード入力手段から入力されたキーワードに対応する被写体の位置を入力し，検索手段が，上記キーワード入力手段から入力されたキーワードおよびそのキーワードの上位概念の少なくとも一方または上記キーワード入力手段から入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像を多数の画像の中から見つけるものである。
【００１５】
第２の発明によると，キーワードおよびそのキーワードに対応する被写体の位置が入力される。入力されたキーワードおよびそのキーワードの上位概念または入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含む画像であって，かつその被写体が入力された位置に存在する画像が多数の画像の中から見つけられる。キーワードまたはそのキーワードの上位概念の少なくとも一方に対応する被写体を含む画像を見つけるのではなく，その被写体が入力された位置に存在する画像を見つけるので，ユーザの所望の画像を適切に見つけることができる。
【００１６】
上記キーワード入力手段から入力されたキーワードに対応する被写体の画像中での大きさを指定する大きさ指定手段をさらに備えてもよい。この場合，上記検索手段は，上記キーワード入力手段から入力されたキーワードに対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像であって，上記大きさ指定手段によって指定された大きさをもつ被写体を含む画像を多数の画像中から見つけるものとなろう。
【図面の簡単な説明】
【００１７】
【図１】画像検索装置の一例である。
【図２】被写体特徴量テーブルの一例である。
【図３】上位概念テーブルの一例である。
【図４】画像の一例である。
【図５】キーワード付与処理手順を示すフローチャートである。
【図６】画像１の特徴量テーブルの一例である。
【図７】画像を複数の領域に分割したものである。
【図８】画像１の特徴量テーブルの一例である。
【図９】画像１の特徴量テーブルの一例である。
【図１０】画像の一例である。
【図１１】画像の一例である。
【図１２】画像の一例である。
【図１３】画像の一例である。
【図１４】画像の一例である。
【図１５】特徴量テーブルの一例である。
【図１６】画像検索処理手順を示すフローチャートである。
【図１７】検索ウインドウの一例である。
【図１８】検索ウインドウの一例である。
【図１９】検索ウインドウの一例である。
【図２０】検索ウインドウの一例である。
【実施例】
【００１８】
図１は，この発明の実施例を示すもので，画像検索装置（画像キーワード付与装置）１の電気的構成を示すブロック図である。
【００１９】
画像検索装置１の全体の動作は，ＣＰＵ８によって統括される。画像検索装置１には，制御プログラム，その他のデータ等が格納されているメイン・メモリ10が含まれている。メイン・メモリ10はメモリ制御装置９によって制御される。
【００２０】
検索対象となる画像を表す画像データは，画像入力装置２から入力する。入力した画像データは，データベース制御装置11の制御のもとに画像データベース12に格納される。
【００２１】
画像検索装置１には被写体特徴量データベース５が含まれている。この被写体特徴量データベース５は，画像に含まれる被写体の特徴量を，その被写体の名前（被写体名）とともに格納するものである。被写体特徴量データベース５は処理制御装置３および画像解析装置４によって制御される。
【００２２】
図２は，被写体特徴量データベース５に格納されている被写体特徴量テーブルの一例である。
【００２３】
上述したように，被写体特徴量テーブルは，被写体の特徴量を表わすデータが被写体名に対応して格納されている。被写体の特徴量は，画像の中からその被写体を検出（抽出）するための情報である。たとえば，被写体が「特許太郎」であれば，被写体が「特許太郎」であると考えられるための情報，顔における目，鼻，口などの相対的位置，大きさ，髪の色，長さなどを示す情報が，「特許太郎」の特徴量となる。画像に含まれる被写体が「特許太郎」の特徴量を有していれば，その被写体名が「特許太郎」と決定される。また，被写体が「赤い自動車」であれば，自動車の形状，色（赤色）を示す情報が，「赤い自動車」の特徴量となる。画像に含まれる被写体が「赤い自動車」の特徴量を有していれば，その被写体名が「赤い自動車」と決定される。
【００２４】
図１に戻って，画像検索装置１には上位概念データベース７も含まれている。上位概念データベース７には，被写体名の上位概念となるキーワードが被写体名に対応して格納されている。上位概念データベース７は，データベース制御装置６によって制御される。
【００２５】
図３は，上位概念データベース７に格納される上位概念テーブルの一例である。
【００２６】
上位概念テーブルには，上述したように，被写体名に対応して，その被写体名の上位概念となる第１のキーワード（上位概念キーワード１）および第１のキーワードのさらに上位概念となる第２のキーワード（上位概念キーワード２）が格納されている。たとえば，被写体名が「特許太郎」の場合には上位概念キーワード１は「男」であり，上位概念キーワード２は「人間」である。被写体名が「赤い自動車」の場合には上位概念キーワード１は「自動車」であるが，上位概念キーワード２は設定されていない。もちろん，「乗り物」などの上位概念を上位概念キーワード２として設定してもよいのはいうまでもない。その他の被写体名についても同様である。
【００２７】
再び，図１に戻って，被写体特徴量データベース５に格納されている被写体特徴量テーブル，上位概念データベース７に格納されている上位概念テーブルのそれぞれの内容はユーザ（オペレータ）によってあらかじめ設定されることとなる。
【００２８】
画像検索装置１には，さらに表示装置13および画像を検索するときにキーワード等を入力するための入力装置14が設けられている。
【００２９】
図４は，画像20の一例である。
【００３０】
画像20の左端には被写体名「特許太郎」の被写体21が存在する。この被写体21のすぐ右に被写体名「意匠花子」の被写体22が存在している。また，画像20の右上には被写体名「赤い自動車」の被写体23が存在する。さらに，被写体23の下には被写体名「ポチ」の被写体24が存在している。
【００３１】
この画像（キーワード付与対象画像）20に，キーワード等（検索に用いられるデータ）を付与するものとする。
【００３２】
図５は，キーワード付与処理手順を示すフローチャートである。
【００３３】
キーワードを付与する付与対象画像20を表す画像データ（付与対象画像データ）が画像データベース12から読み取られて画像解析装置４に入力する（ステップ31）。付与対象画像データが画像データベース12に格納されていない場合には，画像入力装置２から画像検索装置１に入力し画像解析装置４に与えられることとなる。
【００３４】
画像解析装置４において，付与対象画像20に含まれるすべての被写体，その被写体の位置および大きさが検出される（ステップ33）。被写体が検出されると，その被写体の特徴量にもとづいて被写体特徴量テーブル（図２参照）を用いて，その被写体の被写体名が検出される。被写体名が検出されると，上位概念テーブル（図３参照）を用いて，その被写体名の上位概念キーワードが読み取られる（ステップ34）。
【００３５】
被写体名，上位概念キーワード，被写体の位置および大きさが画像データベース12に格納されることとなる（ステップ35）。
【００３６】
付与対象画像20に含まれるすべての被写体について被写体名の検出および上位概念の読み取りが行われる。
【００３７】
図６は，画像データベース12に格納される特徴量テーブルの一例である。この特徴量テーブルは付与対象画像20についてのものであり，他の画像についてもキーワード付与処理が行われると，その画像に対応する特徴量テーブルが画像データベース12に格納されることとなる。
【００３８】
特徴量テーブルには，被写体名に対応して上位概念キーワード１，上位概念キーワード２，被写体の位置および被写体の大きさ（検索に用いられるデータ）が格納されている。被写体位置は，付与対象画像20の左上を原点と考えた場合に，その被写体の中心（重心）の座標位置を示している。被写体位置は，その被写体を内接または外接する矩形を考えた場合にその矩形の中心としてもよい。被写体の大きさは，付与対象画像の横方向の大きさおよび縦方向の大きさをそれぞれ100とした場合に，付与対象画像の横方向の大きさに対する被写体の横方向の大きさと，付与対象画像の縦方向の大きさに対する被写体の縦方向の大きさとの組で表している。
【００３９】
このようにして，付与対象画像20に含まれる被写体の名前，その被写体のキーワード，位置および大きさを付与対象画像20に付与することができる。
【００４０】
上述した実施例では，被写体の位置は，付与対象画像20における座標位置であったが座標位置でなくとも付与対象画像20を複数の領域に分割した場合にどの領域に存在するかを示すものでもよい。
【００４１】
図７は，画像を分割した一例を示している。
【００４２】
水平方向および垂直方向にそれぞれ３分割されており，領域１から領域９までの９つの領域に分けられている。これらの９つの領域のうち，被写体がどの領域に存在するかを被写体の位置として特徴量テーブルに格納することができる。
【００４３】
図８は，被写体位置として座標位置の代わりに領域を格納した特徴量テーブルの一例である。
【００４４】
被写体名「特許太郎」の被写体21は領域４に存在するとされている。同様に，被写体名「意匠花子」の被写体22も領域４に存在するとされ，被写体名「赤い自動車」の被写体23および被写体名「ポチ」の被写体24は，いずれも領域６に存在するとされる。
【００４５】
被写体の中心位置が存在する領域，被写体が多く含まれている領域などを，その被写体が存在する領域と決定することができる。
【００４６】
さらに，付与対象画像20に対する相対的な割合を被写体の位置とすることもできる。
【００４７】
図９は，付与対象画像20に対する相対的な割合を被写体の位置とした場合の特徴量テーブルの一例である。
【００４８】
被写体名「特許太郎」の被写体21は左から15％，上から50％の領域内に存在するとされている。同様に，被写体名「意匠花子」の被写体22は左から30％，上から50％の領域内に存在するとされ，被写体名「赤い自動車」の被写体23は左から75％，上から20％の領域内に存在するとされ，被写体名「ポチ」の被写体24は左から75％，上から75％の領域内に存在するとされている。
【００４９】
このように，付与画像20に対する相対的な位置の割合を被写体の位置とすることもできる。
【００５０】
図10から図14は，他の画像の一例を示している。図15は，図４に示す画像および図10から図14に示す画像についての特徴量テーブルの一例である。
【００５１】
図10に示す画像41は，図４に示す画像20の被写体21と被写体22との配置が入れ替わっている。図10に示す画像41においては，被写体名「意匠花子」の被写体22が画像の左側に存在し，その被写体22の右側に被写体名「特許太郎」の被写体21が存在する。画像41の右上には，被写体名「赤い自動車」の被写体23が存在し，その被写体23の下に被写体名「ポチ」の被写体24が存在する。
【００５２】
図15に示すように，特徴量テーブルに格納される画像41の被写体名，上位概念キーワード１，上位概念キーワード２および大きさは画像20についてのものと同じとなるが，被写体21と被写体22との位置が変わっているのが理解されよう。
【００５３】
図11に示す画像42においては，被写体名「意匠花子」の被写体22が画像42の左側に存在し，その被写体22の右側に被写体名「赤い自動車」の被写体23が存在する。被写体23の上には被写体名「ポチ」の被写体24が，被写体23の右側には被写体名「特許太郎」の被写体21がそれぞれ存在する。
【００５４】
図15に示すように，特徴量テーブルに格納される画像42についての被写体名，上位概念キーワード１，上位概念キーワード２および大きさは画像20または画像41についてのものと同じとなるが，被写体21〜24の位置が変わる。
【００５５】
図12に示す画像43においては被写体21〜23の位置関係および大きさは，図４に示す被写体20の被写体21〜23の位置関係および大きさと同じであるが，被写体名「ポチ」の被写体24が存在しない。このために，図15に示す特徴量テーブルには被写体名「ポチ」の被写体24についての情報が格納されていない。
【００５６】
図13に示す画像44においては，図４に示す画像20，図10に示す画像41および図11に示す画像42に含まれている被写体21〜24と同じ被写体51〜54が含まれている。被写体名「特許太郎」の被写体51は被写体21に対応し，被写体名「意匠花子」の被写体52は被写体22に対応し，被写体名「赤い自動車」の被写体53は被写体23に対応し，被写体名「ポチ」の被写体54は被写体24に対応する。被写体51，被写体52および被写体54のそれぞれの大きさは被写体21，被写体22および被写体24のそれぞれの大きさに比べて大きい。被写体53の大きさは被写体23に比べて小さい。このために，図15に示す特徴量テーブルに格納されている大きさも図４などに示す画像20などの被写体の大きさに比べて大きく，あるいは小さくなっている。
【００５７】
図14に示す画像45においては，被写体21，被写体52〜54が含まれている。これらの被写体21，被写体52〜54の位置関係は，図４に示す画像20に含まれる被写体21〜24の位置関係と同じであるが，被写体52および53の大きさが図４の画像20の被写体22および23の大きさよりも小さくなっており，かつ被写体54の大きさは図４に示す被写体20の大きさよりも大きくなっている。このために，図15に示す特徴量テーブルに格納されている大きさも図４などに示す画像20などの被写体の大きさに比べて大きく，あるいは小さくなっている。
【００５８】
図６に示す特徴量テーブルは画像ごとに生成されているものであるが，図15に示す特徴量テーブルのように一つの特徴量テーブルにすべての画像についてのデータが格納されるようにしてもよい。
【００５９】
図16から図20は，他の実施例を示すもので，画像を検索により見つけるものである。
【００６０】
図16は，画像検索処理手順を示すフローチャートである。
【００６１】
まず，見つけ出したい画像に含まれている被写体の被写体名，その被写体の位置および被写体の大きさが入力装置14から入力される（ステップ61〜63）。入力された被写体名，被写体の位置および被写体の大きさをもつ画像が画像データベース12に格納されている多数の画像の中から見つけられる（ステップ64）。見つけられた画像が表示装置13の表示画面上に表示される（ステップ65）。
【００６２】
図17は，表示装置13の表示画面に表示される検索ウインドウの一例である。
【００６３】
検索ウインドウ70には，キーワード表示領域71，被写体位置表示領域72および被写体大きさ表示領域73が一つの組として一列に配置されている。検索ウインドウ70には，このような組が縦方向に５つ並んでいる。また，検索ウインドウ70の右下には検索指令ボタン74が形成されている。
【００６４】
キーワード表示領域71，被写体位置表示領域72および被写体大きさ表示領域73のうちいずれかの領域が選択されると,その選択された領域への入力ができるようになる。入力された情報が選択された領域に表示される（入力装置14にはマウスが含まれており，そのマウスを利用して所望の領域を選択できるのはいうまでもない。もちろん，表示装置13の表示画面にタッチパネルが形成されていれば，その所望の表示領域上をタッチすることにより，所望の領域を選択できる。）。
【００６５】
キーワード表示領域71には，被写体名またはその被写体名の上位概念がキーワードとして入力される。位置は，画像中における座標位置が表示されているが，図８または図９に示したように必ずしも座標位置ではなく画像を複数の領域に分割した場合における所望の領域または画像に対する割合を入力するようにしてもよい。
【００６６】
領域71〜73のうち少なくとも一つの領域に情報が入力されて検索ボタン74がクリック（タッチ）されることにより，入力された情報に該当する画像が検索されて所望の画像が見つけられる。
【００６７】
位置および大きさは，入力した情報に完全に一致する被写体が含まれている画像を見つけ出すようにしてもよいが，入力した情報に近似する被写体が含まれている画像を見つけるようにすることが好ましい。
【００６８】
キーワード表示領域71に入力されたキーワードを被写体名または上位概念キーワードとしてもつ被写体名をもつ被写体が含まれている画像を見つけ出すようになる。
【００６９】
図18から図20は，検索ウインドウの他の例を示すものである。
【００７０】
図18を参照して，検索ウインドウ80の上部には被写体位置／大きさ指定ウインドウ81が表示されている。後述するように，この被写体位置／大きさ指定ウインドウ81を用いて，見つける画像に含まれている被写体の位置，大きさが指定される。
【００７１】
被写体位置／大きさ指定ウインドウ81の左下には，「位置」の文字が表示されている。この「位置」の文字の右側にはチェック・ボックス82と「絶対位置」の文字およびチェック・ボックス83と「相対位置」の文字が表示されている。また，「位置」の文字の下にはチェック・ボックス84と「大きさ」の文字が表示されている。「大きさ」の文字の下にはチェック・ボックス85と「キーワードのみ」の文字が表示されている。検索ウインドウ80の右下には決定ボタン86および検索ボタン87が表示されている。
【００７２】
被写体の位置を絶対位置（画像に対する絶対的な位置）で指定する場合にはチェック・ボックス82がチェックされる。被写体の位置を相対位置（画像に含まれる被写体の相対的位置関係）で指定する場合にはチェック・ボックス83がチェックされる。被写体の大きさを指定する場合にはチェック・ボックス84がチェックされる。キーワード（被写体名，上位概念キーワード）のみで検索する場合にはチェック・ボックス85がチェックされる。チェック・ボックス85がチェックされた場合には，チェック・ボックス82，83，84はチェックできない。
【００７３】
チェック・ボックス82がチェックされて決定ボタン86がクリックされると，図17に示す検索ウインドウ70が現れて領域72に絶対位置を入力することとなる。
【００７４】
チェック・ボックス83がチェックされると，被写体位置／大きさ指定ウインドウ81を用いて被写体位置および大きさを指定できる。被写体位置／大きさ指定ウインドウ81内をマウスでドラッグすることにより，矩形（円形等の他の形状でもよい）が表示される。画像に含まれる被写体の数の矩形が被写体位置／大きさ指定ウインドウ81に表示されると，その矩形にキーワードを入力できるようになる。入力されたキーワードによって特定される被写体と矩形の位置関係により被写体の位置関係が決定される。
【００７５】
図19を参照して，上述のようにして矩形91，92および93が被写体位置／大きさ指定ウインドウ81に表示される。これらの矩形91，92および93のそれぞれにキーワード「特許太郎」，「意匠花子」および「犬」が表示されている。検索ボタン87がクリックされると，キーワードとして「特許太郎」，「意匠花子」または「犬」をもつ被写体であって，それらの被写体の位置関係が図19に示す矩形91〜93の位置関係に合致する画像が画像データベース12から見つけられる。
【００７６】
チェック・ボックス84がチェックされていると画像に対する被写体の大きさと被写体位置／大きさ指定ウインドウ81に対する矩形91〜93の大きさとに関係に対応するような大きさをもつ被写体が含まれている画像が見つけられる。
【００７７】
被写体位置／大きさ指定ウインドウ81に表示されている矩形91〜93の一辺または頂角をドラッグすることにより，ドラッグした方向に矩形91〜93の大きさを変えることもできる。
【００７８】
図20は矩形93の大きさを変えた矩形94が表示されている検索ウインドウ90の一例である。矩形を所望の大きさに変えることにより，所望の大きさの被写体像が含まれている画像を見つけることができる。
【００７９】
検索ボタン87がクリックされると，チェック・ボックスの設定に応じて被写体位置，大きさ等にもとづいて画像の検索が行われる。
【００８０】
たとえば，画像データベース12には図４に示す画像20，図10〜図14に示す画像41〜45が格納されているものとする。
【００８１】
第１の検索方法として，キーワードのみが入力された場合についての検索例について述べる。キーワードとして「特許太郎」，「意匠花子」および「犬」が入力されたものとする。入力されたキーワードのうち「特許太郎」を被写体名にもつ被写体21または51および「意匠花子」を被写体名にもつ被写体22または52を有し，かつ入力されたキーワード「犬」を上位概念キーワードにもつ被写体24または54を有する画像は，画像20，41，42，44，45である。これらの画像20，41，42，44，45が検索の結果見つけられた画像となる。
【００８２】
第２の検索方法として，キーワードおよび相対位置が指定された場合についての検索例は以下の通りである。「意匠花子」の右側に「特許太郎」が存在し，「特許太郎」の右側にさらに「犬」が存在する画像を見つけるものとする。「特許太郎」，「意匠花子」および「犬」がキーワードとして登録されている画像は画像20，41，42，44，45である。それらの画像20，41，42，44，45のうち，「意匠花子」の右側に「特許太郎」が存在するのは画像41および43である。また，「特許太郎」の右側に「犬」が存在するのは画像41であるから，画像41が検索により見つけられる画像となる。
【００８３】
第３の検索方法として，キーワードおよび絶対位置が指定された場合についての検索例を述べる。「意匠花子」が左から20％の領域に存在し，「特許太郎」が左から10％〜40％の領域に存在し，かつ「犬」が50％よりも右側に存在する画像を見つけるものとする。特許太郎」，「意匠花子」および「犬」がキーワードとして登録されている画像は画像20，41，42，44，45である。これらの画像20，41，42，44，45のうち，被写体の位置が指定された条件を満たすのは画像41となる。
【００８４】
第４の検索方法として，キーワードおよび相対的な大きさが指定された場合の検索例を述べる。「犬」が「自動車」よりも大きく，かつ「特許太郎」が「意匠花子」よりも大きい画像を見つけるものとする。「犬」，「自動車」，「特許太郎」，「意匠花子」が被写体として含まれている画像は，画像20，41，42，44，45である。これらの画像20，41，42，44，45のうち，「犬」が「自動車」よりも大きい画像は，画像44および45である。また，「特許太郎」が「意匠花子」よりも大きい画像は画像45となる。
【００８５】
第５の検索方法として，キーワードおよび被写体の絶対的な大きさが指定された場合の検索例を述べる。「犬」が縦方向および横方向で画像に対して25％以上の大きさで撮像されている画像を見つけるものとする。「犬」が含まれている画像は，画像20，41，42，44，45である。これらの画像20，41，42，44，45のうち，「犬」の大きさが指定された大きさをもつものは画像44および45となる。
【００８６】
第６の検索方法として，上述した第２の検索方法から第５の検索方法のすべてを満足する画像を見つけるものとする。すなわち，画像の右半分に「犬」が存在し，かつ縦方向および横方向ともに画像に対して25％以上の大きさをもち，「特許太郎」の右側に「意匠花子」が「特許太郎」よりも小さく存在する画像を見つけるものとする。「犬」，「特許太郎」，「意匠花子」が含まれている画像は画像20，41，42，44，45である。これらの画像20，41，42，44，45は，すべて画像の右半分に「犬」が存在する。「犬」の大きさが縦方向および横方向ともに25％以上の画像は画像44および45である。「意匠花子」が「特許太郎」の右側に存在する画像も画像44および45である。「意匠花子」が「特許太郎」よりも小さい画像は画像45となる。
【００８７】
上述した例から，キーワードのみを用いて画像を見つけるよりもより絞り込んだ検索ができることが分かる。
【００８８】
指定したキーワード等を有する画像が見つからなかった場合には，次のように処理することが考えられる。
【００８９】
第１に該当する画像が見つからない旨を表示する。
【００９０】
第２にユーザが指定した条件に近い画像を表示するものである。たとえば，上述した第６の検索方法において画像45が存在しなかったものとする。次の条件に合致する画像などが表示される。条件１として「犬」が右側に存在する。条件２として「犬」の大きさは画像に対して縦横25％の大きさをもつ。条件３として「意匠花子」および「特許太郎」が含まれている。条件４として「意匠花子」が「特許太郎」よりも右側にいる。条件５として意匠花子」が「特許太郎」よりも小さい。条件５だけを満足しない画像44を表示するようにしてもよいし，いずれかの複数の条件だけを満足しない画像を表示するようにしてもよい。
【００９１】
第３にあらかじめ定めた条件で優先付けして近い画像を表示する。検索条件にはキーワード，被写体位置，被写体の大きさがあるが，これらの検索条件に優先順位を付与する。例えば，キーワードは必須条件とし，次に被写体位置を優先付ける。上記の第５の検索方法において画像45が存在しない場合，「犬」，「意匠花子」，「特許太郎」が含まれる画像は画像20，41，42，44，45である。次に「犬」が右半分，「特許太郎」が「意匠花子」の右側に存在する条件を満たすのは画像20および44となる。画像20および44が見つけられた画像となる。
【００９２】
上述した実施例では，被写体の大きさを縦横の長さで示しているが被写体の面積を利用してもよい。また，被写体名の上位概念をその被写体名の被写体の種類（性別，人間など）で表しているが，被写体の所属（ＡＡ課，ＢＢ部，ＣＣ会社）などとしてもよい。また，位置関係は横方向に限らず縦方向でもよい。さらに，被写体の大きさは縦方向および横方向の両方とも大きいかどうかで判断せずに一方向のみの大きさで判断するようにしてもよい。
【符号の説明】
【００９３】
１  画像検索装置（画像キーワード付与装置）
２  画像入力装置（付与対象画像データ入力手段）
４  画像解析装置
８  ＣＰＵ（第１の検出手段，第２の検出手段，第３の検出手段，検索手段）
11  データベース制御装置（記憶制御手段）
14  入力装置（キーワード入力手段，位置入力手段，大きさ指定手段）
【図１】
2010176479.tif 000003
【図２】
2010176479.tif 000004
【図３】
2010176479.tif 000005
【図４】
2010176479.tif 000006
【図５】
2010176479.tif 000007
【図６】
2010176479.tif 000008
【図７】
2010176479.tif 000009
【図８】
2010176479.tif 000010
【図９】
2010176479.tif 000011
【図１０】
2010176479.tif 000012
【図１１】
2010176479.tif 000013
【図１２】
2010176479.tif 000014
【図１３】
2010176479.tif 000015
【図１４】
2010176479.tif 000016
【図１５】
2010176479.tif 000017
【図１６】
2010176479.tif 000018
【図１７】
2010176479.tif 000019
【図１８】
2010176479.tif 000020
【図１９】
2010176479.tif 000021
【図２０】
2010176479.tif 000022