(57)【要約】【課題】画像データに付与されている付帯情報を予め階層化しその階層化した付帯情報より検索条件を設定して検索する画像検索において、分類された付帯情報を視覚的に分かりやすくすることにより画像検索の操作性を向上させることを可能とする。【解決手段】画像検索装置１１のＣＰＵ１２は、登録対象の画像データ及び画像データに付与するキーワードにより画像データの分類を行い、キーワードを検索条件文として設定しキーワード検索を行い、キーワード検索で取得した画像データ群の中で一番もっともらしい画像データを代表画像として設定し、画像データの分類名に当てはまるキーワードと、キーワードに対する代表画像をＣＲＴ１５に表示し、前記表示に従い設定された検索条件に基づき画像検索を行い、画像検索で取得した画像データをＣＲＴ１５に表示する制御を行う。【選択図】　　　図１
2004139246.tif 000002
【特許請求の範囲】
【請求項１】
画像データの検索を行う画像検索装置において、
登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行う画像分類手段と、前記付帯情報に対する代表画像を設定する代表画像設定手段と、前記画像データの分類に基づき前記付帯情報と前記代表画像を表示する付帯情報表示手段と、前記表示に従い検索条件を設定する検索条件設定手段と、前記検索条件に基づき画像検索を行う画像検索手段と、前記画像検索で取得した画像データを表示する検索結果表示手段とを有することを特徴とする画像検索装置。
【請求項２】
前記代表画像設定手段は、前記付帯情報を検索条件として設定し、前記検索条件に基づき画像検索を行い、前記画像検索で取得した画像データ群の中で一番もっともらしい画像データを前記代表画像として設定することを特徴とする請求項１記載の画像検索装置。
【請求項３】
前記代表画像設定手段は、画像データに付与する前記付帯情報を登録する際に、登録する前記付帯情報が付与された画像データを前記代表画像として設定することを特徴とする請求項１記載の画像検索装置。
【請求項４】
前記付帯情報表示手段は、複数の画像データの分類名にそれぞれ対応した前記付帯情報を表示すると共に、複数の前記付帯情報にそれぞれ対応した前記代表画像を表示することを特徴とする請求項１乃至３の何れかに記載の画像検索装置。
【請求項５】
前記画像分類手段は、登録対象の画像データ及び画像データに付与する前記付帯情報によりシソーラス辞書を用いて画像データの分類を行うことを特徴とする請求項１記載の画像検索装置。
【請求項６】
前記登録対象の画像データは、撮像装置もしくは記憶装置から取得する画像データを含むことを特徴とする請求項１記載の画像検索装置。
【請求項７】
画像データの検索を行う画像検索方法において、
登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行う画像分類工程と、前記付帯情報に対する代表画像を設定する代表画像設定工程と、前記画像データの分類に基づき前記付帯情報と前記代表画像を表示する付帯情報表示工程と、前記表示に従い検索条件を設定する検索条件設定工程と、前記検索条件に基づき画像検索を行う画像検索工程と、前記画像検索で取得した画像データを表示する検索結果表示工程とを有することを特徴とする画像検索方法。
【請求項８】
登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行う機能と、前記付帯情報に対する代表画像を設定する機能と、前記画像データの分類に基づき前記付帯情報と前記代表画像を表示する機能と、前記表示に従い検索条件を設定する機能と、前記検索条件に基づき画像検索を行う機能と、前記画像検索で取得した画像データを表示する機能を、コンピュータに実現させるためのプログラム。
【請求項９】
画像データの検索を行う画像検索方法を実行するプログラムを記憶したコンピュータにより読み出し可能な記憶媒体であって、
前記画像検索方法は、登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行うステップと、前記付帯情報に対する代表画像を設定するステップと、前記画像データの分類に基づき前記付帯情報と前記代表画像を表示するステップと、前記表示に従い検索条件を設定するステップと、前記検索条件に基づき画像検索を行うステップと、前記画像検索で取得した画像データを表示するステップとを有することを特徴とする記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子カメラやビデオカメラ等の電子スチルカメラで撮影された複数の画像データを表示し画像データの検索を行う場合に好適な画像検索装置、画像検索方法、プログラム、及び記憶媒体に関する。
【０００２】
【従来の技術】
近年、写真等の画像データをデジタル信号としてメモリカード等に記憶する電子カメラやビデオカメラ等の電子スチルカメラが提供されている。これらの電子スチルカメラで撮影された写真等の画像データは、光メモリなどの可搬性メモリに記憶することにより、従来の銀塩フィルムを用いたカメラで撮影された写真と比べ、物理的なスペースを必要とすることなく大量に保持することが可能になっている。
【０００３】
従来、上記のような大量に蓄積された画像データの中から所望とする画像データを検索する手段として、蓄積されている個々の画像データにキーワードを付与し、操作者が指定した検索条件と画像データに付与されたキーワードとを比較することで、所望とする画像データの検索を行う手法がある。以降、前記検索手法をキーワード検索と呼ぶ。この検索手法では、表示装置における予め用意された入力フィールドに操作者が検索条件を入力する。この場合、検索条件において、自然言語文での記述や論理演算子などでキーワードを複数指定することも可能である。また、キーワードを指定する手段として、操作者が先頭文字を入力すると、その先頭文字と同じキーワードが画像データベースから検索され、操作者が検索結果リストから選択する方法も存在する。
【０００４】
また、キーワードを用いて画像データを検索する手法として、キーワードを階層化することで画像データを検索する手法が存在する。即ち、キーワードを階層化して画像データを検索する手法において、予め意味的に階層化したディレクトリ構造を持ちその階層化名をキーワードとし、これらの階層を提示してキーワードを付与するか、もしくはキーワードを分類させることで画像データを検索する手法が存在する（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特開平７−１２９６２１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術における画像データ検索方法では、特にキーワードを用いて画像データの検索を行う場合、所望とする画像データに適切なキーワードを見出して検索条件文において指定することが必要である。例えば、キーワード検索において、蓄積された画像データのキーワードを予め認知していれば、簡単に所望の画像データを検索することは可能であるが、蓄積された画像データのキーワードを認知していない場合、操作者が適切なキーワードを試行錯誤しながら指定することで画像データ検索を行わなければならない。
【０００７】
また、予め階層化したディレクトリ構造を持ちその階層化名をキーワードとし、これらの階層を提示してキーワードを付与するか、もしくはキーワードを分類させることで画像データを検索する手法については、分類されたキーワードのみを表示するとそのキーワードの内容が分からない場合がある。特に、コンテンツビジネスで取り扱われる画像データに付与されるキーワードなどは、キーワードを付与する人と画像データを検索する人が異なるため、このような状況が起こりやすい。
【０００８】
本発明は、上述した点に鑑みなされたものであり、画像データに付与されている付帯情報を予め階層化しその階層化した付帯情報より検索条件を設定して検索する画像検索において、分類された付帯情報を視覚的に分かりやすくすることにより画像検索の操作性を向上させることを可能とした画像検索装置、画像検索方法、プログラム、及び記憶媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、画像データの検索を行う画像検索装置において、登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行う画像分類手段と、前記付帯情報に対する代表画像を設定する代表画像設定手段と、前記画像データの分類に基づき前記付帯情報と前記代表画像を表示する付帯情報表示手段と、前記表示に従い検索条件を設定する検索条件設定手段と、前記検索条件に基づき画像検索を行う画像検索手段と、前記画像検索で取得した画像データを表示する検索結果表示手段とを有することを特徴とする。
【００１０】
また、本発明は、画像データの検索を行う画像検索方法において、登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行う画像分類工程と、前記付帯情報に対する代表画像を設定する代表画像設定工程と、前記画像データの分類に基づき前記付帯情報と前記代表画像を表示する付帯情報表示工程と、前記表示に従い検索条件を設定する検索条件設定工程と、前記検索条件に基づき画像検索を行う画像検索工程と、前記画像検索で取得した画像データを表示する検索結果表示工程とを有することを特徴とする。
【００１１】
また、本発明は、登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行う機能と、前記付帯情報に対する代表画像を設定する機能と、前記画像データの分類に基づき前記付帯情報と前記代表画像を表示する機能と、前記表示に従い検索条件を設定する機能と、前記検索条件に基づき画像検索を行う機能と、前記画像検索で取得した画像データを表示する機能を、コンピュータに実現させるためのプログラムであることを特徴とする。
【００１２】
また、本発明は、画像データの検索を行う画像検索方法を実行するプログラムを記憶したコンピュータにより読み出し可能な記憶媒体において、前記画像検索方法は、登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行うステップと、前記付帯情報に対する代表画像を設定するステップと、前記画像データの分類に基づき前記付帯情報と前記代表画像を表示するステップと、前記表示に従い検索条件を設定するステップと、前記検索条件に基づき画像検索を行うステップと、前記画像検索で取得した画像データを表示するステップとを有することを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１４】
［第１の実施の形態］
図１は本発明の第１の実施の形態に係る画像検索装置の構成例を示すブロック図である。画像検索装置１１は、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、周辺コントローラ部１６を装置本体内部に備えると共に、表示装置（ＣＲＴ）１５、外部記憶装置１７、入力装置２０を装置本体外部に付設した構成となっている。図中１８はデジタルカメラ、１９はデジタルビデオカメラである。
【００１５】
ＣＰＵ１２は、画像検索装置１１の制御の中心となる中央処理装置であり、ＲＯＭ１３に格納されたプログラムに基づき後述の各フローチャートに示す処理を実行する。ＲＯＭ１３は、画像検索を行うためのプログラム及びデータテーブル等を保存しておくための読み出し専用メモリである。ＲＡＭ１４は、ＲＯＭ１３に格納されたプログラムを実行するための作業領域等を提供する随時書き込み読み出しメモリである。表示装置１５は、画像検索装置１１の処理状況を表示するためのものであり、例えばＣＲＴディスプレイ（以後ＣＲＴ）から構成されている。尚、表示装置１５はＣＲＴに限定されず液晶でもよい。
【００１６】
周辺コントローラ部１６は、外部記憶装置１７や、入力装置２０、デジタルカメラ１８、デジタルビデオカメラ１９等の外部入出力装置と接続するためのものである。外部記憶装置１７は、画像データを保存するための記憶装置である。デジタルカメラ１８は、被写体を撮影し画像データを生成する撮像装置である。デジタルビデオカメラ１９は、被写体を撮影し画像データを生成する撮像装置である。操作者がデジタルカメラ１８やデジタルビデオカメラ１９等で撮影し取得した画像データは、外部記憶装置１７やＲＯＭ１３に保持される。入力装置２０は、マウスやキーボードなどから構成されており、各種指示や各種データ入力に用いる。
【００１７】
図２は画像検索装置における画像情報テーブルの構成例を示す図である。この画像情報テーブルは、画像検索装置のＲＯＭ１３もしくは外部記憶装置１７において保持されている。画像情報テーブルは、操作者がデジタルカメラ１８やデジタルビデオカメラ１９等で撮像し取得した画像データのファイル名を示す画像データファイル名２２と、その画像データを識別する画像ＩＤ２１とから構成されている。
【００１８】
図２における例で説明すると、例えば画像データファイル「０００＿０００１．ｊｐｇ」には、画像ＩＤ「００１」が割り当てられている。この場合、画像ＩＤには任意の数値（連番）を用いているが、画像データファイル名が一意となる場合、画像データファイル名を画像ＩＤとして用いてもよい。
【００１９】
図３は画像検索装置におけるキーワード情報テーブルの構成例を示す図である。このキーワード情報テーブルは、画像検索装置のＲＯＭ１３もしくは外部記憶装置１７において保持されている。キーワード情報テーブルは、画像データを識別する画像ＩＤ３１と、その画像データに付与されているキーワード３２と、そのキーワードの重要度を示すキーワード重要度３３とから構成されている。
【００２０】
本実施の形態では、キーワードの重要度は、画像の主題的な言葉の場合は「３」が、その言葉で検索して表示された場合に満足である場合は「２」が、重要ではないが妥当なキーワードである場合は「１」が付与されている。本実施の形態では、このような基準においてキーワードに重要度を付加しているが、画像に付与されたキーワードの重要度を示すものであれば上記例に限定されるものではない。図３における例で説明すると、画像ＩＤ「００１」には、キーワードである「花」、「赤い」、「公園」が付与されており、それぞれのキーワードにおいて「（花＝）３」、「（赤い＝）１」、「（公園＝）１」と重要度が付与されている。
【００２１】
図１７は画像検索装置における意味分類情報テーブルの構成例を示す図である。この意味分類情報テーブルは、画像検索装置のＲＯＭ１３もしくは外部記憶装置１７において保持されている。意味分類情報テーブルは、画像データを識別する画像ＩＤ１７１と、その画像データに付与されているキーワード１７２と、そのキーワードの分類１７３とから構成されている。尚、本実施の形態では、意味分類情報テーブルとキーワード情報テーブルを別構成のテーブルとしているが、意味分類情報とキーワード情報を同じテーブル上で構成してもよい。
【００２２】
図４は画像検索装置におけるシソーラス（Ｔｈｅｓａｕｒｕｓ）辞書の構成例を示す図である。このシソーラス辞書は、画像検索装置のＲＯＭ１３もしくは外部記憶装置１７において保持されている。シソーラス辞書は、単語表記を示す見出し語４１と、その意味的分類を示す意味分類４２と、品詞４３とから構成されている。
【００２３】
図４における例で説明すると、見出し語「公園」は、品詞が「名詞」、意味分類が「具体物：製造物：抽象物：場所」を示す。また、この場合、「具体物（第一階層）、製造物（第二階層）」と「抽象物（第一階層）、場所（第二階層）」の２つの意味を持つことを示す。また、見出し語「赤い」は、品詞が「形容詞」、意味分類は無しになっている。尚、本実施の形態では、シソーラス辞書内において品詞も構成要素となっているが、シソーラス辞書とは別に品詞を単語辞書として構成してもよい。
【００２４】
図５は画像検索装置におけるキーワード分類情報テーブルの構成例を示す図である。このキーワード分類情報テーブルは、画像検索装置のＲＯＭ１３もしくは外部記憶装置１７において保持されている。キーワード分類情報テーブルは、分類内容を示す分類名５１と、その分類に当てはまるキーワード５２と、そのキーワードにおける代表画像の画像ＩＤ５３と、蓄積された画像のキーワードにおけるそのキーワードの重要度を加算した値であるレベル５４とから構成されている。このレベル５４は、重要度が高くなお且つそのキーワードが多くの画像に付与されている場合に高くなる。
【００２５】
図５における例で説明すると、キーワード「魚」は、「動物」に分類され、代表画像は「０３９」、レベルは「１２」となっている。この代表画像としては、蓄積された画像の中からキーワード「魚」が存在している画像の１つが選択される。また、キーワード「魚」（レベル１２）は、キーワード「象」（レベル１０）やキーワード「犬」（レベル２）よりも重要度が高い値で格納されている。
【００２６】
図６は画像検索装置における検索画面の表示例を示す図である。この検索画面は、画像検索装置のＣＰＵ１２の制御によりＣＲＴ１５において表示される。検索画面の表示内容は、分類内容を示す分類名６１と、その分類に当てはまるキーワード数を示すキーワード数６２と、その分類に当てはまるキーワードを示すキーワードコントロール６３と、そのキーワードに対する画像データ例を表示する代表画像コントロール６４と、検索条件のキーワードを入力するための検索条件コントロール６５と、検索の実行を指示するための検索実行コントロール６６とから構成されている。
【００２７】
キーワードコントロール６３は、本実施の形態ではチェックボックスコントロールで構成されているものとする。しかし、キーワードコントロール６３の構成は本例に限定されず、ボタンコントロールなど、キーワードが指定されたかどうかを判断できるようになっているコントロールであればよい。もしくは、キーワードをマウスもしくはキーボード等の入力装置２０により選択し、検索条件コントロール６５にドラッグ及びドロップすることにより、そのキーワードが自動的に入力されても構わない。また、代表画像コントロール６４においても、該当代表画像が選択されたかどうかを判断できるコントロールで構成されており、本実施の形態ではボタンコントロール上に画像データが表示されるようになっている。
【００２８】
図６における例で説明すると、画像データは大きく分類名６１「動物」、「人間」、「植物」、「場所」、「製造物」、「抽象物」に分類される。尚、それぞれの分類にあてはまるキーワード数６２は、「動物」が「５０」、「人間」が「１００」、「植物」が「４０」、「場所」が「９９」、「製造物」が「１２」、「抽象物」が「５０」存在している。そして、分類名６１「動物」にあてはまる画像に付与されているキーワード６３には、「魚」、「象」、「犬」が存在している。各々のキーワードコントロール６３の隣には、それぞれ、代表画像を示す代表画像コントロール６４が表示されている。
【００２９】
図１２は画像検索装置における異表記同義語辞書の構成例を示す図である。この異表記同義語辞書は、画像検索装置のＲＯＭ１３もしくは外部記憶装置１７において保持されている。異表記同義語辞書は、見出し語１２１と、その見出し語にあてはまる異表記もしくは同義語１２２とから構成されている。図１２における例で説明すると、見出し語「花」に対しては、「フラワー」、「お花」、「ｆｌｏｗｅｒ」などの異表記もしくは同義語が存在している。
【００３０】
図１３は画像検索装置における下位概念単語辞書の構成例を示す図である。この下位概念単語辞書は、画像検索装置のＲＯＭ１３もしくは外部記憶装置１７において保持されている。下位概念単語辞書は、見出し語１３１と、その見出し語にあてはまる下位概念を示す単語１３２と、その階層を示すレベル１３３とから構成されている。図１３における例で説明すると、見出し語「車」に対しては、「ポルシェ」、「バイク」、「車輪」などの下位概念の単語が存在しており、それぞれレベル「ポルシェ（０．８）」「バイク（０．６４）」「車輪（０．５５）」が付与されている。
【００３１】
次に、第１の実施の形態の画像検索装置における画像検索方法について図１〜図１７を参照しながら詳細に説明する。
【００３２】
＜キーワードの登録処理を行ったときの動作例＞
図７及び図８は画像検索装置におけるキーワードの登録処理を行ったときの動作例を示すフローチャートである。本フローチャートに示す処理は画像検索装置のＣＰＵ１２がＲＯＭ１３に格納されたプログラムに基づき実行する。
【００３３】
先ず、ステップＳ１１において、画像検索装置のＣＰＵ１２はキーワードの登録が終了したかどうかを判断する。ステップＳ１１でキーワードの登録が終了していないと判断した場合は、ステップＳ１２において、ＣＰＵ１２は入力装置２０からの操作者による所定操作に基づき、登録対象の画像データとして、外部記憶装置１７またはＲＯＭ１３に既に格納されている画像データ、もしくはデジタルカメラ１８やデジタルビデオ１９等で撮像された画像データを周辺コントローラ部１６を経由して取得する。次に、ステップＳ１３において、ＣＰＵ１２は上記ステップＳ１２で取得した画像データに付与するキーワードを、入力装置２０からの操作者によるキーワード入力により取得する。
【００３４】
次に、ステップＳ１４において、ＣＰＵ１２は上記ステップＳ１３で取得したキーワードにおける重要度を、入力装置２０からの操作者による重要度入力により取得する。本実施の形態では、重要度を入力装置２０からの操作者による入力により取得することとしているが、キーワードの入力順位により重要度を自動的に付与してもよい。そして、ステップＳ１５及びステップＳ１６において、ＣＰＵ１２は上記ステップＳ１３で取得したキーワードに対する意味分類及び品詞を図４のシソーラス辞書を用いて取得する。
【００３５】
次に、ステップＳ１７において、ＣＰＵ１２は分類名を決定する。この詳細については図１５及び図１６において説明を行う。また、本実施の形態においては、分類項目としては、「人間」「植物」「動物」「場所」「製造物」「抽象物」と分類しているが、この分類だけに限定されるものではない。そして、ステップＳ１８において、ＣＰＵ１２は上記ステップＳ１２で取得した画像データに付与するキーワードが終了するまで、上記ステップＳ１３からステップＳ１８の処理を繰り返す。また、上記ステップＳ１２で取得した画像データ、上記ステップＳ１３で取得したキーワード、上記ステップＳ１４で取得した重要度、及び上記ステップＳ１７で取得した分類名は、それぞれＲＡＭ１４に保持する。
【００３６】
そして、上記ステップＳ１１でキーワードを付与する画像が終了したと判断した場合は、ステップＳ１９において、ＣＰＵ１２はＲＡＭ１４に保持したそれぞれのデータをデータベースに登録する。このデータベースは、本実施の形態のテーブルをデータベースとして登録したものであり、外部記憶装置１７もしくはＲＯＭ１３に保持されている。また、上記各テーブルは、インデックスを作成することでアクセスの高速化を可能とする構成になっている。
【００３７】
ステップＳ１９では、先ず、ＣＰＵ１２は上記ステップＳ１２で取得した画像データを、図２に示す画像情報テーブルの画像データファイル名に登録し、画像ＩＤを割り当てる。次に、ＣＰＵ１２は上記ステップＳ１３で取得したキーワードと上記ステップＳ１４で取得した重要度を、図３に示すキーワード情報テーブルに保持する。また、上記ステップＳ１７で取得した分類名は、図１７に示す意味分類情報テーブルに登録する。次に、ステップＳ２０において、ＣＰＵ１２は登録したキーワードを取得する。このとき、予め登録されたキーワードにおいて分類名とキーワードが同じものは重複を取り除いておく。次に、ステップＳ２１において、ＣＰＵ１２は図５に示すキーワード分類情報テーブルにおいてキーワードが登録されているかどうかを判断する。
【００３８】
上記ステップＳ２１でキーワードが登録されていないと判断した場合は、ステップＳ２４へ進む。上記ステップＳ２１でキーワードが登録されていると判断した場合は、ステップＳ２２において、ＣＰＵ１２は登録したキーワードを検索条件文として設定しキーワード検索を行い、代表画像の取得を行う。この詳細については図１１において説明を行う。次に、ステップＳ２３において、ＣＰＵ１２はキーワード検索して求めた画像データ群の中で一番もっともらしい画像データを代表画像として設定する。取得した代表画像は、図５に示すキーワード分類情報テーブルにおける代表画像５３に登録する。また、このとき、分類名及びキーワードも登録する。
【００３９】
ステップＳ２４において、ＣＰＵ１２は登録キーワードが終了するまで上記ステップＳ２１からステップＳ２４までの処理を繰り返す。次に、ステップＳ２５において、ＣＰＵ１２は分類内でキーワードが増えた分類に限り意味分類順位処理を行う。この詳細については図１４において説明を行う。この処理で取得したキーワードの順位は、図５に示すキーワード分類情報テーブルにおけるレベルに反映される。
【００４０】
＜分類決定処理を行ったときの動作例＞
図１５及び図１６は画像検索装置における分類決定処理を行ったときの動作例を示すフローチャートである。本フローチャートに示す処理は画像検索装置のＣＰＵ１２がＲＯＭ１３に格納されたプログラムに基づき実行する。
【００４１】
先ず、ステップＳ７１において、ＣＰＵ１２は上記図７の意味分類取得処理（ステップＳ１５）において取得した意味分類が存在するかどうかを判断する。上記ステップＳ７１で意味分類が存在していないと判断した場合は、ステップＳ７２において、ＣＰＵ１２は分類設定を行う品詞かどうかを、上記図７の品詞取得処理（ステップＳ１６）において取得した品詞により判断する。品詞が助詞、助動詞、接続詞、代名詞などの意味を持たない単語については、分類名を取得しない。上記ステップＳ７２で分類設定を行う品詞であると判断した場合は、ステップＳ７３において、ＣＰＵ１２は分類名を「抽象物」と設定する。ここで分類名を「抽象物」と設定したが、分類名は限定されるものではなく他の分類と区別できればよい。
【００４２】
上記ステップＳ７１で意味分類が存在していると判断した場合は、ステップＳ７４において、ＣＰＵ１２は上記図７のステップＳ１５において取得した意味分類で、第一階層となる意味分類が２以上存在するかどうかを判断する。上記ステップＳ７４で第一階層となる意味分類が存在しない場合は、ステップＳ８０において、ＣＰＵ１２は上記取得した意味分類を分類名に設定する。上記ステップＳ７４で第一階層となる意味分類が１つであった場合は、ステップＳ８０において、ＣＰＵ１２は当該１つの意味分類を分類名に設定する。
【００４３】
上記ステップＳ７４で第一階層となる意味分類が２つ以上であった場合は、ステップＳ７５において、ＣＰＵ１２は判断分類名の取得を行う。この判断分類名とは、上記図７のステップＳ１５で取得した意味分類において、第一階層ごとの意味分類の分類を示す。例えば、キーワード「マウス」についての意味分類は、「具体物（第一階層）、動物（第二階層）、具体物（第一階層）、製造物（第二階層）」となり、判断分類名は、「動物」及び「製造物」となる。
【００４４】
次に、ステップＳ７６において、ＣＰＵ１２は上記ステップＳ７５で取得した分類名により類似内容検索を行う。類似内容検索の詳細については、従来方法と同様に行うため詳細な説明は省略する。次に、ステップＳ７７において、ＣＰＵ１２は上記ステップＳ７６の類似内容検索を行った結果において、当該キーワードを設定した画像が存在するか判断する。画像が存在した場合は、ステップＳ７８において、ＣＰＵ１２は分類名を判断分類名で設定する。画像が存在しなかった場合は、ＣＰＵ１２は分類名を設定しない。ステップＳ７９において、意味分類に存在する判断分類名が終了するまで、上記ステップＳ７５からステップＳ７９の処理を繰り返す。
【００４５】
＜キーワード検索処理を行ったときの動作例＞
図１１は画像検索装置におけるキーワード検索処理を行ったときの動作例を示すフローチャートである。本フローチャートに示す処理は画像検索装置のＣＰＵ１２がＲＯＭ１３に格納されたプログラムに基づき実行する。
【００４６】
先ず、ステップＳ５１において、ＣＰＵ１２は画像検索を行うための検索条件文（キーワード）を取得する。次に、ステップＳ５２において、ＣＰＵ１２は自然言語処理により検索条件文を単語に分割する。この自然言語処理については既存の自然言語処理を用いることとし説明を省略する。上記分割された単語において、品詞を参照した結果、助詞や助動詞などの具体物もしくは抽象物を示さない単語は、この分割単語より削除する。次に、ステップＳ５３において、ＣＰＵ１２は上記ステップＳ５２で単語分割されたそれぞれの単語において、異表記及び同義語を図１２の異表記同義語辞書により取得する。そして、ステップＳ５４において、ＣＰＵ１２は下位概念単語及びそのレベルを図１３の下位概念単語辞書により取得する。
【００４７】
次に、ステップＳ５５において、ＣＰＵ１２は分割された単語が終了するまで異表記同義語の検索キーの作成、下位概念検索キーの作成を繰り返す。次に、ステップＳ５６において、上記ステップＳ５２で分割された単語と、上記ステップＳ５３で取得した異表記同義語単語と、上記ステップＳ５４で取得した下位概念単語を検索キーとして、図３に示すキーワード情報テーブルを参照することで、上記ステップＳ５１で取得したキーワードと検索キーとを比較し、両者が同じであればその画像データを取得する。
【００４８】
次に、ステップＳ５７において、ＣＰＵ１２は取得した画像データについてスコア計算を行う。このスコア計算は、キーワードをレベル３、キーワードから展開された異表記同義語単語をレベル２、キーワードから展開された下位概念単語をレベル１＋下位概念辞書から取得したレベルとすることで行う。そして、ＣＰＵ１２は画像データに付与されているキーワードの重要度と前記レベルの値とに基づきスコア値を計算する。ここでのスコア値の求め方は前記の例に限定されるものではない。次に、ステップＳ５８において、ＣＰＵ１２は上記ステップＳ５６で取得した画像データのスコア計算が終了するまで、ステップＳ５７の処理を繰り返す。スコア計算が終了した場合、ステップＳ５９において、ＣＰＵ１２はスコア値により画像データを降順に並べる。これにより、指定された検索条件におけるキーワード検索を行う。
【００４９】
＜意味分類順位処理を行ったときの動作例＞
図１４は画像検索装置における上記図７及び図８の意味分類順位処理を行ったときの動作例を示すフローチャートである。本フローチャートに示す処理は画像検索装置のＣＰＵ１２がＲＯＭ１３に格納されたプログラムに基づき実行する。
【００５０】
先ず、ステップＳ６１において、ＣＰＵ１２は順位を変更する分類名の取得を行う。次に、ステップＳ６２において、ＣＰＵ１２はその分類名に存在するキーワードを図５のキーワード分類情報テーブルより取得する。次に、ステップＳ６３において、ＣＰＵ１２は図３のキーワード情報テーブルを参照し、上記ステップＳ６２で取得したキーワードにおける全ての重要度を加算し合計を求める。次に、ステップＳ６４において、ＣＰＵ１２は分類内のキーワードが終了するまで重要度の合計を求める。取得した合計値は、図５のキーワード分類情報テーブルのレベル５４に格納する。
【００５１】
これらの処理により、画像にキーワードを付与し、図６に示す検索画面をＣＲＴ１５に表示するための前処理を行う。
【００５２】
＜画像検索処理を行ったときの動作例＞
図９及び図１０は画像検索装置における画像検索処理を行ったときの動作例を示すフローチャートである。本フローチャートに示す処理は画像検索装置のＣＰＵ１２がＲＯＭ１３に格納されたプログラムに基づき実行する。
【００５３】
先ず、ステップＳ３１において、ＣＰＵ１２は図５のキーワード分類情報テーブルより、分類名、キーワード及び代表画像をレベルの降順に取得し、ＲＡＭ１４に保持する。また、ＣＰＵ１２は各分類にあてはまるキーワード数も取得し、ＲＡＭ１４に保持する。次に、ステップＳ３２において、ＣＰＵ１２は上記ステップＳ３１で取得した分類名の重複を取り除き、図６に示す検索画面の表示領域である分類名６１に表示する。次に、ステップＳ３３において、ＣＰＵ１２は上記ステップＳ３２で表示した分類名に対するキーワード数を取得し、図６に示す検索画面の表示領域であるキーワード数６２に表示する。次に、ステップＳ３４及びステップＳ３５において、キーワードとその代表画像を図６に示す検索画面のキーワードコントロール６３及び代表画像コントロール６４に、上記ステップＳ３１で取得した順位（降順）で表示する。
【００５４】
次に、ステップＳ３６において、ＣＰＵ１２は上記ステップＳ３２の分類内におけるキーワードが終了するまで、ステップＳ３４及びステップＳ３５の処理を繰り返す。また、ステップＳ３７において、ＣＰＵ１２は表示する分類が終了するまで、ステップＳ３２からステップＳ３６の処理を繰り返す。ここまでの処理により、図６に示す検索画面がＣＲＴ１５に表示される。尚、検索画面における他のコントロールの表示処理は特に記載していないが同様に検索画面に表示されることとする。
【００５５】
次に、ステップＳ３８において、操作者から検索条件及び検索実行が入力されるまで入力待ち状態になる。操作者から何からの入力が行われたとき次の処理を行う。ステップＳ３９において、ＣＰＵ１２はキーワードが追加指定されたかどうかを判断する。このキーワードが追加指定されたかどうかの判断は、図６に示す検索画面上のキーワードコントロール６３において検索条件の追加が指定されたかどうかを判断することで行う。そのため、検索画面において構成されたコントロールにより判断する処理が異なる。本実施の形態ではチェックボックスコントロールを例としているため、チェックボックスがオンされたことにより判断する。
【００５６】
上記ステップＳ３９でキーワードが追加指定されたと判断した場合は、ステップＳ４０において、ＣＰＵ１２は検索画面の検索条件コントロール６５にそのキーワードを追加する表示を行う。上記ステップＳ３９でキーワードの追加指定でないと判断した場合は、ステップＳ４１において、ＣＰＵ１２はキーワードが削除指定されたかどうかを判断する。このキーワードが削除指定されたかどうかの判断は、図６に示す検索画面上のキーワードコントロール６３において検索条件の削除が指定されたかどうかを判断することで行う。そのため、検索画面において構成されたコントロールにより判断する処理が異なる。本実施の形態ではチェックボックスコントロールを例としているため、チェックボックスがオフされたことにより判断する。
【００５７】
上記ステップＳ４１でキーワードが削除指定されたと判断した場合は、ステップＳ４２において、ＣＰＵ１２は検索条件コントロール６５にそのキーワードを削除する表示を行う。上記ステップＳ４１でキーワードの削除指定でないと判断した場合は、ステップＳ４３において、ＣＰＵ１２は代表画像が指定（選択）されたかどうかを判断する。この代表画像が指定されたかどうかの判断は、図６に示す検索画面に表示されている代表画像が入力装置２０（例えばマウス）により指示（押下）されたかどうかに基づき行う。
【００５８】
上記ステップＳ４３で代表画像が指定されたと判断した場合は、ステップＳ４４において、ＣＰＵ１２は検索条件コントロール６５にそのキーワードを検索条件文とし代入する。そして、ステップＳ４７の図１１に示すキーワード検索処理に移行する。また、上記ステップＳ４３で代表画像の指定でないと判断した場合は、ステップＳ４５において、ＣＰＵ１２は検索実行であるかどうかを判断する。ステップＳ４５で入力装置２０において図６の検索画面における検索実行コントロール６６が指定され、検索実行であると判断した場合は、ステップＳ４６において、ＣＰＵ１２は検索条件の設定を検索条件コントロール６５より取得し、ステップＳ４７の図１１に示すキーワード検索処理に移行する。
【００５９】
ステップＳ４７において、ＣＰＵ１２は図６の検索画面における検索条件コントロール６５より検索条件を取得し、その検索条件においてキーワード検索を行う。次に、ステップＳ４８において、ＣＰＵ１２はキーワード検索において取得した順に画像ＩＤより画像ファイル名を取得し、検索された結果としての画像データを検索画面に表示する。
【００６０】
＜キーワード登録処理の具体例＞
次に、画像検索装置における具体的な動作について例を挙げて説明する。キーワードを登録する処理を各図を参照しながら説明する。例えば、「０００＿０００２．ｊｐｇ」の画像データにキーワード「マウス」「キーボード」「パソコン」を付与し、「００１＿０００２．ｊｐｇ」の画像データにキーワード「マウス」、「ドッグ」、「ペットショップ」を付与することとする。図７のステップＳ１２において、登録する画像データ「０００＿０００２．ｊｐｇ」を取得する。取得した画像データより、図２の画像情報テーブルの画像データファイル名に「００１＿０００２．ｊｐｇ」を登録し、画像ＩＤに「００２」を登録する。次に、ステップＳ１３において、登録するキーワード「パソコン」を取得し、ステップＳ１４において重要度「２」を取得する。そして、ステップＳ１５において、キーワード「マウス」に対する意味分類を図４のシソーラス辞書により求める。
【００６１】
図４より、「マウス」に対する意味分類は取得されているため、図１５のステップＳ７４において、取得した意味分類「具体物：動物：具体物：製造物」において第一階層が２つ以上存在するかどうかを判断する。「具体物」の第一階層が２以上あるため、図１６のステップＳ７５に移行する。ステップＳ７５において、判断分類名の「動物」を取得する。そして、検索条件を「動物」＋「マウス」とし、類似内容検索を行う。ここで、類似内容検索として、「動物」の「マウス」に関わる内容を示す画像データが検索される。そのため、本実施の形態の図３に示す画像データの場合、検索結果は無しになる。そして、ステップＳ７７において、キーワード「マウス」と登録する画像ＩＤ「００２」が、ステップＳ７６の類似内容検索において検索結果として表示されたかどうかを判断する。画像ＩＤ「００２」は検索結果に存在しないため、分類「動物」は付与されない。
【００６２】
次に、ステップＳ７５において、判断分類名の「製造物」を取得する。そして、検索条件を「製造物」＋「マウス」とし、類似内容検索を行う。ここで、類似内容検索として、「製造物」の「マウス」に関わる内容を示す画像データが検索される。そのため、本実施の形態の図３に示す画像データの場合、画像ＩＤ「００２」が検索される。そして、ステップＳ７７において、キーワード「マウス」と登録する画像ＩＤ「００２」が、ステップＳ７６の類似内容検索において検索結果として表示されたかどうかを判断する。画像ＩＤ「００２」は検索結果に存在するため、分類「製造物」が付与される。
【００６３】
同様に、「０００＿０００２．ｊｐｇ」の画像データにキーワード「キーボード」「パソコン」を付与し、また、「００１＿０００２．ｊｐｇ」の画像データにキーワード「マウス」、「ドッグ」、「ペットショップ」を付与する。この場合、画像データ「００１＿０００２．ｊｐｇ」のキーワード「マウス」は、分類名「動物」が付与され、「製造物」は付与されない。図８のステップＳ１９において、図２の画像情報テーブルには、画像ＩＤ「００２」画像データファイル名「０００＿０００２．ｊｐｇ」を格納し、画像ＩＤ「００６」画像データファイル名「００１＿０００２．ｊｐｇ」を格納する。
【００６４】
また、図３のキーワード情報テーブルには、画像ＩＤ「００２」において、キーワード「マウス」重要度「３」、キーワード「キーボード」重要度「２」、キーワード「パソコン」重要度「２」で登録し、画像ＩＤ「００６」において、キーワード「マウス」重要度「２」、キーワード「ドッグ」重要度「２」、キーワード「ペットショップ」重要度「１」で登録する。
【００６５】
また、図１７の意味分類情報テーブルには、画像ＩＤ「００２」において、キーワード「マウス」分類「動物」、キーワード「キーボード」分類「製造物」、キーワード「パソコン」分類「製造物」で登録し、画像ＩＤ「００６」において、キーワード「マウス」分類「動物」、キーワード「ドッグ」分類「動物」、キーワード「ペットショップ」分類「製造物」及び分類「場所」で登録する。
【００６６】
次に、図５のキーワード分類情報テーブルにおいて、代表画像及び分類内キーワードを取得する。図８のステップＳ２０において、登録したキーワード及びその分類名を取得し重複を取り除く。次に、ステップＳ２１において、登録した分類名におけるキーワードが、図５のキーワード分類情報テーブルに格納されているかどうかを判断する。この場合、キーワード分類情報テーブルに格納されているデータは何も存在しないとする。次に、ステップＳ２２において、検索条件を「マウス」としキーワード検索を行う。次に、ステップＳ２３において、検索結果から一番もっともらしい画像を取得する。そして、ステップＳ２１からステップＳ２４の処理を繰り返す。同様に登録した分類名に対するキーワードの代表画像の取得を行い、データベースに登録する。図５において、分類名「動物」キーワード「マウス」代表画像「００６」、分類名「製造物」キーワード「キーボード」代表画像「００６」、と繰り返す。
【００６７】
変更された分類及びそのキーワードは、分類「製造物」キーワード「マウス」、分類「製造物」キーワード「キーボード」、分類「製造物」キーワード「パソコン」、分類「動物」キーワード「マウス」、キーワード「動物」「ドッグ」、「ペットショップ」である。そのため、ステップＳ２４において、意味分類は「動物」「製造物」が変更されたので次に変更された順位を求める。
【００６８】
上記図１４を用いて説明する。ステップＳ６１において、変更された分類名「製造物」を取得する。次に、ステップＳ６２において、追加変更されたキーワード「マウス」を取得する。次に、ステップＳ６３において、キーワード「マウス」が付与されている画像の重要度を加算し合計を求める。求めた値は、図５に示すキーワード分類情報テーブルのレベルに格納する。このようにステップＳ６１からステップＳ６４において重要度の加算を行い重要度の合計を求める。
【００６９】
＜画像検索処理の具体例＞
次に、上記図９及び図１０に示した画像検索処理を具体例を挙げて説明する。図９のステップＳ３１において、図５のキーワード分類情報テーブルより分類名を取得し、重複を取り除き表示する分類名を取得する。この場合、「動物」「人間」「植物」「場所」「製造物」「抽象物」を取得する。また、その分類名ごとにレベルの降順にキーワードと代表画像を取得する。また、この際に、分類名におけるキーワードの加算も行う。そして、ステップＳ３２において、先ず、分類名「動物」を図６の検索画面において分類名６１に表示する。また、ステップＳ３３において、キーワード数６２にキーワード数「５０」を表示する。
【００７０】
そして、ステップＳ３４及びステップＳ３５において、「動物」の分類に存在するキーワード及び代表画像を取得した順に表示する。分類名「動物」の場合、付帯情報「魚」とその代表画像（画像ＩＤ「０３９」の画像ファイル）、付帯情報「象」とその代表画像（画像ＩＤ「０９１」の画像ファイル）、付帯情報「犬」とその代表画像（画像ＩＤ「０３３」の画像ファイル）を順番に表示する。全ての分類に対し、同様に表示を行う。上記により、図６に示す検索画面がＣＲＴ１５に表示される。
【００７１】
次に、実際の検索画面での処理を説明する。既に図６の検索画面における検索条件コントロール６３において「走っている」が設定され、また、検索条件に対し「子供」を追加する場合、操作者は図６の検索画面におけるキーワードコントロール６３においてチェックボックスをオンする。その場合、図１０のステップＳ３９において、キーワードの追加指定が行われたと判断し、ステップＳ４０において、検索条件コントロール６５にキーワード「子供」を追加し、「走っている　子供」と表示する。
【００７２】
同様に、検索条件コントロール６３に既に「走っている　子供」が設定されている場合に、検索条件に対し「子供」を削除する場合、操作者は図６の検索画面におけるキーワードコントロール６３においてチェックボックスをオフする。その場合、ステップＳ３９において、キーワードの削除指定が行われたと判断し、ステップＳ４０において、検索条件コントロール６５にキーワード「子供」を削除し「走っている」と表示する。
【００７３】
次に、代表画像を利用して「花」を検索する場合、操作者は図６の検索画面における代表画像コントロール６４を選択する。その場合、ステップＳ４３において、代表画像より検索が起動されたとし、検索条件コントロール６５にキーワード「花」を設定する。そして、ステップＳ４６において、検索条件文に「花」を設定し、キーワード検索を行う。次に、ステップＳ４７において、検索された画像データを表示する。
【００７４】
また、検索実行コントロール６６を利用して検索を行う場合、ステップＳ４５において、検索実行を判断し、ステップＳ４６において、検索条件コントロール６５に存在する検索条件を取得し、キーワード検索を行う。例えば、検索条件コントロール６５に「街を走っている」と入力されている状態で、キーワード「車」のキーワードコントロール６３が選択された場合、検索条件は、「街を走っている　車」で検索される。
【００７５】
以上説明したように、第１の実施の形態によれば、画像データに付与されているキーワードを予め階層化しその階層化したキーワードより検索条件を設定して検索する画像検索において、分類されたキーワードを視覚的に分かりやすくすることにより、画像検索の操作性を向上させることが可能となる。
【００７６】
［第２の実施の形態］
上記第１の実施の形態においては、代表画像の求め方として、その付帯情報を検索条件とし検索した結果より代表画像を求める方法をとったが、第２の実施の形態として次のような方法をとる。即ち、第２の実施の形態では、代表画像の求め方として、付帯情報を登録したとき、その付帯情報の代表画像として、登録した付帯情報が付与された画像データを登録するものである。尚、第２の実施の形態の画像検索装置の構成及び各種テーブルの構成は上記第１の実施の形態と同様であり、説明を省略する。
【００７７】
次に、第２の実施の形態の画像検索装置における上記第１の実施の形態と異なる部分であるキーワード登録処理について図１〜図５、図１７〜図１８等を参照しながら詳細に説明する。
【００７８】
＜キーワードの登録処理を行ったときの動作例＞
図１８は画像検索装置におけるキーワードの登録処理を行ったときの動作例を示すフローチャートである。本フローチャートに示す処理は画像検索装置のＣＰＵ１２がＲＯＭ１３に格納されたプログラムに基づき実行する。
【００７９】
先ず、ステップＳ８１において、ＣＰＵ１２はキーワードの登録が終了したかどうかを判断する。ステップＳ８１でキーワードの登録が終了していない場合、ステップＳ８２において、ＣＰＵ１２は入力装置２０からの操作者による所定操作に基づき、登録対象の画像データとして、外部記憶装置１７またはＲＯＭ１３に既に格納されている画像データ、もしくはデジタルカメラ１８やデジタルビデオ１９等で撮像された画像データを周辺コントローラ部１６を経由して取得する。次に、ステップＳ８３において、ＣＰＵ１２は上記ステップＳ１２で取得した画像データに付与するキーワードを、入力装置２０からの操作者によるキーワード入力により取得する。
【００８０】
次に、ステップＳ８４において、ＣＰＵ１２は上記ステップＳ８３で取得したキーワードにおける重要度を、入力装置２０からの操作者による重要度入力により取得する。本実施の形態では、重要度を入力装置２０からの操作者による入力により取得することとしているが、キーワードの入力順位により重要度を自動的に付与してもよい。そして、ステップＳ８５、ステップＳ８６において、ＣＰＵ１２は上記ステップＳ８３で取得したキーワードに対する意味分類及び品詞を図４のシソーラス辞書を用いて取得する。
【００８１】
次に、ステップＳ８７において、ＣＰＵ１２は分類名を決定する。この詳細は、第１の実施の形態における図１５及び図１６に示した処理と同様である。そして、ステップＳ８８において、ＣＰＵ１２は上記ステップＳ８３で取得したキーワードで、上記ステップＳ８７で取得した分類名において、図５のキーワード分類情報テーブルを検索する。代表画像が存在する場合は、ＣＰＵ１２はその代表画像を上記ステップＳ８２で取得した画像の画像ＩＤに変更する。代表画像が存在しない場合は、ＣＰＵ１２はその分類名、キーワードにおいて、代表画像を上記ステップＳ８２で取得した画像の画像ＩＤで登録する。
【００８２】
次に、ステップＳ８９において、ＣＰＵ１２は上記ステップＳ８２で取得した画像データに付与するキーワードが終了するまで、ステップＳ８３からステップＳ８９の処理を繰り返す。また、ＣＰＵ１２は上記ステップＳ８２で取得した画像データ、上記ステップＳ８３で取得したキーワード、上記ステップＳ８４で取得した重要度、及び上記ステップＳ８７で取得した分類名は、それぞれ、ＲＡＭ１４に保持する。
【００８３】
そして、上記ステップＳ８１でキーワードを付与する画像が終了したと判断した場合、ステップＳ９０において、ＣＰＵ１２はＲＡＭ１４に保持したそれぞれのデータをデータベースに登録する。このデータベースは、本実施の形態のテーブルをデータベースとして登録したものであり、外部記憶装置１７もしくはＲＯＭ１３に保持されている。また、上記各テーブルは、インデックスを作成することでアクセスの高速化を可能とする構成になっている。
【００８４】
ステップＳ９０では、先ず、ＣＰＵ１２は上記ステップＳ８２で取得した画像データを、図２に示す画像情報テーブルの画像データファイル名に登録し、画像ＩＤを割り当てる。次に、ＣＰＵ１２は上記ステップＳ８３で取得したキーワードと上記ステップＳ８４で取得した重要度を、図３に示すキーワード情報テーブルに保持する。また、上記ステップＳ８７で取得した分類名は、図１７に示す意味分類情報テーブルに登録する。次に、ステップＳ９１において、ＣＰＵ１２は分類内でキーワードが増えた分類に限り意味分類順位処理を行う。この詳細は、上記第１の実施の形態における図１４に示した処理と同様である。
【００８５】
以上説明したように、第２の実施の形態によれば、上記第１の実施の形態とは異なり処理時間が短縮され、また、登録された画像が代表画像として表示されるため、画像検索の操作性を向上させることが可能となる。
【００８６】
［他の実施の形態］
本発明の目的は、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００８７】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８８】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８９】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９０】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、登録対象の画像データ及び画像データに付与する付帯情報により画像データの分類を行い、付帯情報に対する代表画像を設定し、画像データの分類に基づき付帯情報と代表画像を表示し、表示に従い検索条件を設定し、検索条件に基づき画像検索を行い、画像検索で取得した画像データを表示する。これにより、画像データに付与されている付帯情報を予め階層化しその階層化した付帯情報より検索条件を設定して検索する画像検索において、分類された付帯情報を視覚的に分かりやすくすることにより、画像検索の操作性を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像検索装置の構成例を示すブロック図である。
【図２】画像検索装置における画像情報テーブルの構成例を示す図である。
【図３】画像検索装置におけるキーワード情報テーブルの構成例を示す図である。
【図４】画像検索装置におけるシソーラス辞書の構成例を示す図である。
【図５】画像検索装置におけるキーワード分類情報テーブルの構成例を示す図である。
【図６】画像検索装置における検索画面の表示例を示す図である。
【図７】画像検索装置におけるキーワード登録の処理を行ったときの動作例を示すフローチャートである。
【図８】図７のフローチャートの続きである。
【図９】画像検索装置における画像検索の処理を行ったときの動作例を示すフローチャートである。
【図１０】図９のフローチャートの続きである。
【図１１】画像検索装置におけるキーワード検索の処理を行ったときの動作例を示すフローチャートである。
【図１２】画像検索装置における異表記同義語辞書の構成例を示す図である。
【図１３】画像検索装置における下位概念単語辞書の構成例を示す図である。
【図１４】画像検索装置におけるキーワード登録処理時の意味分類順位処理を行ったときの動作例を示すフローチャートである。
【図１５】画像検索装置におけるキーワード登録処理時の分類名決定処理を行ったときの動作例を示すフローチャートである。
【図１６】図１５のフローチャートの続きである。
【図１７】画像検索装置における意味分類情報テーブルの構成例を示す図である。
【図１８】本発明の第２の実施の形態に係る画像検索装置におけるキーワード登録の処理を行ったときの動作例を示すフローチャートである。
【符号の説明】
１１　画像検索装置
１２　ＣＰＵ（画像分類手段、代表画像設定手段、画像検索手段）
１３　ＲＯＭ（記憶装置）
１５　ＣＲＴ（付帯情報表示手段、検索条件設定手段、検索結果表示手段）
１６　周辺コントローラ部
１７　外部記憶装置（記憶装置）
１８　デジタルカメラ（撮像装置）
１９　デジタルビデオカメラ（撮像装置）
２０　入力装置（検索条件設定手段）
６１　分類名
６２　キーワード数
６３　キーワードコントロール
６４　代表画像コントロール
６５　検索条件コントロール
６６　検索実行コントロール
【図１】
2004139246.tif 000003
【図２】
2004139246.tif 000004
【図３】
2004139246.tif 000005
【図４】
2004139246.tif 000006
【図５】
2004139246.tif 000007
【図６】
2004139246.tif 000008
【図７】
2004139246.tif 000009
【図８】
2004139246.tif 000010
【図９】
2004139246.tif 000011
【図１０】
2004139246.tif 000012
【図１１】
2004139246.tif 000013
【図１２】
2004139246.tif 000014
【図１３】
2004139246.tif 000015
【図１４】
2004139246.tif 000016
【図１５】
2004139246.tif 000017
【図１６】
2004139246.tif 000018
【図１７】
2004139246.tif 000019
【図１８】
2004139246.tif 000020