(57)【特許請求の範囲】
【請求項１】
検索対象の複数の画像から、所定の画像に類似する画像を検索する画像検索装置において、
画像が分割された複数のブロック領域のそれぞれに、画像の特徴に応じてフラグが付与された構図テンプレートであって、前記ブロック領域毎のフラグをフラグ系列として有する複数の構図テンプレートが記憶された記憶部と、
前記検索対象の画像を前記複数のブロック領域に分割し、前記ブロック領域毎に、前記画像の特徴に応じてフラグを付与し、前記検索対象の画像のフラグ系列を生成し、前記検索対象の画像のフラグ系列と、前記記憶部に記憶された複数の構図テンプレートのフラグ系列との間の類似度をそれぞれ計算し、前記類似度が最も高い構図テンプレートを特定し、前記検索対象の画像を、前記特定した構図テンプレートのグループに分類し、前記検索対象の複数の画像のそれぞれを、前記特定した構図テンプレートのグループに属する画像として前記記憶部に記憶する画像分類部と、
前記所定の画像を前記複数のブロック領域に分割し、前記ブロック領域毎に、前記画像の特徴に応じてフラグを付与し、前記所定の画像のフラグ系列を生成し、前記所定の画像のフラグ系列と、前記記憶部に記憶された複数の構図テンプレートのフラグ系列との間の類似度をそれぞれ計算し、前記類似度が所定の閾値以上となる構図テンプレートを特定し、前記特定した構図テンプレートのグループに属する複数の画像を前記記憶部から読み出し、前記所定の画像と、前記読み出した複数の画像との間の類似度をそれぞれ計算し、前記類似度の高い所定数の画像を、前記読み出した複数の画像から抽出する検索処理部と、
を備えたことを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において、
前記フラグは、前記ブロック領域に含まれる各画素のＲＧＢ値に基づいて付与される、ことを特徴とする画像検索装置。
【請求項３】
請求項１または２に記載の画像検索装置において、
前記フラグ系列間の類似度は、全てのブロック領域のうちの、フラグが同じ値となるブロック領域の割合とする、ことを特徴とする画像検索装置。
【請求項４】
コンピュータを、請求項１から３までのいずれか一項に記載の画像検索装置として機能させるための画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索対象の複数の画像から、入力画像に類似する画像を検索する画像検索装置及びプログラムに関する。
【背景技術】
【０００２】
従来、マルチメディア技術の進展に伴い、画像を処理する要求が高まっている。例えば、複数の画像から、所定の画像に類似する画像を検索する場合、大量の画像にアクセスし、類似性を判定する処理が必要になる。このため、画像検索技術においては、正確性及び高速性が重要なポイントになっている。
【０００３】
このような画像検索技術として、様々な装置及び方法が提案されている。例えば、既に格納されている複数の画像から、入力画像に類似する画像を概念的に検索する装置が提案されている（特許文献１を参照）。この装置は、ベクトル作成辞書を用いて、検索対象の複数の画像から検索対象図面ベクトル群を作成すると共に、入力画像から入力図面ベクトルを作成し、検索対象図面ベクトル群と入力図面ベクトルとの間のベクトル演算値を計算し、ベクトル演算値に基づいて検索対象の複数の画像を検索し、入力画像に類似する画像を抽出する。
【０００４】
また、入力画像に類似する画像を、正確に検索することを目的とした装置も提案されている（特許文献２を参照）。この装置は、入力画像の自己相関波形を抽出し、その自己相関波形の傾向が変化する接合点を抽出し、接合点によって分割される自己相関波形の各区分領域を関数で近似し、関数の種類を示す符号、及び区分領域の形状を示すパラメータを用いて、入力画像の特徴情報を生成する。そして、入力画像の特徴情報、及び検索対象の画像の特徴情報に基づいて類似度を計算し、類似度に従って類似画像を抽出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２４５０８７号公報
【特許文献２】特開２００６−１８５３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のとおり、特許文献１，２の画像検索装置は、検索対象の画像と入力画像との間で、ベクトル演算値等の類似度を計算し、検索対象の画像毎の計算結果に基づいて、複数の画像から入力画像に類似する画像を抽出する。しかしながら、検索対象の画像は大容量であるのが通常である。このため、特許文献１，２の画像検索装置は、大容量の画像毎に、ベクトル演算値等の類似度の計算を行う必要がある。
【０００７】
このように、従来の画像検索装置では、類似画像を検索するのに時間がかかり、計算コストが膨大になるという問題があった。そこで、画像検索装置として、検索結果の品質を維持することを前提に、検索対象を絞り込むことにより、計算コストを削減して高速検索を実現することが望まれていた。
【０００８】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、人間が画像から受ける印象を反映した構図テンプレートを用いて、検索対象の複数の画像を予め分類することにより、検索対象の複数の画像から、入力画像に類似する画像を検索する際に、計算コストを削減して高速検索を実現する画像検索装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明による画像検索装置は、検索対象の複数の画像から、所定の画像に類似する画像を検索する画像検索装置において、画像が分割された複数のブロック領域のそれぞれに、画像の特徴に応じてフラグが付与された構図テンプレートであって、前記ブロック領域毎のフラグをフラグ系列として有する複数の構図テンプレートが記憶された記憶部と、前記検索対象の画像を前記複数のブロック領域に分割し、前記ブロック領域毎に、前記画像の特徴に応じてフラグを付与し、前記検索対象の画像のフラグ系列を生成し、前記検索対象の画像のフラグ系列と、前記記憶部に記憶された複数の構図テンプレートのフラグ系列との間の類似度をそれぞれ計算し、前記類似度が最も高い構図テンプレートを特定し、前記検索対象の画像を、前記特定した構図テンプレートのグループに分類し、前記検索対象の複数の画像のそれぞれを、前記特定した構図テンプレートのグループに属する画像として前記記憶部に記憶する画像分類部と、前記所定の画像を前記複数のブロック領域に分割し、前記ブロック領域毎に、前記画像の特徴に応じてフラグを付与し、前記所定の画像のフラグ系列を生成し、前記所定の画像のフラグ系列と、前記記憶部に記憶された複数の構図テンプレートのフラグ系列との間の類似度をそれぞれ計算し、前記類似度が所定の閾値以上となる構図テンプレートを特定し、前記特定した構図テンプレートのグループに属する複数の画像を前記記憶部から読み出し、前記所定の画像と、前記読み出した複数の画像との間の類似度をそれぞれ計算し、前記類似度の高い所定数の画像を、前記読み出した複数の画像から抽出する検索処理部と、
を備えたことを特徴とする。
【００１０】
また、本発明による画像検索装置は、前記フラグが、前記ブロック領域に含まれる各画素のＲＧＢ値に基づいて付与される、ことを特徴とする。
【００１１】
また、本発明による画像検索装置は、前記フラグ系列間の類似度が、全てのブロック領域のうちの、フラグが同じ値となるブロック領域の割合とする、ことを特徴とする。
【００１２】
さらに、本発明による画像検索プログラムは、コンピュータを、前記画像検索装置として機能させることを特徴とする。
【発明の効果】
【００１３】
以上のように、本発明によれば、人間が画像から受ける印象を反映した構図テンプレートを用いて、検索対象の複数の画像を予め分類するようにした。そして、検索対象の複数の画像から、入力画像に類似する画像を検索する際に、分類した画像により検索対象を絞り込むようにした。これにより、検索対象の全ての画像に対して処理を行う必要がなく、全ての画像のうちの一部の画像に対して処理を行えばよいから、計算コストを削減することができ、高速検索を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態による画像検索装置のハードウェア構成を示す図である。
【図２】画像検索装置の機能構成を示すブロック図である。
【図３】構図テンプレートＤＢの構成を示す図である。
【図４】構図グループＤＢの構成を示す図である。
【図５】画像分類部の構成を示すブロック図である。
【図６】画像分類部の処理を示すフローチャートである。
【図７】検索処理部の構成を示すブロック図である。
【図８】検索処理部の処理を示すフローチャートである。
【図９】画像検索装置を含む全体システムを示す概略図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔画像検索装置〕
図１は、本発明の実施形態による画像検索装置のハードウェア構成を示す図である。この画像検索装置１のハード構成としては、通常のコンピュータを使用することができる。画像検索装置１は、ＣＰＵ１０１と、各種のプログラム及びデータを記憶するＲＯＭ及びＲＡＭからなる記憶部１０２と、各種のプログラム及びデータを記憶する記憶装置（ハードディスク装置）１０３と、インターネット等のネットワーク４を介してデータ等の送受信を行うネットワークインターフェース１０４と、マウス、キーボード等の操作器１０８に対するユーザによる操作に伴い、データを入力制御する操作・入力インターフェース１０５、ユーザにキー操作を促すための表示データ、画像データ等を表示器１０９へ出力制御する表示インターフェース１０６とを備えて構成され、これらの構成要素はシステムバス１０７を介して相互に接続される。
【００１６】
記憶装置１０３には、構図テンプレートＤＢ１３０、構図グループＤＢ１３１及び検索対象画像ＤＢ１３２、並びに、画像検索装置１の基本的な機能を提供するためのＯＳ（オペレーティングシステム）及び各種アプリケーションのプログラム等が記憶されている。尚、これらのプログラム及びデータは、画像検索装置１が画像分類処理及び画像検索処理を行うときに、ＣＰＵ１０１により記憶装置１０３から記憶部１０２のＲＡＭに読み出される。図１には、オペレーティングシステム及び各種アプリケーションのプログラムが記憶装置１０３から記憶部１０２に読み出された状態が示されており、記憶部１０２には、オペレーティングシステム１２０、画像分類プログラム１２１、検索処理プログラム１２２等が記憶されている。尚、画像分類プログラム１２１及び検索処理プログラム１２２等のアプリケーションプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することができ、ネットワーク４に接続された外部のサーバからネットワークインターフェース１０４を介して記憶装置１０３にダウンロードすることができる。また、構図テンプレートＤＢ１３０、構図グループＤＢ１３１及び検索対象画像ＤＢ１３２等の各データも、記憶媒体に格納して頒布することができ、ネットワーク４に接続された外部のサーバからネットワークインターフェース１０４を介して記憶装置１０３にダウンロードすることができる。
【００１７】
ここで、オペレーティングシステム１２０は、ＣＰＵ１０１が記憶装置１０３から読み出して実行することにより、画像検索装置１の基本的な機能として、記憶部１０２、記憶装置１０３、ネットワークインターフェース１０４、操作・入力インターフェース１０５及び表示インターフェース１０６を管理する。そして、このオペレーティングシステム１２０がＣＰＵ１０１によって実行された状態で、前述の画像分類プログラム１２１及び検索処理プログラム１２２等が実行される。
【００１８】
制御部１１０は、ＣＰＵ１０１及び記憶部１０２により構成され、ＣＰＵ１０１が記憶部１０２及び記憶装置１０３に記憶された各種プログラムを読み出して実行することにより、画像検索装置１全体を統括制御する。このように、画像検索装置１は、図１に示したハードウェア構成により、制御部１１０が画像分類プログラム１２１及び検索処理プログラム１２２等に従って各種処理を行う。
【００１９】
図２は、図１に示した画像検索装置１の機能構成を示すブロック図であり、図１に示した制御部１１０が画像分類プログラム１２１及び検索処理プログラム１２２により各種処理を実行する際の機能構成を示している。この画像検索装置１は、画像分類部１１、検索処理部１２、構図テンプレートＤＢ１３０、構図グループＤＢ１３１及び検索対象画像ＤＢ１３２を備えている。
【００２０】
画像検索装置１は、検索対象画像ＤＢ１３２に格納されている複数の画像Ｉの中から、入力した画像Ｑに類似する画像を検索する際に、構図グループＤＢ１３１に格納された、画像Ｉが分類された画像Ｉ’を検索対象とし、画像Ｑに類似する画像を検索結果として出力する。検索対象画像ＤＢ１３２には、検索対象となる複数の画像Ｉが格納されているものとする。また、構図テンプレートＤＢ１３０にも、ユーザにより予め設定された、有限個の（複数の）構図テンプレートに対応したフラグ系列ＢＴが格納されているものとする。構図テンプレートＤＢ１３０の詳細については後述する。
【００２１】
画像分類部１１は、画像分類プログラム１２１により画像分類処理を実行する機能を有する。具体的には、画像分類部１１は、検索対象画像ＤＢ１３２に格納されている画像Ｉを読み出し、読み出した画像Ｉと、構図テンプレートＤＢ１３０に格納されている各構図テンプレートとの間の類似度を計算し、類似度が最も高い構図テンプレートを特定し、特定した構図テンプレートの構図グループに画像Ｉを分類し、画像Ｉを、その構図グループに属する画像Ｉ’として構図グループＤＢ１３１に格納する。これにより、構図グループＤＢ１３１には、構図テンプレートの構図グループ毎に画像Ｉ’が格納される。
【００２２】
これにより、後述する検索処理部１２は、検索対象である複数の画像Ｉから、画像Ｑに類似する画像を検索する際に、分類された画像Ｉ’から検索対象を絞りこむことができる。したがって、全ての画像Ｉを検索対象にする必要がなく、その一部の画像Ｉ’を検索対象にすることができる。
【００２３】
検索処理部１２は、検索処理プログラム１２２により画像検索処理を実行する機能を有する。具体的には、検索処理部１２は、複数の画像Ｉの中から、画像Ｑに類似する画像を検索する際に、画像Ｑと、構図テンプレートＤＢ１３０に格納されている各構図テンプレートとの間の類似度を計算し、類似度が閾値以上となる構図テンプレートを特定する。そして、検索処理部１２は、特定した構図テンプレートの構図グループに属する画像Ｉ’を構図グループＤＢ１３１から読み出し、画像Ｑと読み出した画像Ｉ’との間の類似度を計算し、類似度の高い所定数の画像Ｉ’を検索結果として出力する。
【００２４】
これにより、検索処理部１２は、画像Ｑと、検索対象である全ての画像Ｉとの間の類似度を計算する必要がなく、画像Ｑに類似する構図テンプレートの構図グループに属する画像Ｉ’のみとの間の類似度を計算すれば済むから、計算コストを削減することができ、高速検索を実現することができる。
【００２５】
図３は、構図テンプレートＤＢ１３０の構成を示す図である。この構図テンプレートＤＢ１３０には、構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）に対応したフラグ系列ＢT(1)，ＢT(2)，・・・，ＢT(n)が格納されている。ｎは、構図テンプレートの数の最大値を示す。構図テンプレートＤＢ１３０は、ユーザによって予め設定される。構図テンプレートは、人間が画像から受ける印象を反映したデータであり、画像をＭ×Ｎ（図３の場合は、Ｍ＝Ｎ＝４）に分割したブロック領域を、画像の色特徴の類似性に基づいて、グループ分けしたものである。また、構図テンプレートのフラグ系列は、画像を構成するＭ×Ｎ個のブロック領域に付与されたフラグ（グループ分けを示すデータ）群により構成される。図３の例では、構図テンプレートＴ（１）のフラグ系列ＢT(1)は、ＢT(1)＝｛１，１，１，１，・・・，０｝であり、構図テンプレートＴ（２）のフラグ系列ＢT(2)＝｛０，１，１，０，・・・，０｝である。例えば、フラグ＝０は、そのブロック領域において色の印象が弱いことを示しており、フラグ＝１は、そのブロック領域において色の印象が強いことを示している。
【００２６】
尚、図３に示した構図テンプレートＤＢ１３０は、フラグが「０，１」であり、画像の色特徴を２つのグループに分けた場合の構図テンプレートを示しているが、例えば、画像の色特徴を３つのグループに分けた場合は、構図テンプレートのフラグは、「０，１，２」となる。
【００２７】
図４は、構図グループＤＢ１３１の構成を示す図である。この構図グループＤＢ１３１には、構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）の構図グループに属する画像Ｉ’が格納されている。画像Ｉ’は、画像分類部１１により、検索対象画像ＤＢ１３２に格納されている画像Ｉが、構図テンプレートＤＢ１３０に格納された構図テンプレートに基づいて分類された結果の画像である。図４の例から、構図テンプレートＴ（１）のフラグ系列ＢT(1)は、画像の上半分のブロック領域において色の印象が強く、画像の下半分のブロック領域において色の印象が弱いことを示しているから、構図テンプレートＴ（１）の構図グループには、画像の上半分と下半分から受ける印象の異なる画像Ｉ’が属するように分類されていることがわかる。同様に、構図テンプレートＴ（２）のフラグ系列ＢT(2)は、画像の左右端以外のブロック領域において色の印象が強く、画像の左右端のブロック領域において色の印象が弱いことを示しているから、構図テンプレートＴ（２）の構図グループには、画像の左右端の部分とそれ以外の部分から受ける印象の異なる画像Ｉ’が属するように分類されていることがわかる。
【００２８】
〔画像分類部〕
次に、図２に示した画像分類部１１について詳細に説明する。図５は、画像分類部１１の構成を示すブロック図であり、図６は、画像分類部１１の処理を示すフローチャートである。この画像分類部１１は、検索対象画像フラグ付与手段１１−１、類似度計算手段１１−２及び画像分類手段１１−３を備えている。前述のとおり、画像分類部１１は、検索対象画像ＤＢ１３２に格納されている画像Ｉを読み出し、読み出した画像Ｉと、構図テンプレートＤＢ１３０に格納されている各構図テンプレートとの間の類似度を計算し、類似度が最も高い構図テンプレートを特定し、特定した構図テンプレートの構図グループに画像Ｉを分類し、画像Ｉを、その構図グループに属する画像Ｉ’として構図グループＤＢ１３１に格納する。
【００２９】
ユーザは、有限個（ｎ個）の構図テンプレートを予め準備し、画像をＭ×Ｎに分割したブロック領域毎に、画像の色特徴を反映したフラグを設定する。そして、ユーザの操作により、構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）に対応した、フラグ群により構成されるフラグ系列ＢT(1)，ＢT(2)，・・・，ＢT(n)が入力され、構図テンプレートＤＢ１３０が生成される。尚、検索対象画像ＤＢ１３２には、検索対象の複数の画像Ｉが格納されているものとする。
【００３０】
まず、類似度計算手段１１−２は、構図テンプレートＤＢ１３０から、構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）のフラグ系列ＢT(1)，ＢT(2)，・・・，ＢT(n)を読み出す（ステップＳ６０１）。
【００３１】
検索対象画像フラグ付与手段１１−１は、検索対象画像ＤＢ１３２から画像Ｉを読み出し（ステップＳ６０２）、画像ＩをＭ×Ｎに分割したブロック領域毎にフラグを付与し、画像Ｉのフラグ系列ＢＩを生成する（ステップＳ６０３）。そして、検索対象画像フラグ付与手段１１−１は、画像Ｉのフラグ系列ＢＩを類似度計算手段１１−２に出力する。
【００３２】
ここで、フラグは、色特徴の類似度がほぼ同じであると判定されるブロック領域に対し、同じデータが付与される。具体的には、検索対象画像フラグ付与手段１１−１は、画像Ｉのブロック領域を構成する画素のＲ値、Ｇ値及びＢ値を合計して３で除算し、各画素の除算結果からブロック領域内の１画素あたりの平均値を算出し、その平均値と予め設定された閾値とを比較することにより、そのブロック領域にフラグを付与する。例えば、検索対象画像フラグ付与手段１１−１は、画像Ｉのブロック領域について、ＲＧＢ値の平均値が閾値以上であると判定した場合、フラグ＝１を付与し、ＲＧＢ値の平均値が閾値よりも小さいと判定した場合、フラグ＝０を付与する。このように、色特徴の類似度が同じであると判定された場合、画像Ｉのブロック領域には、同じデータのフラグが付与される。
【００３３】
類似度計算手段１１−２は、検索対象画像フラグ付与手段１１−１から画像Ｉのフラグ系列ＢＩを入力し、画像Ｉのフラグ系列ＢＩ、及びステップＳ６０１において読み出した構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）のフラグ系列ＢT(1)，ＢT(2)，・・・，ＢT(n)を用いて、画像Ｉと各構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）との間の類似度ＳＳ（ＢＩ，ＢＴ）を、以下の式（１）によりそれぞれ計算する（ステップＳ６０４）。そして、類似度計算手段１１−２は、類似度ＳＳ（ＢＩ，ＢＴ）を画像分類手段１１−３に出力する。
【数１】
0005389754.tif 000002
【００３４】
ここで、ＢＴは、構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）のフラグ系列ＢT(1)，ＢT(2)，・・・，ＢT(n)を示す。Ｓ’ｓ（ＢＩ，ＢＴ）は，２つのフラグ系列ＢＩ＝（ｂＩ（１，１），・・・，ｂＩ（Ｍ，Ｎ））とＢＴ＝（ｂＴ（１，１），・・・，ｂＴ（Ｍ，Ｎ））との間の類似度を示す。類似度計算手段１１−２は、式（２）により、類似度Ｓ’ｓ（ＢＩ，ＢＴ）を計算する。
【数２】
0005389754.tif 000003
また、
0005389754.tif 000004
は、ＢＴのフラグ＝０，１を反転したフラグ系列を示す。式（２）の右辺の分子は、画像Ｉと構図テンプレートＴとの間で、フラグが同じ値となるブロック領域の数を示している。したがって、式（２）が示す類似度Ｓ’ｓ（ＢＩ，ＢＴ）は、画像Ｉと構図テンプレートＴとの間で、全ブロック領域のうちの、フラグが同じ値となるブロック領域の割合を示している。
【００３５】
尚、類似度計算手段１１−２が、式（１）において、類似度ＳＳ（ＢＩ，ＢＴ）を計算するにあたり、類似度
0005389754.tif 000005
を計算するのは、フラグ＝０，１が反転しても画像から受ける印象が同じであり、フラグを反転した構図テンプレートとの間の類似度も考慮する必要があるからである。これにより、精度の高い類似度ＳＳ（ＢＩ，ＢＴ）を得ることができる。
【００３６】
画像分類手段１１−３は、類似度計算手段１１−２から、画像Ｉと各構図テンプレートＴ（構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ））との間の類似度ＳＳ（ＢＩ，ＢＴ）を入力し、類似度ＳＳ（ＢＩ，ＢＴ）が最も高い構図テンプレートＴ（α）を特定する（ステップＳ６０５）。そして、画像分類手段１１−３は、その構図テンプレートＴ（α）の構図グループへ画像Ｉを分類し、画像Ｉを画像Ｉ’として構図グループＤＢ１３１に格納する（ステップＳ６０６）。
【００３７】
そして、画像分類部１１は、検索対象画像ＤＢ１３２から読み出した全ての画像Ｉについて、処理が完了したか否かを判定し（ステップＳ６０７）、処理が完了していないと判定した場合（ステップＳ６０７：Ｎ）、ステップＳ６０２へ移行し、次の画像Ｉについての処理を行い、処理が完了したと判定した場合（ステップＳ６０７：Ｙ）、処理を終了する。これにより、検索対象画像ＤＢ１３２に格納された全ての画像Ｉについて、構図テンプレートＴに基づいた分類が完了し、図４に示した構図グループＤＢ１３１が生成される。
【００３８】
〔検索処理部〕
次に、図２に示した検索処理部１２について詳細に説明する。図７は、検索処理部１２の構成を示すブロック図であり、図８は、検索処理部１２の処理を示すフローチャートである。この検索処理部１２は、画像フラグ付与手段１２−１、類似度計算手段１２−２、構図テンプレート特定手段１２−３及び画像検索手段１２−４を備えている。前述のとおり、検索処理部１２は、複数の画像Ｉの中から、画像Ｑに類似する画像を検索する際に、画像Ｑと、構図テンプレートＤＢ１３０に格納されている各構図テンプレートとの間の類似度を計算し、類似度が閾値以上となる構図テンプレートを特定する。そして、検索処理部１２は、特定した構図テンプレートの構図グループに属する画像Ｉ’を構図グループＤＢ１３１から読み出し、画像Ｑと読み出した画像Ｉ’との間の類似度を計算し、類似度の高い所定数の画像Ｉ’を検索結果として出力する。
【００３９】
まず、類似度計算手段１２−２は、構図テンプレートＤＢ１３０から、構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）のフラグ系列ＢT(1)，ＢT(2)，・・・，ＢT(n)を読み出す（ステップＳ８０１）。
【００４０】
画像フラグ付与手段１２−１は、画像Ｑを入力し（ステップＳ８０２）、図６に示したステップＳ６０３と同様の処理により、画像ＱをＭ×Ｎに分割したブロック領域毎にフラグを付与し、画像Ｑのフラグ系列ＢＱを生成する（ステップＳ８０３）。そして、画像フラグ付与手段１２−１は、画像Ｑのフラグ系列ＢＱを類似度計算手段１２−２に出力する。
【００４１】
類似度計算手段１２−２は、画像フラグ付与手段１２−１から画像Ｑのフラグ系列ＢＱを入力し、画像Ｑのフラグ系列ＢＱ、及びステップＳ８０１において読み出した構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）のフラグ系列ＢT(1)，ＢT(2)，・・・，ＢT(n)を用いて、画像Ｑと各構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ）との間の類似度ＳＳ（ＢＱ，ＢＴ）を、図６に示したステップＳ６０４と同様の処理により、前記式（１）を用いてそれぞれ計算する（ステップＳ８０４）。そして、類似度計算手段１２−２は、類似度ＳＳ（ＢＱ，ＢＴ）を構図テンプレート特定手段１２−３に出力する。
【００４２】
構図テンプレート特定手段１２−３は、類似度計算手段１２−２から、画像Ｑと各構図テンプレートＴ（構図テンプレートＴ（１），Ｔ（２），・・・，Ｔ（ｎ））との間の類似度ＳＳ（ＢＱ，ＢＴ）を入力し、類似度ＳＳ（ＢＱ，ＢＴ）が、予め設定された閾値ＳSTH以上となる構図テンプレートＴ（β），・・・を特定する（ステップＳ８０５）。そして、構図テンプレート特定手段１２−３は、特定した構図テンプレートＴ（β），・・・を画像検索手段１２−４に出力する。
【００４３】
画像検索手段１２−４は、画像Ｑを入力すると共に、構図テンプレート特定手段１２−３から構図テンプレートＴ（β），・・・を入力し、構図テンプレートＴ（β），・・・の構図グループに属する画像Ｉ’を検索対象の画像として特定する（ステップＳ８０６）。
【００４４】
画像検索手段１２−４は、構図グループＤＢ１３１から、構図テンプレートＴ（β），・・・の構図グループに属する画像Ｉ’を読み出し（ステップＳ８０７）、画像Ｑと画像Ｉ’との間の類似度を計算する（ステップＳ８０８）。例えば、画像検索手段１２−４は、画像Ｑ及び画像Ｉ’を構成する各画素のＲＧＢ値に基づいて、特徴量をそれぞれ計算し、両特徴量に基づいて類似度を計算する。尚、類似度を計算する手法は既知であるから、ここでは詳細な説明は省略する。
【００４５】
画像検索手段１２−４は、構図グループＤＢ１３１から読み出した、構図テンプレートＴ（β），・・・の構図グループに属する全ての画像Ｉ’について、処理が完了したか否かを判定し（ステップＳ８０９）、処理が完了していないと判定した場合（ステップＳ８０９：Ｎ）、ステップＳ８０７へ移行し、次の画像Ｉ’についての処理を行って類似度を計算する。そして、画像検索手段１２−４は、ステップＳ８０９において、処理が完了したと判定した場合（ステップＳ８０９：Ｙ）、ステップＳ８１０へ移行する。これにより、構図グループＤＢ１３１から読み出した、構図テンプレートＴ（β），・・・の構図グループに属する全ての画像Ｉ’について、類似度の計算が完了したことになる。
【００４６】
画像検索手段１２−４は、ステップＳ８０９から移行して、構図グループＤＢ１３１から読み出した、構図テンプレートＴ（β），・・・の構図グループに属する全ての画像Ｉ’から、類似度が高いＮHIT数の画像Ｉ’を抽出し、検索結果として出力する（ステップＳ８１０）。ＮHITの値は、予め設定される。
【００４７】
〔画像検索装置を含むシステム〕
次に、図１及び図２に示した画像検索装置１を含むシステムについて説明する。図９は、画像検索装置１を含む全体システムを示す概略図である。このシステムは、画像検索装置１、複数の画像サーバ２−１，２−２，・・・，２−ｍ及び端末装置３を備えて構成される。画像検索装置１及び画像サーバ２−１，２−２，・・・，２−ｍは、インターネット等のネットワーク４を介して接続され、同様に、画像検索装置１及び端末装置３も、ネットワーク４を介して接続される。尚、端末装置３は、携帯端末であってもよい。この場合、携帯端末は、無線通信網及びネットワーク４を介して、画像検索装置１と接続される。
【００４８】
図９に示したシステムにおいて、画像サーバ２−１，２−２，・・・，２−ｍは、検索対象となる画像Ｉを格納しており、画像検索装置１は、画像サーバ２−１，２−２，・・・，２−ｍから画像Ｉを受信し、検索対象画像ＤＢ１３２に格納する。尚、画像検索装置１は、画像サーバ２−１，２−２，・・・，２−ｍに格納されている画像ＩのＵＲＬ（Uniform Resource Locator）を、画像Ｉの代わりに検索対象画像ＤＢ１３２に格納するようにしてもよい。
【００４９】
画像検索装置１は、画像分類部１１により、検索対象画像ＤＢ１３２に格納された画像Ｉを分類し、構図テンプレートの構図グループ毎に分類した画像Ｉ’を構図グループＤＢ１３１に格納し、構図グループＤＢ１３１を生成する。尚、画像検索装置１は、画像分類部１１により、検索対象画像ＤＢ１３２に格納されたＵＲＬへアクセスして画像Ｉを受信し、画像Ｉを分類し、構図グループＤＢ１３１を生成するようにしてもよい。尚、画像検索装置１は、画像Ｉ’の代わりに、画像Ｉ’のＵＲＬを構図グループＤＢ１３１に格納するようにしてもよい。
【００５０】
端末装置３を操作するユーザが、画像Ｑに類似する画像を取得する場合、端末装置３は、画像Ｑを、ネットワーク４を介して画像検索装置１へ送信する。画像検索装置１は、検索処理部１２により、端末装置３から画像Ｑを入力し、画像Ｑに類似する構図テンプレートを特定し、構図グループＤＢ１３１からその構図テンプレートの構図グループに属する画像Ｉ’を読み出す。そして、画像検索装置１は、画像Ｑと読み出した画像Ｉ’の間で類似度を計算し、類似度の高い画像Ｉ’を検索結果として端末装置３へ送信する。この場合、画像検索装置１は、類似度の高い画像Ｉ’のＵＲＬを検索結果として端末装置３へ送信するようにしてもよい。
【００５１】
端末装置３は、画像検索装置１から検索結果を受信する。これにより、端末装置３を操作するユーザは、画像Ｑに類似する画像を取得することができる。また、画像検索装置１により、画像Ｑと検索対象の全ての画像Ｉとの間の類似度が計算されることなく、画像Ｉのうちの一部の画像Ｉ’との間の類似度が計算されるから、ユーザは、短時間に検索結果を取得することができる。
【００５２】
以上のように、図１及び図２に示した画像検索装置１によれば、画像分類部１１が、検索対象の画像Ｉと各構図テンプレートとの間の類似度を計算し、類似度が最も高い構図テンプレートを特定し、画像Ｉを構図テンプレートの構図グループに分類し、画像Ｉを構図グループに属する画像Ｉ’として構図グループＤＢ１３１に格納するようにした。また、検索処理部１２が、複数の画像Ｉの中から、画像Ｑに類似する画像を検索する際に、画像Ｑと各構図テンプレートとの間の類似度を計算し、類似度が閾値以上となる構図テンプレートを特定し、特定した構図テンプレートの構図グループに属する画像Ｉ’を構図グループＤＢ１３１から読み出し、画像Ｑと読み出した画像Ｉ’との間の類似度を計算し、類似度の高い所定数ＮHITの画像Ｉ’を検索結果として出力するようにした。
【００５３】
これにより、画像検索装置１は、人間が画像から受ける印象を反映した構図テンプレートに基づいて、検索対象の画像Ｉを、画像Ｉよりも少ない数の画像Ｉ’に絞り込むことができる。したがって、画像検索装置１は、ウェブ上または大容量記憶媒体内等に存在する大量の画像Ｉの中から、画像Ｑに類似する画像を検索する際に、検索結果のクオリティを維持しながら、計算コストを削減することができ、検索処理の高速化を実現することができる。
【符号の説明】
【００５４】
１  画像検索装置
２−１〜２−ｍ  画像サーバ
３  端末装置
４  ネットワーク
１１  画像分類部
１１−１  検索対象画像フラグ付与手段
１１−２，１２−２  類似度計算手段
１１−３  画像分類手段
１２  検索処理部
１２−１  画像フラグ付与手段
１２−３  構図テンプレート特定手段
１２−４  画像検索手段
１０１  ＣＰＵ
１０２  記憶部
１０３  記憶装置
１０４  ネットワークインターフェース
１０５  操作・入力インターフェース
１０６  表示インターフェース
１０７  システムバス
１０８  操作器
１０９  表示器
１１０  制御部
１２０  オペレーティングシステム
１２１  画像分類プログラム
１２２  検索処理プログラム
１３０  構図テンプレートＤＢ
１３１  構図グループＤＢ
１３２  検索対象画像ＤＢ
【図１】
0005389754.tif 000006
【図２】
0005389754.tif 000007
【図３】
0005389754.tif 000008
【図４】
0005389754.tif 000009
【図５】
0005389754.tif 000010
【図６】
0005389754.tif 000011
【図７】
0005389754.tif 000012
【図８】
0005389754.tif 000013
【図９】
0005389754.tif 000014