(57)【特許請求の範囲】
【請求項１】
検索対象画像の集合のそれぞれを複数のブロック領域画像に分割し、前記複数のブロック領域画像から、質問画像を描画するために用いる代表ブロック領域画像を抽出し、前記代表ブロック領域画像を用いて前記質問画像を描画し、前記質問画像に基づいて前記検索対象画像を検索する場合に、前記代表ブロック領域画像を抽出する際に用いる前記ブロック領域画像を切り出す画像切出装置において、
前記分割した複数のブロック領域画像毎に、前記ブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記類似度に基づいて、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出す色分布判定手段、を備えたことを特徴とする画像切出装置。
【請求項２】
請求項１に記載の画像切出装置において、
前記色分布判定手段は、
前記ブロック領域画像における領域間の類似度が所定の閾値以上であるか否かを判定し、
前記類似度が所定の閾値以上であると判定した場合、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出し、
前記類似度が所定の閾値以上でないと判定した場合、前記検索対象画像における全体領域内の前記ブロック領域画像の位置をシフトし、前記シフト後のブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記類似度が所定の閾値以上である場合に、前記シフト後のブロック領域画像を、色分布が一様なブロック領域画像として切り出す、ことを特徴とする画像切出装置。
【請求項３】
請求項１または２に記載の画像切出装置において、
前記色分布判定手段は、
前記ブロック領域画像における領域間の類似度が所定の閾値以上であるか否かを判定し、
前記類似度が所定の閾値以上であると判定した場合、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出し、
前記類似度が所定の閾値以上でないと判定した場合、前記検索対象画像における全体領域内の前記ブロック領域画像の位置を所定の範囲内でシフトし、前記シフト後のブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記所定の範囲内でシフトした全てのブロック領域画像の類似度のうち、最も大きい類似度を特定し、前記最も大きい類似度が所定の閾値以上である場合に、前記最も大きい類似度を有するシフト後のブロック領域画像を、色分布が一様なブロック領域画像として切り出す、ことを特徴とする画像切出装置。
【請求項４】
請求項１から３までのいずれか一項に記載の画像切出装置において、
さらに、前記色分布判定手段により切り出されたブロック領域画像を格納する記憶手段と、
前記記憶手段からブロック領域画像を読み出し、前記ブロック領域画像内の画素値が所定の閾値以上に変化するエッジ成分を有する画素を検出し、ブロック領域エッジ画像を生成し、前記ブロック領域エッジ画像を複数の領域に分割し、前記領域内のエッジ量を算出し、前記エッジ量に基づいて、前記ブロック領域画像を、色分布が一様かつ模様を有するブロック領域画像として切り出す模様判定手段と、を備えたことを特徴とする画像切出装置。
【請求項５】
請求項４に記載の画像切出装置において、
前記模様判定手段は、
前記ブロック領域エッジ画像を分割した全ての領域のエッジ量が、所定の閾値以上である場合に、前記ブロック領域画像を、色分布が一様かつ模様を有するブロック領域画像として切り出す、ことを特徴とする画像切出装置。
【請求項６】
コンピュータを、請求項１から５までのいずれか一項に記載の画像切出装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索等の画像処理分野において好適に用いることができる画像切出装置及びプログラムに関し、特に、画像検索のための画像（質問画像）を描画する際に用いるブロック領域画像の切り出し技術に関する。
【背景技術】
【０００２】
従来、画像全体の類似性に基づいて画像検索を行う画像検索技術の開発が進められている。この画像検索技術においては、ユーザにより作成された質問画像に類似する画像を、複数の検索対象画像から検索する場合に、ユーザは、自らの意図が反映された質問画像を、如何にして効率良く作成するかが重要になっている。
【０００３】
例えば、複数の検索対象画像のそれぞれをブロック領域画像に分割し、分割した全てのブロック領域画像から代表ブロック領域画像を抽出し、ユーザの操作に従って、代表ブロック領域画像を用いて質問画像を描画し、質問画像に類似する画像の検索を行う画像検索装置が知られている（特許文献１を参照）。
【０００４】
図１１は、特許文献１の画像検索装置において、従来の画像切出処理を説明する図である。この従来の画像検索装置は、検索対象画像の集合のそれぞれを、予め設定されたＭ×Ｎ個の領域にブロック分割し、分割した領域をブロック領域画像として切り出す。Ｍは、画像検索画像を横に区切った数を示し、Ｎは、画像検索画像を縦に区切った数を示す。そして、画像検索装置は、切り出した全てのブロック領域画像を対象にして特徴ベクトルを生成し、特徴ベクトルに基づいて、ブロック領域画像をカテゴリ及びクラス分けし、代表的なブロック領域画像のみを代表ブロック領域画像として抽出する処理（代表ブロック領域画像抽出処理）を行う。そして、画像検索装置は、所定数のブロック領域画像を代表ブロック領域画像として抽出し、画面の右中央部に一覧表示する。これにより、ユーザは、画面に表示された所定数の代表ブロック領域画像の一覧から所望の画像を指定し、質問画像のブロックに割り当てる操作を行うことで、そのブロックを所望の代表ブロック領域画像で描画した質問画像を作成することができる。また、ユーザは、画面右下部のカラー一覧から所望の色を指定し、質問画像のブロックに割り当てる操作を行うことで、そのブロックを所望の色で描画した質問画像を作成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１４０３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
図１１を用いて説明したように、従来の画像検索装置では、質問画像を描画する際にユーザにより指定される代表ブロック領域画像の一覧は、検索対象画像の集合から切り出した全てのブロック領域画像を対象にして、ブロック領域画像の特徴ベクトルに基づいて、カテゴリ及びクラス分けすることにより抽出される。したがって、代表ブロック領域画像の一覧には、ユーザが質問画像を作成する際に不適な画像も含まれてしまう。
【０００７】
図１２は、代表ブロック領域画像として不適な例を説明する図である。この代表ブロック領域画像は、画像内部に、輪郭、地平線等を含んでいる。このような代表ブロック領域画像が不適であるのは、ユーザが複数の代表ブロック領域画像を指定し、これらに組み合わせて質問画像を作成する際に、あるブロックに割り当てた代表ブロック領域画像における輪郭等と、隣接する他のブロックに割り当てた代表ブロック領域画像における輪郭等とを合わせることが困難になるからである。つまり、このような代表ブロック領域画像を、隣接したブロックにそれぞれ割り当てたときに、輪郭等が繋がっていない質問画像が作成され、ユーザにとって意図しない質問画像になってしまうからである。
【０００８】
また、代表ブロック領域画像としては、単色の画像は不適である。これは、図１１に示したように、ユーザが画面内のカラー一覧から所望の色を指定し、ブロックに割り当てる操作を行うことで、そのブロックを所望の色で描画した質問画像を作成することができるからである。つまり、画像検索装置は単色を描画する機能を有するのが通常であるから、単色の画像のみからなるブロック領域画像を代表ブロック領域画像に加える必要がないからである。
【０００９】
このように、従来の画像検索装置では、代表ブロック領域画像が、全てのブロック領域画像を対象にして抽出されるから、結果として、不適な画像も含まれてしまうという問題があった。このため、ユーザは、図１２に示した不適な代表ブロック領域画像を用いた場合には、自らの意図が反映された質問画像を作成することが困難になる。また、代表ブロック領域画像に単色の画像が含まれる場合には、その代表ブロック領域画像を指定する操作の代わりに、カラー一覧から所望の色を指定する操作を用いることができるから、単色のブロック領域画像を代表ブロック領域画像に含める必要がなく、しかも、ユーザにより実質的に指定可能な代表ブロック領域画像の数が少なくなってしまうから、ユーザの操作性が悪くなってしまう。
【００１０】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ユーザの操作により代表ブロック領域画像の一覧から所望の画像が指定されて質問画像が作成され、検索対象画像の集合から質問画像に類似する画像を検索する際に、ユーザが自らの検索意図を反映した質問画像を容易に作成できるように、代表ブロック領域画像を抽出するときに用いる適切なブロック領域画像を切り出すことが可能な画像切出装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明による画像切出装置は、検索対象画像の集合のそれぞれを複数のブロック領域画像に分割し、前記複数のブロック領域画像から、質問画像を描画するために用いる代表ブロック領域画像を抽出し、前記代表ブロック領域画像を用いて前記質問画像を描画し、前記質問画像に基づいて前記検索対象画像を検索する場合に、前記代表ブロック領域画像を抽出する際に用いる前記ブロック領域画像を切り出す画像切出装置において、前記分割した複数のブロック領域画像毎に、前記ブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記類似度に基づいて、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出す色分布判定手段、を備えたことを特徴とする。
【００１２】
また、本発明による画像切出装置は、前記色分布判定手段が、前記ブロック領域画像における領域間の類似度が所定の閾値以上であるか否かを判定し、前記類似度が所定の閾値以上であると判定した場合、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出し、前記類似度が所定の閾値以上でないと判定した場合、前記検索対象画像における全体領域内の前記ブロック領域画像の位置をシフトし、前記シフト後のブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記類似度が所定の閾値以上である場合に、前記シフト後のブロック領域画像を、色分布が一様なブロック領域画像として切り出す、ことを特徴とする。
【００１３】
また、本発明による画像切出装置は、前記色分布判定手段が、前記ブロック領域画像における領域間の類似度が所定の閾値以上であるか否かを判定し、前記類似度が所定の閾値以上であると判定した場合、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出し、前記類似度が所定の閾値以上でないと判定した場合、前記検索対象画像における全体領域内の前記ブロック領域画像の位置を所定の範囲内でシフトし、前記シフト後のブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記所定の範囲内でシフトした全てのブロック領域画像の類似度のうち、最も大きい類似度を特定し、前記最も大きい類似度が所定の閾値以上である場合に、前記最も大きい類似度を有するシフト後のブロック領域画像を、色分布が一様なブロック領域画像として切り出す、ことを特徴とする。
【００１４】
また、本発明による画像切出装置は、さらに、前記色分布判定手段により切り出されたブロック領域画像を格納する記憶手段と、前記記憶手段からブロック領域画像を読み出し、前記ブロック領域画像内の画素値が所定の閾値以上に変化するエッジ成分を有する画素を検出し、ブロック領域エッジ画像を生成し、前記ブロック領域エッジ画像を複数の領域に分割し、前記領域内のエッジ量を算出し、前記エッジ量に基づいて、前記ブロック領域画像を、色分布が一様かつ模様を有するブロック領域画像として切り出す模様判定手段と、を備えたことを特徴とする。
【００１５】
また、本発明による画像切出装置は、前記模様判定手段が、前記ブロック領域エッジ画像を分割した全ての領域のエッジ量が、所定の閾値以上である場合に、前記ブロック領域画像を、色分布が一様かつ模様を有するブロック領域画像として切り出す、ことを特徴とする。
【００１６】
さらに、本発明によるプログラムは、コンピュータを、前記画像切出装置として機能させることを特徴とする。
【発明の効果】
【００１７】
以上のように、本発明によれば、ブロック領域画像を切り出す際に、不適なブロック領域画像を除外するようにした。これにより、代表ブロック領域画像は、不適な画像が除外されたブロック領域画像から抽出されるから、代表ブロック領域画像には不適な画像が含まれなくなる。したがって、ユーザは、自らの検索意図を反映した質問画像を、容易に作成することができる。
【図面の簡単な説明】
【００１８】
【図１】実施例１，２の概要を説明する図である。
【図２】実施例１，２による画像切出装置（ブロック領域画像切出部）を含む画像検索装置の構成を示すブロック図である。
【図３】実施例１によるブロック領域画像切出部の構成を示すブロック図である。
【図４】色分布判定手段の処理を示すフローチャートである。
【図５】類似度ＳＶ，ＳＨの算出処理を説明する図である。
【図６】色分布判定手段により切り出されたブロック領域画像の位置の例を示す図である。
【図７】実施例２によるブロック領域画像切出部の構成を示すブロック図である。
【図８】模様判定手段の処理を示すフローチャートである。
【図９】ブロック領域エッジ画像の生成処理を説明する図である。
【図１０】エッジ占有率Ｅ１，Ｅ２，Ｅ３，Ｅ４の算出処理を説明する図である。
【図１１】従来の画像切出処理を説明する図である。
【図１２】代表ブロック領域画像として不適な例を説明する図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔本発明の概要〕
まず、本発明の概要について説明する。図１は、本発明による実施例１，２の概要を説明する図であり、図１１に示した従来技術に対応している。本発明による実施例１，２の画像切出装置は、従来技術と同様に、検索対象画像の集合のそれぞれを、予め設定されたＭ×Ｎ個の領域にブロック分割し、分割した領域をブロック領域画像として切り出す。そして、画像切出装置は、全てのブロック領域画像に基づいて、色分布が一様なブロック領域画像を選定して切り出す（実施例１）。これにより、切り出したブロック領域画像を対象にして、代表ブロック領域画像抽出処理が行われ、抽出された代表ブロック領域画像が画面に一覧表示される。また、画像切出装置は、全てのブロック領域画像に基づいて、色分布が一様なブロック領域画像を選定し、さらに、色分布が一様なブロック領域画像から、模様（細かい濃淡の変化等）を有するブロック領域画像を選定して切り出す（実施例２）。これにより、切り出したブロック領域画像（色分布が一様かつ模様を有するブロック領域画像）を対象にして、代表ブロック領域画像抽出処理が行われ、抽出された代表ブロック領域画像が画面に一覧表示される。
【００２０】
図１１に示した従来の画像切出処理と、図１に示した実施例１，２の画像切出処理とを比較すると、実施例１，２の画像切出処理は、従来の画像切出処理と同様に全てのブロック領域画像を切り出す点で同一であるが、その後、さらに、色分布が一様なブロック領域画像、または色分布が一様かつ模様を有するブロック領域画像を選定して切り出す点で相違する。
【００２１】
これにより、ブロック領域画像から代表ブロック領域画像を抽出する処理を行う際に、実施例１によって、図１２に示した画像内部に輪郭、地平線等を含むブロック領域画像が除外され、実施例２によって、さらに、単色ベタ塗りで濃淡の変化が殆ど無いブロック領域画像が除外されるから、これらの不適な画像を含まない代表ブロック領域画像を抽出することができる。したがって、ユーザは、不適な画像を含まない代表ブロック領域画像を用いることができるから、自らの意図を反映した質問画像を、容易に作成することができる。
【００２２】
〔画像検索装置〕
次に、本発明による実施例１，２の画像切出装置を含む画像検索装置について説明する。図２は、画像検索装置の構成を示すブロック図である。この画像検索装置１は、画像切出装置（以下、ブロック領域画像切出部という。）２、代表ブロック領域画像抽出部１０、質問画像描画部１１、質問画像特徴ベクトル生成部１２及び検索部１３を備えている。また、検索対象画像ＤＢ１４は、ＨＤ（ハードディスク）に格納されている。検索対象画像ＤＢ１４には、複数の検索対象画像が格納されており、検索対象画像は、画像検索装置１により検索対象画像ＤＢ１４から読み出される。
【００２３】
画像検索装置１のブロック領域画像切出部２は、検索対象画像ＤＢ１４から検索対象画像を読み出し、予め設定されたＭ×Ｎ個のブロック領域画像に分割し、分割した全てのブロック領域画像に基づいて、色分布が一様なブロック領域画像を選定し（実施例１）、または、色分布が一様かつ模様を有するブロック領域画像を選定する（実施例２）。そして、ブロック領域画像切出部２は、選定したブロック領域画像を代表ブロック領域画像抽出部１０に出力する。
【００２４】
代表ブロック領域画像抽出部１０は、ブロック領域画像切出部２からブロック領域画像を入力し、入力したブロック領域画像を対象にして、ブロック領域画像の特徴ベクトルを生成し、特徴ベクトルに基づいて、ブロック領域画像をカテゴリ及びクラス分けし、代表的なブロック領域画像のみを代表ブロック領域画像として抽出する代表ブロック領域画像抽出処理を行う。そして、代表ブロック領域画像抽出部１０は、抽出した代表ブロック領域画像を質問画像描画部１１に出力する。尚、代表ブロック領域画像抽出処理は既知であり、前述の特許文献１に記載されているから、ここでは詳細な説明は省略する（特許文献１の段落２６〜４８、図４〜６を参照）。
【００２５】
質問画像描画部１１は、代表ブロック領域画像抽出部１０から所定数の代表ブロック領域画像を入力し、画面に一覧表示する。これにより、ユーザは、画面に表示された代表ブロック領域画像の一覧から所望の画像を指定し、質問画像のブロックに割り当てる操作を行うことができる。そして、質問画像描画部１１は、ユーザの操作に従って、代表ブロック領域画像を質問画像のブロックに割り当て、質問画像を描画し、質問画像を質問画像特徴ベクトル生成部１２に出力する。
【００２６】
質問画像特徴ベクトル生成部１２は、質問画像描画部１１から質問画像を入力し、質問画像を所定数のブロック領域画像に分割し、各ブロック領域画像の特徴ベクトルを生成し、ブロック領域画像の特徴ベクトルを検索部１３に出力する。
【００２７】
検索部１３は、質問画像特徴ベクトル生成部１２から、質問画像におけるブロック領域画像の特徴ベクトルを入力し、特徴ベクトルに基づいて、検索対象画像ＤＢ１４の検索対象画像を検索し、質問画像に類似する検索対象画像を選定する。尚、質問画像描画部１１、質問画像特徴ベクトル生成部１２及び検索部１３による処理は既知であり、前述の特許文献１に記載されているから、ここでは詳細な説明は省略する。
【実施例１】
【００２８】
次に、図２に示した画像検索装置１における実施例１のブロック領域画像切出部２について説明する。前述のとおり、実施例１によるブロック領域画像切出部２は、ブロック領域画像に基づいて、色分布が一様なブロック領域画像を選定して切り出す処理を行う。ブロック領域画像切出部２により切り出されたブロック領域画像は、代表ブロック領域画像を抽出するために用いられる。
【００２９】
図３は、実施例１によるブロック領域画像切出部２の構成を示すブロック図である。このブロック領域画像切出部２−１は、色分布判定手段３を備えている。色分布判定手段３は、検索対象画像を入力し、検索対象画像を分割した全てのブロック領域画像に対し、上下左右の領域に分割し、さらに、ブロック領域画像をシフトさせた後のブロック領域画像に対し、上下左右の領域に分割し、これらの分割領域の類似度を求め、類似度が閾値以上のブロック領域画像を、色分布が一様なブロック領域画像に選定する。そして、色分布判定手段３は、選定したブロック領域画像をブロック領域画像Ａとして出力する。
【００３０】
図４は、図３に示した色分布判定手段３の処理を示すフローチャートである。まず、色分布判定手段３は、ｎ＝１を設定し（ステップＳ４０１）、検索対象画像ＤＢ１４から番号ｎの検索対象画像を読み出し（ステップＳ４０２）、読み出した検索対象画像をＭ×Ｎ個のブロック領域画像に分割する（ステップＳ４０３）。
【００３１】
色分布判定手段３は、Ｍ×Ｎ個のブロック領域画像のうちの１個のブロック領域画像について、検索対象画像内のブロック領域画像の位置を、初期位置に設定する（ステップＳ４０４）。そして、色分布判定手段３は、このブロック領域画像の領域を左右に２分割し、左領域及び右領域の画像特徴量を算出し、画像特徴量から両領域間における画像特徴の類似度ＳＶを算出すると共に、そのブロック領域画像の領域を上下に２分割し、上領域及び下領域の画像特徴量を算出し、画像特徴量から両領域間における画像特徴の類似度ＳＨを算出する（ステップＳ４０５）。
【００３２】
図５は、類似度ＳＶ，ＳＨの算出処理を説明する図であり、Ｍ＝Ｎ＝４の場合を示している。（１）は、初期位置のブロック領域画像を示しており、（２）はシフト後のブロック領域画像を示している。図４のステップＳ４０４において、検索対象画像内のブロック領域画像の位置が初期位置とされ（図５（１）の斜線部を参照）、この位置のブロック領域画像の領域が、左右及び上下にそれぞれ２分割される。色分布判定手段３は、ステップＳ４０５において、ブロック領域画像の左領域及び右領域に対して色特徴量（例えば、ＲＧＢ平均値ベクトル）をそれぞれ算出し、左領域の色特徴量及び右領域の色特徴量に基づいて、色特徴の類似度ＳＶを算出する。同様にして、ブロック領域画像における上領域及び下領域の類似度ＳＨも算出する。例えば、色分布判定手段３は、各領域において、各画素のＲ、Ｇ、Ｂ値を基に、領域内の平均ＲＧＢベクトルを算出し、２つの領域間での平均ＲＧＢベクトルの距離に反比例する値を類似度として算出する。平均ＲＧＢベクトル間の距離が小さい場合は類似度が大きく、距離が大きい場合は類似度が小さくなる。
【００３３】
図４に戻って、色分布判定手段３は、ステップＳ４０５において算出した画像特徴の類似度ＳＶ，ＳＨが、予め設定された閾値Ｔｈ１以上であるか否かを判定し（ステップＳ４０６）、類似度ＳＶ，ＳＨが閾値Ｔｈ１以上であると判定した場合（ステップＳ４０６：Ｙ）、ステップＳ４０７へ移行する。
【００３４】
一方、色分布判定手段３は、ステップＳ４０６において、類似度ＳＶ，ＳＨが閾値Ｔｈ１以上でないと判定した場合（ステップＳ４０６：Ｎ）、初期位置のブロック領域画像の領域を、検索対象画像内においてＲピクセルの範囲で上下左右にシフトさせ、シフト後のブロック領域画像を取得する（ステップＳ４０９、図５（２）の斜線部を参照）。そして、色分布判定手段３は、シフト後のブロック領域画像について、ステップＳ４０５と同じ処理を行い、シフト後のブロック領域画像における左右領域の類似度ＳＶを算出すると共に、シフト後のブロック領域画像における上下領域の類似度ＳＨを算出する（ステップＳ４１０）。そして、色分布判定手段３は、類似度ＳＶ，ＳＨのうちの小さい方を最小値ＳＭＩＮに設定する（ステップＳ４１１）。これにより、シフト後のブロック領域画像における類似度の最小値ＳＭＩＮが求められる。
【００３５】
色分布判定手段３は、Ｒピクセルの範囲内でシフトした全てのブロック領域画像の処理が完了したか否かを判定し（ステップＳ４１２）、シフトした全てのブロック領域画像の処理が完了していないと判定した場合（ステップＳ４１２：Ｎ）、ステップＳ４０９へ移行し、Ｒピクセルの範囲で新たに上下左右にシフトさせ、シフト後の新たなブロック領域画像を取得し、ステップＳ４０９〜ステップＳ４１１の処理を行う。このようにして、初期位置のブロック領域画像の領域を基準に、検索対象画像内においてＲピクセルの範囲で１ピクセル毎に上下左右のいずれかにシフトさせた後の全てのブロック領域画像について、類似度の最小値ＳＭＩＮが求められる。
【００３６】
一方、色分布判定手段３は、ステップＳ４１２において、シフトした全てのブロック領域画像の処理が完了したと判定した場合（ステップＳ４１２：Ｙ）、シフト後の全てのブロック領域画像における類似度の最小値ＳＭＩＮのうち最大の値Ｓを特定する（ステップＳ４１３）。そして、色分布判定手段３は、最大値Ｓが、予め設定された閾値Ｔｈ２以上であるか否かを判定し（ステップＳ４１４）、最大値Ｓが閾値Ｔｈ２以上であると判定した場合（ステップＳ４１４：Ｙ）、ステップＳ４０７へ移行し、最大値Ｓが閾値Ｔｈ２以上でないと判定した場合（ステップＳ４１４：Ｎ）、ステップＳ４１５へ移行する。
【００３７】
色分布判定手段３は、ステップＳ４０６またはステップＳ４１４から移行し、初期位置のブロック領域画像、または、２分割した領域の類似度が最も高いシフト後の位置のブロック領域画像について、色分布が一様であると判定し（ステップＳ４０７）、その位置のブロック領域画像を選定する（ステップＳ４０８）。これをブロック領域画像Ａとする。
【００３８】
色分布判定手段３は、ステップＳ４０８またはステップＳ４１４から移行し、ステップＳ４０３において分割した全てのブロック領域画像の処理が完了したか否かを判定し（ステップＳ４１５）、分割した全てのブロック領域画像の処理が完了していないと判定した場合（ステップＳ４１５：Ｎ）、ステップＳ４０４へ移行し、他のブロック領域画像についてステップＳ４０４〜ステップＳ４１４の処理を行う。
【００３９】
一方、色分布判定手段３は、ステップＳ４１５において、分割した全てのブロック領域画像の処理が完了したと判定した場合（ステップＳ４１５：Ｙ）、ｎ＝ｎ＋１を設定し（ステップＳ４１６）、ｎが、予め設定された検索対象画像の数を示すＮＩＭＧよりも大きいか否かを判定し（ステップＳ４１７）、ｎがＮＩＭＧよりも大きくないと判定した場合（ステップＳ４１７：Ｎ）、ステップＳ４０２へ移行し、検索対象画像ＤＢ１４から新たな番号ｎの検索対象画像を読み出し、ステップＳ４０２〜ステップＳ４１６の処理を行う。
【００４０】
一方、色分布判定手段３は、ステップＳ４１７において、ｎがＮＩＭＧよりも大きいと判定した場合（ステップＳ４１７：Ｙ）、ステップＳ４０８において選定した全てのブロック領域画像Ａを切り出して出力する（ステップＳ４１８）。
【００４１】
図６は、色分布判定手段３により切り出されたブロック領域画像の位置の例を示す図である。図６において、四角の白抜き枠の位置が、色分布判定手段３により切り出されたブロック領域画像Ａの位置を示している。色分布が一様であるとして切り出されたブロック領域画像Ａは、初期位置だけでなく、初期位置から所定ピクセル分シフトしたシフト後の位置にも存在することがわかる。
【００４２】
以上のように、実施例１のブロック領域画像切出部２−１によれば、色分布判定手段３が、全ての検索対象画像を入力し、検索対象画像を分割した全てのブロック領域画像に対し、上下左右の領域に分割し、さらに、１ピクセル毎にシフトさせた後のブロック領域画像に対し、上下左右の領域に分割し、これらの分割領域の類似度を求め、類似度が閾値以上のブロック領域画像を、色分布が一様なブロック領域画像に選定し、ブロック領域画像Ａとして切り出すようにした。
【００４３】
これにより、図１２に示した画像内部に輪郭、地平線等を含むブロック領域画像が不適な画像として除外され、不適な画像を含まないブロック領域画像Ａが切り出される。したがって、代表ブロック領域画像抽出処理において、不適な画像を含まない代表ブロック領域画像が抽出される。つまり、ユーザは、不適な画像を含まない代表ブロック領域画像を用いて、検索対象画像を検索するための質問画像を作成できるから、自らの検索意図を反映した質問画像を、容易に作成することができる。
【実施例２】
【００４４】
次に、図２に示した画像検索装置１における実施例２のブロック領域画像切出部２について説明する。前述のとおり、実施例２によるブロック領域画像切出部２は、ブロック領域画像に基づいて、色分布が一様かつ模様を有するブロック領域画像を選定して切り出す処理を行う。ブロック領域画像切出部２により切り出されたブロック領域画像は、代表ブロック領域画像を抽出するために用いられる。実施例１では、切り出されたブロック領域画像Ａには、図１２に示した画像内部に輪郭、地平線等を含むブロック領域画像が含まれないが、単色ベタ塗りで濃淡の変化が殆ど無いブロック領域画像（単色のブロック領域画像）が含まれる。単色のブロック領域画像は、図１１に示したように、ユーザによって色を指定することで生成することができるから、ブロック領域画像切出部２により切り出される必要がなく、除外されるべきである。そこで、実施例２では、単色のブロック領域画像を除外するように、ブロック領域画像を切り出す。
【００４５】
図７は、実施例２によるブロック領域画像切出部２の構成を示すブロック図である。このブロック領域画像切出部２−２は、色分布判定手段３、記憶手段４及び模様判定手段５を備えている。色分布判定手段３は、図３に示した色分布判定手段３と同様の処理を行い、色分布が一様なブロック領域画像を選定し、選定したブロック領域画像をブロック領域画像Ａとして記憶手段４に格納する。
【００４６】
模様判定手段５は、記憶手段４から、色分布が一様なブロック領域画像Ａを読み出し、ブロック領域画像Ａからブロック領域エッジ画像を生成し、ブロック領域エッジ画像を上下左右の４領域に分割し、それぞれの領域のエッジ占有率を求め、エッジ占有率が閾値以上であるブロック領域エッジ画像のブロック領域画像Ａを、色分布が一様かつ模様を有するブロック領域画像に選定する。そして、模様判定手段５は、選定したブロック領域画像をブロック領域画像Ｂとして出力する。
【００４７】
図８は、図７に示した模様判定手段５の処理を示すフローチャートである。まず、模様判定手段５は、ｍ＝１を設定し（ステップＳ８０１）、記憶手段４から番号ｍのブロック領域画像Ａを読み出す（ステップＳ８０２）。そして、模様判定手段５は、読み出したブロック領域画像Ａからブロック領域エッジ画像を生成する（ステップＳ８０３）。
【００４８】
図９は、ブロック領域エッジ画像の生成処理を説明する図である。図９の左側の画像をブロック領域画像Ａとし、右側の画像をブロック領域エッジ画像とする。模様判定手段５は、ブロック領域画像Ａについて、隣接する画素の画素値の変化が、予め設定された閾値以上である箇所を、エッジ成分を有する画素として検出し、エッジ成分を有する画素（図９のαを参照）及びエッジ成分を有さない画素からなるブロック領域エッジ画像を生成する。
【００４９】
図８に戻って、模様判定手段５は、ステップＳ８０３において生成したブロック領域エッジ画像を上下左右に４分割し、それぞれの分割領域についてエッジ占有率Ｅ１，Ｅ２，Ｅ３，Ｅ４を算出する（ステップＳ８０４）。
【００５０】
図１０は、エッジ占有率Ｅ１，Ｅ２，Ｅ３，Ｅ４の算出処理を説明する図である。図１０の例では、エッジ成分を有する画素αが右下の分割領域に最も多く存在するから、右下の分割領域のエッジ占有率Ｅ４が他のエッジ占有率Ｅ１，Ｅ２，Ｅ３よりも大きいことがわかる。また、右上の分割領域のエッジ占有率Ｅ３がエッジ占有率Ｅ１，Ｅ２よりも大きいことがわかる。
【００５１】
図８に戻って、模様判定手段５は、ステップＳ８０４において算出したエッジ占有率Ｅ１，Ｅ２，Ｅ３，Ｅ４から最小の値を最小値Ｅに設定する（ステップＳ８０５）。これにより、ブロック領域画像におけるエッジ占有率の最小値Ｅが求められる。
【００５２】
模様判定手段５は、エッジ占有率の最小値Ｅが、予め設定された閾値Ｔｈ３以上であるか否かを判定し（ステップＳ８０６）、エッジ占有率の最小値Ｅが閾値Ｔｈ３以上であると判定した場合（ステップＳ８０６：Ｙ）、ブロック領域画像Ａについて色分布が一様かつ模様を有すると判定し（ステップＳ８０７）、そのブロック領域画像Ａを選定する（ステップＳ８０８）。これをブロック領域画像Ｂとする。一方、模様判定手段５は、ステップＳ８０６において、エッジ占有率の最小値Ｅが閾値Ｔｈ３以上でないと判定した場合（ステップＳ８０６：Ｎ）、ステップＳ８０９へ移行する。
【００５３】
模様判定手段５は、ステップＳ８０８またはステップＳ８０６から移行し、ｍ＝ｍ＋１を設定し（ステップＳ８０９）、ｍが、予め設定されたブロック領域画像Ａの数を示すＮＢＬＫよりも大きいか否かを判定する（ステップＳ８１０）。模様判定手段５は、ステップＳ８１０において、ｍがＮＢＬＫよりも大きくないと判定した場合（ステップＳ８１０：Ｎ）、ステップＳ８０２へ移行し、記憶手段４から新たな番号ｍのブロック領域画像Ａを読み出し、ステップＳ８０２〜ステップＳ８０９の処理を行う。
【００５４】
一方、模様判定手段５は、ステップＳ８１０において、ｍがＮＢＬＫよりも大きいと判定した場合（ステップＳ８１０：Ｙ）、ステップＳ８０８において選定した全てのブロック領域画像Ｂを切り出して出力する（ステップＳ８１１）。
【００５５】
以上のように、実施例２のブロック領域画像切出部２−２によれば、模様判定手段５が、記憶手段４から色分布が一様なブロック領域画像Ａを読み出し、ブロック領域画像Ａからブロック領域エッジ画像を生成し、ブロック領域エッジ画像を上下左右の４領域に分割し、それぞれの領域のエッジ占有率を求め、エッジ占有率が閾値以上のブロック領域エッジ画像のブロック領域画像Ａを、色分布が一様かつ模様を有するブロック領域画像に選定し、ブロック領域画像Ｂとして切り出すようにした。
【００５６】
これにより、ブロック領域画像Ａから単色のブロック領域画像が除外され、不適な画像を含まないブロック領域画像Ｂが切り出される。したがって、代表ブロック領域画像抽出処理において、不適な画像を含まない代表ブロック領域画像が抽出される。つまり、ユーザは、不適な画像を含まない代表ブロック領域画像を用いて、検索対象画像を検索するための質問画像を作成できるから、自らの検索意図を反映した質問画像を、容易に作成することができる。
【００５７】
以上、実施例１，２を挙げて本発明を説明したが、本発明は前記実施例１，２に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図２に示した画像検索装置１は、ブロック領域画像切出部２及び代表ブロック領域画像抽出部１０等を備えているが、ブロック領域画像切出部２、代表ブロック領域画像抽出部１０、質問画像描画部１１、質問画像特徴ベクトル生成部１２及び検索部１３をそれぞれ分離し、この構成部を備えたそれぞれの装置が通信ネットワーク（例えばインターネット）を介して接続されるようにしてもよい。この場合、画像切出装置（ブロック領域画像切出部２）は、切り出したブロック領域画像を、通信ネットワークを介して、代表ブロック領域画像抽出部１０を備えた装置へ送信する。
【００５８】
また、図２に示した画像検索装置１は、外部のハードディスクに格納された検索対象画像ＤＢ１４から検索対象画像を読み出すようにしたが、このハードディスクは、画像検索装置１の内部に備えるようにしてもよい。また、画像検索装置１は、検索対象画像ＤＢ１４が格納されたファイルサーバに、通信ネットワークを介してアクセスし、検索対象画像を受信するようにしてもよい。
【００５９】
また、図３に示したブロック領域画像切出部２−１の色分布判定手段３は、ブロック領域画像を左右２分割及び上下２分割して類似度ＳＶ，ＳＨを算出し、色分布が一様であるか否かを判定するようにしたが、必ずしも左右２分割及び上下２分割する必要はない。例えば、色分布判定手段３は、左右２分割のみして類似度ＳＶを算出し、色分布が一様であるか否かを判定するようにしてもよいし、上下２分割のみして判定するようにしてもよい。本発明は、分割の仕方及び分割数を限定するものではない。
【００６０】
また、図３に示したブロック領域画像切出部２−１の色分布判定手段３は、ブロック領域画像を分割した領域について、画像特徴量としてＲＧＢ平均値ベクトルを算出するようにした。しかし、本発明は、画像特徴量をＲＧＢ平均値ベクトルに限定するものではなく、例えば、色のヒストグラムを求め、そのヒストグラムを画像特徴量とするようにしてもよい。要するに、画像特徴量は、領域を構成する画像の特徴を示すデータであればよい。
【００６１】
また、図７に示したブロック領域画像切出部２−２の模様判定手段５は、ブロック領域画像Ａからブロック領域エッジ画像を生成し、４分割の領域のエッジ占有率を算出し、色分布が一様かつ模様を有するか否かを判定するようにしたが、ブロック領域画像Ａを４分割し、隣り合う画素における輝度値または画素値の変化量を算出し、その変化量のヒストグラムを求め、４分割の領域における変化量の平均値を算出し、色分布が一様かつ模様を有するか否かを判定するようにしてもよい。また、本発明は、分割の仕方及び分割数を限定するものではない。また、分割した領域が同じ場合、エッジ占有率の代わりに、エッジ成分を有する画素の数（エッジ量）を算出し、この画像数によって、色分布が一様かつ模様を有するか否かを判定するようにしてもよい。
【００６２】
尚、本発明の実施例１，２によるブロック領域画像切出部２である画像切出装置のハードウェア構成としては、通常のコンピュータを使用することができる。画像切出装置は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。実施例１の画像切出装置に備えた色分布判定手段３、及び、実施例２の画像切出装置に備えた色分布判定手段３、記憶手段４及び模様判定手段５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００６３】
また、図２に示した画像検索装置１のハードウェア構成としても、通常のコンピュータを使用することができる。画像検索装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。画像検索装置１に備えたブロック領域画像切出部２、代表ブロック領域画像抽出部１０、質問画像描画部１１、質問画像特徴ベクトル生成部１２及び検索部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、画像切出装置と同様に、磁気ディスク等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【００６４】
１  画像検索装置
２  ブロック領域画像切出部
３  色分布判定手段
４  記憶手段
５  模様判定手段
１０  代表ブロック領域画像抽出部
１１  質問画像描画部
１２  質問画像特徴ベクトル生成部
１３  検索部
１４  検索対象画像ＤＢ
【図２】
0005520198.tif 000002
【図３】
0005520198.tif 000003
【図４】
0005520198.tif 000004
【図５】
0005520198.tif 000005
【図７】
0005520198.tif 000006
【図８】
0005520198.tif 000007
【図９】
0005520198.tif 000008
【図１０】
0005520198.tif 000009
【図１】
0005520198.tif 000010
【図６】
0005520198.tif 000011
【図１１】
0005520198.tif 000012
【図１２】
0005520198.tif 000013