(57)【要約】【課題】  類似ベクトル検索に対する多数個の検索クエリーをクラスタリングによって集約することによって効率的な検索を実現する。【解決手段】  本発明を実現するシステムは、単一の画像から多数個の画像特徴量ベクトルを生成する手段と、生成された多数個の画像特徴量ベクトルをクラスタリング処理によって少数個の代表ベクトルに集約する手段と、集約された各代表ベクトルを検索クエリーとした類似ベクトル検索を行い、予め生成されている各画像特徴量ベクトルの最近接データを取得する手段を持つ。【選択図】  図２
2011107795.tif 000002
【特許請求の範囲】
【請求項１】
元画像を入力する手段と、
前記入力された元画像を、複数の領域に分割する手段と、
前記複数の領域それぞれの画像特徴量ベクトルを生成する手段と、
前記複数の領域それぞれの画像特徴量ベクトルの集合をクラスタリングによって、前記分割した複数の領域の要素数よりも少ない数のクラスタ代表ベクトルの集合に縮約する手段と、
前記クラスタ代表ベクトルを検索クエリーとして、前記クラスタ代表ベクトルと類似した画像特徴量ベクトルを有する類似画像を検索する手段と、
前記検索する手段にて検索した結果を、出力する手段とを有することを特徴とする画像検索システム。
【請求項２】
前記検索する手段は、前記クラスタ代表ベクトルの各要素と最近接関係にある特徴量ベクトルを属性として持つ類似画像を検索することを特徴とする請求項１記載の類似画像検索システム。
【請求項３】
前記出力する手段は、前記分割した領域の部分画像を前記最近接画像に置換した合成画像を生成することを特徴とする請求項２記載の類似画像検索システム。
【請求項４】
更に、前記最近接関係にある特徴量ベクトルとの距離が小さい検出領域の候補を検出領域として判定する手段を有することを特徴とする請求項２記載の類似画像検索システム。
【請求項５】
前記検索する手段は、データベース中の任意の画像を検出対象の種画像として指定し、前記検索クエリーと前記検出対象の種画像との距離が一定の基準値以下である画像を領域検出の対象とすることを特徴とする請求項１記載の類似画像検索システム。
【請求項６】
前記画像特徴量ベクトルを生成する手段は、格子状に分割された複数の矩形領域からなるパターンを、前記元画像に照合し、前記元画像について前記矩形領域それぞれの特徴量を抽出し、前記抽出した特徴量を全格子分連結したものを、前記複数の領域それぞれにおける画像特徴量ベクトルとすることを特徴とする請求項１記載の類似画像検索システム。
【請求項７】
前記検索する手段は、
【数１】
2011107795.tif 000004
を用いて、前記類似画像を検索することを特徴とする請求項１記載の類似画像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像を検索するシステムに関する。
【背景技術】
【０００２】
近年、ネットワークのブロードバンド化、各種記憶装置の大規模化により、企業、あるいは、個人が、大規模な画像・映像を蓄積することが可能となってきた。そのような中、大規模な蓄積データを活用するという観点から、画像自体から情報を抽出し検索する技術の重要性が増してきている。これらの技術は、類似画像検索と呼ばれる。特許文献１、特許文献２等に記載されているように、類似画像検索では、事前に、検索対象となる画像から、画像の持つ特徴を数値化した画像特徴量を抽出し、データベース化することによって高速の検索を実現している。
【０００３】
一方、画像の表示方式の分野では、単一の画像を格子状に分割し、各格子領域内の部分画像を、それと類似性が高い画像と入れ替えることによって、単一画像を多数の小画像の合成として表示する、フォトモザイクと呼ばれる手法が提案されている。
【０００４】
また、画像認識の分野では、画像中から特定の物体が存在する領域を検出する方法として、検出対象となる物体が撮像された画像の集合を学習データとして用いたAdaブースト法による学習によって、局所的な特徴の一致に基づく弱識別器をカスケード上に並べた識別器を構成する手法が提案されている。本手法は、特に、人物の顔領域検出の分野で、高い有効性を示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１２３１７３号公報
【特許文献２】特開２００７−３３４４０２号公報
【非特許文献】
【０００６】
【非特許文献１】A. Hiroike, Y. Musha, A. Sugimoto,  and Y. Mori :“Visualization of information spaces to retrieve and browse image data”,Third International Conference on Visual Information Systems, Springer-Verlag, pp. 155-162 (1999).
【非特許文献２】R. Lienhart, J. Maydt : “An extended set of Haar-like features for rapid object detection”, 2002 International Conference on In Image Processing. 2002. Proceedings. 2002 International Conference on, Vol. 1, pp. I-900-I-903 vol.1. (2002)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像を格子状に分割し小画像の合成として表示する手法では、各格子領域内の部分画像と類似する画像を検索する必要がある。この手法では、小画像となる対象画像の候補が多い方が多様な表現が可能となり、意匠的な付加価値は高くなる傾向があるが、対象画像を多い場合は、類似画像検索システムを活用するのが適当と想定される。一方、意匠的な完成度を高めるためには、ある程度の細分化された分割が必要となる。仮に画像全体を100×100に分割したとすると、10000個の部分領域画像を類似検索のクエリーとすることになる。この事は、個々の検索処理がある程度高速化されていたとしても、その10000倍の処理時間が必要となることを意味している。仮に、検索処理に要する時間が100ミリ秒だとすると1000秒となり、これだと、例えば、WEBアプリケーション上で、表示要求にリアルタイムで応答するようなアプリケーションを組むことは不可能である。
【０００８】
画像中の物体検出では、従来技術では、検出対象に対応する識別器を構成する必要がある。従って、複数種類の対象を検出しようとした場合、複数個の識別器による判定を行う必要があり、検出対象に比例して処理時間が増大する。また、各識別器を構成するためのAdaブーストを用いた学習も各検出対象ごとに行う必要がある。Adaブーストを用いた学習では、十分に大きな学習データを用いた長時間の収束計算が必要であり、検出対象の追加に対して、その場で対応するようなアプリケーションを組むことは不可能である。なお、画像としての見た目が極端に異なるデータを同一の検出対象の学習データとして用いた場合、識別器の学習が適切な状態に収束しない。例えば、顔画像の検出においては、正面顔と横顔とは、別の検出対象として扱う。
【０００９】
一方、類似画像検索を上記の識別器の代わりとして用いることも想定可能である。すなわち、検出対象の画像をデータベース化しておき、検出しようとする領域内の部分画像を検索クエリーと見做して、その最近接データを取得することによって、それが検出対象であるか否かを判定するのである。この方式を行う際の現実的な問題は、検出領域の候補となる領域の数が莫大な数になる点である。例えば、256×256の画像中から64×64の正方形の領域を検出しようとすることを考えると、平行移動により(256-64)×(256-64)=36864個の検出領域の候補が考えられ、これは、36864回の類似検索が必要となることを意味する。
【００１０】
以上のように、類似画像検索技術では、データベース化された画像特徴量を高速に検索することが可能であるが、検索クエリーが多数存在する場合、多数回の検索を繰り返す必要が生じ、実用的な時間内で処理を終了するアプリケーションを組むことは不可能である。
【００１１】
上記課題は、本発明者らが見出した、新規な課題である。
【課題を解決するための手段】
【００１２】
本発明を実現するシステムは、単一の画像から多数個の画像特徴量ベクトルを生成する手段と、生成された多数個の画像特徴量ベクトルをクラスタリング処理によって少数個の代表ベクトルに集約する手段と、集約された各代表ベクトルを検索クエリーとした類似ベクトル検索を行い、その検索結果から、予め生成されている各画像特徴量ベクトルの最近接データを取得する手段を有するものとする。
【発明の効果】
【００１３】
本発明によって、類似画像検索システムに対して、多数回の検索を行うことによって実現可能な機能を、少数回の検索のみで実現することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】本発明の第１の実施の形態の処理の流れを示す説明図である。
【図３】本発明の第１の実施の形態の検索結果の集積を行う処理のフローチャートである。
【図４】本発明の第１の実施の形態のプログラム間の情報の流れを示す説明図である。
【図５】本発明の第１の実施の形態の画面表示例である。
【図６】本発明の第１の実施の形態でのクラスタ数と検索時間・検索精度との関係を示すグラフである。
【図７】本発明の第２の実施の形態の処理の流れを示す説明図である。
【図８】本発明の第２の実施の形態における領域検出用の基本パターンの説明図である。
【図９】本発明の第２の実施の形態の画面表示例である。
【図１０】本発明の第３の実施の形態におけるデータベースに格納される属性を示す表である。
【図１１】本発明の第３の実施の形態における種画像登録処理のフローチャートである。
【図１２】本発明の第３の実施の形態における新規データ登録処理のフローチャートである。
【図１３】本発明の第３の実施の形態における種画像登録を行う場合の画面の模式図である。
【発明を実施するための形態】
【００１５】
次に、本発明の実施の形態について、図面を参照して説明する。
【実施例１】
【００１６】
実施例１は、ユーザが指定した任意の画像から、格子状に分割された小画像の合成画像、すなわち、フォトモザイク画像を生成し、ユーザに対して提示するオンラインサービスを行うシステムである。図１は、実施例の構成を示すブロック図である。
【００１７】
本実施例では、クライアントプログラムが稼動する複数個の端末装置 101 が、ネットワーク 102 経由で、特徴量データベースを管理する検索サーバシステム103から検索機能の提供を受ける。なお、本実施形態は、ネットワーク 102としてインターネット、検索サーバシステム 103としてWEBアプリケーション・サーバを想定するものであるが、企業内でのイントラ・ネットワーク上でも、全く同一のシステムが稼動可能である。また、通信プロトコルとしても、特にHTTPに限定する必要なく、他の通信プロトコル方式でも、同一の機能の提供は可能である。
【００１８】
次に、本実施例における情報処理の詳細について述べる。
【００１９】
図２は、クライアントプログラムにおいて実行される処理フローを示したものである。
【００２０】
プログラムは、ユーザが選択した画像を受け取ると、その画像を格子状に分割し202、各領域内の部分画像から画像特徴量ベクトルを抽出する203。画像の特徴量としては、種々のものが想定されるが、元画像と合成後の画像との印象を近づけるためには、色分布を重視した方が妥当と考えられるため、本実施形態では、色ヒストグラムに基づく特徴量を採用する。色ヒストグラムに基づく特徴量は、具体的には、次のように算出する。
【００２１】
まず、色分布の空間的な偏りを反映させるために画面全体を3×3に分割する。なお、ここで言う画面の分割は、元画像を格子状に分割して得られる各部分画像を、さらに格子状に分割することを意味する。次に、色空間については、RGBの色空間の各軸を3等分することにより、RGB空間を3×3×3の立方格子に分割する。結果として、得られるヒストグラムのビンの数は、(画面分割数)×(色空間分割数)=(3×3)×(3×3×3)=243となり、これが特徴量ベクトルの次元数となる。特徴量の抽出は、入力画像中の画素が各ビンに入る相対頻度を算出することによって行われる。
【００２２】
続いて、各格子領域から抽出された多数個の特徴量ベクトルをクラスタリングによる分類処理によって、少数個のクラスタ代表ベクトルに集約する204。本実施形態では、クラスタリングの方法としては、k-means法を採用し、クラスタ代表ベクトルとしては、各クラスタの平均ベクトルを採用する。k-means法とは、予め所望のクラスタ数Ncを決め、適当にNc個に分配された状態を初期値として、逐次的な最適化によりNc個に分類された準最適な状態を導く手法である。例えば、元画像を100×100に分割した場合、Nc=50とすれば、このクラスタリング処理によって、10000個の特徴量ベクトルが50個のクラスタ平均ベクトルに集約されることとなる。なお、クラスタリングの方式としては、少数個の適切な代表ベクトルを取得可能な手法であれば、他の方式を採用してもよい。例えば、階層的クラスタリングを採用した場合には、クラスタ数が所望の数にまで達した段階で階層的なクラスタリング処理を終了すればよい。
【００２３】
次に、クラスタ平均ベクトルを検索クエリーとした類似検索を、検索サーバに対して要求し検索結果を取得する 205。本検索処理は、クラスタ数回実施され、各検索の結果は、クライアントプログラム側のメモリ上に集積される。本処理の詳細は、後述する。
【００２４】
次に、元の各特徴量ベクトルについて、集積された検索結果中から最近接データを取得し206、これを各格子状部分領域に対応する画像とする。最後に、各格子部分領域に対応する画像をサーバから取得し、部分領域の大きさに収まるように縮小し当てはめていくことによって、モザイク状の合成画像を生成し、ユーザに対して提示する207。
【００２５】
図３は、図２中の検索処理205をより詳細に記述したものである。
【００２６】
クラスタ平均ベクトルの数をNcとすると、第１のループ310は、Nc回実行される。クライアントプログラムは、各クラスタ平均ベクトルをクエリーとする検索要求を、検索サーバに対して発行する311。
【００２７】
実際の検索処理は、検索サーバ側で行われる312。検索サーバは、受信した特徴量ベクトル（この場合は、クラスタ平均ベクトル）と、相対的に距離が小さい特徴量ベクトルを持つデータをNr件、データベース中から検索し、距離が小さい順序にソートして、クライアントに対して検索結果として返信する。この検索結果は、クライアント側のメモリ上の配列に格納される 313。
【００２８】
第２のループ320は、検索結果配列の要素数Nr分繰り返される。配列中の各要素について、全検索結果を格納するリストに含まれていなければ 321、それをリストに追加する322。
【００２９】
図４は、上述した全体の処理の流れをプログラム間の情報の流れとして記述したものである。クライアント側のプログラムは、ユーザから元となる画像を入力されると410、特徴量抽出、クラスタリング処理を行った後、サーバと連携した検索処理を行う420。その後、各格子部分領域画像の最近接データの画像をサーバから取得し、合成画像を生成し430、ユーザに対して提示する440。
【００３０】
図５は、上記クライアント側プログラムの画面表示例である。まず、ユーザに対して、選択した元画像が表示される510。次に、入力フィールド511で横方向の分割数、入力フィールド512で縦方向の分割数を指定する。ボタン513を押すと、サーバ側に元画像、および、分割数の情報が送信され、合成画像の生成が行われる。クライアントがサーバから合成画像を受信すると画面が遷移し、合成画像表示画面に切り替わる520。
【００３１】
なお、上述したクライアントの機能は、通常のWebブラウザ等では実現が困難であり、専用のプログラムが必要となる。また、端末側の計算機資源が十分ではない場合、上述したクライアントの機能を端末側で稼動させることが困難となる。この場合は、端末側では、元画像の入力と合成画像の表示の機能のみを稼動させ、図２に示した処理は、全て、サーバ側で稼動させた方が適切なシステム構成となる。
【００３２】
逆に、ネットワークを一切用いず、単一のアプリケーションプログラム中で、図２に示した処理、および、元画像の入力と合成画像の表示の機能を稼動させることも可能である。
【００３３】
次に、図６に基づき、本発明におけるクラスタリングによる検索クエリーの縮約が、検索に与える効果の定量的傾向を説明する。図６の横軸は、クラスタリングを行う際のクラスタ数である。本発明では、クラスタ数分の類似検索を行うため、検索時間601は、クラスタ数に比例して増加する。一方、元の画像特徴量ベクトルの真の最近接データ、すなわち、クラスタリングを行わず、元の画像特徴量ベクトルをそのまま用いて検索した場合に取得される最近接データと同一のデータが、クラスタリング処理を経由しても取得される比率が、検索精度602である。クラスタ数が少数だと、画像特徴量ベクトルの分布の傾向が十分に反映されないため、真の最近接データがクラスタ平均ベクトルを用いた検索結果に含まれない場合が多々発生する。クラスタ数を増加させれば、画像特徴量ベクトルの分布の近似性が高まり、真の最近接データが検索結果に含まれる確率が増大し、検索精度は単調に増加する。ただし、検索精度の増加は、ある程度のクラスタ数に達すると飽和する。飽和に要するクラスタ数は、画像特徴量ベクトルの分布の複雑性に依存する。本発明での画像特徴量ベクトルは、単一画像中の部分領域から抽出されたものであるため、独立な画像から抽出された画像特徴量ベクトルの分布よりも、ベクトル間の相関が高くなる。従って、飽和に要するクラスタ数は、極端に大きくなることはない。
【実施例２】
【００３４】
実施例２は、類似画像検索を用いて、画像中の所望の対象が存在する矩形領域を検出するシステムである。本システムの構成は、図１のブロック図に示した実施例１の構成と同様である。
【００３５】
実施例２では、検索サーバシステム103のデータベース中には、検出したい対象データが登録されており、これは、従来技術における学習データに相当するものである。発明が解決しようとする課題の欄でも論じたように、従来技術では、対象をカテゴリに分割し、各カテゴリに対して、十分な数の学習データを与えることによって、各カテゴリ内のばらつきを許容する識別器を構成する。逆に、一定の許容範囲を超えて異なるデータに関しては、たとえ、概念的には共通性があっても、別カテゴリとして扱う。本実施例におけるシステムでは、従来技術における全カテゴリの学習データに相当するものを、一体のものとしてデータベース中に格納している。
【００３６】
図７は、本実施例における情報処理の流れを示すものである。
【００３７】
まず、入力画像された画像上で、検出領域の候補となる、全ての部分領域内の部分画像から画像特徴量ベクトルを抽出する702。次に、抽出された全部分領域の画像特徴量ベクトルをk-means法によって、少数個のクラスタ平均ベクトルに集約し703、類似検索を行い、その結果を集積する704。本処理は、実施例１と同様で、処理703は、図２の204、処理704は、図２の205と対応する。次に、集積された検索結果から、各部分領域の画像特徴量ベクトルの最近接データを取り出す。この際の最近接データとの２乗距離を、各部分領域に対する検出領域としての非信頼度として定義する705。次に、この非信頼度が小さい順序に、全部分領域をソートし706、最終的な検出領域の判定を行う707。検出領域の判定では、非信頼度が予め設定した一定の範囲以下で、かつ、順位が上位の一定個数に含まれものを検出領域として判定し出力する。
【００３８】
以下、図７中の特徴量抽出処理702について詳細に説明する。
【００３９】
特徴量抽出処理702では、まず、照合する矩形領域の基本パターンの集合を用意する。図８に基本パターン集合の例を示す。図８の例では、縦横比が異なる３つのパターンが定義されている。各パターンは、格子状に分割された矩形領域として表現されており、縦横の格子数、および、１格子領域の縦横の画素数によって、具体的な状態が規定される。図８の例では、801は、格子数が4×4、1格子の画素数が12×20、802は、格子数が4×4、1格子の画素数が20×20、803は、格子数が4×4、1格子の画素数が20×12となっている。
【００４０】
上記の基本パターンを画像上で並行移動させていき、各部分領域の特徴量を抽出していく。各部分領域の特徴量抽出では、まず、基本パターンを構成する各格子領域内の特徴量を抽出し、それらを全格子分、連結したものを特徴量とする。従って、各部分領域内の特徴量ベクトルの次元数は、（格子領域内の特徴量の次元数）×（格子数）となる。本実施形態のシステムでは、後段の処理の関係で、各部分領域内の特徴量の次元数は、基本パターンの集合内で同一でなければならない。
【００４１】
抽出する特徴量の内容は、検出対象の性質に応じて選択する。色分布が重要な場合は、実施例１で述べたような色ヒストグラムに基づく特徴量を用いるのが適切である。色分布に依存しない、形状情報に着目したい場合は、輝度勾配方向の強度分布に基づく特徴量を用いるのが適切である。輝度勾配方向の強度分布に基づく特徴量の具体的な抽出方法は、非特許文献１に記載されている。また、色ヒストグラムに基づく特徴量と輝度勾配方向の強度分布に基づく特徴量を組み合わせた特徴量を用いれば、色分布、形状情報の両者を考慮した検出が可能である。
【００４２】
画像中からの物体検出では、通常、画像上での実際の大きさに依存しないように検出可能な方が、有用性が高い。これについては、入力画像を多重解像度化することによって対応する。すなわち、入力画像を複数の縮小率で縮小した画像を生成し、各縮小画像に対して上記の基本パターンの並行移動に基づく特徴量抽出処理を行う。この場合は、解像度が異なる画像から抽出された特徴量ベクトルを全て合わせたものが、部分領域候補の特徴量として一括して処理されることになる。
【００４３】
なお、図８に示したように、本実施例では、縦横比が異なる矩形領域を混在させて検出を行う。上述した色ヒストグラムに基づく特徴量、および、輝度勾配方向の強度分布に基づく特徴量を含め、通常の画像特徴量には、画像の縦横比の情報は、直接的には反映されない。従って、検出領域の判定時に、縦横比が異なる最近接データが用いられる可能性が出てくる。本実施例では、縦横比の情報が直接反映されない特徴量に対して、縦横比の情報を加えたものを、画像特徴量として採用する。
【００４４】
数１は、本画像特徴量を用いた場合の、２つの画像XとYの特徴量間の２乗距離の算出方式を示したものである。
【００４５】
【数１】
2011107795.tif 000003
【００４６】
ここで、v_i(X)は、画像Xの元の特徴量ベクトルのi番目の要素、w(X)は画像Xの横方向の画素数、Y(X)は画像Xの縦方向の画素数を表す。右辺２項目で縦横比を対数変換しているのは、値の正規分布性を高めるための補正である。一方、αは、元の画像特徴量ベクトルについて要素のごとに算出された分散値を全要素について合算したもの、βは、対数変換された縦横比の分散である。α、βともに、事前に、十分に大きなデータ集合を用いて統計量として算出したものである。αおよびβによる正規化によって、元の特徴量ベクトルに基づいて算出される２乗距離の期待値と、縦横比に基づく特徴量に基づいて算出される２乗距離の期待値が同等になるように補正されている。
【００４７】
縦横比が異なる最近接データを検出に用いる検索対象画像から除外する方法としては、検索対象を予め、縦横比に応じてカテゴリ分けする方式も考えられるが、本実施例で採用する方式の方が明らかに優位性である。実データでは、多様な縦横比の値が存在する。従って、これをカテゴリに分けること自体が容易ではない。加えて、カテゴリ分けした場合、カテゴリ境界に存在するデータの扱いを考慮する必要がある。検索時の抜けを避けるためには、境界上のデータを相前後するカテゴリに重複して登録する必要があり、検索効率の低下を招く。本実施例では、縦横比を特徴量の一部として取り入れることによって、本来連続的に存在する縦横比の差異も含めた総合的な類似性が評価可能である。
【００４８】
図９は、本実施例における画面表示例である。まず、ユーザに対して、選択した元画像が表示される910。ボタン911を押すと領域検出処理が行われ、その結果が対象を囲む矩形として表示される921。
【実施例３】
【００４９】
実施例３は、実施例２と同様、類似画像検索を用いて、画像中の所望の対象が存在する矩形領域を検出するシステムである。本実施例と実施例２との差異は、検索対象となる特徴量データベースが、検出対象以外のデータも含む点である。
【００５０】
従来の学習を必要とするシステムにおいて十分な数の学習データが必要であるのと同様に、本発明の類似画像検索を用いた領域検出を行う場合も、検出対象のデータが多い方が検出の精度を向上する。しかし、大量の検出対象データを収集することが困難であることも、従来技術と同様である。
【００５１】
本実施例では、インターネット上からプログラムによって自動的に画像を収集することによって、画像特徴量データベースを構築する。インターネット上の画像では、人物の顔写真、ショッピングサイト等の各種商品の画像等、検出対象として適切であると考えられる画像が多く存在するが、一方で、壁紙等、検出対象として適切ではない画像も多く存在する。従って、収集データ全体を領域検出時の検索対象とするのは適切ではない。本実施の形態では、ユーザが、データベース中から検出対象として適切な画像を種画像として選択し、選択された種画像と類似性が高い画像を検出時の検索対象とする方式を採用している。
【００５２】
図１０は、本実施例の画像特徴量データベースで定義されている各データの持つ属性の内、本発明に直接係わる部分を示したものである。属性1001は、画像特徴量であり、後述する種画像の登録処理において用いられる画像特徴量が格納される。本特徴量は、領域検出に用いる特徴量と同一であっても良いし、異なっても良い。属性1002は、種画像判定用フラグであり、当該データが種画像として選択されたものであるか否かの情報が整数値で格納される。種画像の場合、1、そうでない場合は、0とする。属性1003は、種画像との距離であり、当該データと種画像との距離が格納される。
【００５３】
図１１に、種画像登録における処理を示す。
【００５４】
まず、初期設定1110で、データベース中の全てのデータについて、種画像判定用フラグ1002の値に0、種画像との距離1003に、通常、類似検索の結果として得られる距離の値よりも十分に大きな値を設定する1111。ユーザからの種画像選択を受け付けると1120、選択されたデータの種画像判定用フラグを1に、種画像との距離を0に設定する1121。続いて、選択された種画像をクエリーとする類似検索を行い1122、その検索結果に基づき、以下の処理を行う。
【００５５】
各検索結果に対応するデータの現在の種画像との距離1003を参照し、もし、検索によって得られた距離がそれよりも小さかったなら1123、当該データの種画像との距離1003を検索によって得られた距離に更新する1124。
【００５６】
上記の処理は、種画像が登録される度に実行される。
【００５７】
一方、図１２は、データベースに新規にデータが登録された場合の処理を示したものである。まず、新規データの種画像判定用フラグ1002、および、種画像との距離1003は、図１１の初期設定1110と同様に、初期状態の値に設定される1201。次に、対象を種画像に限定した類似検索を行うことによって、種画像データ中の最近接データを検索する1202。もし、最近接データが検索されたなら、その最近接データとの距離を当該データの種画像との距離1003に設定する。
【００５８】
図１３は、実際にユーザが種画像を選択する際の画面を模式的に示したものである。１番目の画面1310で、ボタン1311を押すと、端末側に存在する画像ファイルを選択する画面が現れる。画面1310は、既に、画像が選択された状態を示している。ユーザは、画像中から検出したいと思う対象を囲む矩形領域を、マウス操作等によって指定する 1312。次に検索を要求するボタン1313を押すと、矩形領域内の部分画像をクエリーとした類似検索が行われ、検索結果画面1320が表示される。検索結果画面1320では、各検索結果画像の下にトグルボタン1321が表示されている。特定の画像を種画像として選択したい場合は、トグルボタンをクリックし選択状態にする1322。最後にボタン1323を押すと、選択した種画像が登録される。
【００５９】
本実施例で行なう場合、実施例１の図３の類似検索312に相当する処理において、種画像との距離を格納する属性1003の値について数値範囲を指定する絞込みを行うことによって、属性1003の値が、一定の基準値以下のデータのみを対象とした類似検索を行う。これによって、種画像、および、種画像との類似性が高い画像を検出対象とした領域検出が実現される。
【符号の説明】
【００６０】
101  端末装置
102  ネットワーク
103  検索サーバシステム
510 選択画像の表示
511 横方向の分割数
512 縦方向の分割数
513 合成画像表示ボタン
520 合成画像の表示
601 時間
602 検索精度
801  検出のための基本パターン
802  領域検出のための基本パターン
803  領域検出のための基本パターン
910 選択画像の表示
911 領域検出ボタン
920 検出結果の表示
921 検出された領域
1001 画像特徴量
1002 種画像判定用フラグ
1003 種画像との距離
1310 種画像登録のための検索クエリー指定画面
1311 画像ファイル選択用ボタン
1312 ユーザが指定した矩形領域
1313 検索ボタン
1320 種画像登録のための検索結果表示画面
1321 種画像を指定するためのトグルボタン
1322 選択状態のトグルボタン
1323 種画像登録ボタン
【図１】
2011107795.tif 000005
【図２】
2011107795.tif 000006
【図３】
2011107795.tif 000007
【図４】
2011107795.tif 000008
【図６】
2011107795.tif 000009
【図７】
2011107795.tif 000010
【図８】
2011107795.tif 000011
【図１０】
2011107795.tif 000012
【図１１】
2011107795.tif 000013
【図１２】
2011107795.tif 000014
【図１３】
2011107795.tif 000015
【図５】
2011107795.tif 000016
【図９】
2011107795.tif 000017