(57)【特許請求の範囲】
【請求項１】
複数の蓄積された画像の中からキー画像に類似した画像を検索する画像検索装置であって、
前記蓄積された画像を、当該画像の画像データから抽出された少なくとも一つの特徴ベクトルに基づき複数の分類項目に分類する分類手段と、
前記分類項目を、これらを分類した基準とは別の基準において類似するもの同士、関連付けさせるリンク手段と、
前記キー画像の画像データから特徴ベクトルを抽出し、このキー画像特徴ベクトルと、前記分類項目を代表する特徴ベクトルとを照合して、当該キー画像に類似する分類項目を選定する分類項目選定手段と、
前記キー画像の抽出された特徴ベクトルと、前記選定された分類項目およびこれに関連付けされた前記分類項目に属する前記蓄積された画像の特徴ベクトルとを比較し、前記キー画像に類似した前記蓄積された画像を選定する、類似画像選定手段と、
を有する画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において、
前記類似画像選定手段は、
前記キー画像の抽出された特徴ベクトルと、前記選定された分類項目またはこれに関連付けされた前記分類項目に属する前記蓄積された画像の特徴ベクトルとを比較し、前記キー画像に類似する複数の前記蓄積された画像を、類似画像の候補として抽出する、候補抽出手段と、
前記候補抽出手段で用いられた、キー画像および蓄積された画像の特徴ベクトルとは異なる特徴ベクトルによって、前記キー画像と抽出された候補の画像とを比較し、前記キー画像に類似した前記蓄積された画像を選定する、絞り込み選定手段と、
を含む、画像検索装置。
【請求項３】
請求項１または２に記載の画像検索装置において、
前記キー画像は、本来のキー画像と、この本来のキー画像より所定の変換により得られた変換キー画像とを含む、
画像検索装置。
【請求項４】
請求項３に記載の画像検索装置において、前記本来のキー画像に対し行う所定の変換は、アフィン変換である、画像検索装置。
【請求項５】
画像検索用データベースに蓄積された画像のうち、キー画像と類似する画像を検索する画像検索装置であって、
前記キー画像の画像データから特徴ベクトルを抽出し、このキー画像特徴ベクトルと、前記分類項目を代表する特徴ベクトルを照合して、当該キー画像に類似する分類項目を選定する分類項目選定手段と、
前記キー画像の抽出された特徴ベクトルと、前記選定された分類項目およびこれに関連づけされた前記分類項目に属する前記蓄積された画像の特徴ベクトルとを比較し、前記キー画像に類似した前記蓄積された画像を選定する、類似画像選定手段と、
を有し、
前記画像検索用データベースは、複数の画像が蓄積された画像検索用データベースであり、蓄積された画像は、当該画像の画像データから抽出された少なくとも一つの特徴ベクトルに基づき複数の分類項目に分類されており、さらに、前記分類項目を、これらを分類した基準とは別の基準において類似するもの同士、関連付けされている、データベースである、
画像検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの蓄積および蓄積された画像データの検索に関する。
【０００２】
【従来の技術】
従来、画像データを蓄積、管理し、検索するためには、画像を登録する際にキーワードなどのコード情報を、この画像データに付加するのが主流であった。これは、コード情報をキーとして、このコード情報が付加された画像を検索するためである。しかし、この方法では、検索対象となる画像データを登録する際に、コード情報をキーボードなどから一緒に入力しなければならず、多大な作業量を要するという問題があった。
【０００３】
そこで、画像データから様々な特徴量を抽出して特徴ベクトルを構成し、コード情報に代わる情報として検索に用いる方法が提案されている。この際、様々な側面から画像を捉えるために、一つの画像データから多くの種類の特徴量を抽出する必要がある。特徴ベクトルは、この特徴量の一つ一つを各空間軸とするベクトルであるが、このベクトルが多くの特徴量（空間軸）を有するということは、その処理時間が増大することを意味する。つまり、画像データの検索を行う際に、その検索時間が長くなることになる。処理時間の短縮を図るために、多くの場合、蓄積された画像データの特徴ベクトルに対して主成分分析を行うことで、特徴ベクトルの直交性を保証し、同時に分散の小さい空間軸を排除することで、特徴ベクトルの空間軸数を抑えている。
【０００４】
また、特開２０００−１１２９４３公報では、所定の一つの次元軸での距離で、検索の対象となる特徴ベクトルを絞り込むことで、画像データ同士の照合を行う際の特徴ベクトルの数を抑えている。また、特開２００１−１３４５７３公報では、特徴ベクトル空間を所定の距離で区切り、各領域を階層的に記述することにより、照合を行う際の特徴ベクトルの数を抑えている。
【０００５】
【発明が解決しようとする課題】
しかし、主成分分析により特徴ベクトルの空間軸の数を削減しようとする場合に、空間軸数が非常に多かったり、蓄積されている特徴ベクトルの分散が大きいと、空間軸の数を十分に減らすことはできない場合があった。
【０００６】
また、前者の公報により提案されている方法では、対象の特徴ベクトルを絞り込む際に所定の一つの次元軸の距離にのみ注目しているために、これ以外の特徴ベクトルによって類似性が高いと判定される場合を排除してしまう可能性がある。すなわち、本来、類似していると判定されるべき画像データを見逃してしまうという問題があった。
【０００７】
後者の公報でも同様に、前記の区切りに用いた特徴ベクトル以外の特徴ベクトルによって類似性が高いと判定される場合を排除してしまい、本来類似している画像データを見逃してしまうという問題があった。
【０００８】
本発明は、前述の問題点を考慮してなされたものであり、検索処理の負担が少なく、検索漏れを減らすことができる画像検索装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前述の課題を解決するために、本発明に係る画像検索装置は、複数の蓄積された画像の中からキー画像に類似した画像を検索する画像検索装置であって、前記蓄積された画像を、当該画像の画像データから抽出された少なくとも一つの特徴ベクトルに基づき複数の分類項目に分類する分類手段と、前記分類項目を、これらを分類した基準とは別の基準において類似するもの同士、関連付けさせるリンク手段とを有している。そして、前記キー画像の画像データから特徴ベクトルを抽出し、このキー画像特徴ベクトルと、前記分類項目を代表する特徴ベクトルとを照合して、当該キー画像に類似する分類項目を選定する分類項目選定手段、前記キー画像の抽出された特徴ベクトルと、前記選定された分類項目およびこれに関連付けされた前記分類項目に属する前記蓄積された画像の特徴ベクトルとを比較し、前記キー画像に類似した前記蓄積された画像を選定する、類似画像選定手段とを有している。
【００１０】
検索対象となる蓄積された画像は、少なくとも一つの特徴ベクトルに基づき複数の項目に分類され、また、この分類の基準とは別の基準により類似する項目同士が、関連付けされている。したがって、キー画像の特徴ベクトルとの類似性から選択された分類項目のみだけでなく、リンク付けされた他の分類項目も検索対象とすることにより、検索対象の範囲を絞りつつ、絞りすぎて検索漏れが生じることを防止している。
【００１１】
さらに、前記類似画像選定手段は、前記の分類項目の範囲内において、特徴ベクトルに基づき比較的類似性が高い候補を複数抽出する候補抽出手段と、抽出された候補からさらに絞り込んで、類似性の高い画像を選定する絞り込み選定手段を有するようにすることができる。
【００１２】
さらに、前記キー画像は、本来のキー画像と、この本来のキー画像を所定の変換により得られた変換キー画像と含み、これらの複数のキー画像を基に検索を実行するようにできる。この変換は、拡大、縮小、回転、反転などの１次変換に、平行移動を加えたアフィン変換とすることができる。
【００１３】
また、本発明の他の態様によれば、画像検索用データベースに蓄積された画像のうち、キー画像と類似する画像を検索する画像検索装置が提供される。この画像検索装置は、前記キー画像の画像データから特徴ベクトルを抽出し、このキー画像特徴ベクトルと、前記分類項目を代表する特徴ベクトルを照合して、当該キー画像に類似する分類項目を選定する分類項目選定手段と、前記キー画像の抽出された特徴ベクトルと、前記選定された分類項目およびこれに関連づけされた前記分類項目に属する前記蓄積された画像の特徴ベクトルとを比較し、前記キー画像に類似した前記蓄積された画像を選定する、類似画像選定手段とを有している。前記画像検索用データベースは、複数の画像が蓄積された画像検索用データベースであり、蓄積された画像は、当該画像の画像データから抽出された少なくとも一つの特徴ベクトルに基づき複数の分類項目に分類されており、さらに、前記分類項目を、これらを分類した基準とは別の基準において類似するもの同士、関連付けされている。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。図１は、本実施形態の画像検索装置が適用されるネットワークの概略構成を示す図である。ネットワークには、インストールされた所定のプログラムによって本実施形態の画像検索装置として機能するコンピュータであるクライアント１、紙などの印刷媒体上の画像を取り込むスキャナ２、データベースを提供するデータベースサーバー３およびネットワークの管理を行うウェブサーバー４が接続されている。データベースサーバー３は、画像検索装置としてのクライアント１が検索対象とする画像データおよびこれに付随するデータを蓄積する。また、ノート型コンピュータ、携帯情報端末などの外部端末５とネットワークを接続するルータ６も設けられている。画像データは、前記のスキャナの他、ネット上から、外部端末５から、さらにはクライアント１の外部記憶媒体用のドライブから読み込むことができる。
【００１５】
図２は、本実施形態の機能構成図であって、特に検索対象となる画像のデータベースの形成にかかる構成を示している。データベースに蓄積する、または蓄積された画像１０から、分類用特徴ベクトル抽出部１２により、画像１０の画像データから定量的に取り出すことのできる値からなる特徴ベクトルを抽出する。この特徴ベクトルは、後述する蓄積された画像の分類を行うための特徴を示すものである。この分類用の特徴ベクトルは、例えば画像データを所定の基準で限定色化し、各色の割合を示すベクトルとすることができる。ここでいう限定色化とは、各画素の色を、例えば青に類似する紺〜水色などの色を全て青とし、他にも赤、黄など限られた色数に集約する処理のことである。分類部１４においては、前記の分類用特徴ベクトル間の距離に基づき、画像１０が複数の分類項目へ分類される。したがって、分類用特徴ベクトル抽出部１２および分類部１４は、蓄積された画像データから抽出された特徴ベクトルに基づき複数の分類項目に分類を行う分類手段１６として機能する。
【００１６】
さらに、リンク付け部１８は、前記分類された分類項目同士の関連性を所定の基準により判定し、関連性が高いと判断された項目同士をリンクさせる手段である。この関連性は、例えば、前述の限定色化した画像データの、限定された色に対する印象により評価することができる。色には、暖かな印象、冷たい印象、柔らかい印象、硬い印象など、人に対して特定の印象を与えるグループがある。前記の限定色を印象ごとにいくつかのグループに分けておき、限定色化された画像データがどのような印象を人に与えるかに基づき、前記の分類項目を関連づける。
【００１７】
一方、画像１０の画像データより、検索用特徴ベクトル抽出部２０により、検索時に用いる特徴ベクトルの抽出を行う。この検索用特徴ベクトルは、画像データより定量的に取り出すことのできる値からなるベクトルであって、例えば画像データをｎ×ｎのメッシュに分割し、各メッシュ内の画素値の平均やエッジの量を特徴ベクトルのデータとする。
【００１８】
検索用特徴ベクトル抽出部２０は、さらにふたつの、互いに解像度の異なる特徴ベクトル抽出部を有している。低解像度特徴ベクトル抽出部２２は、画像データを粗い（例えば４×４の）メッシュに分割し、各メッシュ内の画素値の平均やエッジの量を特徴ベクトルのデータとする。もう一方の、高解像度特徴ベクトル抽出部２４は、より細かい（例えば１６×１６の）メッシュに分割し、各メッシュ内の画素値の平均やエッジの量をベクトルデータにする。
【００１９】
画像１０のそれぞれに対し、その画像が属する分類項目、関連付けにかかる情報および検索用に抽出された２種類の特徴ベクトルが付与されて、画像データがデータベース２６に蓄積される。
【００２０】
図３は、本実施形態の機能構成図であって、特に一つの画像（キー画像）と類似する画像の検索にかかる構成を示している。なお、この明細書においては、「類似」と記した場合、特に断らなければ「一致」を含むものとする。
【００２１】
データベース２６から所定の画像を検索するためのキーとなる画像（以下、キー画像）２８を入力する。分類用特徴ベクトル抽出部３０により、キー画像２８の画像データから、前述の分類項目と照合するための特徴ベクトルを抽出する。この分類用特徴ベクトル抽出部３０は、前述の分類用特徴ベクトル抽出部１２と同一の機能を有し、同一の基準をもって特徴ベクトルの抽出を行うものである。分類項目との照合部３２にて、抽出された特徴ベクトルに基づき、キー画像２８が最も類似する分類項目を、データベース２６に蓄積された画像データを検索して照合する。さらに、リンク付け分類項目呼出し部３４により、キー画像２８と最も類似するとされた分類項目に対して、リンク付け部１８によりリンク付けがなされている分類項目を呼び出す。そして、検索候補抽出部３６において、前記最も類似する分類項目と、これにリンクされている分類項目に属する画像データの特徴ベクトル群を、以降の検索に用いる候補をとして抽出する。
【００２２】
また、キー画像２８からは、検索用特徴ベクトル抽出部３８により、所定の特徴ベクトルが抽出される。ここで検索用特徴ベクトル抽出部３８は、前述の検索用特徴ベクトル抽出部２０と同一の機能を有し、同一の基準をもって特徴ベクトルの抽出を行うものである。検索用特徴ベクトル抽出部３８は、さらにふたつの、互いに解像度の異なる特徴ベクトル抽出部を有している。低解像度特徴ベクトル抽出部４０は、画像データを粗い（例えば４×４の）メッシュに分割し、各メッシュ内の画素値の平均やエッジの量を特徴ベクトルのデータとする。もう一方の、高解像度特徴ベクトル抽出部４２は、より精細な（例えば１６×１６の）メッシュ部分に分割し、各メッシュ内の画素値の平均やエッジの量をベクトルデータにする。
【００２３】
次に、低解像度特徴ベクトル照合部４４において、検索候補抽出部３６にて抽出された特徴ベクトル群の各ベクトルと、低解像度特徴ベクトル抽出部４０にて抽出されたキー画像の特徴ベクトルとを比較して、それぞれの類似度を求める。そして、この類似度に基づいて候補絞り込み部４６において、検索範囲の絞り込みを行う。すなわち、類似度が高い特徴ベクトルを抽出し、これを次の検索の範囲とする。高解像度特徴ベクトル照合部４８において、前述の絞り込まれた特徴ベクトル群の各ベクトルと、高解像度特徴ベクトル抽出部４２にて抽出されたキー画像の特徴ベクトルとを比較して、それぞれの類似度を求める。検索結果出力部５０において、前記類似度を基に、類似度の高い特徴ベクトルに対応する画像データを出力する。
【００２４】
図４は、画像データの蓄積に関するフローチャートである。まず、登録する画像データを入力する（Ｓ１００）。入力された画像データから、分類用特徴ベクトル、低解像度特徴ベクトル、高解像度特徴ベクトルの３種の特徴ベクトルを抽出する（Ｓ１０２，Ｓ１０４，Ｓ１０６）。蓄積対象となる全ての画像データが入力され、それらの特徴ベクトルの抽出が終了したら、次のステップに移行する（Ｓ１０８）。
【００２５】
次に、抽出された分類用特徴ベクトルを用いて、各特徴ベクトル間の距離を求め（Ｓ１１０）、この距離に基づき特徴ベクトルの分類を行う（Ｓ１１２）。ここで分類とは、特徴ベクトル間の距離を基に、その距離の近いものをまとめていくものである。一般にクラスタ分析などといわれる方法を用いる。クラスタ解析には、階層的手法、非階層的手法とがあるが、どちらを用いることもできる。分類された各群を、分類項目とする。全特徴ベクトルの分類が終了したならば（Ｓ１１４）、次に分類項目同士のリンク付けを行う（Ｓ１１６）。これは、分類を行った基準とは、異なる基準によって、類似する項目同士を関連付けさせておくものである。全ての分類項目に対して、リンク付けが終了したら（Ｓ１１８）、各画像データと、これに付随して分類用、低解像度、高解像度の３種の特徴ベクトル、分類項目、リンク付け情報をデータベースに登録する（Ｓ１２０）。
【００２６】
図５は、画像データの検索に関するフローチャートである。まず、検索キーとなる画像データを入力し（Ｓ１２２）、分類の照合に用いる分類用特徴ベクトル、検索の候補を絞り込むために用いる低解像度特徴ベクトルおよび検索結果を求めるのに用いる高解像度特徴ベクトルを、前記検索キー用の画像データから抽出する（Ｓ１２４，Ｓ１２６，Ｓ１２８）。この際、検索キー画像データに、１次変換と平行移動とを含む変換であるアフィン変換を行い、この変換後の画像データもキー画像として検索を実行することもできる。例えば、拡大縮小を３パタン、９０°の回転を４パタン、反転を２パタンおよび平行移動を９パタンのアフィン変換による画像データと、元の画像データとから２１６のキー画像を得ることができる。
【００２７】
次に、キー画像の分類用特徴ベクトルに基づき、データベースにすでに登録されている分類項目とを照合し、キー画像が属する分類項目を得る（Ｓ１３０）。さらに、この分類項目にリンク付けされている分類項目を呼び出す（Ｓ１３２）。これらの分類項目に属する画像データが以降の検索範囲となり、これらの分類項目に属する画像の低解像度特徴ベクトルを、データベース２６より抽出する（Ｓ１３４）。抽出された低解像度特徴ベクトルと、キー画像の低解像度特徴ベクトルを照合し、個々の類似度を判断する（Ｓ１３６）。類似度の高い特徴ベクトルの画像に検索対象を絞り込み、この絞り込まれた画像の高解像度特徴ベクトルをデータベース２６より抽出する（Ｓ１３８）。この抽出された高解像度特徴ベクトルと、キー画像の特徴ベクトルとを照合し、類似度の高い特徴ベクトルを選び出す（Ｓ１４０）。この特徴ベクトルに対応する画像をデータベース２６より呼び出して、これを検索結果とする（Ｓ１４２）。
【００２８】
以上、本実施形態においては、分類項目を分けたときの基準と異なる基準によって、前記の分類項目の関連性の高いもの同士を関連づけるようにリンクを張ったデータベースとしている。そして、キー画像に関して検索を行う場合、キー画像が属する分類項目と、この分類項目にリンク付けされた分類項目に属する画像を検索対象範囲とする。具体的に記せば、キー画像が属する分類項目Ａと、この分類項目Ａにリンク付けされた全ての分類項目Ｂ，Ｃ・・・を検索の範囲とする。分類項目Ａのみを検索対象とした場合には、キー画像に類似の画像が分類項目Ｂなどにあったとしても、これを検索することはできないが、本実施形態においては、これが可能となる。また、検索漏れが少なくなるように、分類項目をより概略的に行う、または分類項目を設けず、全データを初めから詳細な検索の対象とする場合は、微細な差異に引きずられて「おおよそ」類似した画像の検索漏れがおきたり、処理負担が増大したりするが、本実施形態においては、人の印象に近い検索が可能になり、処理負担の過大な増加も抑えることができる。
【００２９】
また、登録された画像およびキー画像の画像データから抽出された特徴ベクトルを利用して検索を行うので、画像の登録、蓄積の際に、キーワードなどのコード情報の入力が不要となる。
【図面の簡単な説明】
【図１】  ネットワーク環境の一例を示す図である。
【図２】  本実施形態の機能を示すブロック図であり、特に画像データの登録に係る構成を示す図である。
【図３】  本実施形態の機能を示すブロック図であり、特に画像データの検索に係る構成を示す図である。
【図４】  本実施形態の処理を示すフローチャートであり、特に画像データの登録に係る処理を示すチャートである。
【図５】  本実施形態の処理を示すフローチャートであり、特に画像データの検索に係る処理を示すチャートである。
【符号の説明】
１０  画像、１２，３０  分類用特徴ベクトル抽出部、１４  分類部、１８  リンク付け部、２０，３８  検索用特徴ベクトル抽出部、２２，４０  低解像度特徴ベクトル抽出部、２４，４２  高解像度特徴ベクトル抽出部、２６  データベース、２８  キー画像、３２  分類項目との照合部、３４  リンク付け分類項目呼出し部、３６  検索候補抽出部、４４  低解像度特徴ベクトル照合部、４６候補絞り込み部、４８  高解像度特徴ベクトル照合部、５０  検索結果出力部。
【図１】
0004082043.tif 000002
【図２】
0004082043.tif 000003
【図３】
0004082043.tif 000004
【図４】
0004082043.tif 000005
【図５】
0004082043.tif 000006