(57)【要約】      （修正有）【課題】画像の類似性の判定に用いる画像特徴量を利用者に明示的に指定させることなく、各画像特徴量の重み（配分）を自動的に最適化して類似画像を検索することが可能な仕組みを提供する。【解決手段】ユーザから複数の画像の設定を受け付け、当該画像の画像特徴量を算出する。ユーザにより設定された画像間で画像特徴量の類似度を算出し、当該類似度に応じて、画像特徴量の重みを決定する。ユーザにより設定された画像の画像特徴量と、当該画像特徴量の重みとを用いて、ユーザにより設定された画像と類似する画像を検索する。【選択図】図３
2014010640.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより選択された複数の画像のそれぞれについて、画像特徴量を算出する画像特徴量算出手段と、
前記複数の画像間における画像特徴量の類似度を算出する画像特徴量類似度算出手段と、
前記画像特徴量の類似度に応じて、画像特徴量の重みを決定する重み決定手段と、
前記画像特徴量と、前記決定された重みとを用いて、前記選択された画像と類似する画像を検索する検索手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記ユーザにより選択された複数の画像は、検索クエリーと補助検索クエリーとを含み、
前記検索手段は、前記検索クエリー画像と類似する画像を検索することを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記検索手段により検索された画像を表示部に表示する表示制御手段をさらに備えることを特徴とする請求項１または２に記載の画像形成装置。
【請求項４】
前記検索手段により検索された画像から、検索補助クエリー画像として設定する画像をユーザによる選択を受け付ける選択受付手段をさらに備え、
前記選択受付手段により選択を受け付けた画像を、検索補助クエリー画像として設定する補助検索クエリー画像設定手段と、
をさらに備えることを特徴とする請求項２または３に記載の画像検索装置。
【請求項５】
前記画像特徴量算出手段は、画像から複数の画像特徴量を算出することを特徴とし、
前記検索手段は、前記複数の画像特徴量と、それぞれの画像特徴量の重みとに基づき、前記検索クエリー画像と類似する画像を検索することを特徴とする請求項２乃至４のいずれか１項に記載の画像検索装置。
【請求項６】
前記画像から算出された画像特徴量を複数に分割する分割手段をさらに備え、
前記分割手段により分割されたそれぞれの値を１つの画像特徴量とすることを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置。
【請求項７】
前記画像から局所特徴量を取得する局所特徴量取得手段をさらに備え、
前記画像特徴量算出手段は、前記局所特徴量に基づき、複数の要素からなる値で表される画像特徴量を算出することを特徴とし、
前記分割手段は、当該画像特徴量を構成する複数の要素を、１または複数の要素毎に分割することを特徴とする請求項６に記載の画像検索装置。
【請求項８】
画像検索装置における情報処理方法であって、
前記画像検索装置の画像特徴量算出手段が、ユーザにより選択された複数の画像のそれぞれについて、画像特徴量を算出する画像特徴量算出工程と、
前記画像検索装置の画像特徴量類似度算出手段が、前記複数の画像間における画像特徴量の類似度を算出する画像特徴量類似度算出工程と、
前記画像検索装置の重み決定手段が、前記画像特徴量の類似度に応じて、画像特徴量の重みを決定する重み決定工程と、
前記画像検索装置の検索手段が、前記画像特徴量と、前記決定された重みとを用いて、前記選択された画像と類似する画像を検索する検索工程と、
を備えることを特徴とする情報処理方法。
【請求項９】
画像検索装置において実行可能なプログラムであって、
前記画像検索装置を、
ユーザにより選択された複数の画像のそれぞれについて、画像特徴量を算出する画像特徴量算出手段と、
前記複数の画像間における画像特徴量の類似度を算出する画像特徴量類似度算出手段と、
前記画像特徴量の類似度に応じて、画像特徴量の重みを決定する重み決定手段と、
前記画像特徴量と、前記決定された重みとを用いて、前記選択された画像と類似する画像を検索する検索手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索方式および表示方式に関する。
【背景技術】
【０００２】
大量の文書群から、キーワード（テキスト情報）を含む文書を検索するシステム（文書検索システムと呼ばれる）は、実世界の様々な局面で既に広く利用されており、その基本的な技術に関しても確立しているといえる。
【０００３】
それに対して言語化されていない画像情報を対象にした検索は、技術的に未だ研究もしくは実験的なレベルに留まっており、そのため実世界における利用も文書検索システムほど普及していないといえる。
【０００４】
画像の検索として現在実施されている手法としては、画像に付帯させた文字列情報（キーワードやタグと呼ばれる）を元に文書検索システムと同じ手法で検索するものがある。
【０００５】
また、近年では、探したい画像の元となる画像（クエリー画像と呼ばれる）を提示し、当該クエリー画像に近い画像を検索する類似画像検索システムという仕組みが提供されるようになってきた。
【０００６】
文書検索システムではキーワード（テキスト情報）を元に検索対象文書との照合処理（含んでいるか否か等）を行うが、類似画像検索システムでは、クエリー画像から抽出される該画像の特徴を数値化した値（画像特徴量と呼ばれる）を元に検索対象画像との照合処理（近い特徴量を持つか否か等）を行う。
【０００７】
利用者からクエリー画像を受信すると、該クエリー画像から画像特徴量を抽出し、該画像特徴量を予め検索対象の画像群から抽出しておいた画像特徴量群と比較し、画像特徴量同士の類似度が高い画像をクエリー画像と類似する画像であると判定し、それらの画像群を検索結果として応答する。
【０００８】
前記画像特徴量には様々な種類が存在し、それらは対象画像の異なる特徴を数値化するものである。例えば、色（色相、彩度、明度等から構成される）の分布を表す特徴量、基本的な模様（テクスチャー）の分布を表す特徴量、画像中の局所的な領域の濃度変化特徴を集めた特徴量、などがある。
【０００９】
一般に文書検索システムでは、文書が単に検索文字列（クエリーキーワード）そのもの、または同義語、もしくは類義語、を含むか否かを検索結果の判定指標として用いる。
【００１０】
これに対して、類似画像検索システムでは、検索で利用される画像特徴量に先述したように様々な種類があるために、ある検索要求があった場合に、どのような画像特徴に基づいて類似性を判定するかを決定する処理が必要になる。しかしながら、どのような画像特徴に基づくことが期待されるかは当然利用者毎に異なることが考えられるため、単にクエリー画像だけからそれを推測することは難しい。
【００１１】
例えば、ある利用者がＡという写真を元に検索する場合は、該利用者はＡの風景（例えば海岸）と同じような風景が写っている写真を結果として期待しているケースが考えられる。また、別の利用者は同じＡという写真を元にして写真に写っているオブジェクト（例えば古民家）と同じようなオブジェクトが写っている写真を結果として期待しているケースが考えられる。このようにクエリー画像だけから利用者が期待する画像特徴を一意に決定すること、つまりクエリー画像のどの画像特徴量に着目して類似性を判断すればよいのかを機械的に決定することは難しい。
【００１２】
このような課題を解決するために、例えば特許文献１の画像検索システムでは、検索に利用する画像特徴量として複数の種類を組み合わせて利用することができるようになっている。また、複数の特徴量を用いて検索する場合は、それらそれぞれに対する重みを利用者が指定することができるようになっている。さらに、検索結果を利用者が把握し易くするために、結果となった画像を３次元空間上に配置して表示することができる。各次元には検索に使用した特徴量を対応させている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開平１１−１７５５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上記特許文献１のシステムでは、利用者が検索に利用する画像特徴量の種別を明示的に指定しなければならない。また、類似度計算に用いる各特徴量の重み（配分）も、利用者が指定する必要がある。
【００１５】
そこで、本発明の目的は、画像の類似性の判定に用いる画像特徴量を利用者に明示的に指定させることなく、各画像特徴量の重み（配分）を自動的に最適化して類似画像を検索することが可能な仕組みを提供することである。
【課題を解決するための手段】
【００１６】
本発明は、ユーザにより選択された複数の画像のそれぞれについて、画像特徴量を算出する画像特徴量算出手段と、前記複数の画像間における画像特徴量の類似度を算出する画像特徴量類似度算出手段と、前記画像特徴量の類似度に応じて、画像特徴量の重みを決定する重み決定手段と、前記画像特徴量と、前記決定された重みとを用いて、前記選択された画像と類似する画像を検索する検索手段と、を備えることを特徴とする画像検索装置である。
【００１７】
また、本発明は、画像検索装置における情報処理方法であって、前記画像検索装置の画像特徴量算出手段が、ユーザにより選択された複数の画像のそれぞれについて、画像特徴量を算出する画像特徴量算出工程と、前記画像検索装置の画像特徴量類似度算出手段が、前記複数の画像間における画像特徴量の類似度を算出する画像特徴量類似度算出工程と、前記画像検索装置の重み決定手段が、前記画像特徴量の類似度に応じて、画像特徴量の重みを決定する重み決定工程と、前記画像検索装置の検索手段が、前記画像特徴量と、前記決定された重みとを用いて、前記選択された画像と類似する画像を検索する検索工程と、を備えることを特徴とする。
【００１８】
また、本発明は、画像検索装置において実行可能なプログラムであって、前記画像検索装置を、ユーザにより選択された複数の画像のそれぞれについて、画像特徴量を算出する画像特徴量算出手段と、前記複数の画像間における画像特徴量の類似度を算出する画像特徴量類似度算出手段と、前記画像特徴量の類似度に応じて、画像特徴量の重みを決定する重み決定手段と、前記画像特徴量と、前記決定された重みとを用いて、前記選択された画像と類似する画像を検索する検索手段として機能させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画像の類似性の判定に用いる画像特徴量を利用者に明示的に指定させることなく、各画像特徴量の重み（配分）を自動的に最適化して類似画像を検索することが可能な仕組みを提供できる。これにより、大量の画像の中から、利用者が期待する特徴を備えた画像を、迅速に、効率的に、検索し、発見することが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の画像検索システムの構成の一例を示すシステム構成図である。
【図２】図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【図３】図１に示した利用者端末１０１、画像検索装置１０２の機能ブロックの構成を表す図である。
【図４】図３に示した特徴量抽出部５０２の内部の機能ブロックを表す図である。
【図５】図３に示した特徴量データベース５０７における特徴量テーブルの一例を示す図である。
【図６】本発明における画像検索システムにおける検索対象画像の登録手順の一例を示すフローチャートである。
【図７】本発明における画像検索システムにおける検索処理の手順を示すフローチャートである。
【図８】本発明における図７のステップ７０４の重みを算出する手順の詳細を示すフローチャートである。
【図９】本発明における画像検索システムにおける利用者端末１０１の検索クエリー部３０１の画面の一例を示す図である。
【図１０】本発明における画像検索システムにおける検索結果の利用者端末１０１の検索結果表示部３０２の画面の一例を示す図である。
【図１１】本発明における画像検索システムにおけるクエリー画像の画像特徴量をグラフ化したものの一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
＜第１の実施形態＞
【００２２】
図１は、本発明の画像検索システムの構成の一例を示すシステム構成図である。
【００２３】
図１は、ひとつ又は複数の利用者端末１０１と、ひとつの画像検索装置１０２がローカルエリアネットワーク（ＬＡＮ）１０３を介して接続される構成となっている。
【００２４】
利用者端末１０１は、画像の検索を行う利用者が使用する情報処理装置であって、検索要求を作成し発信する機能と、検索結果を受信して表示する機能と、を有する。
【００２５】
画像検索装置１０２は、検索の対象となる複数の画像を記憶する機能と、利用者端末１０１からの検索要求を受け付け、画像の検索処理を行って検索結果を応答する機能と、を有する。また、外部から検索対象とする画像を入力する手段を有する。
【００２６】
以下、図２を用いて、図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成について説明する。
【００２７】
図２は、図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【００２８】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。
【００２９】
２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００３０】
また、２０５は入力コントローラで、入力装置２０９等からの入力を制御する。２０６はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置２１０への表示を制御する。なお、ディスプレイ装置は、液晶ディスプレイに限られず、ＣＲＴディスプレイなどであっても良い。これらは必要に応じてクライアントが使用するものである。
【００３１】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００３２】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ４００）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００３３】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００３４】
ハードウエア上で動作する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。
【００３５】
なお、全ての装置がこれらの構成を備えているわけではなく、必要なものを夫々備えていればよい。
【００３６】
次に、図３を用いて、本発明の画像検索システムの機能ブロックの構成について説明する。
【００３７】
画像検索システムは、利用者端末１０１と画像検索装置１０２と画像ソース６００から構成される。利用者端末１０１と画像検索装置１０２と画像ソース６００とはそれぞれネットワークを介して相互に通信可能に接続されている。
利用者端末１０１の構成について詳細に説明する。
【００３８】
利用者端末１０１は、検索クエリー部３０１と、検索結果表示部３０２と、から構成される。
【００３９】
検索クエリー部３０１は、利用者が検索要求とする検索クエリー画像と補助検索クエリー画像群を入力する手段を有し、該検索クエリー画像と該補助検索クエリー画像群を、ネットワークを通じて、画像検索装置１０２の検索処理部５０３へ送信する手段を有する、機能処理部である。図９に検索クエリー部３０１の画面例を示す。
【００４０】
図９で示すように検索クエリー部３０１は、クエリー画像表示部９００と、画像選択ボタン９０１と、検索実行ボタン９０２と、から構成される。クエリー画像表示部９００は、検索クエリー画像表示部９０３とそれ以外の領域から構成される。
【００４１】
検索クエリー画像表示部９０３の中には、検索クエリー画像（９０４）が表示される。検索クエリー画像表示部９０３以外のクエリー画像表示部９００の中には、補助検索クエリー画像群（９０５と９０６）の画像が複数表示される。
【００４２】
検索クエリー画像とは、従来の手法におけるクエリー画像と同じものであり、画像検索装置１０２における検索処理において検索対象画像との類似性判定の元となる画像である。
【００４３】
補助検索クエリー画像とは、検索クエリー画像のどの画像特徴に注目して検索をすべきかの情報を与えるための、いわば検索クエリー画像の情報を補助する目的に使われる画像であり、利用者が検索クエリー画像と類似していると考える画像が選ばれるものとする。
【００４４】
検索結果表示部３０２は、画像検索装置１０２から送信される検索結果を受信する手段と、該検索結果を表示する手段と、を有する機能処理部である。検索結果表示部３０２の画面例を図１０に示す。
【００４５】
図１０の９００から９０６までの部分は、前記検索クエリー部を示している。検索結果の画像群は９０９で示されている領域に類似性が高い結果の画像からソートされて表示される。前へボタン９０７と次へボタン９０８は検索結果が一画面に収まりきれない場合に使うページ移動のためのボタンを示している。
画像検索装置１０２の構成について詳細に説明する。
【００４６】
画像検索装置１０２は、画像登録部５０１と、特徴量抽出部５０２と、検索処理部５０３と、特徴量類似度計算部５０４と、重み算出部５０５と、検索結果送信部５０６と、特徴量データベース５０７と、画像データベース５０８と、特徴量検索部５０９と、から構成される。
【００４７】
画像登録部５０１は、検索対象となる画像を本システムへ登録する機能処理部である。画像ソース６００で指示されるシステムの外部のアクターから、検索対象とする画像データを受信または取得し、該画像データの画像特徴量を特徴量データベース５０７へ保存し、該画像データ自体を画像データベース５０８へ保存する機能を有する。
【００４８】
特徴量抽出部５０２は、画像データを入力として受け取り、該画像データの各種画像特徴量を抽出する機能処理部である。図４は、特徴量抽出部５０２の内部の機能ブロックの一例を示す図である。図４で示されるように、特徴量抽出部５０２は、個別の画像特徴量を抽出する複数の特徴量抽出部から構成される。
【００４９】
図４の５０２１から５０２４で指示される特徴量抽出部は、各々異なる種類の画像特徴量を抽出する機能処理部である。例えば、スケーラブルカラー特徴量（画像全体における色の分布状態を表す特徴量）、カラーレイアウト特徴量（画像の領域毎の色の分布状態を表す特徴量）、エッジヒストグラム特徴量（画像中の境界線に関する特徴量）、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量（局所的な領域の濃度変化特徴を表す特徴量）、などの画像特徴量を抽出する実装をそれぞれに当てはめることが考えられる。また、個別特徴量抽出部の個数は図４では４つであるが特に制限されるものではなく、利用する画像特徴量の数だけ実装されればよい。
【００５０】
検索処理部５０３は、利用者端末１０１からの検索要求を受信し、特徴量抽出部５０２と、特徴量類似度計算部５０４と、重み算出部５０５と、の各機能処理部を用いて検索処理の実行を制御し、検索結果送信部５０６に対して生成した検索結果の利用者端末１０１への送信の指示を行う、機能処理部である。
【００５１】
特徴量類似度計算部５０４は、一対の画像特徴量が入力され、該画像特徴量対の類似度を算出する、機能処理部である。
【００５２】
重み算出部５０５は、検索クエリー画像と補助検索クエリー画像間の複数の画像特徴量に関する類似度情報を入力として受け、該類似度情報を元に検索処理に用いる各画像特徴量の類似度を結合する場合に与える重み値（配分）を計算する、機能処理部である。
【００５３】
検索結果送信部５０６は、画像データを含む検索結果情報を、利用者端末１０１の検索結果表示部３０２へ送信する、機能処理部である。
【００５４】
特徴量データベース５０７は、検索対象となる画像データの複数の種類の画像特徴量のデータを保存する記憶領域である。該画像特徴量データは図５で例示されるテーブルで管理されている。
【００５５】
図５のテーブルは、１行が画像データベース５０８に蓄えられている１つの画像データを表し、画像データのＩＤ（識別子）（画像ＮＯとも言う）とともに特徴量Ａから特徴量Ｄの列名で指示されるカラムに、該画像のそれぞれの特徴量データが保存されていることを表している。
【００５６】
特徴量データは、次元数や数値の型には特徴量の種類によって違いがあるが、基本的には数値（整数や浮動小数点）の多次元ベクトルである。例えば、特徴量の１つであるカラーレイアウト特徴量は、整数の１２０次元ベクトルとして表現されている。
【００５７】
この実施例で説明する画像検索システムでは、図４で示しているように特徴量Ａから特徴量Ｄまでの４つの種類の画像特徴量を利用するものとする。
【００５８】
画像データベース５０８は、検索対象となる画像データ群を保存する記憶領域である。保存された画像データはＩＤ（識別子）によって直接アクセスできる手段を有する。
【００５９】
特徴量検索部５０９は、検索条件となる検索クエリー画像の複数の特徴量と各特徴量の類似度に与える重み値が入力され、該検索条件を元に特徴量データベース５０７のレコードとの検索処理を実行する機能処理部である。
【００６０】
画像ソース６００は、本画像検索システムにおける検索対象画像の出所（入力ソース）を表す外部アクターである。例えば、インターネット上で写真共有機能を有するサイトや、直接写真データを提供する利用者そのもの、または各種カメラやスキャナー等の映像入力機器などが考えられる。
【００６１】
次に図６を用いて、検索対象となる画像データを本画像検索システムへ登録する処理を説明する。
【００６２】
なお、図６のフローチャートで示す処理については、画像検索装置１０２のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００６３】
以下で説明する画像ソース６００（外部装置）は、上記で説明したようにいくつも種類が考えられるが、ここではシステムの管理者が操作する管理者端末（不図示）とした場合の例で説明する。
【００６４】
ステップＳ６０１では、画像登録部５０１は、図３の画像ソース６００で表わされるシステム管理者が操作する管理者端末から検索対象となる画像データを受信する。
【００６５】
ステップＳ６０２では、画像登録部５０１は、前記受信した画像データを、特徴量抽出部５０２へ入力する。特徴量抽出部５０２は、前記画像データを、図４の５０２１から５０２４で例示される各個別の特徴量抽出部にかけて、該画像データの特徴量Ａから特徴量Ｄの特徴量を算出する。通常これらの特徴量は数値ベクトルとして表現される。特徴量抽出部５０２は、抽出した前記特徴量データ（ＡからＤの４つ）を、画像登録部５０１へ入力する。
【００６６】
ステップＳ６０３では、画像登録部５０１は、ステップＳ６０２で入力された特徴量データを、特徴量データベース５０７へ登録する。図５のテーブルに行（レコード）が１つ追加されることになる。
【００６７】
ステップＳ６０４では、画像登録部５０１は、前記受信した画像データを画像データベース５０８に保存する。
以上の処理により画像登録の処理は終了する。
【００６８】
次に、図７を用いて、本発明の実施形態において画像検索装置１０２が行う画像検索処理について説明する。
【００６９】
なお、図７のフローチャートで示す処理については、画像検索装置１０２のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００７０】
まず、利用者端末１０１から画像検索装置１０２に対して検索クエリー画像を送信する手順について、利用者端末１０１の検索クエリー部３０１の画面例（図９）を用いて説明する。
【００７１】
利用者端末１０１は、利用者から図９に示す画像選択ボタン９０１の押下を受け付け、利用者から検索クエリー画像とするファイルの選択を受け付ける。利用者により選択された画像は９００で指示される領域に表示する。
【００７２】
そして、利用者端末１０１は、利用者から１つの検索クエリー画像および複数の補助検索クエリー画像の選択を受け付ける。図９の９０３で指示されている領域に表示されている画像９０４が検索クエリー画像であり、９０３で指示される領域外の２つの画像（９０５と９０６）は補助検索クエリー画像である。
【００７３】
検索クエリー画像と補助検索クエリー画像の選択を受け付けると、利用者による検索実行ボタン９０２の押下により、検索要求を画像検索装置１０２へ送信する要求（検索実行指示）を受け付ける。
【００７４】
利用者による検索実行指示を受け付けると、利用者端末１０１の検索クエリー部３０１は、前記検索クエリー画像と補助検索クエリー画像群を、画像検索装置１０２の検索処理部５０３へ送信する。
【００７５】
ステップＳ７０１では、画像検索装置１０２の検索処理部５０３は、利用者端末１０１の検索クエリー部３０１から送信された検索クエリー画像と補助検索クエリー画像群を受信する。
【００７６】
ステップＳ７０２では、検索処理部５０３は、前記検索クエリー画像と補助検索クエリー画像群のそれぞれの画像を特徴量抽出部５０２へ入力する。
【００７７】
特徴量抽出部５０２は前記各画像の特徴量種別毎の特徴量データ（本実施形態ではＡからＤの４種類の画像特徴量）を算出し、算出された特徴量データを検索処理部５０３へ入力する。
【００７８】
特徴量抽出部５０２への入力が、検索クエリー画像１つと、補助検索クエリー画像２つであった場合、検索クエリー画像に関するＡからＤの画像特徴量（４つの数値ベクトル）と、補助検索クエリー画像２つのそれぞれのＡからＤの画像特徴量（８つの数値ベクトル）、すなわち合計１２個の数値ベクトルが、検索処理部５０３へ入力されることになる。
【００７９】
ステップＳ７０３では、検索処理部５０３は、ステップＳ７０２で取得した、検索クエリー画像の特徴量データと、補助検索クエリー画像の特徴量データと、を特徴量類似度計算部５０４に入力する。特徴量類似度計算部５０４は、検索クエリー画像と各補助検索クエリー画像との類似度を特徴量種別毎に計算する。
【００８０】
例えば、検索クエリー画像をＸ、２つの補助検索クエリーをそれぞれＹとＺとし、画像特徴量Ａと画像特徴量Ｂに関する類似度を計算する場合は、ＸとＹの特徴量Ａに関する類似度（仮にＳｉｍＡ＿Ｘ−Ｙと名付ける）、ＸとＹの特徴量Ｂに関する類似度（仮にＳｉｍＢ＿Ｘ−Ｙと名付ける）、ＸとＺの特徴量Ａに関する類似度（仮にＳｉｍＡ＿Ｘ−Ｚと名付ける）、ＸとＺの特徴量Ｂに関する類似度（仮にＳｉｍＢ＿Ｘ−Ｚと名付ける）、という組合せでそれぞれ類似度を計算する。
【００８１】
２つの画像間のある１つの特徴量に関する類似度としては、例えば数値ベクトル間のユーグリッド距離を使って、１／（１＋ユーグリッド距離）などの式を使って算出することができる。この式では類似度は、２つの特徴量のユーグリッド距離が近ければ近いほど１．０に近づき、遠ければ遠いほど０．０に近づくことを表している。
【００８２】
２つの画像間の複数の特徴量の類似度は、特徴量（本実施形態ではＡからＤ）毎の類似度（スカラー）の配列（類似度ベクトルと呼ぶ）として表現することができる。
【００８３】
特徴量類似度計算部５０４は、入力された検索クエリー画像と全ての補助検索クエリー画像との組の単位で生成した類似度ベクトルを、検索処理部５０３へ入力する。
【００８４】
ステップＳ７０４では、検索処理部５０３は、ステップＳ７０３で入力された類似度ベクトル群を、重み算出部５０５へ入力する。重み算出部５０５は、前記類似度ベクトル群から検索処理に用いる特徴量毎の重み（重みベクトルと呼ぶ）を生成する。そして、前記生成された重みベクトルを検索処理部５０３へ入力する。
【００８５】
重みベクトル生成の詳細処理については、図８を用いて後述する。
【００８６】
ステップＳ７０５では、検索処理部５０３は、ステップＳ７０４で入力された重みベクトルと、ステップＳ７０２で取得した検索クエリー画像の特徴量データを、特徴量検索部５０９へ入力する。
【００８７】
特徴量検索部５０９では、前記検索クエリー画像の特徴量データと、特徴量データベース５０７に記憶されている全てのレコードの特徴量データとの類似度計算を、特徴量類似度計算部５０４を用いて行い、それぞれの類似度ベクトルを算出する。さらにそれら類似度ベクトルに対して、前記重みベクトルを内積した値を算出する。この値を単に類似度と呼ぶ。最後に特徴量検索部５０９は、この類似度と対応する画像ＮＯ（識別子）の対のリストを類似度の昇順にソートして、検索処理部５０３へ入力する。
【００８８】
ステップＳ７０６では、ステップ７０５で入力されたソートされた類似度と画像ＮＯのリスト情報を、検索結果送信部５０６へ入力する。
【００８９】
検索結果送信部５０６は、該画像ＮＯに対応する画像データを、画像データベース５０８から取得し、前記ソートされた画像ＮＯの順に、利用者端末１０１の検索結果表示部３０２へ送信する。
【００９０】
利用者端末１０１の検索結果表示部３０２では、前記検索結果を受信すると、図１０で示されるような画面で結果を表示する。
【００９１】
以上の処理により、利用者は利用者端末１０１を用いて検索結果を閲覧することが可能となる。
【００９２】
次に、図８を用いて図７のステップＳ７０４における特徴量の重み算出処理のフローを説明する。
【００９３】
なお、図８のフローチャートで示す処理については、画像検索装置１０２のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００９４】
ステップＳ８０１では、画像検索装置１０２の重み算出部５０５は、ステップＳ７０４で入力された類似度ベクトル群から各次元の値を平均化したベクトル（平均ベクトルと呼ぶ）を生成する。
【００９５】
例えば、（０．９、０．３）、（０．８、０．２）、（０．７、０．４）と３つの類似度ベクトル群が入力された場合、各次元の値の平均からなる新しいベクトルは、（（０．９＋０．８＋０．７）／３、（０．３＋０．２＋０．４）／３）＝（０．８、０．３）となる。
【００９６】
ステップＳ８０２では、ステップＳ８０１で算出した平均ベクトルの加重平均をとったベクトルを計算する。例えば、平均ベクトルが、（０．８、０．３）であった場合、（０．８／（０．８＋０．３）、０．３／（０．８＋０．３））≒（０．７３、０．２７）となる。これを重みベクトルとする。
【００９７】
以上がステップＳ７０４における特徴量の重み算出処理のフローの一例であるが、説明したような加重平均を重みベクトルにする例に限らず、類似度が高い特徴量はより高い重みが、類似度が小さい特徴量はより小さい重みが算出される計算法が適用されればいずれの方法で重みベクトルを算出してもよい。
【００９８】
以上のように、検索クエリー画像の特徴量と補助検索クエリー画像の特徴量の類似度を用いて、類似画像の検索処理を実行することで、利用者は明示的に検索に用いる特徴量の指定や特徴量の重みの指定をすることなく、所望の画像を検索することが可能となる。
＜第２の実施形態＞
【００９９】
本発明の第２の実施形態として、インクリメンタルな検索処理について説明する。
【０１００】
第１の実施形態においては、図７を用いて利用者から検索要求を受けてから、その検索結果を出力するまでの処理を説明した。ここで、ステップＳ７０６において、検索結果表示部３０２で結果を表示した後、その結果を元に利用者がさらなる検索要求を続けるケースが考えられる。
【０１０１】
そこで、本実施形態では、表示された検索結果をもとに、さらに検索処理を行う場合の処理について説明する。
図１０は、検索結果を表示する画面例である。
【０１０２】
利用者端末１０１は、利用者から、９０９の領域に表示した検索結果の画像群の中から、補助検索クエリー画像として用いる画像の選択を受け付ける。
【０１０３】
そして、利用者から、検索要求に使用した補助検索クエリー画像群（９０５、９０６）と、前記選択を受け付けた画像とを差し替える指示を受け付ける。ここで画像の差し替えは、ドラッグ＆ドロップにより行う方法や、差し替え指示を受け付けるボタン（不図示）の押下などの方法があるが、いずれの方法であっても良い。
【０１０４】
差し替え処理を行い、利用者から検索実行ボタン９０２の押下を受け付けると、差し替え後の補助検索クエリー画像を用いて検索処理（図７、図８のフローチャートで示す処理）が実行される。すなわち、検索クエリー画像（９０４）は変わらず、前記利用者により選択された画像を新たな（前よりより良い指標を与えると期待できる）補助検索クエリー画像として、新しい検索要求を行うことができる。
【０１０５】
以上のように、検索結果として表示された画像を補助検索クエリー画像として指定することを可能とすることで、利用者は検索結果をもとに繰り返し検索処理を実行することができ、所望の検索結果に近づけていくことが可能となる。
＜第３の実施形態＞
次に本発明の第３の実施形態について説明する。
【０１０６】
第１の実施形態では、複数の画像特徴量を利用する類似画像検索において、利用者が期待する良好な検索結果を計算するために、各画像特徴量の類似度によって最適な重みを与え、検索処理を行う仕組みであった。すなわち、複数の画像特徴量のうちいずれの特徴量の重みを高くして、いずれを低くすべきかを算出し、当該算出された重みを考慮して検索処理を実行するものであった。
【０１０７】
これに対して、第３の実施形態は、単一の画像特徴量を利用する類似画像検索においても、利用者が期待する良好な検索結果を出力するための実施形態である。
【０１０８】
まず、画像検索装置１０２の特徴量抽出部５０２は、利用者により選択された検索クエリー画像および補助検索クエリー画像のそれぞれについて、単一の画像特徴量を算出する。画像特徴量としては、例えば画像から得られる局所特徴量をＢａｇ  Ｏｆ  Ｆｅａｔｕｒｅｓと呼ばれる手法を適用し変換することで算出される（第１の実施形態のステップＳ７０２に相当する）。
【０１０９】
算出された画像特徴量をグラフ化したものを図１１に示す。これは画像に含まれる量子化された局所特徴量の分布を表すヒストグラムである。
【０１１０】
図１１の１１０１は検索クエリー画像の画像特徴量を示すヒストグラムであり、１１０２は補助検索クエリー画像の画像特徴量を示すヒストグラムである。横軸は画像中で認識された要素を表し、縦軸は画像中の各要素の出現数（量）を表している。図１１の例では、検索クエリー画像、補助検索クエリー画像から得た局所特徴量から算出された画像特徴量を１２次元の特徴ベクトルで表している。
【０１１１】
そして、図１１に示す検索クエリー画像のヒストグラムを１または複数の要素からなる複数の領域に分割する。例えば図１１の１１０１の例では、３つの要素毎に４分割（１１０３、１１０４、１１０５、１１０６）している。補助検索クエリー画像のヒストグラム（１１０２）についても１１０１と同様に３つの要素毎に４分割する。
【０１１２】
分割については、その都度、分割数や１領域あたりの要素数の設定を受け付けてもよいし、予め設定された数に分割するようにしてもよい。また、特徴ベクトルの次元数（要素の数）自体を分割数にする（１領域あたり１要素とする）ことで、それぞれの要素毎に重みの設定をすることが可能となる。
【０１１３】
そして、特徴量類似度計算部５０４は、領域毎に検索クエリー画像と補助検索クエリー画像との類似度を計算する。図１１に示す例においては、１１０３と１１０７、１１０４と１１０８、１１０５と１１０９、１１０６と１１１０といったように、対応する領域毎に類似度を計算する（第１の実施形態におけるステップＳ７０３に相当する）。
【０１１４】
このように、第３の実施形態においては、第１の実施形態における特徴量Ａ〜特徴量Ｄをそれぞれの領域（１１０３〜１１０６、１１０７〜１１１０）毎の特徴量に置き換えて、図７、図８に示す処理を実行する。
【０１１５】
以上説明したように、単一の画像特徴量を用いる場合であっても、図１１に示すように複数の領域に分割し、複数の画像特徴量として用いることで、第１の実施形態における処理と同様の効果を得ることが可能となる。
【０１１６】
すなわち、単一の画像特徴量でも、その中の部分領域毎に表現するものが異なる場合、どの部分を重視し、どの部分は考慮しなくて良いかを、特徴量の部分領域単位に重みを与えることで、類似性判断処理に反映することが可能となる。
【０１１７】
図１１の例にとると、グラフ（特徴量）１１０１とグラフ（特徴量）１１０２とは、それぞれの鼻２、鼻３、鼻４の度数を表す領域（１１０５と１１０９）、鼻５、口１、口２の度数を表す領域（１１０６と１１１０）は比較的に近い分布をしていることが認識できる。また、それ以外の領域（１１０３と１１０７、１１０４と１１０８）は分布に差があることが認識できる。
【０１１８】
このような対が、検索クエリー画像と補助検索クエリー画像で与えられた場合には、鼻２、鼻３、鼻４の度数を表す領域と鼻５、口１、口２の度数を表す領域への重みを高くし、それ以外の領域の重みを低くすることで、第１の実施形態と同様の効果を期待することが可能となる。
【０１１９】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１２０】
また、本発明におけるプログラムは、図６〜図８の処理方法をコンピュータが実行可能なプログラムである。なお、本発明におけるプログラムは図６〜図８の各装置の処理方法ごとのプログラムであってもよい。
【０１２１】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【０１２２】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【０１２３】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【０１２４】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２６】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２７】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１２８】
１０１  利用者端末
１０２  画像検索装置
１０３  ＬＡＮ
３０１  検索クエリー部
３０２  検索結果表示部
５０１  画像登録部
５０２  特徴量抽出部
５０３  検索処理部
５０４  特徴量類似度計算部
５０５  重み算出部
５０６  検索結果送信部
５０７  特徴量データベース
５０８  画像データベース
５０９  特徴量検索部
６００  画像ソース
【図１】
2014010640.tif 000003
【図２】
2014010640.tif 000004
【図３】
2014010640.tif 000005
【図４】
2014010640.tif 000006
【図５】
2014010640.tif 000007
【図６】
2014010640.tif 000008
【図７】
2014010640.tif 000009
【図８】
2014010640.tif 000010
【図９】
2014010640.tif 000011
【図１０】
2014010640.tif 000012
【図１１】
2014010640.tif 000013