(57)【特許請求の範囲】
【請求項１】
画像メモリに記憶されている画像の集合の中から、指定された特定の入力画像に類似する画像を自動的に検索する画像検索システムに接続された評価装置が実行する前記画像検索システムの評価方法であって、
前記評価装置は、
評価画像データベースに記憶された様々なカテゴリーに属する画像の集合の中から特定のカテゴリーを選択する選択ステップと、
前記選択ステップで選択したカテゴリーに属する複数の画像の中の１画像を前記入力画像として前記画像検索システムに与える画像提供ステップと、
前記画像提供ステップで与えられた画像をキー画像として前記画像検索システムに前記画像の集合の中から前記キー画像に類似する画像を検索させる画像検索ステップと、
前記画像検索ステップで得られた類似画像候補のうち前記特定カテゴリーに属する画像の数の割合を前記特定カテゴリーに属する全ての画像について算出し、該割合の総和またはその平均値を前記画像検索システムの性能の評価値として算出する性能評価ステップと、を実行することを特徴とする画像検索システムの評価方法。
【請求項２】
前記画像検索システムに検索させる類似画像候補の数は、前記特定カテゴリーに属する画像の数と同一またはそれよりも小さく設定されていることを特徴とする請求項１記載の画像検索システムの評価方法。
【請求項３】
画像メモリに記憶されている画像の集合の中から、指定された特定の入力画像に類似する画像を自動的に検索する画像検索システムの評価を行う評価プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
様々なカテゴリーに属する画像の集合の中から特定のカテゴリーを選択し、その選択したカテゴリーに属する複数の画像の中の１画像を前記入力画像として前記画像検索システムに与えたときに、前記画像検索システムによって前記画像の集合の中から検索される類似画像候補のうち前記特定カテゴリーに属する画像の数の割合を前記特定カテゴリーに属する全ての画像について求め、該割合の総和またはその平均値を用いて前記画像検索システムの性能を評価する評価プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項４】
前記画像検索システムに検索させる類似画像候補の数は、前記特定カテゴリーに属する画像の数と同一またはそれよりも小さく設定されていることを特徴とする請求項３記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像検索システムの評価方法および評価プログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラの普及、およびコンピュータによる画像処理技術の発達に伴い、ディジタル画像を検索および表示するための様々な画像検索システムが開発されている。このような画像検索システムとしては、例えば、画像特徴ベクトルによってパターン分類された画像データベースを構築し、該画像データベースの中から特定の入力画像と一致または近似する特徴ベクトルを有する画像を検索するものが知られている（特開平９−４４５１８号公報）。
【０００３】
【発明が解決しようとする課題】
しかし、このような画像検索システムにおいては、文書検索などの場合とは異なり、画像特有の曖昧性を特徴量としてとらえることが必要となるため、その特徴量の抽出・解析の手法によっては検索結果に大きなバラツキが生じる。また、検索エンジンの画像特徴の捉え方と人間の視覚的特性との違い等により、検索エンジンそのものの画像解析能力が高くとも、ユーザにとって必ずしも満足のいく検索結果が得られるとは限らない。
【０００４】
よって、画像検索システムの性能を客観的に評価するための仕組みが要求されている。
【０００５】
本発明は上述の事情を考慮してなされたものであり、その目的とするところは、開発時、工場出荷時あるいはユーザ購入時などに画像検索システムの性能を客観的に評価することが可能な画像検索システムの評価方法および評価プログラムが記録された記録媒体を提供することにある。
【０００６】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、画像メモリに記憶されている画像の集合の中から、指定された特定の入力画像に類似する画像を自動的に検索する画像検索システムに接続された評価装置が実行する前記画像検索システムの評価方法であって、前記評価装置は、評価画像データベースに記憶された様々なカテゴリーに属する画像の集合の中から特定のカテゴリーを選択する選択ステップと、前記選択ステップで選択したカテゴリーに属する複数の画像の中の１画像を前記入力画像として前記画像検索システムに与える画像提供ステップと、前記画像提供ステップで与えられた画像をキー画像として前記画像検索システムに前記画像の集合の中から前記キー画像に類似する画像を検索させる画像検索ステップと、前記画像検索ステップで得られた類似画像候補のうち前記特定カテゴリーに属する画像の数の割合を前記特定カテゴリーに属する全ての画像について算出し、該割合の総和またはその平均値を前記画像検索システムの性能の評価値として算出する性能評価ステップと、を実行することを特徴とする。
【０００７】
この評価方法においては、ある選択された特定のカテゴリーに属する複数の画像の中の１画像を入力画像としたときに画像検索システムによって検索される類似画像候補のうち前記入力画像と同じカテゴリーに属する画像の数の割合が求められる。この処理は入力画像を順次変更しながら行われ、これにより特定のカテゴリーに属する全ての画像それぞれについて、それを入力画像としたときの割合が求められる。このようにして、各入力画像毎に求められた割合の総和またはその平均値を用いて画像検索システムの性能が自動的に評価される。
【０００８】
よって、様々なカテゴリーに属する多数の画像を含む画像集合を予め用意しておくだけで、画像検索システムの性能を客観的に評価することが可能となる。特に、ディジタルカメラ等で撮影された多数の実写画像を、人間の視覚的特性に基づく判断によってシーン別などの様々なカテゴリーに分類して評価用の画像集合を用意した場合には、ディジタルカメラで撮影された画像の特性やカテゴリー分けに際しての人間の視覚特性を考慮した状態で、検索システムの性能評価を客観的に行うことが可能となる。
【０００９】
また、前記画像検索システムに検索させる類似画像候補の数は、前記特定カテゴリーに属する画像の数と同一またはそれよりも小さく設定しておくことが好ましい。検索結果として出力される類似画像候補の数を大きく設定すると、特定カテゴリーに属する画像のうちで検索されなかった画像に関する評価が問題となるが、出力する類似画像候補の数を特定カテゴリーに属する画像の数と同一またはそれよりも小さく設定しておくことにより、このような問題を無くすことができ、正当な評価を行うことが可能となる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１には、本発明の一実施形態に係る評価システム１１および評価対象となる画像検索システム２１それぞれの機能構成が示されている。評価システム１１は、画像検索システム２１の検索性能を評価するためのものであり、そのために画像評価データベース１内に用意された画像集合を評価用画像として使用する。
【００１１】
画像評価データベース１には、画像ファイル群１ａとカテゴリー分類情報１ｂとが記録されている。画像ファイル群１ａは評価用の画像集合であり、ここには様々なカテゴリーに属する画像データフィルが多数記録されている。各画像データはディジタルカメラ等で撮影されたものである。カテゴリー分類情報１ｂは、画像ファイル群１ａ内の画像データそれぞれが複数のカテゴリーの中のどのカテゴリーに属するかを示す情報であり、カテゴリー毎にそれに属する画像ファイル名と画像数などを定義している。
【００１２】
評価システム１１は例えばコンピュータ上で実行可能なソフトウェアとして実現されるものであり、その機能モジュールとして、図示のように、検索起動部１１１、ヒット率計算部１１２、および全体ヒット率計算部１１３を備えている。同様に、画像検索システム２１も多くの場合にはマイコンなども含めるとコンピュータ上で実行可能なソフトウェアとして実現されている。画像検索システム２１の検索処理エンジン２１１は、検索対象画像群それぞれの画像特徴量と、キー画像として与えられる入力画像の画像特徴量との比較などによって、入力画像に類似する類似画像候補を検索する。この場合、検索結果として出力する類似画像候補類の数は予め指定することができる。
【００１３】
なお、この検索処理エンジン２１１が使用する検索方法は如何なるものであってもよい。検索処理エンジン２１１によっては予め検索対象画像それぞれから画像特徴を抽出してインデックスを生成しておくものもあるが、このインデックスと前述のカテゴリー分類情報１ｂの内容は全く独立している。つまり、検索処理エンジン２１１は、画像ファイル群１ａを検索対象画像とするものの、検索に際しては、カテゴリー分類情報１ｂについては一切使用しない。
【００１４】
検索起動部１１１は、評価画像データベース１に対する問い合わせによって特定のカテゴリーに属する１画像を取り出し、それをキー画像として検索処理エンジン２１１に与えて検索処理を実行させる。ヒット率計算部１１２は、検索処理エンジン２１１によって検索された類似画像候補のうちキー画像と同じカテゴリーに属する画像の割合（ヒット率）を計算し、それを評価データベース２に記録する。キー画像と同じカテゴリーに属する全ての画像が類似画像候補として検索された場合には、１００パーセントのヒット率（ヒット率＝１）となる。
【００１５】
検索起動部１１１によって検索処理エンジン２１１に与えられるキー画像は同一カテゴリー内で順次変更される。これにより同一カテゴリー内に属する全ての画像について上述のヒット率が求められる。
【００１６】
全体ヒット率計算部１１３は、特定カテゴリー内の各画像毎に求められたヒット率を評価データベース２から読み出し、そのヒット率の総和または平均値を算出する。この値は、画像検索システム２１の検索性能評価値として出力される。
【００１７】
次に、図２乃至図４を参照して、本実施形態で用いられる評価方法の仕組みについて具体的に説明する。
【００１８】
図２は、評価画像データベース１内に格納されている画像集合とそのカテゴリー分けの一例が示されている。ここで、カテゴリー分けは、例えば「パーティー」、「会議」、「運動会」、「雪山」、「海水浴」、「繁華街」、「花」、「動物」などのようなシーン別に画像を分類することによって行われる。この分類作業は、人間の視覚的判断によって行われる。図２では、「カテゴリーＡ」、「カテゴリーＢ」、「カテゴリーＣ」、…というカテゴリー分けがなされている。「カテゴリーＡ」にはａ１，ａ２，…，ａｎの画像が含まれており、同様に「カテゴリーＢ」にはｂ１，ｂ２，…，ｂｎの画像が含まれ、「カテゴリーＣ」にはｃ１，ｃ２，…，ｃｎの画像が含まれている。ここで、ｎの値は例えば百から数百程度にすることがこのましい。また、全てのカテゴリーそれぞれのｎの値は完全に一致させる必要はないが、同程度であることが望ましい。
【００１９】
これら画像集合ａ１，ａ２，…，ａｎ、ｂ１，ｂ２，…，ｂｎ、ｃ１，ｃ２，…，ｃｎ、……は前述の画像ファイル群１ａに格納されており、これら画像集合が評価用の検索対象画像となる。評価に際しては、各カテゴリー毎にそのカテゴリーに属する全ての画像が順番にキー画像として選択される。図３にこの様子を示す。
【００２０】
すなわち、「カテゴリーＡ」に関する評価に際しては、その「カテゴリーＡ」に属する画像ａ１，ａ２，…，ａｎが順番にキー画像として選択され、各キー画像毎にヒット率が求められる。同様に「カテゴリーＢ」に関する評価に際しては、その「カテゴリーＢ」に属する画像ｂ１，ｂ２，…，ｂｎが順番にキー画像として選択され、各キー画像毎にヒット率が求められ、そして「カテゴリーＣ」に関する評価に際しては、その「カテゴリーＣ」に属する画像ｃ１，ｃ２，…，ｃｎが順番にキー画像として選択され、各キー画像毎にヒット率が求められる。最終的な評価値は、各カテゴリー毎にヒット率の総和または平均値を求め、それを全カテゴリーについて平均化することによって得られる。この手順を以下に示す。
【００２１】
（１）「カテゴリーＡ」に属する画像のヒット率
画像ａｋ（ｋ＝１〜ｎ）をキー画像として検索した結果、画像ａ１，ａ２，…，ａｎのうちのＸｋ枚が類似画像候補として検索されたとすると、ヒット率Hk(A)は、
Hk(A)=Xk / n              …（１）
で与えられる。
【００２２】
これをａｋ（ｋ＝１〜ｎ）のすべてについて求め、その総和Σ{k=1,k=n}Hk(A)の平均値
Σ{k=1、k=n}Hk(A)/ n       …（２）
を求める。
【００２３】
（２）同様に、「カテゴリーＢ」、「カテゴリーＣ」、…についてもヒット率の総和の平均値Σ{k=1、k=n}Hk(B)/ n、Σ{k=1、k=n}Hk(C)/ n、…を求める。
【００２４】
（３）以上の総和の平均値Ｈを求め、これを最終的なヒット率（評価値）とする。
H=｛Σ{k=1、k=n}Hk(A)/ n + Σ{k=1、k=n}Hk(B)/ n + Σ{k=1、k=n}Hk(C)/ n｝／ M                        …（３）
ただし、Ｍはカテゴリーの数である。
なお、各カテゴリーに属する画像の数ｎが同一であれば、必ずしも各カテゴリー毎にヒット率の総和の平均値を求める必要はなく、各カテゴリーのヒット率の総和だけでも上記最終的なヒット率（評価値）に相当する評価値を得ることができる。
【００２５】
図４には、画像検索システム２１に検索させる類似画像候補の数と各カテゴリーに属する画像の数ｎとの関係が示されている。図４（Ａ）は類似画像候補の数をカテゴリー内の画像数ｎよりも大きくした場合の例であり、また図４（Ｂ）は類似画像候補の数をカテゴリー内の画像数ｎに等しく設定した場合の例である。図４（Ａ）のように検索結果として出力される類似画像候補の数を大きく設定すると、「キー画像と同一のカテゴリー内に属する全ての画像が検索されたときのヒット率を１とする」という評価指数が不完全なものとなるので、特定カテゴリーに属する画像のうちで検索されなかった画像に関する評価が問題となる。そこでで、本実施形態では、図４（Ｂ）の様に、出力する類似画像候補の数を特定カテゴリーに属する画像の数と同一に設定する。これは、検索開始に先立ち、例えば検索起動部１１１が、キー画像として使用する画像が属しているカテゴリー内の画像数ｎの値をカテゴリー分類情報１ｂから読み取り、それを検索出力すべき類似画像候補数として画像検索システム２１に設定すること等によって実現できる。
【００２６】
次に、図５乃至図１０のフローチャートを参照して、本実施形態の評価処理の手順について説明する。
【００２７】
図５は「評価用画像の準備」から「検索実行・評価」までの流れを概略的に示したものである。まず、評価用画像の準備処理として、ステップＳ１０１からＳ１０４までの処理が行われる。ステップＳ１０１〜Ｓ１０４はコンピュータ上で人手によってなされる操作に基づいて行われるものであり、まず、コンピュータ上に評価用画像として使用すべき多数の画像が用意され（ステップＳ１０１）、それら画像群のシーン分類およびシーン整理が、一人あるいは複数人の操作者による判断に基づいて行われる（ステップＳ１０２，Ｓ１０３）。これにより、評価用画像は複数のカテゴリー（シーン）に分類される。そして、カテゴリー別（シーン別）の画像数がカウントされ、それがカテゴリー分類情報１ｂに登録されることにより（ステップＳ１０４）、評価画像データベース１が作成される。この後、評価システム１１による「検索実行・評価」処理（ステップＳ１０５）が開始される。「検索実行・評価」処理の手順を図６に示す。
【００２８】
図６のフローチャートはネスト型の構造となっており、ループＡは各カテゴリーのヒット率を求める部分であり、またループＢは全カテゴリーのヒット率を求める部分である。
【００２９】
カテゴリー毎のヒット率の算出は、画像検索システム２１に検索を実行させる検索実行処理（ステップＳ１１１）、検索結果からヒット率を求めるヒット率計算処理（ステップＳ１１２）、求めたヒット率を評価データベース２に記録するヒット率記録処理（ステップＳ１１３）を、キー画像を変更しながら、同一カテゴリー内（同一シーン内）の全画像について繰り返し実行する（ステップＳ１１４）、ことによって行われる（ステップＳ１１４）。
【００３０】
検索実行処理（ステップＳ１１１）では、図７のフローチャートに示すように、検索起動部１１１によって評価画像データベース１への問い合わせが行われ、処理対象のある特定のカテゴリーに属する１画像が取り出される。そして、その取り出した１画像をキー画像として画像検索システム２１に与えることにより、画像検索システム２１の検索処理が開始される（ステップＳ１２２）。
【００３１】
ヒット率計算処理（ステップＳ１１２）では、図８のフローチャートに示すように、ヒット率計算部１１２は、まず、カテゴリー分類情報１ｂを参照することによってキー画像が属するカテゴリー内の画像総数（シーン画像総数）を調べ（ステップＳ１３１）、次いで、画像検索システム２１によって検索された類似画像候補の内、キー画像が属するカテゴリー内に属する画像数（同一シーン画像数）が調べる（ステップＳ１３２）。そして、同一シーン画像数とシーン画像総数とからヒット率（＝同一シーン画像数／シーン画像総数）が求められる（ステップＳ１３３）。
【００３２】
あるカテゴリーの全画像について処理が終了すると（図６のステップＳ１１４のＹＥＳ）、各キー画像毎に求められたヒット率の総和の平均を算出するシーンヒット率計算処理（ステップＳ１１５）が行われ、これによって算出されたシーンヒット率が評価データベース２に記録される（ステップＳ１１６）。シーンヒット率計算処理（ステップＳ１１５）は、図９のフローチャートに示すように、各キー画像毎に求められたヒット率を評価データベース２から読み込み（ステップＳ１４１）、それらの総和の平均を求めることによって行われる（ステップＳ１４２）。
【００３３】
ある選択された特定のカテゴリーについてステップＳ１１６までの処理が終了すると、今度は、別のカテゴリーについて同様の処理が行われる（ステップＳ１１１〜Ｓ１１６）。このようにして、全カテゴリーについてのシーンヒット率の記録が完了すると（ステップＳ１１７のＹＥＳ）、全カテゴリーそれぞれのシーンヒット率の総和の平均を求める全体ヒット率計算処理（ステップＳ１１８）が実行されるる。この全体ヒット率計算処理（ステップＳ１１８）は、図１０のフローチャートに示すように、各カテゴリー毎に求められたシーンヒット率を評価データベース２から読み込み（ステップＳ１４３）、それらの総和の平均を求めることによって行われる（ステップＳ１４４）。
【００３４】
以上のように、本実施形態においては、ディジタルカメラ等で撮影された多数の実写画像をカテゴリー分けすることによって評価用画像群を予め用意しておき、そして特定のカテゴリーに属する全ての画像それぞれについて、それをキー画像としたときのヒット率を求めることにより、ディジタルカメラで撮影された画像の特性やカテゴリー分けに際しての人間の視覚特性を考慮した状態で、検索システム２１の性能評価を客観的に行うことが可能となる。よって、ユーザ使用時の検索性能を、正しく評価することが可能となる。
【００３５】
なお、本実施形態では、全てのカテゴリーそれぞれについてのシーンヒット率の平均を最終的な評価値として使用したが、ある選択された特定のカテゴリーについてのシーンヒット率を最終的な評価値として使用するという簡易的な手法を用いても良い。また、本実施形態の評価システム１１の手順を含む検索評価用のコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録しておくことにより、本検索評価用のコンピュータプログラムを記録媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を得ることが可能となる。また、本発明は、画像検索システムの種別によらずに適用することができるので、様々な画像検索システムの評価に使用することができる。
【００３６】
【発明の効果】
以上詳述した如く本発明によれば、開発時、工場出荷時あるいはユーザ購入時などに画像検索システムの性能を客観的に評価することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る評価システムおよび評価対象となる画像検索システムそれぞれの機能構成を示すブロック図。
【図２】同実施形態で評価用画像として用いられる画像群のカテゴリー分けの一例を示す図。
【図３】同実施形態における評価方法の原理を説明するための図。
【図４】同実施形態において検索システムに検索結果として出力させる類似画像候補の数と各カテゴリーに属する画像数との関係を説明するための図。
【図５】同実施形態における評価処理の流れを概略的に示すフローチャート。
【図６】同実施形態における検索実行・評価処理の手順を示すフローチャート。
【図７】図６の検索実行・評価処理内で行われる検索実行処理の手順を示すフローチャート。
【図８】図６の検索実行・評価処理内で行われるヒット率計算処理の手順を示すフローチャート。
【図９】図６の検索実行・評価処理内で行われるシーンヒット率計算処理の手順を示すフローチャート。
【図１０】図６の検索実行・評価処理内で行われる全体ヒット率計算処理の手順を示すフローチャート。
【符号の説明】
１…評価画像データベース
２…評価データベース
１１…評価システム
２１…画像検索システム
１１１…検索起動部
１１２…ヒット率計算部
１１３…全体ヒット率計算部
２１１…検索処理エンジン
【図１】
0004426698.tif 000002
【図２】
0004426698.tif 000003
【図３】
0004426698.tif 000004
【図４】
0004426698.tif 000005
【図５】
0004426698.tif 000006
【図６】
0004426698.tif 000007
【図７】
0004426698.tif 000008
【図８】
0004426698.tif 000009
【図９】
0004426698.tif 000010
【図１０】
0004426698.tif 000011