(57)【要約】【課題】多様な種類の画像に対して適切な画像検索方法を提供する。【解決手段】入力文書画像１００を類似文書画像検索部１０及び類似テキスト画像検索部２０に供給する。類似文書画像検索部１０は、画像を縦又は横に投影した時の投影波形の類似性に基づき、各登録画像の入力文書画像１００に対する類似度スコア（第１スコア１１０）を計算する。類似テキスト検索部２０は、画像を文字認識した結果としてのテキストの類似性に基づき、各登録画像の入力文書画像１００に対する類似度スコア（第２スコア１２０）を計算する。スコア統合部５０は、各登録画像の第１スコア１１０の全体集合から個々の登録文書の第１スコア１１０の偏差値を求め、第２スコア１２０についても同様に偏差値を求める。そして、それら２つの偏差値のうちの大きい方を当該登録文書の統合スコアとする。そして統合スコアの大きい登録画像を検索結果とする。【選択図】図１
2007026386.tif 000002
【特許請求の範囲】
【請求項１】
複数の登録画像の中から入力画像に類似する１乃至複数の登録画像を検索する画像検索システムであって、
画像の持つ互いに異なる複数の特徴の各々について、当該特徴に着目した場合の入力画像に対する各登録画像の類似度スコアをそれぞれ計算するスコア計算手段と、
登録画像に対して計算された前記各特徴に対応する類似度スコアを統合することで当該登録画像についての統合スコアを求める統合スコア計算手段と、
各登録画像について求めた統合スコアに基づき入力画像に合致する登録画像の検索結果を求める検索結果特定手段と、
を備える画像検索システム。
【請求項２】
前記統合スコア計算手段は、前記特徴ごとに、当該特徴に着目した場合の各登録画像の類似度スコアに対して統計的な標準化処理を施すことにより各登録画像の標準化スコアを求め、登録画像についての前記特徴ごとの標準化スコアを統合することにより当該登録画像についての統合スコアを求める、ことを特徴とする請求項１記載の画像検索システム。
【請求項３】
前記統合スコア計算手段は、登録画像の前記標準化スコアとして、同一の特徴に着目した場合の各登録画像の類似度スコア全体の中での当該登録画像の類似度スコアの偏差値を計算することを特徴とする請求項２記載の画像検索システム。
【請求項４】
前記統合スコア計算手段は、登録画像についての前記特徴ごとの標準化スコアの中の最良スコアを統合スコアとすることを特徴とする請求項２記載の画像検索システム。
【請求項５】
前記スコア計算手段は、前記特徴ごとの類似度スコアを求めるための手段として、
入力画像の第１の画像特徴量を求め、この第１の画像特徴量と、各登録画像の第１の画像特徴量とに基づき、各登録画像の入力画像に対する第１の類似度スコアを計算する第１スコア計算手段と、
入力画像に対して文字認識処理を施し、文字認識処理により得られた入力画像中のテキスト文字列に関する所定の特徴量を求め、このテキスト文字列に関する特徴量と、前記画像情報データベースから求められる各登録画像のテキスト文字列に関する特徴量とに基づき、各登録画像の入力画像に対する第２の類似度スコアを計算する第２スコア計算手段と、
を備えることを特徴とする請求項１記載の画像検索システム。
【請求項６】
前記第２スコア計算手段は、前記入力画像と前記登録画像との間での各部分文字列の出現頻度の一致度合いに基づき前記第２の類似度スコアを計算することを特徴とする請求項５記載の画像検索システム。
【請求項７】
前記第２スコア計算手段は、前記入力画像と前記登録画像との間での各部分文字列の出現位置の一致度合いに基づき前記第２の類似度スコアを計算することを特徴とする請求項６記載の画像検索システム。
【請求項８】
複数の登録画像の中から入力画像に類似する１乃至複数の登録画像を検索する画像検索システムであって、
画像の持つ互いに異なる複数の特徴の各々について当該特徴に着目した場合の入力画像に対する各登録画像の類似度スコアをそれぞれ計算するスコア計算手段に対して入力画像を提供し、該スコア計算手段から、各登録画像に対する前記各特徴に対応する類似度スコアの値を取得する手段と、
登録画像に対して計算された前記各特徴に対応する類似度スコアを統合することで当該登録画像についての統合スコアを求める統合スコア計算手段と、
各登録画像について求めた統合スコアに基づき入力画像に合致する登録画像の検索結果を求める検索結果特定手段と、
を備える画像検索システム。
【請求項９】
複数の登録画像の中から入力画像に類似する１乃至複数の登録画像を検索する画像検索方法であって、
画像の持つ互いに異なる複数の特徴の各々について、当該特徴に着目した場合の入力画像に対する各登録画像の類似度スコアをそれぞれ計算し、
登録画像に対して計算された前記各特徴に対応する類似度スコアを統合することで当該登録画像についての統合スコアを求め、
各登録画像について求めた統合スコアに基づき入力画像に合致する登録画像の検索結果を求める、
画像検索方法。
【請求項１０】
前記統合スコアを求めるステップでは、前記特徴ごとに、当該特徴に着目した場合の各登録画像の類似度スコアに対して統計的な標準化処理を施すことにより各登録画像の標準化スコアを求め、登録画像についての前記特徴ごとの標準化スコアを統合することにより当該登録画像についての統合スコアを求める、ことを特徴とする請求項９記載の画像検索方法。
【請求項１１】
複数の登録画像の中から入力画像に類似する１乃至複数の登録画像を検索する画像検索方法であって、
画像の持つ互いに異なる複数の特徴の各々について当該特徴に着目した場合の入力画像に対する各登録画像の類似度スコアをそれぞれ計算するスコア計算手段に対して入力画像を提供し、該スコア計算手段から、各登録画像に対する前記各特徴に対応する類似度スコアの値を取得し、
登録画像に対して計算された前記各特徴に対応する類似度スコアを統合することで当該登録画像についての統合スコアを求め、
各登録画像について求めた統合スコアに基づき入力画像に合致する登録画像の検索結果を求める、
画像検索方法。
【請求項１２】
コンピュータシステムを、複数の登録画像の中から入力画像に類似する１乃至複数の登録画像を検索する画像検索システムとして機能させるためのプログラムであって、該コンピュータシステムを、
画像の持つ互いに異なる複数の特徴の各々について、当該特徴に着目した場合の入力画像に対する各登録画像の類似度スコアをそれぞれ計算するスコア計算手段、
登録画像に対して計算された前記各特徴に対応する類似度スコアを統合することで当該登録画像についての統合スコアを求める統合スコア計算手段、
各登録画像について求めた統合スコアに基づき入力画像に合致する登録画像の検索結果を求める検索結果特定手段、
として機能させるためのプログラム。
【請求項１３】
前記統合スコア計算手段は、前記特徴ごとに、当該特徴に着目した場合の各登録画像の類似度スコアに対して統計的な標準化処理を施すことにより各登録画像の標準化スコアを求め、登録画像についての前記特徴ごとの標準化スコアを統合することにより当該登録画像についての統合スコアを求める、ことを特徴とする請求項１２記載のプログラム。
【請求項１４】
コンピュータシステムを、複数の登録画像の中から入力画像に類似する１乃至複数の登録画像を検索する画像検索システムとして機能させるためのプログラムであって、該コンピュータシステムを、
画像の持つ互いに異なる複数の特徴の各々について当該特徴に着目した場合の入力画像に対する各登録画像の類似度スコアをそれぞれ計算するスコア計算手段に対して入力画像を提供し、該スコア計算手段から、各登録画像に対する前記各特徴に対応する類似度スコアの値を取得する手段、
登録画像に対して計算された前記各特徴に対応する類似度スコアを統合することで当該登録画像についての統合スコアを求める統合スコア計算手段、
各登録画像について求めた統合スコアに基づき入力画像に合致する登録画像の検索結果を求める検索結果特定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベース等に登録された登録画像の中から入力された画像に合致する画像を検索する技術に関する。
【背景技術】
【０００２】
近年、企業における情報のセキュリティ強化、コンプライアンスあるいは個人情報の保護など情報の取扱いが重要視されてきている。例えば、企業側は、監査などに応じて業務がどのような情報に基づいて遂行されたかを公開する必要がある。そのためには、情報に対するアクセス状況をログ管理して、いつ誰がどのような情報をどこからどう処理したのかなどを特定できるようにしておく必要がある。
【０００３】
このような流れの中、例えば複写や印刷出力、ファクシミリ送信などによる文書の出力や、スキャンによる紙文書の電子化入力などの出来事があった場合、その時に出力又は入力された画像データを日付や操作者名などと共にログとして残しておき、後で漏洩の可能性のある文書が発見された場合、その文書と同じ文書をそのログ（画像ログ）から検索することで、漏洩源などを特定する等というシステムが提案されている。
【０００４】
このようなシステムのためには、注目する文書に該当する画像をログの中から検索する必要がある。検索キーワードなどを細々と入力するのではなく、注目する文書をスキャンして得た画像そのものを検索条件として検索ができれば、操作性が非常によくなる。上記のようなセキュリティ目的に限らなくても、スキャンした画像に近い画像を画像データベースの中から検索できると便利である。
【０００５】
このような画像検索に関する従来技術として、特許文献１〜４に示すものがある。これら従来技術は、スキャンした文書の画像データから画像特徴量を算出し、その画像特徴量に基づいてデータベースから類似の画像データを検索している。
【０００６】
また特許文献５に示される装置は、文書画像とその付属情報（検索要求文）とが検索条件として入力されると、その文書画像と画像特徴量が類似する登録文書をデータベースから検索して中間結果を求め、その中間結果の中から検索条件の付属情報と一致するものを最終的な検索結果としている。
【０００７】
【特許文献１】特開２００４−１３９２１０号公報
【特許文献２】特開平９−２７０９０２号公報
【特許文献３】特開２００３−２８１１７６号公報
【特許文献４】特開平１０−４９６５９号公報
【特許文献５】特開２００５−１４９０７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１〜４の従来技術は、いずれも基本的に単一の画像特徴の値に基づき画像の類似性を判定している。ところが、このような単一の画像特徴による類似性の判定には、それぞれ得意な画像種類、不得意な画像種類があるなどして、必ずしも見た目の感覚に近い類似度が得られない。例えば風景写真画像同士の類似度を算出したい場合、ＯＣＲ（光学文字認識）で求めたテキスト文字列を元にした特徴量を使用する類似度算出手段は無力である。逆に構造などが非常に似ているが書かれているテキスト内容が全く違う文書画像が複数あった場合、それらを画像の濃度や濃度分布を元にした特徴量を使用する類似度算出手段で処理すると非常に近いスコアが出てくるため、それらの中から所望の文書を識別することが困難になる。
【０００９】
従来技術は、検索の対象が例えば写真のみというように特定の種類に限定されており、その種類に適合した特徴を用いている場合なら、かなり精度のよい判定ができる。しかしながら、企業活動では写真や図面、テキスト文書、或いはそれらが組み合わされた文書などといった多様な種類の文書を取り扱っており、それら多様な文書がログ乃至データベースに蓄積され、検索の対象となる。写真の識別に有用な画像特徴はテキスト文書の識別には向かない場合が多く、この逆も言える。したがって、多様な種類の文書画像を検索しようとした場合、単一の画像特徴に基づいていた上記従来技術はいずれも不十分なものであった。
【００１０】
特許文献５の技術は、単一の画像特徴量に付属情報を組み合わせることで検索の精度の向上をもくろんでいるが、検索において着目する画像特徴量が検索条件の画像の種類に合っていないと、中間結果として適切なものが得られないため、最終的な検索結果の精度も望めない。また、この方式のためには、登録画像や検索条件の画像に付属情報を関連付けする必要がある。例えば、紙原稿を単にスキャンした画像の類似画像を検索する用途では付属情報は存在しないのでこの方式は利用できない。この方式を利用しようとすれば、ユーザに検索要求文のような付属情報を入力してもらう必要が出てくるため、ユーザの操作負担が増大する。
【００１１】
また、このような問題に鑑みて、文書画像が持つ複数の特徴を組み合わせて検索しようとしても、解決すべき問題がある。従来より、画像の個々の特徴ごとに類似度或いは類似度の評価のアルゴリズム、ソフトウエアが存在する。それらは別個に開発され別々の計算式を用いているので、それら各特徴についてのアルゴリズムで求められた類似度のスコア（得点、点数）同士は単純には比較できない。また、上述のように各特徴に基づくスコアには、画像種類に関して得意分野・不得意分野が存在する。このため、複数の特徴についての類似度スコアを組み合わせて総合的な評価を行うには、各々のスコアの特性を考慮し、更に対象となる画像の種類も考慮した評価式を考える必要があるが、これは非常に困難なことである。
【００１２】
本発明の一つの側面では、多様な種類の文書画像に適用できる検索技術を提供する。
【００１３】
また本発明の別の側面では、異なる特徴に基づく類似度評価のスコアを、それら各特徴の性質等を分析しなくても統合できる技術を提供する。
【課題を解決するための手段】
【００１４】
本発明に係る画像検索システムは、複数の登録画像の中から入力画像に類似する１乃至複数の登録画像を検索する画像検索システムであって、画像の持つ互いに異なる複数の特徴の各々について、当該特徴に着目した場合の入力画像に対する各登録画像の類似度スコアをそれぞれ計算するスコア計算手段と、登録画像に対して計算された前記各特徴に対応する類似度スコアを統合することで当該登録画像についての統合スコアを求める統合スコア計算手段と、各登録画像について求めた統合スコアに基づき入力画像に合致する登録画像の検索結果を求める検索結果特定手段とを備える。
【００１５】
本発明の好適な態様では、前記統合スコア計算手段は、前記特徴ごとに、当該特徴に着目した場合の各登録画像の類似度スコアに対して統計的な標準化処理を施すことにより各登録画像の標準化スコアを求め、登録画像についての前記特徴ごとの標準化スコアを統合することにより当該登録画像についての統合スコアを求める。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、本発明の好適な実施の形態（以下「実施形態」と呼ぶ）について説明する。
【００１７】
図１を参照して、本実施形態の画像検索装置の構成を説明する。この画像検索装置は、既存の画像データベース又は画像ログ（図示省略）に登録された登録画像の中から、入力文書画像１００に合致（或いは類似）する度合いの高い登録画像を検索する。入力文書画像１００は、スキャナで紙原稿を読み取ることで得た画像データや、各種のアプリケーションプログラムで作成された画像ファイルをビットマップ画像に変換したものなどである。入力文書画像１００が与えられると、画像検索装置は、その入力文書画像を類似文書画像検索部１０及び類似テキスト検索部２０にそれぞれ入力する。
【００１８】
類似文書画像検索部１０は、画像特徴量の類似度合いに基づき画像検索を行う手段であり、典型的にはコンピュータでプログラムを実行することにより実現される。
【００１９】
類似文書画像検索部１０において、画像特徴量抽出部１２は、入力文書画像１００の画像特徴量を求める手段である。ここで用いる画像特徴量の一例としては、例えば特開２００３−９１７３０号公報に示される画像の投影波形を挙げることができる。図２に示すように、横方向投影の投影波形２１０は、入力文書画像１００の各画素の値を例えば横方向に投影したものであり、言い換えれば、横方向同一行に沿った各画素の値を加算していき、各行の加算結果の列（縦）方向に沿った分布である。このような横方向に投影した投影波形の代わりに縦方向に投影した投影波形を画像特徴量として用いてもよいし、横方向の投影波形及び縦方向の投影波形のペアを画像特徴量として用いてもよい。
【００２０】
特徴量照合部１４は、画像特徴量抽出部１２が求めた入力文書画像１００の画像特徴量と、画像データベース又は画像ログ（共に図示省略）中の各登録画像の画像特徴量との類似度（合致度）を計算する。各登録画像の画像特徴量は、それら登録画像を画像データベース又は画像ログに登録する際に画像特徴量抽出部１２と同じアルゴリズムで計算し、特徴量ＤＢ（データベース）３０に登録しておく。すなわち、特徴量ＤＢ３０には、例えば、登録画像の文書ＩＤ（識別情報）に対応づけて当該登録画像の画像特徴量（例えば前述の投影波形を示すデータ）が登録されている。特徴量照合部１４は、各登録画像ごとに、当該登録画像の画像特徴量と入力文書画像１００の画像特徴量との類似性の強さを示す類似度スコアを計算する。例えば画像特徴量として前述の投影波形を用いる場合、類似度スコアの計算では、図２に示したように、入力文書画像１００から求めた投影波形２１０と、特徴量ＤＢ３０に登録された登録画像２２０の投影波形２３０との間で縮尺、位置を合わせた上で両者の波形や微分波形の相関の強さを示す相関係数を求め、この係数を類似度スコアとする。縦横両方向の投影波形を用いる場合は、例えば縦方向の波形についての類似度スコアと横方向の波形についての類似度スコアの和や平均などを最終的な類似度スコアとするなどすればよい。このほか、前述の特開２００３−９１７３０号公報に示された様々な投影波形に基づく類似度の判定手法を用いることができる。
【００２１】
以上では、類似文書画像検索部１０で検索に用いる画像特徴量として投影波形を例示したが、これに限るものではない。例えば特開２００１−３１９２３２号公報に示される画像上でのエッジ量の２次元分布を画像特徴量として用いてもよい。これは、図３に示すように、一定サイズの画像３００を一定分割数（例えば８×８、１６×１６、３２×３２など）で一定サイズのブロック３１０に分割し、画像３００に対してエッジ抽出フィルタを適用し、この結果求められるエッジの量をブロック３１０ごとに集計し、この結果求められる各ブロック３１０のエッジ量の組合せを画像特徴量とするものである。このエッジ量分布を用いる方式は、デジタルカメラ等で撮影された写真画像に対して好適な方式である。なお、特開２００１−３１９２３２号公報には、ブロック３１０ごとに、エッジ量の代わりに当該ブロックの平均色を求め、各ブロックの平均色の組合せを画像特徴量として検索に用いる例も示されているが、本実施形態でもこの平均色の分布を用いて検索を行ってもよい。また、画像を二値化してその中での黒画素の割合を画像特徴量としたり、各ブロックの黒画素割合の組合せを画像特徴量とするなど、従来より様々な画像特徴量とそれを用いたスコア付け方式が利用されており、類似文書画像検索部１０はそのいずれの画像特徴量及びスコア付け方式を用いてもよい。
【００２２】
類似文書画像検索部１０は、以上のようにして登録画像ごとに入力文書画像１００に対するその登録画像の類似度スコア（画像特徴量に基づくスコア）を計算し、出力する。図１では、この類似度スコアを第１スコア１１０として示している。類似文書画像検索部１０の出力は、例えば、登録画像ごとにその登録画像の文書ＩＤと第１スコア１１０とをペアにしたものとなる。この出力はスコア統合部５０に入力される。
【００２３】
以上類似文書画像検索部１０について説明した。次に類似テキスト検索部２０について説明する。類似テキスト検索部２０は、入力文書画像１００中に存在するテキスト文字列の特徴を用いて類似の登録画像を検索する手段であり、典型的にはコンピュータでプログラムを実行することにより実現される。類似テキスト検索部２０は文字認識部２２、単語抽出部２４及びテキスト検索部２６を備える。
【００２４】
文字認識部２２は、入力文書画像１００に含まれる文字をＯＣＲ（光学文字認識）アルゴリズム又はＯＣＲ回路により認識する。ＯＣＲアルゴリズム又はＯＣＲ回路としては、従来からあるものを用いればよい。
【００２５】
単語抽出部２４は、文字認識部２２が出力する文字列に対して形態素解析等の公知の自然言語解析を実行することで、入力文書画像１００中に現れる単語を抽出する。単語抽出部２４の出力は、例えば、入力文書画像１００中に含まれる単語の集合のデータとなる。この集合のデータには、単語ごとに、入力文書画像１００でのその単語の出現回数の情報を含めることが好適である。また、抽出する単語を品詞（例えば、名詞のみなど）によって制限してもよい。
【００２６】
テキスト検索部２６は、単語抽出部２４が求めた出現単語の集合を用いてテキストＤＢ４０を検索し、各登録画像の入力文書画像１００に対する類似度スコアを計算する。
【００２７】
ここで、テキストＤＢ４０には、単語を見出しとして、その単語が出現する登録画像の文書ＩＤのリストが登録されている。テキストＤＢ４０は、例えば、登録画像の画像を画像データベースやログ等に登録する際に、文字認識及び単語抽出を行い、テキストＤＢ４０の抽出した各単語を見出しとする欄にそれぞれ当該登録画像の文書ＩＤを登録することで作成できる。ここで、登録画像に同じ単語が複数回出現することもよくあることなので、好適には、単に見出し単語に対応づけて文書ＩＤを登録するだけではなく、当該単語の登録画像中での出現回数も対応づけて登録する。
【００２８】
このテキストＤＢ４０を用いた類似度スコアの計算は、例えば次のように行う。すなわち類似テキスト検索部２０は、単語抽出部２４で抽出された各単語をキーとしてテキストＤＢ４０を検索し、単語ごとに、それが出現した登録文書の文書ＩＤと出現回数のペアを得る。１つの単語に対し複数の文書ＩＤと出現回数のペアが求められることも当然起こり得る。そして、得られた情報に基づき、単語ごとに、その単語が出現する登録画像の各文書ＩＤに対してスコアを加算する。
【００２９】
この計算では、例えば、単語ごとに得られた文書ＩＤと出現回数のペアの情報を、文書ＩＤごとに整理することで、個々の登録画像について、その登録画像に現れる各単語とその出現回数のペアを求める。そして、入力文書画像１００と登録画像との間で各単語の出現回数の差を計算し、その差の絶対値の合計（或いは二乗和や二乗平均）を計算する。この計算結果は、入力文書画像１００と登録画像とが同一のものであれば「０」となり、両者の差が大きくなるほど値が大きくなる。そこで、その計算結果の符号を反転したものを当該登録文書の類似度スコアとすれば、登録画像が入力文書画像１００にテキストとして似ているほどそのスコアは大きい値を持つようにできる。このような計算を、画像データベース又は画像ログに登録された全ての登録文書について行う。
【００３０】
なお、以上では計算を画像データベース又は画像ログに登録された全ての登録文書について行うとしたが、これに限らず、所定の条件を満たすものを対象として行うようにしても良い。このような計算対象の絞り込みの条件は、例えば、画像データベース又は画像ログに対して登録画像が登録された日時の範囲や、登録画像を登録したユーザの属するグループなどとして指定できる。すなわち、指定された範囲に属する日時に登録され文書のみを計算対象としたり、指定されたグループに属するユーザが登録した文書のみを計算対象としたりするなどである。このような絞込の条件は、画像検索装置のユーザインタフェースを介してユーザが指定するようにすればよい。
【００３１】
テキスト検索部２６は、このようにして求めた登録文書の文書ＩＤと類似度スコア（図１における第２スコア１２０）とのペアを、全ての登録文書について出力する。出力されたデータはスコア統合部５０に入力される。
【００３２】
以上、類似テキスト検索部２０における類似度スコア算出の例を説明したが、テキストベースでの類似度スコア算出方式はこれに限定されるものではない。従来よりテキスト検索の分野では、キーワード群やキーワードの論理式で示された検索条件に対して各登録文書の適合度を示す検索スコアを求める方式が様々に開発されており、これら従来技術を本実施形態の類似テキスト検索部２０の方式として採用することももちろん可能である。
【００３３】
なお、本実施形態には、一般的なキーワードベースでの文書検索と異なる検索目的の特徴がある。すなわち、キーワード検索は基本的にそのキーワードを含む文書を検索するものであって、キーワードと検索される文書はそもそも別物であるが、本実施形態の検索目的の一つである漏洩検証では、１ページ乃至複数ページ分の画像（入力文書画像１００）と全く同一乃至は極めて近い１ページ乃至複数ページの登録画像を検索するというように、基本的に同一に近いものを見つけようとする。したがって、本実施形態の検索では、単語の出現回数だけでなく、更に個々の単語の画像中での出現位置を考慮することで、更に検索の精度を向上させることができる。この検索方式は、例えば次のようなものとなる。
【００３４】
すなわち、この方式では、図４に示すように画像４００を複数のブロック４１０に分割する。図示例では縦８×横８の６４個のブロック４１０に分割している。そして、その画像中から抽出された単語の先頭文字が属するブロックを、当該単語の出現位置とする。この方式では、テキストＤＢ４０には、見出しの単語ごとに、登録画像の文書ＩＤとその画像内でのその単語の出現位置（ブロック番号など）のリストとが登録される。検索では、入力文書画像１００から抽出した単語の出現位置と同じ位置に登録画像中でも同じ単語があれば類似度スコアを高くし、そうでなければ（入力文書画像１００の単語が登録画像中の同じ位置にない場合、及び登録画像中の単語が入力文書画像１００の同じ位置にない場合などでは）類似度スコアを低くする。具体例としては、例えば、入力文書画像１００中の単語ごとに、当該単語の入力文書画像１００での出現位置及び登録画像での出現位置の総数（両画像で同一位置が出現位置となっている場合は１つとして計数する）のうち、両画像で共通して出現位置となっているものの割合を求める。そして、この（割合＋１）の逆数の２倍を係数として、前述した当該単語についての入力文書画像１００と登録画像との間での出現回数の差に乗ずる。そして、その乗算結果の絶対値を、入力文書画像１００及び登録画像における全出現単語にわたって合計（或いは二乗和等）した結果を符号反転したものを類似度スコアとする。なお、ここに例示したのは、単語の出現位置を類似度スコアに反映させる方式の一例に過ぎず、この他にも様々な方式を用いることができる。
【００３５】
なお、以上の例では、文字認識結果から単語を抽出したが、単語レベルまで分析しなくても、文字認識結果に現れる個々の部分文字列を求め、その部分文字列に対して上記と同じ処理を施してもよい。
【００３６】
以上に説明した類似文書画像検索部１０の処理と類似テキスト検索部２０の処理とは、同時並列的に実行してもよいし、１つずつ順番に実行してもよい。
【００３７】
スコア統合部５０は、類似文書画像検索部１０の出力した第１スコア１１０と類似テキスト検索部２０の出力した第２スコア１２０とを統合することで、画像特徴とテキスト特徴とを総合評価した統合スコアを計算する。
【００３８】
本実施形態では、画像特徴に基づく類似度スコアとテキスト特徴に基づく類似度スコアという特性の大きく異なるスコアを統合するために、統計的な標準化という考え方を採用する。すなわち、各類似度スコアは、それぞれ異なる尺度であるため、それらを単純に比較したり、それらに対してそのまま加算・乗算等の演算を加えたのでは、適切なスコアとならない可能性が高いので、本実施形態では、そのような生の類似度スコアを、登録画像の全体集合の中での位置を示す値として標準化（規格化）する。標準化の方式としては、登録文書の類似度スコアを、登録文書全体の中での偏差値に変換する方式を例示することができる。以下、この方式を説明する。処理の流れは図５を参照する。
【００３９】
ある画像群（登録画像群）Ｇ＝｛Ｇ１，Ｇ２，Ｇ３，．．．，Ｇｎ｝から、任意の画像ａ（入力文書画像１００）に類似した画像群を選択し、それらを類似している順に並べて出力する類似画像検索システムを考える。入力画像ａに対する登録画像群Ｇの各画像Ｇｉ（ｉ＝１，２，３，．．．，ｎ）の各種の特徴量Ｆｊ（ｊ＝１，２，３，．．．，ｍ） を用いた類似度スコアをＳｉｊ（ａ）とする。特徴量Ｆｊは、例えば投影波形に基づく画像特徴量、単語の出現回数に基づくテキスト特徴量、エッジ量などである。これら各特徴量Ｆｊに着目した時の各登録画像Ｇｉの類似度スコアＳｉｊ（ａ）は、上述した類似文書画像検索部１０及び類似テキスト検索部２０の処理結果として取得できる（Ｓ１）。
【００４０】
スコア統合部５０は、各スコアＳｉｊ（ａ）を特徴量の種類ｊごとに標準化した偏差値Ｚｉｊ（ａ）を算出する。この計算は、以下のような式に基づき行えばよい。
【００４１】
【数１】
2007026386.tif 000003
【００４２】
ここで、
【数２】
2007026386.tif 000004
は、それぞれ、特徴量Ｆｊを使用したときの入力画像ａに対する登録画像Ｇｉにおける類似度Ｓｉｊ（ａ）の平均値、標準偏差、偏差値となっている。
【００４３】
図１の例でいえば、テキスト特徴に基づく類似度スコアの登録画像全体の中で偏差値を求めてこれを標準化テキストスコアとすると共に（Ｓ２ａ）、画像特徴に基づく類似度スコアの登録画像全体の中で偏差値を求めてこれを標準化画像特徴量スコアとする（Ｓ２ｂ）。
【００４４】
このように偏差値Ｚｉｊ（ａ）をスコアとして用いることで、異なる特徴量を使用した類似度スコア間でも、値として比較可能となる。ただし、これは、登録画像の数が十分多く、同じ特徴量Ｆｊについての各登録画像の類似度スコアの分布が正規分布に近い分布を示すことを仮定している。登録画像が、テキスト文書、図面、写真、それらの混合画像などと様々な種類にわたり、しかもそれらが十分に多い数であれば、この仮定は妥当な場合が多いと考えられる。
【００４５】
このようにして各特徴量Ｆｊについての類似度スコアを標準化すると、次にスコア統合部５０は、同じ登録画像についてのそれら各特徴量についての標準化スコアを統合することで、その登録画像についての統合スコアを計算する（Ｓ３）。入力画像ａに対する登録画像Ｇｉの統合スコアをＳｉ（ａ）とすると、これは次式で求められる。
【００４６】
【数３】
2007026386.tif 000005
【００４７】
ここで、ｆは各特徴量Ｆｊについての偏差値Ｚｉｊ（ａ）から統合スコアを求めるための関数である。このような関数ｆとしては、例えば、変数各項の中の最大値を採る関数を用いることができる。画像についての各種特徴量には画像の種類に識別力の高低があるのは既述の通りだが、入力画像ａの種類に対して識別力の高い特徴量を用いたときの類似度スコアは、入力画像ａに一致又は極めて近い登録画像に対しては高い値になり、入力画像ａと異なる登録画像に対してはかなり低い値となってくる。したがって、このような類似度スコアから求めた偏差値は、入力画像ａに一致又は極めて近い登録画像については他よりも特異的に大きな値となる。これに対し、入力画像ａの種類の画像に対して識別力が低い特徴量を用いた場合の類似度スコアは、入力画像ａに一致又は極めて近い登録画像のものと、他の登録画像とでそれほど顕著な差が出てこないので、偏差値に変換してもそれほど大きな値とはならない。したがって、関数ｆとして各特徴量Ｆｊについての標準化スコア（偏差値）Ｚｉｊ（ａ）の中で最大値をとるものを用いれば、入力画像ａに一致又は極めて近い登録については非常に高い値となり、他の登録画像については（仮にどの特徴量に対する偏差値が最大値として採用されるとしても）、一致又は極めて近い登録画像よりもかなり低い値となる。したがって、このような方式で求められる統合スコアは、多様な種類の入力画像に対して一致又は極めて近い登録画像を見つけるという用途に非常に適したものといえる。
【００４８】
また、関数ｆとしては、この他にも、変数各項の相加平均や相乗平均などを採る関数を用いることもできる。
【００４９】
スコア統合部５０は、このようにして、登録画像ごとに、入力画像ａ（入力文書画像１００）に対する類似度合いを示す統合スコアを計算する。スコア統合部４０の出力は、各登録文書の文書ＩＤと統合スコアのペアのリストである。
【００５０】
検索結果出力部６０は、このリストを受け入れ、そのリストの登録画像を統合スコアの値の降順にソートして検索結果として出力する。これにより、入力画像ａに似ている順に登録画像を配列した検索結果が提供できる。
【００５１】
この検索方式のポイントは、検索対象となる登録画像群Ｇｉをサンプル集合と仮定することで、単一の登録画像との比較だけでは不可能であった標準化を行うことができ、特徴量Ｆｊとそれを使用したときの類似度スコアに対する詳細な知見を用いなくても、ある程度妥当性の高い統合された類似度スコアを提供できるという点にある。単一の登録画像(これは画像群Ｇｉの中の画像数 が１であるケースと等価)しか考慮しない場合、テキストと画像濃度などといった評価尺度や特性の全く異なる特徴についての類似度を何の補正もなしに使用してしまうか、或いはそれらを組み合わせるための確からしいモデルを考案してパラメータ評価を実施するなどが考えられる。しかし、前者では妥当性の高いスコアは得難く、後者は少なくとも特徴量Ｆｊとそれを使用した場合の類似度に対する詳細な知見が必要となるため、多様な種類の画像を対象としようとする場合実現が難しい。
【００５２】
例えば、企業活動で使用される文書の中には、特許明細書のようにレイアウトが決まっていてほとんど文字ばかりの文書、表計算ソフトで作成した名簿その他の一覧表のように文字と罫線からなる定型文書、テンプレートを用いて作成されたプレゼンテーション資料のようにレイアウトの類似性が高い文書、図を多用したプレゼンテーション資料、特許図面のように図形が主で文字が少ない文書、ほとんど全面写真のパンフレット、写真と文章が混在したパンフレット、などと多様な種類の文書がある。このような多様な文書に対する汎用のモデルを考案するには多大の困難がある。これに対し、本実施形態の方式であれば、テキスト文書に強い特徴量を用いたスコア算出部、写真に強い特徴量を用いたスコア算出部、図面に強い特徴量を用いたスコア算出部などといった多様な特徴量に基づくスコア算出部を併用し、それらを各々の中で標準化した上で統合することで、好適な統合スコアを得ることができる。
【００５３】
類似度スコア計算の基礎とする特徴量としては、算出されるスコアの傾向について相互の相関が低いものを複数用いる。図１では類似文書画像検索部１０と類似テキスト画像検索部２０の２つを用いたが、３つ以上の検索部（類似度スコア計算部）を用いた場合でも同様のスコア統合は可能である。例えば、前述のテキストベースでのスコア計算と、投影波形ベースのスコア計算（これは罫線付の表や図面についての識別力が高い）と、エッジ量を用いた写真に強いスコア計算とを併用すれば、テキスト文書、図表、写真のいずれに対しても高い精度で検索を行うことができる。
【００５４】
以上では、類似文書画像検索部１０及び類似テキスト検索部２０は、すべての登録画像についての類似度スコアをスコア統合部５０に供給した。この代わりに類似度スコアが予め定めた閾値以上となった登録画像のみの類似度スコアをスコア統合部５０に供給するようにしてもよい。この場合、スコア統合部５０は、類似度スコアを受け取っていない登録画像については、その類似度スコアを「０」などといった予め定めた値とした上で、上述のスコア統合処理を行えばよい。
【００５５】
以上に説明した実施形態の画像検索装置は、典型的には、以上に説明した各構成要素の機能を記述したプログラムをコンピュータに実行させることにより実現される。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなどのコンピュータ読み取り可能な記録媒体に記録した状態でユーザに提供することができる。また、このプログラムは、データ通信ネットワークを介してサーバからユーザのコンピュータにダウンロードすることもできる。
【００５６】
ここで、類似文書画像検索部１０や類似テキスト検索部２０としては、既存の検索アプリケーションをそのまま利用することもできるので、本実施形態特有のプログラムとしては、入力文書画像１００を複数の検索部１０及び２０に渡してスコア計算を行わせる機能と、スコア統合部５０の機能を記述したプログラムを提供すればよい。類似文書画像検索部１０や類似テキスト検索部２０等の個々の類似度スコア検索部は、そのプログラムに対してプラグインなどの形で追加できるようにしてもよい。
【００５７】
なお、以上では、画像検索装置が１台のコンピュータ上に構築される例を説明したが、これはあくまで一例に過ぎない。画像検索装置を構成する上述の各構成要素がインターネットやＬＡＮ等のネットワーク上に分散したシステム構成も本発明の範囲内である。例えば、特徴量ＤＢ３０及びテキストＤＢ４０のうちの一方又は両方が、他の構成要素群がインストールされたコンピュータとは別のデータベース装置としてネットワーク上に分散して設けられ、類似文書画像検索部１０や類似テキスト検索部２０からネットワークを介してそれらデータベースを利用するようなシステム構成が考えられる。また、ネットワーク上にある特徴量ＤＢ３０及びテキストＤＢ４０は、一台とは限らず、複数あってもよい。
【００５８】
以上に説明した実施形態は、あくまで一例に過ぎず、本発明の範囲内で様々な形態をとることができる。
【図面の簡単な説明】
【００５９】
【図１】実施形態の画像検索装置の構成を示す機能ブロック図である。
【図２】画像の投影波形に基づく類似度の算出処理を説明するための図である。
【図３】画像特徴量の一例としてのエッジ量分布を説明するための図である。
【図４】単語の出現位置を考慮した類似テキスト検索の説明のための図である。
【図５】スコア統合部の処理手順を示すフローチャートである。
【符号の説明】
【００６０】
１０  類似文書画像検索部、１２  画像特徴量抽出部、１４  特徴量照合部、２０  類似テキスト検索部、２２  文字認識部、２４  単語抽出部、２６  テキスト検索部、３０特徴量ＤＢ、４０  テキストＤＢ、５０  スコア統合部、６０  検索結果出力部、１００  入力文書画像、１１０  第１スコア、１２０  第２スコア、１５０  検索結果。
【図１】
2007026386.tif 000006
【図５】
2007026386.tif 000007
【図２】
2007026386.tif 000008
【図３】
2007026386.tif 000009
【図４】
2007026386.tif 000010