(57)【要約】【課題】紙文書からオリジナルの電子データを精度良く検索することができる画像検索装置及びその制御方法、プログラムを提供する。【解決手段】印刷物を電子的に読み取り、検索キー画像として入力する。その検索キー画像を文字領域と非文字領域に領域分割する。次に、文字領域の文字特徴量と、非文字領域の画像特徴量と、該文字領域と該非文字領域の位置関係に基づいて、検索キー画像と登録画像間の類似度を算出する。そして、その算出結果に基づいて、検索キー画像に対応する登録画像を検索する。【選択図】  図５
2004348467.tif 000002
【特許請求の範囲】
【請求項１】
印刷物を検索キー画像として入力して、その検索キー画像に対応する登録画像を検索する画像検索装置であって、
前記検索キー画像を文字領域と非文字領域に領域分割する領域分割手段と、
前記文字領域の文字特徴量と、前記非文字領域の画像特徴量と、該文字領域と該非文字領域の位置関係に基づいて、前記検索キー画像と前記登録画像間の類似度を算出する算出手段と、
前記算出手段による算出結果に基づいて、前記検索キー画像に対応する登録画像を検索する検索手段と
を備えることを特徴とする画像検索装置。
【請求項２】
前記文字特徴量は、前記文字領域を文字認識して得られる文字コードである
ことを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記算出手段は、前記非文字領域の画像特徴量に基づく類似度が閾値以上である場合に、前記文字領域中の所定文字列と該非文字領域との位置関係に基づいて、前記検索キー画像と前記登録画像間の類似度を算出する
ことを特徴とする請求項１に記載の画像検索装置。
【請求項４】
前記算出手段は、前記検索キー画像及び前記登録画像双方の処理対象の前記非文字領域の所定範囲内に位置する前記文字領域中の所定文字列同士の相関を前記類似度として算出する
ことを特徴とする請求項１に記載の画像検索装置。
【請求項５】
前記算出手段は、前記検索キー画像と前記登録画像双方の処理対象の前記非文字領域と、その所定範囲内に位置する前記文字領域中の所定文字列間の距離同士を比較し、その比較結果に基づく類似度を算出する
ことを特徴とする請求項１に記載の画像検索装置。
【請求項６】
前記算出手段は、前記検索キー画像と前記登録画像双方の処理対象の前記非文字領域から、その所定範囲内に位置する前記文字領域中の所定文字列へ向かう角度同士を比較し、その比較結果に基づく類似度を算出する
ことを特徴とする請求項１に記載の画像検索装置。
【請求項７】
印刷物を検索キー画像として入力して、その検索キー画像に対応する登録画像を検索する画像検索方法であって、
前記検索キー画像を文字領域と非文字領域に領域分割する領域分割工程と、
前記文字領域の文字特徴量と、前記非文字領域の画像特徴量と、該文字領域と該非文字領域の位置関係に基づいて、前記検索キー画像と記憶媒体に記憶されている複数の登録画像間の類似度を算出する算出工程と、
前記算出工程による算出結果に基づいて、前記検索キー画像に対応する登録画像を前記記憶媒体に記憶されている複数の登録画像から検索する検索工程と
を備えることを特徴とする画像検索方法。
【請求項８】
印刷物を検索キー画像として入力して、その検索キー画像に対応する登録画像を検索する画像検索を実現するプログラムであって、
前記検索キー画像を文字領域と非文字領域に領域分割する領域分割工程のプログラムコードと、
前記文字領域の文字特徴量と、前記非文字領域の画像特徴量と、該文字領域と該非文字領域の位置関係に基づいて、前記検索キー画像と記憶媒体に記憶されている複数の登録画像間の類似度を算出する算出工程のプログラムコードと、
前記算出工程による算出結果に基づいて、前記検索キー画像に対応する登録画像を前記記憶媒体に記憶されている複数の登録画像から検索する検索工程のプログラムコードと
を備えることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、印刷物を検索キーとして入力して、その印刷物に対応する画像を検索する画像検索装置及びその方法、プログラムに関するものである。
【０００２】
【従来の技術】
近年、オフィスでのペーパーレス化は急速に進み、パーソナルコンピュータ（ＰＣ）等の端末上で作成された書類は、もちろん、旧来よりバインダー等で蓄積されていた過去の紙文書もスキャナで画像データ（電子文書）に変換し、データベース上に蓄積するようになっている。
【０００３】
一方で、会議での配付資料等には依然として紙文書が好まれ、データベースに蓄積された電子文書が、紙へとプリントアウトされてユーザの手に渡る機会も多い。
【０００４】
ここで、紙文書を受けとったユーザが、それを電子的に保管や送信、あるいは内容を抽出して再利用したいと考えた時、その紙文書を再電子化して電子文書を得るよりも、データベースより、その紙文書のオリジナルの電子（画像）データを取得して利用するほうが、紙文書を再電子化して利用するよりも情報の損失が少なく望ましい。
【０００５】
このような要求に答えるため、例えば、特許文献１では、紙文書をスキャナで読み取り、その内容と類似する画像データをデータベースより検索することが可能なシステムが考案されている。
【０００６】
また、検索対象がオフィス等で一般的に利用される文書であると想定すると、文書内には、大きくわけて文字情報と、写真や図等の非文字情報の２種類が存在しており、検索の際にはそれぞれの特性に応じた類似度算出処理を用いることで、より処理精度を高めることができる。
【０００７】
更に、特許文献２で開示される領域識別処理を使えば、紙文書をスキャンした文書画像中の文字領域と非文字領域をそれぞれ分離、抽出することができる。この技術を用いると、文字と非文字が混在する文書に関してもそれぞれの領域を特定し、文字領域からは、文字認識処理によって得られた文字コード列からキーワードを抽出し、登録データの文字コード列と照合した際の一致度を用いた類似度が得られる。一方、非文字領域からは、色、エッジ等の画像特徴量による類似度が得られる。この類似度を適当な配分で加算することで、文字・非文字両方の類似度情報を利用した検索が可能であった。
【０００８】
【特許文献１】
特許第３０１７８５１号
【特許文献２】
米国特許第５６８０４７８号
【０００９】
【発明が解決しようとする課題】
上記のような環境において、特に、オフィス等で登録される文書画像データの中には、類似文書画像データが多く含まれる可能性がある。例えば、図画部品や文面を流用することにより、同じ写真を含みながら文面の違う文書、あるいは文面は同じで図の異なる文書等が多く作成されて登録される。
【００１０】
一方、紙文書画像と登録画像の類似度比較において、従来例のように、文字及び非文字の類似度を各々独立に求めて適当な配分で総和する方式は、その配分が検索精度に大きく影響し、特に、両者の類似度に偏りが大きい場合、常に検索に適当な配分を求めることは困難だった。
【００１１】
また、内容の類似する文書画像群からオリジナル文書の文書画像を特定するために、文字や非文字の領域の位置も特徴量に含めて検索をおこなう方法もあった。
【００１２】
しかしながら、オリジナル文書が電子文書から生成されている場合、その電子文書から作成された紙文書との間でレイアウトが厳密には一致しない場合がある。例えば、ＨＴＭＬ形式の電子文書の場合、プリントアウト時のレイアウトは環境によって大きく異なる。このようなケースでは、その紙文書中の文字や非文字領域の位置情報を用いて、オリジナルの電子文書を検索しようとすると、かえって検索精度が悪化する可能性があった。
【００１３】
本発明は上記の課題を解決するためになされたものであり、紙文書からオリジナルの電子データを精度良く検索することができる画像検索装置及びその制御方法、プログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像検索装置は以下の構成を備える。即ち、
印刷物を検索キー画像として入力して、その検索キー画像に対応する登録画像を検索する画像検索装置であって、
前記検索キー画像を文字領域と非文字領域に領域分割する領域分割手段と、
前記文字領域の文字特徴量と、前記非文字領域の画像特徴量と、該文字領域と該非文字領域の位置関係に基づいて、前記検索キー画像と前記登録画像間の類似度を算出する算出手段と、
前記算出手段による算出結果に基づいて、前記検索キー画像に対応する登録画像を検索する検索手段と
を備える。
【００１５】
また、好ましくは、前記文字特徴量は、前記文字領域を文字認識して得られる文字コードである。
【００１６】
また、好ましくは、前記算出手段は、前記非文字領域の画像特徴量に基づく類似度が閾値以上である場合に、前記文字領域中の所定文字列と該非文字領域との位置関係に基づいて、前記検索キー画像と前記登録画像間の類似度を算出する。
【００１７】
また、好ましくは、前記算出手段は、前記検索キー画像及び前記登録画像双方の処理対象の前記非文字領域の所定範囲内に位置する前記文字領域中の所定文字列同士の相関を前記類似度として算出する。
【００１８】
また、好ましくは、前記算出手段は、前記検索キー画像と前記登録画像双方の処理対象の前記非文字領域と、その所定範囲内に位置する前記文字領域中の所定文字列間の距離同士を比較し、その比較結果に基づく類似度を算出する。
【００１９】
また、好ましくは、前記算出手段は、前記検索キー画像と前記登録画像双方の処理対象の前記非文字領域から、その所定範囲内に位置する前記文字領域中の所定文字列へ向かう角度同士を比較し、その比較結果に基づく類似度を算出する。
【００２０】
上記の目的を達成するための本発明による画像検索方法は以下の構成を備える。即ち、
印刷物を検索キー画像として入力して、その検索キー画像に対応する登録画像を検索する画像検索方法であって、
前記検索キー画像を文字領域と非文字領域に領域分割する領域分割工程と、
前記文字領域の文字特徴量と、前記非文字領域の画像特徴量と、該文字領域と該非文字領域の位置関係に基づいて、前記検索キー画像と記憶媒体に記憶されている複数の登録画像間の類似度を算出する算出工程と、
前記算出工程による算出結果に基づいて、前記検索キー画像に対応する登録画像を前記記憶媒体に記憶されている複数の登録画像から検索する検索工程と
を備える。
【００２１】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
印刷物を検索キー画像として入力して、その検索キー画像に対応する登録画像を検索する画像検索を実現するプログラムであって、
前記検索キー画像を文字領域と非文字領域に領域分割する領域分割工程のプログラムコードと、
前記文字領域の文字特徴量と、前記非文字領域の画像特徴量と、該文字領域と該非文字領域の位置関係に基づいて、前記検索キー画像と記憶媒体に記憶されている複数の登録画像間の類似度を算出する算出工程のプログラムコードと、
前記算出工程による算出結果に基づいて、前記検索キー画像に対応する登録画像を前記記憶媒体に記憶されている複数の登録画像から検索する検索工程のプログラムコードと
を備える。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２３】
図１は本発明の実施形態の画像処理システムの構成を示すブロック図である。
【００２４】
この画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。
【００２５】
オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、文書管理サーバ１０６及びそのデータベース１０５、及びプロキシサーバ１０３が接続されている。
【００２６】
また、オフィス２０内に構築されたＬＡＮ１０８には、例えば、ＭＦＰ１００や文書管理サーバ１０６のユーザとして機能するユーザＰＣ１０２が接続されている。
【００２７】
オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。
【００２８】
ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。
【００２９】
マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。
【００３０】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００３１】
また、マネージメントＰＣ１０１、ユーザＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００３２】
更に、図１の画像処理システムの構成は、一例であり、例えば、オフィス１０とオフィス２０は同一ＬＡＮ上で構成されていても良い。
【００３３】
次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。
【００３４】
図２は本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。
【００３５】
図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。
【００３６】
尚、本実施形態では、画像読取部１１０で読み取る印刷物として、紙文書を例に挙げて説明するが、紙以外の記録媒体（例えば、ＯＨＰシート、フィルム等の透過原稿、や布）からなる印刷物を、画像読取部１１０の読取対象としても良い。
【００３７】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有し、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。
【００３８】
また、ＭＦＰ１００の印刷機能としては、ユーザＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスタデータに変換した後、印刷部１１２によって記録媒体上に印刷することが可能である。
【００３９】
また、ＭＦＰ１００の送信機能として、ラスタ画像をＴＩＦＦやＪＰＥＧ等の圧縮画像ファイル形式、あるいはＰＤＦ等のネットワークファイル形式の電子データへと変換し、ネットワークＩＦ１１４から出力する。出力された電子データは、ＬＡＮ１０７を介して文書管理サーバ１０６へ送信されたり、更に、ネットワーク１０４経由でユーザＰＣ１０２に転送することが可能である。
【００４０】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００４１】
記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００４２】
尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。
【００４３】
本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。
【００４４】
尚、本実施形態では、以下に説明する処理を、例えば、ＭＦＰ１００単体で実行するものとするが、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしても良い。
【００４５】
まず、登録処理について説明する。
【００４６】
登録処理による登録対象の画像データの登録方法としては、文書作成アプリケーション等で作成された電子データをオリジナル文書として登録する場合と、紙文書をオリジナル文書として登録する場合とがある。また、この登録処理では、登録されたオリジナル文書データに対して、検索に必要となる特徴量の特徴量抽出処理と、それらとオリジナル文書データを関係づけて、データベースへ登録する。
【００４７】
図３は本発明の実施形態の登録処理を示すフローチャートである。
【００４８】
まず、ステップＳ３０１で、登録対象が紙文書であるか、電子データであるか否かを判定する。
【００４９】
尚、この判定は、例えば、入力部１０１に構成されている紙文書登録ボタン及び電子データ登録ボタンの操作に基づいて判定する。
【００５０】
ステップＳ３０１において、紙文書登録ボタンが操作された場合（ステップＳ３０１でＹＥＳ）、ステップＳ３０２に進み、ＭＦＰ１００の画像読取部１１０で、その紙文書をラスタ状に走査しラスタ画像（ページ画像）を得る。
【００５１】
一方、電子データ登録ボタンが操作された場合（ステップＳ３０１でＮＯ）、ステップＳ３０３に進み、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０の文書管理サーバ１０６内のデータベース１０５内、あるいはＭＦＰ１００の記憶部１１１のいずれかに格納されている、登録対象のオリジナル文書の電子データを読み出してネットワークＩＦ１１４を介してデータ処理部１１５に入力し、データ処理部１１５でその電子データをラスタ画像（ページ画像）に変換する。
【００５２】
尚、このラスタ画像への変換は、登録対象の電子データを生成したアプリケーション自身あるいは付加ソフトウェアが有するラスタデータ化機能を利用して実現しても良い。
【００５３】
次に、ステップＳ３０４で、ページ画像に対して領域分割処理を行い、ページ画像から文字領域と非文字領域（例えば、写真、図画等）を抽出する。
【００５４】
ここで、領域分割処理は、例えば、図４（ａ）のページ画像を、図４（ｂ）のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。
【００５５】
領域分割処理の実施形態を以下に説明する。
【００５６】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００５７】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
【００５８】
尚、本実施形態では、文字ブロックを文字領域とし、図画ブロック及び写真ブロックを非文字領域にする。また、非文字領域として表プロックや線ブロックを含めても構わない。
【００５９】
次に、ステップＳ３０５で、ページ画像中の非文字領域をそれぞれひとつの非文字画像情報とし、その画像特徴量抽出を行う。そして、各非文字領域の画像特徴量とページ画像内での位置を検索用データとして、ページ画像と対応づけてデータベース１０５に登録する。
【００６０】
尚、画像特徴量抽出は、公知の手法を用いれば良く、ここでは詳細は説明しないが、一例としては、処理対象画像をメッシュ分割し、各メッシュ領域の平均色を要素としてベクトル化する方式がある。
【００６１】
また、画像特徴量は、処理対象画像の平均色を抽出する例以外に、最頻色を抽出する例もある。更に、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を１つ、或いは、任意に組み合わせた画像特徴量を用いても良い。
【００６２】
次に、ステップ３０６で、ページ画像中のすべての文字領域に対して文字認識を施して文字コード列を取得し、これを文字特徴量として、ページ画像と対応づけてデータベース１０５に登録する。
【００６３】
尚、文字認識処理は、公知の手法を用いれば良く、例えば、文字画像からエッジ成分等を取得して特徴ベクトル化し、あらかじめ字種分登録された認識辞書内の特徴ベクトルと類似度を算出し、最も類似度の高い文字の文字コードを認識結果とする方法がある。
【００６４】
また、文字特徴量としては文字コードを採用しているが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。
【００６５】
ステップＳ３０７で、ステップＳ３０６で取得した文字コード列から、キーワードとなる単語を抽出し、その位置とともに文字特徴量に追加して、ページ画像と対応づけてデータベース１０５に登録する。
【００６６】
尚、キーワード抽出には、種々の方法があるが、ここでは出現頻度の高い文字コード及び品詞解析の結果、固有名詞と看倣される文字コードを優先し、最大５種類のキーワードを抽出することにする。但し、これは、あくまで一例であって、他のキーワード抽出方法や、任意のキーワード個数を設定できることは言うまでもない。
【００６７】
次に、検索処理について説明する。
【００６８】
検索処理では、検索キーとしての紙文書をスキャンしたページ画像（検索キー画像）から特徴量を抽出し、データベース１０５に登録されている登録画像（ページ画像）の特徴量群と比較して、最も類似度の高い登録画像を検索結果として出力する。また、ユーザは、この出力された登録画像に対して、印刷、配信、蓄積、編集等の各種処理を実行することが可能である。
【００６９】
図５は本発明の実施形態の検索処理を示すフローチャートである。
【００７０】
まず、ステップＳ４０１で、検索キーとなる紙文書の入力を、ＭＦＰ１００の画像読取部１１０を介して行う。この処理は、ステップＳ３０２の処理と同様である。但し、この処理によって生成するラスタ画像（ページ画像）は一時保存するだけである。
【００７１】
次に、ステップＳ４０２で、ページ画像（検索キー画像）に対して領域分割処理を行い、検索キー画像中の文字領域と非文字領域を抽出する。この処理は、ステップＳ３０４の処理と同様である。但し、この処理によって生成する各領域の位置は一時保存するだけである。
【００７２】
次に、ステップＳ４０３で、検索キー画像中の非文字領域をそれぞれひとつの非文字画像情報とし、その画像特徴量抽出を行う。そして、各非文字領域の画像特徴量とページ画像内での位置を検索キー画像の画像特徴量として、検索キー画像と対応づけて記憶部１１１に記憶する。この処理は、ステップＳ３０５の処理と同様である。
【００７３】
次に、ステップＳ４０４で、検索キー画像中のすべての文字領域に対して文字認識を施して文字コード列を取得し、これを検索キー画像の文字特徴量として、検索キー画像と対応づけて記憶部１１１に記憶する。この処理は、ステップＳ３０６の処理と同様である。
【００７４】
次に、ステップＳ４０５で、ステップＳ４０４で取得した文字コード列から、キーワードとなる単語を抽出し、その位置とともに検索キー画像の文字特徴量に追加して、検索キー画像と対応づけて記憶部１１１に記憶する。この処理は、ステップＳ３０７の処理と同様である。
【００７５】
次に、ステップＳ４０６で、検索キー画像と、図３の登録処理でデータベース１０５に登録されている各登録画像（ページ画像）間で、その画像特徴量、文字特徴量、非文字領域の位置に基づいて処理対象として決定される文字領域中のキーワードでの類似比較を行い、その比較結果として類似度を算出する。
【００７６】
この類似比較は、以下の３種類の類似比較を行う。
【００７７】
１つ目は、非文字領域の画像特徴量間の類似度であり、具体的には、特徴ベクトル空間内で検索キー画像と登録画像双方の画像特徴量間の距離の近さに基づいて算出する。ここで、比較先画像（データベース１０５の登録画像）内に複数の非文字領域が存在する場合は、検索キー画像（比較元画像）内の１つの非文字領域の画像特徴量に対して、比較先画像中の複数の非文字領域画像それぞれの画像特徴量との類似度を算出し、最も類似度の高い非文字領域と対応させることで、複数の非文字領域に対する累積類似度を算出する。
【００７８】
但し、比較先画像内の非文字領域数が多く、組み合わせ個数が増大する場合には、その位置によって比較対象とする非文字領域の組み合わせに制限を設けてもよい。以上のようにして算出した画像特徴量による類似度をＳ１とする。
【００７９】
２つ目は、文字領域の文字特徴量間の類似度であり、これは、検索キー画像と登録画像双方の文字コード列間の近さに基づいて算出する。但し、文字認識によって得られる文字コードは様々な要因により誤認識を含むため、元々完全に一致するものではない。そこで、本実施形態では、検索キー画像の文字領域に対応する文字コード列から抽出された複数のキーワードが、登録画像の文字領域に対応する文字コード列内に存在する確率をもって、これを文字特徴量による類似度とし、これを類似度Ｓ２とする。
【００８０】
３つ目は、検索キー画像と登録画像間で、非文字領域の位置と文字領域の位置関係に基づいた類似度を算出する。この類似度算出処理の詳細について、図６を用いて説明する。
【００８１】
図６は本発明の実施形態の類似度算出処理を示すフローチャートである。
【００８２】
まず、ステップＳ６０１で、検索キー画像内の非文字領域群の内、処理対象とする非文字領域をＡ１に設定する。尚、検索キー画像中に、非文字領域が１つしかない場合は、その非文字領域をＡ１に設定する。
【００８３】
次に、ステップＳ６０２で、登録画像内の非文字領域の内、非文字領域Ａ１と最も類似度の高い非文字領域Ａ２を取得する。尚、この処理は、上述の画像特徴量により類似度算出の過程で取得するようにしても良い。
【００８４】
次に、ステップＳ６０３で、類似度が閾値以上、即ち、非文字領域Ａ１と非文字領域Ａ２が同一（あるいは類似）画像であるか否かを判定する。閾値未満である場合（ステップＳ６０３でＮＯ）、同一（あるいは類似）画像でないと判定して、ステップＳ６０７に進む。一方、閾値以上である場合（ステップＳ６０３でＹＥＳ）、同一（あるいは類似）画像であると判定して、ステップＳ６０４に進む。
【００８５】
次に、ステップＳ６０４で、非文字画像領域Ａ１の所定範囲内の文字領域群を参照して、その文字領域群に含まれる検索キー画像のキーワード群を選出し、これらを｛Ｎ１１，Ｎ１２，…｝と設定する。
【００８６】
ここで、ステップＳ６０４の具体例について、図７を用いて説明する。
【００８７】
図７は本発明の実施形態の文字領域中のキーワードの選出例を説明するための図である。
【００８８】
図７の例では、非文字領域７００の重心を中心とする、辺が２×Ｌの正方形の範囲内に存在するキーワードを文字領域から選出する場合を示している。そして、図７では、検索キー画像のキーワードが「ｙｙｙｙ」と「ｘｘｘｘ」である場合に、非文字領域７００に対して所定範囲（本実施形態では、２×Ｌの正方形の範囲）内にある文字領域７０１〜７０３の内、文字領域７０１からキーワード「ｙｙｙ」と、文字領域７０２からキーワード「ｘｘｘｘ」を選出する例を示している。
【００８９】
尚、Ｌの値は、固定であっても、あるいは処理対象の非文字領域の大きさや、近傍の文字領域内の文字量によって変化させてもよい。
【００９０】
次に、ステップＳ６０５で、登録画像内の非文字領域Ａ２の所定範囲内にある文字領域群を参照して、その文字領域群に含まれる登録画像のキーワード群を選出し、これらを｛Ｎ２１，Ｎ２２，…｝と設定する。
【００９１】
次に、ステップＳ６０６で、｛Ｎ１１，Ｎ１２，…｝×｛Ｎ２１，Ｎ２２，…｝の相関性に基づいて、相関性を示すスコアを算出する。
【００９２】
具体的には、１つ目のキーワードＮ１１に対し、キーワード群｛Ｎ２１，Ｎ２２，…｝中に一致するキーワードがあれば、そのスコアを＋１点とし、最終的なキーワード一致個数を、相関性を示すスコアとして算出する。あるいは、キーワードＮ１１と一致するキーワードＮ２ｎに対し、検索キー画像と登録画像間の双方の非文字領域の重心位置と、キーワードの重心位置間の距離の比率が１に近いキーワード、もしくは非文字領域の重心位置から処理対象のキーワードの重心位置へ向かう角度の一致度が高いキーワードに、大きく加点するようにしてもよい。
【００９３】
以下、同様にして、処理対象のキーワードを変更して、各キーワードとのスコアを算出し、各キーワードのスコアの総和値を類似度Ｓ３とする。
【００９４】
そして、算出した３種類の類似度Ｓ１、Ｓ２、Ｓ３に対して、係数（ａ，ｂ，ｃ）を用いて、
総合類似度Ｓ＝ａ×Ｓ１＋ｂ×Ｓ２＋ｃ×Ｓ３
を算出する。
【００９５】
尚、係数（ａ，ｂ，ｃ）は、固定値を用いたり、処理対象画像内の文字領域と非文字領域の配分によって変化させたり、あるいはユーザが検索処理実行時に、任意に設定するようにしても良い。ここで、ａは画像特徴量による類似度比較の重み付けを規定する係数、ｂは文字特徴量による類似度比較の重み付けを規定する係数、ｃはキーワードによる類似度比較の重み付けを規定する係数と表現することができる。
【００９６】
そして、ステップＳ６０７で、検索キー画像中に未処理の非文字領域の有無を判定する。未処理の非文字領域がある場合（ステップＳ６０７でＹＥＳ）、未処理の非文字領域をＡ１に設定するために、ステップＳ６０１に戻り、検索キー画像中の全ての非文字領域に対して、図６の処理を完了するまで、処理対象の非文字領域を切り替えて、再帰的に繰り返す。一方、未処理の非文字領域がない場合（ステップＳ６０７でＹＥＳ）、処理を終了し、図４のステップＳ４０７に進む。
【００９７】
ステップＳ４０７で、算出された総合類似度４０７に基づいて、検索結果となる登録画像を表示部１１６で表示する。この表示は、例えば、最も高い総合類似度を有する登録画像のみを表示してもよいし、閾値以上の総合類似度を有する登録画像を検索結果候補として一覧表示し、最終的な選択をユーザに委ねるようにしてもよい。
【００９８】
ステップＳ４０８で、検索結果となる登録画像に対し、表示部１０６・入力部１１４で実現されるユーザインタフェースを介するユーザからの操作に基いて、その登録画像の印刷、配信、蓄積、編集のいずれかの処理を実行する。
【００９９】
以上説明したように、本実施形態によれば、紙文書あるいは電子文書によって登録された登録画像を管理するデータベースに対し、その登録画像を利用して印刷された印刷物を検索キー画像として入力して、その検索キー画像の文字特徴量、画像特徴量及び検索キー画像の文字領域中のキーワードと非文字領域の位置関係に基づいて、その検索キー画像に対応する登録画像を検索する。
【０１００】
これにより、その内容が類似する登録画像が複数存在していても、より適切に検索キー画像に対応する登録画像を検索することができる。
【０１０１】
より具体的には、本実施形態では、文字領域と非文字領域が混在し、かつその構成が類似する登録画像が多数登録されている場合でも、その登録画像内の非文字領域と文字領域中のキーワードの位置関係を利用することで、より正確に、検索キー画像に対応する登録画像を検索することが可能となる。
【０１０２】
また、検索キー画像と登録画像間の内容のレイアウトが厳密に一致しない場合でも、柔軟な検索が可能となる。
【０１０３】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１０４】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１０５】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１０７】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１０８】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１１１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１１２】
【発明の効果】
以上説明したように、本発明によれば、紙文書からオリジナルの電子データを精度良く検索することができる画像検索装置及びその制御方法、プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態の画像処理システムの構成を示すブロック図である。
【図２】本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。
【図３】本発明の実施形態の電子文書の登録処理を示すフローチャートである。
【図４】本発明の実施形態の画像ブロック抽出の一例を示す図である。
【図５】本発明の実施形態の検索処理を示すフローチャートである。
【図６】本発明の実施形態の類似度算出処理を示すフローチャートである。
【図７】本発明の実施形態の文字領域中のキーワードの選出例を説明するための図である。
【符号の説明】
１００  ＭＦＰ
１０１  マネージメントＰＣ
１０２  ユーザＰＣ
１０３  プロキシサーバ
１０４  ネットワーク
１０５  データベース
１０６  文書管理サーバ
１０７  ＬＡＮ
１１０  画像読取部
１１１  記憶部
１１２  印刷部
１１３  入力部
１１４、１１７  ネットワークＩ／Ｆ
１１５  データ処理部
１１６  表示部
【図１】
2004348467.tif 000003
【図２】
2004348467.tif 000004
【図３】
2004348467.tif 000005
【図４】
2004348467.tif 000006
【図５】
2004348467.tif 000007
【図６】
2004348467.tif 000008
【図７】
2004348467.tif 000009