(57)【要約】【課題】検索結果の一覧表示上での文書画像の視認性を向上させ、一覧表示上で検索対象画像を探し出すことが可能となり、文書画像ＤＢにおけるキーワード検索の操作性を向上させる。【解決手段】サーバ装置１１０が検索キーを受信すると、キーワード検索処理部１１９は画像情報ＤＢ１１７内のテキスト情報に対してキーワード検索処理を行う。表示画面制御処理部１２１は、ヒットしたページのサムネイル、テキスト情報、代表部分画像を表示する。【選択図】図１
2008040753.tif 000002
【特許請求の範囲】
【請求項１】
画像データベースに蓄積されている文書画像データを検索する機能を有する画像処理装置であって、文書画像を部分画像に分割する画像分割手段と、キーワードによる検索キーを受け付け、前記文書画像をページ単位に検索するキーワード検索手段と、前記キーワード検索にヒットした１以上の文書画像を表示する表示画面を生成する表示画面制御手段と、前記画像分割した部分画像を選択する部分画像選択手段を備え、前記表示画面は、各々のページ単位に、ページの概観を示すサムネイルと、ヒットしたキーワードを含むテキスト情報と、前記部分画像選択手段により選択された部分画像を配置することを特徴とする画像処理装置。
【請求項２】
前記部分画像の属性を識別する属性識別手段を備え、前記部分画像選択手段は、前記属性識別手段の識別結果に応じて部分画像を選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記部分画像選択手段により選択される属性は、ページタイトルであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記部分画像選択手段により選択される属性は、写真領域、図形領域、表領域のいずれか一つまたは複数であることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記部分画像選択手段により選択される属性は、ヒットしたキーワードを含む領域であることを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記部分画像選択手段は、前記ヒットしたキーワードを含む部分画像からの距離に応じて部分画像を選択することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記部分画像選択手段は、前記部分画像のサイズに応じて部分画像を選択することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記部分画像選択手段は、前記ヒットしたキーワードを含む部分画像に含まれる文字情報に応じて部分画像を選択することを特徴とする請求項１記載の画像処理装置。
【請求項９】
画像データベースに蓄積されている文書画像データを検索する機能を有する画像処理方法であって、文書画像を部分画像に分割する画像分割工程と、キーワードによる検索キーを受け付け、前記文書画像をページ単位に検索するキーワード検索工程と、前記キーワード検索にヒットした１以上の文書画像を表示する表示画面を生成する表示画面制御工程と、前記画像分割した部分画像を選択する部分画像選択工程を備え、前記表示画面は、各々のページ単位に、ページの概観を示すサムネイルと、ヒットしたキーワードを含むテキスト情報と、前記部分画像選択工程により選択された部分画像を配置することを特徴とする画像処理方法。
【請求項１０】
前記部分画像の属性を識別する属性識別工程を備え、前記部分画像選択工程は、前記属性識別工程の識別結果に応じて部分画像を選択することを特徴とする請求項９記載の画像処理方法。
【請求項１１】
前記部分画像選択工程により選択される属性は、ページタイトルであることを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
前記部分画像選択工程により選択される属性は、写真領域、図形領域、表領域のいずれか一つまたは複数であることを特徴とする請求項１０記載の画像処理方法。
【請求項１３】
前記部分画像選択工程により選択される属性は、ヒットしたキーワードを含む領域であることを特徴とする請求項１０記載の画像処理方法。
【請求項１４】
前記部分画像選択工程は、前記ヒットしたキーワードを含む部分画像からの距離に応じて部分画像を選択することを特徴とする請求項９記載の画像処理方法。
【請求項１５】
前記部分画像選択工程は、前記部分画像のサイズに応じて部分画像を選択することを特徴とする請求項９記載の画像処理方法。
【請求項１６】
前記部分画像選択工程は、前記ヒットしたキーワードを含む部分画像に含まれる文字情報に応じて部分画像を選択することを特徴とする請求項９記載の画像処理方法。
【請求項１７】
請求項９乃至１６のいずれか１項に記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項１８】
請求項９乃至１６のいずれか１項に記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト検索における検索結果の表示技術に関し、ユーザが入力した検索キーワードに応じてテキスト検索を行う検索機能、検索結果を表示する表示画面の作成機能を備えた画像処理装置、方法、プログラムおよび記録媒体に関し、例えば、複写機の複合機、ファイルサーバ、画像処理プログラム等に好適な技術に関する。
【背景技術】
【０００２】
紙文書をスキャナ等の入力デバイスを使用して電子化する例えば電子ファイリング等の装置があるが、専ら紙文書を大量に扱う業務用途として使用されていた。近年、スキャナの低価格化やスキャン機能を搭載したＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｒｉｎｔｅｒ）の普及、またｅ−文書法等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えている。また、電子化された文書画像データや写真画像データ、ＰＣ等のアプリケーションによって作成された文書データ等をデータベース（以下ＤＢ）化して一元管理する画像ＤＢの用途も増加している。例えば、紙文書の原本が保存されていても、管理や検索のし易さから画像ＤＢを構築する場合もある。
【０００３】
このような画像ＤＢは、サーバ装置を設置して多数の人がアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナルな用途まで様々である。近年のＭＦＰでは、内臓のＨＤＤに文書を蓄積する機能を備えており、ＭＦＰをベースとして画像ＤＢを構築する例もある。また、画像ＤＢには、大量の画像から所望の画像を検索するための検索機能を備えたものがある。現在主流の検索機能は、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）処理した文字認識結果や文書データから抽出したテキスト情報等をキーワードとして、全文検索または類義語や概念検索等を行うのが一般的である。
【０００４】
このようにして検索された文書画像の検索結果は、通常、何らかの表示手段を介してユーザに提示される。このような表示手法（ここではハードウェア的な意味ではなく、表示画面を作成するソフトウェア的な意味）には、以下の３通りの手法がある。
・方式１：文書ファイル名や作成日等の文書情報をテキスト形式で一覧表示する方法
・方式２：キーワードにヒットした文書画像データを縮小画像としたサムネイル一覧によって表示する方法
・方式３：キーワードにヒットした周囲テキストをテキスト情報として表示する方法
方式１は、表示画面のサイズが小さく、処理能力が低い機器等で使用される方法であり、方式２は、現状の文書画像ＤＢ等で使用される方法であり、方式３は、インターネットの検索等で用いられる方法である。
【０００５】
上記した従来の表示手法では、検索結果の画面のみからユーザが所望の文書画像を見つけ出すことが難しく、その結果、検索にヒットした個々の文書画像データをビューア等の画面を用いて表示し、検索対象画像を探さなければならず、検索時の操作性が悪いという問題があった。
【０００６】
例えば、方式１では、ファイル名や作成日等の文書情報を予め知っていなければ文書を探せないため、それらの情報をユーザが知らない場合にはビューアで確認する必要がある。また、方式２では、特徴的な概観を持つ文書画像データならば探索が可能となるが、ヒットした文書画像が同様な概観を持つものが多い場合、例えば、論文や帳票、特許等の定型もしくは定型に近い文書画像が大量にヒットしている場合には、結局ビューアで確認する必要がある。さらに、方式３では、サムネイル等の画像の概観を認識する情報がないため直感的な判断がしにくく、各々のテキスト情報を読む必要があることから操作が煩わしく、少量のテキスト情報からは検索対象画像であるかの判断ができず、結局、ビューアで確認するケースが多くなる（表示するテキスト情報を増やせば一覧性が悪化する）。そして、画像ＤＢの規模が大きくなり、キーワード検索によるヒット数が増加するほど、上記した問題が顕著になる。
【０００７】
そこで、このような課題に対して特許文献１の検索システムがある。特許文献１では、検索キーに適合するテキストオブジェクトを他の部分と識別できるように特徴付けられてなる縮小簡易画像を生成し、表示することにより、当該テキストオブジェクトの出現頻度を一目で視認でき、また、段落中のオブジェクトの出現位置により文書でのオブジェクトの使われ方が推測でき、文書内容が判別できる。
【０００８】
【特許文献１】特開２００４−１５７６６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、上記した方法では、文書画像の概観とキーワードの位置が分かるが、その文書画像の内容を把握することは難しい。一般的に文書画像検索は、ユーザの探したい文書が存在し、その既知の文書を検索する場合と、情報を得たいために未知の文書を検索する場合に大別されるが、上記した方法は、未知の文書の検索には使用できない。また、例えば、ほとんど文字で構成される文書画像のページが上記した方法で表示されても、それが検索対象の画像であるか否かを判断することは難しい。
【００１０】
本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、ユーザが入力したキーワードに基づいて文書画像ＤＢのキーワード検索を実施し、検索結果の表示画面を生成する機能を有する画像処理装置において、検索結果の一覧表示上での文書画像の視認性を向上させ、一覧表示上のみで検索対象画像を探し出すことが可能となり、文書画像ＤＢにおけるキーワード検索の操作性を向上させた画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、画像データベースに蓄積されている文書画像データを検索する機能を有する画像処理装置であって、文書画像を部分画像に分割する画像分割手段と、キーワードによる検索キーを受け付け、前記文書画像をページ単位に検索するキーワード検索手段と、前記キーワード検索にヒットした１以上の文書画像を表示する表示画面を生成する表示画面制御手段と、前記画像分割した部分画像を選択する部分画像選択手段を備え、前記表示画面は、各々のページ単位に、ページの概観を示すサムネイルと、ヒットしたキーワードを含むテキスト情報と、前記部分画像選択手段により選択された部分画像を配置することを最も主要な特徴とする。
【発明の効果】
【００１２】
本発明によると、検索結果の一覧表示上での文書画像のサムネイル、検索キーにヒットしたテキスト情報、代表部分画像を同時に表示することにより、サムネイルによって画像の概観を容易に把握でき、テキスト情報によって検索キー前後の文書内容を容易に把握でき、また、代表部分画像によってサムネイルでは確認できない代表部分画像の詳細の視認性を向上させているので、曖昧な記憶を頼りに既知の文書画像を検索する場合や、未知の情報を得るために文書画像を検索する場合でも、検索にヒットした文書画像の内容理解を助け、一覧表示上のみで検索対象画像を探し出すことが可能となり、文書画像ＤＢにおけるキーワード検索の操作性が向上する。
【００１３】
本発明によると、表示部分画像の選択に際して、その文章内容を端的に表す可能性の高いタイトル部を示す部分画像を選択しているので、文書内容の理解が容易になる。
【００１４】
本発明によると、表示部分画像の選択に際して、本文領域以外の写真、図形、表等の部分画像を選択しているので、直感的に文書内容を把握できる。
【００１５】
本発明によると、検索キーのヒットした部分画像を代表部分画像として選択しているので、サムネイルと照合することによって検索キーのヒットした部分が文書画像中のどの部分に相当するのかを容易に把握できる。また、実画像上で文字の概観（フォントスタイルやフォントの大きさ）等が分かるので、文書内容を容易の把握できる。
【００１６】
本発明によると、表示部分画像の選択に際して、キーワード検索にヒットした部分画像の近傍の部分画像を選択しているので、検索キーワードと関連する部分画像を選択することができ、検索キーワードによる文書画像の内容理解が容易になる。
【００１７】
本発明によると、代表部分画像の選択に際して、大きなサイズの部分画像を選択しているので、文書画像の内容を端的に表す部分画像を選択することができ、文書画像の内容理解が容易になる。
【００１８】
本発明によると、検索キーがヒットした部分画像に含まれる図形、写真、表等のオブジェクトを示すキーワードを検索し、そのキーワードに基づいて代表部分画像を選択しているので、検索キーワードと関連する部分画像を選択することができ、検索キーワードによる文書画像の内容理解が容易になる。
【発明を実施するための最良の形態】
【００１９】
以下、発明の実施の形態について図面により詳細に説明する。  実施例１：
図１は、本発明の実施例１のシステム構成を示す。図１において、１００はパーソナルコンピュータ（以下ＰＣ）、ＰＤＡや携帯電話等のモバイル端末等のクライアント装置である。１０１はモニタ等の表示デバイス、１０２はユーザ指示の解釈、サーバ１１０との通信、表示デバイス１０１の制御を行うアプリケーションプログラム、１０３はユーザからの指示入力手段であるキーボードやマウス等の入力デバイス、１０４はＬＡＮやインターネット等の外部通信路である。
【００２０】
１１０はクライアントからのコマンドに応じて画像分類を行い、分類結果をクライアント１００へ出力するサーバ装置、１１１は外部通信路１０４とのインターフェース（以下Ｉ／Ｆ）、１１２は画像ＤＢ１１３へ登録する登録画像データ、１１３は登録画像１１２を所定サイズ以下に変倍してサムネイル画像を生成するサムネイル生成処理部、１１４は登録画像１１２のレイアウト解析処理を実施し、画像を分割して部分画像（以下オブジェクト）を生成する画像分割処理部、１１５は画像分割処理部１１４で生成されたオブジェクトの属性を識別する属性識別処理部、１１６はオブジェクト画像中から、文字コードを抽出する文字コード抽出処理部、１１７は画像ＤＢ１２０へ登録されている文書画像データ毎の情報を蓄積する画像情報ＤＢである。なお、情報とは例えば、登録画像データのファイル名、作成日、画像データ、サムネイル画像データ、オブジェクト画像データとの紐付け情報（紐付け情報とは例えば、画像ＤＢ１２０に蓄積される時に各データ固有に付されたＩＤやファイル名等）、各オブジェクト毎の属性、ページ内のオブジェクトの位置情報、オブジェクトに含まれるテキスト情報（文字コード）等である。
【００２１】
１１８はクライアント１００によって指定され入力されるテキスト情報からなる検索キー、１１９は検索キー１１８に対応するオブジェクトや文書画像をオブジェクト情報ＤＢに蓄積されている情報から検索し、検索結果を出力するキーワード検索処理部、１２０は登録画像１１２の画像データ、登録画像１１２のサムネイル画像データ、画像分割処理部１１４で生成された登録画像１１２のオブジェクト画像を蓄積する画像ＤＢ、１２１はキーワード検索処理部１１９の検索結果およびオブジェクト選択処理部の選択結果に応じてクライアント１００へ表示するための表示画面を生成する表示画面制御処理部、１２２はクライアント１００の表示デバイス１０１上へ表示される表示画面データ、１２３はキーワード検索処理部１１９の検索結果に応じてクライアント１００へ表示するためのオブジェクトを選択するオブジェクト選択処理部である。なお、図中の点線は、画像登録時のデータの流れを表し、実線はキーワード検索処理を行って表示画面を生成する時のデータの流れを表している。
【００２２】
図２は、サーバ装置１１０の構成を示す。図２において、２０１はプログラムに応じた演算や処理を行うＣＰＵ、２０２はプログラムのコードや画像の符号データ等のデータを一時的に記憶、保持するワーク領域として使用される揮発性のメモリ、２０３は画像データやプログラム等を保存、蓄積するためのハードディスク（以下ＨＤＤ）であり、画像ＤＢ１２０、画像情報ＤＢ１１７を保持する。２０４はモニタ２０５へ表示するためのデータバッファとなるビデオメモリである。ビデオメモリ２０４に書き込まれた画像データは、定期的にモニタ２０５へ表示される。２０６はマウスやキーボード等の入力デバイス、２０７はインターネットやＬＡＮ等の外部通信路１０４を介してデータを送受信する外部Ｉ／Ｆ、２０８は各々の構成要素を接続するバスである。
【００２３】
本実施例では、サーバ装置１１０がサーバコンピュータにより構成され、画像検索等の処理がソフトウェによって実現する例を示す。すなわち、サーバ内の処理は図示しないアプリケーションプログラムによって実現される。本発明の実施形態はこれに限定されず、ＭＦＰ等の装置内にハードウェアによって処理を行うように構成しても良いし、また、サーバ、クライアント構成を採らずに、例えば１つのＰＣやＭＦＰ等の機器内に、図１を構成するようにしても良い。
【００２４】
以下、本実施例における、画像登録時の動作と画像の検索動作時の検索結果の表示について説明する。
【００２５】
図３は、実施例１の画像登録動作のフローチャートである。図１（破線は登録時の動作を示す）、図３を参照して画像登録動作を説明する。
【００２６】
ステップＳ００１において、ユーザはクライアント装置１００からアプリケーションプログラム１０２を介してサーバ装置１１０へ画像データの登録の指示と登録する登録画像データ１１２を指示する。
【００２７】
ステップＳ００２において、登録画像データ１１２は、外部通信路１０４を介してサーバ装置１１０へファイル名、作成日等のファイル情報と共に入力され、外部Ｉ／Ｆ１１１を経由して画像ＤＢ１２０へＩＤ番号を付与して登録される。同時に、サムネイル生成処理部１１３では、登録画像１１２を変倍処理して所定のサイズ以下のサムネイル画像を生成し、画像ＤＢ１２０へＩＤ番号を付与して登録する。なお、登録画像データ１１２が複数ページを有する画像データである場合には、ページ単位でサムネイルを生成する。
【００２８】
ステップＳ００３において、登録画像データ１１２は、画像分割処理部１１４へ入力され、公知のレイアウト解析処理によって同一属性毎の領域に分割してオブジェクト画像データを生成する。なお、この際に画像データのオブジェクトの座標データも抽出する。生成されたオブジェクト画像データは画像ＤＢ１２０へオブジェクト画像データ毎にＩＤ番号を付与して登録されるとともに属性識別処理部１１５へ出力される。
【００２９】
ステップＳ００４において、生成されたオブジェクト画像データはオブジェクト画像毎に属性識別処理部１１５へ入力され、公知のレイアウト解析処理によってオブジェクト毎に属性が識別される。
【００３０】
なお、上記したステップＳ００３、Ｓ００４におけるレイアウト解析処理は、ＯＣＲ処理の前処理等で使用され、様々な手法があり、それら公知の手法を用いれば良い。例えば、文書画像の背景色を特定し、背景色を用いて該文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、文字領域や写真領域を識別する技術がある（特開２００１−２９７３０３号公報を参照）。また、文字領域識別の別の例として、適応的な２値化処理を行った後、外接矩形の形状を利用して、文字領域を識別する技術もある（特開平７−７３２７１号公報を参照）。さらに、入力画像の黒領域の隣接関係を解析して長方形に分離し（画像分割処理）、この長方形の大きさや黒領域の分布密度に基づいて入力画像の文字、写真、図形、表の各領域を識別する技術（属性識別処理）もある（特開平７−２２１９６８号公報を参照）。
【００３１】
上記した従来技術を用いる（または組み合わせる）ことによって、文字領域や写真領域、図形領域、表領域等の属性毎の画像領域分割（オブジェクト化）およびその属性判定が可能となる。また、その際に文字領域の位置やサイズ、文字の大きさ等をもとにしてタイトル領域の識別を行い、文字領域と区別して判定するように構成する。
【００３２】
なお、分割されたオブジェクトの属性識別の他の例としては、例えば、分割された領域のヒストグラムや周波数的な特徴量等を取得して、予め特徴量と属性の関係を学習させたニューラルネットワークやサポートベクタマシン等のパターン認識手法を使用しても良い。また、レイアウト解析処理の前にその精度を高める目的で入力画像に対してスキュー補正や裏移り除去等の前処理を行うようにすればさらに好適である。
【００３３】
図４（１）の原稿に対して、レイアウト解析を行った結果の例を図４（２）に示す。
【００３４】
ステップＳ００５において、オブジェクト画像データを文字コード抽出処理部１１６へ入力し、オブジェクト内に文字が含まれている場合は、ＯＣＲ処理等を実施して文字認識して文字コードを抽出する。なお、入力された登録画像データが、スキャン画像等のビットマップデータの場合はＯＣＲ処理が必要となるが、文字コードを含む文書データ等の場合はデータからの文字コードをそのまま抽出すれば良い。
【００３５】
ステップＳ００６において、ステップＳ００２〜Ｓ００５で生成、抽出された、以下の画像情報データを画像情報ＤＢ１１７へ登録する。
・ファイル名、作成日
・画像データＩＤ
・サムネイル画像データＩＤ
・オブジェクト画像データＩＤ
・オブジェクト座標
・オブジェクト属性
・オブジェクトから抽出された（文字コードによる）テキスト情報
なお、画像情報ＤＢ１１７は、一般的なＲＤＢ（リレーショナルデータベース）を使用することにより、上記した情報の登録、管理、検索等の処理を簡易に実現できる。また、画像ＤＢ１２０と画像情報ＤＢ１１７は上述の機能を満たせば、同じＤＢに例えばＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇａｇｅ）等の言語を使用し、階層的なデータ構造等を構築して蓄積しても良く、また、異なるサーバに別々なＤＢとして蓄積してもよい。また、画像登録については、スキャナやデジタルカメラ等の画像入力装置から直接、画像データをサーバ装置１１０へ登録するようにしても良い。
【００３６】
図５は、実施例１における、画像検索動作のフローチャートである。図１、図５を参照して画像検索動作を説明する。
【００３７】
ステップＳ１０１において、ユーザは、クライアント装置１００においてアプリケーションプログラム１０２を使用して、検索キーを指定して画像検索をサーバ装置１１０へ指示する。ここでの検索キーは単語等のキーワードを想定する。この時の指示手段は、例えば図６に示すような検索キー指定画面をクライアント装置１００の表示デバイス１０１上へ表示する。図６において、３０１はキーワード入力ウインドウ、３０２は検索を指示する検索ボタン、３０３は検索をキャンセルするキャンセルボタンである。
【００３８】
ユーザは、入力デバイス１０３のキーボード等を使用し、キーワード入力ウインドウ３０１へ検索キーワードを入力し、入力デバイス１０３のマウス等のポインティングデバイスを使用し、検索ボタン３０２をクリックすることにより、サーバ１１０側に画像分類指示が外部通信路１０４を介して転送される。
【００３９】
ステップＳ１０２において、サーバ装置１１０は、検索指示と共に検索キーを受信すると、キーワード検索処理部１１９では画像情報ＤＢ１１７に蓄積されたオブジェクトのテキスト情報に対してキーワード検索処理を実施する。キーワード検索処理は、検索キーで指定されたキーワードと完全に合致するもののみを検索する方法と、キーワードの類義語や連想される言葉等を含めて検索する方法、また自然文を検索キーとしてそこから抽出した単語をキーとして検索する方法等があるが、本発明はいずれの方法でもよく、またクライアント装置１００側でそれらを指定するように構成しても良い。
【００４０】
キーワード検索処理部１１９では、画像情報ＤＢ１１７から検索にヒットしたオブジェクトに関する以下の情報を表示画面制御処理部１２１へ出力する。
・ファイル名、作成日
・画像データＩＤ
・サムネイル画像データＩＤ
・オブジェクト画像データＩＤ
・オブジェクト座標
・オブジェクト属性
・オブジェクトから抽出された（文字コードによる）テキスト情報
ステップＳ１０３において、オブジェクト選択処理部１２３では、キーワード検索処理部１１９の検索結果に応じて表示対象ページ（キーワード検索にヒットしたオブジェクトを含むページ）に含まれるオブジェクトから表示するオブジェクトを選択する。選択方法の詳細については後述する。
【００４１】
ステップＳ１０４において、表示画面制御処理部１２１では、キーワード検索処理部１１９の検索結果およびオブジェクト選択処理部１２３の選択結果に応じて検索結果表示画面１２２のレイアウトを決定する。次いで、画像ＤＢ１２０から、表示する画像データ、画像データのサムネイル、オブジェクト画像データを入力し、また画像情報ＤＢ１１７からキーワード検索にヒットしたテキスト情報を入力し、検索結果表示画面１２２を生成し、外部Ｉ／Ｆ１１１より外部通信路１０４を経由してクライアント１００へ送信する。
【００４２】
なお、上記したような表示画面の作成方法やサーバクライアント間の通信方法には種々の手法があるが、一般的によく使用される手法としてサーバ装置１１０をＷｅｂサーバとしてＷｏｒｌｄＷｉｄｅＷｅｂベースの技術を使用することにより実現可能となる。そして、表示画面１２２はＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇａｇｅ）によって記述され、アプリケーション１０２は一般的なＷｅｂブラウザを使用すれば良い。
【００４３】
図７は、検索結果表示画面の一例を示す。図７の表示画面をページ詳細表示画面と呼ぶこととする。図７において、３１１は表示画面をページ詳細表示画面への切り換えを指示するラジオボタン、３１２は一般的なサムネイル表示を指示するラジオボタン、３１３は検索結果を表示するフレーム、３１４はページ（単位の）表示領域、３１５はフレームをスクロールするためのスライダである。
【００４４】
このように、実施例１の詳細表示画面は、検索にヒットしたページ単位に表示領域３１４を設けて、それをスライダ３１５でスクロールしながら、キーワード検索した結果表示画面から検索対象画像を探す例を示す。
【００４５】
また、図８は、ページ表示領域３１４に、図４に示す画像の「属性」をキーワードとして検索した結果を表示した例を示す。図８において、３２１はファイル名、３２２は検索にヒットした画像データの該当ページのサムネイル画像、３２３は画像データから抽出したタイトル、３２４は選択された代表オブジェクト、３２５はキーワード検索にヒットしたテキストデータである。
【００４６】
この例では、テキストデータ３２５を文字コードのデータ（以下テキストデータと略す。ビットマップの文字画像は文字画像と記す）とした例を示す。これにより、クライアント１００のアプリケーション１０２によって文字コードが解釈され、ユーザは表示画面上で文字として読むことができる。この部分は、画像データの必要な部分の文字画像を切り出して表示しても良いが、大きさが不揃いになり、また、画像データであるためユーザが読み易く体裁を整える操作が煩雑になるなどデメリットがあるため、テキストデータの方がよい。また、テキストデータでは、キーワード部分を強調したり、色づけする等の文字装飾操作も容易である。さらに、テキスト部に実際のオブジェクト画像データのリンクを付けておき、マウス等のポインティングデバイス等でクリックするとオブジェクト画像データが表示されるようにしても良い。
【００４７】
実施例１はページ単位での表示形態を示しているが、キーワードによる検索では、ページ単位を検索対象とする場合が多い。例えば、最終的にユーザが検索対象ページを含む複数ページからなる文書が必要な場合は、まずページ単位で検索対象画像を探し、そのページから文書へたどり着く手段があれば良いので、多くの場合、上記したような方法で問題はない。仮に、ユーザがキーワード検索からダイレクトに複数ページからなる文書を必要とする場合には、サムネイル画像３２２に表示するサムネイルを先頭ページのサムネイルとし、あるいは先頭ページのサムネイルを並べて表示しても良い。
【００４８】
ステップＳ１０５において、クライアント装置１００では、表示デバイス１０１上に表示画面１２２を表示する。
【００４９】
次に、オブジェクト選択処理部の動作を説明する。実施例１では、以下の条件によりオブジェクトを選択している。図９は、オブジェクト選択処理のフローチャートを示す。
・タイトルが存在すればタイトルオブジェクトを選択する（ステップＳ２０１）。
・本文、タイトルオブジェクト以外の図形、写真、表等のオブジェクトから、キーワードがヒットしたオブジェクトの最近傍のオブジェクトを一つ選択する（ステップＳ２０２、Ｓ２０３）。
【００５０】
例えば、「請求の範囲」がキーワードの場合、図４（２）では、本文１のオブジェクトがヒットしたオブジェクトであり、その最近傍オブジェクトの図形オブジェクトが選択される。
【００５１】
なお、実施例１では、タイトル以外の選択オブジェクトが１つの例を示したが、複数選択しても良い。また、近傍オブジェクトの選択において、予め、図形、写真、表オブジェクトに、近傍の文字主体のオブジェクトから得られるテキスト情報を関連付け、キーワード検索によってそれらのオブジェクトが自動的に選択されるように構成しても良い。また、実施例１では、属性単位に画像領域を分割する画像分割手法を示したが、例えば、図１０の破線で示すように画像を等分割して、分割した領域を代表オブジェクトとして表示しても良い。この場合は、図１１に示すような表示画面となるため、文書画像の内容を正確に提示する精度が低下するが、属性を判定する必要がなくなるためサーバ装置の処理が軽減される。
【００５２】
以上、説明したように本実施例によれば、ユーザが入力したキーワードに基づいて文書画像ＤＢのキーワード検索を実施して、検索結果の表示画面を生成する機能を有する画像処理装置において、検索結果の一覧表示上での文書画像のサムネイル、検索キーにヒットしたテキスト情報、代表オブジェクトを同時に表示することにより、サムネイルによって画像の概観を容易に把握でき、テキスト情報によって検索キー前後の文書内容を容易に把握でき、また、代表オブジェクトによってサムネイルでは確認できない代表オブジェクトの詳細の視認性を向上させているので、曖昧な記憶を頼りに既知の文書画像を検索する場合や、未知の情報を得るために文書画像を検索する場合でも、検索にヒットした文書画像の内容理解を助け、一覧表示上のみで検索対象画像を探し出すことが可能となり、文書画像ＤＢにおけるキーワード検索の操作性が向上する。
【００５３】
また、代表オブジェクトの選択に際して、その文章の内容を端的に表す可能性の高いタイトルオブジェクトを選択しているので、文書内容の理解が容易になる。また、代表オブジェクトの選択に際して、本文領域以外の写真、図形、表等の領域を選択しているので、直感的に文書内容を把握できる。また、代表オブジェクトの選択に際して、キーワード検索にヒットしたオブジェクトの近傍オブジェクトを選択しているので、検索キーワードに関連したオブジェクトを選択することができ、検索キーワードによる文書画像の内容理解が容易になる。
【００５４】
実施例２：
実施例２は、オブジェクト選択手段が実施例１のものと異なる。他の構成要素は実施例１と同様である。
【００５５】
実施例２では、以下の条件により、オブジェクトを選択する。図１３は、実施例２のオブジェクト選択処理のフローチャートを示す。
・タイトルが存在すればタイトルオブジェクトを選択する（ステップＳ３０１）。
・検索キーがヒットしたオブジェクトを選択する（ステップＳ３０２）。
・本文、タイトルオブジェクト以外の図形、写真、表等のオブジェクトから、最大サイズのオブジェクトを一つ選択する（ステップＳ３０３）。
【００５６】
図４の画像に対する、実施例２の処理結果の例を図１２に示す。例えば、「請求の範囲」がキーワードの場合、図４（２）では、本文１のオブジェクトがヒットしたオブジェクトであり、図１２に示すように、ヒットしたオブジェクト３２６が画像データとして選択される。また、最大サイズの写真オブジェクト３２４が選択される。
【００５７】
以上、説明したように本実施例によれば、検索キーがヒットしたオブジェクトを代表表示オブジェクトとして選択しているので、サムネイルと照合することによって検索キーがヒットした部分が文書画像中のどの部分に相当するかを容易に把握できる。また、実画像上での文字の概観（フォントスタイルやフォントの大きさ）等が容易に分かる。また、代表オブジェクトの選択に際して、オブジェクトのサイズにより選択しているので、文書画像の内容を端的に表すオブジェクトを選択することができ、文書画像の内容理解が容易になる。
【００５８】
実施例３：
実施例３は、オブジェクト選択手段が実施例１のものと異なる。他の構成要素は実施例１と同様である。
【００５９】
実施例３では、以下の条件により、オブジェクトを選択する。図１４は、実施例３のオブジェクト選択処理のフローチャートを示す。
・タイトルが存在すればタイトルオブジェクトを選択する（ステップＳ４０１）。
・検索キーがヒットしたオブジェクトのテキスト情報から、「表」「Ｆｉｇ」「図」「写真」等の図形、写真、表等のオブジェクトを示すキーワードを検索し（ステップＳ４０３）、ヒットした場合（ステップＳ４０４でＹｅｓ）、図形、写真、表等のオブジェクトのキャプション（本実施例の場合は、図形、写真、表オブジェクトに含まれるものとする）を対象としてヒットしたキーワードでキーワード検索を実施してオブジェクトを選択する（ステップＳ４０７）。なお、処理結果の例は実施例１と同様である（ただし、本文３に「図」キーワードが存在する場合）。
【００６０】
以上、説明したように本実施例によれば、検索キーがヒットしたオブジェクトに含まれる図形、写真、表等のオブジェクトを示すキーワードを検索し、そのキーワードに基づいて代表オブジェクトを選択しているので、検索キーワードに関連するオブジェクトの選択が可能となり、検索キーワードによる文書画像の内容理解が容易になる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施例のシステム構成を示す。
【図２】サーバ装置の構成を示す。
【図３】実施例１の画像登録動作のフローチャートを示す。
【図４】画像分割、属性識別結果の例を示す。
【図５】実施例１の画像検索動作のフローチャートを示す。
【図６】検索キー指定画面の例を示す。
【図７】サムネイル一覧表示画面の例を示す。
【図８】実施例１のページ表示領域詳細画面の例を示す。
【図９】実施例１のオブジェクト選択処理のフローチャートを示す。
【図１０】画像分割の他の方法を示す。
【図１１】図１０の分割手法による表示画面の例を示す。
【図１２】実施例２のページ表示領域詳細画面の例を示す。
【図１３】実施例２のオブジェクト選択処理のフローチャートを示す。
【図１４】実施例３のオブジェクト選択処理のフローチャートを示す。
【符号の説明】
【００６２】
１００  クライアント装置
１０１  表示デバイス
１０２  アプリケーションプログラム
１０３  入力デバイス
１０４  外部通信路
１１０  サーバ装置
１１１  インターフェース
１１２  登録画像データ
１１３  サムネイル生成処理部
１１４  画像分割処理部
１１５  属性識別処理部
１１６  文字コード抽出処理部
１１７  画像情報ＤＢ
１１８  検索キー
１１９  キーワード検索処理部
１２０  画像ＤＢ
１２１  表示画面制御処理部
１２２  表示画面データ
１２３  オブジェクト選択処理部
【図１】
2008040753.tif 000003
【図２】
2008040753.tif 000004
【図３】
2008040753.tif 000005
【図４】
2008040753.tif 000006
【図５】
2008040753.tif 000007
【図６】
2008040753.tif 000008
【図７】
2008040753.tif 000009
【図８】
2008040753.tif 000010
【図９】
2008040753.tif 000011
【図１０】
2008040753.tif 000012
【図１１】
2008040753.tif 000013
【図１２】
2008040753.tif 000014
【図１３】
2008040753.tif 000015
【図１４】
2008040753.tif 000016