(57)【特許請求の範囲】
【請求項１】
テキストとイメージを含む文書を検索する文書検索装置であって、
複数の文書を記憶すると共に、各文書ごとに、該文書のテキスト領域について、当該テキスト領域及び近傍のテキスト領域より抽出されたテキスト注釈を、前記文書のイメージ領域について、当該イメージ領域から抽出されたイメージ特徴と該イメージ領域に関連するテキスト領域から抽出されたテキスト注釈を、当該テキスト領域あるいは当該イメージ領域に対応付けて記憶している文書データベースと、
テキストとイメージを含む検索条件である照会文書の入力を受け付ける手段と、
前記受け付けた照会文書について、テキスト領域とイメージ領域に分類し、テキスト領域について、当該テキスト領域及び近傍のテキスト領域からテキスト注釈を抽出し、イメージ領域について、当該イメージ領域からイメージ特徴を抽出すると共に該イメージ領域に関連するテキスト領域からテキスト注釈を抽出する抽出手段と、
前記抽出されたテキスト領域に対応するテキスト注釈、及び、イメージ領域に対応するイメージ特徴とテキスト注釈に基づいて、前記文書データベースに記憶される文書を検索する検索手段とを備え、
前記検索手段は、前記照会文書から抽出されたイメージ領域に対応付けられるイメージ特徴と前記文書データベース内の各文書中のイメージ領域に対応付けられたイメージ特徴とのマッチング処理を行う第一のマッチング処理手段と、前記照会文書から抽出されたテキスト領域に対応付けられるテキスト注釈と前記文書データベース内の各文書のテキスト領域に対応付けられたテキスト注釈とのマッチング処理、及び、前記照会文書から抽出されたイメージ領域に対応付けられるテキスト注釈と前記文書データベース内の各文書中のイメージ領域に対応付けられたテキスト注釈とのマッチング処理を行う第二のマッチング処理手段とを有して、前記第一のマッチング処理手段と前記第二のマッチング処理手段で得られたマッチング結果を結合し、該結合されたマッチング結果に基づいて前記照会文書に類似する文書を検索することを特徴とする文書検索装置。
【請求項２】
前記テキスト注釈は、当該テキスト領域及び近傍テキスト領域より抽出された単語のリスト、及び、各単語に付与された、当該テキスト領域の中心からの距離と出現頻度に基づく重みを含むことを特徴とする請求項１記載の文書検索装置。
【請求項３】
前記抽出手段は、照会文書を走査して、単語、その座標及び出現頻度の単語リストを生成し、テキスト領域に分類された領域ごとに、前記単語リストを用いて、当該テキスト領域及び近傍のテキスト領域より抽出された各単語に対して、当該テキスト領域の中心からの距離と出現頻度に基づく重みを決定することを特徴とする請求項２記載の文書検索装置。
【請求項４】
前記抽出手段は、前記重みをソートし、所定閾値未満の重みを持つ単語を削除することを特徴とする請求項３記載の文書検索装置。
【請求項５】
前記抽出手段は、イメージ領域に分類された領域について、当該領域のイメージを正規化し、該イメージの正規化ベクトルをイメージ特徴とすることを特徴とする請求項１乃至４のいずれか１項に記載の文書検索装置。
【請求項６】
文書照会装置と文書検索装置とがネットワークを介して接続されているコンピュータシステムであって、
前記文書照会装置は、
テキストとイメージを含む検索条件である照会文書の入力を受け付ける手段と、
前記受け付けた照会文書を前記文書検索装置に送信する手段と、
前記照会文書の検索条件に基づく検索結果を前記文書検索装置から受信する手段と、
前記受信した検索結果を出力する手段とを具備し、
前記文書検索装置は、
複数の文書を記憶すると共に、各文書ごとに、該文書のテキスト領域について、当該テキスト領域及び近傍のテキスト領域より抽出されたテキスト注釈を、前記文書のイメージ領域について、当該イメージ領域から抽出されたイメージ特徴と該イメージ領域に関連するテキスト領域から抽出されたテキスト注釈を、当該テキスト領域あるいは当該イメージ領域に対応付けて記憶している文書データベースと、
前記文書照会装置が送信する、テキストとイメージを含む検索条件である照会文書を受信する手段と、
前記受信した照会文書について、テキスト領域とイメージ領域に分類し、テキスト領域について、当該テキスト領域及び近傍のテキスト領域からテキスト注釈を抽出し、イメージ領域について、当該イメージ領域からイメージ特徴を抽出すると共に該イメージ領域に関連するテキスト領域からテキスト注釈を抽出する抽出手段と、
前記抽出されたテキスト領域に対応するテキスト注釈、及び、イメージ領域に対応するイメージ特徴とテキスト注釈に基づいて、前記文書データベースに記憶される文書を検索する検索手段と、
前記文書照会装置に検索結果を送信する手段とを具備し、
前記検索手段は、前記照会文書から抽出されたイメージ領域に対応付けられるイメージ特徴と前記文書データベース内の各文書中のイメージ領域に対応付けられたイメージ特徴とのマッチング処理を行う第一のマッチング処理手段と、前記照会文書から抽出されたテキスト領域に対応付けられるテキスト注釈と前記文書データベース内の各文書のテキスト領域に対応付けられたテキスト注釈とのマッチング処理、及び、前記照会文書から抽出されたイメージ領域に対応付けられるテキスト注釈と、前記文書データベース内の各文書中のイメージ領域に対応付けられたテキスト注釈とのマッチング処理を行う第二のマッチング処理手段とを有して、前記第一のマッチング処理手段と前記第二のマッチング処理手段で得られたマッチング結果を結合し、該結合されたマッチング結果に基づいて前記照会文書に類似する文書を検索することを特徴とするコンピュータシステム。
【請求項７】
前記文書照会装置は、文書を表示する表示手段を有し、前記表示手段に表示された文書上でユーザが選択したテキスト領域、イメージ領域を検索条件として受け付けることを特徴とする請求項６記載のコンピュータシステム。
【請求項８】
前記テキスト注釈は、当該テキスト領域及び近傍テキスト領域より抽出された単語のリスト、及び、各単語に付与された、当該テキスト領域の中心からの距離を出現頻度に基づく重みを含むことを特徴とする請求項６又は７記載のコンピュータシステム。
【請求項９】
前記文書検索装置における前記抽出手段は、照会文書を走査して、単語、その座標及び出現頻度の単語リストを生成し、テキスト領域に分類された領域ごとに、前記単語リストを用いて、当該テキスト領域及び近傍のテキスト領域より抽出された各単語に対して、当該テキスト領域の中心からの距離と出現頻度に基づく重みを決定することを特徴とする請求項８記載のコンピュータシステム。
【請求項１０】
前記文書検索装置における前記抽出手段は、前記重みをソートし、所定閾値未満の重みを持つ単語を削除することを特徴とする請求項９記載のコンピュータシステム。
【請求項１１】
前記文書検索装置における前記抽出手段は、イメージ領域に分類された領域について、当該領域のイメージを正規化し、該イメージの正規化ベクトルをイメージ特徴とすることを特徴とする請求項６乃至１０のいずれか１項に記載のコンピュータシステム。
【請求項１２】
テキストとイメージを含む文書を検索する文書検索装置における文書検索処理方法であって、
前記文書検索装置は、
複数の文書を記憶すると共に、各文書ごとに、該文書のテキスト領域について、当該テキスト領域及び近傍のテキスト領域より抽出されたテキスト注釈を、前記文書のイメージ領域について、当該イメージ領域から抽出されたイメージ特徴と該イメージ領域に関連するテキスト領域から抽出されたテキスト注釈を、当該テキスト領域あるいは当該イメージ領域に対応付けて記憶している文書データベースを有し、
テキストとイメージを含む検索条件である照会文書の入力を受け付けるステップと、
前記受け付けた照会文書について、テキスト領域とイメージ領域に分類し、テキスト領域について、当該テキスト領域及び近傍のテキスト領域からテキスト注釈を抽出し、イメージ領域について、当該イメージ領域からイメージ特徴を抽出すると共に該イメージ領域に関連するテキスト領域からテキスト注釈を抽出する抽出ステップと、
前記抽出されたテキスト領域に対応するテキスト注釈、及び、イメージ領域に対応するイメージ特徴とテキスト注釈に基づいて、前記文書データベースに記憶される文書を検索する検索ステップとを実行し、
前記検索ステップは、前記照会文書から抽出されたイメージ領域に対応付けられるイメージ特徴と前記文書データベース内の各文書中のイメージ領域に対応付けられたイメージ特徴とのマッチング処理を行う第一のマッチング処理ステップと、前記照会文書から抽出されたテキスト領域に対応付けられるテキスト注釈と前記文書データベース内の各文書のテキスト領域に対応付けられたテキスト注釈とのマッチング処理、及び、前記照会文書から抽出されたイメージ領域に対応付けられるテキスト注釈と、前記文書データベース内の各文書中のイメージ領域に対応付けられたテキスト注釈とのマッチング処理を行う第二のマッチング処理ステップとを含み、前記第一のマッチング処理ステップと前記第二のマッチング処理ステップで得られたマッチング結果を結合し、該結合されたマッチング結果に基づいて前記照会文書に類似する文書を検索することを特徴とする文書検索処理方法。
【請求項１３】
前記テキスト注釈は、当該テキスト領域及び近傍テキスト領域より抽出された単語のリスト、及び、各単語に付与された、当該テキスト領域の中心からの距離と出現頻度に基づく重みを含むことを特徴とする請求項１２記載の文書検索処理方法。
【請求項１４】
前記抽出ステップは、照会文書を走査して、単語、その座標及び出現頻度の単語リストを生成し、テキスト領域に分類された、領域ごとに、前記単語リストを用いて、当該テキスト領域及び近傍のテキスト領域より抽出された各単語に対して、当該テキスト領域の中心からの距離と出現頻度に基づく重みを決定することを特徴とする請求項１３記載の文書検索処理方法。
【請求項１５】
前記抽出ステップは、前記重みをソートし、所定閾値未満の重みを持つ単語を削除することを特徴とする請求項１４記載の文書検索処理方法。
【請求項１６】
前記抽出ステップは、イメージ領域と分類された領域について、当該領域のイメージを正規化し、該イメージの正規化ベクトルをイメージ特徴とすることを特徴とする請求項１２乃至１５のいずれか１項に記載の文書検索処理方法。
【請求項１７】
請求項１２乃至１６のいずれか１項に記載の文書検索処理方法の各ステップをコンピュータに実行させるためのプログラムが記録されたことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書管理システムに係り、特に、ユーザの文書照会及び検索作業を支援するための方法及び装置並びにコンピュータシステムに関する。
【０００２】
【従来の技術】
電子媒体の進歩によって、文書が電子文書の形で広範に入手できるようになりつつある。文書の中には、アプリケーションソフトを使って作成されたために電子的に利用できるものがある。電子メール、インターネット、その他様々な電子媒体を介して入手できる電子文書もある。さらには、スキャナによって読み取られたり、複写されたり、ファクスで送られてきたりして、電子文書として利用可能な文書もある。
【０００３】
現在のコンピュータシステムは、これら電子文書を整理及び処理するための安価なツールになりつつある。記憶システム技術の急速な進歩によって、文書のページ・イメージをデジタル媒体に記憶するためのコストは大幅に低下しており、おそらく、文書のページ・イメージを印刷して紙で保存するコストよりも安価になるであろう。デジタル文書記憶には、記憶した文書の電子的な検索が容易になる、文書の自動ファイリングが可能になる、といった別の利点もある。
【０００４】
効率的で使い勝手のよいデジタル記憶システムであるためには、ユーザが、素速く能率的に文書の照会・検索をすることができなければならない。実際上、多くの記憶システムの有用性は照会及び検索機構の効率性によって決まることが多い。そして、その効率性は文書の定義、記述、登録のために採用される手法によって大きく左右される。当然の事ながら、このような文書の定義、記述、登録のタスクは文書の種類の多様化や文書量の増加にともなって複雑化する。
【０００５】
従来のデジタル記憶システムの多くは、キーワード抽出を利用したテキスト・ベースの文書検索に対応している。この技術に関して様々な変形技術が存在するが、一般的に、ユーザがキーワード・リストを定義し、システムが、それらキーワードを含む文書を検索して取り出す。この検索は、文書の部分部分を区別せず、文書全体を対象として行われるのが一般的である。必要とした文書の検索成功率を向上させるために、様々な重み付け関数が用いられる。
【０００６】
【発明が解決しようとする課題】
従来のデジタル記憶システムの殆どは、単にキーワード抽出を利用するシステムも含めて、文書中のイメージ（もしくはピクチャ）を利用して文書を定義し登録する機構を備えていない。そのイメージに、グラフ、アプリケーションソフトの実行可能コード、音、動画など、テキストとは認識されないものなら何でも含めることがある。多くの従来システムは、文書中のテキストを処理し、ピクチャ情報は無視する。しかし、多くの文書はテキストとイメージの両方を含んでいるから、イメージ情報を利用すれば照会・検索性能を向上させる効果がある。この効果は、イメージの利用範囲が広ければ広いほど、イメージを含む文書が多ければ多いほど増大する。
【０００７】
以上から理解できるように、文書中のイメージを利用して照会・検索プロセスの効率を高める文書管理システムが強く求められている。本発明の目的は、そのような要請に応えるための方法及び装置並びにコンピュータシステムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、強力な文書照会・検索技術を提供する。検索対象の文書は、”ゾーン”（領域）に分解されるが、その各ゾーンは、ひとまとまりのテキスト、グラフィカル・イメージ（”ピクチャ”とも言う）、又はそれらの組合せを意味する。これらのゾーンは、一般に、特定の文書ページの内部で定義され、また、特定の文書ページと関連付けられる。文書中のゾーンの１つ以上のものが、テキスト（例えばキーワード）、イメージ特徴又はそれらの組合せからなる注釈を付けるために選ばれる。文書の照会及び検索は、テキスト注釈とイメージ特徴の組合せに基づいてなされる。本発明は、テキスト及びイメージの検索に利用することができる。簡単な例を挙げれば、ユーザが”sunset”というような照会テキストを入力するならば、システムは、日没（sunset）のイメージを返すことになる。それは、日没のイメージが、それと物理的に類似した語”sunset”を含む（データベース内の）文書に見出されるからである。
【０００９】
本発明の一態様によれば、文書検索システムの操作方法が提供される。この方法においては、索引付けがなされていない文書（”照会”文書又は”検索キー”文書とも言う）が電子文書として取り込まれる。そして、この索引付けがされていない文書は、テキスト、イメージ、又はそれらの組合せを含む、いくつかのゾーンに分解される。これらのゾーンは、テキスト・ゾーン（テキスト領域）とイメージ・ゾーン（イメージ領域）とに分類することができる。これらゾーンの少なくとも１つのために、記述子が生成される。この記述子には、テキスト・ゾーンのためのテキスト注釈を、イメージ・ゾーンのためのテキスト注釈及びイメージ特徴を含めることができる。索引付けがされていない文書のために生成された記述子と、文書データベース内の文書のための記述子とに基づいて、文書データベース内の文書が検索される。データベース内の少なくとも１つの文書が、その索引付けがされていない文書と一致するものとして割り出され、その旨が報告される。
【００１０】
本発明のもう１つの態様によれば、文書データベースに照会するための検索キーの生成方法を提供する。この方法では、照会文書（すなわち検索キー文書）が生成され、その文書に対しいくつかのゾーンが定義される。各ゾーンは、テキストかイメージか、あるいはその組合せに関連付けられる。それらゾーン中の少なくとも１つのゾーンのための記述子が生成される。各記述子は、特定のゾーンと関連付けられており、また、検索キー情報を含んでいる。これら記述子は、文書データベースを照会するための検索キーとして利用される。
【００１１】
本発明のもう１つの態様によれば、電子記憶システム及び制御システムを含む文書管理システムが提供される。この電式記憶システムは、文書データベースと、この文書データベース内の文書のための記述子とを記憶するように構成される。上記制御システムは電子記憶システムと結合される。この制御システムは、（１）索引付けされていない文書の少なくとも１つのゾーンのための記述子を生成し、（２）生成した記述子とデータベース内の文書のための記述子とを用いて、データベース内の文書を検索し、（３）少なくとも１つの文書を索引付けされていない文書と一致するものとして割り出し、（４）割り出した文書を表示する構成とされる。
【００１２】
本発明の前述した態様及びその他の態様は、以下の説明及び添付図面を参照することによって、より明確になろう。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、本発明に利用するのに適したコンピュータシステム１００の基本的なサブシステムを示す。図１において、コンピュータシステム１００はバス１１２を有し、このバス１１２は中央処理装置１１４やシステムメモリ１１６などの主要なサブシステムを相互に接続する。バス１１２はさらに、ディスプレイアダプタ１２２を介してディプレイ１２０、シリアルポート１２６を介してマウス１２４、キーボード１２８、固定ディスクドライブ１３２、パラレルポート１３６を介してプリンタ１３４、入出力コントローラ１４２を介してスキャナ１４０、ネットワーク・インターフェース・カード１４４、フロッピーディスク１４８を装着できるフロッピーディスク・ドライブ１４６、及びＣＤ−ＲＯＭ１５２を装着できるＣＤ−ＲＯＭドライブ１５０を相互接続する。本発明のいくつかの実施例を実現するためのソースコードは、システムメモリ１１６、あるいは、固定ディスクドライブ１３２、フロッピーディスク１４８、ＣＤ−ＲＯＭ１５２などの記憶媒体に動作可能な形で置かれることになろう。
【００１４】
タッチスクリーン、トラックボールなど、他の多くのデバイス又はサブシステム（不図示）が接続されてもよい。また、本発明の実施のためには、図１に示したデバイスの全部は必ずしも存在していなくともよい。さらに、デバイス及びサブシステムは、図１に示した方法とは違った方法で相互接続されても構わない。図１に示したようなコンピュータシステムの動作は当該技術分野で周知であるので、ここでは詳述しない。
【００１５】
図２及び図３は文書検索プロセスの説明図と流れ図である。ユーザは、文書照会システム２１２を操作し、文書の検索条件を入力する（ステップ２４０）。この検索条件の入力は、ユーザにユーザ・インターフェースを介し検索すべき文書の特徴を定義させることによって、あるいは、ユーザにサンプル文書を選択させ検索すべき特徴を編集させることによって、行うことができる。そして、検索条件を含んだ照会文書２１４が、文書データベース２２２を管理する文書検索システム２２０に与えられる（ステップ２４２）。文書検索システム２２０は、検索条件に合致する文書を見つけるためデータベース２２２を検索し（ステップ２４４）、その検索結果２３０を評価、順位付けし（ステップ２４６）、そして検索結果をユーザに提示する（ステップ２４８）。検索結果及び別のユーザ入力を基に、さらに処理を行うことができる。
【００１６】
本発明の一実施例によれば、検索対象の各文書は”ゾーン”（領域）に”分解”される。各ゾーンは、ひとまとまりのテキスト又はグラフィカル・イメージ（”ピクチャ”とも言う）を意味する。ゾーンに、ピクチャとその説明文もしくは表題のように、テキストとグラフィカル・イメージの組合せも含めることができる。通常、ゾーンは（何も書かれていない）余白領域で相互に分離される。一般的には、ゾーンはある特定の文書ページの内部に定義され、また、ある特定の文書ページに関連付けられる。これとは違ったゾーンの定義を考えてもよく、それも本発明の範囲に含まれる。
【００１７】
図４は文書３１０とそのゾーン分解を示す。文書３１０はテキストとグラフィカル・イメージの組合せを含んでいる。文書３１０は、電子的に作成された文書であっても、電子文書に変換された（すなわち読み取られた）文書であってもよい。ゾーンの割り出しは、当該分野で広く使用されている光学的文字認識（ＯＣＲ）ソフトを利用して行うことができる。そのようなＯＣＲソフトの１つは、ＣＡＥＲＥ社製のＯＭＮＩＰＡＧＥである。例えば、ＯＣＲソフトによって生成される空白文字、異質文字又はその両方に基づいてゾーンを定めることができる。
【００１８】
図４に示されるように、文書３２０は、文書３１０のテキストとグラフィカル・イメージをゾーンに分解したものである。テキスト・ゾーン３２２ａ〜３２２ｉは、文書３１０の本文テキストを含む領域を表す。テキスト・ゾーン３２４ａ〜３２４ｃは、文書３１０の表題テキストを含む領域を表す。イメージ・ゾーン３２６ａ，３２６ｂは、文書３１０のグラフィカル・イメージと、おそらく多少のテキスト（ＯＣＲソフトのグラフィカル・イメージに接近した文字を認識する能力に依存する）を含む領域を表す。またＯＣＲソフトの認識能力とゾーンの定義に使われる特定の条件に依存するけれども、イメージ・ゾーン３２６ｂのようなイメージ・ゾーンは、２つ以上のゾーンにさらに分解できる。図４に見られるように、テキスト・ゾーン３２２ｂは、ゾーン３２６ａ内のイメージに対する説明文を含んでおり、その対応イメージから独立したテキスト・ゾーンに分解されている。実施例によっては、この説明文を対応イメージとひとまとめにすることができる。
【００１９】
本発明において、文書の照会及び検索を容易にするように文書を特徴付けするための技術が提供される。本発明の一態様は、文書をゾーン（領域）に分解し、それらゾーンをテキスト・ゾーン（テキスト領域）とイメージ・ゾーン（イメージ領域）に分類するための技術を提供する。本発明の他の態様は、テキスト・ゾーンとイメージ・ゾーンに注釈を付けるための技術を提供する。注釈付けとは、ここで使用しまた後述するように、あるゾーンに特徴情報、例えばテキスト、イメージの特徴、又はその両方を付与する処理である。
【００２０】
図５は、キーワード抽出プロセスの一例の流れ図である。抽出されたキーワードは、後述のように、テキスト・ゾーン及びイメージ・ゾーンの注釈付けに用いられる。ステップ４１２で、電子文書がシステムに与えられる。この電子文書は、電子的方法によって作成された文書でも、電子文書に変換された文書（すなわちスキャナ、ファクシミリ装置又は複写機で読み取られた文書）でもよい。この文書の単語（すなわちテキスト）が（電子的に）走査され、その単語の位置が求められる（ステップ４１４）。単語の認識と抽出は、例えばＯＣＲソフトによって読み取り過程で行うことができる。単語の位置は、例えば単語のベースラインの単語先頭点に対応したｘ，ｙ座標によって表すことができる。ただし、このｘ，ｙ座標を単語の他の位置（例えば単語の重心）に対応させてもよい。認識された単語はリストに入れられる。
【００２１】
文書の単語が（電子的に）走査されると、フィルタを使って不要な単語や文字が除去される（ステップ４１６）。一実施例では、”ストップワード”と異質文字が、単語・文字フィルタによって取り除かれる。フィルタで除去すべきストップワードのリストには、例えば、a，able，about，above，according，anything，anyway，anyways，anywhereなどの５２４個の一般的なストップワードを入れることができる。フィルタで除去すべき異質文字には、例えば、ＯＣＲソフトで誤認識したときに一般に生成される”，．〜＠＄＃！＆＊のような文字を含めることができる。そして、フィルタ処理後の単語の出現頻度が調べられ、その頻度が単語とともに記録される（ステップ４１８）。処理を簡単にするため、フィルタ処理後の単語は、その出現頻度順にソートされる（ステップ４２０）。
【００２２】
図６は、図４の文書３１０に関し走査された単語のリストの一部を示す。各単語の前に、そのｘ，ｙ座標が示されている。一実施例では、ｘ，ｙ座標は単語の先頭のベースラインに対応する。
【００２３】
図７は、図４の文書に関するフィルタ処理されソートされた単語のリストの一部を示す。各単語のｘ，ｙ座標が単語の前に、出現頻度が単語の後に示されている。単語は、最大頻度のものがリストの先頭（すなわち左欄）に来るようにソートされている。
【００２４】
本発明の一態様によれば、照会・検索プロセスの性能を向上させるため、文書
中のテキスト・ゾーン及びイメージ・ゾーンに注釈（すなわち記述子）が付けら
れる。注釈は、あるテキスト・ゾーン又はイメージ・ゾーンを説明する、ひとま
とまりの単語又はその他の情報である。
【００２５】
一実施例では、文書中の各ゾーンにテキスト注釈が付けられる。あるゾーンに対するテキスト注釈は、そのゾーンの内部で見つかった単語（それがある場合）と、同じ文書ページ内の、そのゾーンの外側で見つかった単語のリストを含む。例えば、イメージ・ゾーンに付けられるテキスト注釈は、ピクチャの説明文のほかに近傍ゾーンより得られたテキストを含み、テキスト・ゾーンに付けられるテキスト注釈は、そのテキストの外部より得られたテキストを含む。近傍ゾーンより得られたテキストを用いることによって、単語を含まないゾーン（例えばイメージ・ゾーン）や単語数が少ないゾーン（例えば”前置き”の表題）に対しても、有効なキーワード・リストを生成できる。したがって、テキストと１つ以上のイメージを含む文書ページの場合、テキストより選ばれた単語がイメージに付与される。
【００２６】
文書中のゾーンのそれぞれにテキスト注釈を付けると、検索精度を向上させることができるが、一般に余分にメモリを必要とする。一実施例では、テキスト注釈は、文書中の選択したいくつかのゾーンに付けられる。このゾーンの選択は、例えば、ゾーンの大きさに基づいて行うことができる。それに代えて、又は、それとは別に、例えば、テキスト・ゾーンに対し生成された単語リスト、イメージ・ゾーンに対し抽出されたイメージ特徴、あるいはその両方に基づいて、ゾーンを選択してもよい。
【００２７】
一実施例では、あるゾーンに対するテキスト注釈は、所定の重み付け方式により重み付けされた単語のリストを含む。一実施例では、単語は、そのゾーンの中心からの距離と出現頻度に基づいて重み付けされる。テキスト注釈に距離を用いることにより、ゾーンに近い単語ほど大きな重要度を与える。ゾーン重心からの単語の距離、単語の出現頻度及びゾーンの大きさに基づいた重みを算出するための基本式は次のとおりである。
【００２８】
【数１】
0004422290.tif 000002
ここで、αはヒューリスティックに決められる重み係数である。これ以外の重み付け計算式を作ってもよく、それも本発明の範囲に含まれる。また、文書の種類によって、用いる重み付け計算式を変えてもよい。例えば、注釈付けしようとするゾーンの内部の単語に、ゾーン外の単語より大きな重みを付けてもよい。また、単語の長さを考慮し、長い単語ほど大きな重みを与えてもよい。またさらに、ウェブ・ページ中のＵＲＬに同ページ上の他の単語より大きな重みを与えれば性能が向上すると考えてよいかもしれない。
【００２９】
図８は、テキスト注釈付与プロセスの一例の流れ図である。ステップ５１０で、図５のステップ４１０と同様の方法で電子文書がシステムに与えられる。この電子文書はゾーンに分解され（ステップ５１２）、これらゾーンはテキスト・ゾーンとイメージ・ゾーンに分類される（ステップ５１４）。このようなゾーンの分解及び分類は、例えば、ＯＣＲソフトの助けを借りて行うことができる。次に、この文書に対する単語抽出が図５に示したプロセスに従って実行され（ステップ５１６）、単語、その座標及び出現頻度のリストが生成される。
【００３０】
１つのゾーンが選択され（ステップ５２０）、テキスト注釈付けが開始する。選択されたゾーンの重心と面積が求められる（ステップ５２２）。（１）式のような重み付け計算式と、ステップ５１６で生成された、フィルタ処理されソートされた（図７に示したような）単語リストを用いて、文書中の単語に対する重みが決定される（ステップ５２４）。その重みが処理され、表にされる（ステップ５２６）。例えば、重みをソートし、所定閾値未満の重みを持つ単語を削除してもよい。表にされた単語とその重みによって、当該ゾーンに対するテキスト注釈を形成する。注釈付けのために選択された文書中の全てのゾーンに対し、実際に注釈が付けられたか判定される（ステップ５２８）。選択されたゾーン全部に対する注釈付けが済んでいなければ、プロセスはステップ５２０に戻り、別のゾーンが処理対象として選択される。選択されたゾーン全部に対する注釈付けが済んだならば、注釈付けプロセスは終了する。
【００３１】
図９は、分解された文書３２０のゾーンのいくつかに対するテキスト注釈の略図を示す。テキスト注釈５４０ａ〜５４０ｃはそれぞれテキスト・ゾーン３２２ａ，３２２ｆ，３２２ｉに対応している。テキスト注釈５４０ｄ，５４０ｅはそれぞれイメージ・ゾーン３２６ａ，３２６ｃに対応している。また、テキスト注釈５４０ｆ，５４０ｇは表題のテキスト・ゾーン３２４ａ，３２４ｃにそれぞれ対応している。
【００３２】
図９に示すように、各テキスト注釈は、単語と、その計算された重みのリストを含む。ゾーンの外側の単語をテキスト注釈に含めることにより、イメージを含むゾーン（例えばイメージ・ゾーン３２６ａ，３２６ｃ）や少量のテキストを含むゾーン（例えばテキスト・ゾーン３２４ａ，３２４ｃ）であっても、近傍領域のテキストを含んだ詳細なテキスト注釈を付けることができる。
【００３３】
文書照会・検索プロセスの性能を向上させるため、イメージ・ゾーンからイメージ特徴が抽出され、例えば、イメージ・マッチングに適した正規化ベクトルの形式で記憶される。テキスト注釈とイメージ特徴を組み合わせることにより、データベースから文書を検索する効果的な方法がいくつか可能となる。
【００３４】
図１０は、イメージ特徴抽出プロセスの一例の流れ図である。電子文書がシステムに与えられる（ステップ６１０）。この電子文書はゾーンに分解され（ステップ６１２）、それらゾーンが分類される（ステップ６１４）。ステップ６１０，６１２，６１４は、図８に示したテキスト注釈付けプロセス内で実行される。
１つのゾーンが選択され、イメージ特徴抽出が開始する（ステップ６２０）。そして、選択されたゾーンがイメージ・ゾーンであるか判定される（ステップ６２２）。ＯＣＲより（比較的大きな）異質文字セットが生成される場合に、イメージ・ゾーンであると判定してもよい。また、市販ＯＣＲパッケージソフトの中には、Xerox社のScanworkのように、ゾーンのｘ，ｙ座標と、ゾーンがイメージを含むかテキストを含むかの区別を出力できるものがある。選択されたゾーンがイメージ・ゾーンではないと判定されたときには、プロセスはステップ６２８に進む。選択されたゾーンがイメージ・ゾーンであると判定されたときには、そのイメージが文書から抽出され（ステップ６２４）、抽出されたイメージの領域からイメージ・ベースの特徴が導き出される（ステップ６２６）。一実施例では、主要なイメージ特徴を抽出するために重要点（interest  point）密度を利用する方法が用いられる。この方法は、”Simultaneous  Registration  of  Multiple  Image  Fragments”なる表題で１９９５年９月１３日に出願された米国特許出願第08/527,826号に詳細に説明されている。この米国特許出願は既に許可され、本発明の譲受人に譲渡されているが、ここに援用する。抽出されたイメージ・ベースの特徴は、当該イメージ・ゾーンのために保存される。
【００３５】
特徴抽出のために選択された文書中の全てのゾーンが実際に処理されたか判定される（ステップ６２８）。判定結果がｎｏならば、プロセスはステップ６２０に戻り、別のゾーンが１つ選択される。判定結果がｙｅｓならば、プロセスは終了する。
【００３６】
図１１及び図１２はそれぞれ図４に示した文書から抽出されたイメージ６４０，６４２を示す。この実施例の場合、イメージ６４０，６４２には、それに関連したテキストの説明文は含まれていない。
【００３７】
本発明は、テキスト注釈とイメージ特徴の組合せに基づいた照会・検索が可能である。一実施例では、テキスト・ゾーンに付けられたテキスト注釈を利用して、文書中のテキスト・ゾーンに対するテキスト・ベースの照会・検索が可能とされる。別の実施例では、イメージ・ゾーンに付けられたテキスト注釈を利用して、文書中のイメージ・ゾーンに対するテキスト・ベースの照会・検索が可能とされる。さらに別の実施例では、イメージ・ゾーンに付けられたテキスト注釈及びイメージ特徴を利用して、イメージ・ゾーンに対するテキスト・ベースかつイメージ・ベースの照会・検索が可能とされる。また別の実施例では、テキスト注釈を利用することにより、テキスト・ゾーン及びイメージ・ゾーンに対するテキスト・ベースの照会・検索が可能とされる。以上に述べたことから明らかなように、本発明によれば、照会と検索の様々な組合せが可能である。
【００３８】
テキスト・ベースの照会とイメージ・ベースの照会を組み合わせるとこにより、強力な照会機構を得られる。このような組合せによれば、キーワードとイメージ特徴を結合して、類似したイメージ又は同じ様な注釈が付けられたイメージを含む他の文書を見つけることができる。すなわち、イメージに対するテキスト注釈を文書検索プロセスで利用して、テキスト注釈中に類似した単語を含んでいる他の文書を検索することができる。その他の文書は、類似イメージを含んでいることもあれば含んでいないこともあろう。
【００３９】
図１３は文書検索プロセスの一実施例の流れ図を示す。最初に、データベース中の文書がゾーンに分解され、それらゾーンがテキスト・ゾーンとイメージ・ゾーンに分類され、また、それらゾーンにテキスト及びイメージ特徴からなる注釈が付けられる（ステップ７１０）。この処理は、通常、文書が入力されデータベースに格納される時に実行される。ステップ７１２で、ユーザは文書検索を起動し、検索条件を入力する。この検索条件の入力は、検索条件を定義することによって行うことも、サンプル文書のパラメータを修正することによって行うことも、あるいは他の機構によって行うこともできる。この検索条件は照会文書を形成する。
【００４０】
ステップ７１４で、その照会文書中の１つのゾーンが処理対象として選択される。選択されたゾーンがイメージを含んでいるか否かの判定が行われる（ステップ７１４）。選択されたゾーンがイメージを含んでいなければ、プロセスはステップ７３０へ進む。一方、選択されたゾーンがイメージを含んでいるならば、そのイメージが正規化され（ステップ７１８）、そのイメージの正規化ベクトルが求められる（ステップ７２０）。この正規化ベクトルを用い、適切なアルゴリズムによりイメージのマッチングが実行される（ステップ７２２）。そのようなアルゴリズムの１つが、当該技術分野で知られている”最近傍”アルゴリズムである。このアルゴリズムは”Pattern  Classification  and  Scene  Analysis”なる表題の出版物（Addison  Wesley，1973）の75ページから76ページに、R．O．DudaとP．E．Hartにより詳しく解説されており、それをここに援用する。ベクトル・マッチングの結果は一時的に記憶される。ステップ７１８，７２０，７２２は、ユーザがイメージ特徴を利用した文書マッチングを要望しなければ実行されない。
【００４１】
ステップ７３０で、選択されたゾーンのテキスト注釈とデータベース内の文書中のゾーンのテキスト注釈とのマッチングが行われる。このマッチングは周知の方法である”余弦距離法”によって行うことができる。この方法については、”Information  Storage  and  Retrieval”なる表題の出版物（Wiley，NewYork，1997）の８４ページから８５ページにR．R．Korfhageにより解説されており、それをここに援用する。テキスト注釈のマッチング結果も一時的に記憶される。当該ゾーンのマッチングが完了した後、照会文書中の全てのゾーンが処理されたか判定される（ステップ７３２）。判定結果がｎｏならば、プロセスはステップ７１４に戻り、別の１つのゾーンが処理対象として選択される。他方、照会文書中の全てのゾーンが処理されたならば、マッチング・プロセスの結果が処理されて記憶される（ステップ７３６）。この処理には、イメージ特徴マッチングの結果（それが行われた場合）と、テキスト注釈マッチングの結果を結合する処理が含まれる。照会文書中のイメージと検索された文書中のイメージとのイメージ距離を、マッチング・プロセスにより得られた候補の比較、順位付けに利用してよい。最良の検索結果となった１組の文書が表示される（ステップ７３６）。
【００４２】
図１４は、文書管理システムのユーザ・インターフェースの一例を示す図である。一実施例では、このユーザ・インターフェースは、Netscape社のNavigator（登録商標）又はMicrosoft社のInternet  Explorer（登録商標）などのウェブ・ブラウザ上で実現される。このユーザ・インターフェースを、他のソフトウェアを利用して実現してもよい。表示画面８１０には、文書３１０を表示する表示領域８１４がある。
【００４３】
図１５は、領域分割された文書３２０を表示しているユーザ・インターフェースの一例を示す図である。表示領域８１４内の文書３２０はゾーンに分割されている。このゾーン分割はシステムによって行ってよい（すなわち、ユーザが文書３１０の分解を要求した時、又は、新たな検索の起動時）。図１５からは明瞭ではないが、文書の領域分割をゾーンに対応付けたカラー・コードを使用して表してもよい。文書３２０内を自由に移動し、文書３２０中のいろいろなゾーンを選択し、また、メニュー領域８１６より利用可能な各種プロセスを選択するためにカーソル８２０を用意することができる。文書３２０のゾーンは、それをクリックすることにより選択できる。
【００４４】
図１５に示すように、文書のゾーンに関連付けられたテキストを表示させるための１つ以上のウインドウを生成させることができる。マウス（又は他のポインティングデバイス）を、ある（ピクチャ又はテキストの）ゾーンに移動させることにより、そのゾーンのテキスト注釈をウインドウ８３０に表示させることができる。この機能により、効率的なキーワードの生成及び利用が可能となり、ユーザはキーワードを入力する必要がなくなる。ウインドウ８３０内のキーワードは編集することができる。それらのキーワードを、ウェブ上のデータベースを含むデータベースの文書検索に利用できる。
【００４５】
テキスト注釈には、前述のようにして、そのゾーンに関連付けられ生成された単語が含まれる。ユーザは、マウスをゾーンに移動させてマウスをクリックすることによって、検索を開始させることができる。その際、図１５には示されていないが、（例えばJavaスクリプトを用いて）様々な検索オプションを示すためのダイアログ・メニューを表示させることができる。同様に、８ｄｐｉの小アイコンをクリックした場合に、文書の全領域の要約テキストを表示させることができる。
【００４６】
図１６は、文書の略図と、強化した検索プロセスを実現するための”雨滴”効果の利用を示す。ユーザが検索のためのゾーンを選択すると、そのゾーンのテキスト注釈が表示される。図１６では、イメージ・ゾーン３２６ａが選択されている。そして、ユーザはクリックして、そのクリック点から照会を展開する。一方向にマウスをクリックするたびに、キーワードの検索半径が拡大する。例えば、１回目、２回目、３回目、４回目のクリックで、円８４０，８４２，８４４，８４６で囲まれた領域内でのキーワード検索をそれぞれ選択する。この機能によって、ユーザは検索文字列に対する距離重み付け方式を修正することができるようになる。要するに、マウスのクリックによって、（１）式の閾値を変化させる。
本発明は、いくつかの利点を有する。第１に、本発明によれば、ある特定のイメージ（ピクチャ）又はテキスト・ブロックを含む文書の検索が可能になる。
第２に、本発明によれば、ピクチャのイメージ特徴とテキスト単語を組み合わせた、より詳細な照会文書の作成が可能になる。ピクチャの近傍にある単語を選択することにより、キーワードを結合して、そのピクチャに対するテキスト注釈（すなわちラベル）を作成することができる。このテキスト・ラベルとピクチャのイメージ特徴を使って文書照会を行うことができる。同じ手法をテキスト・ゾーンにも適用できる。
【００４７】
第３に、文書中のピクチャを別の文書の作成に利用できる。データベース内の文書を選択して、それを分解し、分類することができる。そのピクチャをパレットに入力することができる。パレット内のピクチャを利用し、例えばドラッグ、ドロップ及び電子”ステープル”の操作により新たな文書を電子的に生成することができる。電子ステープルとは、アーカイブ内の文書のページに”仮想的に”付箋を付け、付箋を付けたページによって新たな文書を作成するプロセスのことである。このような電子的な操作により、簡単に、既存文書を修正して新しい文書を作成することができる。例えば、古いプレゼンテーション用スライドの整備を、古いデータ・ゾーンと周囲のスローガンを、追加した内容のスライドで置き換えることで行うことができる。
【００４８】
好適な実施例に関し以上に説明した内容は、当業者が本発明の実施又は利用できるようにすることを目的としたものである。当業者には、これら実施例に対する様々な修正が容易に分かるであろう。また、本明細書において定義した一般的原理は、発明的才能を使わなくとも他の実施例に適用できるであろう。例えば、前述したものとは違うイメージ特徴マッチングアルゴリズムを利用してもよい。したがって、本発明は、本明細書に示した実施例のみに限定されるべきものではなく、本明細書に開示した原理及び新規な特徴と矛盾しない最も広い範囲を与えられるべきである。
【００４９】
【発明の効果】
以上に詳細に説明したように、本発明によれば、文書中のテキストのみならずイメージも利用し、容易かつ効率的に、特定のイメージ、テキスト又はそれらの組み合わせ含む文書の照会・検索を行うことができる等の効果を得られる。
【図面の簡単な説明】
【図１】  本発明に使用するのに適したコンピュータシステムの基本的なサブシステムを示す。
【図２】  文書検索プロセスの説明のための図である。
【図３】  文書検索プロセスの一例の流れ図である。
【図４】  文書とそのゾーン分解を示す図である。
【図５】  キーワード抽出プロセスの一例の流れ図である。
【図６】  図４に示した文書で走査された単語のリストの一部を示す図である。
【図７】  図４に示した文書で走査された単語にフィルタ処理してソートした単語のリストの一部を示す図である。
【図８】  テキスト注釈付けプロセスの一例の流れ図である。
【図９】  分解された文書中のゾーンのいつくかのためのテキスト注釈を示す図である。
【図１０】  イメージ特徴抽出プロセスの一例の流れ図である。
【図１１】  図４の文書から抽出されたイメージを示す図である。
【図１２】  図４の文書から抽出されたもう１つのイメージを示す図である。
【図１３】  文書検索プロセスの一例の流れ図である。
【図１４】  文書管理システムのユーザ・インターフェースの一例を示す図である。
【図１５】  領域分割された文書を表すユーザ・インターフェースの一例を示す図である。
【図１６】  ”雨滴”効果の利用を説明するための図である。
【符号の説明】
２１２  文書照会システム
２１４  照会文書
２２０  文書検索システム
３２２，３２４  テキスト・ゾーン
３２６  イメージ・ゾーン
５４０  テキスト注釈
６４０，６４２  イメージ
【図１】
0004422290.tif 000003
【図２】
0004422290.tif 000004
【図３】
0004422290.tif 000005
【図４】
0004422290.tif 000006
【図５】
0004422290.tif 000007
【図６】
0004422290.tif 000008
【図７】
0004422290.tif 000009
【図８】
0004422290.tif 000010
【図９】
0004422290.tif 000011
【図１０】
0004422290.tif 000012
【図１１】
0004422290.tif 000013
【図１２】
0004422290.tif 000014
【図１３】
0004422290.tif 000015
【図１４】
0004422290.tif 000016
【図１５】
0004422290.tif 000017
【図１６】
0004422290.tif 000018