(57)【要約】【課題】文書間をより良好に識別可能なシステムを提供する。【解決手段】文書におけるテキストの一連の統計的性質が決定され、特に、文書の認識、体系化、または関連付けを行うために、文書を特徴付ける方法および装置が記載される。文書に出現する単語のリストが決定され、リストにある単語ごとに出現頻度が決定される。一連の統計的性質は、リストからの１つの単語とその単語の頻度とのそれぞれの組から作られ、文書の意味論的スナップショットを形成する。意味論的スナップショットは、文書を互いに比較するためか、特定の注目部分または主題の意味論的スナップショットと比較するために使用されることにより、その主題に関する文書の関連性が決定される。【選択図】　　　図２Ａ
2004038944.tif 000002
【特許請求の範囲】
【請求項１】
文書におけるテキストの一連の統計的性質が決定され、特に、文書の認識、体系化、または関連付けを行うために、文書を特徴付ける方法であって、
文書に出現する単語のリストが決定され、
前記リストにある単語ごとに出現頻度が決定され、
前記一連の統計的性質が、前記リストからの１つの単語と前記単語の頻度とのそれぞれの組から作られ、かつ前記一連の統計的性質が、文書の意味論的スナップショットを形成する、文書を特徴付ける方法。
【請求項２】
前記単語のリストが、所定の長さより短い単語を省くことにより処理される、請求項１に記載の方法。
【請求項３】
前記単語のリストが、出現順、アルファベット順、語長順、頻度順の少なくとも１つの基準で分類されることにより処理される、請求項１または２に記載の方法。
【請求項４】
前記単語のリストが、不正確にまたは異なって綴られた単語の修正、動詞または名詞の基本形への変形、同音異義語や類義語の認識、および／または専門用語のデータベースに基づいて、単語を組み合わせるまたは置き換えることにより処理される、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記単語のリストが、単語を別の言語に翻訳することにより処理される、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記意味論的スナップショットが、前記一連の統計的性質の組における頻度を正規化することにより処理される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記意味論的スナップショットが、著者、部門、キーワード、および／または主題などの意味論的構造に関するデータを追加することにより処理される、請求項１から６のいずれか一項に記載の方法。
【請求項８】
ある文書と他の文書との間の関係が、特に、主題により関連する文書をグループ化するために意味論的スナップショットを比較し、または、同じ文書の修正版など密接に関連する文書を整理することにより決定される、請求項１から７のいずれか一項に記載の方法。
【請求項９】
ある文書と特定の主題との間の関係が、文書の意味論的スナップショットと特定の主題に特有の意味論的スナップショットを比較することにより決定され、該特定の主題に特有の意味論的スナップショットが、既知の文書のセットおよび／または主題に関係する単語のリストに基づいて決定される、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
請求項１から９のいずれか一項に記載の方法をプロセッサで実行するように構成された、文書を特徴付けるためのコンピュータプログラム製品。
【請求項１１】
請求項１から１０のいずれか一項に記載の方法により形成された、意味論的スナップショットのデータ構造を表すことを特徴とするデータ信号。
【請求項１２】
前記信号が、データサポートに格納される、請求項１１に記載のデータ信号。
【請求項１３】
特に、文書の認識、体系化、または関連付けを行うために、文書におけるテキストの一連の統計的性質により文書を特徴付けるモジュールを含む文書処理装置であって、前記モジュールが、文書に出現する単語のリストを決定し、前記リストの単語ごとに出現頻度を決定し、前記リストからの１つの単語と前記単語の頻度とのそれぞれの組から、文書の意味論的スナップショットを形成する一連の統計的性質を作るように構成された、文書処理装置。
【請求項１４】
文書処理装置が、テキストを抽出するように構成された文書入力ユニットを備える、請求項１３に記載の装置。
【請求項１５】
前記モジュールが、請求項２から９のいずれか一項に記載の方法を実行するように構成された、請求項１３または１４に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書におけるテキストの一連の統計的性質が決定され、特に、文書の認識、体系化、または関連付けを行うために、文書を特徴付ける方法に関する。
【０００２】
さらに、本発明は、文書を特徴付けるためのコンピュータプログラム製品およびデータ信号に関する。
【０００３】
さらに、本発明は、特に、文書の認識、体系化、または関連付けを行うために、文書のテキストの一連の統計的性質により文書を特徴付けるためのモジュールを含む文書処理装置に関する。
【背景技術】
【０００４】
米国特許第５，４１８，９５１号明細書には、言語または主題により、文書を識別し、検索し、または分類する方法が記載されている。これを達成するために、文書ごとに一連のｎ−ｇｒａｍが決定される。ｎ−ｇｒａｍとは、ｎ個の文字または空白の組み合わせである。各ｎ−ｇｒａｍの頻度、すなわち、文書中にどのくらいの頻度でｎ−ｇｒａｍが出現するかが決定される。一連のｎ−ｇｒａｍおよび頻度は、頻度を標準化し、かつ共通成分を除去することにより、さらに処理される。一連のｎ−ｇｒａｍを基にして、文書が（おそらく）書かれた言語は、その言語の文書からの既知の一連のｎ−ｇｒａｍと比較することにより決定される。また、未知の文書とデータベースにある既知の文書との可能な関係が、一連のｎ−ｇｒａｍを比較することにより決定されることができる。
【０００５】
知られているシステムに関する１つの問題として、一連のｎ−ｇｒａｍを基に文書を特徴付けることには、限られた識別力しかないことが挙げられる。
【０００６】
【文献１】
米国特許第５，４１８，９５１号明細書
【考案の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、特に、文書間をより良好に識別可能なシステムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、プリアンブルによる方法は、文書に出現する単語のリストが決定され、リストにある単語ごとに出現頻度が決定され、一連の統計的性質は、リストからの１つの単語とその単語の頻度とのそれぞれの組から作られ、一連の統計的性質は、文書の意味論的スナップショットを形成することを特徴とする。
【０００９】
本発明の第２の態様によれば、冒頭に参照されているタイプの装置は、モジュールが、文書に出現する単語のリストを決定し、リストの単語ごとに出現頻度を決定し、リストからの１つの単語とその単語の頻度とのそれぞれの組から、文書の意味論的スナップショットを形成する一連の統計性質を作るように構成されることを特徴とする。本発明によるステップは、特に、意味論的スナップショットが、文書の内容および主題に関連するという利点を備える。さらに、まったく同一の文書の修正版などの非常に類似した文書の場合、意味論的スナップショット間には非常に明確な対応性がある。このようにして、意味論的スナップショットを基にして、文書の大部分のクラスタリングおよび順番を自動的に獲得できる。
【００１０】
また、本発明は、人間の言語が、自動解析によりさまざまなレベルでアプローチが可能であるということに基づいている。米国特許第５，４１８，９５１号明細書における統計的アプローチは、文字の組み合わせの出現を解析することに基づいている。解析により、文書の言語および種類に関する指標が与えられる。本願発明者は、原則的に、人間の読者を対象とした全単語のより高度な意味論的レベルでの自動の統計的解析が可能であり、さらに、かなり良好な指標を与えるということが分かった。この指標、いわゆる、意味論的スナップショットは、主題によりさまざまな文書を関連付けることと、密接に関係のある文書を順番に並べることの両方に非常に適したものであることが分かっている。
【００１１】
本発明による方法の一実施形態において、単語のリストは、所定の長さより短い単語を省くことにより処理される。これには、頻繁に出現し、文書の性質に関する情報をほとんど提供しない短い単語が、意味論的スナップショットから省かれるという効果がある。これにより、意味論的スナップショットの識別力が上がる。
【００１２】
本発明による方法の別の実施形態において、単語のリストは、以下の基準の少なくとも１つ、すなわち、出現順、アルファベット順、語長順、頻度順で分類することにより処理される。特に、これには、他の意味論的スナップショットとの比較がより単純になるという利点がある。特に降順語長の順で分類する場合、長い単語が文書の良好な特徴を与えることが分かっている。さらに、昇順頻度の順で分類する場合、低い頻度が文書の良好な特徴を与えることが分かっている。
【００１３】
本発明による方法のさらなる実施形態において、単語のリストは、不正確にまたは異なって綴られた単語の修正、動詞または名詞の基本形への変形、同音異義語や類義語の認識、および／または専門用語のデータベースに基づいて、単語を組み合わせる、または置き換えることにより処理されるか、または、単語のリストは、単語を別の言語に翻訳することにより処理される。これには、如何なる意味論的差異を有さない単語間の差がなくなるという利点がある。このようにして、意味論的スナップショットの識別力が上がる。
【発明を実施するための最良の形態】
【００１４】
以下、図１から図４を参照しながら、本発明について詳細に説明する。図において、対応する構成要素には同じ参照符号が付与されている。
【００１５】
図１は、意味論的スナップショットを決定する装置を示す。この装置は、例えば、フロッピー（登録商標）ディスクまたはＣＤなどのデータサポートから文書ファイルを読み取るためのディスクドライブなど、文書を電子形式で入力するための文書入力ユニット１１を含む。入力ユニット１１は、文書におけるテキストが収集されるテキスト抽出ユニット１２に接続される。この過程で、テキストは、フォントなどのレイアウトおよび様式の特徴がなくなる。その結果得られるテキストは、文書のプレーンテキストである。テキスト抽出ユニット１２の出力は、文書におけるテキストの一連の統計的性質を決定する意味論的ユニット１３に接続される。まず、文書に出現する単語のリストが決定される。テキストに単語が出現する回数を計数することにより、作成されたリストの単語ごとに出現頻度が決定される。単語と頻度の両方で、｛ｗｏｒｄ，ｆｒｅｑ｝ｔｕｐｌｅと呼ばれる組をなす。最後に、一連の統計的性質は、リストからの１つの単語とその単語の頻度とのそれぞれのこのような組から形成される。このようにして、一連の統計的性質は、文書の意味論的スナップショットを形成する。意味論的スナップショットは、単語の頻度分布図である。
【００１６】
次のステップにおいて、意味論的スナップショットは、文書を互いに比較するためか、特定の注目部分または主題の意味論的スナップショットと比較するために使用されることにより、その主題に関する文書の関連性が決定される。異なる文書の単語のリストと頻度分布図の両方が著しい類似性を示せば、文書が互いの変形である可能性が高い。それらの文書は、（少なくとも）内容に関連性があることになる。意味論的スナップショットを用いると、異なる文書間またはまったく同じ文書の異なる変形版の間の関連性を作り出すことができる。後者の場合、わずかな補正や付加しか関与していないことが確かならば、頻度分布図は、互いに非常に類似したものとなるであろう。
【００１７】
一実施形態において、リストは、特定の長さより長い単語に制限される。その結果、ほとんど関連性がない短い単語は、意味論的に、意味論的スナップショットから外れる。また、例えば、「ｈａｖｉｎｇ」や「ｂｅｉｎｇ」などの頻繁に出現するより長い単語は、良好な意味論的識別効果を出すために省かれてもよい。
【００１８】
さまざまな実施形態において、意味論的ユニット１３は、以下に記載する方法で、テキストおよび／または単語リストおよび／または意味論的スナップショットを処理するように構成される。意味論的スナップショットは、文書のプレーンテキストに基づいている。意味論的スナップショットの品質は、以下の技術により改良可能である。まず、意味論的関係に基づいて、異なる単語の組み合わせまたは置き換えが可能である。適切な可能性は、動詞および／または名詞をそれらの基本形に変形することである。組み合わせステップは、同音異義語または類義語を認識すること、または専門用語データベースを利用することによっても形成可能である。意味論的スナップショットは、単語リストおよび単語ごとの出現頻度を含む。｛ｗｏｒｄ，ｆｒｅｑ｝ｔｕｐｌｅは、所定の方法で分類されてよい。適切な方法は、発生順、すなわち、テキストに単語が最初に発生した順序、またはアルファベット順（格により変化するまたは別の方法）である。良好な識別力を有する１つの方法は、語長順（例えば、長い単語が最初、これらは稀である）、頻度順、昇順または降順（低い頻度の方が良好に識別する）による分類である。異なる分類基準が組み合わされてもよく、例えば、最初に語長順に分類した後、同じ長さの単語を頻度順に分類する。意味論的スナップショットは、これらの異なる分類動作により、より効率的に処理され互いに比較されてよい。別の可能性は、例えば、英語からオランダ語に、意味論的スナップショットの単語を翻訳することである。このようにして、異なる言語の文書の関連付けが可能となる。これは、文書の意味論的スナップショットの特別な利点である。
【００１９】
一実施形態において、意味論的スナップショットは、著者、部門、主題などの既知の認識可能な意味論的構造を用いることにより補足される。既存するデータベースにある文書の場合、これらのデータは、文書と組み合わせて別々に格納されることにより引き出されることが多い。また、前に割り当てられたキーワードや他の特徴を意味論的スナップショットに付加することも可能であり、または、それらは、例えば、該当する技術分野の専門用語および従来の類義語の関連データベースを使用することにより、単語リストの処理を制御するために使用可能である。
【００２０】
一実施形態において、出現頻度は、標準化により変換される。原則的に、頻度は絶対数を表す整数であるが、単語総数で除算することにより正規化されてよい。この正規化では、文書の長さに関する情報が失われる。ほとんどのタイプの比較において、これは、悪影響をもつものではない。また、文書の長さは、意味論的スナップショットにパラメータとして別々に付加されてもよい。
【００２１】
図２Ａは、意味論的スナップショットの第１の例を示す。これは、本願明細書において「Ｌｉｓｔ（ｗｏｒｄ，ｆｒｅｑ）」として表される、一連の単語＋頻度の組を含むデータ構造である。リストは、アルファベット順に分類されている。この例では、以下の要素がさらに追加された。すなわち、元の文書名「｛ｄｏｃ．Ｎａｍｅ：ｔｅｓｔ．ｄｏｃ｝」、文書の長さ「Ｌｅｎｇｔｈ＿ｄｏｃ」、および単語リストの長さ「Ｌｅｎｇｔｈ＿ｌｉｓｔ」である。
【００２２】
図２Ｂは、意味論的スナップショットの第２の例を示す。意味論的スナップショットは、この場合、語長で分類した後、頻度で分類されている。リストには、語長が２１の非常に長い単語が示されており、語長Ｌ＝９の単語もいくつか示されている。頻度の値は、文書の長さで正規化することによりパーセンテージで与えられる。意味論的スナップショットは、文書とともにデータサポート、例えば、ハードディスクやＣＤ−Ｒに保持されてよい。文書が修正され新しい日付が付与されれば、意味論的スナップショットが再度決定されなければならない。また、例えば、インターネットを介して、別のデータ信号として意味論的スナップショットを格納または送信することもできる。このようにして、制限されたデータ量を基に、レシーバが、関連文書がソースに存在するかを決定する。また、所定の単語「辞書」を使用し、そこにある各単語にコード、例えば、シリアル番号を割り当てることにより、意味論的スナップショットのデータ量を制限することもできる。意味論的スナップショットは、単語のコードと頻度のそれぞれの組のリストから形成される。必要に応じて、出現頻度が低い単語が、完全に意味論的スナップショットに含まれている限り、リストの一部分のみに対して単語コードが使用されてよい。
【００２３】
意味論的スナップショットは、多くの分野で使用可能である。例えば、データベースには、多数のレポートが収集される。これらのレポートは、費用のかかる専門家により手作業でコード化される。これらのコード化の目的は、関連するレポートをグループ化することである。意味論的スナップショットを用いると、関連する文書は、自動的にともにクラスタリングできる。別のケースは、盗作である。意味論的スナップショットが、本、ウェブ文書、または他の文書からなる。これらが互いに非常に類似していれば、盗作のケースである可能性がある。これらが互いに明らかに類似していなければ、盗作のケースではない。また、頻繁に出現する問題は、バージョン管理であり、すなわち、おそらく異なるバージョンの知られていない順序が文書に存在する可能性がある。文書の意味論的スナップショットおよびそれらの相互の相違、または、この代わりとして、平均的な文書との相違を決定することにより、文書のどのバージョン順序であるかを推定することができる。この点に関して、手書き形式の文書が、タイプ形式の同じ文書の同等のものとして認識されることも可能である。
【００２４】
図３は、意味論的スナップショットを基にして、データベースを組み立てるためのアーキテクチャを示す。まず、アプリケーションプログラムが文書を送る「アプリケーション」、電子メール、または紙上の文書を光学的に走査するスキャナなどのモジュールで、文書ソース２８が示される。スキャナの場合のように、文書がビットマップ形式で供給されれば、文書は、読取り可能なテキストに変換するために、ＯＣＲ（光学式文字認識、Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）モジュール２７に送られる。到来する文書がすべてメモリ２９に（一時的に）格納され、そこに「新しい文書のキュー」が存在する。その後、各文書は、例えば、図１に関して上述したように、意味論的スナップショットが決定される意味論的スナプショットモジュール１３に送られる。意味論的スナップショットを決定する際に、意味論的ユニット１３に接続されたコンフィグレーションユニット３０に位置する、分類順または使用される類義語などのコンフィグレーションが使用される。意味論的スナップショットは、決定後、データベースメモリ２５に格納されてよく、このメモリには、例えば、元の文書（またはその参照）、推計された意味論的スナップショット、および他の文書との関係がある可能なリストが、例えば、別々のセクションに格納される。また、意味論的モジュール１３は、アーカイブ３１にも接続され、そこに、他の文書からのデータが現在の文書と比較するための格納される。アーカイブは、更新モジュール２６を介して、新しく処理された文書で定期的に更新される。更新プロセスにおいて、新しい文書の関係リストが読み取られ、意味論的スナップショットおよびアーカイブにある他の関係がそれに適合される。記載したアーキテクチャの一実施形態は、例えば、ローカルエリアネットワークを介して、コンピュータシステムに接続されたディジタル複写機および／またはスキャナである。コンピュータシステムにおいて、会社に存在する文書のデータベースおよびアーカイブが維持される。機械でコピーまたはスキャンを行うために文書が差し込まれれば、ビットマップが作成され、（ＯＣＲ中間ステップ後に）そこからテキストが抽出される。その後、意味論的スナップショットが計算される。この機能を果たすモジュールが、ディジタル複写機および／またはスキャナに組み込まれてよく、または、この機能は、コンピュータのソフトウェアプログラムにより実行されてよい。
【００２５】
図４は、意味論的スナップショットを決定するためのモジュールを示す。このモジュールは、図３の意味論的ユニット１３に相当する。これは、以下に示す動作の命令を備えたプロセッサ、例えば、ソフトウェアプログラムを有する標準的なコンピュータ、または特別に（部分的にハードウェア）プログラムされたプロセッサとして構成される。モジュールの作用は以下のとおりである。第１の「テキストの抽出」ステップにおいて、プレーンテキストが新しい文書と分離される。第２の「頻度分布図の作成」ステップにおいて、単語リストおよび関連する頻度が決定される。このステップにおいて使用されるパラメータは、「コンフィグレーションの読取り」入力３５を介して設定される。これらのパラメータは、例えば、最小語長、頻度の制限、または翻訳や類義語または専門用語をもつ特定リストの使用などのオプションに関する。その結果、計算後、意味論的スナップショットは、「頻度分布図」出力を介して入手可能であり、元の文書および／またはプレーンテキストバージョンが、「元の文書」出力を介して入手可能である。プレーンテキストは、一時的にしか要求されず、必要に応じて、元の文書から再度抽出されてよい。
【００２６】
一実施形態において、意味論的モジュール１３に、新しい文書の意味論的スナップショットと既知の意味論的スナップショットとを比較するための第３のステップである「頻度分布図の比較」が備わっている。これを達成するために、意味論的モジュール１３に、既知の意味論的スナップショットにおいて読取りを行うために、データバス３６が備わっている。比較の結果、他の文書または既知の主題との関係のリストが、「関連リスト」出力を介して入手可能である。比較において、２つの意味論的スナップショットにおける対応する単語が最初に決定された後、関連する頻度が比較される。頻度の相違または一致は、例えば、分類されたリストの位置に応じて、重み付けがなされてもよい。このようにして、文書全体に対して関連インデックスが計算される。
【００２７】
多数の例示的な実施形態を参照しながら、本発明を上述してきたが、本発明は、それらに限定されるものではない。本発明は、任意の新しい特徴や上記に示した特徴の組み合わせを含む。例えば、本発明は、記憶システムにすでに存在するか、または、すでに便利な特徴を有する文書の意味論的スナップショットを決定するためのユニットとして構成されてもよい。意味論的スナップショットは、より詳細なクラスタリングを適用するために使用されてよい。また、「含む」という単語は、記載したもの以外の要素またはステップの存在を除外せず、「１つ」という単語は、それが複数ある場合を除外せず、参照符号は、特許請求の範囲を制限せず、本発明は、（部分的に）ハードウェアおよび（部分的に）ソフトウェアの両方で実行されてよく、異なる手段または機能が、同じハードウェアまたはソフトウェア要素により具現化されてよいことに留意されたい。
【図面の簡単な説明】
【００２８】
【図１】意味論的スナップショットを決定するための装置を示す。
【図２Ａ】意味論的スナップショットを示す。
【図２Ｂ】意味論的スナップショットを示す。
【図３】意味論的スナップショットに基づいてデータベースを比較するためのアーキテクチャを示す。
【図４】意味論的スナップショットを決定するためのモジュールを示す。
【符号の説明】
【００２９】
１１　文書入力ユニット
１２　テキストの抽出
１３　意味論的ユニット（意味論的スナップショットモジュール）
１４　メモリ
２５　データベースメモリ
２６　更新モジュール
２７　ＯＣＲモジュール
２８　文書ソース
２９　メモリ
３０　コンフィグレーションユニット
３１　アーカイブ
３５　コンフィグレーション読取り入力
３６　データバス
【図１】
2004038944.tif 000003
【図２Ａ】
2004038944.tif 000004
【図２Ｂ】
2004038944.tif 000005
【図３】
2004038944.tif 000006
【図４】
2004038944.tif 000007
【外国語明細書】
2004038944.tif 000008
2004038944.tif 000009
2004038944.tif 000010
2004038944.tif 000011
2004038944.tif 000012
2004038944.tif 000013
2004038944.tif 000014
2004038944.tif 000015
2004038944.tif 000016
2004038944.tif 000017
2004038944.tif 000018
2004038944.tif 000019
2004038944.tif 000020
2004038944.tif 000021