(57)【要約】【課題】辞書データベースにリストされていない１つまたは複数の語を認識する方法を提供すること。【解決手段】有効な語が得られない場合、統計的プロセスで、その語の中の２つ以上のキャラクタからなる部分集合である系列を１つまたは複数検査して、その語が有効な語である確率を決定する。代替実施形態では、本発明は、接頭辞除去プロセス、接尾辞除去プロセス、語根プロセス、または結合プロセスあるいはこれらの組合せを含む。接頭辞除去プロセスでは、語から１つまたは複数の接頭辞を除去し、その際に、それらの接頭辞は、好ましくは、接頭辞リストにある。接頭辞除去は、好ましくは、１つまたは複数の接頭辞除去規則によって制約されている。接頭辞除去プロセスは、また、除去した接頭辞についての接頭辞情報を（たとえば、辞書データベースまたは接頭辞リストから）獲得する。接尾辞除去プロセスでは、語から１つまたは複数の接尾辞を除去し、その際に、それらの接尾辞は、好ましくは、接尾辞リストにある。好ましくは、接尾辞除去は、１つまたは複数の接尾辞除去規則によって制約されている。接尾辞除去プロセスは、また、除去した接尾辞についての接尾辞情報を（たとえば、辞書データベースまたは接尾辞リストから）獲得する。語根プロセスでは、辞書データベースから、語根語についての語根情報を獲得する（語根語とは、接頭辞および接尾辞を除去した語である）。次いで、結合プロセスで、接頭辞、語根、接尾辞が、１つまたは複数の結合規則によって定義される、有効な語として組み合わせられるかどうか判定する。次いで、結合プロセスで、有効な語がある場合、その有効な語の１つまたは複数の可能な品詞を獲得し、その有効な語とともに品詞を辞書データベース（または他の記憶場所）に格納する。
2006512629.tif 000002
【特許請求の範囲】
【請求項１】
辞書データベースにリストされていない１つまたは複数の語を認識するシステムであって、１つまたは複数の中央処理装置および１つまたは複数のメモリを有し、
前記辞書データベースから語根語についての語根情報を獲得する語根プロセスであって、前記語根語が接頭辞および接尾辞のない語の１つである語根プロセスと、
前記辞書データベース内に有効な語根語がない場合、前記語根語中の１つまたは複数のキャラクタからなる部分集合の１つまたは複数を検査して、前記語根語が有効な語である確率を決定する統計的プロセスと
をさらに含むシステム。
【請求項２】
前記確率が、前記語根語中で前記部分集合が１つまたは複数の他のキャラクタに隣接して正しく配置される尤度の尺度である、請求項１に記載のシステム。
【請求項３】
前記隣接するキャラクタが前記部分集合に先行する、請求項２に記載のシステム。
【請求項４】
前記隣接するキャラクタが前記部分集合に後続する、請求項２に記載のシステム。
【請求項５】
前記部分集合および前記隣接するキャラクタがトライグラムを形成する、請求項４に記載のシステム。
【請求項６】
前記確率が、前記系列および前記隣接するキャラクタからなるストリングを、それぞれ確率に関連付けられたストリングのデータベースと比較することによって決定される、請求項２に記載のシステム。
【請求項７】
前記データベース中の前記ストリングの前記それぞれの確率が、キャラクタからなる１つまたは複数の可能なストリングを見出し、有効な語のデータベース内で前記キャラクタからなる可能なストリングの生起の頻度をカウントすることによって決定される、請求項６に記載のシステム。
【請求項８】
前記語の品詞を定義する１つまたは複数の規則であって、前記規則が有効な語のデータベースに正しく適用される生起の頻度のうち、しきい値を超える頻度に基づく規則確率を有する、請求項２に記載のシステム。
【請求項９】
前記語根語の前記品詞が前記規則の１つによって決定される、請求項８に記載のシステム。
【請求項１０】
前記規則が前記語根語の語尾に適用される、請求項８に記載のシステム。
【請求項１１】
前記語を２つの構成要素に分割する複合語プロセス（compound wordprocess）をさらに含み、前記語根語が第２の構成要素である、請求項１に記載のシステム。
【請求項１２】
前記複合語プロセスがさらに前記語根語の品詞を決定する、請求項１０に記載のシステム。
【請求項１３】
前記語が有効な語と決定されると、前記語が新語辞書メモリに格納される、請求項１に記載のシステム。
【請求項１４】
前記語が有効な語であると決定された場合に、１つまたは複数のドキュメント内の前記語の生起の頻度をカウントして前記語の重要度を決定する、単語カウントプロセスをさらに含む、請求項１に記載のシステム。
【請求項１５】
前記語から１つまたは複数の接頭辞を除去する接頭辞除去プロセスをさらに含み、前記接頭辞が接頭辞リストにあり、接頭辞除去が１つまたは複数の接頭辞除去規則によって制約されており、接頭辞除去プロセスがさらに除去された接頭辞についての接頭辞情報を獲得する、請求項１に記載のシステム。
【請求項１６】
前記接頭辞情報が、辞書データベースおよび接頭辞リストのうち、いずれか１つまたは複数から獲得される、請求項１５に記載のシステム。
【請求項１７】
前記語から１つまたは複数の接尾辞を除去する接尾辞除去プロセスをさらに含み、前記接尾辞が接尾辞リストにあり、接尾辞除去が１つまたは複数の接尾辞除去規則によって制約されており、接尾辞除去プロセスがさらに除去された接尾辞についての接尾辞情報を獲得する、請求項１に記載のシステム。
【請求項１８】
前記接尾辞情報が、辞書データベースおよび接尾辞リストのうち、いずれか１つまたは複数から獲得される、請求項１７に記載のシステム。
【請求項１９】
辞書データベースにリストされていない１つまたは複数の語を認識する方法であって、
前記辞書データベースから語根語についての語根情報を獲得するステップであって、前記語根語が接頭辞および接尾辞のない語の１つであるステップと、
前記辞書データベース内に有効な語根語がない場合、前記語根語中の１つまたは複数のキャラクタからなる部分集合の１つまたは複数を検査して、前記語根語が有効な語である確率を決定するステップと
を含む方法。
【請求項２０】
辞書データベースにリストされていない１つまたは複数の語を認識するシステムであって、
前記辞書データベースから語根語についての語根情報を獲得する手段であって、前記語根語が接頭辞および接尾辞のない語の１つである手段と、
前記辞書データベース内に有効な語根語がない場合、前記語根語中の１つまたは複数のキャラクタからなる部分集合の１つまたは複数を検査して、前記語根語が有効な語である確率を決定する手段と
を含むシステム。
【請求項２１】
辞書データベースから語根語についての語根情報を獲得するステップであって、前記語根語が接頭辞および接尾辞のない語の１つであるステップと、
辞書データベース内に有効な語根語がない場合、前記語根語中の１つまたは複数のキャラクタからなる部分集合の１つまたは複数を検査して、前記語根語が有効な語である確率を決定するステップと
を実行するコンピュータ・プログラムを格納するコンピュータ記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ内でのテキスト処理の分野に関する。より詳細には、本発明は自然言語における可能な現実の語（real word）およびその品詞の認識に関する。
【背景技術】
【０００２】
言語のダイナミックな性質および人間の創造性を考えれば、現在あるどのレキシコン（lexicon）も、ある言語のあらゆる可能な単語のエントリを含むことは期待できまい。今日、新しい技術が以前に比べより急速に進展する中で、この現象がますます困難なものとなってきている。新しい単語（newwords）が見つかるたびにレキシコン（辞書）を手作業で更新することは、ほとんど不可能であり、もし可能だとしても、熟練者の多大な時間および労力を必要とする。
【０００３】
したがって、ドキュメント中に、語彙範囲外の語（out-of-vocabulary）（辞書に載っていない単語）が常に存在することは避けられない。特に、分野固有の多くの専門用語、ならびに、新たな複合語や（接辞による）既存の語の形態論的なバリエーションなどの新たな派生語は、所与のレキシコンに欠けている可能性がある。ほとんどの辞書に存在しない現実の語の例としては、autoinjector、electrocardiography、eyedrops、remanufacturability、websiteがある。
【０００４】
レキシコンにない単語は、特に、機械翻訳システムや構文解析器などの自然言語処理（ＮＬＰ、natural language processing）システムで多くの問題を引き起こすが、これはレキシコンが、こうしたアプリケーションにとって最も重要で基本的な知識の源となっているからである。ＮＬＰアプリケーションは、レキシコンにない単語に出会うと、ドキュメントの処理に失敗するか、ドキュメントの処理に必要な情報の推測を行う。しかし、この推測は通常あまり正しくはなく、このためシステムからは満足な結果が出力されない。
【０００５】
この問題に対処するために、特に品詞（ＰＯＳ、parts-of-speech）タグ付けプログラム（tagger）および音声認識の領域で、多大の努力が払われてきた。しかし、アプリケーションが異なれば、語彙範囲外の語（out-of-vocabulary、ＯＯＶ）の問題はまた別の見方で捉えられ、その目的も異なる。
【０００６】
品詞タグ付けプログラムおよび構文解析器の場合には、単語についての語彙的（統語的）な情報が利用されており、目的は、コンテキスト上最も妥当と思われるＯＯＶの品詞を、ある未知の語がその近隣の語と共起する確率に基づいて推測することである。ダーマタス（Dermatas）およびコキナキス（Kokkinakis）は、ある未知の語が特定の品詞タグをもつ確率を、それまでに出会ったテキスト中に１度しか出現しない語の確率分布から推定した。「自然言語テキストの確率的自動タグ付け（Automaticstochastic tagging of natural language texts）」、計算言語学（Computational Linguistics）、21(2)、137〜164頁、1995年を参照されたい。
【０００７】
より進んだ品詞推測方法では、語の先頭および末尾のセグメントを使用して、未知の語の可能なタグを決定する。ヴァイシェーデルらは、その語が大文字で始まるかどうかの情報（capitalization feature）およびその語尾（ending）が与えられた場合に、ある未知の語が特定の品詞タグをもつ確率を用いることにより、未知の語に対して品詞を推測する方法を提案した。ラルフ・ヴァイシェーデル（RalphWeischedel）、マリー・メーター（Marie Meeter）、リヒャルト・シュヴァルツ（Richard Schwartz）、ランス・ラムショー（LanceRamshaw）、およびジェフ・パルムッチ（Jeff Palmucci）、「確率モデルによる曖昧性および未知語の処理（Coping withambiguity and unknown words through probabilistic models）」、計算言語学（ComputationalLinguistics）、19 (2)、359〜382頁、1993年を参照されたい。
【０００８】
エリック・ブリル（Eric Brill）は、語尾推測規則と、より形態論的に動機付けられた規則の両方を用いる規則のシステムを、「変換ベースの誤り駆動学習と自然言語処理：品詞タグ付けのケース・スタディー（Transformation-BasedError-Driven Learning and Natural Language Processing: A Case Study in Part ofSpeech Tagging）」、計算言語学（Computational Linguistics）、21 (4)、543〜565頁、1995年で記述している。
【０００９】
音声認識システムの場合には、ＯＯＶの語は、システム語彙にない単語か、認識プログラム（recognizer）が認識に失敗する単語になる。目的は、そのＯＯＶの語に（音声および意味の点で）最も近い語を、システムの語彙から見つけることである。
【００１０】
キャラクタ（character）Ｎグラム・ベースのアプローチは、綴り間違いの訂正や単語分割など単語レベルの言語処理で使用されてきた。アンゲル（Angell）、フロイント（Freund）およびヴィレット（Willett）は、綴り間違いのある語を辞書項目と比較するのに、２つのストリングが共通にもつトライグラムの数に基づき、類似度の尺度としてダイス（Dice）の類似度係数を用いる方法を述べている。綴り間違いのある語は、それと最もよくマッチする辞書内の語で置き換えられる。「トライグラム類似尺度を用いた自動綴り訂正（AutomaticSpelling Correction Using a Trigram Similarity Measure）」、情報処理と管理（InformationProcessing and Management）、19 (4)、255〜261、1983年を参照されたい。
【００１１】
これまでの従来技術のアプローチには、少なくとも２つの問題点があった。
【００１２】
第１に、従来技術では、どの自然言語でも、有効な語の認識または識別、あるいはその両方は、可能ではなかった。たとえば、ある語の（形態論的に変化したまたは派生したあるいはその両方の）すべての語形が、ある特定の辞書に載っているわけではない。さらに、新語（new word）または造語（"coined" word）あるいはその両方は、その辞書データベースにはあるまい。この問題は、新しい技術、または古い技術の進歩を記述するのに新語が使用される、技術的なテーマにおいては特に顕著である。
【００１３】
これまでのアプローチでは、ＯＯＶの語は、そのシステムのレキシコンにないに過ぎず、その言語の可能な現実の語なのである、という仮定に基づいてプロセスが開始されていた。すなわち、そうしたシステムでは、新語であるwebsiteは、adkfiedjfdやｖ３．５ａなどの無効な語のストリングと同様に扱われる。以前の研究で、ある言語の可能な新語を認識し、既存の辞書を増補する方法を提供して、将来それらの単語が（非ＯＯＶとして）適切に識別できるようにしようとしたものはなかった。
【００１４】
第２に、これまでのアプローチは、ＯＯＶの語に出会ったときにシステムを失敗から守るために、またはシステムの性能を高めるために、アプリケーション・システム内に組み込まれていた。ある言語の可能な現実の単語を見つけ、そうした語の語彙的情報を獲得するスタンド・アロンの自動的システムは、存在していない。
【００１５】
これまでのアプローチは、ＯＯＶの問題にねらいを定めていたとはいえ、特定のアプリケーション向けに設計されたものであった。従来のアプローチでは、その特定のアプリケーションに必要な語の情報が、そうした語の出現するコンテキストに基づいて推測されていた。このため、ある単語の情報が、コンテキストによって異なる可能性があった。
【非特許文献１】ダーマタス（Dermatas）およびコキナキス（Kokkinakis）、「自然言語テキストの確率的自動タグ付け（Automaticstochastic tagging of natural language texts）」、計算言語学（Computational Linguistics）、21(2)、137〜164頁、1995年
【非特許文献２】ラルフ・ヴァイシェーデル（Ralph Weischedel）、マリー・メーター（MarieMeeter）、リヒャルト・シュヴァルツ（Richard Schwartz）、ランス・ラムショー（Lance Ramshaw）、およびジェフ・パルムッチ（JeffPalmucci）、「確率モデルによる曖昧性および未知語の処理（Coping with ambiguity and unknown words throughprobabilistic models）」、計算言語学（Computational Linguistics）、19 (2)、359〜382頁、1993年
【非特許文献３】エリック・ブリル（Eric Brill）、「変換ベースの誤り駆動学習と自然言語処理：品詞タグ付けのケース・スタディー（Transformation-BasedError-Driven Learning and Natural Language Processing: A Case Study in Part ofSpeech Tagging）」、計算言語学（Computational Linguistics）、21 (4)、543〜565頁、1995年
【非特許文献４】アンゲル（Angell）、フロイント（Freund）およびヴィレット（Willett）、「トライグラム類似尺度を用いた自動綴り訂正（AutomaticSpelling Correction Using a Trigram Similarity Measure）」、情報処理と管理（InformationProcessing and Management）、19 (4)、255〜261、1983年
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明の一目的は、自然言語テキスト中の、辞書に存在しない、可能な現実の語またはその品詞、あるいはその両方を認識する、システムおよび方法である。
【００１７】
本発明の他の目的は、既存の辞書への追加もできるように、新語をテキストから自動的または半自動的に識別する、システムおよび方法である。
【課題を解決するための手段】
【００１８】
本発明は、辞書データベースにリストされていない１つまたは複数の語を認識するためのシステム、方法、プログラム製品およびネットワーク上での使用である。統計的プロセスで、その語の中の２個以上のキャラクタからなる部分集合である系列を１つまたは複数検査して、その語が有効な語である確率を決定する。好ましい実施形態では、規則を適用して、その語の品詞を決定する。
【００１９】
代替実施形態では、本発明は接頭辞除去プロセス、接尾辞除去プロセス、語根プロセス、または結合プロセス（combination process）あるいはそれらの組合せを含む。接頭辞除去プロセスでは、ある語から１つまたは複数の接頭辞を除去し、その際に、それらの接頭辞は、好ましくは、接頭辞リスト内にある。接頭辞除去は、好ましくは、１つまたは複数の接頭辞除去規則によって制約される。接頭辞除去プロセスでは、また、除去された接頭辞についての接頭辞情報を（たとえば、辞書データベースまたは接頭辞リストから）獲得する。接尾辞除去プロセスでは、その語から、１つまたは複数の接尾辞を除去し、その際に、それらの接尾辞は、好ましくは、接尾辞リスト内にある。好ましくは、接尾辞除去プロセスは、１つまたは複数の接尾辞除去規則によって制約される。接尾辞除去プロセスは、また、除去された接尾辞についての接尾辞情報を（たとえば、辞書データベースまたは接尾辞リストから）獲得する。語根プロセスでは、辞書データベースから、その語根語（rootword）についての語根情報を獲得する（語根語とは、接頭辞および接尾辞を除去した語である）。次いで、結合プロセスで、接頭辞、語根、接尾辞が、１つまたは複数の結合規則によって定義される、有効な語として組み合わせられるかどうか判定する。次いで、結合プロセスで、有効な語がある場合、その有効な語の１つまたは複数の可能な品詞を獲得し、品詞をその有効な語とともに辞書データベース（または他の記憶場所（memorylocation））に格納する。
【００２０】
上記および他の目的、態様、および利点は、以下を含む図を参照して行う、本発明の好ましい実施形態についての以下の非限定的な詳細な説明からよりよく理解されよう。
【発明を実施するための最良の形態】
【００２１】
本発明は、テキスト内の語彙範囲外の（out-of-vocabulary）語のうちの可能な現実の語を認識し、代替実施形態では、識別された語の品詞を見出し、既存の辞書を増補するシステム、方法およびプログラムである。通常の語彙範囲外処理システムとは異なり、本発明では、好ましい一実施形態として、ある語の中のトライグラム・シーケンス（trigramsequence）の確率に基づいたエントロピー・モデルを提案する。
【００２２】
現実の語として認識された語は、コンピュータ・アプリケーションが、将来、そうした語彙範囲外の語を認識し、そうした語を適切に処理できるように、コンピュータ・システムの既存の辞書に追加することも可能である。本発明は、専門語抽出システム、機械翻訳システム、音声認識システムなど多くの言語処理システムに組み込むことができる。さらに、こうした語は、辞書編集者が、出版されている辞書を更新または増補する、あるいはその両方を行うのに使用できる。本発明により、辞書編集者は新語の優れたリストを提供され、仕事が軽減されよう。本発明は、また、英語だけでなく、フランス語、ドイツ語、およびスペイン語を含み、それに限定されない、他の言語にも適用可能である。
【００２３】
図１に、本発明によって実行されるプロセスの全体を示す。本発明、すなわち辞書増補システム（１００）は、知られているどのコンピュータ・システムでも稼動する。このシステムは、ハード・ディスクまたはネットワーク（たとえば、インターネット、イントラネット、企業ネットワークなど）からドキュメント（１２０）を読み込むと、ドキュメント内の各語について、このシステムが使用するオンライン辞書（１４０）でその語を検索する（オンライン辞書はよく知られており、読み出し可能な形で語を格納するなんらかの記憶装置（memory storage device）を含む）。その語がその辞書内に存在しない場合、本発明は、その語が、対象言語の可能な現実の語であるかどうか、その語を検査する。ここで、対象言語は、一般に知られる自然言語だけでなく、それら言語の技術的の変種、たとえば、コンピュータ・プログラミング／修理マニュアルまたは医学論文をも含んでいる。システムは、それが可能な現実の語である場合、その語およびその品詞をデータベース（１６０）に保存する。この可能な現実の語は、新語データベース（１６０）にも、オンライン辞書（１４０）にも、または他のどのようなタイプの知られている格納場所（storagelocation）にも、格納することができる。
【００２４】
この新語データベースは、後で他のコンピュータ・アプリケーション（２００）が、ドキュメントまたは音声（２２０）を処理するために使用することができる。そうしたアプリケーションはよく知られており、構文解析器、機械翻訳システム、および音声処理システムを含む。このデータベースは、また、辞書編集者（３００）が、人間用の辞書（３２０）を出版または改訂する、あるいはその両方を行うために使用することができる。
【００２５】
図２に、辞書増補プロセス（１００）全体の流れ図を示す。ドキュメント（１２０）が、たとえば標準の技法を用いてシステムに読み込まれると、システムは、ドキュメントからある語を取り出し、その語をシステム辞書（１４０）で調べる（１１０）。その語が辞書に存在する場合（１３０）、それ以上の処理は必要ない。しかし、その語が辞書に存在しない場合、システムは、その語が文字（letter）だけからなるかどうか検査する（１５０）。その語が１つまたは複数の数字または特殊キャラクタ（specialcharacter）を含む場合、システムはその語を無視する。
【００２６】
その語が文字（letter）だけからなる場合、システムはまず、言語的プロセス（linguisticprocess）（４００）を適用して、その語が新しい派生語（すなわち、既存の語の形態論的なバリエーション、または複合した語（compounding word）、あるいはその両方）であるかどうか検査する。このプロセスが成功した場合（１７０）、システムは、任意選択で、その語およびその語彙情報を新語データベース（１６０）または他の格納場所に保存する（１９０）。失敗した場合、好ましい一実施形態では、システムは統計的プロセス（５００）を適用する。このプロセス（５００）は、その語を新語と認識した場合（１８０）、その語およびその語彙情報を新語データベース（１６０）に保存する（１９０）。この処理は、ドキュメント中にそれ以上単語がなくなるまで繰り返される。
【００２７】
図３に、言語的プロセス（４００）全体の流れ図を示す。このプロセスは、新たに派生された語を認識するためのものである。派生語とは、すでにレキシコンにある語の形態論的バリエーションであって、ほとんどの場合、接辞、すなわち語の始め（beginning）に接頭辞を付加するか終わり（end）に接尾辞を付加すること、または、複合、すなわち２つ以上の語を１語として書くこと、あるいはその両方によるものである。まず、システムは、その語が１つまたは複数の接頭辞および１つの語根語を含むかどうか検査する（４１０）。接頭辞プロセス（４１０）が成功した場合（４２０）、その語は新語とみなされ、プロセスは停止する。接頭辞プロセスが失敗した場合（４２０）、システムは、その語が１つまたは複数の接尾辞および１つの語根語を含むかどうか検査する（４３０）。接尾辞プロセスが成功した場合、その語は新語とみなされ、プロセスは停止する（４４０）。接尾辞プロセス（４３０）が失敗した場合（４４０）、システムは複合プロセス（compoundprocess）（４５０）を稼動させて、その語が２つの内容語（content word）を含むかどうか調べる。複合プロセスが成功した場合、その語は新語とみなされ、プロセスは停止する。本発明は、単独で、または１つまたは複数の他のプロセスと協同して機能する、接頭辞プロセス（４１０）、接尾辞プロセス（４３０）、または複合プロセス（４５０）のうち１つまたは複数によって動作可能であることに注意されたい。
【００２８】
図４に、言語的プロセス（４００）内で使用される接頭語プロセス（４１０）の流れ図を示す。接頭辞をもつ語に対するプロセス（４１０）は次のようになる。
【００２９】
まず、システムは、接頭辞リスト（４１７）内にある接頭辞のどれかが、その語の始めに現れるかどうか検査する（４１１）。ある語が接頭辞を含む場合（４１２）、システムはその接頭辞をその語から切断し（４１３）（その語を分割する）、残りの部分（語根語）を辞書で調べる（４１４）。好ましい一実施形態では、本発明は、語根語の最小の長さを２キャラクタに設定している。辞書に語根語が含まれる場合（４１５）、その語彙範囲外の語は現実の語とみなされ、プロセス４１０によって処理されているその語は、語根語の語彙情報を継承する（４１６）。たとえば、antiasthmatic（形容詞）、autoinjector（名詞）、remanufacured（動詞の過去時制）、stereoselectivity（名詞）は、接頭辞プロセス（４１０）により発見されたものである。
【００３０】
図５に、言語的プロセス（４００）内で使用される接尾辞プロセス（４３０）の流れ図を示す。接頭辞に対する処理は次のようになる。すなわち、まず、システムは、接尾辞データベース（４３８）内にある接尾辞のどれかが、その語の終わりに現れるかどうか検査する（４３１）。好ましい一実施形態では、本発明は、接尾辞の規則集合（４３８）を適用するが、この規則集合には、ある語根語がある特定の接尾辞をもつための事前条件としての品詞（pre-conditional POS）および接辞付加後の（resulting）品詞が記述されている。
【００３１】
好ましい一実施形態で使用される接尾辞規則構造の非限定的な１つの例は、次のようである。接尾辞ableに対する規則は、［ａｂｌｅ，｛ＶＢ＝＞ＪＪ｝，｛ＮＮ＝＞ＪＪ｝］である。これは、動詞（ＶＢ）または名詞（ＮＮ）が接尾辞ableをその語の終わりにもつことができ、接辞付加後の語の品詞が形容詞（ＪＪ）であることを意味している。ある語がある接尾辞を含む場合（４３２）、システムは接尾辞を除去し（４３３）、語根語を辞書で調べる（４３５）。語根語が、辞書に見つかり（４３６）、しかも事前条件としての品詞の１つになっている場合、その語は、現実の語とみなされ、その規則の接辞付加後の品詞になる（４３７）。
【００３２】
しかし、語根語が辞書に存在しない場合は、システムは語根形復元（root formrecovery）を実行する（４３４）。ある接尾辞がある語に付加されるとき、語根語の綴りが変化することがある。一例として、英語では、黙字の（silent）ｅで終わる語は、通常このｅを、母音で始まる接尾辞の前で脱落させる。たとえば、このシステムは、browsableを読み込むと、接尾辞ableを分離し、語根語browsを得る。システムはbrowsを辞書で調べるが、失敗する。すると、システムは、語根形復元プロセスを実行して、元の形browseを得る。
【００３３】
語根形復元のために、好ましい一実施形態では、本発明は次の規則を使用する。
（１）語根語の最後の２文字（letter）が同じ子音の場合、１つを削除する。
（２）語根語の最後の文字（letter）が「ｉ」の場合、それを「ｙ」に変える。
（３）語根語の最後の文字（letter）が子音の場合（ただし第１の場合でない場合）、「ｅ」を付加する。
【００３４】
復元された語根語が、辞書に見つかり（４３６）、しかも事前条件としての品詞の１つとなっている場合、その語は、現実の語とみなされ、その規則の接辞付加後の品詞になる（４３７）。この場合の例としては、browsable（形容詞）、migrainous（形容詞）、およびoxidizability（名詞）がある。
【００３５】
一部の語、たとえば、remanufacturabilityは、１つまたは複数の接頭辞、１つまたは複数の接尾辞、および語根語を含んでいる。この場合、この語は上で説明した接頭辞プロセスおよび接尾辞プロセスを通過する。
【００３６】
図６に、言語的プロセス内で使用される複合プロセスの流れ図を示す。ある語が、接頭辞処理と接尾辞処理のどちらにも失敗した場合、複合処理（４５０）の適用が考慮される。システムは、所与の語彙範囲外の語を２つの構成要素に分割する（４５３）。すなわち、この語の最初から分割点（breakpoint）までの文字（letter）を含む第１の構成要素、および分割点＋１から最後までの文字（letter）を含む第２の構成要素である。分割点をさす整数値の初期値（initialbreakpoint）は３である（４５１）。次いで、システムは第１の要素を辞書で調べる（４５４）。第１の要素が辞書に見つからない場合（４５５）、システムは分割点を指す整数値を増やし（increasethe breakpoint）（４６０）、第２の要素の文字（letter）数が２以下になるまで、このプロセスを繰り返す（４５２）。
【００３７】
第１の要素が辞書にある場合（４５５）、第２の要素を辞書で調べる（４５６）。第２の要素も辞書に見つかった場合（４５７）、システムは２つの要素の組合せが有効かどうか検査する（４５８）。語の可能な組合せは、名詞＋名詞および名詞＋動詞の分詞形である。組合せが有効である場合、この語彙範囲外の語は現実の語と考えられて、第２の構成要素の品詞になる（４５９）。複合語の例としては、airbreathing（名詞、動名詞）、eyedrops（名詞）、photophobia（名詞）、およびwebsite（名詞）がある。
【００３８】
図７に、好ましい統計的プロセス（５００）の全体を示す。このプロセスは、派生によらない新語（non-derivational new word）を認識するためのものである。派生によらない新語とは、その言語の既存の語から派生（または語形成）規則によって形成することのできない語である。分野固有の多くの専門用語がこのカテゴリーに属する。人間は、その語が既知の語からなるものでなくても、前に見たことのない語が可能な現実の語かどうかを非常にうまく推測することができる。一実施形態では、その語の中のキャラクタ系列の蓋然性が高く（probable）、かつ発音するのに自然である場合に、人間はその語が、その言語の可能な語であるという結論を下す可能性がある、と筆者は仮定している。筆者は、派生によらない新語の認識の基礎をこの仮定に置いている。
【００３９】
本発明では、ストリング中のどのキャラクタも、その近傍要素（neighbor）と共起することの尤度が高い（likely）場合に、ある文字（letter）の系列を可能な現実の語であると筆者はみなしている（近傍要素と一緒にした文字（letter）／キャラクタの系列を、ストリングと呼ぶ）。近傍要素とは、先行または後続する任意の個数のキャラクタとすることができる。この方法は、ある言語の予測可能性、すなわち、先行または後続するｎ文字（letter）がわかっているときに、あるテキストの次の文字（letter）がどのくらいよく予測できるかということに基づいている。好ましい一実施形態では、あるキャラクタの近傍要素とは、先行する２キャラクタであると定義している。すなわち、ある語の中で、先行する２キャラクタに出会ったという条件のもとで、そのキャラクタが、高い確率でその位置に生起する場合（すなわち、トライグラム・モデルであり、ここでストリングとは３つのキャラクタまたは１つのトライグラムである）、その語は現実の語であるとみなされる。
【００４０】
このモデルには２つのモード、すなわち、学習モード（５１０）とアプリケーション・モード（５５０、５６０）がある。学習モードでは、システムは、システム辞書（１４０）からキャラクタ・トライグラム統計量の確率を学習し、そのトライグラム統計量をデータベース（５２０）に保存する。学習モードでは、また、トレーニング・データから単語の語尾に基づく品詞推測規則（５３０）が生成される。アプリケーション・モードでは、システムに語彙範囲外の語（５４０）が来たときに、システムはその語の中のすべてのキャラクタ・トライグラムの確率のエントロピーを計算する。
【００４１】
言語モデルのエントロピーは、情報の期待値である。エントロピーは、モデルの将来についての不確実性の尺度である。すなわち、エントロピーは、推定された確率分布が一様分布に近づくにつれて増大する。本発明では、ある語彙範囲外の語（文字（letter）からなる系列の１つまたは複数、あるいは単語シーケンス（word sequence））が提示されたときに、その単語シーケンスが、その言語の可能な現実の語であろうという判断を、その統計的構造（statisticalstructure）に基づいて行うモデルが提案される。すなわち、語とは、内的な統計的影響の強い文字（letter）の凝集性のある集まり（a cohesivegroup of letters with strong internal statistical influences）である。
【００４２】
語ｗがｎキャラクタからなる、すなわち、ｗ＝ｃ１．．．ｃｎと仮定する。先行するスペース１個と後続するスペース１個を付け加えて、ｗ＝ｃ０ｃ１．．．ｃｎｃｎ＋１として、トライグラム確率（図８についての記載でより詳細に説明する）を推定する。語ｗのエントロピー、Ｈ（ｗ）は、次のようにして計算される。
【００４３】
【数１】
2006512629.tif 000003
【００４４】
好ましい一実施形態では、エントロピー値が高い（所与のしきい値より大きい）場合に、本発明ではその語が現実の語であると結論する。一実施形態では、しきい値は２．３に設定されているが、これは平均エントロピーからトレーニング・データの最小エントロピーを差し引いたものから決定された（トレーニング・データについては、図８ついての記載を参照されたい）。ある語が現実の語であると決定された場合、システムは、語尾推測規則ベースから可能な品詞をすべて生成する（５６０）。語尾推測規則は、図８についての記載で説明する。語尾推測規則集合を使用することによって、システムは最長一致パターンに基づいて、ある語の可能な品詞をすべて出力する。本発明では、最長の語尾（その語の長さが７より長い場合は５文字（letter）、そうでない場合はその語の長さから３を差し引いた長さ）から長さ１の語尾（最後の文字（letter））まで、規則集合の中でその語の語尾の文字を探す。語尾が規則集合にある場合は、マッチング・プロセスは停止し、システムはその語尾の品詞のすべてを規則の頻度順に出力する。一例として、corticalは形容詞および名詞と推測されるが、ticalはトレーニング・データ中に形容詞としては１０５回、名詞としては４回出現するため、形容詞としての解釈（reading）が優先される。この統計的プロセスによって認識された新語の例としては、accelerometers（名詞）、diastolic（形容詞、名詞）、kinesiology（名詞）、ingressed（過去時制の動詞）がある。
【００４５】
図８に、統計的学習プロセス（５１０）の流れ図を示す。語のトライグラム確率を学習するために、システムはシステム辞書（１４０）を使用するが、その中の語はすべて、その言語の有効な語となっている。システムは、この辞書から１語を読み込み、その語の可能な変化形（inflectional variants）をすべて生成する（５１１）。システムは、先行するスペース１個と後続するスペース１個を生成された語に付け加え（５１２）、その語をデータベース（５１３）に保存する。たとえば、ｎ文字（letter）ｃ１ｃ２ｃ３．．．ｃｎからなる語ｗが語彙範囲外の語であると仮定する。システムは先行するスペース（ｂ１）および後続するスペース（ｂ２）をこの語に付け加えて、その結果ｗ’＝ｂ１ｃ１ｃ２ｃ３．．．ｃｎｂ２となる。この語リストは、辞書から生成可能な、有効な語の形をすべて含んでいる。システムは、辞書内のすべての語が処理されるまでこのプロセスを繰り返す（５１４）。生成された語リストを用いて、システムは２種類の知識を学習する。すなわち、トライグラム統計量および品詞規則である。学習プロセスは、この語リスト内のすべての語が処理されるまで続けられる（５１９）。
【００４６】
システムは、３文字（letter）系列および２文字（letter）系列の頻度をカウントすることによって、この語リスト（５１３）からトライグラムの確率を計算する。システムは、語リスト（５１３）から１語を読み込み（５１５）、可能な３文字（letter）系列および２文字（letter）系列をすべて生成し、その頻度を増やして行く（５１６）。
【００４７】
たとえば、語ｗ＝ｂ１ｃ１ｃ２．．．ｃｎｂ２が、ｎ個の文字（letter）および２個のスペース、すなわち、１個の先行するスペースおよび１個の後続するスペースからなるとする。このとき、システムは、ｂ１ｃ２、ｃ１ｃ２、．．．、ｃｎ−１ｃｎ、ｃｎｂ２などの可能な２文字（letter）系列のすべて、およびｂ１ｃ１ｃ２、ｃ１ｃ２ｃ３、．．．、ｃｎ−１ｃｎｂ２などの可能な３文字（letter）系列のすべてを生成する。システムは、この語リストの語に見出される語のすべての２文字（letter）系列および３文字（letter）系列の頻度をカウントする。
【００４８】
３文字（letter）系列および２文字（letter）系列の頻度を得た後で、システムは、可能なトライグラム確率をすべて計算し（５１７）、その統計量をデータベース（５２０）に保存する。あるトライグラムの確率、すなわち、先行する２個のキャラクタｃ１およびｃ２が与えられたとき、文字（letter）ｃ３が生起する確率は、次のようにして計算される。
Ｐ（ｃ３｜ｃ１ｃ２）＝頻度（ｃ１ｃ２ｃ３）／頻度（ｃ１ｃ２）
【００４９】
さらに、システムは、この語リストから品詞推測規則も生成する（５１８）。筆者の場合、語リスト内のすべての語について、長さ１から長さ５までの可能な語尾すべてを、その語の品詞とともに生成し、残りの部分の最小の長さを３に設定している。システムは、語尾推測規則の頻度をカウントし、規則を語尾推測規則ベース（５３０）に保存する。
【００５０】
たとえば、「ailments」という語は、トレーニング用辞書に複数名詞（ＮＮＳ）としてリストされている。この場合、語尾推測規則生成器は、長さ１（ｓ）から長さ５（ments）までのすべての語尾を、その品詞とともに出力する。すなわち、この生成器は、規則ｓ−ＮＮＳ、ｔｓ−ＮＮＳ、．．．、ｍｅｎｔｓ−ＮＮＳを生成する。「mounting」という語には、２種類の品詞、名詞（ＮＮ）および動名詞（ＶＢＧ）がある。この場合、それぞれの語尾に２種類の品詞がある。すなわち、ｇ−ＮＮおよびｇ−ＶＢＧ、ｎｇ−ＮＮおよびｎｇ−ＶＢＧ、．．．、ｎｔｉｎｇ−ＮＮおよびｎｔｉｎｇ−ＶＢＧである。次の表に、語尾推測規則が筆者のトレーニング・データからどのように生成されるかを示す。
【００５１】
【表１】
2006512629.tif 000004
【００５２】
図９は、本発明により、自然言語の語として識別された語の出力例である。図の方法の列には、サンプルの新語を認識するのに使用された機構が指定されている。「接頭辞」方法のところにある語は、プロセス４１０によって認識され、「接尾辞」方法のところにある語は、プロセス４３０によって認識されたものである。「接頭辞＋接尾辞」方法のところにある語は、プロセス４１０およびプロセス４３０によって認識され、「複合」方法（the method Compund）のところにある語は、プロセス４５０によって識別されたものである。最後に、「エントロピー統計量」方法のところにある語は、プロセス５００によって識別されたものである。すなわち、これらの語のエントロピー値は、所与のしきい値よりも大きい。
【００５３】
本発明の非限定的な例は、テキスト中の語彙範囲外の語のうちで蓋然性の高い現実の語を識別するために使用されている。上記に開示する技法を用いて、キャラクタ・トライグラムの確率のエントロピーならびに英語の形態論的規則に基づいて、現実の語の識別が行われた。本発明は、また、語彙情報規則および語尾に基づいて、識別された現実の語の可能な品詞（ＰＯＳ）を生成することができる。本発明の実施形態は、適合率（precision）においても再現率（recall）においても高い性能を示した。非限定的な代替実施形態では、本発明は分野特有の術語を認識するのに非常に有用であり、１語または数語からなる用語項目を識別し、分野固有の辞書を作り上げる用語集抽出システムへの組み込みが成功している。本開示が与えられれば、代替実施形態は当業者には明らかとなろう。そうした実施形態もまた、発明者の企画の範囲内にある。
【図面の簡単な説明】
【００５４】
【図１】本発明を使用するシステムの好ましい一実施形態を示す構成図である。
【図２】辞書増補プロセス全体の流れ図である。
【図３】接頭辞プロセス、接尾辞プロセス、および複合プロセスを含む言語的プロセスの流れ図である。
【図４】言語的プロセスで使用される接頭辞プロセスの流れ図である。
【図５】言語的プロセスで使用される接尾辞プロセスの流れ図である。
【図６】言語的プロセスで使用される複合プロセスの流れ図である。
【図７】統計的プロセスの流れ図である。
【図８】統計的学習プロセスの流れ図である。
【図９】本発明により、自然言語中の語として識別された語の出力例である。
【図１】
2006512629.tif 000005
【図２】
2006512629.tif 000006
【図３】
2006512629.tif 000007
【図４】
2006512629.tif 000008
【図５】
2006512629.tif 000009
【図６】
2006512629.tif 000010
【図７】
2006512629.tif 000011
【図８】
2006512629.tif 000012
【図９】
2006512629.tif 000013
【国際調査報告】
2006512629.tif 000014
2006512629.tif 000015
2006512629.tif 000016