(57)【特許請求の範囲】
【請求項１】
自然言語テキストにおいて、単語がどの品詞である確率が高いかについて判定を行う装置であって、
機械読取可能辞書から単語を走査し、各単語について、該単語に属し得る各品詞に関連する意味の数をカウントする意味カウンタと、
各単語について、前記意味カウンタがカウントした意味の数に基づいて、前記単語が特定の品詞である可能性の高さを示す品詞確率を計算する計算ユニットと、
から成る装置。
【請求項２】
請求項１記載の装置において、
前記意味カウンタが、前記単語に属し得る全ての品詞について、意味の総数をカウントし、
前記計算ユニットが、関連する各品詞についてカウントした意味の数および前記意味の総数の関数として、前記品詞確率を計算すること、
を特徴とする装置。
【請求項３】
請求項１記載の装置において、
前記機械読取可能辞書が、語彙素形態および該語彙素形態の変化形態で単語を収容し、
前記辞書記載項目が変化形態である場合、前記意味カウンタが、前記単語の前記語彙素形態に属し得る各品詞に関連する意味の数、および前記単語の前記変化形態に属し得る各品詞に関連する意味の数をカウントし、
前記計算ユニットが、前記語彙素および変化形態双方についての前記意味カウンタからのカウントを加算し、前記単語の変化形態に対する前記品詞確率を導出する際に用いること、
を特徴とする装置。
【請求項４】
請求項１記載の装置において、
前記単語が、第１および第２の品詞を有し、
前記意味カウンタが、前記第１の品詞について第１の意味の数、および前記第２の品詞について第２の意味の数をカウントし、
前記計算ユニットが、前記第１および第２の数の少なくとも１つを変更し、前記第１および第２の数間の差を増大させ、前記変更した第１および第２の数に基づいて、前記品詞確率を導出すること、
を特徴とする装置。
【発明の詳細な説明】
技術分野
本発明は、自然言語のテキストを解析するシステムおよび方法に関するものである。
発明の背景
自然言語処理システムは、コンピュータに実装したソフトウエアであり、自然言語テキストの入力文字列から、意味および文脈を情報処理可能（intelligently）に導出する。「自然言語」とは、人が話す言語である（例えば、英語、フランス語、日本語）。コンピュータは、補佐なくして、自然言語のテキストの言語学的な特性を区別することができない。例えば、以下のような自然言語テキストの文には次に示すようなものがある。
I saw a bird．（私は鳥を見た。）
英語の学生であれば、この文章の文脈において、「Ｉ」という単語は代名詞であり、「ｓａｗ」という単語は動詞であり、「ａ」という単語は形容詞であり、「ｂｉｒｄ」という単語は名詞であることを理解する。しかしながら、他の文章の文脈において、同じ単語が異なる品詞として機能する場合もある。以下の文を考えてみる。
Use a saw．（鋸を使いなさい。）
英語の学生は、「ｕｓｅ」という単語は動詞であり、「ａ」という単語は形容詞であり、「ｓａｗ」という単語は名詞であることを認識する。ここで気付くのは、「ｓａｗ」という単語は、これら２つの文章では、異なる品詞、即ち動詞および名詞、として用いられており、英語を話す人はこれを認識することである。しかしながら、コンピュータにとっては、「ｓａｗ」という単語は同じビット・ストリームで表されているので、双方の文章に対して同一となる可能性がある。コンピュータは、いずれの文においても、「ｓａｗ」という単語を名詞としておよび動詞として考える可能性は等しい。自然言語処理システムとは、単語が異なる文脈においてどのように用いられているのか区別し、理解可能なテキストを構築するルールを適用する際に、コンピュータを補佐するものである。
図１は、典型的にソフトウエアで実現し、コンピュータ上で実行する、自然言語処理システム２０の一般的な構成要素を示す。自然言語処理システム２０は、語彙分析部２２を含み、これが入力テキスト文字列を、語彙からの情報および系の形態学的成分を含む一連のトークンに変換する。語彙分析部２２は、各トークン（単語）について、可能な品詞、人称、数およびその他の文法的特徴を判定する。この例では、入力文字列を「School finishes．（学校が終わる）」という文であると仮定する。語彙分析部２２は、ｓｃｈｏｏｌという単語を以下のように分解することができる。
単語：ｓｃｈｏｏｌ
品詞：
名詞
特徴：三人称、単数
動詞
特徴：複数、不定詞、現在形
形容詞
特徴：名詞を前置修飾する。
語彙分析部２２は、これらの成分を用いて、入力文字列のテキスト内の各単語について、語彙レコード（lexical records）と一般的に呼ぶ、データ構造を構築する。パーザは、語彙分析部２２が生成した語彙レコードを用い、語彙レコードを構成要素に組み合わせ、１つ以上の完全なツリーが生成されるまで、更に大きな構成要素を形成することによって、入力文字列に対するシンタックス的な分析を行う。パーザ２４の成果を、論理正規化部（logic normalizer）２６に渡し、言語学的に等価な文（例えば、"John ate an apple"（ジョンはりんごを食べた）は、"an apple was eaten by John"（リンゴはジョンによって食べられた）と本質的に等価である）に、正規化した形態で配置する。最後に、意味明確化部（sensedisambiguator）２８が、解析、シンタックス、および論理プロセスの後に文に残っている可能性があるあらゆる不明瞭さを解決する。例えば、意味明確化部２８は、ｓｃｈｏｏｌという単語は、建物なのかまたは終了した（ｆｉｎｉｓｈｅｓ）活動なのかについて処理することができる。
本発明は、特に、自然言語パーザに伴う問題に関するものである。従来の自然言語パーザは、典型的には、「統計的」および「ルール・ベース（rule-based）」という２種類の内のいずれかのものである。統計的パーザの方が現在では普及しており、コーパス（corpus）の小さなサンプル部分に用いられる単語に関する統計を計算することによって、解析パラメータを判定する。一旦統計を計算したなら、統計的パーザは、大きなコーパスを分析する場合、それらを拠り所とする。これについては、以下で更に詳しく説明する。
ルール・ベース・パーザは、言語学的ルールという形式で、言語の構造に関する知識を格納する。パーザは、辞書または「語彙」内で見出すかあるいは形態的処理（語彙分析段に設ける）によって得られる、個々の言語についてのシンタックス的および形態論的情報を利用する。解析が成功するには、パーザ（文法）が必要なルールを有し、語彙分析部がパーザに必要な全ての詳細を提供し、そのレベルでできるだけ多くの不明瞭さを解決することが必要である。
自然言語パーザは、多くの異なる種類の一般的な自然言語テキストを解析可能な場合、「広い適用範囲」を有すると言われる。広い適用範囲を達成するためには、自然言語パーザは、頻繁に用いられる単語および殆ど用いられない単語を含む完全な語彙を必要とする。広い適用範囲を得ようとする場合、最も稀有な品詞でさえも表現しなければならない。
適用範囲が広い、ルール・ベース自然言語パーザは、当該パーザを作成し、改良し、維持していくためには大量の辞書データおよび高い能力の言語学者によるルール記述作業を必要とするという欠点がある。手作業で必要な情報をコード化するのは、時間がかかると共に、誤りを生じやすい。標準的な辞書のオンライン化は、熟練した辞書編纂者による何世紀もの手作業によるコード化を意味する。
機械読取可能な辞書（ＭＲＤ：machine-readable dictionary）が、自然言語パーザに用いることができるように改造されつつある。ＭＲＤは、広い適用範囲のために必要な大量で完全な語彙を提供する。辞書は自然言語分析装置にとって総合的な語彙の源泉として有用であるが、その完全性が曖昧さを招き、これは容易に解決できない。品詞に関する曖昧さを解決することは、とりわけ困難な問題を提起する。American Heritage Dictionary（１９９２年版）は、品詞が多数ある単語を約１８，５００語有し、これは全項目数の約１２％にあたる（変化した形態も含む）。しかしながら、これらの単語は、多くの場合、共通のよく用いられる単語である。ある研究者がBrown Corpus（多くの異なる主題からの自然言語テキストで構成された、有名な大きな百万語の集合）を研究し、Corpusにおける各固有単語（unique word）の内品詞が曖昧であるのは１１％のみであることを発見した。しかしながら、これら同一の単語が、Brown Corpusにおける未編集テキストの４８％を占め、品詞が曖昧な単語は、共通であり、よく用いられる単語であることを立証した。DeRose,S.J.1992."Probability and Grammatical Category:Collocational Analyses of English and Greek".For Henry Kucera,eds.A.W.Mackie,T.K.McAuley and C.Simmons,125-152.Michigan Slavic Publications,University of Michigan.
潜在的に大量になり得る可能な解析から、パーザが最も確率の高い解析を選択可能であることが、計算上望ましい。１回以上の解析を考慮する場合、入力の処理が増大し、直ちに複雑かつ非効率的となる。可能なパーザの数を減少させるためには、品詞の曖昧さの効率的な解決においてパーザを補佐する方法を開発することが望ましい。
従来技術の解析技術の１つに、拡張遷移ネットワーク（ＡＴＮ：augmented transition network）を用いるものがある。ＡＴＮは、名称を付けた状態（labeled state）および弧を備えた有向グラフである点で、再帰遷移ネットワーク（recursive transition network）と同様であるが、ＡＴＮは条件の追加を満足すること、および構造構築動作を弧上で実行することができる点を除く。ＡＴＮは多数の可能性の低い解析をしばしば行うが、これは品詞の曖昧さを確実に解決することができないからである。Church,K.W.1992."Current Practice in Part of Speech Tagging and Suggestions for the Future"（品詞タグ付けの現状および未来に対する提案）。For Henry Kucera,eds.A.W.Mackie,T.K.McAuley and C.Simmons,13-48,Michigan Slavic Publications,University of Michigan。これは、全ての広い適用範囲のルール・ベース手法についても、当てはまる可能性が非常に高い。広い適用範囲を達成するためには、パーザは、実際のテキストに見られる種々の構造を分析可能でなければならない。単一の文章における品詞に関して曖昧な単語が多数ある場合、最も確率の高い解析を判定することは、困難な作業（undertaking）である。この問題は、真に広い適用範囲の解析を行おうとすると、極端に困難となる。
過去２５年間に進展した他の従来技術の技術に、統計的モデルを品詞の判定に採用したものがある。統計的モデルは、統計的パーザを用いて実現する。統計的手法を用いて、統計的パーザを最初にトレーニング・モードで動作させ、このモードにおいて、入力文字列を受け取る。入力文字列には、品詞およびその他の特性を特定するタグを用いて、語学者が注釈を付けている。統計的パーザは、入力文字列の部分に対するタグの適用を反映する統計を記録する。タグ付き入力文字列を用いた大量のトレーニングの後、統計的パーザは、解析モードに入り、未処理のタグなし入力文字列を受け取る。解析モードにおいて、統計的パーザは、トレーニング・モードの間に組み立てた学習済み統計を適用し、タグなし入力文字列に対して解析ツリーを構築する。
統計的パーザの初期バージョンは、後に品詞の判定に用いるために適当な統計を備えるためには、大きなルール・データベース、および大きなトレーニング・コーパスを必要とした。それ以来、効率、簡素さ、およびタグ形成アルゴリズムの精度、ならびにルール・データベースの縮小に関して、大きく発展した。ルール・データベースのサイズは縮小しつつあるが、大きなトレーニング・コーパスの必要性は残っている。統計的手法は、通常、手作業で品詞情報のタグを付けたトレーニング・コーパスを必要とする。
大きなトレーニング・コーパスの使用を回避する努力において、ある開発者がルール・ベース・パーザの使用により、タグなしコーパスから品詞およびルールの確率を導出することを提案した。品詞およびルールの確率を同一パーザ内に組み込むことによって、パーザの速度および精度が向上した。この手法は、Richardson,S.D.1994,"Boostrapping Statistical Processing into a Rule-based Natural Language Parser"（統計的処理のルール・ベース自然言語パーザへの導入）（ＡＣＬ Workshop "Combining symbolic and statistical approaches to language"の会報、９６〜１０３ページ）という刊行物に記載されている。また、これは、"Method and System for Bootstrapping Statistical Processing into a Rule-based Natural Language Parser"（統計処理をルール・ベース自然言語パーザに導入する方法およびシステム）と題する、１９９４年６月２４日出願の米国特許出願第０８／２６５，８４５号、および１９９５年６月２６日出願のＰＣＴ出願第ＰＣＴ／ＵＳ９５／０８２４５号の主題でもある。
しかしながら、統計的ルール・ベース・パーザは、大きなコーパスが使用可能であること、およびかなり理解力の高いパーザを想定している。英語では、Brown Corpus（Kucera and Francis,1967）およびLancaster-Oslo/Bergen（LOB）corpus（Johansson et al,.1978）のような、大きなバランスのよいコーパスが相応しい。しかしながら、このようなコーパスは、常に他の言語にも使用可能であるとは限らない。
このため、本発明者は、大きなバランスのよいトレーニング・コーパスに頼ることなく品詞の確率を導出する、改良した技術を開発した。
発明の概要
本発明は、辞書およびその他の語彙を品詞確率のための源泉として用いることにより品詞確率を判定する、自然言語パーザおよび方法に関するものである。一形態によれば、方法は、一度に１項目ずつ、語彙（例えば辞書）内の単語を試験することを伴う。１つの単語について列挙され品詞に関連する意味の数をカウントする。例えば、school（学校）という単語は、１３種類の名詞としての意味と、２種類の動詞としての意味を有する。次に、カウントした意味の数に基づいて、品詞確率を導出する。品詞確率は、当該単語がある特定の品詞であり、他のものではない可能性（likelihood）の指示を与える。意味のカウントに基づくと、単語schoolは、自然言語テキストの中では、動詞としてよりも名詞として用いられる可能性の方が高い。何故なら、動詞の２種類の意味と比較して、名詞は１３種類の意味を有するからである。
品詞確率を計算するには、種々の方法がある。例えば、ある品詞に属し得る意味の数を、辞書内に列挙されている当該単語の意味の総数で除算することによって、絶対確率を導出することができる。単語schoolに対して、名詞の品詞確率は８７％（１３÷１５＝０．８７）であり、動詞の品詞確率は１３％（２÷１５＝０．１３）である。また、異なる品詞についての相対的な意味のカウントに基づいて、相対的な確率を判定することも可能である。例えば、単語schoolは、名詞対動詞に対して１３：２の比率を有し、単語schoolは動詞よりも名詞である確率が高いことを示す。他の数学的関係も使用可能である。
意味のカウントおよび品詞確率の判定は、コンピュータ実装自動化プロセスを用いて達成することが好ましい。一度に１項目ずつ、機械読取可能辞書を読み込むようにコンピュータをプログラムする。辞書が、単語をその語彙素（lexeme）または語根形態で主に収容する場合、コンピュータは、任意選択肢として、当該単語の変化形態を生成し、辞書に追加の項目を作成することによって、元の語彙を拡張することができる。単語の「変化」形態とは、語根形態から変化させて、格、性、数、時制、人称、叙法（mood）、態、または比較の区別を印すものである。各項目（語彙または変化形態）毎に、コンピュータは、列挙されている意味をカウントする。単語が変化形態である場合、コンピュータは変化形態の項目について列挙されている意味の数と、語彙素項目について列挙されている意味の数を加算する。次に、コンピュータは、意味のカウントから、品詞確率を計算する。
一実施形態では、品詞確率は、単語と相関付けて、機械読取辞書上に永続的に格納する。このようにすると、毎回確率を再計算する代わりに、各単語毎に確率をメモリから検索することができる。あるいは、品詞確率は、単語を使用する際に、辞書を引用しながら、処理中に（on the fly）計算することも可能である。
パーザが、入力テキスト内の文について、当該入力テキストの各トークン（単語）毎に解析し始めると、初期状態において最も確率が高い品詞をパーザにロードする。パーザは、その最初の解析の構築を試みる場合、この最も確率が高い品詞を用いる。明快な解析（well-formed parse）を行うことに成功した場合、他の品詞を試す必要、または他の解析の構築を試行する必要はない。通常、最初に成功した解析は、この手法で最も確率の高い解析である。その結果、パーザの精度が向上し、実行する解析の回数が減少する。確率は、完成度の高いパーザ（即ち、ある程度の時間テキストから学習したもの）や、手作業でタグを付けたコーパスを必要とせずに得られるので、これらは、パーザの開発の初期段階において用いることができ、文法ルール執筆者がパーザを開発する際、彼／彼女を補佐するであろう。
【図面の簡単な説明】
図１は、従来の自然言語処理システムにおける機能的構成要素のブロック図である。
図２は、自然言語処理システムを実装したコンピュータの概略図である。
図３は、コンピュータおよび自然言語処理システムのブロック図である。
図４は、コンピュータ読取可能辞書から品詞確率を判定する、コンピュータ実装装置のブロック図である。
図５は、本発明の一形態による、自然言語テキストを解析するためのコンピュータ実装パーザのブロック図である。
図６は、自然言語テキストを解析する方法のステップのフロー図である。
好適な実施形態の詳細な説明
図２は、従来のデスクトップ型ＩＢＭ互換コンピュータの形態のコンピュータ３０を示す。コンピュータ３０は、中央演算装置（ＣＰＵ）３２、表示モニタ３４、キーボード３６、マウス３８、および音声即ちオーディオ入力マイクロフォン４０を有する。また、コンピュータ３０は、キーボード３６、マウス３８、および音声入力４０に加えて、またはこれらの代わりに、トラック・ボール、スタイラス等のようなデバイスを含むその他の入力デバイスを含む場合もある。
また、コンピュータ３０は、互換性のあるフロッピ・メモリ・ディスケット４４（例えば、３．５インチ形状係数）をインターフェースするためのフロッピ・ディスク・ドライブ４２、および互換性のあるＣＤ−ＲＯＭ４８とインターフェースする光ディスク・ドライブ４６も有する。説明中の実施形態では、記憶装置を用いて、American Heritage Dictionaryの電子版のような、総合的な機械読取可能辞書を格納することができる。ここに用いる例では、American Heritage Dictionaryの電子版を出版社のテープから入手し、自然言語システムにおいて用いる構造に変換する。説明の目的のためにディスケットおよびＣＤ−ＲＯＭを示すが、他の形態のメモリも使用可能である。
図３は、コンピュータ３０の機能ブロック図を示す。コンピュータ３０は、プロセッサ５０、揮発性メモリ５２（例えば、ＲＡＭ）、および不揮発性メモリ５４を有し、内部バス５６によって相互接続してある。不揮発性メモリ５４は、集積回路チップ（例えば、ＲＯＭ，ＥＥＰＲＯＭ）、１種類以上のディスク・ドライブ（複数のドライブ）（例えば、フロッピ、光、ハード）、またはこれらのメモリ種別の組み合わせを含む、多くの異なる形態のメモリを代表する。ディスプレイ３４は、適切なハードウエア・インターフェース・ドライバ（図示せず）を通じて、バス５６に接続してある。加えて、入力デバイス（キーボード３６、マウス３８、および音声マイクロフォン４０）は、シリアルＲＳ２３２ポートのような適切なＩ／Ｏポートを介して、バス５６にデータを供給するために接続してある。
コンピュータ１０は、多数のアプリケーションに対応するオペレーティング・システム５８を走らせる。オペレーティング・システム５８は、不揮発性メモリ５４（例えば、コンピュータのハード・ディスク・ドライブ）上に格納し、プロセッサ５０上で実行する。好ましくは、オペレーティング・システムは、多数のアプリケーションの同時実行を可能とするマルチタスク・オペレーティング・システムであるが、本発明の形態は、シングル・タスキング・オペレーティング・システムを用いても実施可能である。オペレーティング・システムは、グラフィカル・ユーザ・インターフェースのウインドウ環境を採用し、「ウインドウ」と呼ぶ、表示画面の特別に区切った区域内にアプリケーションまたは文書を提示する。各ウインドウは、それ自体の可調節境界を有し、これによって、ユーザがアプリケーションまたは文書を表示画面に対して拡大または縮小することができる。各ウインドウは、独立して動作することができ、それ自体のメニュー、ツールバー、ポインタ、およびその他の制御部を含み、まるで仮想表示装置のようなものである。好適なオペレーティング・システムの１つは、Microsoft Corporationが販売する、Windows（登録商標）９５またはWindows NT（商標）、あるいはその他のWindows（登録商標）の派生版のような、Windows（登録商標）ブランドのオペレーティング・システムである。しかしながら、Apple CorporationのMacintosh OSやＩＢＭのOS/2 Presentation Managerのような、ウインドウ環境を備えるその他のオペレーティング・システムを使用してもよい。
自然言語処理（ＮＬＰ）システム６０は、不揮発性メモリ５４内に格納してある。ＮＬＰシステム６０は、パーザ６２および、総合的な広い適用範囲の語彙即ち辞書６４を含む。説明中の実施形態では、パーザは、広い適用範囲のルール・ベース自然言語パーザであり、ソフトウエアで実施し、メモリ５４（例えば、ハード・ディスクまたはＣＤ−ＲＯＭ）上に格納し、プロセッサ５０上で実行する。
尚、本発明は、図２に示すような、例示としてなじみのあるデスクトップ・コンピュータと関連させて説明することを注記しておく。コンピュータの一例には、３８６と同等またはそれより高級なマイクロプロセッサで、４メガバイト以上のＲＡＭを有するものが含まれる。しかしながら、本発明の形態は、ラップトップ・コンピュータ、ハンド・ヘルド・コンピュータ、主に自然言語処理のために構成した専用コンピュータ装置を含む、その他の形態の計算機装置においても採用可能である。
本発明は、主に、ＮＬＰシステム６０のパーザの構成に関係する。本発明と共に使用可能な好適なパーザの１つは、"Method and System for Bootstrapping Statistical Processing into Rule-based Natural Language Parser"と題し、Richardson et al.の名義で１９９４年６月２４日出願の米国特許出願第０８／２６５，８４５号、および１９９５年６月２６日出願のＰＣＴ出願第ＰＣＴ／ＵＳ９５／０８２４５号に記載されているルール・ベース自然言語パーザである。これらの出願は、Microsoft Corporation（マイクロソフト社）に譲渡されたもので、この言及により本願にも含まれるものとする。
本発明の一形態によれば、先に引用した出願に記載されているパーザを改良して、総合的辞書を品詞のデータ源として採用する。更に特定すれば、パーザは、個々の単語について辞書内に列挙されている意味の数を、品詞確率を導出する基準として用い、自然言語テキスト内におけるある単語の品詞は何であるかについて、この確率を用いて判定を行う。
次に、図４ないし図６を参照しながら、本発明の一実施形態について説明する。図４および図５は、機能的構成要素を示し、その動作については、図６におけるフロー図のステップを参照しながら説明する。
図４は、機械読取可能な辞書６４を用いて品詞確率を判定する、コンピュータ実装処理装置７０を示す。処理装置７０は、ＮＬＰシステム６０とは独立して実装することができ、これによって、品詞確率を予め決定し、辞書と共に格納して、ＮＬＰシステムが後に使用するようにする。あるいは、装置７０をＮＬＰシステム６０（例えば、パーザの一部として実装する）に組み込むことも可能である。この後者の実施形態では、ＮＬＰシステム６０が多くの辞書記載項目について品詞確率を予め計算したり、または実行中に辞書内の各単語を参照しながらそれらを算出する柔軟性を与えることができる。
総合辞書６４は、対応する単語に対して多数の辞書記載項目を有する。各単語の項目の後ろに、１つ以上の意味が列挙されている。意味（複数の意味）は、１つ以上の品詞を反映する。一例として、American Heritage Dictionaryは、単語を、８種類の品詞、即ち、名詞、動詞、形容詞、副詞、代名詞、前置詞、接続詞、および間投詞に分類する。大部分の単語は品詞を１つだけ有し、少数の単語だけが２つ以上の品詞を有する。American Heritage Dictionary（１９９２年版）は、多数の品詞がある約１８，５００単語を有し、これは全収録語数の約１２％にあたる（変化した形態も含む）。
元来、辞書６４に含まれる単語は、それらの「変形した」形態ではなく、実質的にそれらの語根即ち「語彙素」となっている。単語の「変形した」形態は、その語根から変化し、格、性、数、時制、人称、叙法、態、または比較の区別を印す。以下の表は、単語の語彙素および変化形態の例を２つまとめたものである。
語彙素 変化形態
School        Schools,Schooled,Schooling
Finish        Finishes,Finished,Finishing
処理ユニット７０は、一度に１項目ずつ辞書から読み込む（図６のステップ１１０）。ある単語の変化形態の項目が辞書にない場合、処理ユニット７０は項目を１つ作る。より具体的には、処理ユニット７０は、変化形態生成部７２を有し、これが単語の語彙素形態を受け取り、変化形態を生成する（図６のステップ１１２）。変化形態は、辞書６４が供給する語形変化表および情報の、ルールに基づく生成によって自動的に判定する。変化形態は、初期の計算では、語彙化した項目（lexicalized entry）として扱う。図示の例では、finishの語彙素形態および辞書６４からのその他の情報を変化形態生成部７２に渡し、変化形態finishes,finished,およびfinishingについて、単語レコードを生成する。これら変化形態に対する単語レコードは辞書に格納し、単語の語彙素および変化形態を記載する辞書の拡張版を作成する。
辞書を通過する同一のまたは後続のパスの間、処理ユニット７０は各項目に対して品詞確率を決定する。処理ユニット７０は、意味カウンタ７４を有し、これが辞書記載項目に対して列挙されており、品詞に関連する意味の数をカウントする（図６のステップ１１４）。意味カウンタ７４は、品詞確率の各々に、品詞（ＰＯＳ）カウントＣPOSを生成する。American Heritage Dictionaryには、schoolという単語に、１３種類の名詞としての意味、および２種類の動詞としての意味が列挙されている。したがって、意味カウンタ７４は、名詞カウントＣNOUN＝１３、および動詞カウントＣVERB＝２を生成する。また、意味カウンタ７４は、総カウントＣTOTも記録してもよい。この例では、ＣTOT＝１５となる。
辞書記載項目がある単語の変化形態である場合（即ち、図６のステップ１１６から「ＹＥＳ」の分岐）、意味カウンタ７４は追加として、当該単語の語彙素形態として列挙されている意味をカウントする（図６のステップ１１８）。次に、語彙素および変形項目に対するカウント値を組み合わせ、品詞カウントＣPOSを生成する（図６のステップ１２０）。例えば、fellという単語は、１つの辞書記載項目（他に依存しない１つの語彙素、即ち、he felled the trees（彼は木を伐採した））およびfallという単語の変化形態（fallの過去形）である。単語fellに対する辞書記載項目／語彙素項目は、２種類の動詞としての意味、６種類の名詞としての意味、および４種類の形容詞としての意味がある。語彙素のfallは、２４種類の動詞としての意味を有する。fellは語彙素であり、かつfallの変化形態でもあるので、意味カウンタ７４は、fellについての辞書掲載項目／語彙素項目から２つの動詞の意味を、fallの語彙素形態に対して列挙されている２４種類の動詞の意味に追加して、動詞カウントＣVERB＝２６を生成する。
変化形態生成部７２が作成した変化形態を有する項目は、当該項目に関連して列挙されている意味は全くなく、品詞の指示のみである場合もある。一例として、変形単語finishesの項目は、当該単語を動詞および名詞として識別する情報を含む。単語finishの語彙素形態は、９種類の動詞の意味と７種類の名詞の意味を有する。単語finishesについて考える場合、意味カウンタは、変化形態項目に対する動詞の意味数、この場合は０を、語彙素項目に対する動詞の意味数、この場合は９に加算する。また、意味カウンタ７４は、変化形態の項目に対する名詞の意味数、この場合は０を、語彙素項目に対する名詞の意味数、この場合は７に加算する。これによって、動詞カウントＣVERB＝９および名詞カウントＣNOUN＝７が得られる。
この手法を考察する別の方法は、語根形態の適切な品詞に対する意味数を、変化形態に対する辞書記載項目に割り当てることである。例えば、単語catsは、複数形の名詞および現在三人称単数動詞の双方となり得る。したがって、catの名詞および動詞の意味双方からの意味カウントを、catsに対する辞書記載項目に割り当てる。その結果、単語catsには、１２種類の名詞の意味および２種類の動詞の意味がある。一方、変化形態cattingは、動詞としてのみ用いられるので、catの２種類の動詞の意味のみを、cattingに対する辞書記載項目に割り当てる。
ある単語については、意味カウンタが意味カウントを調整し、それらの間でよりよい拡張を与えるようにすると有用な場合がある。即ち、品詞の意味がほぼ均等に分布している単語では、その分布を広げるように操作するとよく、一方１つの品詞が他の品詞よりも大幅に偏っている単語はそのままにしておくことができる。例えば、単語finishは、９の動詞カウントおよび７の名詞カウントを有し、かなり均等な分布である。これらの値について、最も大きな数値を増大させ、最も小さい数値を減少させることによって、それらの間の差を広げるように操作することができる。この操作によって、パーザは、より長い期間にわたって最も確率の高い品詞を用い続けようとする。何故なら、これは非常に確率が高く思われるからである。
処理ユニット７０は、計算ユニット７６を有し、これが意味カウンタ７４から品詞カウントＣPOSおよび総カウントＣTOTを受け取る。計算ユニット７６は、各単語毎に、当該単語が特定の品詞である確率がどれくらいかを示す、１つ以上の品詞確率を計算する（図６のステップ１２２）。単語が１つの品詞しかない場合、品詞の確率は容易に１００％と計算され、その単語は常にその品詞として用いられることを示す。しかしながら、多数の品詞を有する単語については、計算ユニット７６は、各品詞毎に品詞確率ＰPOSを生成する。
計算ユニット７６は、異なる確率尺度を計算するように構成することができる。例えば、計算ユニットは、意味カウントＣPOSおよび総意味カウントＣTOTの関数に応じて、各品詞毎に絶対確率を導出することができる。即ち、品詞の確率ＰPOSは、次のように定義する。
ＰPOS＝ＣPOS÷ＣTOT
単語schoolについて、計算ユニット７６は、名詞の品詞確率を導出する。これは、１３である名詞の意味を１５である全ての意味で除算したもの、即ち、８７％に等しい（即ち、０．８７＝１３÷１５）。動詞に対する品詞確率は、２である動詞の意味を１５である全ての意味で除算したもの、即ち、１３％（０．１３＝２÷１５）に等しい。
また、計算ユニット７６は、異なる品詞に対する相対的な意味カウントに基づいて、相対的な確率を計算することも可能である。例えば、名詞schoolは、名詞対動詞について１３：２の比率を有し、単語schoolは、テキストでは、動詞に比べて名詞である可能性の方が高いことを示す。相対的な確率の判定は、総意味カウントＣTOTの必要性がなくなる点で、利点を有する。
更に一層簡素化するには、未処理（raw）のカウントを疑似品詞確率として用いることができる。最も意味カウントが大きい品詞を、関連する単語の最も確率が高い品詞とみなす。計算ユニット７６は、異なる品詞について種々の品詞カウントを比較し、どの品詞が最も高いカウントを有するかについて指示を与えるように構成することができる。あるいはまた、処理ユニット７０は、意味カウンタ７４が出力する各品詞毎の未処理のカウントを格納し、計算ユニット７６を完全に迂回することができる。最も縮小した状態では、処理ユニット７０は、最もカウントが大きい品詞を表す単一の指示を辞書内に格納することができる。
処理ユニット７０は、辞書記載項目全てを巡回する。計算した品詞確率は、単語と相関付けて辞書６４内に、または別個のデータ・レコードに格納する（図６のステップ１２４）。次に、テキストを解析する場合に、自然言語パーザにおいて用いる初期の品詞を選択する際に、これらの品詞確率を用いてその補助とする。
図５は、辞書６４をその品詞データ源として用いる、ルール・ベース自然言語パーザ６２を示す。パーザ６２および辞書６４は、語彙分析部６３を通じて接続してある。辞書６４は、図４に関して先に説明したものと本質的に同一であるが、パーザ６２に容易に渡すことができるレコードに組織化したものとして記述する。あるいはまた、辞書６４から導出する他の語彙を用いてもよい。辞書の各項目は、レコード８０〜８８で表すように、対応する単語に対して１つ以上の品詞レコードを指定する。品詞レコードは、品詞に加えて、人称、数、および時制のようなその他の情報を含む。所与の単語について、品詞毎に１つのレコードがある。一例として、辞書６４は、単語schoolを含み、名詞レコード８６および動詞レコード８８を有することにより、異なる２種類の品詞をカバーする。
図示する実施形態では、品詞レコード８０〜８８は、先に図４を参照して説明したように、処理ユニットによって予め導出した品詞確率を含む。このように、品詞確率を関連する単語と相関付けて列挙する。単語schoolについて、名詞レコード８６は名詞の確率８７％を含み、動詞レコード８８は動詞の確率１３％を含む。
入力テキスト文字列９０は、語彙分析部６３を介して、パーザ６２に供給する。図示の例では、入力テキスト９０は、２つの単語から成る文"School finishes"である。パーザ６２は、この入力文字列を解析するように動作する。パーザ６２は、１組の大きな句構造文法ルール９２を含む。パーザ６２は、更に、パーザ・コントローラ９４も含み、これが語彙レコード（即ち、辞書および形態学的分析から情報を得ることによって、語彙分析器が作成した項目）およびルールを適用して、ワーキング・エリア即ちチャート９６に新たなレコードを生成する。辞書は、テキスト内で見出した全ての単語を有していない場合もある。例えば、単語finishesは、拡張辞書６４の確率ファイル内にはあるが、正規の辞書にはない。語彙分析器６３は、確率情報および形態学的情報（即ち、finishesを複数名詞および単数動詞として識別する）を含むレコードを作成する。次に、チャート９６内のレコードを用いて、入力文字列に対してシンタックス・ツリーを組み立て、最終的にチャート内に１つ以上の文章レコードを生成する。）
入力文字列９０の解析の開始時では、チャート９６はレコードを何も含んでいない。パーザ・コントローラ９４は、ルール９２にしたがって、入力文字列９０内の単語に対応する１つ以上の語彙レコードを選択することから開始し、チャート９６内にレコードを作成する。パーザ・コントローラ９４は、それに対応する品詞確率、好ましくは、最も確率が高い品詞を表す品詞レコードに基づいて、品詞レコードを選択する（図６のステップ１２６）。入力テキストSchool finishesについては、パーザ・コントローラ９４は、単語schoolに名詞レコード８６を選択する。何故なら、これが最も高い品詞確率（動詞の０．１３に対して、名詞では０．８７）を有するからである。この品詞確率は、単語schoolが、動詞としてよりも名詞として用いられている確率の方が高いことを示す。したがって、最初に単語schoolを名詞として試すことは、パーザにとって良好な出発点である。エントリ９８で表すように、名詞レコード８６をチャート９６にコピーする。同様に、辞書６４からの動詞レコード８４を含む単語finishesに対して、動詞チャート・エントリ１００を含ませるように、語彙ルール９２によってパーザ・コントローラ９４に指示する。
一実施形態では、整列キュー（ordered queue）を用いて、入力文字列９０内の全単語について全ての品詞レコードを格納する。入力テキストSchool finishesについては、例えば、単語schoolに対する名詞および動詞レコード８６，８８をキューにロードし、これらと共に、単語finishesに対する名詞および動詞レコード８４，８５もロードする。入力文字列内の各単語について、最も確率が高いとみなされる品詞レコードを、キューの最上位に置く。したがって、schoolの名詞レコード８６およびfinishesの動詞レコードを、キュー内のschool動詞レコード８８およびfinishes名詞レコード８５の最上部に置く。これによって、入力テキスト内の各単語に対して、最も確率の高い品詞レコードが、初期状態においてパーザに確実に得られるようにする。キューの残りは、ルール、および相対的な品詞確率の降順でソートした最も高い確率から最も低い確率までの品詞レコード双方を含む。
一旦初期化したなら、パーザ６２は、語彙ルール９２に基づいて、テキストの解析を開始する（図６のステップ１２８）。品詞レコードをチャート９６に入力すると、適用可能な全てのルール（一連の構成要素の試験に基づいて）も、同じまたは異なるキューに置かれる。チャート・パーザが用いる１組の大きな句構造文法ルールを最適化して、各文毎に１つのみの解析を生成するが、多数の解析および適合形解析（fitted parse）も可能である。チャート９６に入力した品詞レコードを用いて、ルールを適用する。必要であれば、後続の品詞レコードを、それらがキュー内で位置する順に、チャート９６に入力する。入力文字列全体に対する解析ツリーを見出したとき、プロセスは終了する。
相応しいルール・ベース解析技法の更に詳しい説明は、先に引用したRichardson et al.の米国特許出願第０８／２６５，８４５号、およびＰＣＴ出願第ＰＣＴ／ＵＳ９５／０８２４５号に記載されており、その内容は、この言及により本願にも含まれるものとする。
上述のパーザおよび方法には、いくつかの利点がある。総合的な機械読取可能辞書において品詞毎に意味の数を計算して最も確率の高い品詞を判定し、次いでその情報をルール・ベース・パーザに供給することによって、解析が改善し、少数の解析を生成すれば済むようになる。更に、この品詞確率を算出する方法を実行するのに、完成度の高いパーザやタグ付きのコーパスを用いることはない。他の利点は、品詞確率の源泉、即ち、機械読取可能辞書は、非常に有用なツールであり、自然言語処理の他のあらゆるレベルに使用可能であることである。
法令にしたがって、本発明の構造および方法的特徴について、かなり特定した言葉で記載した。しかしながら、ここに開示した手段は、本発明を実施する好適な形態を構成するものであり、本発明は、記載した具体的な特徴に限定される訳ではないことは理解されよう。したがって、本発明は、均等論にしたがって適切に解釈される、添付の請求項の適正な範囲内において、その形態および変更のいずれについても、その権利を主張する。
【図１】
0004024861.tif 000002
【図２】
0004024861.tif 000003
【図３】
0004024861.tif 000004
【図４】
0004024861.tif 000005
【図５】
0004024861.tif 000006
【図６】
0004024861.tif 000007