(57)【要約】【課題】固有名のカテゴリを適切に推定する。【解決手段】学習用文書群を解析することで、カテゴリが既知の固有名と同一文内に共起する自立語を求める。そしてこれら自立語を固有名のカテゴリごとに集計することで、各自立語が各カテゴリの固有名と共起する可能性を示す出現頻度スコアを記憶したカテゴリ別出現頻度テーブル１４８を作成する。解析対象文書３００の中に、形態素解析部１０２の解析ではカテゴリを位置に特定できない固有名がある場合、共起語検出部１０８がその固有名と同一文内に共起する自立語を解析対象文書３００から求め、カテゴリ推定部１１０が、求めた各自立語の各カテゴリについての出現頻度スコアをカテゴリ別出現頻度テーブル１４８から取得し、それらをカテゴリごとに総和する。この総和により求めた適合どの値が最も高いカテゴリを、その固有名のカテゴリと推定する。【選択図】図４
2005327107.tif 000002
【特許請求の範囲】
【請求項１】
固有名のカテゴリごとに、文書中において該カテゴリに属する固有名に対し所定の範囲内に出現する自立語の出現頻度スコアを記憶したカテゴリ別出現頻度テーブルと、
与えられた解析対象文書に含まれる固有名が属するカテゴリを推定する手段であって、該解析対象文書中で該固有名に対し前記所定の範囲に出現する自立語を抽出し、それら各自立語の各カテゴリに対する出現頻度スコアを前記カテゴリ別出現頻度テーブルからそれぞれ求め、それら出現頻度スコアをカテゴリごとに集計することによりカテゴリごとの適合度を計算し、該適合度に基づき該固有名が属するカテゴリを推定する推定手段と、
を備える固有名カテゴリ推定装置。
【請求項２】
与えられた各学習用文書から固有名及び該固有名に対し前記所定の範囲内に出現する自立語を求め、固有名のカテゴリごとに該カテゴリに属する固有名に対し前記所定の範囲内に出現した自立語の出現回数を集計することにより各カテゴリに対するそれら各自立語の出現頻度スコアを求め、カテゴリ別出現頻度テーブルを作成する学習手段、を更に備える請求項１記載の固有名カテゴリ推定装置。
【請求項３】
前記学習手段は、各学習用文書から求めた固有名のうち、属するカテゴリが一意に特定できるものを抽出し、抽出した固有名とこれに対し前記所定の範囲内に出現した自立語に基づき前記カテゴリ別出現頻度テーブルを作成することを特徴とする請求項２記載の固有名カテゴリ推定装置。
【請求項４】
前記学習手段は、固有名に対し前記所定の範囲内に出現した自立語に対し該固有名に対する距離が近いほど高くなる重みスコアを与え、出現した自立語についての重みスコアを集計することにより前記出現頻度スコアを求めることを特徴とする請求項２又は３に記載の固有名カテゴリ推定装置。
【請求項５】
前記推定手段は、固有名に対し前記所定の範囲内に出現する自立語の出現頻度スコアに対し、該自立語と該固有名との間の距離が近いほど大きくなる重みを乗じた上で集計を行うことで前記適合度を計算することを特徴とする請求項１〜４のいずれか１項に記載の固有名カテゴリ推定装置。
【請求項６】
辞書を参照しながら前記解析対象文書を形態素解析する手段であって、前記辞書に登録されていない未知語を検出した場合、該未知語を固有名とみなし、前記推定手段に該未知語の属するカテゴリを推定させる手段、
を更に備える請求項１〜５のいずれか１項に記載の固有名カテゴリ推定装置。
【請求項７】
コンピュータシステムを、
固有名のカテゴリごとに、文書中において該カテゴリに属する固有名に対し所定の範囲内に出現する自立語の出現頻度スコアを記憶したカテゴリ別出現頻度テーブル、
与えられた解析対象文書に含まれる固有名が属するカテゴリを推定する手段であって、該解析対象文書中で該固有名に対し前記所定の範囲に出現する自立語を抽出し、それら各自立語の各カテゴリに対する出現頻度スコアを前記カテゴリ別出現頻度テーブルからそれぞれ求め、それら出現頻度スコアをカテゴリごとに集計することによりカテゴリごとの適合度を計算し、該適合度に基づき該固有名が属するカテゴリを推定する推定手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然文解析に関し、特に固有名のカテゴリ推定の技術に関する。
【背景技術】
【０００２】
例えば、固有名には人名や地名、組織名（例えば社名）など意味的に様々なカテゴリが存在する。そして、例えば「青山」という固有名が人名にも地名にも用いられるように、同じ固有名が複数のカテゴリに属することはよくあることである。
【０００３】
このため、自然文解析では、その固有名のカテゴリを１つに特定することが重要となっている。
【０００４】
このような目的のための従来技術として、特許文献１には、複数のカテゴリに属する固有名（固有名詞）をその後に続く承接語（接尾辞や一般名詞）との関係に基づき単一のカテゴリに絞り込む装置が開示されている。すなわち、この装置は、固有名の後に続く承接語の情報を保持すると共に、固有名と承接語との組合せに基づきその固有名及び承接語のカテゴリや品詞を決定するルールを保持し、それらの情報に基づき文章中の固有名のカテゴリを特定している。
【０００５】
また、固有名のカテゴリ特定そのものではないが、特許文献２には、複数の品詞に属する単語を単一の品詞に絞り込む装置が示されている。この装置は、隣接する品詞間の接続のしやすさの度合いと、接続不可の場合にどちらの品詞を除去すべきかを示す情報とを組み合わせた数値情報を記憶しており、これらの情報に基づき文章中の単語の品詞を判定する。
【０００６】
【特許文献１】特開平１−２４８２７７号公報
【特許文献２】特開平２−５１７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記特許文献２の技術は隣接する品詞間の関係を利用しているが、固有名のカテゴリの判定では、対象となる固有名は名詞であり、カテゴリが変わっても隣接する品詞自体には余り差異はないので、この従来技術で固有名のカテゴリの判定を行うには限界があった。
【０００８】
上記特許文献１の技術では、固有名とその後に続く語からなる複合語を処理対象としており、しかも解析の鍵となる承接語は予め登録された特定の語を用いている。このため、この従来技術は、固有名が複合語としてではなく単独で文章中に現れた場合には対応できないという問題がある。
【０００９】
本発明は、固有名が文章中に複合語としてではなく単独で現れた場合にもそのカテゴリを推定できる技術を提供する。
【課題を解決するための手段】
【００１０】
本発明に係る装置は、固有名のカテゴリごとに、文書中において該カテゴリに属する固有名に対し所定の範囲内に出現する自立語の出現頻度スコアを記憶したカテゴリ別出現頻度テーブルと、与えられた解析対象文書に含まれる固有名が属するカテゴリを推定する手段であって、該解析対象文書中で該固有名に対し前記所定の範囲に出現する自立語を抽出し、それら各自立語の各カテゴリに対する出現頻度スコアを前記カテゴリ別出現頻度テーブルからそれぞれ求め、それら出現頻度スコアをカテゴリごとに集計することによりカテゴリごとの適合度を計算し、該適合度に基づき該固有名が属するカテゴリを推定する推定手段と、を備える
【００１１】
ここで、固有名に対する「所定の範囲」は、例えば固有名が属する文や、固有名が属する段落などであり、適宜定めることができる。
【００１２】
この構成では、推定手段が、解析対象文書中に現れる固有名のカテゴリを推定する際に、解析対象文書中でその固有名に対して所定の範囲内に現れる自立語を抽出し、それら抽出した自立語の各カテゴリに対する出現頻度スコアに基づき、その固有名の各カテゴリに対する適合度を計算し、それら各カテゴリに対する適合度に基づきその固有名のカテゴリを推定する。
【００１３】
本発明の好適な態様では、固有名カテゴリ推定装置は、与えられた各学習用文書から固有名及び該固有名に対し前記所定の範囲内に出現する自立語を求め、固有名のカテゴリごとに該カテゴリに属する固有名に対し前記所定の範囲内に出現した自立語の出現回数を集計することにより各カテゴリに対するそれら各自立語の出現頻度スコアを求め、カテゴリ別出現頻度テーブルを作成する学習手段、を更に備える。
【００１４】
この態様では、与えられる学習用文書から学習手段がカテゴリ別出現頻度テーブルを作成することができるので、事例としての学習用文書をこの装置に与えることで、カテゴリ別出現頻度テーブルを自動生成することができる。
【００１５】
本発明の別の好適な態様では、前記学習手段は、各学習用文書から求めた固有名のうち、属するカテゴリが一意に特定できるものを抽出し、抽出した固有名とこれに対し前記所定の範囲内に出現した自立語に基づき前記カテゴリ別出現頻度テーブルを作成する。
【００１６】
この態様では、学習手段が、学習用文書の中からカテゴリが一意に特定できる固有名を自動的に抽出し、そのような固有名についての情報からカテゴリ別出現頻度テーブルを作成する。したがって、カテゴリ別出現頻度テーブルにはカテゴリが曖昧な固有名の情報は反映されないので、精度のよいカテゴリ別出現頻度テーブルを作成できる。
【００１７】
本発明の更に好適な態様では、前記学習手段は、固有名に対し前記所定の範囲内に出現した自立語に対し該固有名に対する距離が近いほど高くなる重みスコアを与え、出現した自立語についての重みスコアを集計することにより前記出現頻度スコアを求める。
【００１８】
この態様では、学習手段がカテゴリ別出現頻度テーブルを作成する処理において、固有名に対し所定の範囲に出現する自立語を集計する際、その固有名に対する距離が近いほど高い重みスコアとして集計する。このように作成したカテゴリ別出現頻度テーブルを用いれば、固有名に対して関連が強いと考えられる距離の近い自立語ほど、カテゴリ推定に対し強い影響を与えるようにすることができる。
【００１９】
本発明の別の好適な態様では、前記推定手段は、固有名に対し前記所定の範囲内に出現する自立語の出現頻度スコアに対し、該自立語と該固有名との間の距離が近いほど大きくなる重みを乗じた上で集計を行うことで前記適合度を計算する。
【００２０】
この態様では、推定手段は、各自立語の出現頻度スコアに対し、固有名との距離が近いほど大きくなる重みを乗じて集計することで適合度を計算するので、固有名に対して関連が強いと考えられる距離の近い自立語ほど、カテゴリ推定に対し強い影響を与えるようにすることができる。
【００２１】
本発明の更に別の態様では、固有名カテゴリ推定装置は、辞書を参照しながら前記解析対象文書を形態素解析する手段であって、前記辞書に登録されていない未知語を検出した場合、該未知語を固有名とみなし、前記推定手段に該未知語の属するカテゴリを推定させる手段、を更に備える。
【００２２】
固有名は日々新たに生成されるので、辞書がそれに対応できていない場合は未知語となる。このような状況に対し、この態様によれば、解析対象文書中の未知語を自動的に固有名とみなし、そのカテゴリを推定するので、辞書が対応できていない固有名に対してもカテゴリ推定を行える。
【発明の効果】
【００２３】
本発明によれば、文書中で固有名に対し、同一文内や同一段落内などの所定の範囲に現れる各自立語の各カテゴリごとの出現頻度スコアの集計により、その固有名のカテゴリを推定するので、文書内に固有名が承接語を従えずに単独で現れる場合でも、そのカテゴリを特定することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して、本発明を実施するための最良の形態（以下「実施形態」と呼ぶ）について説明する。
【００２５】
図１は、本発明に係る固有名カテゴリ推定装置が実装されるハードウエア構成の例を示す図である。図に示すように、この装置は、ＣＰＵ（中央演算装置）１０、ＲＡＭ（ランダム・アクセス・メモリ）１２、ハードディスクドライブ等の不揮発性記憶装置１４、及び可搬型ディスク読取装置やＬＡＮ（ローカル・エリア・ネットワーク）インタフェース回路などの各種入出力インタフェース（Ｉ／Ｆ）１６がバス１８に接続された、一般的なコンピュータシステムを基礎として構成することができる。不揮発性記憶装置１４には、学習用プログラム１４２及び解析用プログラム１４４がインストールされている。ＣＰＵ１０が学習用プログラム１４２を実行することにより、このコンピュータシステムは、図３に示す学習用サブシステムとして機能する。学習用サブシステムは、固有名のカテゴリ推定の判断材料に用いる情報を学習するサブシステムである。より詳しくは、学習サブシステムは、学習用文書群を処理することで、後の解析に用いるカテゴリ別出現頻度テーブル１４８の作成・更新を行う。カテゴリ別出現頻度テーブル１４８及び学習用サブシステムの更なる詳細については、後で説明する。また、ＣＰＵ１０が解析用プログラム１４４を実行することにより、このコンピュータシステムは、図４に示す解析用サブシステムとして機能する。解析用サブシステムは、機械翻訳や自然言語ユーザインタフェース等の応用処理のために、解析対象の文書に対して形態素解析等の解析処理を行うサブシステムである。特にこのサブシステムは、辞書１４６ではカテゴリを一意に特定できない固有名のカテゴリの推定を、カテゴリ別出現頻度テーブル１４８を利用して行う。このサブシステムについても後で詳しく説明する。これら学習用サブシステムと解析用サブシステムとを兼ね備えたものが、本実施形態の固有名カテゴリ推定装置である。
【００２６】
また、不揮発性記憶装置１４には、学習や解析に用いる辞書１４６と、固有名のカテゴリ推定のための判断材料となるカテゴリ別出現頻度テーブル１４８が格納されている。
【００２７】
辞書１４６は、単語群のデータが登録されたデータベースである。ここで、複数の単語が接続して１つのまとまった意味をなす複合語も、単語の概念に含まれるものとする。辞書１４６の各単語のデータには、それぞれ、当該単語が該当する品詞（複数ある場合もある）や、当該単語が該当する固有名のカテゴリ（これも複数あり得る）の情報が含まれる。辞書１４６としては、自然言語解析分野で一般的に用いられているものと同様のものを用いることができる。
【００２８】
カテゴリ別出現頻度テーブル１４８は、固有名のカテゴリごとに、文書中でカテゴリに属する固有名に対し所定の範囲内（すなわち固有名を基準に定められる所定の範囲の中）に出現する可能性のある単語のリストを登録したテーブルである。
【００２９】
以下では、煩雑さを避けるため、「文書中で固有名に対し所定の範囲内に出現する」ということを単に「共起する」と言うこととする。また、以下の例では、固有名に共起する単語を見つける対象範囲である「所定の範囲」として、「固有名と同一の文の中」を採用した場合を説明する。
【００３０】
このテーブル１４８の各単語の情報には、その単語がそのカテゴリに属する固有名と共起する度合い（共起する可能性の高さ）を示す出現頻度スコアが含まれる。
【００３１】
図２にカテゴリ別出現頻度テーブル１４８の一例を示す。この例では、テーブルの各行がそれぞれ１つのカテゴリについてのデータである。固有名のカテゴリとしては、会社名などの「組織名」、「人名」、及び「地名」を示しているが、カテゴリはこれらに限られるわけではない。各カテゴリの行には、それぞれ、そのカテゴリに属する固有名と共起する単語の情報が各列に配列されている。この例では、単語の配列順は学習時に検出した順であり、それ自体に特に意味があるわけではない。個々の単語の情報は、「単語：その単語の出現数：その単語の出現頻度スコア」というように、単語の文字列、学習時のその単語の出現数、及び学習結果から求めたその単語の出現頻度スコアを、コロン「：」で区切って順に配列したものとなっている。この例では、ある単語のあるカテゴリについての出現頻度スコアは、学習時において、その単語がそのカテゴリに属する固有名と共起した回数、すなわち「出現数」を、そのカテゴリに属する固有名と共起したすべての単語の出現数の総和（図２では「カテゴリ別総数」として示す）で除した値である（図では煩雑さを避けるため、計算した値の１００倍を表示している）。すなわち、単語の出現数をカテゴリ別総数で正規化したものが出現頻度スコアである。ただし、このような出現頻度スコアの定義はあくまで一例であり、出現頻度スコアは、単語のカテゴリに対する共起のしやすさを示す値であればよく、正規化のための計算式としてはどのようなものを用いてもよい。なお、このように出現頻度スコアを計算するために、カテゴリ別出現頻度テーブル１４８には、各カテゴリごとに、そのカテゴリについての「カテゴリ別総数」を記録するエリアが設けられている。
【００３２】
なお、本実施形態では、カテゴリ別出現頻度テーブル１４８に登録する単語を自立語に限定し、付属語は登録していない。自立語は、周知のように、名詞や動詞など、他の語に依存することなく文中で自立した語である。これに対し付属語は、自立語に付属することで意味をなす語であり、助詞や助動詞はその代表例である。接頭語や接尾語も付属語の範疇に含まれる。
【００３３】
意味単位である自立語は、文法的には固有名と共起すべき理由はないので、そのような自立語の共起の傾向は逆に固有名のカテゴリに依存する可能性が高いと言える。これに対し、付属語、特に助詞や助動詞などは、固有名と共起したとしても、それは文法上の要請により固有名に対して付属したり、或いは固有名と共起する自立語に付属したりしているのであって、固有名の意味的なカテゴリとの間の相関は低いと考えられる。このようなことから、本実施形態では、カテゴリ別出現頻度テーブル１４８は、固有名のカテゴリに対する依存性が高いと考えられる自立語の共起のみを基礎として作成する。
【００３４】
なお、接頭語や接尾語は、特許文献１にも示されるように、固有名のカテゴリを特定する１つの重要な要素である。しかし、これら接頭語や接尾語に基づくカテゴリ推定は特許文献１に示される技術で実現できるので、本実施形態では、特許文献１の技術を用いても一意にカテゴリを特定できない固有名のカテゴリ推定の手法に重点を置いた構成を示している。このためカテゴリ別頻度テーブル１４８には、接頭語や接尾語は登録していない。
【００３５】
次に、図３を参照して、この固有名カテゴリ推定装置のうちの学習用サブシステムについて説明する。
【００３６】
学習用サブシステムは、形態素解析部１０２、カテゴリ別出現リスト生成部１０４、テーブル生成・更新部１０６を備えている。これら各機能モジュール１０２，１０４及び１０６は、ＣＰＵ１０で学習用プログラム１４２を実行することにより実現される。
【００３７】
形態素解析部１０２は、解析の対象として与えられた文書のテキストデータに対し、形態素解析処理を施す機能モジュールである。
【００３８】
この形態素解析処理では、辞書１４６のデータを利用して、文書のテキストを形態素・語の並びに分解し、各形態素・語の品詞を判定する。この判定で語が固有名であると判定される場合は、更にそのカテゴリも判定する。このような品詞、及び固有名のカテゴリの判定では、辞書１４６に登録された各単語の品詞やカテゴリの情報をもとに判定を行う。したがって、辞書１４６に単一のカテゴリしか登録されていない固有名については、この形態素解析の段階でカテゴリが一意に特定できる。一方、辞書１４６に複数の該当カテゴリが登録されている固有名については、形態素解析の段階ではカテゴリが一意に特定できない。なお、形態素解析は周知の技術であるので、これ以上の詳細な説明は省略する。
【００３９】
なお、形態素解析部１０２では、一般的な形態素解析でカテゴリが一意に特定できない固有名に対し、更に特許文献１のような承接語（接尾語や一般名詞）の情報や、接頭語の情報を利用したカテゴリ判定処理を適用し、カテゴリが特定できないか試みるようにしてもよい。
【００４０】
学習用サブシステムでは、形態素解析部１０２は、文書中から固有名、及びその固有名と共起する単語（特に自立語）を抽出するのに用いられる。
【００４１】
学習用サブシステムには、入出力Ｉ／Ｆ１６を介し、事例となる１以上の学習用文書２００を入力する。学習用文書２００としては、例えば新聞や雑誌の記事、ＷＷＷ(World Wide Web)上の各種情報提供サイト上の文書コンテンツなど、様々なものを用いることができる。特定の分野に特化する場合には、その分野の文書を集めて学習用文書２００とすればよい。
【００４２】
学習用サブシステムに対して１以上の学習用文書２００が入力されると、形態素解析部１０２は、それら各学習用文書２００を個々に形態素解析する。例えば、学習用文書２００として、図３に示すように、以下の文１から文６のような６個の文からなる文書が入力された場合を例にとる。
【００４３】
文１：ＡＡＡ商事の今期の売上は１０００億を達成する見込みであると発表した。  
文２：ＢＢＢ電機は新素材の開発に成功し、今期の製品に採用すると発表した。  
文３：歌手のＣＣＣは道路交通法違反によって逮捕された。  
文４：タレントのＤＤＤはＥＥＥと結婚したのち、３年後に離婚した。  
文５：ＦＦＦとＧＧＧは公共機関の効率化を図る狙いで合併した。  
文６：ＨＨＨ電機のＩＩＩ社長は今期の製品戦略についてビジョンを示した。
【００４４】
この場合、形態素解析部１０２の出力は、次のように、文ごとに、その文に現れた固有名と、その文に共起した自立語とのリストとなる。
【００４５】
文１：ＡＡＡ商事（組織名）、今期、売上 、１０００億、達成 、見込み、発表
文２：ＢＢＢ電機（組織名）、新素材、開発、成功、今期、製品、採用、発表
文３：歌手、ＣＣＣ（人名）、道路交通法違反、逮捕
文４：タレント、ＤＤＤ（人名）、ＥＥＥ（人名） 、結婚、３年後、離婚
文５：ＦＦＦ（地名）、ＧＧＧ（地名）、公共機関、効率化、図る、狙い、合併
文６：ＨＨＨ電機（組織）、ＩＩＩ（人名）、社長、今期、製品戦略、ビジョン、示す
【００４６】
この例では、「ＡＡＡ商事」などのように、単語の後に「（組織名）」などと括弧書きが付随しているのが固有名であり、その括弧書きがその固有名の属するカテゴリである。また、「今期」や「図る」などのように括弧書きが付随していない単語は、固有名と共起した自立語である。
【００４７】
ここに示した各文についての固有名及び共起自立語のリストを、文ごとの共起リストと呼ぶことにする。
【００４８】
この例では、各文に出現した固有名がすべて、辞書１４６（更に承接語等を利用した判定を利用してもよい）により一意にカテゴリを特定できている。しかし、実際には、学習用文書２００中の固有名のすべてが形態素解析部１０２で一意にカテゴリ判定できるとは限らない。形態素解析部１０２で一意にカテゴリを判定できなかった固有名については、本実施形態では、形態素解析部１０２の出力である文ごとの共起リストには含めない。すなわち、カテゴリが一意に特定できない固有名は、カテゴリ別出現頻度テーブル１４８の作成のための以降の処理には用いない。これは、学習段階では、各カテゴリの固有名と共起する単語の情報を集めることが目的なので、カテゴリが特定できない固有名は利用できないからである。
【００４９】
また、以上の例では、辞書１４６や特許文献１の手法を利用した判定で固有名のカテゴリを判別したが、これは一例である。この他に、例えば、学習用文書２００として、各固有名に対し予めそのカテゴリをタグなどの形で付加した文書を用意すれば、そのような手法によらずとも、形態素解析部１０２にて各固有名のカテゴリを判別できる。
【００５０】
次にカテゴリ別出現リスト生成部１０４は、これら文ごとの共起リストの情報を、各文に含まれる固有名の所属カテゴリごとに集計することで、カテゴリ別出現リストを生成する。カテゴリ別出現リストは、固有名のカテゴリごとに、そのカテゴリに属する固有名と同一文内に共起した自立語と、その出現回数（すなわち共起の回数）とを配列したリストである。図示の例では、上に例示した共起リスト群から、次のようなカテゴリ別出現リストが生成される。
【００５１】
組織名：今期＊３、売上、１０００億、達成、見込み、発表＊２、新素材、開発、成功、製品、採用、社長、製品戦略、ビジョン、示す：１８個
人名：歌手、道路交通法違反、逮捕、タレント、結婚、３年後、離婚、社長、今期、製品戦略、ビジョン、示す
：１２個
地名：公共機関、効率化、図る、狙い、合併：５個
【００５２】
この例では、組織名、人名、地名という各カテゴリごとに、カテゴリ別出現リストが生成されている。
【００５３】
この例では、例えば「今期」という自立語は、文１にて組織名である「ＡＡＡ商事」と、文２にて組織名である「ＢＢＢ電機」と、文６にて組織名である「ＨＨＨ電機」と、それぞれ同一文内に共起している。したがって、集計すれば、「今期」は組織名のカテゴリの中の共起語としてカテゴリ別出現リストに登録され、その出現数３も登録される。なお、上記の例では、出現数が１回の語については、出現回数の数値の表示は省略している。
【００５４】
また、各カテゴリ別出現リストの末尾に付属する「１８個」等の個数の値は、そのカテゴリに属する各固有名と共起した自立語の総数である。これは、カテゴリ別出現頻度テーブル１４８（図２参照）における「カテゴリ別総数」の値を算出するために集計した値である。
【００５５】
このようにしてカテゴリ別出現リストの生成が終わると、次にテーブル生成・更新部１０６が、それらカテゴリ別出現リストのデータを用いて、カテゴリ別出現頻度テーブル１４８の生成又は更新を行う。
【００５６】
すなわち、学習の時点でカテゴリ別出現頻度テーブル１４８がまだ存在していない場合には、カテゴリ別出現頻度テーブル１４８を生成する。この場合、各カテゴリ別出現リストに含まれる各自立語とその出現数をそれぞれテーブル１４８における当該カテゴリの行のエントリとして登録する。そして更に、カテゴリ別出現リストの末尾の当該カテゴリの出現総数と各自立語の出現数からそれら各自立語の出現頻度スコアを計算し、これをテーブル１４８に登録する。
【００５７】
一方、学習の時点でカテゴリ別出現頻度テーブル１４８が既に存在している場合には、各カテゴリ別出現リストのデータを用いてそのテーブル１４８を更新する。この更新では、カテゴリ別出現リストに含まれる各自立語のうち、テーブル１４８に当該カテゴリのデータとして既に登録されているものについては、テーブル１４８に登録されている出現数に当該リストでの出現数を加算する。また、「カテゴリ別総数」の値は、カテゴリ別出現リストの末尾の出現総数の値を加算して更新する。そして、このように更新された各自立語の出現数及びカテゴリ別総数の値を用いて、各自立語の出現頻度スコアを再計算し、この計算結果の値に更新する。なお、カテゴリ別出現リスト上の自立語のうち、テーブル１４８に登録されていないものについては、テーブル１４８の新規生成の場合と同様の処理を行えばよい。
【００５８】
このように学習用サブシステムは、与えられた学習用文書２００に基づきカテゴリ別出現頻度テーブル１４８を生成したり、更新したりすることができる。
【００５９】
次に、解析用サブシステムについて、図４を参照して説明する。
【００６０】
図示のように、解析用サブシステムは、形態素解析部１０２、共起語検出部１０８、カテゴリ推定部１１０を備えている。これら各機能モジュール１０２，１０８及び１１０は、ＣＰＵ１０で解析用プログラム１４４を実行することにより実現される。解析用サブシステムは、入出力Ｉ／Ｆ１６を介して入力された解析対象文書を解析し、その中に含まれる固有名のカテゴリを推定する。
【００６１】
解析用サブシステムにおいて、形態素解析部１０２ａが果たす機能は、前述の学習用サブシステムの形態素解析部１０２と基本的に同様である。相違する点は、学習用サブシステムの形態素解析部１０２は、カテゴリが１つに特定できない固有名は解析結果から省いたのに対し、この解析用サブシステムの形態素解析部１０２ａは、カテゴリが１つに特定できない固有名を、該当する可能性のある複数のカテゴリの情報を含んだ形で出力する点である。
【００６２】
例えば、解析対象文書３００として、図示のように、次の２つの文を含んだ文書が与えられた場合を考える。
【００６３】
文１：富士が今期の売上を発表した。
文２：宮崎が候補地として発表された。
【００６４】
この場合、辞書１４６（及び場合によっては特許文献１の技術）によるカテゴリ判定では、文１の「富士」及び文２の「宮崎」という固有名はカテゴリが一意に絞り込めない。したがって、形態素解析部１０２ａの出力は次のようなものとなる。
【００６５】
文１：富士（人名、組織名、地名）、今期、売上、発表
文２：宮崎（人名、地名）、候補地、発表
【００６６】
この例では、例えば文１の固有名「富士」は３つのカテゴリに属しており、形態素解析のレベルでは１つに絞り込めない。このため、以下の共起語検出部１０８及びカテゴリ推定部１１０では、解析対象文書３００内でその固有名と同一文内に共起した自立語の情報を用いてカテゴリの絞込を行う。
【００６７】
まず共起語検出部１０８は、解析対象文書３００中から検出された、カテゴリが一意に特定できない各固有名について、その固有名と同一文内から自立語を検出する。図示の例では、共起語検出部１０８が個々の固有名ごとに検出した共起自立語のリストは次のようになる。
【００６８】
富士：今期、売上、発表
宮崎：候補地、発表
【００６９】
このように検出された、個々の固有名に対する共起自立語のリストは、固有名のカテゴリを推定する際の有力な文脈情報となる。
【００７０】
カテゴリ推定部１１０は、固有名ごとに、その固有名の共起自立語のリストを用いて、その固有名が各カテゴリに属する可能性を示す適合度を計算する。この計算では、例えば、カテゴリごとに、各共起自立語のそのカテゴリに対する出現頻度スコアをカテゴリ別出現頻度テーブル１４８から求め、総和する。図示の例の場合、固有名である「富士」及び「宮崎」の、組織名、人名及び地名の各カテゴリへの適合度は次のように計算される。
【００７１】
富士：
組織名：今期（０．３５）＋売上（０．９３）＋発表（４．１３）  ＝  ５．４１
人名：今期（０．３３）＋売上（０）＋発表（０）＝０．３３
地名：今期（０）＋売上（０）＋発表（０）＝０
宮崎：
組織名： 候補地（０）＋発表（４．１３）＝４．１３
人名：候補地（０）＋発表（０）＝０
地名：候補地（５．１０）＋発表（０）＝５．１０
【００７２】
この例では、例えば、固有名「富士」のカテゴリ「組織名」に対する適合度は５．４１、カテゴリ「人名」に対する適合度は０．３３となる。適合度が高いほど、その固有名はそのカテゴリに属する可能性が高いと考えられる。
【００７３】
カテゴリ推定部１１０は、この計算結果に基づき、各固有名について、適合度が最も高いカテゴリをその固有名の属するカテゴリと推定する。したがって、図示の例では、カテゴリ推定部１１０の出力する解析結果３５０では、文１中の固有名「富士」のカテゴリは組織名、文２中の固有名「宮崎」のカテゴリは地名となる。
【００７４】
以上説明したように、本実施形態によれば、辞書等の情報ではカテゴリが確定できない固有名のカテゴリを、その固有名と同一文内に現れる自立語の情報を用いることで、いわば文脈の面から推定することができる。
【００７５】
以上の実施形態では、固有名と同一文内に共起する自立語はすべて同等に取り扱ったが、この代わりに共起自立語に対し、固有名との距離に応じた重み付けを行うことで、推定の精度の向上を図ることも考えられる。すなわち、一般的には、同じく共起する自立語でも、固有名との距離が近いものほどその固有名との関連が強いと考えられる。そこで、関連が強い共起自立語ほど固有名のカテゴリ推定に及ぼす重みを強くするわけである。重み付けのやり方には、カテゴリ別出現頻度テーブル１４８に対して重み付けを反映させるやり方と、カテゴリ推定部１１０での適合度の計算において重み付けを反映させるやり方の２通りが考えられる。もちろん両者を組み合わせることも可能である。
【００７６】
図５に示す例は、カテゴリ別出現頻度テーブル１４８に対して重み付けを反映させる場合の例であり、学習サブシステムでの処理の例を示している。この例は、カテゴリ別出現リスト生成部１０４ａとテーブル生成・更新部１０６ａの処理内容が、図３の構成内の対応要素と一部異なるだけであり、他の部分は図３の構成と同様である。また、図５に例示する学習用文書２００の例は、図３の場合と同じものである。
【００７７】
図５の変形例において、カテゴリ別出現リスト生成部１０４ａは、形態素解析部１０２の出力を集計する際、固有名と同一文内に共起した各自立語に対し、その固有名との距離に応じた重みスコアを求め、カテゴリ別出現リストに登録する。図示の例では、固有名から共起自立語までの間の自立語の数（この数には共起自立語自身を含める）をその固有名と共起自立語との距離とし、その距離の逆数を重みスコアとしている。重みスコアをこのように決めれば、固有名との距離が近いほど、スコアの値は高くなるので、図３の例の出現頻度スコアと同様の扱いが可能となる。なお、距離の逆数を重みスコアとするという求め方はあくまで一例であり、この他の計算式で距離から重みスコアを求めてももちろんよい。
【００７８】
この例において、図示の文１〜文６からなる学習用文書２００からカテゴリ別出現リスト生成部１０４ａが生成するカテゴリ別出現リストは、次のようになる。
【００７９】
組織名：今期（１／１）、売上（１／２）、１０００億（１／３）、達成（１／４）、見込み（１／５）、発表（１／６）、新素材（１／１）、開発（１／２）、成功（１／３）、今期（１／４）、製品（１／５）、採用（１／６）、発表（１／７）、社長（１／２）、今期（１／３）、製品戦略（１／４）、ビジョン（１／５）、示す（１／７）：１８個
人名：歌手（１／１）、道路交通法違反（１／１）、逮捕（１／２）、タレント（１／１）、結婚（１／２）、３年後（１／３）、離婚（１／４）、タレント（１／２）、結婚（１／１）、３年後（１／２）、離婚（１／３）、社長（１／１）、今期（１／２）、製品戦略（１／３）、ビジョン（１／４）、示す（１・５）：１６個
地名：公共機関（１／２）、効率化（１／３） 、図る（１／４） 、狙い（１／５） 、合併（１／６）、公共機関（１／１）、効率化（１／２） 、図る（１／３） 、狙い（１／４） 、合併（１／５） ：１０個
【００８０】
この例では、例えば「今期」は、文１内で、対象となる固有名「ＡＡＡ商事」の隣に位置するので、両者の距離は１となり、重みスコアは１／１となる。
【００８１】
同一文内に固有名が複数含まれる場合は、その文内の各自立語をそれら各固有名に対してそれぞれ別々のものとしてカテゴリ別出現リストに登録する。各自立語についての重みスコアは、それぞれ対象とする固有名との距離から求める。図示の例では、文５には「ＦＦＦ」と「ＧＧＧ」という２つの固有名（カテゴリは共に地名）が含まれているので、文５に出てくる自立語「公共機関」は、固有名「ＦＦＦ」に対して重みスコア１／２で、固有名「ＧＧＧ」に対して重みスコア１／１でカテゴリ別出現リストに登録される。このように、この変形例では図３の例と異なり、１つの自立語を共起する固有名ごとに別々に登録しているので、カテゴリ別出現リストの末尾に登録されるカテゴリ別の総出現数の値が図３の例よりも大きい値となっている。
【００８２】
テーブル生成・更新部１０６ａは、カテゴリ別出現頻度テーブルを作成する際、単に各自立語の出現数をカウントして登録する代わりに、自立語ごとに、その自立語の重みスコアの総和を求め、登録する。例えば、「今期」は、例示の学習用文書からは、組織名と共起するものとして３つ検出され、それらの重みスコアはそれぞれ１／１，１／４，１／３なのでその総和は１．５８となる。そして、出現頻度スコアは、その重みスコアの総和を「カテゴリ別総数」で正規化することで求める。
【００８３】
このように求められたカテゴリ別出現頻度テーブル１４８の例を図６に示す。この例では、テーブル１４８には、各カテゴリと共起する自立語ごとに、「単語：重みスコアの総和：出現頻度スコア」が登録されている。出現頻度スコアとしては、煩雑さを避けるため、実際の値に１００００を掛けた値を表示している。
【００８４】
以上は、カテゴリ別出現頻度テーブル１４８に対して重み付けを反映させるやり方の例であった。次に、解析用サブシステムのカテゴリ推定部１１０での適合度の計算において重み付けを反映させる場合の例について、図７を用いて説明する。
【００８５】
図７の例は、カテゴリ推定部１１０ａの処理内容が図４の構成内の対応要素と一部異なるが、他の部分は図４の構成と同様である。またこの例では、カテゴリ別出現頻度テーブル１４８として、図６の例で求められる「距離」を反映したテーブルを用いているが、この代わりに図４の例と同様「距離」を考慮しないテーブルを用いてもよい。また、図７に例示する解析対象文書３００の例は、図４の場合と同じものである。
【００８６】
この例のカテゴリ推定部１１０ａは、各固有名の各カテゴリに対する適合度を計算する際に、各自立語の出現頻度スコアに対し、固有名との距離に応じた重みを乗じた上で総和する。このときの重みの求め方は、図５の例における重みスコアの場合と同様でよい。したがって、カテゴリ推定部１１０ａでは、次のように各固有名の各カテゴリに対する適合度が計算される。
【００８７】
文１の「富士」：
組織名：今期（６．６６）×１／１＋売上（３．２３）×１／２＋発表（９．０３）×１／３＝１１．２９
人名：今期（７．６４）×１／１＋売上（０）×１／２＋発表（０）×１／３＝７．６４
地名：今期（０）×１／１＋売上（０）×１／２＋発表（０）×１／３＝０
文２の「宮崎」：
組織名： 候補地（０）×１／１＋発表（９．０３）×１／２＝４．０２
人名：候補地（０）×１／１＋発表（０）×１／２＝０
地名：候補地（９３．９３）×１／１＋発表（０）×１／２＝９３．９３
【００８８】
求めた適合度がもっとも高いカテゴリを解析結果として採用する点は上述の例と同様である。
【００８９】
このように、固有名と共起自立語との距離を考慮することで、カテゴリ推定精度の向上を見込むことができる。
【００９０】
以上、本発明の好適な実施の形態とその変形例を説明した。以上に説明した本実施形態及び変形例の固有名カテゴリ推定装置は、例えば、機械翻訳や自然言語ユーザインタフェース等の応用処理のための前処理の１つとして用いることができる。このような前処理としてよく知られているものに形態素解析や構文解析などがあるが、固有名のカテゴリ推定は、形態素解析における単語の品詞確定処理の一部分として利用できる。すなわち、機械翻訳などの対象として解析対象文書が与えられた場合、その中に含まれる多義性のある固有名（該当する可能性のあるカテゴリが複数ある固有名）については、この固有名カテゴリ推定装置により、該当する可能性が最も高いカテゴリを推定し、この情報を後段の応用処理に提供する。
【００９１】
以上では、固有名に共起する単語を見つける対象範囲である「所定の範囲」として、「固有名と同一の文の中」を採用した場合を説明したが、これは一例に過ぎない。この他にも「固有名と同一の段落の中」を「所定の範囲」として採用することもできる。また、文書が段落よりも大きい、例えば節や章などといった論理的な単位まで構造化されている場合は、そのような論理的な単位を「所定の範囲」として採用することもできる。
【００９２】
また、以上では、文書中での固有名と個々の自立語との距離として、その固有名からその自立語に達するまでにある自立語の数を用いたが、これもあくまで一例である。この他に、「固有名と同一文内にある」、「固有名と同一文内ではないが同一段落内にはある」、「固有名と同一段落内にはないが同一節内にはある」等という具合に、文書の論理構造上での関係の近さ（遠さ）を数値化し、これを「距離」として用いてもよい。
【００９３】
また、ところで組織名や人名、地名などの固有名は、日々新たに生成されていくものであり、辞書１４６が常に最新の固有名までカバーすることは事実上困難である。そこで、本実施形態の解析用サブシステムの変形例として、形態素解析部１０２の処理では未知の語（辞書１４６に未登録の語）と判定された語があった場合、これをカテゴリ不明の固有名とみなし、これに対してカテゴリが一意にと規定できない固有名の場合と同様のカテゴリ推定処理を施す処理が考えられる。この変形例によれば、日々新たに生まれる固有名に対しても、カテゴリ推定を行うことができる。
【図面の簡単な説明】
【００９４】
【図１】本発明に係る固有名カテゴリ推定装置が実装されるハードウエア構成の例を示す図である。
【図２】カテゴリ別出現頻度テーブルのデータ内容の例を示す図である。
【図３】学習用サブシステムの構成及び処理を説明するための図である。
【図４】解析用サブシステムの構成及び処理を説明するための図である。
【図５】重み付けをカテゴリ別出現頻度テーブルに反映させる変形例を示す図である。
【図６】重み付けを反映したカテゴリ別出現頻度テーブルのデータ内容の例を示す図である。
【図７】重み付けを適合度の計算に反映させる変形例を示す図である。
【符号の説明】
【００９５】
１０  ＣＰＵ、１２  ＲＡＭ、１４  不揮発性記憶装置、１６  入出力Ｉ／Ｆ、１８  バス、１０２  形態素解析部、１０４  カテゴリ別出現リスト生成部、１０６  テーブル生成・更新部、１０８  共起語検出部、１１０  カテゴリ推定部、１４２  学習用プログラム、１４４  解析用プログラム、１４６  辞書、１４８  カテゴリ別出現頻度テーブル、２００  学習用文書、３００  解析対象文書。
【図１】
2005327107.tif 000003
【図２】
2005327107.tif 000004
【図３】
2005327107.tif 000005
【図４】
2005327107.tif 000006
【図５】
2005327107.tif 000007
【図６】
2005327107.tif 000008
【図７】
2005327107.tif 000009