(57)【要約】【課題】  カタカナ語の固有表現を抽出する。【解決手段】  本発明の代表的な形態は、プロセッサ、メモリ及びインタフェースを備える計算機システムであって、日本語以外の第二言語のテキストを収集し，収集されたテキストから固有表現である可能性が高い単語を抽出し，抽出された第二言語の固有表現候補を読み情報を用いて日本語文字列に変換し，日本語のテキストを収集し，日本語テキスト中に出現するカタカナ語を抽出し，第二言語の固有表現候補単語から変換された日本語文字列と日本語テキストから抽出されたカタカナ文字列の類似性を判定し，類似度が高いカタカナ文字列を固有表現であると判定する。【選択図】  図１
2009003820.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサ、メモリ及びインタフェースを備える計算機システムであって、
日本語以外の第二言語のテキストから、固有表現である可能性が高い固有表現候補単語を抽出し，
抽出された第二言語の固有表現候補を読み情報を用いて日本語文字列に変換し，
日本語のテキストから単語文字列を抽出し，
第二言語の固有表現候補単語から変換された日本語文字列と日本語テキストから抽出された日本語文字列の類似性を判定し，類似度が高いカタカナ文字列を固有表現として出力することを特徴とする計算機システム。
【請求項２】
前記日本語以外の第二言語のテキストを収集する手段と日本語のテキストを収集する手段を備え、
前記収集手段が同時期のテキストを収集する手段を備えることを特徴とする請求項１に記載の計算機システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は計算機システムに関し、特にテキスト中から，人名，地名，組織名などの固有表現を抽出する技術に関する。
【背景技術】
【０００２】
パソコン及びインターネットの普及によって、ユーザがアクセス可能な電子化文書の量が増大している。電子化文書の多くは，テキスト情報であり，テキスト情報をコンピュータによって扱うための情報として，様々な自然言語処理技術が適用されている． 近年，自然言語処理技術の中で，特に重要性を増している技術に固有表現抽出技術がある．固有表現とは，人名，地名，組織名のような固有名詞，あるいは日時，数量等を表す言語表現の総称である．
固有表現は極めて多様性が高く，予め辞書を構築しておくことが困難である。人名に関しては、例えば人名辞書のようなものがあるが、このような辞書を利用したとしても、全ての情報を事前に準備しておくことは困難である。また、「大宮市」と「大宮氏」のように、文脈によって使い分けられる語が存在することが問題をより難しくしている。人間が辞書を作成する場合には、「大宮」という語が、人名と地名の２種類に使用されるという情報までは辞書に格納することまでは可能であっても、どのような場合に２種類のいずれであるかを判定するような情報を含めて辞書に格納することは困難である。
【０００３】
この問題を解決するための固有表現抽出技術が非特許文献１に開示されている。固有表現抽出技術は，人手によって正解が付与されたテキストから固有表現を抽出するための知識を自動学習し，この知識によって未知のテキストから固有表現を抽出する技術である．
【非特許文献１】浅原正幸、松本裕治「日本語固有表現抽出における冗長的な形態素解析の利用」，情報処理学会研究会資料ＮＬ１５３−７，２００３年１月２０日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の固有表現抽出技術において，特に固有表現抽出のための知識を抽出する際には，日本語文書を抽出対象にしている．現在、一定の精度が達成できているものの、実用上はまだ不十分な状況にある。本発明はこのような課題を解決するためになされたものであり、固有表現の中で、特にカタカナ語の固有表現の抽出を高精度に実現するためのものである。漢字は表意文字であり，一個一個の文字が意味を持っている．しかしながら，カタカナはそうではない．例えば、漢字には人名に使用され易い漢字などが知られており、漢字からなる人名は比較的高精度で抽出することが可能である。一方、カタカナ語は，本来日本語の単語ではない語の読みをカタカナで表現しているものであり，単語の特徴を用いて固有表現であるかどうかの判定を行うことが難しい．
【課題を解決するための手段】
【０００５】
本発明の代表的な形態は、プロセッサ、メモリ及びインタフェースを備える計算機システムであって、前記計算機システムは、日本語以外の第二言語のテキストを収集し，収集されたテキストから固有表現である可能性が高い単語を抽出し，抽出された第二言語の固有表現候補を読み情報を用いてカタカナ語文字列に変換し，日本語のテキストを収集し，日本語テキスト中に出現するカタカナ語を抽出し，第二言語の固有表現候補単語から変換された日本語文字列と日本語テキストから抽出されたカタカナ文字列の類似性を判定し，類似度が高いカタカナ文字列を固有表現であると判定することを特徴とする。
【発明の効果】
【０００６】
本発明の代表的な形態によれば、カタカナ語の固有表現辞書を精度良く構築することが可能となる．
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施の形態を、図面を参照して説明する。
【０００８】
図１は、本発明の実施の形態の計算機システムの構成のブロック図である。
【０００９】
固有表現抽出装置は、ＣＰＵ１０１、主メモリ１０２、入出力装置１０３及びディスク装置１１０を備える。
【００１０】
ＣＰＵ１０１は、主メモリ１０２に記憶されるプログラムを実行することによって各種処理を行う。具体的には、ＣＰＵ１０１は、ディスク装置１１０に記憶されるプログラムを、主メモリ１０２上に呼び出して実行する。
【００１１】
主メモリ１０２は、ＣＰＵ１０１によって実行されるプログラム及びＣＰＵ１０１によって必要とされる情報等を記憶する。入出力装置１０３には、ユーザから情報が入力される。また、入出力装置１０３は、ＣＰＵ１０１の指示に応じて、情報を出力する。例えば、入出力装置１０３は、キーボード、マウス及びディスプレイのうち少なくとも一つを含む。
【００１２】
ディスク装置１１０は、各種情報を記憶する。具体的には、ディスク装置１１０は、ＯＳ１１１、固有表現抽出プログラム１１２、英語テキスト１１３、日本語テキスト１１４、英語単語リスト１１５、読み変換辞書１１６及び日本語単語リスト１１７を記憶する。
【００１３】
ＯＳ１１１は、当該検索エンジン検索サーバ１００の処理の全体を制御する。
【００１４】
固有表現抽出プログラム１１２は、英語テキストおよび日本語テキストからカタカナ語の固有表現を抽出する。
【００１５】
英語テキスト１１３は、システムへの入力となる英語のテキストである。
【００１６】
日本語テキスト１１４は、システムへの入力となる日本語のテキストである。
【００１７】
英語単語リスト１１５は、英語テキストから抽出された固有表現候補が格納される。なお、英語単語リスト１１５については、図２で詳細を説明する。
【００１８】
読み変換辞書１１６は、英語単語リスト中の固有表現候補をカタカナ語の読みに変換するために用いられる。なお、読み変換辞書１１６については、図３で詳細を説明する。
【００１９】
日本語単語リスト１１７は、日本語テキストから抽出されたカタカナ語が格納される。なお、日本語単語リスト１１７については、図４で詳細を説明する。
【００２０】
図２は，英語単語リストの説明図である．英語単語リストは，収集された英語テキストを形態素解析し，同じ単語の出現回数を集計して得られる，頻度つきの異なり単語リストである．
図３は，読み変換用辞書の例である．読み変換辞書は，英語の文字列を日本語のカタカナ語の文字列に変換するための辞書である．図中，”ａ”が「ア」，”ｈａ”が「ハ」と読まれるなどの情報が格納されている．
図４は，日本語単語リストの説明図である．日本語単語リストは，収集された日本語テキストを形態素解析し，カタカナ語のみを抽出し、同じ単語の出現回数を集計して得られる，頻度つきの日本語異なり単語リストである．
図５は、本発明の実施の形態の固有表現抽出装置によって実行される固有表現抽出処理のフローチャートである。
【００２１】
まず、英語テキストを読み込み、英語単語リスト作成処理を実行する（Ｓ１１）．英語テキストを形態素解析し、同じ単語をまとめ上げて、頻度をカウントする。その後、固有表現の可能性が高い語のみを固有表現候補として残し、それ以外を削除して英語単語リストとする。固有表現表現候補の判定方法としては、例えば、文頭以外で先頭が大文字であるという規則を用いる。それ以外の方法として、近傍の単語、例えば、“Ｍｒ”の後は人名である、などの情報を用いることもできる。
【００２２】
次に，日本語テキストを読み込み、日本語単語リスト作成処理を実行する（Ｓ１２）．日本語テキストを形態素解析し、同じ単語をまとめ上げて、頻度をカウントする。その後、カタカナ語のみを残し、それ以外を削除して英語単語リストとする。
【００２３】
次に，英語カタカナ読み生成処理を実行する（Ｓ１３）．英語カタカナ読み生成処理は，読み変換用辞書を用い，英語単語をカタカナの文字列に変換する処理である．本ステップの処理の詳細は後述する。
【００２４】
次に，英語カタカナ読み文字列と日本語文書から抽出したカタカナ語文字列を照合し、類似性が高い場合には、当該カタカナ語文字列を固有表現候補として抽出する（Ｓ１４）。文字列間の類似度判定には、例えば、ＤＰマッチングを用いることができる。ＤＰマッチングの詳細については、例えば、小田中他,情報数学,コロナ社,(2000)に記載されているため詳細な説明は省略する。ＤＰマッチングによって、２つの文字列間で一致している文字数、異なる文字数を取得できるため、例えば、一致文字数が４以上で、異なる文字数が２以下などの方法で文字列が類似しているか否かを決定することができる。
【００２５】
以上の処理により、英語テキストから、“Ｗｉｌｌｉａｍ”のような固有表現を抽出し、これを「ウィルリアム」のような誤りを含むカタカナ語の読みに変換し、一方、日本語テキストから「ウィリアム」のようなカタカナ語を抽出し、文字列の比較を行うことによって、「ウィリアム」が固有表現であると判定し、辞書に追加することができるようになる。
【００２６】
以上の説明では、英語テキスト、日本語テキストは既に固有表現抽出装置に格納されていることを想定したが、Ｗｅｂクローラーなどの手段によって収集しても良い。また、収集する際に、ファイルがメタ情報として持つ作成・更新日時や、ファイル中に記述された作成・更新日時を利用して同時期の文書を作成することにより、対応する英日の固有表現を見つけることが更に容易となる。
【００２７】
以下では、英語カタカナ読み生成処理の詳細について説明する。以下では、“Ｗｉｌｌｉａｍ”という英単語のカタカナ読みを生成する場合を例に説明する。
【００２８】
図６は、英語カタカナ読み生成処理に用いる正方行列である。行列の(I,J)要素は、単語中のJ番目の文字からI+J-1番目の文字からなる、部分文字列を表している。例えば、(4,2)要素は、“ｉｌｌｉ”という部分文字列に相当する。(7,1)要素は、元の単語“ｗｉｌｌｉａｍ”全体に相当する。このような行列を用いて、読みを生成する。
【００２９】
まず、読み変換辞書を用いて、初期設定を行う。ここでは、辞書に、図３に示す情報が格納されているものとすると、図７のような結果が得られる。例えば、(1,1)要素である “ｗ”に関しては、「ウ」と読むことが辞書から分かるため、(1,1)要素に「ウ」を追加する。同様に、(2,1)要素である“ｗｉ”に関しては「ウィ」と読むことができるため、(2,1)の位置に「ウィ」という読みを追加する。
【００３０】
次に、辞書を用いて設定された情報を合成することによって、単語全体の読みを生成する。例えば、(2,1)要素には、(1,1)要素の「ウ」と(1,2)要素の「イ」を合成した「ウイ」が可能な読みの候補として追加される。また、(2,2)要素には、(1,2)要素の「イ」と(1,3)要素の「ル」を合成した「イル」が追加される。図８に、合成された読みが追加された状態の行列を示す。
【００３１】
以上の処理を図９のフローチャートを用いて説明する。
【００３２】
Iに初期値として1をセットする（Ｓ１１１）。
【００３３】
Iが最大値以内(行列サイズ)であるかどうかを判定する（Ｓ１１２）。
【００３４】
Jに初期値として1をセットする（Ｓ１１３）。
【００３５】
Jが最大値以内であるかどうかを判定する（Ｓ１１４）。
【００３６】
辞書を参照し、(I,J)要素に相当する文字列の読み情報が辞書に存在すれば、(I,J)要素に読み情報を追加する（Ｓ１１５）。
【００３７】
Kに初期値として1をセットする（Ｓ１１６）。
【００３８】
Kが最大値（I-1）であるかどうかを判定する（Ｓ１１７）。
【００３９】
Mに初期値として1をセットする（Ｓ１１６）。
【００４０】
Mが最大値であるかどうかを判定する（Ｓ１１７）。Mの最大値は、行列の(K,J)要素に格納されている読みの個数である。
【００４１】
Nに初期値として1をセットする（Ｓ１１６）。
【００４２】
Nが最大値（I-1）であるかどうかを判定する（Ｓ１１７）。Nの最大値は、行列の(I-K,J+K)要素に格納されている読みの個数である。
【００４３】
(K,J)要素に含まれている読みの中のM番目の読みと (I-K,J+K)要素に含まれている読みの中のN番目の読みを連結して、(I,J)要素に追加する。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態の計算機システムの構成のブロック図である。
【図２】本発明の実施の形態の固有表現抽出装置に記憶される英語単語リストの説明図である。
【図３】本発明の実施の形態の固有表現抽出装置に記憶される読み変換辞書の説明図である。
【図４】本発明の実施の形態の固有表現抽出装置に記憶される日本語単語リストの説明図である。
【図５】本発明の実施の形態の固有表現抽出装置によって実行される固有表現抽出処理のフローチャートである。
【図６】本発明の実施の形態の固有表現抽出装置に記憶されるカタカナ読み生成処理に利用されるデータの説明図である。
【図７】本発明の実施の形態の固有表現抽出装置に記憶されるカタカナ読み生成処理に利用されるデータの説明図である。
【図８】本発明の実施の形態の固有表現抽出装置に記憶されるカタカナ読み生成処理に利用されるデータの説明図である。
【図９】本発明の実施の形態の固有表現抽出装置によって実行されるカタカナ読み生成処理のフローチャートである。
【符号の説明】
【００４５】
１００  固有表現抽出装置
１０１  ＣＰＵ
１０２  主メモリ
１０３  入出力装置
１１０  ディスク装置
１１１  ＯＳ
１１２  固有表現抽出プログラム
１１３  英語テキスト
１１４  日本語テキスト
１１５  英語単語リスト
１１６  読み変換辞書
１１７  日本語単語リスト。
【図１】
2009003820.tif 000003
【図２】
2009003820.tif 000004
【図３】
2009003820.tif 000005
【図４】
2009003820.tif 000006
【図５】
2009003820.tif 000007
【図６】
2009003820.tif 000008
【図７】
2009003820.tif 000009
【図８】
2009003820.tif 000010
【図９】
2009003820.tif 000011