(57)【要約】【課題】自然言語文を解析する場合、解析に必要となる単語を保持する辞書を必要とするが、１つの辞書に多くの特定分野にしか出てこない単語を登録すると単語数が増加するという課題がある。また、特定分野にしか出てこない単語を別の特定分野辞書として構築した場合、特定分野辞書を利用するか否かは人手で制御せねばならない煩わしさを伴うと共に、話題が頻繁に変わる文章を解析する事は困難であった。【解決手段】本発明では、文章中の単語から文章の話題を自動的に抽出すると共に、抽出した話題より当該分野の特定分野辞書を用いて解析するか否かの制御を自動的に行うことにより、どのような文章に対しても解析精度を向上させる。【選択図】        図１
2004259237.tif 000002
【特許請求の範囲】
【請求項１】
自然言語を解析するシステムであって、
基本的な単語を知識として単語の表記と言語解析に必要となる解析情報を保持する基本辞書と
話題となる分野を定義しその各々の分野に特化した単語の表記と言語解析に必要となる解析情報を保持する複数の特定分野辞書群とを有し、
これら２種類の辞書を連携することで解析精度を向上することを目的とする自然言語における対話を解析するシステム。
【請求項２】
請求項１における基本辞書に登録されている単語において、
表記情報と解析に必要な解析情報を登録するだけでなく、
話題となる分野と関連する単語においては加えて話題認知ポイントを登録することを特徴とする基本辞書。
【請求項３】
自然言語文章中の文を解析するにおいて、
請求項２に示す基本辞書を用いて解析対象となる自然言語文の解析を進めると共に、
請求項２に示す基本辞書に登録された話題認知ポイントを用いて
解析対象となる自然言語文の話題抽出処理を実行することを特徴とする自然言語文の話題抽出解析システム。
【請求項４】
自然言語文章を解析するにおいて、
請求項３に示す自然言語文の話題抽出解析システムが抽出した話題の情報より解析対象となる自然言語文章の話題を文単位の順列として保持し、
話題の連続性、出現頻度、遷移頻度をパラメータとして、
自然言語文章の話題と解析中の文の話題を認知することを特徴とする話題認知システム。
【請求項５】
自然言語文章を解析するにおいて、
請求項４に示す話題認知システムが抽出した話題の情報より
請求項１に示す特定分野辞書群の中から適切な分野に特化した特定分野辞書を選定し、
この選定した特定分野辞書と基本辞書を用いて自然言語文章を解析することにより、
解析精度を向上させることを目的とした自然言語解析における自動話題認知解析システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は機械翻訳システムや文書要約システムなど自然言語文章を解析するにおいてその解析精度の向上を目的としたシステムに適用可能である。また、音声認識システム、文字認識システム、文書校正システムなどにおける自然言語文の誤り訂正アルゴリズムにおいて、正誤入り乱れた文書の訂正を目的としたシステムに適用可能である。
【０００２】
【従来の技術】
従来の自然言語文章を解析するシステムにおいては、解析に必要となる単語の表記と解析に必要な解析情報を保持する辞書を構築し、この辞書を用いて解析を行っていた。その際、解析に必要となる単語は１つの辞書にその全てを登録するのが一般的であった。
【０００３】
また、自然言語文章を解析するシステムにおいて医学分野や機械技術分野など汎用的な用語のほかにその分野以外では利用される可能性が極めて低い当該分野に特化した数多くの専門的な単語を多く含む特定分野の文章を解析する場合においては、一般的な単語を登録している基本辞書と当該分野に特化した単語を登録している特定分野辞書と呼ばれる２種類の辞書を用いて解析を行うことにより解析していた。また複数の特定分野に関連する自然言語文章を解析する際には、該当する複数分野の各々に対する特定分野辞書と基本辞書を用いて解析を行っていた。
【０００４】
【発明が解決しようとする課題】
自然言語文の解析においては、まず入力となる文がどのような単語列で構成されているかを判別する形態素解析処理を行う。形態素解析処理は、辞書に登録された単語の表記と文の文字列を比較する表記照合を行い、文を構成する単語列の候補を抽出し、その後、辞書に登録された単語の解析に必要な解析情報により、単語間の接続性を判定する単語接続判定を行うことで、文がどのような単語列で構成されているかを判別している。この際、特定分野に特化した単語で辞書に登録されていない単語が出現すると、表記照合で既に誤りとなり正しい形態素解析の結果が得られることは無い。そこで、特定分野に特化した自然言語文の解析を行うためには、当該分野に特化した単語をあらかじめ辞書に登録しておかなければ解析精度の向上は望めない。
【０００５】
ところが、１つの辞書に一般的に用いられる基本的な単語と特定分野にしか用いられない特定分野に特化した単語を登録すると、特定分野に特化した自然言語文の解析精度は向上するが、基本的な自然言語文を解析しようとする際にも、特定分野に特化した単語が出現する可能性があり、基本的な自然言語文の解析精度を低減させるという反作用を引き起こしてしまう。
【０００６】
更には、特定分野に特化した単語を追加することで辞書に存在する単語数を増加させると共に、形態素解析処理における表記照合における文を構成する単語列の候補を増加させるので、この２種類の情報を入力として行われる単語接続判定の入力情報数を増加させるため、処理時間が伸張するという問題が生じていた。
【０００７】
これらの問題点は、登録する特定分野の数を増やせば増やすほど顕著に表れるので、１つの辞書に数多くの特定分野に特化した単語を登録すれば、解析精度と解析速度の低減率が高くなるという問題点があった。
【０００８】
更には辞書のメンテナンスを実施する場合においても、単語接続判定の基情報となる単語の解析に必要な解析情報には単語間の２項関係や３項関係などの登録が必要な場合もあり、１つの辞書に多くの単語が出現する場合、２項関係や３項関係などの登録が必要な単語の組み合わせも増加するという問題点も生じていた。
【０００９】
一般的な単語を登録している基本辞書と当該分野に特化した単語を登録している特定分野辞書と呼ばれる２種類の辞書を用いて解析を進める場合であるが、この場合、特定分野辞書を使うか否か、特定分野辞書を使う場合においてもどの特定分野辞書を使うかを自動的に判別することはなく、当該システムを利用する人が指定しなければならなかった。そのため、当該システムを利用する人が指定するのを忘れた場合や、正しい指定を行わなかった場合には、著しく解析精度が低下するという問題点が生じていた。
【００１０】
また、ある特定分野に対して記載されている文書においても、文書中には一般的な記載されている部分や、比喩表現などで記載されその部分については異なる分野の単語が多々使用される部分なども存在する場合もあり、一概に特定分野に対して記載されている文書に対して、当該分野の特定分野辞書を用いて解析を行っても解析精度が向上する訳ではない。そのため、文章中の各部分に対して適切な特定分野辞書を用いれば解析精度を向上させることは可能であるが、その都度特定分野辞書を切り替えることは面倒な作業であり、実質的には困難であった。
【００１１】
また、人間の会話を解析する場合などにおいては、一般的にその話題は特定の分野だけで収まらず刻々と変化していく。このようにリアルタイムで処理を実施しなければならない場合には、複数の特定分野辞書をその都度切り替えることは不可能であった。
【００１２】
【課題を解決するための手段】「特許請求の範囲と同じ」
上記課題を解決するために、本発明では、
自然言語を解析するシステムであって、自然言語を解析するシステムに係わる第１の手段として、基本的な単語を知識として単語の表記と解析に必要な解析情報を保持する基本辞書と話題となる分野を定義しその各々の分野に特化した単語の表記と解析に必要な単語の解析情報を保持する複数の特定分野辞書群とを有し、これら２種類の辞書を連携することで解析精度を向上することを目的とする自然言語における対話を解析する手段を採用する。
【００１３】
自然言語を解析するシステムに係わる第２の手段として、上記第１の手段における基本辞書に登録されている単語において、表記情報と解析に必要な解析情報を登録するだけでなく、話題となる分野と関連する単語においては加えて話題認知ポイントを登録することを特徴とする基本辞書を構築する手段を採用する。
【００１４】
自然言語を解析するシステムに係わる第３の手段として、自然言語文章中の文を解析するにおいて、上記第２の手段に示す基本辞書を用いて解析対象となる自然言語文の解析を進めると共に、上記第２の手段に示す基本辞書に登録された話題認知ポイントを用いて解析対象となる自然言語文の話題抽出処理を実行することを特徴とする自然言語文の話題抽出解析システムを採用する。
【００１５】
自然言語を解析するシステムに係わる第４の手段として、自然言語文章を解析するにおいて、上記第３の手段に示す自然言語文の話題抽出解析システムが抽出した話題の情報より解析対象となる自然言語文章の話題を文単位の順列として保持し、話題の連続性、出現頻度、遷移頻度をパラメータとして、自然言語文章の話題と解析中の文の話題を認知することを特徴とする話題認知システムを採用する。
【００１６】
自然言語を解析するシステムに係わる第５の手段として、自然言語文章を解析するにおいて、上記第４の手段に示す話題認知システムが抽出した話題の情報より、上記第１の手段に示す特定分野辞書群の中から適切な分野に特化した特定分野辞書を選定し、この選定した特定分野辞書と基本辞書を用いて自然言語文章を解析することにより、解析精度を向上させることを目的とした自然言語解析における自動話題認知解析システムを採用する。
【００１７】
【発明の実施の形態】
以下、図面を参照して、本発明に係わる自然言語解析における自動話題認知解析システムの一実施形態について説明する。なお本実施形態は、入力文章の文字列がどのような単語列で構成されているかを判別する形態素解析において自動話題認知解析システムを適用し実行する処理を行うものである。
【００１８】
図１は、本発明の実施形態のシステム構成図である。まず、入力文字列１となるのは自然言語文の文字列を形態素解析プログラム２が読み込む。形態素解析プログラム２では、形態素解析辞書３を参照しつつ、入力文字列１が構成する単語列の候補を絞り込み、最終的な出力となる出力単語列４を作成する。本発明では、この処理において話題分野認知手段３を介する事で解析精度を向上させ出力単語列４の正解率の向上を目指すものである。
【００１９】
形態素解析プログラム２内の処理であるが、まず表記照合手段２１により、入力文字列１の単語列候補２２を作成する。このとき表記照合手段２１では形態素解析辞書４中の基本辞書４１のみを用いて表記の照合処理を行う。
【００２０】
作成された単語列候補２２は、次に単語接続判定手段２３により、どの候補が最も接続性が良いかを判定する。この際の出力方法であるが、最も接続性が良いものを１つに絞り込む場合と、接続性が良い順に複数の結果を出力するものがあるが、本実施形態では接続性が良い順に複数の結果を出力するものであり、順位付単語列候補２４を出力する。単語接続判定手段２３における接続性の判断であるが、形態素解析辞書４中の基本辞書４１に登録されている解析に必要な単語の解析情報、具体的には品詞情報などを用いて接続性を判断する。
【００２１】
本発明では単語接続判定手段２３における処理において接続性を判断するだけでなく、順位付単語列候補２４中の単語で形態素解析辞書４中の基本辞書４１に登録されている話題認知ポイントが付加されている単語に対しては、その話題認知ポイントも付加した形式で出力する。
【００２２】
話題分野認知手段３においては、話題抽出手段３１で順位付単語列候補２４に付加された話題認知ポイントを下に、当該解析対象となっている入力文字列１がどのような分野の話題であるかを断定し、話題列情報３２へ登録する。
【００２３】
話題列情報３２は、現在処理している入力文字列１に対して話題抽出手段３１が抽出した話題だけでなく、直前のいくつかの入力文字列１に対する話題も保持する。
【００２４】
話題認知手段３３では、話題列情報３２に保持された話題情報の履歴列より総合的に、現在解析の対象となっている入力文字列１が何を話題とした文であるかを認知する。そして、認知した結果を辞書制御手段３４を用いて形態素解析辞書４における特定分野辞書４２内の該当する分野の辞書を稼動状態にすると共に、形態素解析プログラム２中の表記照合手段２１および単語接続判定手段２３に対しても基本辞書４１および該当する分野の特定分野辞書４２を用いて解析を実行するように制御を行う。
【００２５】
そして、入力文字列１に対して、基本辞書４１および該当する分野の特定分野
辞書４２を用いて、
【００１９】より
【００２０】において記載と同様の解析処理を実行する。以上の処理で求められた住専順位付単語列候補２４より、最適解判定手段２５により１つの解へ絞り込み、入力文字列１が構成される単語列の解として出力単語列５を出力する。
【００２６】
【実施例】
以下、図面を参照して、本発明に係わる自然言語解析における自動話題認知解析システムの実施例を、上記の一実施形態に示す形態素解析における自動話題認知解析システムを例に入力文字列１を具体化して説明する。
【００２７】
図２は、入力文字列「ＪＲのならゆきやまとごうにのる」１１であった場合を例に、上記の一実施形態に示す形態素解析における自動話題認知解析システムによる処理で、入力文字列１１がどのように解析されかを、そのデータ遷移により示した図である。
【００２８】
４１１は基本辞書中に登録されている単語中の当該入力文字列１１の解析に関連する単語の一部分を抜粋しその登録内容を示したものである。４２１は鉄道分野の特定分野辞書に登録されている単語中の当該入力文字列１１の解析に関連する単語の一部分を抜粋しその登録内容を示したものである。なお基本辞書４１１および特定分野辞書４２１に登録された情報は、単語は表記と品詞および付加情報として丸括弧“（）”で示す当該単語の漢字列、ブラケット、“＜＞”で示す当該単語が関連する特定分野である。
【００２９】
入力文字列「ＪＲのならゆきやまとごうにのる」１１は、形態素解析辞書４中の基本辞書４１のみを用いて、形態素解析プログラム２中の表記照合手段２１および単語接続判定手段２３によって、順位付単語列候補２４１を得る。なお、順位付単語列候補２４１内のスラッシュ“／”が単語区切りを表す。
【００３０】
ここで、順位付単語列候補２４１中の全ての単語列候補が「ＪＲ」という鉄道分野と関連する単語を含むため、話題分野認知手段３では、この文が鉄道分野に関連する文書であると判断する。そして形態素解析プログラム２では、入力文字列「ＪＲのならゆきやまとごうにのる」１１に対して、基本辞書４１と鉄道分野の特定分野辞書４２１を用いて再度解析処理を行い、鉄道分野の特定分野辞書４２１中に登録されている単語である列車の行き先を示す形容詞となる“ならゆき（奈良行）”や列車名である“やまとごう（大和号）”という単語を適用し、順位付単語列候補２４２を得る。
以上、本発明の自動話題認知解析システムによって、１つの文を解析する場合でも、その解析結果は、基本辞書４１のみを用いた場合の結果である順位付単語列候補２４１に対して、基本辞書４１と鉄道分野の特定分野辞書４２１を用いた場合の結果である順位付単語列候補２４２となり、その解析精度が明らかに向上することを示した。
【００３１】
以上のように、解析対象となる文に特定分野を示す単語が含まれている場合は、本発明の自動話題認知解析システムはその性能を顕著に表すが、全ての解析対象となる文に特定分野を示す単語が含まれるとは限らない。以下では、解析対象となる文に特定分野を示す単語が含まれない場合の処理について一例をあげて説明する。
【００３２】
日本語を解析する場合、特定のことに対して記載された文章の単位で解析を行うのが一般的である。そのため、文章が対象としている分野を特定できれば、解析対象となる文中に特定分野を示す単語が含まれなくても、文章が対象としている分野の情報を用いることで、本発明の自動話題認知解析システムでは、その解析精度を向上させることが可能である。
図３は文章単位で形態素解析処理を行うシステムに、本発明の自動話題認知解析システムを適用した場合のシステム構成の一例の概要を示した図である。形態素解析プログラム２の構成や形態素解析辞書４の構成は、図１に示すものと同様なので省略する。
【００３３】
文章に対して本発明の自動話題認知解析システムを適用する場合、入力文章６は文分割抽出手段７を用いて、先頭の文から１文づつ切り出し、その１文を入力文字列１として形態素解析プログラム２の入力とする。形態素解析プログラム２における処理は、前述の処理と同様で、順位付単語列候補２４を生成する。ここで、話題分野認知手段３では話題抽出手段３１により入力文字列１の話題を抽出し話題列情報３２に格納する。以上の処理を、入力文章６中の文に対して、順次繰り返せば、話題列情報３２には入力文章６の話題の遷移が格納されるため、当該処理対象となっている入力文字列１中に話題を特定する単語が存在しなくても、話題認知手段３３において話題を推論することが可能となる。
【００３４】
図４には、４つの文から構成された入力文章６１を例として、文章単位で本発明の自動話題認知解析システムを適用する場合の例を示す。まず入力文章６１中の第１文の処理では、“ＪＲ”という単語により特定分野としての＜鉄道＞が抽出されると共に、“紀行”という単語より特定分野としての＜旅行＞が抽出される。第２文では、特定分野を表す単語はなく、第３文で、“法隆寺”という単語より特定分野としての＜旅行＞が抽出され、この文章の話題列情報３２１が格納される。
【００３５】
ここで第４文を処理する際、第４文自体には特定分野を表す単語はないが、話題認知手段３２では、第３文までの話題の遷移より第４文の話題を推論する。その推論の過程であるが、第１文で、特定分野として＜鉄道＞＜旅行＞が抽出されているので、＜鉄道＞と＜旅行＞は関係性の深い分野と認知する。そして第３文で＜旅行＞の分野が抽出していることから、この文章は引続き＜鉄道＞と＜旅行＞の話題が続いているものと判断する。そこで第４文を処理する際にも話題認知手段３２では＜鉄道＞と＜旅行＞の特定分野辞書を適用することを判断する。そして鉄道の専門分野辞書に登録されている単語“大和号”を用いて、第４文の解析結果の精度向上がなされる。
【００３６】
【発明の効果】
以上のように、本発明の自然言語解析における自動話題認知解析システムを用いれば、自然言語文の解析においてその文章または文がどの分野を話題としているかを認識し、その分野の分野専門辞書を用いるか否かを自動的に判断することが可能となり、ユーザに専門用語辞書の選択という煩わしい作業を強要することもなく、更には話題が頻繁に変化する人間の対話などの自然言語文の解析に対しても精度を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明の自然言語解析における自動話題認知解析システムを形態素解析に適用した場合のシステム構成の一例を示した図である。
【図２】図１に示す本発明の自然言語解析における自動話題認知解析システムを形態素解析に適用した場合のデータの遷移の一例を示した図である。
【図３】本発明の自然言語解析における自動話題認知解析システムを文章を解析対象とする形態素解析に適用した場合のシステム構成の一例を示した図である。
【図４】図３に示す本発明の自然言語解析における自動話題認知解析システムを文章を解析対象とする形態素解析に適用した場合のデータの遷移の一例を示した図である。
【符号の説明】
１      入力文字列
１１    入力文字列の一例
２      形態素解析プログラム
２１    表記照合手段
２２    単語列候補
２３    単語接続判定手段
２４    順位付単語列候補
２４１  順位付単語列候補の一例
２４２  順位付単語列候補の一例
２５    最適解判定手段
３      話題分野認知手段
３１    話題抽出手段
３２    話題列情報
３２１  話題列情報の一例
３３    話題認知手段
３４    辞書制御手段
４      形態素解析辞書
４１    基本辞書
４１１  基本辞書の一例
４２    特定分野辞書
４２１  特定分野辞書の一例
５      出力単語列
６      入力文章
６１    入力文章の一例
７      文分割抽出手段
【図１】
2004259237.tif 000003
【図２】
2004259237.tif 000004
【図３】
2004259237.tif 000005
【図４】
2004259237.tif 000006