(57)【要約】【課題】自然言語処理において文情報の中心となる述部を、その意味を出来るだけ変えずに最も単純な形に変換すること。【解決手段】形態素解析部２で解析され、述部抽出部３で抽出された入力文の述部に対応する形態素毎の単語情報に対し、意味ラベル付与部４において、述部の意味に影響を与える機能表現の意味を表す意味ラベルと、各意味ラベルに対応する機能表現のリストとを少なくとも組み合わせてなる機能表現意味ラベル辞書１を用いて、機能表現を構成する機能語列の単語情報に意味ラベルを付与し、当該意味ラベルに従ってＮＵＬＬ削除部５及び冗長ルール適用部６において述部の意味に影響を与えない機能語及び冗長な機能語を削除し、活用生成部７で残りの入力文の述部に対応する形態素毎の単語情報に基づき、入力文の述部を生成する。【選択図】図３
2011145844.tif 000002
【特許請求の範囲】
【請求項１】
内容語と、これに後続する文字列であって機能語を１または２以上含む文字列からなる機能表現との組み合わせで構成される入力文の述部を、当該述部自体の意味を変えずに単純な形に変換する方法であって、
形態素解析部が、入力文に対し、形態素解析処理を行い、形態素毎の単語情報を出力するステップと、
述部抽出部が、前記入力文の形態素毎の単語情報のうち、内容語とこれに後続する機能表現に対応する形態素毎の単語情報を入力文の述部として抽出するステップと、
意味ラベル付与部が、述部の意味に影響を与える機能表現の意味を表す意味ラベルと、各意味ラベルに対応する機能表現のリストとを少なくとも組み合わせてなる機能表現意味ラベル辞書を用いて、入力文の述部に対応する形態素毎の単語情報のうち、機能表現を構成する機能語列の単語情報に意味ラベルを付与するステップと、
機能語削除部が、前記意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、当該述部の意味に影響を与えない機能語及び冗長な機能語の単語情報を削除するステップと、
活用生成部が、前記述部の意味に影響を与えない機能語及び冗長な機能語を削除した後の入力文の述部に対応する形態素毎の単語情報に基づき、入力文の述部を生成するステップとを含む
ことを特徴とする述部機能表現正規化方法。
【請求項２】
機能語削除ステップは、
ＮＵＬＬ削除部が、意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、意味ラベルが付与されなかった機能語の単語情報を削除するステップと、
冗長ルール適用部が、一つの述部に対応する機能表現が同じ意味ラベルの機能語を複数含む場合にそれらの機能語をどのように保持すべきかを表した意味ラベル毎の冗長ルールを用いて、意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、前記冗長ルールによって除外される機能語の単語情報を削除するステップとからなる
ことを特徴とする請求項１に記載の述部機能表現正規化方法。
【請求項３】
述部の意味に影響を与える機能表現の意味を表す意味ラベルとして、述部が表す出来事の時制を特徴付ける意味ラベル、述部が表す出来事の否定または肯定を区別するための意味ラベル及び述部が表す出来事に話者の主観が含まれているか否かを区別するための意味ラベルを用いる
ことを特徴とする請求項１または２に記載の述部機能表現正規化方法。
【請求項４】
内容語と、これに後続する文字列であって機能語を１または２以上含む文字列からなる機能表現との組み合わせで構成される入力文の述部を、当該述部自体の意味を変えずに単純な形に変換する装置であって、
述部の意味に影響を与える機能表現の意味を表す意味ラベルと、各意味ラベルに対応する機能表現のリストとを少なくとも組み合わせてなる機能表現意味ラベル辞書と、
入力文に対し、形態素解析処理を行い、形態素毎の単語情報を出力する形態素解析部と、
前記入力文の形態素毎の単語情報のうち、内容語とこれに後続する機能表現に対応する形態素毎の単語情報を入力文の述部として抽出する述部抽出部と、
機能表現意味ラベル辞書を用いて、入力文の述部に対応する形態素毎の単語情報のうち、機能表現を構成する機能語列の単語情報に意味ラベルを付与する意味ラベル付与部と、
前記意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、当該述部の意味に影響を与えない機能語及び冗長な機能語の単語情報を削除する機能語削除部と、
前記述部の意味に影響を与えない機能語及び冗長な機能語を削除した後の入力文の述部に対応する形態素毎の単語情報に基づき、入力文の述部を生成する活用生成部とを具備した
ことを特徴とする述部機能表現正規化装置。
【請求項５】
機能語削除部は、
意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、意味ラベルが付与されなかった機能語の単語情報を削除するＮＵＬＬ削除部と、
一つの述部に対応する機能表現が同じ意味ラベルの機能語を複数含む場合にそれらの機能語をどのように保持すべきかを表した意味ラベル毎の冗長ルールを用いて、意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、前記冗長ルールによって除外される機能語の単語情報を削除する冗長ルール適用部とからなる
ことを特徴とする請求項４に記載の述部機能表現正規化装置。
【請求項６】
述部の意味に影響を与える機能表現の意味を表す意味ラベルとして、述部が表す出来事の時制を特徴付ける意味ラベル、述部が表す出来事の否定または肯定を区別するための意味ラベル及び述部が表す出来事に話者の主観が含まれているか否かを区別するための意味ラベルを用いる
ことを特徴とする請求項４または５に記載の述部機能表現正規化装置。
【請求項７】
コンピュータを、請求項４乃至６のいずれかに記載の装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然言語処理において文情報の中心となる述部を正規化する、即ち述部自体の意味を出来るだけ変えずに最も単純な形に変換する技術に関するものである。
【背景技術】
【０００２】
＜タスクの説明＞
議事録やアンケート、ｗｅｂ上のテキストなど膨大な文書から有益な情報を得るためには、対象文書から「誰がどこで何をどうした？」という情報を自動で抽出及び集計することが必須である。この技術はテキストマイニングと呼ばれる。このテキストマイニングにおいて、「誰」、「どこ」、「何」といった特定の名前を抽出するのと異なり、「どうした」に当たる「述部」を抽出し、集計することは困難である。その原因は、述部が単純に単語一語で表わされないためである。
【０００３】
例えば、「パソコンが壊れちゃったよ。」という文があった場合、「どうした」に当たる「壊れちゃったよ」は動詞「壊れ（る）」と、助動詞「ちゃっ」「た」及び終助詞「よ」との組み合わせで構成されている。このように、「どうした」の意味を表す述部は、動詞、名詞、形容詞、形容動詞、副詞といった「内容語」と、助詞、助動詞などの「機能語」との組み合わせで成り立っている。前記「パソコンが壊れちゃったよ。」という文を「内容語」及び「機能語」で区分けすると、
壊れちゃったよ＝壊れ(る)[内容語]＋ちゃっ[機能語]＋た[機能語]＋よ[機能語]  (1)
となる。
【０００４】
述部の表層形（表記）が異なる大きな原因の一つが、この述部における「機能語」の存在である。述部「壊れちゃった」の「ちゃった」や述部「壊れてしまいました」の「てしまいました」は、複数の機能語の列（以下、本発明では１または２以上の機能語からなる文字列を「機能表現」と呼ぶ。）で構成されており、文体やスタイル（敬語や口語）などにより大きく異なる。従って、同じ「壊れた」という意味の述部でも、「壊れちゃった」「壊れてしまった」「壊れてしまいました」など様々な言い方で表現され、「同じ意味をまとめる」というマイニングの障害になる。
【０００５】
しかし、これらの「機能表現」は、一方で違う意味を区別するための重要な手がかりとなる。例えば、「壊れちゃった」は「壊れてしまいました」と同じことを表しているが、「壊れてない」とは異なることを表している。同じ動詞「壊れる」を用いても、機能表現「ちゃった」がつく場合と、「てない」がつく場合とでは、全く逆の意味を表すことになる。これを「内容語」及び「機能表現」で示すと、
壊れ(る)[内容語]＋ちゃった[機能表現]≠壊れ(る)[内容語]＋てない[機能表現]  (2)
となる。
【０００６】
このように、機能表現は述部を同じ意味でまとめる時の障害になるが、一方で違う意味の述部を区別する際の重要な手がかりになる。つまり、述部を抽出及び集計するようなテキストマイニングの精度を上げるためには、「表層形は異なるが同じ意味の機能表現」はまとめ、「述部の意味を区別するのに必要な機能表現」は残したままとする述部の正規化が必要である。
【０００７】
＜従来技術１＞
テキストから「どうした」に当たる述部を抽出及び集計するマイニング手法として、非特許文献１に開示されたものが挙げられる。非特許文献１は、ブログから「状況」、「行動」及び「主観」という３つの情報を自動で抽出及び集計する技術を提案している。そして「どうした」に当たる述部の抽出は「行動」抽出の一部として組み込まれている。
【０００８】
しかし、非特許文献１の手法では、文を形態素解析し、そこから動詞の標準形のみを述部の正規形として抽出しているため、「壊れた」「壊れない」「壊れそう」など、機能表現によって異なる意味を表す述部も全て「壊れる」として抽出されてしまう。そのため、テキストマイニングの精度の低下を引き起こす。図１に非特許文献１の手法による述部抽出結果の一例を示す。「／」は機能語の形態素（単語）単位の区切りを示す。
【０００９】
＜従来技術２＞
機能表現を含めた述部正規化のもう一つの手法として、非特許文献２に開示されたものが挙げられる。非特許文献２は、文節の機能表現を、１対１もしくは１対Ｎの機能表現に対応付けて、機能表現の言い換えを行う。例えば「壊れ/ちゃっ/た」といった述部が入力された場合、「壊れ/てしまっ/た」のように「ちゃっ」→「てしまっ」といった１対１の言い換えを行う。このように機能表現の言い換え候補を出力していくことで、言い換え先となった出力は全て「同じ意味」としてまとめることが可能である。
【００１０】
しかし、非特許文献２では機能語が１対１もしくは１対Ｎ対応で正確に言い換えられるため、マイニングに必要な同じ出来事を表している述部を「まとめる」という述部正規化の粒度としては細かすぎる。非特許文献２では１対Ｎ対応の言い換えも行うが、それは言い換え後の文法的接続関係を保持するために要素を追加するものであり、「要は何を言っているのか？」と単純化するための言い換えではない。図２に非特許文献２の手法で言い換えられた場合の出力結果の一例を示す。
【００１１】
図２の場合、入力された述部は全て「壊れた」という「何かが壊れた出来事」を表しているが、非特許文献２の手法だとテキストマイニングに不必要な機能語まで正確に言い換えられるため、述部が一つにまとまらない。これは、終助詞の「よ」や、過去の時制が重複している「てしまっ［完了］」「た［完了］」が全て保持された状態の言い換えがなされているからである。テキストマイニング等で必要な正規化は、「同じ出来事を表しているか否か」に関係している機能表現のみを残した最も単純な正規化であり、非特許文献２の手法だと、粒度が細かすぎるため、マイニングの再現率（即ち、同じ意味のものをまとめる率）の低下を引き起こす。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】倉島健・藤村考・奥田英範「大規模テキストからの経験マイニング」電子情報通信学会第１９回データ工学ワークショップ論文集、DEWS2008 A1-4、2008年、pp.301-310
【非特許文献２】松吉俊・佐藤理史「文体と難易度を制御可能な日本語機能表現の言い換え」自然言語処理、Vol.15、No.2、2008年、pp.75-99
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述したように、従来の技術では述部の抽出及び集計に次のような問題があった。
【００１４】
１．機能表現を無視した動詞のみの抽出だと、異なる意味の述部まで「同じ」として抽出されるため、テキストマイニングの精度を低下させる（従来技術１）。
【００１５】
２．全ての機能表現を考慮した述部の言い換えだと、「同じ出来事」を表している述部でも、テキストマイニングに不必要な機能表現まで保持されるために、再現率を低下させる（従来技術２）。
【課題を解決するための手段】
【００１６】
述部の抽出及び集計のための述部正規化における２つの問題点を解決するため、本発明では以下の方法をとる。
【００１７】
ａ．述部の意味に直接影響を与える機能表現の意味を３つの指標を用いて表し、その指標をもとに機能表現意味ラベル（以下、単に「意味ラベル」と称す。）を作成する。
【００１８】
ｂ．意味ラベルに機能語列のリストを対応付けて機能表現意味ラベル辞書とし、述部内の機能表現を構成する機能語のうち、辞書のエントリーと適合した機能語に意味ラベルを付与する。
【００１９】
ｃ．意味ラベルが付与されなかった機能語を削除する。
【００２０】
ｄ．意味ラベルが付与された機能語に冗長性がある場合、所定の冗長ルールに沿って機能語を削除する。
【００２１】
このような方法をとることで、述部の意味に影響を及ぼす機能表現を保持しつつ、最も単純な形へと機能表現を正規化することができる。その結果、テキストマイニングなどにおける述部抽出及び集計の精度と再現率をともに向上させることができる。
【発明の効果】
【００２２】
本発明によれば、
述部の機能表現に対し、意味ラベルをもとに述部の意味に影響を与えない機能語及び冗長な機能語を削除し、述部を単純化させる。その結果、述部の表層形が異なる原因となる機能表現を最も単純な形に正規化することができ、述部の集計等を行うテキストマイニングの再現率を向上させることができる。
【００２３】
また、３つの指標をもとに機能表現に意味ラベルをつけるため、「壊れた」と「壊れてない」のように、機能表現によって表す出来事の意味が変わってしまう述部を区別することができる。その結果、マイニング等の同じ意味をまとめる集計の精度を向上させることができる。
【００２４】
最も単純な機能表現を選択し、述部を生成するため、マイニングの他、テキスト要約技術などの他の自然言語を扱うアプリケーションでも幅広く使用することができる。
【図面の簡単な説明】
【００２５】
【図１】従来技術１による述部抽出結果の一例を示す説明図
【図２】従来技術２による言い換え結果の一例を示す説明図
【図３】本発明の述部機能表現正規化装置の実施の形態の一例を示す構成図
【図４】機能表現意味ラベル辞書の一例を示す説明図
【図５】図３の述部機能表現正規化装置における処理の流れ図
【図６】形態素解析結果の一例を示す説明図
【図７】述部抽出結果の一例を示す説明図
【図８】意味ラベル付与結果の一例を示す説明図
【図９】ＮＵＬＬ削除結果の一例を示す説明図
【図１０】冗長ラベル削除結果の一例を示す説明図
【図１１】形態素解析結果の他の例を示す説明図
【図１２】述部抽出結果の他の例を示す説明図
【図１３】意味ラベル付与結果の他の例を示す説明図
【図１４】ＮＵＬＬ削除結果の他の例を示す説明図
【図１５】冗長ラベル削除結果の他の例を示す説明図
【発明を実施するための形態】
【００２６】
本発明は、表層形は異なるが同じ出来事を表す述部を同じ表層形に正規化することを目的としている。そのため、述部によって表される出来事の意味に直接影響を与える機能表現のみを残した正規化を行う。どの機能表現が述部の意味に影響を与えているか否かを判断する手法として、本発明では、以下に説明する指標に沿って予め作成された機能表現意味ラベル辞書を参照し、述部の意味に影響を与える機能表現にのみ意味ラベルを付与し、その意味ラベルを手がかりに述部全体を正規化する手法をとる。以下、本発明を図示の実施の形態により詳細に説明する。
【００２７】
図３は本発明の述部機能表現正規化装置の実施の形態の一例を示すもので、図中、１は機能表現意味ラベル辞書、２は形態素解析部、３は述部抽出部、４は意味ラベル付与部、５はＮＵＬＬ削除部、６は冗長ルール適用部、７は活用生成部である。
【００２８】
なお、通常、本装置に入力されるのは複数の文を含む文書であるが、各部での処理は個々の文単位に行われるため、以下の説明では一つの文が入力されたものとして記述する。
【００２９】
機能表現意味ラベル辞書１は、述部の意味に影響を与える機能表現の意味を表す意味ラベルと、各意味ラベルに対応する機能表現の標準形による文字列のリストと、一つの述部に対応する機能表現が同じ意味ラベルの機能語を複数含む場合にそれらの機能語をどのように保持すべきかを表した意味ラベル毎の冗長ルールとを組み合わせてなるもので、その一例を図４に示す。
【００３０】
機能表現意味ラベル辞書１は、次の通りに作成する。
【００３１】
第一に、下記（Ａ）〜（Ｃ）の指標に沿って意味ラベルを作成し、各意味ラベルに対応する機能表現の標準形による文字列のリストを付与する。この指標に沿って意味ラベルを作成することで、「述部の意味に直接影響を与える機能表現」にのみ、意味ラベルを付与することが可能となる。
（Ａ）時制の差異：述部が表す出来事の時制を特徴付ける意味ラベルが入っており、「過去」、「非過去」などの違いを区別できる。
（Ｂ）否定の差異：述部が表す出来事の否定または肯定を区別するための意味ラベルが入っており、「否定」、「肯定」などの違いを区別できる。
（Ｃ）モダリティの差異：述部が表す出来事に話者の主観（即ち、モダリティ表現）が含まれているか否かを区別するための意味ラベルが入っており、「主観」、「客観」などの違いを区別できる。
【００３２】
本実施の形態では、機能表現の標準形に対して、（Ａ）〜（Ｃ）を満たす意味ラベルとして意味ラベル１２種を付与した。即ち、１２種の意味ラベルとして、（Ａ）を満たすものとして「完了」の意味ラベル（即ち、このラベルが付与されたものが「過去」、されないものが「非過去」）、（Ｂ）を満たすものとして「否定」の意味ラベル（即ち、このラベルが付与されたものが「否定」、されないものが「肯定」）、（Ｃ）を満たすものとして「疑問」「勧誘・意志」「願望」「依頼」「勧め」「必要」「許可」「推量」「可能」の意味ラベル（即ち、このラベルが付与されたものが「主観」、されないものが「客観」）、をエントリーとして用意した（なお、「勧誘・意志」を２種類としてカウントしている。）。
【００３３】
この意味ラベルの種類の数については、アプリケーションに依存する。例えば、意味ラベル「推量」に対応する機能表現「かもしれない」「だろう」「ようだ」等を、それらの「確信度」に応じて詳細に区別したい場合は「推量１」「推量２」「推量３」等といった異なる意味ラベルを作成して付与するようにしても良い。
【００３４】
第二に、一つの述部に対応する機能表現が同じ意味ラベルの機能語を複数含む場合にそれらの機能語をどのように保持すべきかを表した冗長ルールを意味ラベル毎に記載する。この冗長ルールは「同一述部内に同じ意味を表す機能語が複数存在する場合、基本的に、そのうちの一つのみ残すことで当該述部が表す意味を保持できる」という本発明の知見に基づくものである。
【００３５】
本実施の形態では、冗長ルールとして「同一述部内に同じ意味ラベルの機能語が複数存在した際に残すべき意味ラベルの位置を表したもの」を使用する。即ち、冗長ルール「First」は同一意味ラベルの機能語のうち述部の一番最初に出てきた機能語を残すことを表し、冗長ルール「Last」は同一意味ラベルの機能語のうち述部の一番最後に現れた機能語を残すことを表している。但し、このルールは意味ラベル「否定」の場合には「If(even), Delete All  If(odd), First（奇数の場合は同一意味ラベルの機能語のうち述部の一番最初に出てきた機能語を残し、偶数の場合は全て削除する）」というルールに変わる。また、「First」「Last」の冗長ルールに例外が生じる場合は、例外ルールを付与する。図４では、意味ラベル「完了」の冗長ルールに「Last」の他、「If(same surfs), First（表層形が同じ時は最初の機能語を残す）」という例外ルールを加える。
【００３６】
なお、図４中の指標「時制の差異」、「否定の差異」、「モダリティの差異」は説明の便宜上記載したものであって、実際の機能表現意味ラベル辞書１において含める必要があるものではない。また、冗長ルールについては機能表現意味ラベル辞書１に含めず、単独のテーブルとして構成しても良い。
【００３７】
形態素解析部２は、図示しないキーボード等から直接入力され又は記憶媒体から読み出されて入力され又は通信媒体を介して他の装置等から入力された入力文に対し、周知の形態素解析処理を行い、形態素毎の表記、読み、標準形、品詞、活用型、活用形等の単語情報を述部抽出部３へ出力する。
【００３８】
述部抽出部３は、形態素解析部２から出力された入力文の形態素毎の単語情報のうち、内容語とこれに後続する機能表現に対応する形態素毎の単語情報を入力文の述部として抽出し、意味ラベル付与部４へ出力する。
【００３９】
意味ラベル付与部４は、機能表現意味ラベル辞書１を用いて、述部抽出部３から出力された入力文の述部に対応する形態素毎の単語情報のうち、機能表現を構成する機能語列の単語情報に意味ラベルを付与（追加）してＮＵＬＬ削除部５へ出力する。
【００４０】
ＮＵＬＬ削除部５は、意味ラベル付与部４から出力された意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、意味ラベルが付与されなかった機能語の単語情報を削除して冗長ルール適用部６へ出力する。
【００４１】
冗長ルール適用部６は、所定の冗長ルール、ここでは前記機能表現意味ラベル辞書１に記載された冗長ルールを用いて、ＮＵＬＬ削除部５から出力された意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、前記冗長ルールによって除外される機能語の単語情報を削除して活用生成部７へ出力する。
【００４２】
ここで、冗長ルール適用部６及び活用生成部７は、意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報のうち、当該述部の意味に影響を与えない機能語及び冗長な機能語の単語情報を削除する機能語削除部を構成する。
【００４３】
活用生成部７は、冗長ルール適用部６から出力された前記述部の意味に影響を与えない機能語及び冗長な機能語を削除した後の入力文の述部に対応する形態素毎の単語情報に基づき、入力文の述部を生成して出力する。
【００４４】
図５は前述した述部機能表現正規化装置の処理の流れを示すもので、以下、各部の構成及び動作の詳細を具体的な例に沿って説明する。
【実施例１】
【００４５】
＜入力＞
機能表現正規化装置の入力は、日本語で書かれた文である。本実施例では、「パソコンが壊れちゃったよ。」を入力文の例として説明する。
【００４６】
＜形態素解析＞
形態素解析部２において、入力文に対し、周知の形態素解析処理を行う（ｓ１）。形態素解析では、文が形態素（単語）単位に分割され、各単語に表記、読み、標準形、品詞、活用型、活用形等の単語情報が付与される。形態素解析器は、公知のものを用いて良い。図６に本実施例における形態素解析結果の例を示す。
【００４７】
＜述部抽出＞
述部抽出部３において、形態素解析結果、即ち入力文の形態素毎の単語情報を入力とし、「どうした」に当たる述部を抽出する（ｓ２）。「述部」は、品詞が動詞、形容詞、形容動詞もしくは副詞、または「だ」などの助動詞に後続されている名詞である「内容語」と、品詞が助詞もしくは助動詞、または「ちゃう」などのそれ自体では内容語としては機能できない非自立性の動詞、名詞、形容詞、形容動詞もしくは副詞（以下、非自立のカテゴリーと称す。）、または「こと」などの形式名詞である機能語を１または２以上含む文字列からなる「機能表現」との組み合わせから成り立っている。
【００４８】
述部抽出部３では、入力文の形態素毎の単語情報のうち、内容語とこれに後続する機能表現に対応する形態素毎の単語情報を入力文の述部として抽出する、より詳細には、まず、入力文の形態素毎の単語情報と、機能表現の標準形が記載されている任意の辞書、ここでは前述した機能表現意味ラベル辞書１とをその標準形同士で照合し、一致したものがあればその形態素列の単語情報を機能表現として抽出し、次に残りの形態素毎の単語情報のうち、品詞が助詞もしくは助動詞、または非自立性のカテゴリー、または形式名詞である形態素の単語情報を機能表現として抽出し、最後にそれ以外の品詞が動詞、形容詞、形容動詞もしくは副詞、または助動詞に後続されている名詞である形態素の単語情報を内容語として抽出する。
【００４９】
前述した入力文「パソコンが壊れちゃったよ。」の場合、最初に機能表現意味ラベル辞書１の機能表現の標準形による文字列のリスト（エントリー）と一致する「ちゃ（う）」「た」が機能表現として認識され、次に品詞「助詞」に属する「よ」が機能表現として認識され、最後に品詞「動詞−自立」に属する「壊れ（る）」が内容語として認識される。その結果、「壊れちゃったよ」が述部として抽出される。図７に本実施例における述部抽出結果の例を示す。
【００５０】
＜意味ラベル付与＞
意味ラベル付与部４において、入力文の述部に対応する形態素毎の単語情報を入力とし、機能表現意味ラベル辞書１を用いて、述部が表す「出来事」の意味に影響を与える機能表現に意味ラベルを付与する（ｓ３）。即ち、意味ラベル付与部４では、機能表現意味ラベル辞書１を用いて、入力文の述部に対応する形態素毎の単語情報のうち、機能表現を構成する機能語列の単語情報に意味ラベルを付与する、より詳細には、機能語の単語情報中の標準形に対し、機能表現意味ラベル辞書１の機能表現の標準形による文字列のリストを「後方からの最長一致法」により照合し、対応する意味ラベルを付与する。
【００５１】
この意味ラベル付与処理は、通常の形態素解析と同様の手法をとると良い。例えば、２つの連続する機能語の接続可否を判定し、接続できる意味ラベル列を付与する方法や、意味ラベル列の尤もらしさを表す確率モデルを用いて、一番尤もらしい意味ラベルを付与する方法などが挙げられる。
【００５２】
また、この際、意味ラベル付与部４では、機能表現意味ラベル辞書１に対応するエントリーがない機能語、つまり述部の意味に影響を与えない機能表現に対し、意味ラベルが「空」であることを意味する「NULL」等のラベルを付与する。
【００５３】
前述したように、述部が「壊れちゃったよ」であった場合、後方からの最長一致法によると、初めに「よ」が解析されるが、機能表現意味ラベル辞書１にエントリーがないため、空の意味ラベル「NULL」が付与される。次に「た」及び「ちゃう」が解析され、それぞれ「完了」の意味ラベルが付与される。述部を構成する形態素に対して後方からの最長一致法で処理を進めた場合の最後の形態素、つまり内容語「壊れる」の直前でこの意味ラベル付与作業を終了する。図８に本実施例における意味ラベル付与結果の例を示す。
【００５４】
＜意味ラベルに基づく機能語削除＞
＜ＮＵＬＬの削除＞
述部に付与された意味ラベルに基づき、最も単純な述部への正規化を行う。本発明では、（Ａ）〜（Ｃ）の指標に沿い「述部が表す意味に関係があるものにのみ意味ラベルを付与」する手法をとっている。そのため、まず、ＮＵＬＬ削除部５において、意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報を入力とし、意味ラベルが付与されなかった機能語、ここでは空の意味ラベル「NULL」が付与された機能語について、述部の意味に影響を与えないとして、そのエントリー全て（単語情報）を削除する（ｓ４）。
【００５５】
前述したように、述部の機能表現が「ちゃったよ」であった場合、空の意味ラベル「NULL」が付与された「よ」が削除され、「ちゃった」という機能表現に単純化される。図９に本実施例におけるＮＵＬＬ削除結果の例を示す。
【００５６】
＜冗長ラベルの削除＞
次に、最も単純な述部に変換させるため、冗長ルール適用部６において、意味ラベル付与後でかつＮＵＬＬ削除後の入力文の述部に対応する形態素毎の単語情報を入力とし、機能表現意味ラベル辞書１に記載の冗長ルールを用いて、冗長な機能語について、そのエントリー全て（単語情報）を削除する（ｓ５）。
【００５７】
冗長ルールというのは、前述したように「同一述部内に同じ意味を表す機能語が複数存在する場合、そのうちの一つのみ残すことで当該述部が表す意味を保持できる」という本発明の知見に基づくものである。但し、このルールは意味ラベルが「否定」の場合には、「奇数の場合は残し、偶数の場合は削除」というルールに変わる。
【００５８】
意味ラベル付与後でかつＮＵＬＬ削除後の述部が「壊れちゃった」であった場合、初めに当該意味ラベル付与後でかつＮＵＬＬ削除後の述部に対応する形態素毎の単語情報中に同一意味ラベルが２つ以上存在するか否かを調べ、２つ以上存在する場合は冗長ルールに沿って削除を行う。
【００５９】
本実施例の述部「壊れちゃった」に対応する形態素毎の単語情報には意味ラベル「完了」が２つ存在しているので、冗長ルールの対象となる。「完了」の冗長ルールは「表層形が同じ場合は先頭（First）、それ以外は最後（Last）を残す」というものである。これに沿い、機能語「ちゃっ」が削除され、一番単純な意味ラベル「完了」の機能語「た」が残される。図１０に本実施例における冗長ラベル削除結果の例を示す。
【００６０】
＜活用生成＞
最後に、活用生成部７において、述部の意味に影響を与えない機能語及び冗長な機能語を削除した後の入力文の述部に対応する形態素毎の単語情報を入力とし、各形態素の接続を行って入力文の述部を生成する（ｓ６）。
【００６１】
日本語では、形態素の接続を行うには、形態素（単語）を活用させる必要があるが、どの活用形にするかは、後続する単語の表層形及び品詞で決まる。
【００６２】
この単語の活用を含む形態素の接続処理には、言語モデルによる活用生成器を使用することができる。これは、予め正解データより、前方の単語の表層形、品詞及び活用型と、後方の単語の表層形及び品詞とを素性として「どの接続が尤もらしいか」を学習したモデルを用いた生成器である。このモデルをもとに、新しく前後の単語の表層形、品詞及び活用型が入力された際に最適な表記を生成する。
【００６３】
また、一番最後の形態素の場合は後続する単語がないので、文の終わりを表す形態素（例えば、句点）を接続生成の際に追加するか、もしくは「最後の機能語は標準形に直す」等の追加ルールを加える。言語モデルによる活用生成器を使用する他に、活用変換ルールをもとに述部を生成することもできる。
【００６４】
本実施例では、内容語「壊れ（る）」と機能表現「た」を接続させる必要があるが、前述した言語モデルによる活用生成器に、内容語「壊れ（る）」の「表記；品詞；活用型」である「壊れ；動詞−自立；一段」と、機能表現「た」の「た；助動詞；特殊・タ」と、文の終わりを表す形態素「。」の「。；記号−句点」とを入力することで、正しく接続された述部である「壊れた。」を生成することができる。
【００６５】
以上説明したプロセスにより、「パソコンが壊れちゃったよ」という入力に対して、実際に起きている出来事を表す述部の意味を変えずに、最も単純な述部である「壊れた」が生成できる。本発明の手法をとることで、「壊れちゃったね」「壊れてしまいました」等、＜従来技術２＞で述べた非特許文献２の手法ではまとめることができなかった述部も全て「壊れた」という形に正規化される。その結果、入力文の表層形の異なりに拘わらず、マイニングで必要な同等の出来事を表している述部表現を「同じ」としてまとめることができる。
【実施例２】
【００６６】
次に、より複雑な文「その時計が壊れたかも知れなかったらしいのだった」が入力された場合の動作について説明する。実施例１の場合と同様に、形態素解析部２において入力文が形態素解析され（ｓ１）、図１１に示す形態素解析結果が得られ、また、この形態素解析結果に対し述部抽出部３において述部抽出が行われ（ｓ２）、図１２に示す述部抽出結果が得られる。
【００６７】
この際、述部抽出では、最初に機能表現意味ラベル辞書１のエントリーと一致する「た」「かも/知れ（る）/ない」「た」「らしい」「た」が機能語として認識される。次に、品詞「非自立のカテゴリー」「助動詞」に属する「の」「だ」が機能語として認識される。最後に品詞「動詞−自立」に属する「壊れ（る）」が内容語として認識される。その結果、「壊れたかも知れなかったらしいのだった」が述部として抽出される。
【００６８】
＜意味ラベル付与＞
次に、意味ラベル付与部４において、入力文の述部に対応する形態素毎の単語情報に対し、実施例１の場合と同様に、機能表現意味ラベル辞書１を用いた意味ラベル付与が行われる（ｓ３）。
【００６９】
前述したように、述部が「壊れたかも知れなかったらしいのだった」であった場合、後方からの最長一致法によると、初めに「た」が解析され、「完了」の意味ラベルが付与される。次に「だ」及び「の」が解析されるが、機能表現意味ラベル辞書１にエントリーがないため、空の意味ラベル「NULL」が付与される。次に「らしい」「た」「かも/知れ（る）/ない」及び「た」が解析され、それぞれ「推量」「完了」「推量」及び「完了」の意味ラベルが付与される。述部の最後の形態素である内容語「壊れる」の直前でこの意味ラベル付与作業を終了する。図１３に本実施例における意味ラベル付与結果の例を示す。
【００７０】
＜意味ラベルに基づく機能語削除＞
＜ＮＵＬＬの削除＞
次に、ＮＵＬＬ削除部５において、意味ラベル付与後の入力文の述部に対応する形態素毎の単語情報に対し、実施例１の場合と同様に、空の意味ラベル「NULL」が付与された機能語のエントリー全て（単語情報）を削除する（ｓ４）。
【００７１】
前述したように、述部の機能表現が「たかも知れなかったらしいのだった」であった場合、空の意味ラベル「NULL」が付与された「の」及び「だ」が削除され、「たかも知れなかったらしいた」という機能表現に単純化される。図１４に本実施例におけるＮＵＬＬ削除結果の例を示す。
【００７２】
＜冗長ラベルの削除＞
次に、冗長ルール適用部６において、意味ラベル付与後でかつＮＵＬＬ削除後の入力文の述部に対応する形態素毎の単語情報に対し、実施例１の場合と同様に、機能表現意味ラベル辞書１に記載の冗長ルールを用いて、冗長な機能語のエントリー全て（単語情報）を削除する（ｓ５）。
【００７３】
本実施例の述部「壊れたかも知れなかったらしいた」に対応する形態素毎の単語情報には意味ラベル「完了」が３つ、「推量」が２つ存在しているため、冗長ルールを適用する必要がある。「完了」の冗長ルールは「表層形が同じ場合は先頭（First）、それ以外は最後（Last）を残す」というものである。一方、「推量」の冗長ルールは「先頭（First）を残す」というものである。
【００７４】
これに沿い、冗長な意味ラベルの削減を行う。本実施例では、完了を表す「た」は全て表層形が同じなので、先頭の「た」が保持される。推量を表す「かも知れなかっ」及び「らしい」は冗長ルールに沿って先頭の「かも知れなかっ」が保持される。その結果、機能語「た」「かも」「知れ」「なかっ」が残る。図１５に本実施例における冗長ラベル削除結果の例を示す。
【００７５】
＜活用生成＞
最後に、活用生成部７において、述部の意味に影響を与えない機能語及び冗長な機能語を削除した後の入力文の述部に対応する形態素毎の単語情報に対し、実施例１の場合と同様に、各形態素の接続を行って入力文の述部を生成する（ｓ６）。
【００７６】
本実施例では、動詞「壊れる」と機能表現「た」「かも」「知れ」「なかっ」を接続させる必要があるが、前述した言語モデルによる活用生成器に、内容語「壊れ（る）」の「表記；品詞；活用型」である「壊れ；動詞−自立；一段」と、機能表現「た」の「た；助動詞；特殊・タ」、「かも」の「かも；助詞−副助詞」と、「知れ（る）」の「知れ；動詞−自立；一段」、「ない」の「なかっ；助動詞；特殊・ナイ」と、文の終わりを表す形態素「。」の「。；記号−句点」とを入力することで、正しく接続された述部である「壊れたかも知れない。」が生成される。
【００７７】
以上説明したプロセスにより、「壊れたかも知れなかったらしいのだった」は、「壊れたかも知れない」と正規化され、最も単純な形に正規化されつつも、「壊れちゃった」とは異なる意味を表すことが分かるように正規化された。その結果、＜従来技術１＞で述べた非特許文献１の手法とは異なり、述部が表す意味の違いは明確に区別した正規化を行うことができる。
【符号の説明】
【００７８】
１：機能表現意味ラベル辞書、２：形態素解析部、３：述部抽出部、４：意味ラベル付与部、５：ＮＵＬＬ削除部、６：冗長ルール適用部、７：活用生成部。
【図１】
2011145844.tif 000003
【図２】
2011145844.tif 000004
【図３】
2011145844.tif 000005
【図４】
2011145844.tif 000006
【図５】
2011145844.tif 000007
【図６】
2011145844.tif 000008
【図７】
2011145844.tif 000009
【図８】
2011145844.tif 000010
【図９】
2011145844.tif 000011
【図１０】
2011145844.tif 000012
【図１１】
2011145844.tif 000013
【図１２】
2011145844.tif 000014
【図１３】
2011145844.tif 000015
【図１４】
2011145844.tif 000016
【図１５】
2011145844.tif 000017