(57)【要約】【課題】手掛かり語が出現しない場合や、並列語中の動詞が共通の目的語を持たない場合であっても、名詞間（名詞ペア）における因果関係を抽出することが可能な因果関係知識抽出装置及びプログラムを提供する。【解決手段】名詞ペア抽出部２がテキストデータから名詞ペアを抽出し、特徴抽出部３が、その名詞ペアを含むテキストデータの構文構造の特徴及び名詞ペアの属性の特徴を抽出して３項組を生成する。そして、タグ付け部４により、因果関係の有無が示されていない教師無しデータ、及び因果関係の有無が示された教師有りデータが格納される。機械学習部５は、前記格納されたデータを用いて因果関係について判定し、その結果を格納する。また、テキスト解析インターフェース部６は、テキスト解析の対象となるテキストデータについて、前記結果データに基づいて名詞ペアにおける因果関係の有無を判定する。【選択図】図１
2007219947.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータに含まれる名詞ペアについて、その因果関係の有無を知識として抽出する装置であって、
テキストデータに含まれる名詞ペアを抽出する名詞ペア抽出部と、
該名詞ペア抽出部により抽出された名詞ペアを含むテキストデータについて、該テキストデータの構文構造及び前記名詞ペアの属性を特徴データとして抽出する特徴抽出部と、
該特徴抽出部により抽出された特徴データの一部に対し、前記名詞ペアにおける因果関係の有無をタグとして付与するタグ付け部と、
該タグ付け部によりタグが付与された特徴データが教師有りデータとして格納され、タグ付け部によりタグが付与されない特徴データが教師無しデータとして格納される記憶部と、
該記憶部に格納された教師有りデータ及び教師無しデータに基づいて、該教師無しデータに含まれる名詞ペアにおける因果関係の有無を判定する因果関係判定部と、を備えたことを特徴とする因果関係知識抽出装置。
【請求項２】
請求項１に記載の因果関係知識抽出装置において、
前記特徴抽出部が、
名詞ペアを含むテキストデータについて、該名詞ペアの係り受け関係を示す木構造を生成する木構造生成手段と、
該木構造生成手段により生成されたテキストデータの木構造を構成するノードを、自立語及び機能語に分離し、前記テキストデータの構文構造を示すＰＳＥ（Ｐｒｅｏｒｄｅｒ  Ｓｔｒｉｎｇ  Ｅｘｐｒｅｓｓｉｏｎ）を生成するＰＳＥ生成手段と、
前記名詞ペアの上位概念を抽出する上位概念抽出手段と、
前記ＰＳＥ生成手段により生成されたＰＳＥと、上位概念抽出手段により抽出された上位概念とを用いて、３項組を特徴データとして生成する３項組生成手段と、を有することを特徴とする因果関係知識抽出装置。
【請求項３】
請求項１または２に記載の因果関係知識抽出装置において、
前記因果関係判定部は、ＥＭアルゴリズムにより、記憶部に格納された教師有りデータについて、当該データにおける因果関係の有無の確率を算出し、前記記憶部に格納された教師有りデータ及び教師無しデータについて、同一または所定の値以上の類似度を有する構文構造が出現する確率を算出し、前記記憶部に格納された教師有りデータ及び教師無しデータについて、当該データに含まれる名詞ペアと同一の属性が出現する確率を算出し、これらの確率に基づいて、特徴データにおける因果関係の有無の確率、特徴データに含まれる構文構造における因果関係の有無の確率、及び、特徴データに含まれる名詞ペアにおける因果関係の有無の確率を算出して因果関係の有無を判定することを特徴とする因果関係知識抽出装置。
【請求項４】
請求項３に記載の因果関係知識抽出装置において、
さらに、新たなテキストデータを入力し、該テキストデータに含まれる名詞ペアを抽出し、テキストデータの構文構造及び名詞ペアの属性を特徴データとして抽出し、前記因果関係判定部により算出された因果関係の有無の確率に基づいて、前記新たなテキストデータに含まれる名詞ペアにおける因果関係の有無を判定するテキスト判定部を備えたことを特徴とする因果関係知識抽出装置。
【請求項５】
請求項４に記載の因果関係知識抽出装置において、
前記テキスト判定部は、抽出した特徴データを用いて、因果関係判定部により算出された特徴データに含まれる構文構造における因果関係の有無の確率に基づいて、前記抽出した特徴データに含まれる構文構造における因果関係の有無の確率を算出し、該確率により因果関係の有無を判定することを特徴とする因果関係知識抽出装置。
【請求項６】
請求項４に記載の因果関係知識抽出装置において、
前記テキスト判定部は、抽出した特徴データを用いて、因果関係判定部により算出された特徴データに含まれる名詞ペアにおける因果関係の有無の確率に基づいて、前記抽出した特徴データに含まれる名詞ペアにおける因果関係の有無の確率を算出し、該確率により因果関係の有無を判定することを特徴とする因果関係知識抽出装置。
【請求項７】
テキストデータに含まれる名詞ペアの因果関係の有無を抽出する装置による因果関係知識抽出プログラムであって、前記装置を構成するコンピュータに、
テキストデータに含まれる名詞ペアを抽出する処理と、
前記名詞ペアを含むテキストデータの構文構造及び名詞ペアの属性を特徴データとして抽出する処理と、
前記抽出した特徴データの一部に対し、名詞ペアにおける因果関係の有無をタグとして付与する処理と、
前記タグが付与された特徴データである教師有りデータと、タグが付与されない特徴データである教師無しデータとに基づいて、教師無しデータに含まれる名詞ペアにおける因果関係の有無を判定する処理とを実行させる因果関係知識抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子化されたテキストデータを対象とした、情報抽出及び自然言語処理に関し、特に、自然言語処理技術を利用することにより、テキストデータから、因果関係を持つ名詞のペア及び因果関係を持つ構文構造を抽出する技術に関する。
【背景技術】
【０００２】
現在、デジタル放送サービスでは、データ放送や字幕放送等のテキストデータが大量に多重放送されている。デジタル放送を受信する装置がこれらのテキストデータを常時監視し、有益な情報を抽出して蓄積することができれば、視聴者の疑問に答えるテレビを実現できるようになると考えられる。このような状況の下で、単語間における「原因−結果」等の関係（以下、因果関係という。）を自動抽出する研究が進められている。
【０００３】
例えば、非特許文献１には、日本語テキストを対象として、「ため」という単語を手掛かり語とした因果関係抽出手法が提案されている。また、非特許文献２には、並列句が一つの文に存在し、並列句中の動詞が共通の目的語を持つ場合に因果関係が成立しやすいと仮定して、統計的に因果関係を抽出する手法が提案されている。
【０００４】
【非特許文献１】乾孝司、乾健太郎、松本裕治、“接続標識「ため」に基づく文書集合からの因果関係知識の自動獲得”、情処論、Ｖｏｌ．４５、Ｎｏ．３、ｐｐ．９１９−９３３（２００４）
【非特許文献２】鳥澤健太郎、“「常識的」推論規則のコーパスからの自動抽出”、言語処理学会第９回年次大会、ｐｐ．３１８−３２１（２００３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述の非特許文献１の手法において、手掛かり語が出現しない場合は因果関係を抽出することができないという問題があった。また、非特許文献２の手法においても、並列句中の動詞が共通の目的語を持たない場合は因果関係を抽出することができないという問題があった。
【０００６】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、手掛かり語が出現しない場合や、並列語中の動詞が共通の目的語を持たない場合であっても、名詞間（名詞ペア）における因果関係を抽出することが可能な因果関係知識抽出装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明による因果関係知識抽出装置は、テキストデータに含まれる名詞ペアについて、その因果関係の有無を知識として抽出する装置であって、テキストデータに含まれる名詞ペアを抽出する名詞ペア抽出部と、該名詞ペア抽出部により抽出された名詞ペアを含むテキストデータについて、該テキストデータの構文構造及び前記名詞ペアの属性を特徴データとして抽出する特徴抽出部と、該特徴抽出部により抽出された特徴データの一部に対し、前記名詞ペアにおける因果関係の有無をタグとして付与するタグ付け部と、該タグ付け部によりタグが付与された特徴データが教師有りデータとして格納され、タグ付け部によりタグが付与されない特徴データが教師無しデータとして格納される記憶部と、該記憶部に格納された教師有りデータ及び教師無しデータに基づいて、該教師無しデータに含まれる名詞ペアにおける因果関係の有無を判定する因果関係判定部と、を備えたことを特徴とする。
【０００８】
また、本発明による因果関係知識抽出装置は、前記特徴抽出部が、名詞ペアを含むテキストデータについて、該名詞ペアの係り受け関係を示す木構造を生成する木構造生成手段と、該木構造生成手段により生成されたテキストデータの木構造を構成するノードを、自立語及び機能語に分離し、前記テキストデータの構文構造を示すＰＳＥ（Ｐｒｅｏｒｄｅｒ  Ｓｔｒｉｎｇ  Ｅｘｐｒｅｓｓｉｏｎ）を生成するＰＳＥ生成手段と、前記名詞ペアの上位概念を抽出する上位概念抽出手段と、前記ＰＳＥ生成手段により生成されたＰＳＥと、上位概念抽出手段により抽出された上位概念とを用いて、３項組を特徴データとして生成する３項組生成手段と、を有することを特徴とする。
【０００９】
前記因果関係判定部は、ＥＭアルゴリズムにより、記憶部に格納された教師有りデータについて、当該データにおける因果関係の有無の確率を算出し、前記記憶部に格納された教師有りデータ及び教師無しデータについて、同一または所定の値以上の類似度を有する構文構造が出現する確率を算出し、前記記憶部に格納された教師有りデータ及び教師無しデータについて、当該データに含まれる名詞ペアと同一の属性が出現する確率を算出し、これらの確率に基づいて、特徴データにおける因果関係の有無の確率、特徴データに含まれる構文構造における因果関係の有無の確率、及び、特徴データに含まれる名詞ペアにおける因果関係の有無の確率を算出して因果関係の有無を判定することが好適である。
【００１０】
また、本発明による因果関係知識抽出装置は、さらに、新たなテキストデータを入力し、該テキストデータに含まれる名詞ペアを抽出し、テキストデータの構文構造及び名詞ペアの属性を特徴データとして抽出し、前記因果関係判定部により算出された因果関係の有無の確率に基づいて、前記新たなテキストデータに含まれる名詞ペアにおける因果関係の有無を判定するテキスト判定部を備えたことを特徴とする。
【００１１】
前記テキスト判定部は、抽出した特徴データを用いて、因果関係判定部により算出された特徴データに含まれる構文構造における因果関係の有無の確率に基づいて、前記抽出した特徴データに含まれる構文構造における因果関係の有無の確率を算出し、該確率により因果関係の有無を判定することが好適である。
【００１２】
また、前記テキスト判定部は、抽出した特徴データを用いて、因果関係判定部により算出された特徴データに含まれる名詞ペアにおける因果関係の有無の確率に基づいて、前記抽出した特徴データに含まれる名詞ペアにおける因果関係の有無の確率を算出し、該確率により因果関係の有無を判定することが好適である。
【００１３】
本発明を因果関係知識抽出装置として説明したが、本発明はこの因果関係知識抽出装置を構成するコンピュータによって実行されるプログラムとしても実質的に実現し得るものであり、本発明には、因果関係知識抽出プログラムも包含される。すなわち、本発明による因果関係知識抽出プログラムは、テキストデータに含まれる名詞ペアの因果関係の有無を抽出する装置による因果関係知識抽出プログラムであって、前記装置を構成するコンピュータに、テキストデータに含まれる名詞ペアを抽出する処理と、前記名詞ペアを含むテキストデータの構文構造及び名詞ペアの属性を特徴データとして抽出する処理と、前記抽出した特徴データの一部に対し、名詞ペアにおける因果関係の有無をタグとして付与する処理と、前記タグが付与された特徴データである教師有りデータと、タグが付与されない特徴データである教師無しデータとに基づいて、教師無しデータに含まれる名詞ペアにおける因果関係の有無を判定する処理とを実行させることを特徴とする。
【発明の効果】
【００１４】
以上のように、本発明によれば、テキストデータ中に手掛かり語が存在しない場合や、並列語中の動詞が共通の目的語を持たない場合であっても、名詞ペアにおける因果関係を抽出することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
〔構成〕
まず、本発明の実施の形態による因果関係知識抽出装置の構成について説明する。図１は、因果関係知識抽出装置の構成を示すブロック図である。この因果関係知識抽出装置１は、名詞ペア抽出部２、特徴抽出部３、タグ付け部４、機械学習部５、テキスト解析インターフェース部６、及び記憶部７−１〜４を備えている。テキストデータが格納された記憶部７−１、名詞ペア抽出部２、特徴抽出部３及びタグ付け部４により、因果関係の有無が示されていない教師無しデータが記憶部７−２に格納され、因果関係の有無が示された教師有りデータが記憶部７−３に格納される。また、機械学習部５により、教師無しデータに対する因果関係について判定され、その確率を含む出力データが記憶部７−４に格納される。また、テキスト解析インターフェース部６により、テキスト解析の対象となるテキストデータについて、記憶部７−４に格納された出力データを用いて因果関係の有無が判定される。
【００１６】
名詞ペア抽出部２は、記憶部７−１からテキストデータを入力し、形態素解析により形態素に分割し、名詞のペアを抽出する。この名詞ペアを抽出する手法（形態素解析による抽出手法）は既知であるため、ここでは説明を省略する。
【００１７】
特徴抽出部３は、名詞ペア抽出部２により抽出された名詞ペアについて、当該名詞ペアを含むテキストデータの構造上（構文構造）の特徴、及び名詞ペアの属性の特徴を抽出する。図２は、図１に示した特徴抽出部３の構成を示すブロック図である。この特徴抽出部３は、木構造生成手段３１、上位概念抽出手段３２、ＰＳＥ（Ｐｒｅｏｒｄｅｒ  Ｓｔｒｉｎｇ  Ｅｘｐｒｅｓｓｉｏｎ）生成手段３３、３項組生成手段３４及びシソーラス記憶部３５を備えている。木構造生成手段３１は、構文解析結果に基づいて、名詞ペアを含むテキストデータの文について木構造を生成する。この構文解析手法は既知であるため、ここでは説明を省略する。詳細については、「工藤他、“チャンキングの段階適用による係り受け解析”、情処論、Ｖｏｌ．４３、Ｎｏ．６、ｐｐ．１８３４−１８４２（２００２）」の文献を参照されたい。ＰＳＥ生成手段３３は、木構造生成手段３１により生成された木構造から、当該木構造を表現することが可能なＰＳＥを生成する。上位概念抽出手段３２は、名詞ペアのそれぞれの上位概念を、シソーラス記憶部３５を検索して抽出する。３項組生成手段３４は、ＰＳＥ生成手段３３により生成されたＰＳＥと、上位概念抽出手段３２により抽出された上位概念とを用いて、テキストデータの構造上の特徴及び名詞ペアの属性の特徴を示す３項組を生成する。
【００１８】
タグ付け部４は、ユーザの操作により、特徴抽出部３により生成された３項組から、因果関係の有無を指定する３項組を選択し、当該選択した３項組に対して因果関係の有無を指定し（タグ付けし）、教師有りデータとして記憶部７−３に格納する。タグ付け部４によりタグ付けされない３項組は、教師無しデータとして記憶部７−２に格納される。この場合、３項組は教師無しデータと教師有りデータとに区分され、教師無しデータは大量に存在し、教師有りデータは少量しか存在しない。
【００１９】
機械学習部５は、因果関係が明記されていない大量の教師無しデータを記憶部７−２から読み出し、因果関係が明記されている少量の教師有りデータを記憶部７−３から読み出し、教師有りデータにおけるテキストデータの構造上の特徴及び名詞ペアの属性の特徴に基づいて、当該教師有りデータ及び教師無しデータの３項組が因果関係を有する確率等を算出し、これらを出力データとして記憶部７−４に格納する。
【００２０】
テキスト解析インターフェース部６は、テキスト解析の対象となるテキストデータを入力し、記憶部７−４に格納された出力データを用いて、因果関係を有する名詞ペアが存在するか否か等を判定する。
【００２１】
〔動作〕
次に、図１に示した因果関係知識抽出装置１の動作について説明する。まず最初に、名詞ペア抽出部２は、記憶部７−１から入力したテキストデータについて、形態素解析により形態素に分割して名詞ペアを抽出する。ここで、１文中に出現する全ての名詞の組み合わせを名詞ペアとする。
【００２２】
そして、特徴抽出部３は、名詞ペア抽出部２により抽出された名詞ペアについて、構文解析により、名詞ペアを含むテキストデータの１文における文節の間の係り受け関係を解析する。尚、構文解析の手法は既知であるから、ここでは説明を省略する。また、特徴抽出部３は、構文解析結果により、名詞ペア間がどのような構文構造に位置しているかを抽出する。例えば、「動脈硬化が起きると脳卒中につながります。」という文において、名詞ペアである「動脈硬化」と「脳卒中」との間の係り受け関係は、図３に示す文節をノードとした木構造により表現することができる。図３において、四角で囲まれたノードは、その親を修飾することを示している。例えば、「動脈硬化が」は「起きると」を修飾する。同様に、図４の木構造は、「隠れ肥満が糖尿病につながります。」という文において、名詞ペアである「肥満」及び「糖尿病」について、「肥満」を含む文節と「糖尿病」を含む文節との間の係り受け関係を示している。すなわち、特徴抽出部３の木構造生成手段３１は、名詞ペアを含む文の構文解析結果により、図３や図４のような木構造を生成する。
【００２３】
そして、特徴抽出部３のＰＳＥ生成手段３３は、木構造からＰＳＥを生成する。この生成処理の際に、木構造の各ノードを、自立語（名詞、動詞、形容詞、副詞、形容動詞、接続詞等）及び機能語（助詞、助動詞等）に分離する。例えば、図３に示した「動脈硬化が」というノードを、「動脈硬化」という自立語、及び「が」という機能語に分離する。また、この分離した機能語を、元のノードの上位ノードとして木構造内に挿入する。図５は、図３に示した木構造から機能語を分離した後の新たな木構造、すなわち自立語及び機能語をノードとした木構造を示す。ＰＳＥ生成手段３３は、図５のような、機能語を分離した新たな木構造からＰＳＥを生成する。そして、ＰＳＥ生成手段３３は、生成したＰＳＥに対して、名詞ペアのそれぞれを「名詞１」「名詞２」に置き換える。尚、木構造からＰＳＥを生成する手法は既知であるから、ここでは説明を省略する。詳細については、「Ｆａｂｒｉｚｉｏ  Ｌｕｃｃｉｏ  ｅｔ  ａｌ．、“Ｅｘａｃｔ  Ｒｏｏｔｅｄ  Ｓｕｂｔｒｅｅ  Ｍａｔｃｈｉｎｇ  ｉｎ  Ｓｕｂｌｉｎｅａｒ  Ｔｉｍｅ”、Ｔｅｃｈｉｎｉｃａｌ  Ｒｅｐｏｒｔ  ＴＲ−０１−１４（２００１）」の文献を参照されたい。
【００２４】
例えば、ＰＳＥ生成手段３３は、木構造生成手段３１により生成された図３の木構造から機能語を分離し、図５の新たな木構造を生成し、当該新たな木構造から以下に示すＰＳＥを生成する。
ＰＳＥ＝｛“つながる”，“と”，“起きる”，“が”，“動脈硬化”，０，０，０，０，“に”，“脳卒中”，０，０，０｝
ここで、ＰＳＥ生成手段３３は、生成したＰＳＥに対し、名詞ペアの対象を出現順に「名詞１」「名詞２」に置き換える。例えば、前述の例では以下のようになる。
ＰＳＥ＝｛“つながる”，“と”，“起きる”，“が”，“名詞１”，０，０，０，０，“に”，“名詞２”，０，０，０｝
同様に、図４の木構造から機能語を分離し、新たな木構造からＰＳＥを生成し、「名詞１」「名詞２」に置き換えると、以下のようになる。
ＰＳＥ＝｛“つながる”，“が”，“名詞１”，０，０，“に”，“名詞２”，０，０，０｝
尚、ＰＳＥは、語順と要素「０」により、元の木構造に復元することができる。
【００２５】
図３に戻って、上位概念抽出手段３２は、名詞の上位概念の特徴を抽出する。具体的には、名詞ペアの対象となる名詞について、シソーラス記憶部３５に格納された既存の分類語彙表等を検索し、それぞれの上位概念を抽出する。この場合、シソーラス上で上位概念が一意に決定できる場合はその上位概念を抽出し、複数の属性を有する等のように上位概念が一意に決定できない場合は表記そのものを上位概念として抽出する。また、上位概念が存在しない場合は上位概念を抽出することができないから、名詞そのものを上位概念として扱う。例えば、名詞ペアである「脳卒中」「動脈硬化」は、共に「病気・体調」の上位概念を有するため、上位概念抽出手段３２は、「病気・体調」を上位概念として抽出する。
【００２６】
そして、３項組生成手段３４は、ＰＳＥ生成手段３３により生成されたＰＳＥと、上位概念抽出手段３２により抽出された上位概念とを用いて、３項組を生成する。例えば、３項組生成手段３４は、「動脈硬化が起きると脳卒中につながります。」という文の名詞ペア「動脈硬化」「脳卒中」について、３項組は以下のようになる。
３項組＝＜｛病気・体調｝，｛病気・体調｝，｛“つながる”，“と”，“起きる”，“が”，“名詞１”，０，０，０，０，“に”，“名詞２”，０，０，０｝＞
このように、３項組は、テキストデータの構造の特徴である｛“つながる”，“と”，“起きる”，“が”，“名詞１”，０，０，０，０，“に”，“名詞２”，０，０，０｝と、名詞ペアの属性の特徴である｛病気・体調｝，｛病気・体調｝とから構成される。
【００２７】
そして、タグ付け部４は、ユーザの操作により、特徴抽出部３により生成された３項組の一部に対し、その名詞ペアにおける文の表現が因果関係を有しているか否かのタグ付けを行い、タグ付けされた３項組を教師有りデータとして記憶部７−３に格納する。尚、タグ付けされない３項組は、教師無しデータとして特徴抽出部３により記憶部７−２に格納されている。これにより、大量の教師無しデータと、少量の教師有りデータが生成される。
【００２８】
そして、機械学習部５は、記憶部７−２から教師無しデータを、記憶部７−３から教師有りデータを読み出し、教師無しデータの３項組が因果関係を有する確率等を、ＥＭアルゴリズムを用いた機械学習により算出する。この場合、以下に示す式（１）（２）が用いられる。この確率により、因果関係の有無を判定することができる。３項組が因果関係を持つ確率及び持たない確率は、以下の式により表される。
【数１】
2007219947.tif 000003
ここで、ｔｉは３項組、Ｐ（ｃ１｜ｔｉ）は３項組ｔｉが因果関係を持つ確率、Ｐ（ｃ０｜ｔｉ）は３項組ｔｉが因果関係を持たない確率、Ｐ（ｔｉ）は３項組ｔｉが出現する確率、Ｐ（ｃ１）は因果関係を持つ３項組が出現する確率、Ｐ（ｃ０）は因果関係を持たない３項組が出現する確率、Ｐ（ｔｉ｜ｃｊ）はクラスｃｊのときに３項組ｔｉが出現する確率をそれぞれ示す。式（１）で表された確率Ｐ（ｃｊ｜ｔｉ）の値が大きいクラスｃｊ（ｃ０またはｃ１）を、因果関係の有無の判定結果とする。すなわち、Ｐ（ｃ０｜ｔｉ）＞Ｐ（ｃ１｜ｔｉ）のときは３項組ｔｉについて因果関係無しを判定し、Ｐ（ｃ０｜ｔｉ）＜Ｐ（ｃ１｜ｔｉ）のときは３項組ｔｉについて因果関係有りを判定する。同じ確率であるときは予め設定された判定結果とする。
【００２９】
式（１）に示した、クラスｃｊのときに３項組が出現する確率Ｐ（ｔｉ｜ｃｊ）は、以下に式により表される。
【数２】
2007219947.tif 000004
ここで、ＣＰｔｉは３項組ｔｉに含まれる２つの名詞間の構文構造、すなわちテキストデータの構文構造を、ＳＰｔｉは３項組ｔｉに含まれる名詞ペアを、Ｐ（ＣＰｔｉ｜ｃｊ）はクラスｃｊのときに３項組ｔｉに含まれる２つの名詞間の構文構造ＣＰｔｉが出現する確率を、Ｐ（ＳＰｔｉ｜ｃｊ）はクラスｃｊのときに３項組ｔｉに含まれる名詞ペアＳＰｔｉが出現する確率をそれぞれ示す。
【００３０】
機械学習部５は、これらの式（１）（２）を用いて、ＥＭアルゴリズムによる機械学習を行う。ＥＭアルゴリズムとは、内部状態が不明な不完全データに対して尤度が最大になるような繰り返し学習を行い、内部状態を推定する処理をいう。尚、ＥＭアルゴリズムは既知であるから、ここでは説明を省略する。詳細については、「Ｋａｍｅｌ  Ｎｉｇａｍ  ｅｔ  ａｌ．、“Ｔｅｘｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｆｒｏｍ  Ｌａｂｅｌｅｄ  ａｎｄ  Ｕｎｌａｂｅｌｅｄ  Ｄｏｃｕｍｅｎｔ  ｕｓｉｎｇ  ＥＭ”、ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ、Ｖｏｌ．３９、Ｎｏ．２／３、ｐｐ．１０３−１３４（２０００）」の文献を参照されたい。
【００３１】
次に、機械学習部５の処理について詳細に説明する。図６は、機械学習部５の処理を説明するためのフローチャートである。まず、機械学習部５は、記憶部７−３から読み出した教師有りデータを対象に、３組項ｔｉが属するクラスｃｊ（因果関係を持つ場合ｃ１、持たない場合ｃ０）の初期確率Ｐ（ｃ１｜ｔｉ）を以下の式により計算する（ステップＳ６−１）。このステップがＥＭアルゴリズムにおけるＥステップである。
【数３】
2007219947.tif 000005
【００３２】
次に、機械学習部５は、記憶部７−２から読み出した教師無しデータ及び記憶部７−３から読み出した教師有りデータを合わせた全てのテキストデータの集合を対象に、クラスｃｊの下で、ＣＰｔｉ（３項組ｔｉに含まれる２つの名詞を含むテキストデータの構文構造）が出現する確率Ｐ（ＣＰｔｉ｜ｃｊ）、及びＳＰｔｉ（３項組ｔｉに含まれる名詞ペア）が出現する確率Ｐ（ＳＰｔｉ｜ｃｊ）を以下の式によりそれぞれ計算する（ステップＳ６−２）。このステップがＥＭアルゴリズムにおけるＭステップである。
【数４】
2007219947.tif 000006
【数５】
2007219947.tif 000007
ここで、｜ＣＰ｜は名詞ペアを含むテキストデータの構文構造の総数を、｜ＳＰ｜は名詞ペアの総数を、｜Ｔ｜は３項組の総数を示す。Ｎ（ＳＰ，ｔｋ）は３組項ｔｋに名詞ペアを含むか否かを表す関数を示し、含むときのみ１の値となる。ｓｉｍ’（ＣＰｔｉ，ＣＰｔｋ）は名詞ペアを含むテキストデータの構文構造の類似性を示し、以下に示す式（６）による類似度の計算により求められる。類似度が０．５より大きいときは、ｓｉｍ’（ＣＰｔｉ，ＣＰｔｋ）を式（６）の計算結果であるｓｉｍ（ＣＰｔｉ，ＣＰｔｋ）とし、０．５以下のときは、ｓｉｍ’（ＣＰｔｉ，ＣＰｔｋ）を０とする。
【００３３】
前述の名詞ペア間の構文構造の類似度ｓｉｍ（Ｐ１，Ｐ２）は、以下の式により計算する。
【数６】
2007219947.tif 000008
ｗｃ（ｐｉ）は、ＰＳＥを示すｐｉに出現する名詞ペアの２つの名詞の属性及び要素「０」以外の単語数を示す。ｃｏｍ（Ｐ１，Ｐ２）は、そのうちのＰＳＥの構造を考慮した共通単語数を示す。例えば、図３及び図４の木構造から機能語を分離して得た２つのＰＳＥであるＰ１，Ｐ２では、ｗｃ（ｐ１）＝５、ｗｃ（ｐ２）＝３、単語「つながります」「が」「に」が共通単語であるから共通単語数ｃｏｍ（Ｐ１，Ｐ２）＝３となり、ｓｉｍ（Ｐ１，Ｐ２）＝６／８＝０．７５となる。
【００３４】
機械学習部５は、ステップ６−２において、構文構造ＣＰｔｉが出現する確率Ｐ（ＣＰｔｉ｜ｃｊ）及び名詞ペアＳＰｔｉが出現する確率Ｐ（ＳＰｔｉ｜ｃｊ）を式（４）（５）により計算した後、これらの結果を利用して、３項組ｔｉが因果関係を持つまたは持たない確率Ｐ（ｃｊ｜ｔｉ）の期待値を以下の式により計算する（ステップＳ６−３）。
【数７】
2007219947.tif 000009
そして、機械学習部５は、式（７）の結果を利用して、因果関係を持つまたは持たない３項組３項組ｔｉが出現する確率Ｐ（ｃｊ）を以下の式により計算する（ステップＳ６−４）。
【数８】
2007219947.tif 000010
ここで、｜ｃ｜は、分類すべきクラスの数を示し、この場合は２である。
【００３５】
そして、機械学習部５は、式（８）の結果を利用して、因果関係を持つまたは持たない３項組ｔｉが出現する確率Ｐ（ｃｊ）の変化量と一定の閾値（例えば１．０×１０-3）とを比較する（ステップＳ６−５）。確率Ｐ（ｃｊ）の変化量が一定の閾値以上の場合はステップ６−２に戻り、ステップ６−３において計算した新たな確率Ｐ（ｃｊ｜ｔｉ）を用いて、教師無しデータ及び教師有りデータを合わせた全てのテキストデータの集合を対象に、構文構造が出現する確率Ｐ（ＣＰｔｉ｜ｃｊ）及び名詞ペアが出現する確率Ｐ（ＳＰｔｉ｜ｃｊ）を前述した式（４）（５）によりそれぞれ計算する（ステップＳ６−２）。そして、ステップ６−５において確率Ｐ（ｃｊ）の変化量が一定の閾値より小さくなるまで、ステップ６−２〜６−５を繰り返す。そして、機械学習部５は、確率Ｐ（ｃｊ）の変化量が一定の閾値より小さくなった場合に、最後に計算した、３項組ｔｉが因果関係を持つまたは持たない確率（３項組ｔｉにおける因果関係の有無の確率）Ｐ（ｃｊ｜ｔｉ）、構文構造ＣＰｔｉが出現する確率Ｐ（ＣＰｔｉ｜ｃｊ）及び名詞ペアＳＰｔｉが出現する確率Ｐ（ＳＰｔｉ｜ｃｊ）を得る。
【００３６】
表１は、ユーザにより因果関係を持つ３項組であると指定された原文（一部）、及び図６に示した機械学習部５の処理により計算された、３項組が因果関係を持つ確率Ｐ（ｃ１｜ｔｉ）を示す。これは、循環器系の話題に取り上げられている「きょうの健康」１６番組を対象とし、番組で使われたクローズドキャプション２１８０文をテキストデータとして、３項組１４９５個を生成し機械学習による因果関係実験を行った例である。１６番組の中から無作為に選定された１番組の３項組１４９個に対して、ユーザ操作により因果関係の有無のタグ付けを行い教師有りデータとし、機械学習部５により確率Ｐ（ｃ１｜ｔｉ）を算出したものである。表１によれば、それぞれの確率Ｐ（ｃ１｜ｔｉ）が１に近いから、因果関係知識抽出装置１は、Ｐ（ｃ１｜ｔｉ）＞Ｐ（ｃ０｜ｔｉ）を判断して、表１に示した３項組ｔｉが因果関係を持つものと判定することができる。
【００３７】
【表１】
2007219947.tif 000011
【００３８】
さらに、機械学習部５は、図６に示したステップ６−２において最終的に計算した確率Ｐ（ＣＰｔｉ｜ｃｊ）から、以下の式を用いて確率Ｐ（ｃｊ｜ＣＰｔｉ）を計算する。
【数９】
2007219947.tif 000012
ここで、確率Ｐ（ｃ1｜ＣＰｔｉ）は、３項組ｔｉに含まれる構文特徴ＣＰｔｉが因果関係を持つ確率を示す。また、確率Ｐ（ｃ０｜ＣＰｔｉ）は、３項組ｔｉに含まれる構文特徴ＣＰｔｉが因果関係を持たない確率を示す。因果関係知識抽出装置１は、この値を用いて予め設定された値と比較する等により、因果関係を持つときの特徴的な構文構造を判定することができる。
【００３９】
また、機械学習部５は、図６に示したステップ６−２において最終的に計算した確率Ｐ（ＳＰｔｉ｜ｃｊ）から、以下の式を用いて確率Ｐ（ｃｊ｜ＳＰｔｉ）を計算する。
【数１０】
2007219947.tif 000013
ここで、確率Ｐ（ｃ１｜ＳＰｔｉ）は、３項組ｔｉに含まれる名詞ペアＳＰｔｉが因果関係を持つ確率を示す。確率Ｐ（ｃ０｜ＳＰｔｉ）は、３項組ｔｉに含まれる名詞ペアＳＰｔｉが因果関係を持たない確率を示す。因果関係知識抽出装置１は、この値を用いて予め設定された値と比較する等により、因果関係を持つ名詞ペアを判定することができる。
【００４０】
次に、テキスト解析インターフェース部６の処理について詳細に説明する。図７は、テキスト解析インターフェース部６の処理を説明するためのフローチャートである。まず、テキスト解析インターフェース部６は、テキスト解析の対象となるテキストデータを入力し、形態素解析により形態素に分割し、名詞のペアを抽出する（ステップＳ７−１）。この名詞ペアを抽出する手法は、図１に示した名詞ペア抽出部２によるものと同様である。
【００４１】
そして、テキスト解析インターフェース部６は、抽出した全ての名詞ペアについて、当該名詞ペアを含むテキストデータの構造上の特徴及び名詞ペアの属性の特徴を抽出する（ステップＳ７−２）。具体的には、構文解析により、名詞ペアを含むテキストデータにおける文節の間の係り受け関係を解析して木構造を生成し、木構造からＰＳＥを生成し、シソーラスを用いて名詞ペアの上位概念を抽出する。そして、ＰＳＥ及び上位概念を用いて、当該テキストデータの構造上の特徴及び名詞ペアの属性の特徴を示す３項組を生成する。このように、テキスト解析インターフェース部６は、全ての名詞ペアについて３項組を生成する。この３項組を生成する手法は、図１及び図２に示した特徴抽出部３によるものと同様である。
【００４２】
そして、テキスト解析インターフェース部６は、解析対象の名詞ペアにおける３項組の構文特徴ＣＰｔｉについて、それと同一の構文特徴を有する式（９）に示した確率Ｐ（ｃｊ｜ＣＰｔｉ）を、記憶部７−１に格納された出力データから検索する。そして、検索結果の確率Ｐ（ｃ１｜ＣＰｔｉ）と予め設定された閾値（例えば０．５）とを比較し（ステップＳ７−４）、この確率Ｐ（ｃ１｜ＣＰｔｉ）が閾値より大きいときに、その名詞ペアは因果関係が有ると判定する（ステップＳ７−４）。一方、この確率Ｐ（ｃｊ｜ＣＰｔｉ）が閾値以下のときに、その名詞ペアは因果関係が無いと判定する（ステップＳ７−５）。全ての名詞ペアについて、ステップ７−４〜７−６の処理を行う（ステップＳ７−３）。
【００４３】
尚、図７に示したフローチャートでは、名詞ペアについての因果関係の有無を、ステップ７−４において式（９）に示した確率Ｐ（ｃ１｜ＣＰｔｉ）と予め設定された閾値とを比較することにより判定するようにしたが、式（９）に示した確率Ｐ（ｃ１｜ＣＰｔｉ）の代わりに式（７）に示した確率Ｐ（ｃ１｜ｔｉ）を用いるようにしてもよい。
【００４４】
以上のように、因果関係知識抽出装置１によれば、因果関係が明記されていない大量の教師無しデータと、因果関係が明記されている少量の教師有りデータとを生成し、ＥＭアルゴリズムを用いた機械学習により、全ての名詞ペアに対し、因果関係の有無を表す確率を算出するようにした。この確率を用いることにより、因果関係の有無を判定することが可能となる。すなわち、因果関係を持つ名詞ペア及び因果関係を持つ文構造を抽出することが可能となる。また、未知のテキストデータに対しても、因果関係の有無を判定することが可能となる。
【００４５】
また、例えば、このような因果関係知識抽出装置１を、放送波を受信する放送受信装置に適用した場合には、当該放送受信装置は、放送で送られてくるクローズドキャプション等の信頼できる情報源となるテキストデータを常時監視して解析することにより、自動的に因果関係知識データを蓄積することができる。これにより、人間が持っている因果関係に関する知識を自動的に学習することが可能となる。したがって、このように学習した因果関係知識を利用することにより、「何故」といったタイプの高度な質問に対して自動的に応答することが可能なシステムを構築することが可能となる。
【００４６】
尚、因果関係知識抽出装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。因果関係知識抽出装置１に備えた名詞ペア抽出部２、特徴抽出部３、タグ付け部４及び機械学習部５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００４７】
以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図１に示した因果関係知識抽出装置１は、１台のコンピュータ装置により構成されるが、これに限定されるものではなく、テキスト解析インターフェース部６のみを他のコンピュータ装置に備え、ネットワークを介して接続するように構成してもよい。また、名詞ペア抽出部２及び特徴抽出部３等を処理単位毎に異なるコンピュータ装置に備え、ネットワークを介して接続するように構成してもよいし、記憶部７−１〜７−４またはそのうちの一部を他のコンピュータ装置に備えるように構成してもよい。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態による因果関係知識抽出装置の構成を示すブロック図である。
【図２】図１の特徴抽出部の構成を示すブロック図である。
【図３】木構造の生成例１を示す図である。
【図４】木構造の生成例２を示す図である。
【図５】変形した木構造の例を示す図である。
【図６】機械学習部の処理を説明するフローチャートである。
【図７】テキスト解析インターフェース部の処理を説明するフローチャートである。
【符号の説明】
【００４９】
１  因果関係知識抽出装置
２  名詞ペア抽出部
３  特徴抽出部
４  タグ付け部
５  機械学習部
６  テキスト解析インターフェース部
７  記憶部
３１  木構造生成手段
３２  上位概念抽出手段
３３  ＰＳＥ生成手段
３４  ３項組生成手段
３５  シソーラス記憶部
【図１】
2007219947.tif 000014
【図２】
2007219947.tif 000015
【図３】
2007219947.tif 000016
【図４】
2007219947.tif 000017
【図５】
2007219947.tif 000018
【図６】
2007219947.tif 000019
【図７】
2007219947.tif 000020