(57)【要約】【課題】訓練用コーパスから情報抽出規則を簡易に生成する。【解決手段】テキスト入力部１０は文章を順次に入力する。木構造抽出部１１は、入力した文章を統語解析して構文木を抽出する。木構造表示部１２は、抽出された構文木の情報に基づいて木構造を表示部に表示する。アノテーション付与部１３は、木構造の表示を用いてインタラクティブにアノテーションを付与する。木構造正規表現抽出部１４は、木構造およびアノテーションから、対応する規則を表示する木構造表現を抽出し、情報抽出規則記憶部１５に記憶される。この情報抽出規則は、情報抽出時に用いられ、文章とマッチングされる。【選択図】  図１
2004318809.tif 000002
【特許請求の範囲】
【請求項１】
文章を表す木構造を入力する木構造入力手段と、
上記木構造の所定のノードを情報抽出規則の要素として選択するための抽出規則要素選択指示を受け取る抽出規則要素選択指示受取手段と、
上記抽出規則要素選択指示に基づいて上記ノードを要素とする情報抽出規則を生成する情報抽出規則生成手段とを有することを特徴とする情報抽出規則生成装置。
【請求項２】
文章を表す木構造を入力する木構造入力手段と、
入力された上記木構造を表示する木構造表示手段と、
表示された上記木構造の所定のノードを情報抽出規則の要素として選択するための抽出規則要素選択指示を受け取る抽出規則要素選択指示受取手段と、
上記抽出規則要素選択指示に基づいて上記ノードを要素とする情報抽出規則を生成する情報抽出規則生成手段とを有することを特徴とする情報抽出規則生成装置。
【請求項３】
情報抽出規則の要素の候補となる箇所にマークが付された文章情報を入力する文章情報入力手段と、
入力された文章情報の基づいて文章を表す木構造を抽出する木構造抽出手段と、
抽出された木構造を上記候補となる箇所を他の区別しつつ表示する木構造表示手段と、
表示された上記木構造の所定のノードを情報抽出規則の要素として選択するための抽出規則要素選択指示を受け取る抽出規則要素選択指示受取手段と、
上記抽出規則要素選択指示に基づいて上記ノードを要素とする情報抽出規則を生成する情報抽出規則生成手段とを有することを特徴とする情報抽出規則生成装置。
【請求項４】
文章を入力する文章入力手段と、
入力された文章を表す木構造を抽出する木構造抽出手段と、
上記文章をノード単位に分かち書きして表示する分かち書き表示手段と、
上記木構造の所定のノードを情報抽出規則の要素として選択するための抽出規則要素選択指示であって、分かち書きして表示された文章に関連してノード単位の文章部分を特定することにより行われるものを、受け取る抽出規則要素選択指示受取手段と、
上記抽出規則要素選択指示に基づいて上記ノードを要素とする情報抽出規則を生成する情報抽出規則生成手段とを有することを特徴とする情報抽出規則生成装置。
【請求項５】
上記抽出規則要素選択指示は、分かち書きして表示された文章に隣接して入力されたマーク記号の位置に関する情報を含み、上記情報抽出規則生成手段は、上記抽出規則要素選択指示に含まれる上記マーク記号の位置に関する情報と上記分かち書きして表示された文章に含まれるノード単位の文章部分の位置に関する情報とに基づいて、当該文章部分のノードを上記情報抽出規則の要素とする文章抽出規則を生成する請求項４記載の情報抽出規則生成装置。
【請求項６】
上記情報抽出規則は、情報抽出規則の要素として選択されたノードを含む木構造またはその一部のパターンとする請求項１、２、３、４または５記載の情報抽出規則生成装置。
【請求項７】
上記パターンは木構造正規表現で記述されたものである請求項６記載の情報抽出規則生成装置。
【請求項８】
上記抽出規則要素選択指示は、上記情報抽出規則の要素および上記情報抽出規則の識別情報を含む請求項１〜７のいずれかに記載の情報抽出規則生成装置。
【請求項９】
文章を表す木構造を入力するステップと、
入力された上記木構造を表示するステップと、
表示された上記木構造の所定のノードを情報抽出規則の要素として選択する抽出規則要素選択指示を受け取るステップと、
上記抽出規則選択指示に基づいて上記ノードを要素とする抽出規則を生成するステップとを有することを特徴とする情報抽出規則生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、大量の文章から所望の情報を抽出するのに最適な情報抽出規則を機械的に生成する技術に関する。
【０００２】
【従来の技術】
お客様からの問い合わせなどのテキストに含まれている重要な情報をいかに引き出すかは、企業にとって死活問題につながる。このような重要情報の抽出は、これからの企業活動にとって、なくてはならないものである。ところで、そのような情報を引き出す方法として、これまで特定の情報を抽出する規則を手作業で作成し、これを使って情報抽出を行ってきた。しかしながら、そのような規則を作成するにはスキルを必要とし、とても時間がかかるものであった。たとえば、一人の作業者で行った場合には、１年の作業時間を要していた。また、抽出したい情報の種類により、異なる種類のルール集合を作成する必要があり、用途に応じて種々の情報を必要とする場合には、膨大な作業時間を要することになる。
【０００３】
なおこの発明と関連する特許文献としては、ユーザが分類ルールを入力・修正するようにしたもの（例えば特許文献１）や、キーワード抽出ルールを使用している際にユーザが不適用と指示したルールについては以降適用解除するもの（例えば特許文献２）がある。
【特許文献１】
特開２００２−１５７２６２
【特許文献２】
特開２００１−２９７１００
【０００４】
【発明が解決しようとする課題】
この発明は、以上の事情を考慮してなされたものであり、大量の文章から所望の情報を抽出するのに最適な情報抽出規則を機械的に簡易に生成する技術を提供することを目的としている。
【０００５】
【課題を解決するための手段】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【０００６】
すなわち、この発明の一側面によれば、上述の目的を達成するために、情報抽出規則生成装置に：文章を表す木構造を入力する木構造入力手段と；上記木構造の所定のノードを情報抽出規則の要素として選択するための抽出規則要素選択指示を受け取る抽出規則要素選択指示受取手段と；上記抽出規則要素選択指示に基づいて上記ノードを要素とする情報抽出規則を生成する情報抽出規則生成手段とを設けるようにしている。
【０００７】
この構成においては、抽出規則要素選択指示受取手段によりユーザからの指示に基づき所定のノードを選択するだけで当該ノードを要素とする情報抽出規則を簡易に生成できる。
【０００８】
また、この発明の他の側面によれば、上述の目的を達成するために、情報抽出規則生成装置に：文章を表す木構造を入力する木構造入力手段と；入力された上記木構造を表示する木構造表示手段と；表示された上記木構造の所定のノードを情報抽出規則の要素として選択する抽出規則要素選択指示を受け取る抽出規則要素選択指示受取手段と；上記抽出規則選択指示に基づいて上記ノードを要素とする抽出規則を生成する情報抽出規則生成手段とを設けるようにしている。
【０００９】
この構成においては、木構造の表示を見ながら情報抽出規則の要素となるノード（語等）を特定するだけで抽出規則要素選択指示受取手段が当該指示を受取り、もって簡易に情報抽出規則を生成できる。
【００１０】
また、この発明のさらに他の側面によれば、上述の目的を達成するために、情報抽出規則生成装置に：文章を入力する文章入力手段と；入力された文章を表す木構造を抽出する木構造抽出手段と；上記文章をノード単位に分かち書きして表示する分かち書き表示手段と；上記木構造の所定のノードを情報抽出規則の要素として選択するための抽出規則要素選択指示であって、分かち書きして表示された文章に関連してノード単位の文章部分を特定することにより行われるものを、受け取る抽出規則要素選択指示受取手段と；上記抽出規則要素選択指示に基づいて上記ノードを要素とする情報抽出規則を生成する情報抽出規則生成手段と設けるようにしている。
【００１１】
この構成においては、分かち書きされている文章の例えば１行下においてマーク記号を入力して簡易に所望のノードを選択し、この選択の指示を抽出規則要素選択指示受取手段で受取り、もって、あたかもテキストエディタを操作する態様で情報抽出規則を生成できる。もちろん、マウス装置等のポインティング装置等を用いて分かち書きされている文章の部分を指示するようにしてもよい。
【００１２】
上記情報抽出規則は、たとえば、情報抽出規則の要素として選択されたノードを含む木構造またはその一部のパターンにより構成される。上記パターンはたとえば、木構造正規表現で記述されたものである。
【００１３】
木構造正規表現はつぎのようなものである。
【００１４】
［正確に木を表現する場合］
ここでは木をデータと呼ぶ。
▲１▼ノードを文字列で表現する。これをノード名と呼ぶ。
▲２▼ノードの下の子の列は、ノード名をカンマで区切り、左括弧｛と右括弧｝でくくって示す。子の列に順序はある。
▲３▼Ａを頂点とし、その下に、ＢとＣがある木は「Ａ｛Ｂ，Ｃ｝」で表す。さらにＢの下にＤとＥがある木は「Ａ｛Ｂ｛Ｄ，Ｅ｝，Ｃ｝」で表す。
【００１５】
［木に含まれている特定の部分だけを表現する場合］
ここでは木の部分はパターンと呼ぶ。
▲１▼ノード名が任意の場合は、「？」で示す。たとえば、あるノードの下に、ＢとＣがあるは、「？｛Ｂ，Ｃ｝」で表す。
▲２▼子の列の少なくとも一つが指定されたノードであることを示す場合先頭に、「？＊」を補い、必要となるノード名を記述する。例えば、ノードＡの下に、子Ｅがあれば、「Ａ｛？＊，Ｅ｝」で表す。その他に何があってもいい。
▲３▼子の列に指定されたノードが、隣同士である必要がない場合は、兄弟間に、「＊？」をはさんで示す。例えば、ノードＢとＣが隣同士でなくてもいい。「Ｂ，＊？，Ｃ」のように表す。
【００１６】
［一致］
上記のデータは次の条件を満たす場合に、一致または適合するという。
【００１７】
パターンの木構造とデータの木構造を対応付けて、さらに、パターン上に指定のあるノード名がデータ上の対応箇所で適合する場合、パターンはデータに一致する、という。また、そのときにノード名が対応付けられ、任意であった部分に、値が割り当てられる。
【００１８】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００１９】
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【００２０】
【発明の実施の形態】
以下、この発明の実施例の情報抽出規則生成システムについて説明する。この情報抽出規則生成システムは、訓練用コーパス（文章群。図３）から情報抽出規則（図８）を生成するものである。
【００２１】
図１は、この発明の実施例の情報抽出規則生成システムを全体として示しており、この図において、情報抽出規則生成システムはテキスト入力部１０、木構造抽出部１１、木構造表示部１２、アノテーション付与部１３、木構造正規表現抽出部１４および情報抽出規則記憶部１５を含んで構成されている。具体的な例では、この情報抽出規則生成システムは、計算機１００により実現される。計算機１００により実現される場合には図２の各ステップＳ１０〜Ｓ１５を実行するプログラムを用いる。ステップＳ１０〜Ｓ１５は図１の各部１０〜１５に対応している。
【００２２】
図２は、図１の構成に対応する処理手順を示すものであり、図１の各部に対応してステップＳ１０〜Ｓ１５が実行される。
【００２３】
図３は、訓練用コーパスを説明するものであり、この図の左欄に訓練用コーパス（その一部）を示す。作業者は、コーパスの文章を読んで、あらかじめ抽出対象に関連する部分にマークを付す。この例では、感情的不満を表現する部分にマークが付されている。図３の中央欄は、マークがある文章を抜粋したものである。この抜粋を図１の情報抽出規則生成システムで用いる。さらに図３の右欄に示すように重要語句部分を抜粋しておいてもよい。
【００２４】
図１に戻る。テキスト入力部１０は、図３の中央欄に示すような文章を順次に入力する。木構造抽出部１１は、入力した文章を統語解析して図４に示すような構文木を抽出する。この構文木は図５に示すような文章情報からなる。この例では、「今日はちょっとあぜんとしました」という文章を解析している。
【００２５】
木構造（根構造ともいう）についてここで説明する。日本語の文節は、次のように構成された根に解析されているものとする。
【００２６】
▲１▼最上位ノード
文を表現する。
▲２▼第２段
被修飾ノード：体言、用言、体用言の３種類のノードを表す。
修飾ノード：連体、連用、「の」の３種類のノードを示す。
▲３▼第３段以下
形態素または形態素列を表すノードを示す。
【００２７】
清書フォーマットはつぎに説明する木構造表示部１２により表示されるフォーマットである。清書フォーマットは、根構造の各ノードを、深さ優先順に行単位に出力したファイルである。先頭の字下げの回数により、根の根元からの深さを示す。
【００２８】
木構造表示部１２は、抽出された構文木の情報に基づいて木構造を表示部（図示しない。例えば計算機のモニタである）に図６に示すように表示する。
【００２９】
アノテーション付与部１３は、図６のような表示を用いてインタラクティブにアノテーションを付与するものである。例えば、作業者のマウス操作やキーボード操作に基づいてアノテーションを入力する。
【００３０】
アノテーションは例えば図７に示すようなものである。この例ではエディタを用いて木構造を表示する。構造自体はインデントにより表記される。モニタ画面１３０の所望部分をポイントして規則を指示するアノテーションを入力していく。あらかじめ対応部分にはマークが付されているのでアノテーションを容易に入力できる。
【００３１】
この例では、第１の「＝」を「ちょっと」の位置に付し、同じく、「＝」をあぜんと」の位置に付し、さらに、所定の規則であることを示す「ｓｅｎｓｉｔｉｖｅ」（不満を示す）を付す。
【００３２】
木構造正規表現抽出部１４は、木構造およびアノテーションから、対応する規則を表示する木構造表現を抽出する。この例では、図８（Ａ）に示すように語句、文法情報、木構造正規表現の記号を用いて木構造表現を抽出する。この例では、「ちょっと」と「？＊」と「あぜんと」から木構造正規表現が構成される。「？＊」により「ちょっと」と「あぜん」とが離れて配置されているときに規則が適用されることになる。
【００３３】
このような木構造正規表現からなる情報抽出規則が情報抽出規則記憶部１５に記憶される。この情報抽出規則は、情報抽出時に用いられ、文章とマッチングされる。
【００３４】
図８（Ｂ）は、図９の例から生成した抽出規則を示す。この例では、「限界です」という体言節があったおきに情報を抽出する規則を表す。
【００３５】
図１０は、アノテーションの例を説明するものである。もちろん他の表記等を用いることができる。「＝」は規則を構成するノードであることを示す。（Ａ）はｘ、ｙがともに規則を構成するノードであることを示す。（Ｂ）は「＊＝」を用い構成するノードが離れていることを示す例である。（Ｃ）は「〜」を用いてそのようなノードがないことを条件とすることを示す。（Ｄ）は（Ｃ）の場合において、間が開いている場合を示す。
【００３６】
図１１はアノテーションの拡張を示す。この例では、上述のアノテーションに加え、「＝ｎａｍｅ」、「＝ｎａｍｅ（ｎ）」（ｎ＝１，２，３・・・）等（「〜」、「＊」も同様）を用いる。「ｎａｍｅ」は規則に識別名等であり、規則の識別名を「ｎａｍｅ（ｎ）」は配列のように表記したものである。このようにすると、１つの文章から複数の規則を抽出することができ、また、規則の識別名を用いて多様な規則を簡易に一括して抽出することができる。規則の識別名はプルダウンメニュー等を用いて選択するようにしてもよい。
【００３７】
つぎにこの発明の他の実施例について説明する。図１２はこの実施例を全体として示しており、この図において図１と対応する箇所には対応する符号を付す。
【００３８】
図１２において、木構造抽出部１１の木構造情報（統語解析結果）に基づいて分かち書き表示部１６が文章を分かち書きして表示する。この例では図１５に示すように所定数のスペースを用いて分かち書きを行う。文書部分（ノードに対応する部分）が長い場合でも重ならないように制御した場合には、タブ等を用いることもできる。
【００３９】
図１３は、木構造抽出部１１において、当該実施例用に付加される構成の例を示しており、この図において、分かち書き部１１０が木構造情報から文章部分の分かち書き位置（図１５の左右方向の位置）を決定し分かち書き位置記憶部１１１に記憶する。分かち書き表示部１６はこの分かち書き位置記憶部１１１を参照して文章部分を分かち書き表示する。他方、アノテーション付与部１３は、アノテーションを付加する。この例では図１６に示すように分かち書き表示領域の下の行に「＝」が付される。このマークにより直上の文章部分が規則の要素として選択される。アノテーション位置記憶部１１３はアノテーションの位置（図１６の左右方向の位置）を記憶する。アノテーション属性付与部１１２は分かち書き位置記憶部１１１の位置情報とアノテーション位置記憶部１１３の位置情報とを比較してアノテーションが付された文章部分（ノード）にアノテーションの属性を付与する。木構造正規表現抽出部１４は、アノテーションの属性が付与されたノードおよび木構造に基づいて木構造正規表現を抽出する。
【００４０】
なお、アノテーションが正しく付与されたことを木構造表示で確認するための図１７に示すようなアノテーション付きの木構造を表示することがこのましい。
【００４１】
図１４は図１２の実施例の動作を説明するフローチャートである。図１４においては分かち書きを行うステップＳ２２が用いられる点を除いて図２と同様であるので、詳細な説明は繰り返さない。
【００４２】
以上でこの発明の実施例の説明を終了する。
【００４３】
なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。上述の例では、テキストを用いたが、音声情報を音声認識してテキストとし情報を抽出するようにしてもよい。
【００４４】
【発明の効果】
以上説明したように、この発明によれば、情報抽出規則を自動的に生成することにより、そのような規則作成の作業を大幅に軽減することができる。具体的な例では、人が１年かかるものが、数分でできる。
【図面の簡単な説明】
【図１】この発明の実施例を全体として示すブロック図である。
【図２】上述実施例における処理手順を説明するフローチャートである。
【図３】情報抽出規則を生成するのに用いる訓練用コーパスの例を説明する図である。
【図４】木構造の例を説明する図である。
【図５】図４の木構造に対応する清書フォーマットの例を説明する図である。
【図６】清書フォーマットの表示例を説明する図である。
【図７】清書フォーマットにアノテーションを付加する手順を説明する図である。
【図８】抽出した木構造正規表現による規則を説明する図である。
【図９】構文木の他の例を説明する図である。
【図１０】アノテーションを説明する図である。
【図１１】アノテーションの拡張を説明する図である。
【図１２】この発明の他の実施例を全体として示すブロック図である。
【図１３】図１２の実施例の要部の構成例を説明するブロック図である。
【図１４】図１２の実施例の動作を説明するフローチャートである。
【図１５】図１２の動作を説明するためのエディタ画面（アノテーション付与前）を説明する図である。
【図１６】図１２の動作を説明するためのエディタ画面（アノテーション付与後）を説明する図である。
【図１７】図１２の実施例によりアノテーションが付与された木構造の例を説明する図である。
【符号の説明】
１０      テキスト入力部
１１      木構造抽出部
１２      木構造表示部
１３      アノテーション付与部
１４      木構造正規表現抽出部
１５      情報抽出規則記憶部
１６      分かち書き表示部
１００      計算機
１１０      分かち書き部
１１１      分かち書き位置記憶部
１１２      アノテーション属性付与部
１１３      アノテーション位置記憶部
１３０      モニタ画面
【図１】
2004318809.tif 000003
【図２】
2004318809.tif 000004
【図３】
2004318809.tif 000005
【図４】
2004318809.tif 000006
【図５】
2004318809.tif 000007
【図６】
2004318809.tif 000008
【図７】
2004318809.tif 000009
【図８】
2004318809.tif 000010
【図９】
2004318809.tif 000011
【図１０】
2004318809.tif 000012
【図１１】
2004318809.tif 000013
【図１２】
2004318809.tif 000014
【図１３】
2004318809.tif 000015
【図１４】
2004318809.tif 000016
【図１５】
2004318809.tif 000017
【図１６】
2004318809.tif 000018
【図１７】
2004318809.tif 000019