(57)【要約】【課題】文章抽出規則を規則の相互関係や訓練用テキストを考慮に入れて最適化する。【解決手段】適合化用テキスト記憶部２０のテキストに情報抽出規則候補記憶部２１の規則候補を適用して情報抽出部２２で文章を抽出する。抽出情報に基づいて規則の成績を判別する。成績は正文および誤文の数等により表記される。クラスタリング部２７は、１以上の正文を抽出する規則をその正文数が少ない順に処理し、その正文を自らの正文としてすべて含む他の規則をこのノードとして配置していき、クラスタツリーを構成する。深さ優先でクラスタツリーを探索して規則を選別していく。【選択図】図１２
2004258771.tif 000002
【特許請求の範囲】
【請求項１】
適合化対象文章抽出規則を記憶する手段と、
訓練用文章を記憶する手段と、
上記適合化対象文章抽出規則を上記訓練用文章に適用して文章を抽出する文章抽出手段と、
上記文章抽出手段の抽出結果に基づいて、適合化対象文章抽出規則ごとに、当該適合化対象文章抽出規則が抽出した、正しい抽出結果の文章に関する抽出結果情報を記憶する手段と、
上記抽出結果情報に基づいて、正しい抽出結果の文章の数がゼロでない適合化対象文章抽出規則のうち、正しい抽出結果の文章が少ないものを優先的にクラスタリングの種として上記適合化対象文章抽出規則をクラスタリングする適合化対象文章抽出規則クラスタリング手段と、
上記適合化対象文章抽出規則クラスタリング手段のクラスタリング結果に基づいて文章抽出規則を選別する文章抽出規則選別手段とを有することを特徴とする文章抽出規則適合化装置。
【請求項２】
適合化対象文章抽出規則を記憶する手段と、
訓練用文章を記憶する手段と、
上記適合化対象文章抽出規則を上記訓練用文章に適用して文章を抽出する文章抽出手段と、
上記文章抽出手段の抽出結果に基づいて、適合化対象文章抽出規則ごとに、当該適合化対象文章抽出規則が抽出した、正しい抽出結果の文章と、誤った抽出結果の文章に関する抽出結果情報を記憶する手段と、
上記抽出結果情報に基づいて、正しい抽出結果の文章の数がゼロでない適合化対象文章抽出規則のうち、正しい抽出結果の文章が少ないものを優先的にクラスタリングの種として上記適合化対象文章抽出規則をクラスタリングする適合化対象文章抽出規則クラスタリング手段と、
上記適合化対象文章抽出規則クラスタリング手段のクラスタリング結果に基づいて文章抽出規則を選別する文章抽出規則選別手段とを有することを特徴とする文章抽出規則適合化装置。
【請求項３】
クラスタリングの種を選定する際に、正しい抽出結果の文章の数が等しい場合には、誤った抽出結果の文章の数が少ない適合化対象文章抽出規則を種とする請求項２記載の文章抽出規則適合化装置。
【請求項４】
クラスタリングの種を選定する際に、正しい抽出結果の文章の数が等しく、かつ、誤った抽出結果の文章の数が等しい適合化対象文章抽出規則が複数ある場合には、そのうちの１つを種として、残りを不要規則とする請求項２または３記載の文章抽出規則適合化装置。
【請求項５】
上記文章規則選別手段は、上記クラスタリング結果により生成された木構造の末端ノードの文章抽出規則が誤った抽出結果を伴わない場合には当該末端の文章抽出規則の上位のノードの文章抽出規則を冗長なものとして文章抽出規則から除外する請求項２、３または４記載の文章抽出規則適合化装置。
【請求項６】
親のノードの文章抽出規則が抽出しない文章を正しい抽出結果として抽出する子のノードの文章抽出規則は冗長なものとして文章抽出規則の対象を絞り込むようにする請求項２、３、４または５記載の文章抽出規則適合化装置。
【請求項７】
適合化対象文章抽出規則を訓練用文章に適用して文章を抽出した文章抽出結果に基づいて、適合化対象文章抽出規則ごとに、当該適合化対象文章抽出規則が抽出した、正しい抽出結果の文章と、誤った抽出結果の文章に関する抽出結果情報を記憶する手段と、
上記抽出結果情報に基づいて、正しい抽出結果の文章の数がゼロでない適合化対象文章抽出規則のうち、正しい抽出結果の文章が少ないものを優先的にクラスタリングの種として上記適合化対象文章抽出規則をクラスタリングする適合化対象文章抽出規則クラスタリング手段と、
上記適合化対象文章抽出規則クラスタリング手段のクラスタリング結果に基づいて文章抽出規則を選別する文章抽出規則選別手段とを有することを特徴とする文章抽出規則適合化装置。
【請求項８】
適合化対象文章抽出規則を記憶する手段と、
訓練用文章を記憶する手段と、
上記適合化対象文章抽出規則を上記訓練用文章に適用して文章を抽出する文章抽出手段と、
上記文章抽出手段の抽出結果に基づいて、適合化対象文章抽出規則ごとに、当該適合化対象文章抽出規則が抽出した、正しい抽出結果の文章と、誤った抽出結果の文章に関する抽出結果情報を記憶する手段と、
上記抽出結果情報に基づいて、正しい抽出結果の文章の数がゼロでない適合化対象文章抽出規則のうち、正しい抽出結果の文章が少ないものを優先的にクラスタリングの種として上記適合化対象文章抽出規則をクラスタリングする適合化対象文章抽出規則クラスタリング手段と、
上記適合化対象文章抽出規則クラスタリング手段のクラスタリング結果に基づいて上記適合化対象文章抽出規則のうちの少なくとも一部を表示する手段と、
上記表示された適合化対象文章抽出規則の選別指示を入力する手段とを有することを特徴とする文章抽出規則適合化装置。
【請求項９】
適合化対象文章抽出規則を記憶するステップと、
訓練用文章を記憶するステップと、
上記適合化対象文章抽出規則を上記訓練用文章に適用して文章を抽出する文章抽出ステップと、
上記文章抽出ステップの抽出結果に基づいて、適合化対象文章抽出規則ごとに、当該適合化対象文章抽出規則が抽出した、正しい抽出結果の文章と、誤った抽出結果の文章に関する抽出結果情報を記憶するステップと、
上記抽出結果情報に基づいて、正しい抽出結果の文章の数がゼロでない適合化対象文章抽出規則のうち、正しい抽出結果の文章が少ないものを優先的にクラスタリングの種として上記適合化対象文章抽出規則をクラスタリングする適合化対象文章抽出規則クラスタリングステップと、
上記適合化対象文章抽出規則クラスタリングステップのクラスタリング結果に基づいて文章抽出規則を選別する文章抽出規則選別ステップとを有することを特徴とする文章抽出規則適合化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、大量の文章から所望の文章（情報）を抽出する文章抽出規則を最適化する技術に関する。
【０００２】
【従来の技術】
お客様からの問い合わせなどのテキストに含まれている重要な情報をいかに引き出すかは、企業にとって死活問題につながる。このような重要情報の抽出は、これからの企業活動にとって、なくてはならないものである。ところで、そのような情報を引き出す方法として、これまで特定の情報を抽出する規則を手作業で作成し、これを使って情報抽出を行ってきた。しかしながら、そのような規則は、一つずつが再現率と適合率を持つものの集合体であり、規則全体を改良するには、規則を一つずつ吟味するだけではほとんど意味がなく、どの規則がどの範囲で機能するかなど相互関係を考慮しなければならず、とても時間のかかる作業であった。
【０００３】
【発明が解決しようとする課題】
この発明は、以上の事情を考慮してなされたものであり、規則の相互関係を十分考慮した上で簡易に規則全体を改良できる文章抽出規則適合化手法を提供することを目的としている。
【０００４】
【課題を解決するための手段】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【０００５】
すなわち、この発明の一側面によれば、上述の目的を達成するために、文章抽出規則適合化装置に：適合化対象文章抽出規則を記憶する手段と；訓練用文章を記憶する手段と；上記適合化対象文章抽出規則を上記訓練用文章に適用して文章を抽出する文章抽出手段と；上記文章抽出手段の抽出結果に基づいて、適合化対象文章抽出規則ごとに、当該適合化対象文章抽出規則が抽出した、正しい抽出結果の文章と、誤った抽出結果の文章に関する抽出結果情報を記憶する手段と；上記抽出結果情報に基づいて、正しい抽出結果の文章の数がゼロでない適合化対象文章抽出規則のうち、正しい抽出結果の文章が少ないものを優先的にクラスタリングの種として上記適合化対象文章抽出規則をクラスタリングする適合化対象文章抽出規則クラスタリング手段と；上記適合化対象文章抽出規則クラスタリング手段のクラスタリング結果に基づいて文章抽出規則を選別する文章抽出規則選別手段とを設けるようにしている。
【０００６】
この構成においては、抽出結果の正誤に基づいて文章抽出規則をクラスタリングすることにより簡易に文章抽出規則の選別を行える。
【０００７】
この構成において、クラスタリングの種を選定する際に、正しい抽出結果の文章の数が等しい場合には、誤った抽出結果の文章の数が少ない適合化対象文章抽出規則を種とすることが好ましい。
【０００８】
また、クラスタリングの種を選定する際に、正しい抽出結果の文章の数が等しく、かつ、誤った抽出結果の文章の数が等しい適合化対象文章抽出規則が複数ある場合には、そのうちの１つを種として、残りを不要規則とすることが好ましい。
【０００９】
また、上記文章規則選別手段は、上記クラスタリング結果により生成された木構造の末端ノードの文章抽出規則が誤った抽出結果を伴わない場合には当該末端の文章抽出規則の上位のノードの文章抽出規則を冗長なものとして文章抽出規則から除外することが好ましい。
【００１０】
上記文章規則選別手段に合わせて、利用者の選別指示を受け取り、これに基づいて選別を行うようにしてもよい。
【００１１】
自動的に文章規則の選別を行わずに利用者の選別指示に基づいて選別を行うことも可能である。
【００１２】
また、親のノードの文章抽出規則が抽出しない文章を正しい抽出結果として抽出する子のノードの文章抽出規則は冗長なものとして文章抽出規則の対象を絞り込むようにしてもよい。
【００１３】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００１４】
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【００１５】
【発明の実施の形態】
以下、この発明の実施例の情報抽出規則適合化システムについて説明する。ここでは、まず、情報抽出規則についての理解を助けるために情報抽出規則生成システムについて説明する。この情報抽出規則生成システムは、訓練用コーパス（文章群。図３）から情報抽出規則（図８）を生成するものである。もちろん、他の情報抽出規則についてもこの実施例を適用可能である。
【００１６】
情報抽出規則は、たとえば、情報抽出規則の要素として選択されたノードを含む木構造またはその一部のパターンにより構成される。上記パターンはたとえば、木構造正規表現で記述されたものである。
【００１７】
木構造正規表現はつぎのようなものである。
【００１８】
［正確に木を表現する場合］
ここでは木をデータと呼ぶ。
▲１▼ノードを文字列で表現する。これをノード名と呼ぶ。
▲２▼ノードの下の子の列は、ノード名をカンマで区切り、左括弧｛と右括弧｝でくくって示す。子の列に順序はある。
▲３▼Ａを頂点とし、その下に、ＢとＣがある木は「Ａ｛Ｂ，Ｃ｝」で表す。さらにＢの下にＤとＥがある木は「Ａ｛Ｂ｛Ｄ，Ｅ｝，Ｃ｝」で表す。
【００１９】
［木に含まれている特定の部分だけを表現する場合］
ここでは木の部分はパターンと呼ぶ。
▲１▼ノード名が任意の場合は、「？」で示す。たとえば、あるノードの下に、ＢとＣがあるは、「？｛Ｂ，Ｃ｝」で表す。
▲２▼子の列の少なくとも一つが指定されたノードであることを示す場合先頭に、「？＊」を補い、必要となるノード名を記述する。例えば、ノードＡの下に、子Ｅがあれば、「Ａ｛？＊，Ｅ｝」で表す。その他に何があってもいい。
▲３▼子の列に指定されたノードが、隣同士である必要がない場合は、兄弟間に、「＊？」をはさんで示す。例えば、ノードＢとＣが隣同士でなくてもいい。「Ｂ，？＊，Ｃ」のように表す。
【００２０】
［一致］
上記のデータは次の条件を満たす場合に、一致または適合するという。
【００２１】
パターンの木構造とデータの木構造を対応付けて、さらに、パターン上に指定のあるノード名がデータ上の対応箇所で適合する場合、パターンはデータに一致する、という。また、そのときにノード名が対応付けられ、任意であった部分に、値が割り当てられる。
【００２２】
図１は、この発明の実施例が前提とする情報抽出規則生成システムを全体として示しており、この図において、情報抽出規則生成システムはテキスト入力部１０、木構造抽出部１１、木構造表示部１２、アノテーション付与部１３、木構造正規表現抽出部１４および情報抽出規則記憶部１５を含んで構成されている。具体的な例では、この情報抽出規則生成システムは、計算機１００により実現される。計算機１００により実現される場合には図２の各ステップＳ１０〜Ｓ１５を実行するプログラムを用いる。ステップＳ１０〜Ｓ１５は図１の各部１０〜１５に対応している。
【００２３】
図２は、図１の構成に対応する処理手順を示すものであり、図１の各部に対応してステップＳ１０〜Ｓ１５が実行される。
【００２４】
図３は、訓練用コーパスを説明するものであり、この図の左欄に訓練用コーパス（その一部）を示す。作業者は、コーパスの文章を読んで、あらかじめ抽出対象に関連する部分にマークを付す。この例では、感情的不満を表現する部分にマークが付されている。図３の中央欄は、マークがある文章を抜粋したものである。この抜粋を図１の情報抽出規則生成システムで用いる。さらに図３の右欄に示すように重要語句部分を抜粋しておいてもよい。
【００２５】
図１に戻る。テキスト入力部１０は、図３の中央欄に示すような文章を順次に入力する。木構造抽出部１１は、入力した文章を統語解析して図４に示すような構文木を抽出する。この構文木は図５に示すような文章情報からなる。この例では、「今日はちょっとあぜんとしました」という文章を解析している。
【００２６】
木構造（根構造ともいう）についてここで説明する。日本語の文節は、次のように構成された根に解析されているものとする。
▲１▼最上位ノード
文を表現する。
▲２▼第２段
被修飾ノード：体言、用言、体用言の３種類のノードを表す。
修飾ノード：連体、連用、「の」の３種類のノードを示す。
▲３▼第３段以下
形態素または形態素列を表すノードを示す。
【００２７】
清書フォーマットはつぎに説明する木構造表示部１２により表示されるフォーマットである。清書フォーマットは、根構造の各ノードを、深さ優先順に行単位に出力したファイルである。先頭の字下げの回数により、根の根元からの深さを示す。
【００２８】
木構造表示部１２は、抽出された構文木の情報に基づいて木構造を表示部（図示しない。例えば計算機のモニタである）に図６に示すように表示する。
【００２９】
アノテーション付与部１３は、図６のような表示を用いてインタラクティブにアノテーションを付与するものである。例えば、作業者のマウス操作やキーボード操作に基づいてアノテーションを入力する。
【００３０】
アノテーションは例えば図７に示すようなものである。この例ではエディタを用いて木構造を表示する。構造自体はインデントにより表記される。モニタ画面１３０の所望部分をポイントして規則を指示するアノテーションを入力していく。あらかじめ対応部分にはマークが付されているのでアノテーションを容易に入力できる。
【００３１】
この例では、第１の「＝」を「ちょっと」の位置に付し、同じく、「＝」をあぜんと」の位置に付し、さらに、所定の規則であることを示す「ｓｅｎｓｉｔｉｖｅ」（不満を示す）を付す。
【００３２】
木構造正規表現抽出部１４は、木構造およびアノテーションから、対応する規則を表示する木構造表現を抽出する。この例では、図８（Ａ）に示すように語句、文法情報、木構造正規表現の記号を用いて木構造表現を抽出する。この例では、「ちょっと」と「？＊」と「あぜんと」から木構造正規表現が構成される。「？＊」により「ちょっと」と「あぜん」とが離れて配置されているときに規則が適用されることになる。
【００３３】
このような木構造正規表現からなる情報抽出規則が情報抽出規則記憶部１５に記憶される。この情報抽出規則は、情報抽出時に用いられ、文章とマッチングされる。
【００３４】
図８（Ｂ）は、図９の例から生成した抽出規則を示す。この例では、「限界です」という体言節があったおきに情報を抽出する規則を表す。
【００３５】
図１０は、アノテーションの例を説明するものである。もちろん他の表記等を用いることができる。「＝」は規則を構成するノードであることを示す。（Ａ）はｘ、ｙがともに規則を構成するノードであることを示す。（Ｂ）は「＊＝」を用い構成するノードが離れていることを示す例である。（Ｃ）は「〜」を用いてそのようなノードがないことを条件とすることを示す。（Ｄ）は（Ｃ）の場合において、間が開いている場合を示す。
【００３６】
図１１はアノテーションの拡張を示す。この例では、上述のアノテーションに加え、「＝ｎａｍｅ」、「＝ｎａｍｅ（ｎ）」（ｎ＝１，２，３・・・）等（「〜」、「＊」も同様）を用いる。「ｎａｍｅ」は規則に識別名等であり、規則の識別名を「ｎａｍｅ（ｎ）」は配列のように表記したものである。このようにすると、１つの文章から複数の規則を抽出することができ、また、規則の識別名を用いて多様な規則を簡易に一括して抽出することができる。規則の識別名はプルダウンメニュー等を用いて選択するようにしてもよい。
【００３７】
つぎにこの発明の実施例の情報抽出規則適合化システムについて説明する。
【００３８】
この実施例では、本来抽出されるべき文章を正文（「１」で表す）、本来抽出されるべきでない文を誤文（「−１」で表す）と呼ぶ。正文のみを抽出する規則を正解規則（ノード）と呼び、正文および誤文の双方を抽出する規則を普通の規則（ノード）の呼ぶ。各規則について抽出された正文および誤文の情報を取得し、この情報に基づいて規則ないしそのノードのクラスタリングを行う。クラスタリングは、正文を１個以上抽出する規則を正文の抽出数の順に並べ、抽出数が少ない順に親のノードとして選択し、当該親のノードの正文をすべて抽出する他の規則を子ノードとする。正文の抽出数が同じ場合には誤文が少ない順に親のノードとして選択する。
【００３９】
したがって、つぎの事実が成立する。
▲１▼下位ノードの規則は、上位ノードの規則が抽出する正文を必ず抽出する。
▲２▼上位ノードの規則は、下位ノードの規則に比べ、等しいか少ない個数の誤文を含む。
▲３▼兄弟となるノードの規則は、共通する正文を抽出しない。
【００４０】
このような前提事実から、この実施例では、「できるだけ下位から、誤文のない規則を探すこと」という探索アルゴリズムにより規則を選定する。
【００４１】
あるノードが、正しければ（つまり、誤文を抽出しない。正解規則）、それより上位のノードの規則は冗長となる。
【００４２】
ある普通のノードの上位ノードが正解または冗長ならば、そのノードおよびそれより上位で抽出される文を抽出する必要はないので、抽出対象文を絞ることができる。
【００４３】
あるノードが、普通のノードならば、誤文を抽出しないように、そのノードの規則を修正する。つまり、ここでデバッグを行う。その際に、その規則で抽出する必要のある正文を示す。ただし、その文は、この規則でしか抽出できないとは限らない。この処理はクラスタリングの後に行われる。
【００４４】
クラスタリングの後に、クラスタツリーを深さ優先順にたどって、規則を集める。等価規則は、不要規則集合に集める。
【００４５】
さらにこの発明の実施例の情報抽出規則適合化システムについて説明する。
【００４６】
図１２は、この実施例の情報抽出規則適合化システムを全体として示しており、この図において、情報抽出規則適合化システムは、適合化用テキスト記憶部２０、情報抽出規則候補記憶部２１、情報抽出部２２、抽出情報記憶部２３、抽出情報表示部２４、抽出成績入力部２５、抽出成績記憶部２６、クラスタリング部２７、クラスタリング結果記憶部２８、クラスタリング結果表示部２９、選別指示入力部３０、情報抽出規則選別部３１および情報抽出規則記憶部３２等を含んで構成されている。この実施例の情報抽出規則適合化システムは、具体的には、計算機２００上で実行されるプログラムとして実現されている。計算機２００はスタンドアローンのものでもよいし、分散環境で実現されるものでもよい。
【００４７】
図１３は、図１２の構成に対応する処理手順を示しており、この図において、情報抽出規則適合化の処理は以下のとおりである。
【００４８】
［ステップＳ２０］：規則を適用して情報を抽出する。
［ステップＳ２１］：抽出結果を利用者に表示する。利用者は、表示された抽出結果を見て正しい抽出結果（正文）か、誤った抽出結果（誤文）かを判定する。あらかじめ、各文章に正文、誤文のマークを付しておき、自動的に抽出成績を生成してもよい。
［ステップＳ２２］：利用者が入力した抽出成績を受け取る。抽出成績は例えば図１６に対応するものであり。規則が正文を抽出した場合には「１」、誤文を抽出した場合には「−１」の値が付される。もちろん他の種々の表記を採用することもできる。文が抽出されない場合には何も表記されていない（「０」が表記されることもある）。
［ステップＳ２３］：抽出成績の情報に基づいてクラスタリングを行う。このクラスタリングは、先に説明したように、正文数や誤文数に基づくものであり、図１４を用いて後に詳述する。
［ステップＳ２４］：クラスタリング結果（クラスタツリーやクラスタ内の規則の関係表）を表示する。このクラスタリング結果の表示にあわせて所定の手順にしたがって規則の候補を除去するようにしてもよい。例えば、先に説明した冗長な規則や、誤文しか抽出しない規則は、情報抽出規則から除外してもよい。利用者はクラスタリング結果を利用して、規則候補を最終的に残すかの選別情報を入力できる。規則候補の内容を修正した上で規則として採用してもよい。
［ステップＳ２５］：選別した規則を情報抽出規則記憶部３２に記憶する。
【００４９】
つぎに、クラスタリング（図１３のステップＳ２３）の詳細について説明する。
【００５０】
クラスタツリーをつぎのように生成する。
【００５１】
ある規則の正文がすべて正文である他の規則を「その規則に似ている」という。ある規則とそれに似ている規則集合でクラスタを生成する。すなわち、つぎのようになる。
【００５２】
▲１▼似ている規則集合だけでさらにクラスタを求める。クラスタの名前は番号で示す。桁数で深さを示し、番号でその深さでの番号を示す。
▲２▼ある規則とそれに似ている規則を取り除いたあとに残った規則集合に関しても、同じ処理を行う。
▲３▼停止条件：似ているものがなくなるまで行う。
【００５３】
具体的な処理は図１４に示すとおりである。
【００５４】
［ステップＳ３０］：規則候補リスト中の各規則に対応するノードを定義し、これらノードを、対応する規則の正文数が小さい順、正文数が同じ場合には誤文数が小さい順に並べ、処理順とする。以下、すべてのノードについてステップＳ３１〜Ｓ３６を実行する。
［ステップＳ３１］：親ノードがあるかどうか判別する。他のノードの子ノードとされたノードは親ノードがあるが、それ以外のものは親ノードがない。親ノードがあるものはそのままステップＳ３３へ進む。親ノードがないものはステップＳ３２へ進む。
［ステップＳ３２］：当該ノードを根ノードの下に配置する。
［ステップＳ３３］：当該ノードに対応する規則候補を規則候補リストから削除する。
［ステップＳ３４］：当該ノードが抽出するすべての正文を同じく正文として抽出する規則候補リスト中の規則候補のノードがあれば、これを当該ノードの子ノードとして配置する。
［ステップＳ３５］：当該子ノードに対応する規則候補を規則候補リストから削除する。
［ステップＳ３６］：規則候補リストが空かどうかを判断する。空であれば、繰り返し処理を抜けて終了する。
【００５５】
このようなクラスタリングにより図１５に示すようなクラスタツリーが生成される。なお、図中の数字「１」、「２−１」、「２−１−１」は、先に述べたように、クラスタツリー中の各ノードのツリー状の位置を表示している。各規則候補の、このような階層情報や正文、誤文等との関係は図１６に示すような表により表示することもできる。図１６においては、規則候補が、「正解」（「ｇｏｏｄ」）、普通（「ｎｏｒｍａｌ」）であるかどうかも表示している。
【００５６】
クラスタリングの後には以下の処理が行われる。
【００５７】
▲１▼正文なのに、どの規則からも抽出されないものは、「問題文」であり、作業者が規則を追加したり、他の規則を終始したりする必要がある（例：図１９の文１）。
▲２▼正文しか抽出しない規則は「正解」（良い）規則である（例：図１９の規則３２）。この規則は変更する必要がない（子のノードがある場合にはこれが代替する）。
▲３▼良い規則により抽出されている正文は、「保証付き」である。つまり、良い規則を変更することはないので（子のノードに代替される場合も含めて）、必ずこの文は抽出される（例：図１９の文３）。
▲４▼保証付きの文を抽出する規則は「不要箇所がある」（例：文３と規則３３の交点）。不要箇所の「１」を「＊」に置き換える。
▲５▼「−１」と「＊」しかない規則は「不要な規則」であるから、「＊」と「−１」を「．」（ピリオド）にする（例：図１９の規則３３）。「．」は不採用の規則候補であることを示す。
▲６▼「−１」と「＊」と「１」がある規則は「悩ましい規則」であり、自動的に決定できず、「１」の文が抽出できるように作業者が改訂する（例：規則３４）。
【００５８】
図１７において、ノード２−１−１は、誤文のない正解ノードであるのでその上位のノード２−１、２は冗長となる。したがって、かかる上位のノード２−１、２は抽出規則から外すことができる。クラスタツリーを深さ優先順にたどって正解ノードの上位の冗長ノードを判別して抽出規則から外す。
【００５９】
また、図１８において、普通のノードであるノード２−１−２については、抽出対象文を絞ることができる。すなわち、冗長ノード２−１、２により抽出される文は正解ノード２−１−１で必ず抽出されるので、それ以外の文を抽出すればよく、その範囲で修正を加えることができる。
【００６０】
よい規則を残すには抽出成績例えば「１」と「−１」の累積値が一番小さなものを除去し、その影響を調べる。つまり、その中の「１」のものを他の規則のどれかが補っていればよくて（補うように修正してもよい）、さもなければ、その文に限リ、別の規則を作成する。
【００６１】
図２０〜図２４は、このような修正等を行う場合に用いるツールの表示例を示している。
【００６２】
図２０は、規則番号別解析結果リストであり、このリストは、規則番号、正文数、正文番号、誤文数、誤文番号を表示する。
【００６３】
図２１は、文番号別解析結果全リストであり、このリストは、文番号、正または誤、規則数、規則番号を表示する。
【００６４】
図２２は、番号付き規則リストであり、このリストは、規則候補の内容を表示する。これを用いて必要であれば編集を行える。
【００６５】
図２３は、番号付き全文リストであり、このリストは訓練用文章の内容を表示する。
【００６６】
図２４は、各規則候補の規則内容、抽出文の正誤、正誤数、抽出文の内容を一まとめに表示するものである。この表示内容は図２０〜図２３のデータを基に出力できる。
【００６７】
作業者は、図２０〜図２４の表示を利用して、必要に応じて、規則の要・不要を指示し、また、規則の内容を修正し、必要であれば、同様の文章抽出、クラスタリング等を繰り返す。
【００６８】
なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。上述の例では、テキストを用いたが、音声情報を音声認識してテキストとし情報を抽出するようにしてもよい。規則生成用のコーパスないしテキストを規則適合化用のコーパスないしテキストに用いてもよいし、別々に用意してもよい。
【００６９】
【発明の効果】
以上説明したように、この発明によれば、情報抽出規則を簡易に適合化することができる。自動的に生成することにより、そのような規則作成の作業を大幅に軽減することができる。具体的な例では、人が１年かかるものが、数十分でできる。
【図面の簡単な説明】
【図１】この発明の情報抽出規則適合化手法を適用するのに最適な情報抽出規則を生成する情報抽出規則生成システムを全体として示すブロック図である。
【図２】上述情報抽出規則生成システムにおける処理手順を説明するフローチャートである。
【図３】上述情報抽出規則生成システムにおいて情報抽出規則を生成するのに用いる生成用コーパスの例を説明する図である。
【図４】木構造の例を説明する図である。
【図５】図４の木構造に対応する清書フォーマットの例を説明する図である。
【図６】清書フォーマットの表示例を説明する図である。
【図７】清書フォーマットにアノテーションを付加する手順を説明する図である。
【図８】抽出した木構造正規表現による規則を説明する図である。
【図９】構文木の他の例を説明する図である。
【図１０】アノテーションを説明する図である。
【図１１】アノテーションの拡張を説明する図である。
【図１２】この発明の情報抽出規則適合化システムを全体として示すブロック図である。
【図１３】上述情報抽出規則適合化システムにおける処理手順を説明するフローチャートである。
【図１４】上述情報抽出規則適合化システムのクラスタリング部の動作例を説明するフローチャートである。
【図１５】クラスタツリーを説明する図である。
【図１６】規則（規則候補）および文の関係を説明する図である。
【図１７】正解ノードおよび上位の冗長ノードとの関係を説明する図である。
【図１８】普通のノードおよび上位の冗長ノードとの関係を説明する図である。
【図１９】規則候補の選定を説明する図である。
【図２０】規則候補の選定や修正に利用するツールの表示例であり、規則候補を中心に表示するものを説明する図である。
【図２１】規則候補の選定や修正に利用するツールの表示例であり、文を中心に表示するものを説明する図である。
【図２２】規則候補の選定や修正に利用するツールの表示例であり、規則候補の内容を中心に表示するものを説明する図である。
【図２３】規則候補の選定や修正に利用するツールの表示例であり、文の内容を中心に表示するものを説明する図である。
【図２４】規則候補の選定や修正に利用するツールの表示例であり、各規則候補の規則内容、抽出文の正誤、正誤数、抽出文の内容を一まとめに表示するものを説明する図である。
【符号の説明】
１０      テキスト入力部
１１      木構造抽出部
１２      木構造表示部
１３      アノテーション付与部
１４      木構造正規表現抽出部
１５      情報抽出規則記憶部
２０      適合化用テキスト記憶部
２１      情報抽出規則候補記憶部
２２      情報抽出部
２３      抽出情報記憶部
２４      抽出情報表示部
２５      抽出成績入力部
２６      抽出成績記憶部
２７      クラスタリング部
２８      クラスタリング結果記憶部
２９      クラスタリング結果表示部
３０      選別指示入力部
３１      情報抽出規則選別部
３２      情報抽出規則記憶部
１００      計算機
２００      計算機
【図１】
2004258771.tif 000003
【図２】
2004258771.tif 000004
【図３】
2004258771.tif 000005
【図４】
2004258771.tif 000006
【図５】
2004258771.tif 000007
【図６】
2004258771.tif 000008
【図７】
2004258771.tif 000009
【図８】
2004258771.tif 000010
【図９】
2004258771.tif 000011
【図１０】
2004258771.tif 000012
【図１１】
2004258771.tif 000013
【図１２】
2004258771.tif 000014
【図１３】
2004258771.tif 000015
【図１４】
2004258771.tif 000016
【図１５】
2004258771.tif 000017
【図１６】
2004258771.tif 000018
【図１７】
2004258771.tif 000019
【図１８】
2004258771.tif 000020
【図１９】
2004258771.tif 000021
【図２０】
2004258771.tif 000022
【図２１】
2004258771.tif 000023
【図２２】
2004258771.tif 000024
【図２３】
2004258771.tif 000025
【図２４】
2004258771.tif 000026