(57)【要約】【課題】  文書処理において、テキストの類似した意味を持つ頻出パターンの構造から、対応する典型的な自然言語表現を生成する。【解決手段】  言語解析手段２１は、記憶装置１００のテキストＤＢ１１から文の集合を読み取り各文に対して形態素解析や係り受け解析を行い、頻出パターン抽出手段２２は、木構造から頻出して現れる部分構造を抽出し、典型表現生成手段２３は、頻出パターン抽出手段２２で作成された部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成し、出力装置３００に出力する。【選択図】      図１
2006092468.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータベースに格納されたテキスト中の文を解析して解析結果の木構造を作成する言語解析手段と、
前記言語解析手段により作成された木構造の集合から頻出して現れる部分構造を抽出する頻出パターン抽出手段と、
前記頻出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成する典型表現生成手段と、
を備えることを特徴とする文書処理装置。
【請求項２】
テキストデータベースに格納されたテキスト中の文を解析して解析結果の木構造を作成する言語解析手段と、
前記言語解析手段により作成された木構造の集合から頻出して出現する部分構造を抽出する頻出パターン抽出手段と、
前記頻出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた自然言語表現を生成する典型表現生成手段と、
前記典型表現生成手段により生成された自然言語表現を他の頻出する部分構造の自然言語表現と同様の表現形態に統一する表現統一手段と、
を備えることを特徴とする文書処理装置。
【請求項３】
テキストデータベースに格納されたテキスト中の文を解析して解析結果の木構造を作成する言語解析手段と、
前記言語解析手段により作成された木構造の集合から頻出して出現する部分集合を抽出する頻出パターン抽出手段と、
前記頻出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた自然言語表現を生成する典型表現生成手段と、
前記典型表現生成手段により生成された自然言語表現を外部から指定された表現で統一する表現統一手段と、
を備えることを特徴とする文書処理装置。
【請求項４】
文の生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行う前記典型表現生成手段を備えることを特徴とする請求項１、２、または、３記載の文書処理装置。
【請求項５】
テキスト中の文に対して、言語解析を行うことで木構造を作成し、
木構造の集合を解析し頻出して現れる木構造の部分構造を作成し、
頻出パターンである文の部分構造に対応する表現をスコア付けし、部分構造が表す最も典型的な自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成することを特徴とする文書処理方法。
【請求項６】
テキスト中の文に対して、言語解析を行うことで木構造を作成し、
木構造の集合を解析し頻出して現れる木構造の部分構造を作成し、
頻出パターンである文の部分構造に対応する表現をスコア付けし、スコア順にランキングされた複数の自然言語表現を生成し、
複数の自然言語表現の中から、名詞句、または文を含む特定の表現形態のものを選択して出力することを特徴とする文書処理方法。
【請求項７】
文の生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行うことを特徴とする請求項５、または６記載の文書処理方法。
【請求項８】
文書処理の対象となる文の集合を記憶する記憶部内の前記文を言語解析して、文の木構造を作成する処理と、
木構造の集合を解析し頻出して現れる木構造の部分構造を作成する処理と、
頻出パターンである文の部分構造に対応する表現をスコア付けし、部分構造が表す最も典型的な自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成する処理と、
をコンピュータに実行させることを特徴とする文書処理プログラム。
【請求項９】
文書処理の対象となる文の集合を記憶する記憶部の前記文を言語解析して、文の木構造を作成する処理と、
木構造の集合を解析し頻出して現れる木構造の部分構造を作成する処理と、
頻出パターンである文の部分構造に対応する表現をスコア付けし、部スコア順にランキングされた複数の自然言語表現を生成する処理と、
複数の自然言語表現の中から、名詞句、または文を含む特定の表現形態のものを選択して出力する処理と、
をコンピュータに実行させることを特徴とする文書処理プログラム。
【請求項１０】
文の生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行う処理をコンピュータに実行させることを特徴とする請求項８、または、９記載の文書処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書処理装置、文書処理方法、および、文書処理プログラムに関し、特に、係り受け解析などを用いて、コンピュータに蓄積されている電子化テキストを構造化することで、頻出パターンの構造を抽出する文書処理装置、文書処理方法、および、文書処理プログラムに関する。
【背景技術】
【０００２】
従来、この種の文書処理装置では、木構造の部分構造の出現頻度を元に頻出パターンを求め、高頻度で出現する部分構造をテキストマイニング結果として出力していた。従来の文書処理装置の一例が、特許文献１に記載されている。
【０００３】
この特許文献１に記載された文書処理装置は、文書集合から頻出するパターンを知識として抽出する装置である。図１１に示すように、この従来の文書処理装置は、言語特徴分析装置、言語解析装置、パターン抽出装置、頻出パターン表示装置から構成されている。
【０００４】
このような構成を有する従来の文書処理装置はつぎのように動作する。まず言語分析装置によって基本辞書と文書データから分野依存辞書を作成し、言語解析装置によって基本辞書と分野依存辞書と文書データから構文木などの構造を作成し、パターン抽出装置がこの構造を用いて頻出パターンを抽出してこの頻出パターンに合致する表現書データ中の表現書を頻出パターン適合表現書記憶部に記憶させ、頻出パターン表示装置が頻出パターンを出力する。これにより、「出る」−「絵」、「要求する」−「フロッピー（登録商標）ディスク」などの頻出するパターンを抽出し、頻出パターンにマッチする文書を検索することができる。
【０００５】
このように、言語解析を行い木構造上で頻出パターンを抽出することで、文書集合から高精度に知識を抽出する文書処理装置は存在する。
【０００６】
また、文書処理の要素技術である係り受け解析の既存技術としては、非特許文献１記載の技術がある。
【０００７】
【特許文献１】特開２００１−８４２５０号公報
【非特許文献１】工藤拓，松本裕治，「チャンキングの段階適用による係り受け解析」，情報処理学会論文誌，２００２年６月，第４３巻，第６号，ｐ．１８３４-１８４２
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１の第１の課題は、抽出した頻出パターンの意味を人間が容易に理解することが困難ということである。
【０００９】
その理由は、マイニング結果として出力されるのは、例えば「出る」−「絵」のような単語間の構造、もしくは、その構造が含まれる文全体であり、頻出パターンの部分構造のみを人間が理解容易な自然言語表現として生成することが考慮されていないためである。
【００１０】
第２の課題は、抽出した複数の頻出パターンを比較することが困難ということである。
【００１１】
その理由は、抽出した複数の頻出パターンを、統一のとれた表現として出力することが考慮さていないためである。そのため、例えば、「高速な機種Ａ」のように名詞句の表現と、「機種Ｂは遅い」のような文の表現が混在して出力される可能性がある。
【００１２】
第３の課題は、ユーザが抽出パターンの表現形態を指定できないことである。
【００１３】
その理由は、抽出対象のパターンの表現形態を選択することができないためである。そのため、ユーザの「文を優先して出力する」、「２０文字以下の表現を優先して出力する」という要求にマッチしたパターンの表現形態の文を生成することができない。
【００１４】
本発明の目的は、上記いずれかの課題を解決する文書処理装置、文書処理方法、および、文書処理プログラムを提供することである。
【課題を解決するための手段】
【００１５】
本発明の第１の文書処理装置は、テキストデータベースに格納されたテキスト中の文を解析して解析結果の木構造を作成する言語解析手段と、前記言語解析手段により作成された木構造の集合から頻出して現れる部分構造を抽出する頻出パターン抽出手段と、前記頻出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成する典型表現生成手段と、を備えることを特徴とする。
【００１６】
本発明の第２の文書処理装置は、テキストデータベースに格納されたテキスト中の文を解析して解析結果の木構造を作成する言語解析手段と、前記言語解析手段により作成された木構造の集合から頻出して出現する部分構造を抽出する頻出パターン抽出手段と、前記頻出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた自然言語表現を生成する典型表現生成手段と、前記典型表現生成手段により生成された自然言語表現を他の頻出する部分構造の自然言語表現と同様の表現形態に統一する表現統一手段と、を備えることを特徴とする。
【００１７】
本発明の第３の文書処理装置は、テキストデータベースに格納されたテキスト中の文を解析して解析結果の木構造を作成する言語解析手段と、前記言語解析手段により作成された木構造の集合から頻出して出現する部分集合を抽出する頻出パターン抽出手段と、前記頻出パターン抽出手段により抽出された部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた自然言語表現を生成する典型表現生成手段と、前記典型表現生成手段により生成された自然言語表現を外部から指定された表現で統一する表現統一手段と、を備えることを特徴とする。
【００１８】
本発明の第４の文書処理装置は、前記第１、第２、または、第３の文書処理装置であって、文の生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行う前記典型表現生成手段を備えることを特徴とする。
【００１９】
本発明の第１の文書処理方法は、テキスト中の文に対して、言語解析を行うことで木構造を作成し、木構造の集合を解析し頻出して現れる木構造の部分構造を作成し、頻出パターンである文の部分構造に対応する表現をスコア付けし、部分構造が表す最も典型的な自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成することを特徴とする。
【００２０】
本発明の第２の文書処理方法は、テキスト中の文に対して、言語解析を行うことで木構造を作成し、木構造の集合を解析し頻出して現れる木構造の部分構造を作成し、頻出パターンである文の部分構造に対応する表現をスコア付けし、スコア順にランキングされた複数の自然言語表現を生成し、複数の自然言語表現の中から、名詞句、または文を含む特定の表現形態のものを選択して出力することを特徴とする。
【００２１】
本発明の第３の文書処理方法は、前記第１、または第２の文書処理方法であって、文の生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行うことを特徴とする。
【００２２】
本発明の第１の文書処理プログラムは、文書処理の対象となる文の集合を記憶する記憶部内の前記文を言語解析して、文の木構造を作成する処理と、木構造の集合を解析し頻出して現れる木構造の部分構造を作成する処理と、頻出パターンである文の部分構造に対応する表現をスコア付けし、部分構造が表す最も典型的な自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成する処理と、をコンピュータに実行させることを特徴とする。
【００２３】
本発明の第２の文書処理プログラムは、文書処理の対象となる文の集合を記憶する記憶部の前記文を言語解析して、文の木構造を作成する処理と、木構造の集合を解析し頻出して現れる木構造の部分構造を作成する処理と、頻出パターンである文の部分構造に対応する表現をスコア付けし、部スコア順にランキングされた複数の自然言語表現を生成する処理と、複数の自然言語表現の中から、名詞句、または文を含む特定の表現形態のものを選択して出力する処理と、をコンピュータに実行させることを特徴とする。
【００２４】
本発明の第３の文書処理プログラムは、前記第１、または、第２の文書処理プログラムであって、文の生起確率Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）を用いてスコア付けを行う処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２５】
本発明の効果は、類似した意味を持つ頻出パターンの構造から、対応する典型的な自然言語表現を生成できることである。
【００２６】
その理由は、頻出パターンの構造に対する複数の自然言語表現をスコア付けして最も典型的な表現を生成するからである。
【発明を実施するための最良の形態】
【００２７】
次に、本発明を実施するための第１の最良の形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明を実施するための第１の最良の形態の構成を示すブロック図である。
【００２９】
図１を参照すると、本発明を実施するための第１の最良の形態は、情報を記憶する記憶装置１００（メモリ、ハードディスク等）と、プログラム制御により動作するデータ処理装置２００（コンピュータ等）と、ディスプレイ装置等の出力装置３００とを含む。
【００３０】
記憶装置１００は、データベースであるテキストＤＢ１１を含む。
【００３１】
テキストＤＢ１１は、マイニング対象となるテキストの集合を記憶している。
【００３２】
データ処理装置２００は、言語解析手段２１と頻出パターン抽出手段２２と典型表現生成手段２３とを備える。データ処理装置２００は、プロセッサ（図示せず）と内部記憶装置（メモリ等、図示せず）とを含む構成が可能である。言語解析手段２１、頻出パターン抽出手段２２、および、典型表現生成手段２３は、アプリケーションプログラムとして実現可能である。このアプリケーションプログラムは、内部記憶装置に格納され実行される。
【００３３】
これらの手段はそれぞれ概略つぎのように動作する。
【００３４】
言語解析手段２１は、テキストＤＢ１１から文の集合を読み取り、各文に対して、形態素解析や係り受け解析を行い、木構造を作成し内部記憶装置に格納する。
【００３５】
頻出パターン抽出手段２２は、言語解析手段２１で作成された木構造を内部記憶装置から読み出し、木構造から頻出して現れる部分構造を抽出し内部記憶装置に格納する。
【００３６】
典型表現生成手段２３は、頻出パターン抽出手段２２で作成された部分構造を内部記憶装置から読み出し、部分構造に対応する形態素列をスコア付けし、最もスコアの高い自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成し、出力装置３００に出力する。ここで、自然言語表現とは、文全体、もしくは、文の部分である。
【００３７】
以降、内部記憶装置への格納、内部記憶装置からの読み出しについては、当然のこととして記述を省略する。
【００３８】
次に、本発明を実施するための第１の最良の形態の動作について図面を参照して詳細に説明する。
【００３９】
図２は、本発明を実施するための第１の最良の形態の動作を示すフローチャートである。
【００４０】
図２を参照すると、まず、言語解析手段２１が、テキストＤＢ１１からテキスト集合（テキストの集合）を読み込む。言語解析手段２１は、テキスト集合の各文に対して、形態素解析や係り受け解析を行い、解析結果として木構造を作成する（図２のステップＳ１１）。次に、頻出パターン抽出手段２２は、木構造を解析し頻出して現れる木構造の部分構造を作成する（図２のステップＳ１２）。次に、典型表現生成手段２３は、頻出パターンである文の部分構造に対応する形態素列をスコア付けし、部分構造が表す最も典型的な自然言語表現、もしくは、スコア順にランキングされた複数の自然言語表現を生成する（図２のステップＳ１３）。なお、形態素列のスコアとしては、文の生起確率など（生起確率以外でもかまわない）を用いることができる。
【００４１】
本発明を実施するための第１の最良の効果は、類似した意味を持つ頻出パターンの構造から、対応する典型的な自然言語表現を生成できることである。
【００４２】
その理由は、頻出パターンの構造に対する複数の自然言語表現をスコア付けして最も典型的な表現を生成するためである。
【００４３】
次に、本発明を実施するための第２の最良の形態について図面を参照して詳細に説明する。
【００４４】
図３は、本発明を実施するための第２の最良の形態の構成を示すブロック図である。
【００４５】
図３を参照すると、第２の最良の形態においては、データ処理装置４００が、図１に示された第１の最良の形態におけるデータ処理装置２００に置き換わる。データ処理装置４００は、データ処理装置２００に表現統一手段２４が追加されている。言語解析手段２１、頻出パターン抽出手段２２、および、典型表現生成手段２３は、第１の最良の形態のものと同一である。
【００４６】
第２の最良の形態において、表現統一手段２４は概略つぎのように動作する。
【００４７】
表現統一手段２４は、典型表現生成手段２３の出力のランキングされた複数の自然言語表現の中から、名詞句や文といった特定の表現形態のものを選択して出力する。
【００４８】
次に、本発明を実施するための第２の最良の形態の動作について図面を参照して詳細に説明する。
【００４９】
図４は、本発明を実施するための第２の最良の形態の動作を示すフローチャートである。
【００５０】
図４を参照すると、まず、言語解析手段２１が、テキストＤＢ１１からテキスト集合を読み込む。言語解析手段２１は、テキスト集合の各文に対して、形態素解析や係り受け解析を行い、解析結果として木構造を作成する（図４のステップＳ２１）。
【００５１】
次に、頻出パターン抽出手段２２は、木構造を解析し頻出して現れる木構造の部分構造を作成する（図４のステップＳ２２）。次に、典型表現生成手段２３は、頻出パターンである文の部分構造に対応する形態素列をスコア付けし、スコア順にランキングされた複数の自然言語表現を生成する（図４のステップＳ２３）。次に、表現統一手段２４は、典型表現生成手段２３の出力のランキングされた複数の自然言語表現の中から、名詞句や文といった特定の表現形態のものを選択して出力する（図４のステップＳ２４）。
【００５２】
本発明を実施するための第２の最良の形態の効果は、他の表現と比較容易な自然言語表現を生成できることである。
【００５３】
その理由は、生成する自然言語表現を他の頻出パターンに対する自然言語表現と比較することで、同様の表現形態に統一した表現を選択するためである。
【００５４】
次に、本発明を実施するための第１の最良の形態の実施例について図面を参照して詳細に説明する。
【００５５】
図５は、テキストＤＢ１１のテキスト情報の一例を示す説明図である。
【００５６】
図５を参照すると、テキストＤＢ１１は、文ＩＤと文とのペアの集合であり、例えば、文ＩＤが１の文が「機種Ａは画面が大きい。」という文であり、文ＩＤが２の文が「大きな画面の機種Ａ」という文であることを示す。
【００５７】
言語解析手段２１は、まず、全ての文に対して形態素解析を行い、文を形態素に分割して、品詞などの補助情報を作成する。形態素解析結果には、各形態素に、形態素ＩＤ、表層、原形、品詞の情報が付加される。ここで、表層は文中に出現した文字列そのものであり、原形は動詞の活用などの語形変化を元の形で表現したものである。
【００５８】
図６は、形態素解析結果の一例を示す説明図である。
【００５９】
図６（Ａ）を参照すると、文ＩＤが１の文の形態素解析結果であり、例えば、形態素ＩＤが１−１の形態素の、表層が「機種Ａ」、原形が「機種Ａ」、品詞が「名詞」であることを示している。
【００６０】
次に、言語解析手段２１は、形態素解析結果を係り受け解析し、木構造を作成する。
【００６１】
図７は、係り受け解析結果の一例を示す説明図である。
【００６２】
図７を参照すると、係り受け解析結果は、文中の自立語を構造の節点で表し、係り受け関係を係り元の節点から係り先の節点への有向枝で表し、助詞などの付属語を有向枝の節点の属性値で表している。なお、図７では便宜的に、各節点に付与される自立語と付属語の形態素情報として、形態素ＩＤと原形のみを示しているが、実際には、表層や品詞といった他の形態素情報も同様に付与されている。
【００６３】
ここで行われる形態素解析と係り受け解析は、機械翻訳で行われるような既存の技術で実現することができる。例えば、非特許文献１がある。
【００６４】
頻出パターン抽出手段２２は、意味的に類似したパターンを同一のものとして木構造の頻出パターンを抽出する。
【００６５】
例えば、係り受け解析結果の木構造に対して以下の（１）−（３）の処理を行い、処理後の木構造に対して頻出パターンを求めることで、意味的に類似したパターンを同一のものとした木構造の頻出パターンを抽出することができる。
（１）係り受けの向きや係り受けの順序を無視した無向無順序木を作成する。
（２）同義の表現を同じ意味の代表表現に統一する。
（３）付属語情報を削除する。
【００６６】
図８は、係り受けの向きや付属語情報を削除することで、図７の木構造より抽出した頻出パターンの構造を示す説明図である。
【００６７】
図８を参照すると、文ＩＤ１、文ＩＤ２、文ＩＤ３、文ＩＤ４の４文に共通して出現しているパターン（大きい、画面、機種Ａ）の構造が示される。
【００６８】
典型表現生成手段２３は、頻出パターン抽出手段２２が作成した頻出パターンの部分構造、及び、言語解析手段２１が作成した形態素解析結果から自然言語表現を生成する。
【００６９】
典型表現生成手段２３の動作を、図８に示す構造を例にとって説明する。この例では、図８の構造に対応する最も生起確率の高い自然言語表現を生成する。
【００７０】
典型表現生成手段２３は、まず、図８の構造に対応する部分の形態素列の形態素情報を取得する。
【００７１】
図９は、図８の構造に対応する形態素情報を示す説明図である。
【００７２】
図９では、形態素情報の代表として、形態素ＩＤと表層のみを示しているが、図６に含まれる原形、品詞といった他の形態素情報も取得している。
【００７３】
次に、各文の生起確率を（式１）で求める。
【００７４】
Ｐ（ｗ＿１）＊ΠＰ（ｗ＿ｉ＋１｜ｗ＿ｉ）・・・（式１）。
【００７５】
ここで、Πは、ｉ＝１からｉ＝ｎまでの総積を示す。
【００７６】
また、ｗ＿ｉはｉ番目の形態素を、ｗ＿ｉ＋１はｉ＋１番目の形態素を、ｎは形態素の数を表す。また、Ｐ（ｗ＿ｉ）はｉ番目の形態素の出現確率であり、Ｐ（ｗ＿ｉ＋１｜ｗ＿ｉ）はｉ番目の形態素が出現した場合に、ｉ＋１番目の形態素が出現する条件付確率である。
【００７７】
例えば、図９の表層を全体集合として形態素の出現確率と条件付確率を求め、（式１）で文ＩＤ１の生起確率を計算すると、以下になる。
【００７８】
Ｐ(ｗ＿１）は、形態素「機種Ａ」（１−１）が全形態素（１−１〜４−７）中に出現する確率である。Ｐ（ｗ＿２｜ｗ＿１）は、形態素「は」（１−２）が、「機種Ａ」の表れる文（文ＩＤ１〜４）中に表れる確率である。Ｐ（ｗ＿３|ｗ＿２)は、形態素「画面」（１−３）が、「は」の表れる文（文ＩＤ１、文ＩＤ４）中に表れる確率である。Ｐ（ｗ＿４|ｗ＿３）は、形態素「が」（１−４）が、「画面」の表れる文（文ＩＤ１〜４）中に表れる確率である。Ｐ（ｗ＿５｜ｗ＿４）は、形態素「大きい」（１−５）が、「が」の表れる文（文ＩＤ１、文ＩＤ３、文ＩＤ４）中に表れる確率である。
【００７９】
文ＩＤ１の生起確率は、Ｐ(ｗ＿１）＊Ｐ（ｗ＿２｜ｗ＿１）＊Ｐ（ｗ＿３|ｗ＿２)＊Ｐ（ｗ＿４|ｗ＿３）＊Ｐ（ｗ＿５｜ｗ＿４）＝Ｐ（機種Ａ）＊Ｐ（は｜機種Ａ）＊Ｐ（画面|は）＊Ｐ（が｜画面）＊Ｐ（大きい｜が）＝（４／１９）＊（２／４）＊（２／２）＊（３／４）＊（３／３）＝０．０７８９となる。
【００８０】
ここでは、部分構造と対応する表層をテキストの全体集合として生起確率を求めたが、テキストＤＢ１１中の全ての文をテキストの全体集合にして生起確率を求めることもできる。また、新聞記事のような大量のテキストを全体集合にして生起確率を求めることもできる。さらに、生起確率を求めるテキストの全体集合を電子メールにすることで、電子メールで用いられる会話的な表現を優先することもできる。
【００８１】
典型表現生成手段２３は、文ＩＤ１、文ＩＤ２、文ＩＤ３、文ＩＤ４の生起確率を計算し、その中で最も生起確率の高い文ＩＤ１、および、文ＩＤ４の自然言語表現である「機種Ａは画面が大きい」を典型表現として、出力する。
【００８２】
もしくは、典型表現生成手段２３は、文ＩＤ１、文ＩＤ２、文ＩＤ３、文ＩＤ４の表現を生起確率の順に並び換え、「機種Ａは画面が大きい」、「機種Ａの画面が大きい」、「大きな画面の機種Ａ」の順にランキングして出力する。
【００８３】
ここでは、典型表現を求める基準として、表現の生起確率でランク付けを行ったが、表現の長さでランク付けを行うこともできる。この場合、最も表現が短いものを優先してランク付けすることで、文ＩＤ２の「大きな画面の機種Ａ」を典型表現として出力する。
【００８４】
次に、本発明を実施するための第２の最良の形態の実施例について図面を参照して詳細に説明する。
【００８５】
言語解析手段２１、頻出パターン抽出手段２２、典型表現生成手段２３は、前記第１の最良の形態の実施例と同様に動作する。
【００８６】
図１０は、典型表現生成手段２３が、複数の頻出パターンの部分構造から、それぞれの部分構造に対応する自然言語表現をランキングして出力した結果を示す説明図である。
【００８７】
図１０を参照すると、出現頻度が１０の部分構造から、スコアの高い順に、「高速な機種Ａ」、「機種Ａは速い」、「速い機種Ａ」が順に出力されている。また、図１０では、出現頻度が４の部分構造から、スコアの高い順に、「機種Ａは画面が大きい」、「機種Ａの画面が大きい」、「大きな画面の機種Ａ」が順に出力されている。
【００８８】
表現統一手段２４は、まず、出現頻度が１０で最もスコアが高い「高速な機種Ａ」を出力する。出力された「高速な機種Ａ」は、「機種Ａ」という名詞で表現が終了する名詞句であるため、表現形態を統一するために、他の表現も名詞句にして出力する。つまり、次に、出現頻度が４の表現を選択する際に、スコアが最も高い「機種Ａは画面が大きい」でなくて、表現形態が同様の名詞句である「大きな画面の機種Ａ」を選択して、出力する。以上により、表現統一手段２４の出力は、「高速な機種Ａ」、「画面が大きい機種Ａ」という同じ表現形態の名詞句で出力できる。
【００８９】
ここでは、最も出現頻度が高く、スコアが高い表現に合わせて表現を統一したが、予め表現形態を名詞句や文に指定して、それに従って出力することも可能である。例えば、表現形態として文が指定されていれば、動詞や形容詞などの用言で終了する表現が選択され、表現統一手段２４の出力は、「機種Ａは速い」、「機種Ａの画面が大きい」などの文になる。
【００９０】
したがって、本発明は、ユーザが指定した表現形態の表現を生成できる効果もある。
【００９１】
その理由は、生成した複数の自然言語表現をユーザが指定した自然言語表現と比較することで、ユーザが指定した表現形態の表現を生成結果として選択できるからである。
【産業上の利用可能性】
【００９２】
本発明は、コンピュータ上に蓄積される顧客からのメール、アンケート結果、掲示板の情報などの電子化テキストを元に、特徴分析、キー表現の抽出、要約を行う文書処理装置や、文書処理装置をコンピュータに実現するためのプログラムといった用途に適用できる。
【図面の簡単な説明】
【００９３】
【図１】本発明を実施するための第１の最良の形態の構成を示すブロック図。
【図２】本発明を実施するための第１の最良の形態の動作を示すフローチャート。
【図３】本発明を実施するための第２の最良の形態の構成を示すブロック図。
【図４】本発明を実施するための第２の最良の形態の動作を示すフローチャート。
【図５】テキストＤＢの例を示す説明図。
【図６】言語解析手段の形態素解析結果を示す説明図。
【図７】言語解析手段の係り受け解析結果を示す説明図。
【図８】頻出パターン抽出手段が抽出する部分構造を示す説明図。
【図９】典型表現生成手段の生成対象の形態素列を示す説明図。
【図１０】表現統一手段の統一対象の自然言語表現を示す説明図。
【図１１】従来の技術の構成を示すブロック図。
【符号の説明】
【００９４】
１００    記憶装置
２００    データ処理装置
３００    出力装置
４００    データ処理装置
１１    テキストＤＢ
２１    言語解析手段
２２    頻出パターン抽出手段
２３    典型表現生成手段
２４    表現統一手段
【図１】
2006092468.tif 000003
【図２】
2006092468.tif 000004
【図３】
2006092468.tif 000005
【図４】
2006092468.tif 000006
【図５】
2006092468.tif 000007
【図６】
2006092468.tif 000008
【図７】
2006092468.tif 000009
【図８】
2006092468.tif 000010
【図９】
2006092468.tif 000011
【図１０】
2006092468.tif 000012
【図１１】
2006092468.tif 000013