(57)【要約】【課題】個々の単語のみならず、単語の組み合わせも考慮してスコアを決定する。【解決手段】文書ＤＢ１０のあるドメインに属する文書集合が与えられた場合、単語列抽出装置は、まず単語列を抽出し、所定のドメインに含まれる文書群とそれ以外に対し、先に抽出された単語列との間でカイ二乗検定を行って閾値との比較を行うことでドメインに特徴的な単語列を認定し、当該認定された単語列に所定の重み付与してスコアを計算することにより、あるドメインに属する複数の文書からスコアの高い文を抽出する。【選択図】    図２
2005141428.tif 000002
【特許請求の範囲】
【請求項１】
単語列抽出処理機能と、単語列認定処理機能と、重み付与機能と、スコア決定処理機能を備え、文書データベース中の所定のドメインに属する文書群の特徴を表す単語列を抽出する単語列抽出方法であって、
ドメインに属する文書集合が与えられた場合に、
単語列抽出処理機能が、前記文書データベースから長さ１以上の単語列を抽出するステップと、
単語列認定処理機能が、前記抽出された単語列から前記ドメインに特徴的な単語列を認定するステップと、
重み付与機能が、前記認定された単語列に所定の重み付けを付与するステップと、
スコア決定処理機能が、前記単語列の重みに基づいて文のスコアを決定し、スコアの高い単語列を抽出するステップと
を有することを特徴とする単語列抽出方法。
【請求項２】
前記単語列を認定するステップは、
前記文書データベース中の所定のドメインに含まれる文書群とそれ以外とに対し、前記抽出された単語列との間でカイ二乗検定を行い、その結果と閾値との比較を行って前記ドメインに特徴的な単語列を認定するサブステップを含むこと
を特徴とする請求項１に記載の単語列抽出方法。
【請求項３】
文書データベース中の所定のドメインに属する文書群の特徴を表す単語列を抽出する単語列抽出装置であって、
ドメインに属する文書集合が与えられた場合に、
前記文書データベースから長さ１以上の単語列を抽出する単語列抽出処理部と、
前記抽出された単語列から前記ドメインに特徴的な単語列を認定する単語列認定処理部と、
前記認定された単語列に所定の重みを付与する重み付与部と、
前記単語列の重みに基づいて文のスコアを決定し、スコアの高い単語列を抽出するスコア決定処理部と
を備えたことを特徴とする単語列抽出装置。
【請求項４】
文書データベース中の所定のドメインに属する文書群の特徴を表す単語列を抽出する単語列抽出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
ドメインに属する文書集合が与えられた場合に、
前記コンピュータに、
前記文書データベースから長さ１以上の単語列を抽出する単語列抽出処理機能と、
前記抽出された単語列から前記ドメインに特徴的な単語列を認定する単語列認定処理機能と、
前記認定された単語列に所定の重み付けを付与する重み付与機能と、
前記単語列の重みに基づいて文のスコアを決定し、スコアの高い文を抽出するスコア決定処理機能と
を実行させることを特徴とする単語列抽出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書データベース中の所定の分類項目（ドメイン）に含まれる文書群の特徴を表す文を抽出し、文書の要約を作成する用途に好適な、単語列抽出方法、装置及び単語列抽出プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
通信技術や半導体技術の進歩により電子化文書の作成保管が容易になった。このため至るところに電子化文書が氾濫しており、こうした状況を背景に文書の要約技術に対する期待が高まっている。例えば、ある話題に関する一連の文書集合を纏めて要約を作成することができれば、文書の理解に必要となる負担を大いに減らすことができる。
【０００３】
前記した要約の作成に関して、対象となる文書から関係する文を抽出する手法に文スコア決定法がある。従来の文スコア決定法は、文中に出現する個々の単語に重みを与え、その和を文スコアとし、スコアの高い文を候補として抽出する手法である（例えば、非特許文献１参照）。
【０００４】
非特許文献１によれば、文を形態素解析して単語に分割し、重み付け対象となる単語を品詞によって決定した後、個々の単語の重みを決定して文のスコアとしている。正確な文スコアの定義式は以下の（１）式で表される。
【０００５】
【数１】
2005141428.tif 000003
【０００６】
ここで、tf(t,Si)は、単語ｔの文Siでの頻度、ω(t)は単語ｔの重みである。ω(t)としては、ＴＦ（Term Frequency）、ＩＤＦ（Inverse Document Frequency）、ＴＦ・ＩＤＦなどが用いられる。
【０００７】
以下、「暗証番号を入力する。」を例文として、従来の文スコア決定方法について説明する。まず、形態素解析を行うことにより、以下の表１で示す結果が得られる。
【０００８】
【表１】
2005141428.tif 000004
【０００９】
いま、重み付け対象単語を名詞及び動詞に絞ると、「暗証」、「番号」、「入力」、「する」が選ばれる。従って、文のスコアはこれら単語の重みの総和となるため、６＋３＋３．５＋０．９＝１３．４となる。なお、単語の重みには以下の（２）式で示されるＩＤＦを用いた。
【００１０】
【数２】
2005141428.tif 000005
【００１１】
ここで、ＤＢは文書データベースであり、｜ＤＢ｜は、ＤＢに含まれる要素の数である。df(t)は、ＤＢ中で単語ｔを含む文書の数である。｜ＤＢ｜は大きければ大きいほどよいが、特に指定はなく、新聞記事１０年分程度あればさらに良い。
【非特許文献１】Klaus Zechner、”Fast Generation of Abstracts from General Document”、The 16th International Conference Computational Linguistics、pp．986-989、1996
【発明の開示】
【発明が解決しようとする課題】
【００１２】
ところで前記した従来の文スコア決定法によれば、文中に出現する個々の単語を独立に評価することにより実行される。しかしながら、文の重要度は個々の単語だけではなく、単語の組み合わせも考慮しなければならない。
本発明は前記した事情に鑑みてなされたものであり、文中のｎ（≧１）個以上の単語の組み合わせ（単語列）を抽出し、さらにそれらから所定の分類項目（ドメイン）に特徴的な単語列を選抜して文のスコアを決定することで、検索結果等を高い信頼性の下で効率良く要約することができ、文書を読む際の人間への負担の軽減を可能とする、単語列抽出方法、装置及び単語列抽出プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するため、本発明は以下のような構成とした。請求項１に記載の発明である文書データベース中の所定のドメインに属する文書群の特徴を表す単語列を抽出する単語列抽出方法は、単語列抽出処理機能と、単語列認定処理機能と、重み付与機能と、スコア決定処理機能を備えており、あるドメインに属する文書集合が与えられた場合に、単語列抽出処理機能が、前記文書データベースから長さ１以上の単語列を抽出するステップと、単語列認定処理機能が、前記抽出された単語列から前記ドメインに特徴的な単語列を認定するステップと、重み付与機能が、前記認定された単語列に所定の重み付けを付与するステップと、スコア決定処理機能が、前記単語列の重みに基づいて文のスコアを決定し、スコアの高い単語列を抽出するステップとを実行する構成とした。
【００１４】
本発明によれば、あるドメインに属する文書集合が与えられた場合に文書データベースから長さ１以上の単語列を抽出し、抽出された単語列からドメインに特徴的な単語列を認定し、認定された単語列に所定の重みを付与して文のスコアを決定しスコアの高い単語列を抽出することで、個々の単語を重み付けの対象とせずに単語列に対して重み付けを行いスコア評価することができ、このことにより単語等を用いて検索した結果である文書を信頼性高く効率的に要約することが可能となり、文書を読む側の負担軽減がはかれる。
【００１５】
請求項２に記載の発明である単語列を認定するステップは、前記文書データベース中の所定のドメインに含まれる文書群とそれ以外とに対し、前記抽出された単語列との間でカイ二乗検定を行い、その結果と閾値との比較を行って前記ドメインに特徴的な単語列を認定するサブステップを含む構成とした。
【００１６】
本発明によれば、文書データベース中の所定のドメインに含まれる文書群とそれ以外に対し、抽出された単語列との間でカイ二乗検定を行い、閾値との比較を行うことでドメインに特徴的な単語列を認定することができる。
【００１７】
請求項３に記載の発明である文書データベース中の所定のドメインに属する文書群の特徴を表す単語列を抽出する単語列抽出装置は、あるドメインに属する文書集合が与えられた場合に、前記文書データベースから長さ１以上の単語列を抽出する単語列抽出処理部と、
前記抽出された単語列から前記ドメインに特徴的な単語列を認定する単語列認定処理部と、前記認定された単語列に所定の重みを付与する重み付与部と、前記単語列の重みに基づいて文のスコアを決定し、スコアの高い単語列を抽出するスコア決定処理部とを備える構成とした。
【００１８】
本発明によれば、単語列認定処理部が、あるドメインに属する文書集合が与えられた場合に単語列抽出処理部によって文書データベースから抽出される単語列からドメインに特徴的な単語列を認定する。そして、重み付与部によって認定された単語列に所定の重み付けが付与され、スコア決定部でその重みに基づいて文のスコアが決定され、スコアの高い単語列を抽出することで、個々の単語を重み付けの対象とせずに単語列に対して重み付けを行いスコア評価することができ、このことにより単語等を用いて検索した結果である文書を信頼性高く効率的に要約することが可能となり、文書を読む側の負担軽減がはかれる単語列抽出装置を提供することができる。
【００１９】
請求項４に記載の発明である文書データベース中の所定のドメインに属する文書群の特徴を表す単語列を抽出する単語列抽出プログラムを記録したコンピュータ読み取り可能な記録媒体は、あるドメインに属する文書集合が与えられた場合に、前記コンピュータに、前記文書データベースから長さ１以上の単語列を抽出する単語列抽出処理機能と、前記抽出された単語列から前記ドメインに特徴的な単語列を認定する単語列認定処理機能と、前記認定された単語列に所定の重み付けを付与する重み付与機能と、前記単語列の重みに基づいて文のスコアを決定し、スコアの高い文を抽出するスコア決定処理機能とを実行させる構成とした。
【００２０】
本発明によれば、前記したプログラムをコンピュータに実行させることにより、あるドメインに属する文書集合が与えられた場合に文書データベースから長さ１以上の単語列を抽出し、抽出された単語列からドメインに特徴的な単語列を認定し、認定された単語列に所定の重み付けを付与して文のスコアを決定しスコアの高い単語列を抽出することができ、個々の単語を重み付けの対象とせずに単語列に対して重み付けを行いスコア評価し、このことにより検索結果などを信頼性高く効率的に要約することが可能となり、文書を読む側の負担軽減をはかることができる。
【発明の効果】
【００２１】
本発明によれば、文中の単語の組み合わせ（単語列）を抽出し、さらに所定の分類項目（ドメイン）に特徴的な単語列を選抜して文のスコアを決定することで検索結果などを信頼性高く効率的に要約することができる。このため、電子化文書が氾濫している中で、ある話題に対する一連の文書を纏めて要約することなどが可能となり、読む側の負担が大幅に軽減される。
【発明を実施するための最良の形態】
【００２２】
以下、本発明実施形態につき図面を参照して説明する。図１は、本実施形態の単語列抽出装置の内部構成を示すブロック図であり、（ａ）に機能展開して示した構成図を、（ｂ）にハードウェア構成図を示す。
本実施形態の単語列抽出装置１は、機能的に大別すれば、文書データベース（以後、文書ＤＢと略記する）１０と、単語列抽出処理部１１と、単語列認定処理部１２と、重み付与部１３と、スコア決定処理部１４で構成される。
【００２３】
文書ＤＢ１０には、あらかじめ文書群が格納されてあるものとする。単語列抽出処理部１１は、文書ＤＢ１０中の所定の分類項目（ドメイン）に属する文書集合が与えられた場合に、文書ＤＢ１０から長さ１以上の単語列を抽出する機能を持ち、ここで抽出された単語列は、単語列認定処理部１２へ供給される。単語列認定処理部１２は、抽出された単語列からドメインに特徴的な単語列を認定する機能を持ち、具体的には、文書ＤＢ１０中の所定のドメインに含まれる文書群とそれ以外に対し、抽出された単語列との間でカイ二乗（χ2）検定を行い、その結果と閾値との比較を行ってドメインに特徴的な単語列を認定する。
また、重み付与部１３は、単語列認定処理部１２で認定された単語列に所定の演算式を実行して重みを付与する機能を持ち、スコア決定処理部１４は、単語列の重みに基づいて文のスコアを決定し、スコアの高い単語列を抽出する機能を持つ。
【００２４】
なお、図１（ｂ）に示すハードウェア構成図は、前記した単語列抽出処理部１１と、単語列認定処理部１２と、重み付与部１３と、スコア決定処理部１４が持つ機能を実行する主制御装置２１と、文書ＤＢ１０が構築される記憶装置２２と、主制御装置２１に対して入力されるドメイン指定、あるいは主制御装置２１から出力されるスコア決定出力を表示するなどのマンマシンインタフェースとなる入出力装置２３およびＮＩＣ（Network Interface Unit）２４が、アドレス、データ、コントロールのためのラインが複数本で構成されるシステムバスを介して共通接続され、構成される。
なお、主制御装置２１は、プログラムが格納されるＲＡＭと、ＲＡＭに格納されたプログラムを読み出し逐次実行するＣＰＵで構成される。
【００２５】
本発明の単語列抽出方法について以下に詳細説明を行う。ここでは、文書ＤＢ１０を｛Ｄ1、Ｄ2、…、Ｄi、…、Ｄn｝と表し、そこに含まれる文集合をＳ＝｛Ｓ1、Ｓ2、…、Ｓj、…、Ｓm｝と表すものとする。ここで、Ｓ中の文に含まれる単語列の抽出には、系列パターンマイニングアルゴリズムを適用することができる。このためには、例えば、「ＰｒｅｆｉｘＳｐａｎ」等、頻出パターンを抽出する周知のデーマイニングツールを用いればよい。
【００２６】
ここで、文書ＤＢ１０中の文書群を、あるドメイン（たとえば、「経済」）とそれ以外に分割することを考える。そして、ドメインに属する文書群をＤdom、それ以外をＤotherと表し、それぞれに属する文集合をＳdom  、Ｓother と表す。
いま、Ｓdomから得られた単語列の集合をＰとし、Ｐ中の要素をＰiとする。Ｐiに関して表２で示す分割表を得ることができる。
【００２７】
【表２】
2005141428.tif 000006
【００２８】
ｎ11は、Ｓdomにおいて、単語列Ｐiが出現する文の数であり、ｎ12は、Ｓotherで、Ｐiが出現する文の数であり、ｎ21は、ＳdomＰiが出現しない文の数である。ここで「¬Ｐi」は、Ｐiが存在することの否定であり、Ｐiが出現しないことを意味する。Ｐiがドメインに特徴的か否かをχ2検定を用いて決定する。χ2値は以下の（３）式により求められる。
【００２９】
【数３】
2005141428.tif 000007
【００３０】
ここで、χ2値が閾値である３．８４１５以上（自由度１の、χ2分布から求まる有意水準）であれば、Ｐiはドメイン特徴的な単語列であるといえる。こうして得たχ2値が３．８５１４以上である単語列集合をＰsigとする。単語列集合Ｐsigに属する単語列ｐに対して、以下の（４）式を実行することにより重み付けを行う。
【００３１】
【数４】
2005141428.tif 000008
【００３２】
ここで、ｆ（p、Ｓdom）は、要約対象であるドメインに属する文集合Ｓdomにおける単語列pの出現文数、ｆ（p、Ｓ）は全データにおける単語列ｐの出現文数であり、|Ｓ|は、Ｓの要素数である文数、len（p）は単語列の長さ（単語数）を示す。
なお、前記した（４）式は、ある一定の出現頻度があればそれぞれに大きな差をつけずに評価する意味で用いられるものであって、例えば、前記した（４）式の分母を除いた演算式、あるいは、分子の第１項からlogを除いた演算式等、種々考えられる。
【００３３】
最終的に、このようにして決定した単語列の重みω(p)を用いて以下の（５）式で文のスコアを決定する。
【００３４】
【数５】
2005141428.tif 000009
【００３５】
図２は、本発明の単語列抽出装置の動作を説明するために引用したフローチャート、図３は、その具体例を説明するために引用した動作概念図である。なお、図２に示すフローチャートは、本発明の単語列抽出プログラムの処理手順も示している。
以下、図２、図３を参照しながら図１に示す単語列抽出装置の動作について詳細に説明する。
【００３６】
まず、本発明の単語列抽出装置に対して、スコアを得たい文が入力される。これに対し、単語列抽出処理部１１は、形態素解析を行い（Ｓ２１）、品詞による絞込みを行って名詞と動詞を選択し（Ｓ２２）、ここで得られた単語のみを対象として系列パターンマイニングを適用して単語列を生成する（Ｓ２３）。
【００３７】
具体的には、例えば図３に示すように、文「暗証番号を入力する。」が入力されると、形態素解析による解析と品詞による絞り込みにより、名詞と動詞である「暗証  番号  入力  する」が得られる。次に、これらに対して系列パターンマイニングを適用することにより、単語列「暗証−番号−入力−する」、「暗証−番号−入力」、「暗証−番号−する」、「暗証−入力−する」、「番号−入力−する」、「暗証−番号」、「暗証−入力」、「暗証−する」、「番号−入力」、「番号−する」、「入力−する」、「暗証」、「番号」、「入力」、「する」、が生成され、単語列認定処理部１２へ引き渡される。
【００３８】
単語列認定処理部１２では、文書ＤＢ１０中の所定のドメインに含まれる文書群とそれ以外に対し、単語列抽出処理部１１で抽出された単語列との間でχ2検定を行う（Ｓ２４）。その結果と閾値αとを比較することにより、その単語列がドメインに特徴的か否かを決定する（Ｓ２５）。
【００３９】
ここでは、前記した単語列に対し、前記した演算式（３）を適用することにより、それぞれχ2値「６．７」、「５．５」、「４．５」、「３．５」、「２．１」、「５」、「３．１」、「３．３」、「２．１」、「１．１」、「０．９」、「５．８」、「２．２」、「１．２」、「０．２」が生成される（Ｓ２４）。そして、それぞれを閾値αである「３．８４１５」と比較することにより、その単語列がドメインに特徴的か否かを決定する（Ｓ２５）。ここでは、「暗証−番号−入力−する」、「暗証−番号−入力」、「暗証−番号−する」、「暗証−番号」、「暗証」の５つの単語列が選択され、ドメインに特徴的な単語列であるものとして抽出される。
【００４０】
次に、重み付与部１３において、前記のように選択された単語列に対し（４）式を適用することにより重みが付与される（Ｓ２６）。図３に示す例では、抽出された単語列のそれぞれに、「１５．１」、「７．２」、「６．１」、「４．２」、「０．１」の重みが付与される。
【００４１】
そして、スコア決定処理部１４において（５）式を適用することにより重みの総和を計算し、文のスコアを決定する（Ｓ２７）。図３に示す例では、１５．１＋７．２＋６．１＋４．２＋０．１＝３２．７によりスコアを得ている。
【００４２】
このようにしてスコアを決定した後、スコアの高い単語列を選択して要約等の作成に用いる。
【００４３】
以上、説明したように本発明は、文書ＤＢ１０の所定のドメインに含まれる文書群の特徴を表す文を抽出し、文書の要約を作成することを可能にする。そのために、文書ＤＢ１０の所定のドメインに含まれる文書群とそれ以外とに対し、χ2検定を行い、その結果であるχ2値に閾値処理を施し、さらに閾値処理後の単語列に対して重みを与えてスコアを決定し、スコアの高い文を抽出する構成とするものである。すなわち、形態素解析の結果である個々の単語を重み付けの対象とするのではなく、単語列に対して重み付けを行うことで単語の組み合わせによるスコア評価を可能とするものである。
【００４４】
このことにより、あるドメインに属する複数の文書からスコアの高い文を抽出することができ信頼性の高い要約等を作成することが可能となる。従って、検索結果などを効率的に要約することが可能となり、人間が文書を読む際の負担が軽減される。
【００４５】
なお、本発明は、図１に示す単語列抽出処理部１１と、単語列認定処理部１２と、重み付与部１３と、スコア決定処理部１４のそれぞれで実行される手順をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによっても本発明を実現することができるものである。ここでいうコンピュータシステムとは、ＯＳや周辺機器等のハードウェアを含む。
【図面の簡単な説明】
【００４６】
【図１】本発明実施形態の内部構成を示すブロック図である。
【図２】本発明実施形態の動作を説明するために引用したフローチャートである。
【図３】本発明実施形態の動作を概念的に示した動作概念図である。
【符号の説明】
【００４７】
１０    文書ＤＢ
１１    単語列抽出処理部
１２    単語列認定処理部
１３    重み付与部
１４    スコア決定処理部
【図１】
2005141428.tif 000010
【図２】
2005141428.tif 000011
【図３】
2005141428.tif 000012