(57)【要約】【課題】  電子テキストの中から重要文を抽出するときの重要文抽出精度を向上させる。【解決手段】  訓練用電子テキストに基づき訓練用文ベクトルを作成する訓練用文ベクトル作成プログラム１２１と、訓練用文ベクトルに基づき重要文事前確率を算出する重要文事前確率算出プログラム１２２と、テスト電子テキストからテスト文ベクトルを作成するテスト文ベクトル作成プログラム１２４と、単語生成確率が共役事前分布に従うときに得られるテスト文生成確率を表わす数式に基づきテスト文生成確率を算出するテスト文生成確率算出プログラム１２５と、重要文事前確率およびテスト文生成確率に基づきテスト電子テキストに含まれる文ごとに重要文になる確率を算出することにより重要文を抽出する重要文抽出プログラム１２６とを実行することによって重要文を抽出する。【選択図】      図２
2006120088.tif 000002
【特許請求の範囲】
【請求項１】
演算処理部と記憶部とを備えた情報処理装置からなる重要文抽出装置における重要文抽出方法であって、
前記演算処理部が
前記記憶部に記憶された訓練用電子テキストに基づき、その訓練用電子テキストに含まれる文ごとに出現単語の頻度を要素とする訓練用文ベクトルを作成し、前記作成した訓練用文ベクトルを前記記憶部に記憶する訓練用文ベクトル作成ステップと、
前記記憶部に記憶された前記訓練用文ベクトルに基づき、文ごとに重要文になる確率である重要文事前確率を算出し、前記算出した重要文事前確率を前記記憶部に記憶する重要文事前確率算出ステップと、
重要文抽出の対象として入力されるテスト電子テキストから、そのテスト電子テキストに含まれる文ごとに出現単語の頻度を要素とするテスト文ベクトルを作成し、前記作成したテスト文ベクトルを前記記憶部に記憶するテスト文ベクトル作成ステップと、
前記訓練用文ベクトルに基づく単語生成確率が共役事前分布に従うときに得られるテスト文生成確率を表わす数式へ、前記記憶部に記憶された前記訓練用文ベクトルおよび前記テスト文ベクトルの値を代入することによりテスト文生成確率を算出し、前記算出したテスト文生成確率を前記記憶部に記憶するテスト文生成確率算出ステップと、
前記記憶部に記憶された前記重要文事前確率および前記テスト文生成確率に基づき、前記テスト電子テキストに含まれる文ごとに重要文になる確率を算出し、その中で最大の確率となる文を重要文として抽出する重要文抽出ステップと、
前記抽出した重要文を出力する重要文出力ステップと
を実行することを特徴とする重要文抽出方法。
【請求項２】
前記テスト文生成確率算出ステップにおいて、前記テスト文生成確率を表わす数式は、
【数１】
2006120088.tif 000040
であることを特徴とする請求項１に記載の重要文抽出方法。
【請求項３】
演算処理部と記憶部とを備えた情報処理装置からなる重要文抽出装置であって、
前記記憶部に記憶された訓練用電子テキストに基づき、その訓練用電子テキストに含まれる文ごとに出現単語の頻度を要素とする訓練用文ベクトルを作成し、前記作成した訓練用文ベクトルを前記記憶部に記憶する訓練用文ベクトル作成手段と、
前記記憶部に記憶された前記訓練用文ベクトルに基づき、文ごとに重要文になる確率である重要文事前確率を算出し、前記算出した重要文事前確率を前記記憶部に記憶する重要文事前確率算出手段と、
重要文抽出の対象として入力されるテスト電子テキストから、そのテスト電子テキストに含まれる文ごとに出現単語の頻度を要素とするテスト文ベクトルを作成し、前記作成したテスト文ベクトルを前記記憶部に記憶するテスト文ベクトル作成手段と、
前記訓練用文ベクトルに基づく単語生成確率が共役事前分布に従うときに得られるテスト文生成確率を表わす数式へ、前記記憶部に記憶された前記訓練用文ベクトルおよび前記テスト文ベクトルの値を代入することによりテスト文生成確率を算出し、前記算出したテスト文生成確率を前記記憶部に記憶するテスト文生成確率算出手段と、
前記記憶部に記憶された前記重要文事前確率および前記テスト文生成確率に基づき、前記テスト電子テキストに含まれる文ごとに重要文になる確率を算出し、その中で最大の確率となる文を重要文として抽出する重要文抽出手段と、
前記抽出した重要文を出力する重要文出力手段と
を備えたことを特徴とする重要文抽出装置。
【請求項４】
前記テスト文生成確率算出手段において、前記テスト文生成確率を表わす数式は、
【数２】
2006120088.tif 000041
であることを特徴とする請求項３に記載の重要文抽出装置。
【請求項５】
請求項１または請求項２に記載の重要文抽出方法をコンピュータに実行させるためのプログラムであること
を特徴とする重要文抽出プログラム。
【請求項６】
請求項５に記載の重要文抽出プログラムをコンピュータ読み取り可能な記憶媒体に記憶したこと
を特徴とする重要文抽出プログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、訓練用電子テキストによって生成された単語生成確率データに基づき、重要文抽出対象のテスト電子テキストから重要文を抽出する重要文抽出方法、重要文抽出装置、重要文抽出プログラムおよび重要文抽出プログラム記憶媒体に関する。
【背景技術】
【０００２】
インターネットなどにおいて大量の電子テキスト情報が流通している現在では、自分が希望する情報を、例えば、キーワードなどによって検索を行っても、なお、大量の電子テキスト情報が提供される。また、大量の電子テキスト情報の中からユーザが求める情報を抽出してユーザに提供する情報産業界においては、ユーザの希望に沿った情報をできる限り選りすぐって提供する必要がある。
【０００３】
このような状況に対処するためには、キーワードによる検索だけでは不十分であり、さらに、電子テキスト情報の内容を把握する技術の適用が求められている。電子テキスト情報の内容を把握する技術の一つに、入力される電子テキストの中から自分の希望に沿って最も重要な文の抽出を行う重要文抽出技術がある。
【０００４】
例えば、非特許文献１には、確率モデルを用いたNaive Bayes法により、最もテキストの生成確率を高くするような重要文の文の位置を求め、その文を重要文として抽出する方法が開示されている。この方法は、抽出する計算時間が短いにもかかわらず、比較的高い抽出精度が得られることが知られている。
【非特許文献１】Rob Jelier, Martijn Schuemie, Christiaan van der Eijk, Marc Weeber, Erik van Mulligen, Bob Schijvenaars, Barend Mons, Jan Kors, "Searching for geneRIFs: Concept-Based Query Expansion and Bayes Classification", Proc. of the 12th Text Retrieval Conference （TREC 2003）, p.225-p.233
【０００５】
以下、非特許文献１に開示されているNaive Bayes法による重要文の抽出方法について具体的に説明する。
【０００６】
まず、訓練用電子テキストを用意する。訓練用電子テキストは、重要文を抽出するときに基準となる電子テキストであり、その電子テキストには、どの文が重要文であるかの情報が付与されている。ここでは、訓練用電子テキストは、x1, x2, … xN-1 ,xN のN個の文書と、それらの各文書xd (d = 1,2,…,N-1,N) に対して人手で付与された重要文の文位置yd (d = 1,2,…,N-1,N) とから構成されるとしている。ここで、yd は、1,2,…,L-1, L の L個の値のいずれかの値をとる。なお、Lは文位置の総数を表わす。
【０００７】
このような訓練用電子テキストから、そのテキストに含まれる文毎に出現単語頻度を要素とする訓練用文ベクトルを作成する。訓練用電子テキストの、x1, x2,…,xN-1,xN のN個の文書について文位置lの文を調べたとき、全体でTl個の相異なる単語 t1l, t2l,…,tTll が存在したとする。このとき、文書dに対する文位置lの文に対する訓練用文ベクトルxldを、数式（１）により作成する。
【０００８】
【数１】
2006120088.tif 000003
ここで、fkl,d は、文書dに対する文位置lの文に含まれている単語tkl の数を表わす。
【０００９】
なお、訓練用文ベクトルを作成する際には、必ずしもすべての文を用いる必要はない。例えば、アブストラクトなどにおいては、重要文は、通常、アブストラクト中の最初の１文とアブストラクト末尾の２文に表れ易いと考えられている。このような場合には、訓練用文ベクトル作成対象の文として、アブストラクト中の最初の１文と末尾の２文とのみを用いるようにしてもよい。そして、これを文位置lと対応させる。すなわち、アブストラクトの最初の一文に対する文位置lは、l=1、アブストラクト末尾から２文目の文位置lは、l=2、アブストラクト末尾の文位置lは、l=3となる。また、文位置の総数Lは、L=3となる。
【００１０】
次に、以上のようにして作成した訓練用文ベクトルを用いて、確率モデルパラメータの一つである、ある文が重要文であることを示す重要文事前確率を求める。ここで、訓練用電子テキスト全体を数式（２）で表わし、文位置j (j=1,2,…,L-1,L) に対する重要文事前確率をP(y=j|Dtrain)と表すと、その重要文事前確率P(y=j|Dtrain)は、数式（３）によって計算することができる。
【００１１】
【数２】
2006120088.tif 000004
【数３】
2006120088.tif 000005
ここで、Njは、y1, y2, … yN-1 ,yN の中で、値がjであるyの個数である。
【００１２】
次に、重要文を抽出する対象のテキスト（以下、テスト電子テキストという）から、そのテキストに含まれる文毎に出現単語頻度を要素とする文ベクトルを作成する。ここでは、テスト電子テキストをx* で表される１個の文書とする。そして、文書x* に対する文位置l (l=1,2,…,L-1,L) に対応するテスト文ベクトルxl* を、数式（４）に従い作成する。
【００１３】
【数４】
2006120088.tif 000006
ここで、fkl* は、文書x* の文位置lの文に含まれている単語tkl の数を表す。
【００１４】
次に、訓練用文ベクトル（数式（１））およびテスト文ベクトル（数式（４））から、テスト文生成確率を算出する。
【００１５】
まず、訓練用文ベクトルから、確率モデルパラメータの一つである単語生成確率を求める。訓練用電子テキストの中で、重要文の文位置yの値がjである文書について文位置がlの文の全体をDtrain,j,l と表わすと、重要文の文位置がjである文書の文位置lの文における単語tkl に対する単語生成確率P(tkl|y=j,Dtrain,j,l) は、Naive Bayes法では、数式（５）に基づき計算する。
【００１６】
【数５】
2006120088.tif 000007
【００１７】
ただし、単語の分布とjの値によっては、数式（６）の値、つまり、数式（５）の右辺分母の値が０となる場合がある。
【数６】
2006120088.tif 000008
【００１８】
その場合には、数式（５）全体の値が０となってしまい、後の計算に支障が出る。そのため、通常、数式（６）の値が０となる場合でも、数式（５）が小さな値を持つように、数式（７）で表わされるスムージングを行い、単語生成確率P(tkl|y=j,Dtrain,j,l) を求める。
【００１９】
【数７】
2006120088.tif 000009
ここで、εは、スムージング定数と呼ばれ、利用者が小さな数を設定しておく。
【００２０】
次に、Naive Bayes法では、文書x* の重要文の文位置yの値がjであるとした場合の文位置lにおけるテスト文生成確率P(xl*|y=j,Dtrain,j,l) は、単語がそれぞれ独立にそれぞれの確率モデルから生成され、一つの文が生成されると仮定することによって、単語生成確率とテスト文ベクトルとを用い、数式（８）によって算出することができる。
【００２１】
【数８】
2006120088.tif 000010
【００２２】
次に、訓練用文ベクトルから算出された重要文事前確率（数式（３））とテスト文生成確率（数式（８））とを用いて、テスト電子テキストの重要文の文位置yがj(j=1,2,…,L-1,L)である確率P(y=j|x*,Dtrain) をそれぞれ算出し、その中で最大確率である文位置を重要文として抽出する。
【００２３】
まず、テスト電子テキスト全体が訓練用電子テキストから得られる確率モデルに基づき生成される確率P(x*|y=j,Dtrain) を、文生成確率の積とみなし、数式（９）により算出する。
【００２４】
【数９】
2006120088.tif 000011
【００２５】
また、P(y=j|x*,Dtrain)は、Bayesの定理より数式（１０）の関係が成り立ち、さらに、数式（１２）の右辺分母については、数式（１１）の関係が成り立つので、数式（１１）、数式（１２）により、数式（１３）の関係を導出することができる。
【００２６】
【数１０】
2006120088.tif 000012
【数１１】
2006120088.tif 000013
【数１２】
2006120088.tif 000014
【００２７】
数式（１２）によって、数式（３）で求めたP(y=j|Dtrain)の値と、数式（９）で求めたP(x*|y=j, Dtrain) の値を用いて、数式（１２）の右辺を計算すれば、テスト電子テキストの重要文の文位置yがj(j=1,2,…,L-1,L)である確率P(y=j|x*,Dtrain) の値を算出することができる。従って、このようにして求められたP(y=j|x*,Dtrain) の値のうち最大の値を与える文位置ｊの文を重要文として抽出する。
【発明の開示】
【発明が解決しようとする課題】
【００２８】
以上に説明したNaive Bayes法を用いた重要文抽出方法では、確率モデルパラメータの一つである単語生成確率は、訓練用テキスト中での単語の出現割合をそのまま確率値と見なして定数の単語生成確率の値としている。しかしながら、実際には、訓練用テキストを生成するための単語生成確率は、それ自体が確率分布を持っており、一意に値が決まるものではない。そのため、Naive Bayes法のように単語生成確率の値を一意に固定してテスト電子テキストの重要文の文位置においてその確率を計算する方法では、局所的な最適解しか得られない可能性が大きい。そのため、重要文抽出の精度が向上しない原因の一つになっている。
【００２９】
本発明は、前記の従来方法の問題点に鑑みなされたもので、重要文抽出精度を向上させることができる重要文抽出方法、重要文抽出装置、重要文抽出プログラムおよび重要文抽出プログラム記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００３０】
前記目的を達成するために、請求項１に記載の発明の重要文抽出方法は、演算処理部と記憶部とを備えた情報処理装置からなる重要文抽出装置における重要文抽出方法であって、前記記憶部に記憶された訓練用電子テキストに基づき、その訓練用電子テキストに含まれる文ごとに出現単語の頻度を要素とする訓練用文ベクトルを作成し、作成した訓練用文ベクトルを記憶部に記憶する訓練用文ベクトル作成ステップと、記憶部に記憶された訓練用文ベクトルに基づき、文ごとに重要文になる確率である重要文事前確率を算出し、算出した重要文事前確率を記憶部に記憶する重要文事前確率算出ステップと、重要文抽出の対象として入力されるテスト電子テキストから、そのテスト電子テキストに含まれる文ごとに出現単語の頻度を要素とするテスト文ベクトルを作成し、作成したテスト文ベクトルを記憶部に記憶するテスト文ベクトル作成ステップと、訓練用文ベクトルに基づく単語生成確率が共役事前分布に従うときに得られるテスト文生成確率を表わす数式へ、前記記憶部に記憶された訓練用文ベクトルおよびテスト文ベクトルの値を代入することによりテスト文生成確率を算出し、算出したテスト文生成確率を記憶部に記憶するテスト文生成確率算出ステップと、記憶部に記憶された重要文事前確率およびテスト文生成確率に基づき、テスト電子テキストに含まれる文ごとに重要文になる確率を算出し、その中で最大の確率となる文を重要文として抽出する重要文抽出ステップと、その抽出した重要文を出力する重要文出力ステップとを実行することを特徴とする。
【００３１】
請求項２に記載の発明の重要文抽出方法は、請求項１に記載の重要文抽出方法におけるテスト文生成確率算出ステップにおいて、テスト文生成確率を表わす数式は、
【数１３】
2006120088.tif 000015
であることを特徴とする。
【００３２】
請求項３に記載の発明の重要文抽出装置は、演算処理部と記憶部とを備えた情報処理装置からなる重要文抽出装置であって、前記記憶部に記憶された訓練用電子テキストに基づき、その訓練用電子テキストに含まれる文ごとに出現単語の頻度を要素とする訓練用文ベクトルを作成し、作成した前記訓練用文ベクトルを記憶部に記憶する訓練用文ベクトル作成手段と、その記憶部に記憶された訓練用文ベクトルに基づき、文ごとに重要文になる確率である重要文事前確率を算出し、算出した重要文事前確率を記憶部に記憶する重要文事前確率算出手段と、重要文抽出の対象として入力されるテスト電子テキストから、そのテスト電子テキストに含まれる文ごとに出現単語の頻度を要素とするテスト文ベクトルを作成し、作成した前記テスト文ベクトルを記憶部に記憶するテスト文ベクトル作成手段と、訓練用文ベクトルに基づく単語生成確率が共役事前分布に従うときに得られるテスト文生成確率を表わす数式へ、記憶部に記憶された訓練用文ベクトルおよびテスト文ベクトルの値を代入することによりテスト文生成確率を算出し、算出したテスト文生成確率を記憶部に記憶するテスト文生成確率算出手段と、記憶部に記憶された重要文事前確率およびテスト文生成確率に基づき、前記テスト電子テキストに含まれる文ごとに重要文になる確率を算出し、その中で最大の確率となる文を重要文として抽出する重要文抽出手段と、その抽出した重要文を出力する重要文出力手段とを備えたことを特徴とする。
【００３３】
請求項４に記載の発明の重要文抽出装置は、請求項３に記載の重要文抽出装置のテスト文生成確率算出手段において、テスト文生成確率を表わす数式は、
【数１４】
2006120088.tif 000016
であることを特徴とする。
【００３４】
請求項５に記載の発明の重要文抽出プログラムは、請求項１または請求項２に記載の重要文抽出方法をコンピュータに実行させるためのプログラムであることを特徴とする。
【００３５】
請求項６に記載の発明の重要文抽出プログラム記憶媒体は、請求項５に記載の重要文抽出プログラムをコンピュータ読み取り可能な記憶媒体に記憶したことを特徴とする
【００３６】
以上、本発明によれば、訓練用文ベクトルに基づく単語生成確率を一定の値とするのではなく、共役事前分布に従うとしたことにより、より現実に適合したテスト文生成確率を算出することができる。そのため、重要文抽出の精度を向上させることができる。
【発明の効果】
【００３７】
以上、本発明によれば、重要文抽出方法、重要文抽出装置、重要文抽出プログラムおよび重要文抽出プログラム記憶媒体において重要文抽出の精度を向上させることができる。
【発明を実施するための最良の形態】
【００３８】
以下、図面を参照して本発明の実施の形態について詳しく説明する。
【００３９】
図１は、本発明の実施形態に係る重要文抽出装置の構成を示した図である。図１に示すように、重要文抽出装置１０は、演算処理部１１と、主記憶部１２と、補助記憶部１３と、入出力制御部１４と、可搬記憶メディア駆動部１５などを備えた、通常、コンピュータと呼ばれる情報処理装置によって構成される。
【００４０】
ここで、主記憶部１２は、半導体メモリのＲＡＭ（Random Access Memory）などの高速メモリによって構成され、補助記憶部１３は、ハードディスク記憶装置などの大容量記憶装置によって構成される。また、入出力制御部１４は、インターネットなどのネットワーク２０、ＬＣＤ（Liquid Crystal Display）ディスプレイなどのディスプレイ２１、キーボード２２などの入出力装置に接続される。また、可搬記憶メディア駆動部１５は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）２３やＤＶＤ（Digital Versatile Disk）などの可搬記憶メディアを駆動し、その記憶データを読み取りまたは書込む。
【００４１】
図２は、本発明の実施形態に係る重要文抽出装置の主記憶部および補助記憶部の構成を示した図である。図２に示すように、重要文抽出装置１０の主記憶部１２には、訓練用文ベクトル作成手段である訓練用文ベクトル作成プログラム１２１、重要文事前確率算出手段である重要文事前確率算出プログラム１２２、テスト電子テキスト入力プログラム１２３、テスト文ベクトル作成手段であるテスト文ベクトル作成プログラム１２４、テスト文生成確率算出手段であるテスト文生成確率算出プログラム１２５、重要文抽出手段である重要文抽出プログラム１２６、重要文出力手段である重要文出力プログラム１２７などのプログラムが格納される。また、主記憶部１２には、これらのプログラム１２１〜１２７が実行されるときに使用される作業領域として、訓練用文ベクトル記憶領域１３２、重要文事前確率記憶領域１３３、テスト文ベクトル記憶領域１３４、テスト文生成確率記憶領域１３５、重要文記憶領域１３６などの作業領域が設けられる。
【００４２】
一方、補助記憶部１３には、訓練用電子テキストの文書を格納する訓練用電子テキストファイル１３１が設けられる。なお、訓練用電子テキストの文書を、主記憶部１２に格納しても構わない。また、前記の作業領域１３２〜１３６の全部または一部を補助記憶部１３に設けるようにしても構わない。
【００４３】
重要文抽出装置１０の機能は、演算処理部１１が、主記憶部１２に格納されているこれらのプログラム１２１〜１２７を読み出して、実行することにより実現される。なお、プログラム１２１〜１２７は、ＣＤ−ＲＯＭ２３などのコンピュータが読み取り可能な可搬記憶メディアに記憶され、可搬記憶メディア駆動部１５を介して、主記憶部１２へ格納される。
【００４４】
図３および図４は、本発明の実施形態に係る重要文抽出の手順を示した図であり、図３は、訓練用電子テキストから重要文事前確率を算出するまでの手順を示した図、図４は、テスト電子テキストを入力して、そのテスト電子テキストの重要文を抽出し出力する手順を示した図である。以下、これらの手順について、まず、全体の流れを簡単に説明し、その後、手順の詳細について数式を示しながら詳しく説明する。
【００４５】
図３に示すように、重要文抽出装置１０の演算処理部１１は、まず、訓練用文ベクトル作成プログラム１２１に従い、訓練用電子テキストファイル１３１から訓練用電子テキストを読み出して、その訓練用電子テキストに基づき、訓練用文ベクトルを作成する（ステップＳ１）。そして、作成した訓練用文ベクトルを訓練用文ベクトル記憶領域１３２へ格納する。次に、演算処理部１１は、重要文事前確率算出プログラム１２２に従い、訓練用文ベクトル記憶領域１３２に格納されている訓練用文ベクトルに基づき、訓練用電子テキストの所定の文位置の文について重要文事前確率を算出する（ステップＳ２）。そして、算出した重要文事前確率を重要文事前確率記憶領域１３３へ格納する。
【００４６】
次に、図４において、演算処理部１１は、テスト電子テキスト入力プログラム１２３に従い、例えば、ネットワーク２０などから入力される重要文抽出の対象となるテスト電子テキストを入力し（ステップＳ３）、入力したテスト電子テキストを図示しない主記憶部１２の作業領域に記憶する。そして、演算処理部１１は、テスト文ベクトル作成プログラム１２４に従い、テスト文ベクトルを作成し（ステップＳ４）、作成したテスト文ベクトルをテスト文ベクトル記憶領域１３４へ格納する。
【００４７】
次に、演算処理部１１は、テスト文生成確率算出プログラム１２５に従い、訓練用文ベクトル記憶領域１３２に格納されている訓練用文ベクトルとテスト文ベクトル記憶領域１３４に格納されているテスト文ベクトルとに基づき、テスト文生成確率を算出する（ステップＳ５）。そして、算出したテスト文生成確率をテスト文生成確率記憶領域１３５に格納する。
【００４８】
次に、演算処理部１１は、重要文抽出プログラム１２６に従い、重要文事前確率記憶領域１３３に格納されている重要文事前確率とテスト文生成確率記憶領域１３５に格納されているテスト文生成確率とに基づき、テスト電子テキストの所定の文位置の文について重要文となる確率を求め、その確率が最大になる文を重要文として抽出する（ステップＳ６）。そして、重要文出力プログラム１２７に従い、抽出したテスト電子テキストの重要文をディスプレイ２１などに出力する（ステップＳ７）。
【００４９】
以下、以上の各ステップの手順についてさらに詳しく説明する。
【００５０】
まず、ステップＳ１では、補助記憶部１３の訓練用電子テキストファイル１３１に格納されている訓練用電子テキストを訓練用電子テキストファイル１３１から読み出す。ここで、訓練用電子テキストは、x1, x2,…,xN-1,xN のN個の文書と、それらの各文書xd (d = 1,2,…,N-1,N)に対して、人手で付与された重要文の文位置yd (d = 1,2,…,N-1,N) の情報から構成されている。ここで、yd は、1,2,…,L-1,L の L個の値のいずれかの値をとる。なお、Lは文位置の総数を表わす。
【００５１】
このような訓練用電子テキストから、そのテキストに含まれる文毎に出現単語頻度を要素とする訓練用文ベクトルを作成する。訓練用電子テキストの、x1, x2,…,xN-1,xN のN個の文書について文位置lの文を調べたとき、全体でTl個の相異なる単語 t1l, t2l,…,tTll が存在したとする。このとき、文書dに対する文位置lの文に対する訓練用文ベクトルxldを、数式（１５）により作成する。
【００５２】
【数１５】
2006120088.tif 000017
ここで、fkl,d は、文書dに対する文位置lの文に含まれている単語tkl の数を表わす。
【００５３】
なお、従来のNaive Bayes法と同様に、訓練用文ベクトルを作成する際には、必ずしもすべての文を用いる必要はない。例えば、アブストラクトなどにおいては、重要文は、通常、アブストラクト中の最初の１文とアブストラクト末尾の２文に表れ易いと考えられている。このような場合には、訓練用文ベクトル作成対象の文として、アブストラクト中の最初の１文と末尾の２文とのみを用いるようにしてもよい。そして、これを文位置lと対応させる。すなわち、アブストラクトの最初の一文に対する文位置lは、l=1、アブストラクト末尾から２文目の文位置lは、l=2、アブストラクト末尾の文位置lは、l=3となる。また、文位置の総数Lは、L=3となる。
【００５４】
以上のようにして求められた訓練用文ベクトルxldは、訓練用文ベクトル記憶領域１３２に格納される。
【００５５】
次に、ステップＳ２では、以上のようにして作成した訓練用文ベクトルxldを用いて、確率モデルパラメータの一つである、ある文が重要文であることを示す重要文事前確率を求める。ここで、訓練用電子テキスト全体を数式（１６）で表わし、文位置j (j=1,2,…,L-1,L) に対する重要文事前確率をP(y=j|Dtrain)と表わすと、その重要文事前確率P(y=j|Dtrain)は、数式（１７）によって計算することができる。
【００５６】
【数１６】
2006120088.tif 000018
【数１７】
2006120088.tif 000019
ここで、Njは、y1, y2, … yN-1 ,yN の中で、値がjであるyの個数である。
【００５７】
以上のようにして求められた重要文事前確率P(y=j|Dtrain)は、重要文事前確率記憶領域１３３に格納される。
【００５８】
次に、ステップＳ３では、重要文抽出の対象となるテスト文テキストを入力する。ここでは、テスト文テキストは、x* で表される１個の文書とする。
【００５９】
次に、ステップＳ４では、入力されたテスト文テキストx* について文位置l (l=1,2,…,L-1,L) に対応するテスト文ベクトルxl* を、数式（１８）に従い作成する。
【００６０】
【数１８】
2006120088.tif 000020
ここで、fkl* は、文書x* の文位置lの文に含まれている単語tkl の数を表す。
【００６１】
次に、ステップＳ５では、訓練用文ベクトル記憶領域１３２に格納されている訓練用文ベクトルとテスト文ベクトル記憶領域１３４に格納されているテスト文ベクトルとに基づき、テスト文生成確率を算出する。
【００６２】
テスト文生成確率を算出ための数式を導出するために、訓練用文ベクトルから確率モデルパラメータの一つである単語生成確率を求めるが、本実施形態では従来のNaive Bayes法と異なり、単語生成確率自体がある確率分布に従っていると仮定する。一方、従来のNaive Bayes法によれば、単語生成確率は、数式（９）で求めることができ、この場合には、単語生成確率は、確定した訓練文電子テキストに対して確定した値となる。つまり、本実施形態では、単語生成確率は、ある値に定まるのではなく、ある値の近傍に分布する数であるとする。これは、現実に近い仮定である考えられる。
【００６３】
そこで、訓練用電子テキストの中で、重要文の文位置yの値がjである文書について文位置がlの文の全体をDtrain,j,l と表わしたとき、重要文の文位置がjである文書の文位置lの文における単語tkl に対する単語生成確率P(tkl|y=j,Dtrain,j,l) を簡単のため、
θk,l|jと表記する。すると、文書x*の重要文の文位置yの値がjであるとした場合の文位置lの文におけるテスト文生成確率P(xl*|y=j,Dtrain,j,l) は、単語tkl (l=1,2,…,L)に対する単語生成確率θk,l|jの単語生成確率の確率分布全体に対する期待値として求めることができる。従って、テスト文生成確率P(xl*|y=j,Dtrain,j,l) は、数式（１９）のように表わすことができる。
【００６４】
【数１９】
2006120088.tif 000021
【００６５】
数式（１９）は、積分形をしており、これを解析的に変形し、数値計算可能な式にするのは、一般的にいって難しい。そのため、ここでは、数式（１９）を近以的に変形し、数値計算可能な式にする。そこで、数式（１９）の中に含まれる数式（２０）で表される確率分布が共役事前分布の一つであるディレクレ分布に従うとする。
【００６６】
【数２０】
2006120088.tif 000022
【００６７】
さらに、変分近似およびガンマ関数の階乗関数による近似を用いると、テスト文生成確率P(xl*|y=j,Dtrain,j,l) は、近似的に、数式（２１）のように表わすことができる。
【００６８】
【数２１】
2006120088.tif 000023
ここで、αはハイパーパラメータと呼ばれる定数で、利用者が10-8などの小さな数を設定しておく。
【００６９】
数式（２１）において、fkl,d は、訓練用文電子テキストの第d文書の文位置lの文に対する訓練用文ベクトルの成分を表わす値であり、また、fkl* は、テスト文電子テキストの文位置lの文に対するテスト文ベクトルの成分を表わす値であるので、数式（１９）によりテスト文電子テキストの文位置lの文に対するテスト文生成確率
P(xl*|y=j,Dtrain,j,l)を数値的に算出することができる。
【００７０】
すなわち、訓練用文ベクトル記憶領域１３２に格納されている訓練用文ベクトルとテスト文ベクトル記憶領域１３４に格納されているテスト文ベクトルとを用い、数式（２１）によるテスト文生成確率を算出する（ステップＳ５）。そして、算出したテスト文生成確率をテスト文生成確率記憶領域１３５に格納する。
【００７１】
なお、数式（１９）において、fkl* = 0 の場合には、数式（２２）が成り立つとみなして計算する。
【数２２】
2006120088.tif 000024
【００７２】
また、以上の説明において省略した数式（１９）から数式（２１）を導出する過程の説明は、別途、後記する。
【００７３】
次に、ステップＳ６では、訓練用文ベクトルから算出された重要文事前確率とテスト文生成確率を用いて、テスト電子テキストの重要文の文位置yがj(j=1,2,…,L-1,L)である確率P(y=j|x*,Dtrain)をそれぞれ算出し、その中で最大確率である文位置を重要文として抽出する。
【００７４】
まず、テスト電子テキスト全体が確率モデルから生成される確率P(x*|y=j,Dtrain)を、ステップＳ５で求められた文生成確率P(xl*|y=j,Dtrain,j,l)の積と見なし、数式（２３）により算出する。
【００７５】
【数２３】
2006120088.tif 000025
【００７６】
また、Bayesの定理より、P(y=j|x*,Dtrain)は、数式（２４）の関係が成り立つ。
【数２４】
2006120088.tif 000026
【００７７】
また、数式（２４）の右辺分母については、数式（２５）の関係が成り立つ。
【数２５】
2006120088.tif 000027
【００７８】
従って、数式（２４）と数式（２５）とにより、数式（２６）を導くことができる。
【数２６】
2006120088.tif 000028
【００７９】
そこで、ステップＳ２の数式（１７）で求めた重要文事前確率P(y=j|Dtrain)の値と、数式（２３）で求めたP(x*|y=j,Dtrain)の値を用いて数式（２６）の右辺へ代入する。このようにして、テスト電子テキストの重要文の文位置yがj (j=1,2,…,L-1,L) である確率P(y=j|x*,Dtrain)の値を算出することができる。算出したP(y=j|x*,Dtrain)の値のうち最大の値を与える文位置ｊの文を重要文と特定し、抽出する。
【００８０】
最後に、ステップＳ６で重要文として抽出された重要文を外部へ出力する。
【００８１】
（補足）
以下に、数式（１９）から数式（２１）を導出する過程の詳細について説明する。まず、数式を分かり易くするために、数式（２７）のように、θ1,l|j,…,θTl,l|jをまとめてΘと表記する。
【数２７】
2006120088.tif 000029
【００８２】
数式（１９）は、数式（２８）のように表記することができる。
【数２８】
2006120088.tif 000030
【００８３】
また、確率分布について変分近似による近似を用いると、数式（２９）が成り立つ。
【数２９】
2006120088.tif 000031
【００８４】
次いで、事前分布P(Θl|j)としてディレクレ分布を仮定すると、事前分布P(Θl|j)は、数式（３０）のように表記することができる。
【００８５】
【数３０】
2006120088.tif 000032
ここで、α1,…,αTl は、ハイパーパラメータと呼ばれ、α1,…,αTl＞0を満たす定数であり、利用者が最初に定めておく値である。また、Γ(z) は、ガンマ関数であり、数式（３１）により定義される。
【数３１】
2006120088.tif 000033
【００８６】
次に、計算を簡単にするために、数式（３２）に示すように、ハイパーパラメータの値は、すべて同じであるとする。
【数３２】
2006120088.tif 000034
【００８７】
すると、数式（３０）は、数式（３３）のように変形することができる。
【数３３】
2006120088.tif 000035
【００８８】
また、訓練用電子テキスト中の各文書がそれぞれ独立に発生したと仮定すると、数式（３４）が成立する。
【数３４】
2006120088.tif 000036
【００８９】
そこで、数式（２９）に数式（３３）、数式（３４）を代入したものを、数式（２８）に代入して整理すると、数式（３５）を導くことができる。
【数３５】
2006120088.tif 000037
【００９０】
ここで、x1+…+xn=1, 0≦x1,…,xn≦1が成り立つときには、一般的に、数式（３６）が成り立つ。
【数３６】
2006120088.tif 000038
【００９１】
数式（３６）を利用して、数式（３５）を整理すると、数式（３７）を導くことができる。
【数３７】
2006120088.tif 000039
【００９２】
さらに、ガンマ関数については、sを正の整数としたとき、Γ(s)=(s-1)! の関係が成り立つ。そこで、これを利用し、数式（３７）を整理すると、数式（２１）を得ることができる。
【実施例】
【００９３】
次に、本発明の効果を確認した実施例について説明する。本実施例では、非特許文献１のNaive Bayse法に基づく重要文抽出プログラムと、本発明に基づく重要文抽出プログラムとを作成し、コンピュータにそれらを実行させ、重要文抽出の精度を評価する実験を行った。このとき、訓練用電子テキストおよびテスト電子テキストとしては、生物医学文献とGeneRIF（Gene Regerence into Function）のデータを用いた。
【００９４】
なお、GeneRIFは、LocusLinkデータベース中のフィールド名であり、GeneRIFには、遺伝子の機能が英語テキストで記述され、記憶されている。そのGeneRIFの記述は、NCBI（National Center for Biotechnology Information）の専門家が、一つの論文に対し、その論文の内容を人手で一文に表したものである。従って、GeneRIFの記述は、論文に対する重要文とみなすことが可能な記述内容であるといえる。
【００９５】
そこで、本評価実験では、訓練用電子テキストとして17699個のGeneRIFに対応する17699件の生物医学論文アブストラクトを用いた。また、テスト電子テキストとして評価型国際ワークショップTREC 2003 Genomics Trackで用いられた139組のGeneRIFと論文アブストラクトを用いた。
【００９６】
そして、ここでは、各論文アブストラクトのうち９文を重要文抽出の対象とした。すなわち、各文書の文位置の数を９とし（L=9）、論文アブストラクト中の、タイトル文、アブストラクト先頭３文、アブストラクト末尾５文、合わせて９文を重要文抽出の対象とした。また、GeneRIFには、重要文そのものは入っていないので、以上９文のうち最も類似度の高い文（ここでは、Dice係数の値が最も高くなる文）を抽出すべき重要文とした。
【００９７】
ここで、Dice係数とは、Dice(A,B) = 2Z／(X+Y) によって定義される係数である。この式において、A、Bは、ある２つの文字列であり、X、Yは、文字列A、Bのそれぞれに含まれる単語数であり、Zは、文字列A、Bの両方に含まれる単語数である。
【００９８】
以上の前提に基づき、訓練用電子テキストとして17699個のGeneRIFに対応する17699件の生物医学論文アブストラクトを用いて、重要文のデータを付した訓練用電子テキストを作成した。すなわち、訓練用電子テキストの文書数Nは、17699である（N=17699）。
【００９９】
同様に、テスト電子テキストに対しても、GeneRIFの対応する論文アブストラクト中、タイトル文、アブストラクト先頭３文、アブストラクト末尾５文、合わせて９文を抽出対象のテスト電子テキストとした。そして、その中で、最も類以度の高い文（Dice係数の値が最も高くなる文）を抽出すべき重要文であるとした。
【０１００】
そのテスト電子テキストとしては、評価型国際ワークショップTREC 2003 Genomics Trackで用いられた139組のGeneRIFと論文アブストラクトを用いた。そして、その139のテスト電子テキストに対して重要文抽出プログラムが上記Dice係数の値が最も高くなる文を抽出した場合には、正解、そうでない場合には不正解として、重要文抽出の精度を評価した。
【０１０１】
その評価の結果、非特許文献１のNaive Bayse法に基づく重要文抽出プログラムの場合には、正解率が48.2%であった。一方、本発明に基づく重要文抽出プログラムの場合には、正解率が51.0%であった。これは、本発明により、正解率が従来に比べ3%近く向上したことを意味する。すなわち、本発明により、重要文抽出の精度が3%近く向上したことになる。
【０１０２】
なお、本実施例においては、従来のNaive Bayes法を用いた場合に出てくるスムージングパラメータεの値は、10-6とし、また、本発明の実施形態で出てくるハイパーパラメータαの値は、10-4とした。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施形態に係る重要文抽出装置の構成を示した図である。
【図２】本発明の実施形態に係る重要文抽出装置の主記憶部および補助記憶部の構成を示した図である。
【図３】本発明の実施形態に係る重要文抽出の手順のうち訓練用電子テキストから重要文事前確率を算出するまでの手順を示した図である。
【図４】本発明の実施形態に係る重要文抽出の手順のうちテスト電子テキストを入力してテスト電子テキストの重要文を抽出し出力する手順を示した図である。
【符号の説明】
【０１０４】
１０    重要文抽出装置
１１    演算処理部
１２    主記憶部（記憶部）
１３    補助記憶部（記憶部）
１４    入出力制御部
１５    可搬記憶メディア駆動部
２０    ネットワーク
２１    ディスプレイ
２２    キーボード
２３    ＣＤ−ＲＯＭ
１２１  訓練用文ベクトル作成プログラム（訓練用文ベクトル作成手段）
１２２  重要文事前確率算出プログラム（重要文事前確率算出手段）
１２３  テスト電子テキスト入力プログラム（テスト電子テキスト入力手段）
１２４  テスト文ベクトル作成プログラム（テスト文ベクトル作成手段）
１２５  テスト文生成確率算出プログラム（テスト文生成確率算出手段）
１２６  重要文抽出プログラム（重要文抽出手段）
１２７  重要文出力プログラム（重要文出力手段）
１３１  訓練用電子テキストファイル
１３２  訓練用文ベクトル記憶領域
１３３  重要文事前確率記憶領域
１３４  テスト文ベクトル記憶領域
１３５  テスト文生成確率記憶領域
１３６  重要文記憶領域
【図１】
2006120088.tif 000042
【図２】
2006120088.tif 000043
【図３】
2006120088.tif 000044
【図４】
2006120088.tif 000045