(57)【要約】【課題】従来の論文フィルタリング評価システムでは、適合論文と非適合論文を分別する性能の差異の表現能力つまり分解能が低かった。【解決手段】論文フィルタリング評価システムに、クラス分離度の計算手段及びその結果の出力手段を備えることにより、学術論文のように十分な量のサンプルを集めにくい場合でも適合，非適合論文の類似度の分離の度合を数値として高い分解能で表現でき、より明確な適合論文の分別性能評価を可能とした。【選択図】　図１
2004145679.tif 000002
【特許請求の範囲】
【請求項１】
文書とプロファイルとの類似度を計算する類似度計算手段と、前記類似度を用いてクラス分離度を計算するクラス分離度計算手段と、前記クラス分離度を前記文書の分別性能評価指標として出力する手段とを備えた文書フィルタリング評価システム。
【請求項２】
前記類似度計算手段は適合プロファイル作成手段と非適合プロファイル作成手段からなるプロファイル作成部と、適合類似度計算手段、非適合類似度計算手段及び適合類似度及び非適合類似度を単一の類似度に変換する統合類似度計算手段とからなることを特徴とする文書フィルタリング評価システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は論文フィルタリング評価システムに関する。
【０００２】
【従来の技術】
論文フィルタリングシステムでは、テストサンプルとプロファイルとの類似の度合いを数値化した「類似度」を計算し、類似度がある閾値より大きい場合は適合、小さい場合は非適合と判定することが多い。個人の興味をデータベース化したものがプロファイルであり、テストサンプルとプロファイルとの類似度は、テストサンプルに対する個人の興味の度合のシステム推定値であると考えられるからである。この種の技術を示す文献として例えば特許文献１がある。
【０００３】
Ｘ軸に類似度を、Ｙ軸にテストサンプルの数をプロットした「類似度ヒストグラム」を作成したとき、適合テストサンプルが右側に、非適合テストサンプルが左側に分布するほど適合論文分別性能が高いと判断できる。このような類似度ヒストグラムを作成することにより、テストサンプルに対するシステムの適合論文分別性能を視覚的に評価することができる。
【０００４】
しかしより客観的かつ明確な評価を行うためには、システムの性能を定量的に比較する必要がある。定量的な評価方法に関して従来から既に多くの研究が行われているが、いずれも再現率精度グラフをベースとしたものである。再現率精度グラフ上の点は一般に離散値となることが多いため、補間曲線を作成する必要がある。再現率と精度は，類似度に対する閾値の設定により一方が良くなると他方が悪くなるというトレードオフの関係にあり、グラフが対角点　（１，１）　に近づくほど総合的な適合論文分別性能が高いと言える。再現率精度グラフはシステムの全体性能をグラフとして定量的に表現するには良いが、再現率，精度という二つのパラメータがあるため、異なる方式の性能の優劣を数値で比較するには不便である。
【０００５】
この点を改善すべくｖａｎ　Ｒｉｊｓｂｅｒｇｅｎは再現率と精度の重みつき調和平均をとるＦ尺度を提案している。この場合でも評価値が再現率または精度の値に依存して変動するという問題は残る。この点を解決するためシステムの性能を単一の数値で表すことができる評価方法がいくつか提案されている。
【０００６】
単一数値で表すことができる代表的な３種類の評価手法を以下に示す。以後、以下の３評価指標を合わせて「従来３評価指標」と呼び、従来３評価指標によって得られる評価値を「従来３評価値」と呼ぶ。
（１）ブレイクイブンポイント
Ｌｅｗｉｓらは再現率精度グラフを描いたとき再現率と精度が等しくなる点の再現率を用いる「ブレイクイブンポイント　（Ｐｂｅｐ）」という方式を提案している（式１）。
【０００７】
【数１】
2004145679.tif 000003
【０００８】
ここで、Ｒは再現率精度グラフの補間曲線上、再現率と精度が等しい点での再現率である。この方式は計測し易いという利点があるが、グラフの一部分だけで評価することになるため大局的な性能を評価値に反映させにくいという欠点がある。
（２）１１点平均精度
Ｓａｌｔｏｎ　らは再現率精度グラフの補間曲線上で再現率の軸を１１等分し、各点での精度の平均を求める「１１点平均精度　（Ｐ１１ｍｅａｎ）」を提案している　（式２）。
【０００９】
【数２】
2004145679.tif 000004
【００１０】
ここで、ｆｐ　（Ｒｉ）　は補間曲線上で再現率がＲｉのときの精度、Ｒｉ　（ｉ＝１，２，．．，１１）は再現率の軸を１１等分した各点での再現率である。この方式ではグラフの大局的な情報を反映させやすいが１１点について再現率から精度を読み取る作業が煩雑な点に難がある。
【００１１】
このほかにも再現率と精度を基にしたいくつかの評価指標が提案されているがいずれも評価値を算出するためにグラフの補間が必要であるという欠点がある。
（３）正規化再現率
グラフの補間が不要な評価手法として、検索論文をひとつずつ増やしたときの理想的な再現率の増加と実際の再現率の増加の差分の累積値を求める「正規化再現率　（Ｐｎｏｒｍ）」がある（式３）。この方式は評価値が最後の適合論文の順位によって左右されやすいという欠点がある。
【００１２】
【数３】
2004145679.tif 000005
【００１３】
ここでＲｉは論文ｉの適合性順位、Ｎｒｅｌ，Ｎｉｒｒｅｌは各々適合，非適合論文の総数である。
【００１４】
【特許文献１】
特開２００１−２５６２５３号公報
【００１５】
【発明が解決しようとする課題】
前記（１）〜（３）の従来３評価指標を用いた場合、適合論文と非適合論文を分別する性能の差異の表現能力つまり分解能が低い点が問題である。なぜならば、いずれの場合も単に類似度の並び順で評価値がユニークに決まり、適合，非適合各クラスの分離の度合は評価値に反映されないからである。
【００１６】
この問題を類似度ヒストグラムは異なるが，従来３評価値は等しい例　（図２）　を用いて以下に説明する。この類似度ヒストグラム図２（ｉ）（ｉｉ）　によればテストサンプル１よりもテストサンプル２のほうが適合，非適合クラスの類似度分布がより明確に分離していることが視認できる。同じテストサンプルに対し、類似度，精度，再現率のデータを類似度の降順に並べ替えた表を図２（ｉ）’　（ｉｉ）’　に示す。各テストサンプルの類似度の値は異なるが、適合が２サンプル、次に非適合が１１サンプルのように適合，非適合の並び順は全く等しい。例えば、順位２位までの累積を考えると、テストサンプル１，２共に適合であるため、再現率は２／２＝１．０，精度は２／２＝１．０となる。順位３位までの累積を考えると、テストサンプル１，２共に非適合であるため、再現率は２／２＝１．０，精度は２／３＝０．６７となる。以下同様に、１３位まで累積の再現率，精度を計算すると、テストサンプル１，２共に全く同一値になる。したがってこれらの値をプロットした再現率精度グラフは、図２　（ｉ）’’（ｉｉ）”に示すように全く等しくなる。再現率精度グラフが同一ということから再現率精度グラフを基に算出される　従来３評価値Ｐｂｅｐ　，　Ｐ１１ｍｅａｎ　，　Ｐｎｏｒｍも同一値になる。　実際この場合はすべて１に等しい。
図２の例は、再現率と精度を基にした従来の評価指標ではその評価値が単に類似度の並び順のみで決定されるため、適合論文の分別性能の差異を明確に評価値として表すことができない場合があることを示している。新聞記事等のように多くのサンプルが利用可能な場合は従来評価指標でも統計的に適切な評価が可能であるが、学術論文のように分野の細分化と要求される新規性のゆえに関心分野の論文数が本質的に少ない場合は、上記例で示したように有意差がある結果を得にくい。
【００１７】
本発明の目的は、単に類似度の並び順だけでなく、各クラスのサンプルの分離の度合を明確に表すことができる分解能が高い評価手法を提供することにある。
【００１８】
【課題を解決するための手段】
上記目的を達成するために本発明では論文フィルタリング評価システムに、クラス分離度を適用した評価結果を出力する手段を備えたものである。
【００１９】
クラス分離度は、パターン認識の研究分野においては、級間分散（σ２Ｂ　）　÷　全分散（σ２Ｔ　）として定義されるクラス分離度η（（式４）〜（式６））　が２クラスデータの分離の度合を評価する目的で利用されていた。
【００２０】
【数４】
2004145679.tif 000006
【００２１】
【数５】
2004145679.tif 000007
【００２２】
【数６】
2004145679.tif 000008
【００２３】
ここで，Ｘｉは分離指標である。パターン認識の場合はサンプルの輝度値，濃淡値などである。またＮ１，Ｎ２　は各々，クラス１，２のサンプル数，Ｍ１，　Ｍ２，　Ｍｍ　は各々，クラス１，２，全体，に属するサンプルの分離指標の平均値である。
【００２４】
クラス分離度　ηは，各クラスのデータの分離指標の分布が完全に重なっているとき　η＝　０，完全に分離しているときη＝　１となり，その他の場合は　０　＜　η　＜１となる。
【００２５】
本発明では、上述したクラス分離度を論文フィルタリング評価システムに適用し、類似度ヒストグラムとともに出力する。
【００２６】
図２の例の場合、クラス分離度ηを計算すると、テストサンプル１の場合　η＝　０．５２であるのに対し、テストサンプル２の場合は　η＝　０．８１となり、類似度ヒストグラムの分離の度合の差異を明確に表せることになる。
【００２７】
論文フィルタリング評価システムに、クラス分離度の計算手段及びその結果の出力手段を備えることにより、学術論文のように十分な量のサンプルを集めにくい場合でも適合，非適合論文の類似度の分離の度合を数値として高い分解能で表現でき、より明確な適合論文の分別性能評価が可能になる。
【００２８】
【発明の実施の形態】
論文フィルタリングシステム１は、ＣＰＵ２、ＣＰＵ２がワーク用に使用するメモリ３、入力機器としてのキーボード４、出力機器としてのディスプレイ５と記憶装置７とがバス６で接続された構成となる。記憶装置７には、プロファイル作成プログラム１１と分別性能評価プログラム１２及びそれぞれのプログラムで用いるプロファイルやテストサンプル等のデータが格納される。各プログラムはＣＰＵに順次読み込まれて解釈実行されることにより、プロファイルの作成処理機能や分別性能評価処理機能を果たす。プロファイル作成プログラムの処理は図３に、分別性能評価処理は図４に詳細フローが示される。プロファイル作成処理では、プロファイル作成用サンプルを用いて利用者から得た興味有無判定情報を元にフィルタリング用プロファイルを作成する。分別性能評価処理では、テスト用サンプルを用いてプロファイルとの類似度を計算し、さらにこれを元にクラス分離度を計算する。計算したクラス分離度を表示することにより、システムの利用者が論文フィルタリングシステムの分別性能を評価を行なうことを容易にする。以下に論文フィルタリングシステム分別性能評価方式処理フローをまとめて示す。
【００２９】
図３はプロファイル作成処理を示す。
【００３０】
まず、プロファイル作成用サンプルの適合性判定結果入力待ち処理（３１）では、利用者にプロファイル作成用サンプルを提示し、興味有（適合）と興味なし（非適合）に選別させ、その入力を受け付ける。
【００３１】
入力された結果が興味有（適合）の場合には、適合プロファイルベクトルの作成処理を行なう（３２）。適合プロファイルベクトルの作成処理では、適合プロファイル作成用サンプルに含まれる単語群からストップワードを除去して「適合基底ターム」を選定する。「適合基底ターム」をベクトルの基底とし，各タームの各適合論文における論文内出現頻度すなわちＴＦ　（Ｔｅｒｍ　Ｆｒｅｑｕｅｎｃｙ）　値の平均値を重みとする「適合プロファイルベクトル」Ｐｒｅｌを構成する。
【００３２】
入力された結果が興味無（非適合）の場合には、非適合プロファイルベクトルの作成処理を行なう（３３）。非適合プロファイルベクトルの作成処理では、非適合論文に含まれる単語群からストップワードを除去して「非適合基底ターム」を選定する。「非適合基底ターム」をベクトルの基底とし，各タームの各非適合論文におけるＴＦ値の平均値を重みとする「非適合プロファイルベクトル」Ｐｉｒｒｅｌを構成する。
【００３３】
図４は分別性能評価処理を示す。分別性能評価処理においてはまずテストサンプルの適合性の判定結果の入力を受け（４１）、論文ベクトルの作成処理を行なう（４２）。適合論文ベクトルの作成処理は、上記「適合基底ターム」を基底とし当該論文における各適合基底タームのＴＦ値を求め、それを重みとして適合論文ベクトルＤｒｅｌを構成する。非適合論文ベクトルの作成処理は、上記「非適合基底ターム」を基底とし当該論文における各非適合基底タームのＴＦ値を求め、それを重みとして非適合論文ベクトルＤｉｒｒｅｌを構成する。
【００３４】
論文フィルタリングシステム分別性能評価処理として適合プロファイルとの類似度計算を行なう（４３）。ステップ４２で作成した合論文ベクトルＤｒｅｌと、ステップ３２で作成した適合プロファイルＰｒｅｌとの適合類似度（式７）を計算する。
【００３５】
【数７】
2004145679.tif 000009
【００３６】
ここで　・　はベクトルの内積を，×はスカラー値の積を表す。
０　≦　Ｓｉｍ（Ｄ，Ｐ）　≦　１　である。
【００３７】
次に、非適合プロファイルとの類似度計算を行なう（４４）。ステップ４２で作成した非適合論文ベクトルＤｉｒｒｅｌと、ステップ３３で作成した非適合プロファイルＰｉｒｒｅｌとの非適合類似度（式　７）を計算する。
【００３８】
次に、適合・非適合類似度の統合処理を行なう（４５）。ここでは評価指標を一次元化するために，統合類似度（式８）を計算する。
【００３９】
【数８】
2004145679.tif 000010
【００４０】
次にクラス分離度計算を行なう（４６）。
【００４１】
ステップ４５で求めた統合類似度を元に（式４）〜（式６）の式でクラス分離度を計算する。
【００４２】
クラス分離度ηを論文フィルタリング評価システムに適用した場合、式４〜６の各記号はそれぞれ以下の値とする。
【００４３】
Ｘｉ：分離指標であり、式８で求めた総合類似度
Ｎ１：適合論文のサンプル数
Ｎ２：非適合論文のサンプル数
Ｍ１：適合論文の分離指標の平均値
Ｍ２：非適合論文の分離指標の平均値
Ｍｍ：サンプル全体の分離指標の平均値
計算されたクラス分離度を表示する（４７）。利用者は、計算したクラス分離度がある閾値より大きければその論文フィルタリングシステムの分別性能は良好、そうでなければ非良好と判断することにより、論文フィルタリングシステム分別性能の評価が行なえる。
【００４４】
上述したフィルタリング処理及び分別性能評価処理を、論文を梗概，緒言・結言，全文の３部位に分割し、各部位の情報を使って論文フィルタリングシステムを構成し、各々の場合の分別性能について従来評価値およびクラス分離度を計算した結果のステップ４７における表示例を図５に示す。図５では、適合，非適合サンプル群の分離の度合は、部位間で視覚的に明確な差異があり，梗概プロファイル，緒言・結言プロファイルを用いた場合よりも，全文プロファイルを用いた場合のほうが明らかに大きいことがわかる。
【００４５】
５分割交差検定法による５回の実験の平均値による各部位ごとの新旧評価指標による評価結果を図６に示す。従来評価指標によると梗概部位の情報だけを用いて作成した梗概プロファイル，緒言・結言部位の情報だけを用いて作成した緒言・結言プロファイル，全文の情報を用いて作成した全文プロファイルの間の差異が明確には表れないが，クラス分離度によれば，明確に表れることがわかる。
【００４６】
図６において，評価値の部位間のばらつきの度合いを表す標準偏差を見ると、クラス分離度は０．９０であり、０．２０，　０．５２，　０．６６となる従来３評価指標に比して１．５〜４．５倍であることがわかる。この結果は、本発明によるクラス分離度の分解能が従来３評価指標に比べて１．５　〜　４．５倍であることを示しており、類似度散布図（図５）　の分布の分離の度合を適切に反映した数値になっていることがわかる。
【００４７】
図６の結果から，提案指標であるクラス分離度による評価値は、梗概プロファイルを用いた場合０．３２，緒言・結言プロファイルを用いた場合０．６７であるのに対し、全文プロファイルを用いた場合は２．０１と他の部位の３〜６倍となり、最も高い評価値となることを定量的に確認した。従来３評価指標の場合も部位の相違による評価値の大きさの順序は、梗概　＜　緒言・結言　＜　全文の順でありその順序に相違はないが、クラス分離度の場合はその差異がより明確に表れている。全文が最も有効であるということが、クラス分離度の導入によって初めて明確に言えるようになった。
【００４８】
【発明の効果】
本発明によれば、論文フィルタリングの評価システムにクラス分離度の概念を適用することにより、学術論文のように十分な量のサンプルを集めにくい場合でも適合，非適合論文の類似度の分離の度合を数値として高い分解能で表現でき、より明確な適合論文の分別性能評価が可能になる。
【図面の簡単な説明】
【図１】本発明の一実施例である論文フィルタリング評価システムの全体構成図。
【図２】従来技術での分別性能の差異の困難性を説明する図。
【図３】プロファイル作成処理を示すフローチャート。
【図４】分別性能評価処理を示すフローチャート。
【図５】学術論文を対象として異なる部位（梗概，緒言・結言，本文）の情報を使った複数の論文フィルタリング方式に対して適合，非適合類似度を計算してプロットした散布図。
【図６】従来評価指標及び本発明によるクラス分離度により論文のプロファイル抽出部位別に分別性能を評価した結果を表した図。
【符号の説明】
１‥論文フィルタリング評価システム、２‥ＣＰＵ、３‥メモリ、４‥キーボード、５‥ディスプレイ、６‥バス、７‥記憶装置、１１プロファイル作成プログラム、１２分別性能評価プログラム。
【図１】
2004145679.tif 000011
【図２】
2004145679.tif 000012
【図３】
2004145679.tif 000013
【図４】
2004145679.tif 000014
【図５】
2004145679.tif 000015
【図６】
2004145679.tif 000016