(57)【要約】【課題】文書群に属する各文書のキーフレーズを抽出する際の抽出精度を向上させることを目的とする。【解決手段】文書群入力手段１１が文書群を入力し，文書間類似度計算手段１２が入力された文書群から文書間の類似度を算出し，重要度計算手段１３が各文書における語の重要度を算出し，キーフレーズ抽出基準値計算手段１４が算出された文書間の類似度の値と各文書における語の重要度の値に基づいて各文書における語のキーフレーズ抽出基準値を算出し，キーフレーズ抽出手段１５が算出されたキーフレーズ抽出基準値が高い語を上記文書群に属する各文書のキーフレーズとして抽出する。【選択図】図１
2005326917.tif 000002
【特許請求の範囲】
【請求項１】
文書群記憶装置に格納される文書群中の各文書を特徴づける語であるキーフレーズを，コンピュータによって自動抽出する方法であって，
前記文書群記憶装置から各文書を入力するステップと，
前記各文書における語の重要度を算出するステップと，
文書間の類似度を算出するステップと，
前記文書群中のキーフレーズ抽出対象文書における語のキーフレーズ抽出基準値を，前記算出された語の重要度と前記算出された文書間の類似度とに基づいて，その文書における語の重要度が大きく，かつその文書に類似する文書においても語の重要度が大きいほど，前記キーフレーズ抽出基準値が大きな値となるように定められた算出式に従って算出するステップと，
前記算出されたキーフレーズ抽出基準値に基づいて，前記キーフレーズ抽出対象文書のキーフレーズを抽出するステップとを有する
ことを特徴とするキーフレーズ抽出方法。
【請求項２】
請求項１記載のキーフレーズ抽出方法において，
前記キーフレーズ抽出基準値を算出するステップでは，
前記文書群中のキーフレーズ抽出対象文書と前記文書群の全文書との間の類似度を基に定めた重みを用いた，前記全文書における語の重要度の重み付き和と，前記キーフレーズ抽出対象文書における語の重要度との積を，前記キーフレーズ抽出対象文書の語のキーフレーズ抽出基準値として算出する
ことを特徴とするキーフレーズ抽出方法。
【請求項３】
請求項１または請求項２に記載のキーフレーズ抽出方法において，
前記文書間の類似度を算出するステップでは，
類似度算出対象となる第１の文書における語の出現頻度を要素とする出現頻度ベクトルと，類似度算出対象となる第２の文書における語の出現頻度を要素とする出現頻度ベクトルとのコサインの値を，前記第１の文書と前記第２の文書との類似度として算出する
ことを特徴とするキーフレーズ抽出方法。
【請求項４】
文書群中の各文書を特徴づける語であるキーフレーズを抽出する装置であって，
前記文書群中の各文書を入力する文書群入力手段と，
前記各文書における語の重要度を算出する重要度計算手段と，
文書間の類似度を算出する文書間類似度計算手段と，
前記文書群中のキーフレーズ抽出対象文書における語のキーフレーズ抽出基準値を，前記算出された語の重要度と前記算出された文書間の類似度とに基づいて，その文書における語の重要度が大きく，かつその文書に類似する文書においても語の重要度が大きいほど，前記キーフレーズ抽出基準値が大きな値となるように定められた算出式に従って算出するキーフレーズ抽出基準値計算手段と，
前記算出されたキーフレーズ抽出基準値に基づいて，前記キーフレーズ抽出対象文書のキーフレーズを抽出するキーフレーズ抽出手段とを備える
ことを特徴とするキーフレーズ抽出装置。
【請求項５】
請求項４記載のキーフレーズ抽出装置において，
前記キーフレーズ抽出基準値計算手段は，
前記文書群中のキーフレーズ抽出対象文書と前記文書群の全文書との間の類似度を基に定めた重みを用いた，前記全文書における語の重要度の重み付き和と，前記キーフレーズ抽出対象文書における語の重要度との積を，前記キーフレーズ抽出対象文書の語のキーフレーズ抽出基準値として算出する
ことを特徴とするキーフレーズ抽出装置。
【請求項６】
請求項１，請求項２または請求項３に記載のキーフレーズ抽出方法をコンピュータに実行させるためのキーフレーズ抽出プログラム。
【請求項７】
請求項１，請求項２または請求項３に記載のキーフレーズ抽出方法をコンピュータに実行させるためのキーフレーズ抽出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，電子的に蓄積された文書群から，文書群に属する各文書のキーフレーズを抽出する技術に関し，特に，文書における語の重要度と文書間の類似度を考慮して，文書群に属する各文書のキーフレーズを抽出するキーフレーズ抽出方法，キーフレーズ抽出装置，キーフレーズ抽出プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
文書群から各文書のキーフレーズを抽出する著名な従来技術としては，下記の非特許文献１に記載されたｔｆ−ｉｄｆ法がある。ｔｆ−ｉｄｆ法は，それぞれの文書における語の出現頻度と語が出現した文書の数とをもとに，それぞれの文書における語の重要度を求め，それぞれの文書において，この重要度の高い語をキーフレーズとして抽出する手法である。
【０００３】
ｔｆ−ｉｄｆにおけるｔｆ（term frequency）は，ある文書における語の出現頻度を示し，具体的には，文書ｄn 中の語ｗi の出現頻度ｘn,i の単調関数値（例えば，ｌｏｇ（ｘn,i ））として算出される。
【０００４】
ｉｄｆ（inverse document frequency）は，ある語が特定の文書に偏って出現する頻度を示し，具体的には，全文書数Ｎを語ｗi が出現する文書数｜Ｄi ｜で割った値の対数値ｌｏｇ（Ｎ／｜Ｄi ｜）として算出される。少ない文書に偏って語が出現するほどｉｄｆの値は大きくなる。
【０００５】
ｔｆ−ｉｄｆの値は，上記算出された２つの値の積により求められ，ｌｏｇ（ｘn,i ）×ｌｏｇ（Ｎ／｜Ｄi ｜）である。この結果，対象単語がより多く出現し，かつより少ない文書に偏って出現するほど，ｔｆ−ｉｄｆの値は大きくなる。
【０００６】
ｔｆ−ｉｄｆ法では，上記ｔｆ−ｉｄｆの値を文書ｄn 中の語ｗi の重要度とする。そして，上記の方法によって求められたそれぞれの文書における語の重要度に基づいて，それぞれの文書において，重要度の高い語をキーフレーズとして抽出する。
【０００７】
キーフレーズ抽出に関する具体的な従来技術として，下記の非特許文献２，非特許文献３に，キーフレーズが付与された文書からキーフレーズの特性を学習し，学習結果を用いて，キーワードが未知の文書から，キーフレーズを抽出する手法について記載されている。
【０００８】
また，下記の非特許文献４，非特許文献５，非特許文献６に，文内での語の共起を利用したキーワード抽出手法について記載されている。
【非特許文献１】Salton,G and McGill, M.J.: Introduction to Modern Information Retrieval, McGraw-Hill, 1983.
【非特許文献２】Turney, P. D., "Lerning Algorithms for Keyphrase Extraction" Information Retrieval, 2000. インターネット<URL:http://arxiv.org/pdf/cs.LG/0212020>
【非特許文献３】Hulth,A.,Improved Automatic Keyword Extraction Given More Linguistic Knowledge, Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP'03),2003.インターネット<URL:http://www.dsv.su.se/〜hulth/hulth ＿emnlp03.pdf>
【非特許文献４】松尾豊＆石塚満，語の共起の統計情報に基づく文書からのキーワード抽出アルゴリズム，人工知能学会論文誌，2002. インターネット<URL:http://www.miv.t.u-tokyo.ac.jp/papers/matsuoJSAI02-KeywordExtract.pdf>
【非特許文献５】松尾豊，大澤幸生＆石塚満，Ｓｍａｌｌ  Ｗｏｒｌｄ構造に基づく文書からのキーワード抽出，情報処理学会論文誌，2002. インターネット<URL:http://www.miv.t.u-tokyo.ac.jp/papers/matsuoIPSJ02.pdf>
【非特許文献６】大澤幸生，Benson, N.E.＆谷内田正彦，ＫｅｙＧｒａｐｈ：語の共起グラフの分割・統合によるキーワード抽出，電子情報通信学会論文誌，1999. インターネット<URL:http://www.miv.t.u-tokyo.ac.jp/〜matumura/KeyGraph/KeyGraph.pdf>
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ある文書のキーフレーズは，その文書において重要な語であるだけでなく，類似した文書においても重要な語であることが多いと考えられる。しかし，上記従来技術では，キーフレーズ抽出に文書間の類似度は考慮されていなかった。したがって，上記従来技術では，所望されるキーフレーズ抽出精度を満たすことができないおそれがある。
【００１０】
また，上記非特許文献２，非特許文献３に記載された従来技術は，キーフレーズを抽出するために，キーフレーズが付与された文書からの学習が必要であった。
【００１１】
また，上記非特許文献４，非特許文献５，非特許文献６に記載された従来技術の主な目的は，単一の文書からのキーフレーズ抽出にあり，文書群に属する各文書のキーフレーズの抽出を目的としていない。
【００１２】
本発明は，上記従来技術の問題点を解決し，文書群に属する各文書のキーフレーズを抽出する際の抽出精度を向上させることが可能なキーフレーズ抽出方法，キーフレーズ抽出装置，キーフレーズ抽出プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体の提供を目的とする。
【課題を解決するための手段】
【００１３】
上述したように，ある文書のキーフレーズは，その文書において重要な語であるだけでなく，類似した文書においても重要な語であることが多いと考えられる。そこで，本発明では，任意の文書群から文書群中の各文書を特徴づける語であるキーフレーズを抽出するキーフレーズ抽出問題に対し，文書間の類似度が高く，かつ，共通の重要語を持つ文書群では，その共通の重要語をキーフレーズとする文書が多いという点に着目し，それぞれの文書における語をキーフレーズとして抽出する際の基準となるキーフレーズ抽出基準値を，各文書における語の重要度と，文書間の類似度とから求める。
【００１４】
すなわち，上記課題を解決するため，本発明では，それぞれの文書における語の重要度と文書間の類似度から，それぞれの文書における語のキーフレーズ抽出基準値を求め，それぞれの文書において，この基準値の高い語をキーフレーズとして抽出する。
【００１５】
このとき，ある抽出対象文書における語のキーフレーズ抽出基準値は，例えば次のようなものとする。抽出対象文書と文書群の全文書との間の類似度をもとに定めたを重みを用いて全文書における語の重要度の重み付き和を算出し，その全文書における語の重要度の重み付き和と，抽出対象文書中の語の重要度を掛け合わせたものを，キーフレーズ抽出基準値とする。
【００１６】
従来のｔｆ−ｉｄｆ法では，ｉｄｆとして単純に単語が出現する文書数を用いていたが，本発明では，単語が出現する文書数を用いるのではなく，文書間の類似度を適用し，類似文書に出現した頻度に重みを付けることを特徴とする。結果として，対象単語がより多く，類似文書により多く出現するほど，キーフレーズ抽出基準値が高くなる。
【発明の効果】
【００１７】
本発明は，文書における語の重要度と，文書間の類似度を考慮して，文書群に属する各文書のキーフレーズを抽出する。すなわち，本発明は，キーフレーズ抽出対象文書における語の重要度が高いほど，また，キーフレーズ抽出対象文書と類似度の高い文書におけるその語の重要度が高いほど，その語がキーフレーズ抽出対象文書のキーフレーズとして抽出されるようにする。
【００１８】
したがって，本発明によれば，文書群に属する各文書のキーフレーズを抽出する際の抽出精度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施の形態におけるキーフレーズ抽出方法について説明する。まず，記号を整理する。キーフレーズ抽出対象の文書数をＮとし，文書群をＤ＝｛ｄ1 ，…，ｄN ｝とする。また，キーフレーズの候補となる語の総数をＶとし，これらの語の集合をＷ＝｛ｗ1 ，…，ｗv ｝とおく。
【００２０】
本発明の実施の形態におけるキーフレーズの候補は，単語単位に限るものではなく，キーフレーズになり得る単位であればよい。例えば“keyphrase extraction”といった複数個の単語の連なりをキーフレーズの候補とすることもできる。品詞についての制約も，ここでは特に設けていない。キーフレーズとして適切な語は，問題設定によって大きく変わると考えられるので，必要に応じて制約を加えてもよい。
【００２１】
本発明の実施の形態においては，各文書ｄn における，各語ｗi の基準値（キーフレーズ抽出基準値）ｒn,i を求め，そして，基準値ｒn,i の値の高い語を，文書ｄn のキーフレーズとして抽出する。例えば，文書ｄn から抽出したいキーフレーズの数がＲならば，ｒn,i の値の高い上位Ｒ個の語を，文書ｄn から抽出されたキーフレーズとする。
【００２２】
上記基準値ｒn,i の求め方について述べる。基準値ｒn,i は，ある語ｗi の，文書ｄn における重要度ξn,i と，文書ｄn とｄm の間の類似度ｓ（ｄn ，ｄm ）を用いて定める。具体的には，まず，文書ｄn の類似度ベクトルＳn ＝（ｓ（ｄn ，ｄ1 ），…，ｓ（ｄn ，ｄN ））を求め，Ｓn をＬ1 ノルムで正規化したものを *Ｓn ＝（ *ｓn,1 ，…，* ｓn,N ）とする。すなわち，
【００２３】
【数１】
2005326917.tif 000003
とする。得られた｛ *ｓn ,m｝m=1 N を用いて，ｒn,i を次のように定める。
【００２４】
【数２】
2005326917.tif 000004
上記式（２）の意味について説明する。我々の実験では，同一のキーフレーズを持つ文書は，文書間類似度が高い傾向にあることが分かった。しかし，類似度が高い文書であっても，共通のキーフレーズを持つとは限らないと考えられる。そこで，上述したように，文書間の類似度が高く，かつ，共通の重要語を持つ文書群では，その共通の重要語をキーフレーズとする文書が多いと仮定する。この仮説は，ある文書におけるキーフレーズの多くは，その文書において重要な語であり，かつ，その文書に類似した文書においても重要な語であることを意味する。
【００２５】
上記式（２）は，この仮説を式で表したものである。式（２）の右辺中，ξn,i の項は，「語ｗi が文書ｄn において重要な語」である度合いを表しており，Σ *ｓn,m ξm,i の項は，「語ｗi が文書ｄn に類似する文書においても重要な語」である度合いを表している。
【００２６】
式（２）によれば，文書ｄn における語ｗi の重要度ξn,i が高いほど，また，文書ｄn と類似度の高い文書における語ｗi の重要度が高いほど基準値ｒn,i が高くなり，語ｗi が文書ｄn のキーフレーズとして抽出される度合いが高くなる。
【００２７】
したがって，式（２）により求めた基準値を用いて各文書のキーフレーズを抽出することで，キーフレーズ抽出の精度を向上させることができる。
【００２８】
次に，上記式（２）による基準値ｒn,i の計算に用いる，語ｗi の重要度ξn,i と文書間類似度の算出について説明する。まず，語の重要度の算出例として，前述のｔｆ−ｉｄｆ法を基に，語ｗi の重要度ξn,i を定める例を示す。文書ｄn 中の，語ｗi （１≦ｉ≦Ｖ）の出現頻度をｘn,i ，語ｗi が出現した文書全体をＤi とする。すなわち，
Ｄi ＝｛ｄn ｜ｄn ∈Ｄ，ｘn,i ＞０｝        （３）
とする。これらの量を用いて，文書ｄn における，語ｗi の重要度ξn,i を次のように定める。
【００２９】
【数３】
2005326917.tif 000005
次に，文書間の類似度の算出例として，文書の出現頻度ベクトル間のコサイン類似度を，文書間の類似度とする例を説明する。
【００３０】
文書ｄn において各語ｗi （１≦ｉ≦Ｖ）が出現する頻度をｘn,i とすると，各出現頻度ｘn,i を要素とする出現頻度ベクトルＸn は，Ｘn ＝（ｘn,1 ，…，ｘn,V ）と表現される。
【００３１】
同様にして，文書ｄm において各語ｗi （１≦ｉ≦Ｖ）が出現する頻度をｘm,i （１≦ｉ≦Ｖ）とすると，各出現頻度ｘm,i を要素とする出現頻度ベクトルＸm は，Ｘm ＝（ｘm,1 ，…，ｘm,V ）と表現される。
【００３２】
本発明の実施の形態においては，文書ｄn とｄm の類似度ｓ（ｄn ，ｄm ）を，２つのベクトルＸn ＝（ｘn,1 ，…，ｘn,V ）とＸm ＝（ｘm,1 ，…，ｘm,V ）間のコサインとする。したがって，
【００３３】
【数４】
2005326917.tif 000006
となる。
【００３４】
図１に，本発明のキーフレーズ抽出装置の構成例を示す。キーフレーズ抽出装置１は，文書群を入力する文書群入力手段１１，入力された文書群から，文書間の類似度を算出する文書間類似度計算手段１２，各文書における語の重要度を算出する重要度計算手段１３，算出された文書間の類似度の値と各文書における語の重要度の値に基づいて各文書における語のキーフレーズ抽出基準値を算出するキーフレーズ抽出基準値計算手段１４と，算出されたキーフレーズ抽出基準値が高い語を上記文書群に属する各文書のキーフレーズとして抽出するキーフレーズ抽出手段１５とを備える。
【００３５】
文書群記憶装置２は，電子化された文書群を蓄積するデータベースである。文書群記憶装置２は，他の装置に接続されるものであってもよく，文書群がネットワークを介して他の装置から読み出すことができるようなものであってもよい。
【００３６】
図２は，本発明のキーフレーズ抽出処理フローの一例を示す図である。まず，文書群記憶装置２から文書群中のキーフレーズ抽出対象の文書を入力する（ステップＳ１）。各文書の各語について，語の重要度を算出する（ステップＳ２）。例えば，上述した式（４）を用いて，文書ｄn （１≦ｎ≦Ｎ）における語ｗi （１≦ｉ≦Ｖ）の重要度ξn,i を求める。各文書間の類似度を，例えば式（５）を用いて算出する（ステップＳ３）。
【００３７】
次に，各文書の各語について，各文書間の類似度と，語の重要度を用いて，式（２）を用いて，語のキーフレーズ抽出基準値を計算する（ステップＳ４）。最後に，各文書について，キーフレーズ抽出基準値の高い上位の語を，文書のキーフレーズとして抽出して（ステップＳ５），処理を終了する。
【００３８】
本発明において，上記ステップＳ２とステップＳ３の処理の順番はいずれが先であってもよい。また，ステップＳ３において算出される各文書間の類似度は，式（５）を用いて算出されるものに限られない。
【００３９】
また，上記ステップＳ５では，例えば，キーフレーズ抽出基準値の高い語の順に予め定めた語数の分だけキーフレーズとして抽出するが，本発明におけるキーフレーズ抽出処理は，この方法によるものに限るものではなく，キーフレーズ抽出基準値が予め定めた閾値より高い語をキーフレーズとして抽出してもよい。
【００４０】
本発明の有効性を実データを用いて示す。この実験に用いたデータは，Sam Roweis(http://www.cs.toronto.edu/roweis/) により収集された，国際会議，Advances in Neural Information Processing Systems(ＮＩＰＳ) の十二年分の予稿である。この実験に用いたデータをＮＩＰＳコーパスと呼ぶ。ＮＩＰＳコーパスは，ＮＩＰＳ−１からＮＩＰＳ−１２までの十二年分，１６５０稿の予稿からなり，各予稿は，ＯＣＲにより電子化されている。また，各予稿には，その予稿の主題(subject) を表す，数個の単語からなるフレーズが与えられている。
【００４１】
subject を用いずに，ＮＩＰＳコーパス中の文書のみから，各文書で用いられているsubject を推定するというキーフレーズ抽出問題に，本発明と従来法であるｔｆ−ｉｄｆ法を適用し，両者の結果を比較することで，本発明の有効性を示す。
【００４２】
図３が，その比較結果である。図３の横軸は再現率，縦軸は精度を表す。各文書でＲ個のキーフレーズを抽出した際に，その中に含まれるsubject の数を，その文書が持つsubject の数で割ったものが再現率であり，Ｒで割ったものが精度である。
【００４３】
本実験では，文書毎にキーフレーズを抽出するため，精度，再現率は，それぞれ文書毎に求めた。この文書毎の精度，再現率の平均値が，図３の値である。図３の実線は，Ｒの値を１から１００まで変化させたときの本発明の抽出性能を示し，破線は，ｔｆ−ｉｄｆ法の抽出性能を示している。図３に示すように，本発明は，従来法を上回る抽出性能を達成している。
【００４４】
以上のキーフレーズの抽出処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００４５】
【図１】本発明のキーフレーズ抽出装置の構成例を示す図である。
【図２】キーフレーズ抽出処理フローの一例を示す図である。
【図３】本発明の有効性を示す図である。
【符号の説明】
【００４６】
１  キーフレーズ抽出装置
２  文書群記憶装置
１１  文書群入力手段
１２  文書間類似度計算手段
１３  重要度計算手段
１４  キーフレーズ抽出基準値計算手段
１５  キーフレーズ抽出手段
【図１】
2005326917.tif 000007
【図２】
2005326917.tif 000008
【図３】
2005326917.tif 000009