(57)【特許請求の範囲】
【請求項１】
文書群から要約を生成する文書要約装置であって、
文書群及びクエリ語集合が入力されると、文書内の単語の区切りを決定する文書解析手段と、
前記単語のスコアと前記文書群中の各文とクエリ関連性を示すクエリ関連性スコアから複合スコアを求め、前記クエリ語集合中の語を少なくとも１つ含むことを条件に、該複合スコアの和を最大とし、所定の上限文字数以内の文の組み合わせを要約として出力する要約生成手段と、
を有することを特徴とする文書要約装置。
【請求項２】
前記要約生成手段は、
前記文書群における各単語の出現頻度に基づいて算出されたTFIDFスコアと前記クエリ関連性スコアの線形和を前記複合スコアとし、前記クエリを含むことを条件として、ラグランジュ緩和を用いてナップサック問題の繰り返しとして最適解を得る手段を含む
請求項１記載の文書要約装置。
【請求項３】
前記要約生成手段は、
前記入力文書群に含まれる全ての文の集合X、
生成される要約に含まれる文の集合S、
文ｓ中の語t∈ｓ、
文ｓの長さw(s)、
単語ｔがクエリ中に含まれているときq(t)=1、含まれていないときq(t)=０、複合スコアscore(s)、
【数１２】
0005670939.tif 000013
として、
【数１３】
0005670939.tif 000014
として要約に含まれる文の集合を求める手段を含む
請求項２記載の文書要約装置。
【請求項４】
文書群から要約を生成する文書要約方法であって、
文書解析手段が、文書群及びクエリ語集合が入力されると、文書内の単語の区切りを決定する文書解析ステップと、
要約生成手段が、前記単語のスコアと前記文書群中の各文とクエリ関連性を示すクエリ関連性スコアから複合スコアを求め、前記クエリ語集合中の語を少なくとも１つ含むことを条件に、該複合スコアの和を最大とし、所定の上限文字数以内の文の組み合わせを要約として出力する要約生成ステップと、
を行うことを特徴とする文書要約方法。
【請求項５】
前記要約生成ステップにおいて、
前記文書群における各単語の出現頻度に基づいて算出されたTFIDFスコアと前記クエリ関連性スコアの線形和を前記複合スコアとし、前記クエリを含むことを条件として、ラグランジュ緩和を用いてナップサック問題の繰り返しとして最適解を得る
請求項４記載の文書要約方法。
【請求項６】
前記要約生成ステップにおいて、
前記入力文書群に含まれる全ての文の集合X、
生成される要約に含まれる文の集合S、
文ｓ中の語t∈ｓ、
文ｓの長さw(s)、
単語ｔがクエリ中に含まれているときq(t)=1、含まれていないときq(t)=０、複合スコアscore(s)、
【数１４】
0005670939.tif 000015
として、
【数１５】
0005670939.tif 000016
として要約に含まれる文の集合を求める
請求項５記載の文書要約方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書要約装置及び方法及びプログラムに係り、特に、文書群からその内容を端的に示すための要約を生成するための文書要約装置及び方法及びプログラムに関する。
【０００２】
詳しくは、要約において重視したい事柄を指定した上での要約を生成する技術に関する。例えば、検索エンジンでの検索結果の表示の一部として用いることにより、検索キーワードと検索結果との関連が分かり易くするといった用途がある。
【背景技術】
【０００３】
従来より、文書あるいは文書群から計算機により自動的に要約を生成する技術が知られている。例えば、文中の単語の頻度に基づく重みや、文の位置等を用いて分を特徴づけ、文の重要度を判定し、重要な文を抽出することによる自動要約方法が提案されている（例えば、非特許文献１参照）。
【０００４】
上記のような文書あるいは文書群のみを入力として受け付けるような汎用の要約技術以外に、文書に加えて、要約において重視したいことがら（クエリ）も入力として受け付けるような要約生成技術（クエリ特化型要約）が存在する。クエリは単一の単語の場合もあるし、複数の文として与えられることもある。
【０００５】
従来のクエリ特化型要約の生成技術は、要約対象の基本単位（例えば、文や文の断片や単語が考えられる）のスコアを、上述の汎用の要約技術で使われるような頻度や位置といったスコアと、クエリとの関連度のスコアの重み付き和として表現することが一般的であった。この重み付き和により、各文のスコアを定め、このスコアが高い文の集まりを要約とすることが一般的であった（例えば、非特許文献2参照）。
【０００６】
なお、この際、単にスコアが上位の文を順に選択したのでは品質が低いため、各文の長さを考慮し、限られた長さの中で最もスコアの高い要約を得るようにすることが望ましい。このため、従来より組み合わせ最適化問題として解く方法が知られている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】平尾努、磯崎秀樹、前田英作、松本裕治、"Support Vector Machineを用いた重要文抽出法",情報処理学会論文誌，44-8, pp. 2230-2243, 2003.
【非特許文献２】Anastasios Tombros, Mark Sanderson: Advantages of Query Biased Summaries in Information Retrieval, SIGIR '98 Proceedings of the 21st annual international ACM SIGIR conference on Research and development in information retrieval, 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、従来の方法によれば、重み付き和のうち単語頻度のように汎用の要約でも使われる要因の影響が強すぎる場合には、生成される要約にクエリ中の語が全く含まれないことがあった。このような要約が生成された場合には、要約からはクエリと文書との関連が利用者に分かり難く、結果的に品質が低い要約となってしまうという問題があった。
【０００９】
スコアを構成する各要因の重みを、文書集合の特性に応じて調整するということも考えられるが、専門家による調整の手間が必要という問題があった。
【００１０】
このように、従来の方法によれば、もし、調整をしなければ品質が低く、調整をしようとすれば専門家による調整の手間が必要になるという問題があった。
【００１１】
仮に、計算時間を無限に利用することが可能であれば、全ての組み合わせを網羅的に調査し、所望の条件を満たし、スコアが高いような要約を生成することも考えられるが、現実的ではない。
【００１２】
本発明は、上記の点に鑑みなされたもので、計算量のオーダを増大させることなく、要約において重視したい語の集合を指定した上での要約生成において、品質の良い要約を専門家による調整なしに生成することが可能な文書要約装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するため、本発明（請求項１）は、文書群から要約を生成する文書要約装置であって、
文書群及びクエリ語集合が入力されると、文書内の単語の区切りを決定する文書解析手段と、
前記単語のスコアと前記文書群中の各文とクエリ関連性を示すクエリ関連性スコアから複合スコアを求め、前記クエリ語集合中の語を少なくとも１つ含むことを条件に、該複合スコアの和を最大とし、所定の上限文字数以内の文の組み合わせを要約として出力する要約生成手段と、を有する。
【００１４】
また、本発明（請求項２）は、前記要約生成手段において、
前記文書群における各単語の出現頻度に基づいて算出されたTFIDFスコアと前記クエリ関連性スコアの線形和を前記複合スコアとし、前記クエリを含むことを条件として、ラグランジュ緩和を用いてナップサック問題の繰り返しとして最適解を得る手段を含む。
【００１５】
また、本発明（請求項３）は、前記要約生成手段において、
前記入力文書群に含まれる全ての文の集合X、
生成される要約に含まれる文の集合S、
文ｓ中の語t∈ｓ、
文ｓの長さw(s)、
単語ｔがクエリ中に含まれているときq(t)=1、含まれていないときq(t)=０、複合スコアscore(s)、
【００１６】
【数１】
0005670939.tif 000002
として、
【００１７】
【数２】
0005670939.tif 000003
として要約に含まれる文の集合を求める手段を含む。
【発明の効果】
【００１８】
上述のように本発明によれば、計算量のオーダを増大させることなく、要約において重視したい語の集合を指定した上で要約生成において、品質の良い要約を専門家による調整なしに生成することが可能となる。
【００１９】
より具体的には、要約において重視したい語の集合を少なくとも一つ含むような要約で、かつ従来から利用されてきたスコアが高いような要約を生成することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施の形態における文書要約装置の構成図である。
【図２】本発明の一実施の形態における全体フローである。
【図３】本発明の一実施の形態におけるIDFデータベースの例である。
【図４】本発明の一実施の形態における要約生成部のフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面と共に本発明の実施の形態を説明する。
【００２２】
図１は、本発明の一実施の形態における文書要約装置の構成を示し、図２は、本発明の一実施の形態における文書要約装置の全体のフローを示す。
【００２３】
文書要約装置1の入力として文書群Ｄ、要約結果の上限文字数Ｌ，クエリすなわち要約において重視したいことがらを表す語集合Ｑを入力とする。
【００２４】
以下の例では、スコア付けの単位要素として文を用いるものとして説明するが、単語の連なり（単語n-gram）や固定サイズの部分文字列等で実現することも可能である。
【００２５】
本実施の形態では、
・スコアとして汎用の要約で用いられるTFIDFスコアと、クエリとの関連性のスコア；
・要約結果が少なくとも一つのクエリ内の要素を含む；
という大きく分けて2種類の情報を用いる要約としているが、これに限定されるものではなく、特にスコアについては、汎用の要約スコアで従来より用いられる各種情報（例えば文書内での位置に基づくスコア）の線形和としても構わない。
【００２６】
同図に示す文書要約装置１０は、文書解析部１１、IDFデータベース１２、TFIDFスコア算出部１３、クエリ関連性スコア算出部１４、要約生成部１５、TFIDFスコア記憶部１６、クエリ関連性スコア記憶部１７から構成される。
【００２７】
まず、文書解析部１１により語の区切りを付与し（ステップ１）、要約生成部１５により要約を生成し（ステップ２）、要約を出力する（ステップ３）。
【００２８】
文書解析部１１は、文書集合を入力として、文書内の単語の区切りを決定する。これには、当業者に公知の形態素解析技術を用いることができる。
【００２９】
IDFデータベース１２は、図３に示すように、各単語のIDF値を格納したデータベースである。IDFは十分大きな文書群を対象に以下の式(1)によって求めた値である。
【００３０】
【数３】
0005670939.tif 000004
TFIDFスコア算出部１４は、要約生成部１５の指示により、要約対象文書群を入力として、以下の手順により各文のTFIDFスコアを付与し、TFIDFスコア記憶部１６へ格納する。
【００３１】
まず、文書群中の各単語ｔについて、その当該文書群内での出現頻度tf(t)を計数する。
【００３２】
次に、文書群中の各文ｓについて、IDFデータベース１２を参照しながら、文のTFIDFスコアtfidf(s)を以下の式(2)により求める。
【００３３】
【数４】
0005670939.tif 000005
ここで、t∈sは文ｓ中の語であり、idf(t)は語tについて、IDFデータベース１２を参照した値である。
【００３４】
クエリ関連性スコア算出部１４は、要約生成部１５の指示により、要約対象文書群を入力として、以下の手順により各文のクエリ関連性スコアを付与し、クエリ関連性スコア記憶部１７へ格納する。文書群中の各文ｓについて、文のクエリ関連性スコアrelq(s)を以下の式(3)により求める。
【００３５】
【数５】
0005670939.tif 000006
ここで、|s∩Q｜は、文ｓとクエリQのどちらにも含まれる語の数である。
【００３６】
要約生成部１５は、文書解析部１１によって解析済みの要約対象文書群を入力として、要約結果を出力する。
【００３７】
要約生成部１５の流れを説明する。
【００３８】
要約生成部１５では、文書解析部１１によって解析済みの要約対象文書群を入力として、要約結果を出力する。
【００３９】
図４は、本発明の一実施の形態における要約生成部のフローチャートである。
【００４０】
ステップ１０１）  まず、要約生成部１５は、TFIDFスコア算出部１３、クエリ関連性スコア算出部１４を用いてTFIDFスコア記憶部１３、クエリ関連性スコア記憶部１７に各スコアを格納するよう指示する。TFIDFスコア記憶部１３、クエリ関連性スコア記憶部１７からスコアを取得し、各文の複合スコアscore(s)をTFIDFスコアtfidf(s)とクエリ関連性スコアrelq(s)の線形和として得る。
【００４１】
なお、本実施の形態では、score(s)をTFIDFスコアとクエリ関連性スコアから求めるものとして説明するが、この例に限定されることなく、既存のスコアリング手法により得ることも可能である。
【００４２】
次に、入力文書群中に含まれる全ての文の集合をＸ、生成される要約に含まれる文の集合をＳ、文ｓの長さをｗ（ｓ）、
【００４３】
【数６】
0005670939.tif 000007
とし、以下の手順を行う。
【００４４】
ステップ１０２）  まず、λ(0)を非負でない任意の数（例えば０）として初期化する。
【００４５】
ステップ１０３）  繰り返し数ｋ＝０とし、以下の処理を繰り返す。
【００４６】
ステップ１０４）  LR(k)を最大化するＳを求める。
【００４７】
【数７】
0005670939.tif 000008
としてS(k)を求める。当該処理については後述する。
【００４８】
ステップ１０５）次に、
【００４９】
【数８】
0005670939.tif 000009
を求める。ここでαはλ(k)の更新の度合いを定めるパラメータであり、非負の実数である。
【００５０】
ステップ１０６）  もし、｜LR(k)−LR(k-1)|の値が事前に設定した閾値thより小さく、かつ、
【００５１】
【数９】
0005670939.tif 000010
ならばループを終了し、ステップ１０８に移行する。そうでない場合はステップ１０７に移行する。
【００５２】
ステップ１０７）  ｋ＝ｋ＋１として、ステップ１０４に戻る。
【００５３】
ステップ１０８）  Ｓ中の各文を、元文書群での順序に沿って並び替える。
【００５４】
ステップ１０９）  並び替えた文を要約として出力する。
【００５５】
次に、上記のステップ１０４のLR(k)を最大化するＳを求める式（3）について説明する。
【００５６】
まず、スコア参照値score'(s)を、
【００５７】
【数１０】
0005670939.tif 000011
とおく。q(t)は単語ｔがクエリ中に含まれているならば１、そうでないなら０とする。
【００５８】
スコア参照値score'(s)に関する最適解を求める問題は、各文の重さをw(s)（文の長さ）、価値をscore'(s)とし、重さの上限をLとしたナップサック問題として定式化できる。したがって、動的計画法である最適解Sを得る。
【００５９】
なお、この生成手順は言い換えると、以下の組み合わせ最適化問題を、ラグランジュ緩和を用いて解いていることに相当する。
【００６０】
【数１１】
0005670939.tif 000012
上記のように、本発明では、構成する単位（単語）のスコアの和としてだけでなく、満たすべき制約としてクエリ中の語を少なくとも一つ含むという条件を満たすように、ラグランジュ緩和を用いて、動的計画法により解ける問題としている。これにより、人手によるパラメータの調整なしに、クエリ中の語を少なくとも一つ含み、スコアが高い要約を生成することができる。
【００６１】
なお、図１に示す文書要約装置の各構成要素の動作をプログラムとして構築し、文書要約装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００６２】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００６３】
１０  文書要約装置
１１  文書解析部
１２  IDFデータベース
１３  TFIDFスコア算出部
１４  クエリ関連性スコア算出部
１５  要約生成部
１６  TFIDFスコア記憶部
１７  クエリ関連性スコア記憶部
【図１】
0005670939.tif 000017
【図２】
0005670939.tif 000018
【図３】
0005670939.tif 000019
【図４】
0005670939.tif 000020