質問応答エンジンを利用した複数文書要約手法
森 辰則 Ý野澤 正憲 ÞÝ 横浜国立大学 大学院 環境情報研究院

浅田 義昭 ÞÞ 横浜国立大学 大学院 環境情報学府

         

はじめに大量の文書が溢れている昨今，その中から必要とされる情報を効率良く見つけたいという要求がある．情報検索や質問応答等の技術により情報要求に関連する文書群や答え自身を容易に得る事が出来るようになりつつあるが，最終的には原文書を調べる必要がある．
これらの技術と相補的な関係にあるのが，検索文書群を対象とした複数文書要約技術である．特に，情報検索過程においては利用者が情報要求を持っており，また，それらが質問文として記述できるという考え方から，近  年，「質問の答に焦点を当てた要約」
   が注目されている．平尾ら  は質問型に一致する固有表現に高い重みを与え要約文書を生成する手法を提案している．! ら " は質問型と要約生成の単位となる文書断片の長さの関係を検討し，これに基づいた要約文書生成手法を提案している．いずれも一つの質問文に注目した個別文書の要約である．一方，#  $ らは，複数文書要約と質問応答の融合を目指すとしているが，詳細は未公開である．
複数文書要約においては内容把握ができるように，ある程度の要約文書量が必要となるため，利用者の知りたい事柄の各々について要約文書を生成すると最終的に利用者が読むべき文書量が増えてしまう．そこで，本稿では，複数の要求の答とその背景知識を一度に概観できるような要約 抜粋 を生成する一手法について述べる．特に，質問応答エンジンを用いた文重要度計算を汎用の文重要度計算に融合する手法を提案する．

提案手法の概要

本稿では，要約対象文書群は，情報検索等の結果として得られており，また，利用者の情報要求は，複数の質問文として与えられているとする．この状況下では，複数文書要約のために，%「情報要求を考慮した重要箇所抽出」，&「文書間の冗長箇所の削除」，"「文書間の相違点の抽出」が必要であると考える． 提案手法では，これらについて以下の技術を用いる．

 質問応答エンジンの出力スコアに基づく文の重要度計算 上記 % に対応．第 " 節．
' 語の出現分布に関する情報利得比に基づく文の重要度計算 上記 %，" に対応．第 ( 節．
 ))* に基づく要約文書中の冗長性の制御 上記& に対応．第  節．
更に抽出文間の結束性の担保のために「 ハニング窓関数に基づく文重要度平滑化」第 + 節 を採用する．
図 % に提案手法に基づき構築したシステムの概略を示す．本システムへの入力は要約対象となる文書 の ,-の集合，情報要求に対応する質問文の集合，ならびに，求める抜粋の長さ 文字数もしくは文数 である．出力は文書集合の抜粋 文の列 である．例えば，今回の評価で用いたテストコレクションである ./0,*( /0"D D12

Dn-1Dn

文書クラスタリングとTF*IDF*IGR値に基づく語の重み付け
w1

文重要度 w2

S1
S2wm S4

質問文集合 Q Q

文書集合
文重要度の統合w1
w2

S1
S2wm S4

Q Q
k-1

12k

質問応答システムによる質問の解としての語のスコア付け
文重要度

w1w2

S1
S2wm S4

質問の解に特ハニング窓関数による文重要度の平滑化化した要約生成のための重MMI-MSによる文の再順位付けと重要文抽出
要文抽出
各文書の抜粋のクラスタリングと時間順序に基づく整列
内容の網羅性・結束性を担保する重要文抽出
Summary 質問の答が一度に判る文書集合の抜粋

汎用要約生成のための重要文抽出

図 % 質問応答システムを利用した複数文書要約の / 111 の場合，図 & に示す 2 つの文書 ,-，図" に示す %1 の質問文，ならびに，要約文書長 (2% 文字が入力である．この時，本システムは図 ( に示す抜粋を出力する．この中でゴシック体になっている部分が質問の答の一つである．



質問応答エンジンの出力スコアに基づく文の重要度計算
我々の提案している質問応答システム & は，様々な文書や検索エンジンを利用できるようにするために，対象文書に対する前処理を必要としない仕組みとなっている．質問文が与えられた後に，形態素解析や構文解析，固有表現抽出などといった計算コストの大きい処理をするが，これを必要最小限に抑え実時間処理を行なうために，£ に基づく解の探索制御を導入している．
同システムのエンジンは質問文が % つ与えられると対象文書中の各語 形態素 に対して解としての「良さ」を表すスコアを付与する．我々はこのスコアを質問の解に注目した時の語の重要度と考え，重要文抽出を行なうことを提案する．このスコアを利用することにより，質問型の情報のみを利用する従来手法よりも精度の高い要約生成を行なえると期待される．
本稿では，複数の質問文が与えられることを想定しているため，形態素毎にスコアの組が求められる．各スコアはある質問文に対応する．質問文の複雑さや質問の型によりスコアの値が変動するため，本来，異なる質問文に対して求められたスコアは比較可能ではない．しかし，ある形態素について複数の質問文に対する単一の重要度を付与したいので，元のスコアを比較可能な値に正規化する．さて，ある一つの質問文に注目しその答を見つける際には，各語のスコアの絶対値は重要でなく，他の語のスコアとの相対的関係が重要である．そこで，本稿では，スコアの平均値からの隔たりが重要であると考え，質問文毎に語のスコアを偏差値 /  に変換し，これを正規化スコアとした．
正規化スコアは複数の質問文に亙って平均値が同一に             

図 & 入力例 文書 ,- の集合 ./0,*( /0" / 111

「ドリー」は何の名前か？ ／クローン羊ドリーはどこで誕生したか？ ／クローン羊ドリーは、胎児細胞ではなく何の複製であることが実験で確認されたか？ ／クローン羊ドリーは何からつくり出されたか？ ／クローン羊ドリーの元になった雌羊の細胞とドリーの細胞とで、何が同一であると確かめられたか？ ／英国のロスリン研究所を率いているのは誰か？
／クローン羊ドリーが妊娠中の羊から採った乳腺細胞をもとにつくりだされたことについて、どのような批判があったか？ ／クローン羊ドリーの細胞の寿命は普通の羊と比べてどうであることが分かったか？ ／クローン羊ドリーの出産はいつか？ ／クローン羊ドリーの出産により何が確認されたか？



図 " 入力例 質問文の集合 ./0,*( /0" / 111

８日付のイブニング・スタンダード紙によると、英国のロスリン研究所は、世界で初めて体細胞を卵子に組み込んで誕生させた雌のクローン羊「ドリー」（生後１年半）と雄の羊を交尾させたことを明らかにした。一昨年、世界初のクローン
羊ドリーをつくることに成功した英エディンバラのロスリン研究所は２３日、ドリーがこのほど出産、正常な生殖能力があることが確認されたと発表した。詳細は二十三日発行の英科学雑誌「ネイチャー」に掲載される。ドリーは、妊娠中の羊から採った乳腺（にゅうせん）細胞をもとにつくり出された。この雌羊はすでに死んでいるが、組織の一部は、英国内で凍結保存されている。英国ロスリン研究所のイアン・ウィルムット博士のグループと、英国レスター大のグループは、クローン羊ドリーが大人の雌羊の体細胞核移植によるクローンであることをそれぞれＤＮＡ鑑定で裏付け、２３日発売の英科学誌「ネイチャー」に発表した。生まれたのは雄二頭と雌一頭で、いずれも元気だという。ドリーを誕生させた英国のロスリン研究所などのチームが二十七日発売の英科学誌「ネイチャー」で発表する。すでに二回妊娠し、元気な子供も産んだ。

図 ( 出力例 要約文書 抜粋なる．質問文 に関する形態素  の正規化スコアを   とする時，文  の重要度   を式 % で求める．ただし， は与えられた質問文の集合，  は文  に現れる形態素の集合である．いずれかの質問の答えが含まれているかと言う観点から文の重要度を決めるため，式 % ではある文の重要度をその文に含まれる形態素の最大スコアとしている．
    
¾ ¾



我々は検索結果文書の各々を要約する手法として，情報利得比に基づく語の重み付けを用いた重要文抽出手法を提案している ( ．この手法では，検索結果文書間の類似性構造を階層的クラスタリングにより抽出し，その構造に則した出現分布を持つ語に高い重みをつけるため，情報利得比 ,  # * ,#* に基づく語の重要度計算を行なう． を  の部分クラスタとするとクラスタ  における単語  の情報利得比    は次のように求められる．
                                   

ここで次の二点に注意しなければならない．

% 対象文書群が情報検索結果であれば，それらと検索されなかった文書群との対比が重要であるため，根クラスタの上に仮想的なクラスタを設ける．このクラスタには検索文書の属する部分クラスタとそれ以外の文書が属する部分クラスタが存在する．同仮想クラスタでは，対象文書群全体に関連する語に高い重みが与えられるので，検索要求に関する語が高く重みづけられる．



語の出現分布に関する情報利得比に基づく文の重要度計算

    & 階層的なクラスタリングを考える場合，クラスタ毎に語の重みが得られるので，これらを統合する必要がある．本稿では，各文書の所属するすべてのクラスタにおける語の重みの和を採用する．これを   と呼ぶ．

そして，この重みと文書内単語頻度   値 や文書頻度の逆数   値 など既存の重みづけ手法を組み合わせることにより，最終的な語の重みとする．この語の重みに基づく各文  の重要度   は，式" に示すとおり，含まれる名詞の重みの総和を文の長さ 単語単位 により正規化したものである．また，文書間の文重要度を正規化するために，文書内の文重要度を偏差値 /  に変換する．これを  とする．更に，前節の式 % と式 " を統合した文重要度として，式 " を考える．ここで， は文重要度
 の に対する重みである．
  

¾                    に基づく要約文書中の冗長性の制御

重要文抽出において，0'  らが提案する ))*%と同種の冗長性制御機構を導入することを考える．))*は，本来，文書もしくはパッセージを単位として，順位づけを行なうものであり，初期順位は検索質問に対する文書の類似度を用いる．これを式 ( のように文を単位とし，初期順位を文の重要度により与えるように変更する．本稿ではこれを )),))3 )4 ,  5 )   と呼ぶ．
         ¾ Ò     !
 ¾

ここで， は要約対象の文集合， は既選択文の集  は式 " に定義される文  の正規化重合，要度，  は文間の類似度を表す尺度である． に空集合を，冗長度制御変数  に適切な値を設定してから式 ( を繰返し適用すると，冗長性を考慮した文の再順位づけがなされる．なお，本稿では，  として文ベクトルの    類似度を採用した．同ベクトルの各次元は，各文に含まれる名詞であり，その値は対応する名詞の重要度である．

 重要文抽出の性能に関する評価
モデル抜粋を正解として，提案システムの出力抜粋の平均被覆率 ;4 0;4 ならびに平均精度
;4 <   を調べた．図 ，' に示す．図中のラベル =< > は提案手法，=7> は 7 手法 各文書の先頭部分を抽出する によるベースライン，それ以外の点は他の参加システムである．
0.7

0.7

0.6

0.6

Proposed

Proposed
0.5

0.50.4

ハニング窓関数による文重要度平滑化

ここまでの文重要度計算手法では各文を独立に扱うため，対象文書数が多い時には多くの文書から少しずつ重要文を抽出し，文間の結束性が低下する傾向が見られる．要約文書長が長い場合には，文の重要度を考慮しつつも，文間の結束性を高める事が必要である．そこで，ある文数の範囲内で重要度が滑らかに変化するように，ハニング窓関数を用いた重要度の平滑化を行なう．窓幅の同関数を用いて平滑化した文重要度は式  により与えられる．なお，文書の先頭と末尾においては，その文が連続するものとして計算する．
 ¾
  

同  * の課題は，"1 トピックからなる．各トピックは，要約対象文書 ,- のリスト，トピックの表
題 検索要求を簡潔に表現したもの，生成すべき要約文書の長さ 文字数，ならびに，文数．いずれも短いもの 6 と長いもの 7 4 の二種，要約に含まれるべき事項を表した質問文のリスト 6 用と 7 4用の二種 から構成される．要約対象文書は 28 22 年の毎日及び読売新聞の記事から選ばれている．
提案システムの各種パラメタは， * に先だって配布された例題  トピックにより調整を行なった．6 用にはハニング窓関数を適用せず，7 4 用には窓幅 (½ とした．二種類の文重要度
 ならびにの混合比を決めるパラメタ
の値は186
用 ならびに 197 4 用 とした．)),) 用のパラ とした．ここで メタ  は 1(:1  %  はトピック毎の平均文間類似度である．

 
      

¾

実験と評価

本節では，評価型ワークショップである ./0,*( /0"における  * の課題により提案手法に基づくシステムを評価する．同ワークショップは現在進行中であり，報告会は &11( 年 + 月に開催される．本稿執筆時
点では，他参加システムの詳細は不明である．本稿では，タスクオーガナイザが用意したモデル抜粋との比較による抜粋の性能，ならびに，モデル要約との比較による質問に対する解の被覆率に基づき評価を行なう．

0.4

Lead0.30.2

LeadPrecisionPrecision   

0.3

00.1

0.20.3Coverage

0.4

0.5

0.2

00.1

0.2
0.3
Coverage

0.4

0.5

& '( "#$%図  抜粋の平均被覆率ならびに平均精度

 質問に対する解の被覆率に基づく評価
モデル要約に含まれる質問文の解が提案システムの出力抜粋に含有される度合 解の平均被覆率 を調べた．
図 +，' に示す．尺度としては，正解文字列そのものが現れる割合の平均値  3 )6，ならびに，式+ により定義される正解文字列  と文  の間の編
集距離  に基づく尺度の平均値   -  の二種類を考える．
!  " #$   " 

ここで，関数  は文字列の長さを返す．図中のラベル =? > は人間が作成した要約 モデル要約とは異なる である．

 前後 ½ 文ずつを考慮することになる．

0.8

0.8

Proposed

Answer Coverage (Edit Distance)

Answer Coverage (Edit Distance)

Proposed
0.7

0.7

Human
Lead

0.6

Human
Lead

0.6

0.5

0.5

0.4
0.1

0.2
0.3
0.4
Answer Coverage (Exact Match)

0.5

0.4
0.1

0.2
0.3
0.4
Answer Coverage (Exact Match)

 "#$%0.5

& '(図 + 質問に対する解の平均被覆率



二つの文重要度の混合比に関する評価

二種類の文重要度の混合比が各種性能に与える影響について調べるため，他のパラメタは前述の通りに固定しつつ，パラメタ  の値を変化させて同様の評価を行なった．図 9 に抜粋の性能変化を，図 8 に質問に対する解の平均被覆率を示す．
0.80.8Short
Long

0.7

0.6

0.60.5

まとめと今後の課題

0.50.4

Lead (Short)

0.4

0.3

0.3

Lead (Long)
Lead (Short)

0.2
0.1

Short
LongPrecision

Coverage

0.7

00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Alpha

Lead (Long)

0.2

10.1

00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Alpha 被覆率1

& 精度

図 9 文重要度混合比  の変化に対する抜粋の性能変化
0.9

0.9

Short
Long

Human (Long)
0.8Human (Short)Answer Coverage (Edit Distance)

Answer Coverage (Exact Match)

0.8
0.7

0.6

参考文献

Lead (Long)
Lead (Short)

0.5

Human (Short)
Human (Long)

0.4

!

0.4

Lead (Short)
Lead (Long)

0.3
0.2

Short
Long

本稿では，複数の情報要求に対して一度に答えることができる複数文書要約を目標として，質問応答エンジンを用いた文重要度計算を汎用の文重要度計算に融合する手法を提案した．./0,*( /0"  *に基づく評価により，その有効性を示した．
今後の課題としては，先に述べた )),) における文類似度の精緻化の他に，質問の解解析の高速化が挙げられる．現在は，与えられた文書中の全ての形態素についてスコアを求めているため，平均的な <0 を利用した時に % 質問当り数十秒の処理時間がかかっている．我々の質問応答エンジンでは，解の探索制御を行なっているために，上位の解のスコアが求まった段階で解析を打ち切ることができるので，その際の近似スコアの利用を今後検討したい．

0.7

0.6
0.5位性が示されている．ところで，7 4 については抜粋
精度が 1+81 と高いのに対して，抜粋被覆率は 1"2% と低い．これは，別の文書に由来する同一もしくは非常に似通った文を抽出する例が見受けられるためである．
出力文書の冗長制御を行なっている )),) では，文名詞の重要度を成分とする文ベクトルの類似度を用いているが，各語の重要度は文書によって異なるために，全く同一の文であっても類似度が % にならない．文間類似度計算の精緻化が必要である．
図 + によると，質問の解の被覆率について，提案手法は 7 手法と比較して，6，7 4 の要約長のいずれにおいても，改善されていることがわかる．特に7 4 においては，人間が作成した要約と比較しても，解の被覆率が高いことがわかり，質問応答エンジンを利用した効果が現れている．更に，図 9 ならびに図 8によると，二種類の文重要度のうち，質問応答のスコアに基づく文重要度が支配的であることがわかる．ただし，いずれも  @ 1+  18 の箇所に性能の頂点が存在するので，両重要度を考慮したほうが良い．特に質問応答評価においても  @ %1 ではない箇所に頂点があることが興味深い．採用している質問応答エンジンは，./0,* A0% の質問セットにおいて ))* が1 程度¾ であり精度が十分ではなないことから，,#*に基づく文重要度がこれを補っていると考えられる．

00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9Alpha)% %)#0.310.2

00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Alpha1& *+% ,+-%().

図 8 文重要度混合比  の変化に対する質問応答の性
能変化

考察
図  によると，提案手法では 7 手法と比較して，
6，7 4 の抜粋長について，抜粋の平均被覆率ならびに平均精度共に改善されていることがわかる．また，/0" に参加した他システムと比較しても，その優/ 0$&(. (* / *-%.+(/ #. -. 1 2,+3.$-+%45-.* 2.$(6+( 1$ 2.$*.$+( ,)7.(%(* $*7)+( "7$+.-/ 8(  
99/: /! / $+ / ;#% / <7=+#% (* 2/ 7(/ ( £-.$)# +( -.(%.(%+ %)#+( 1$ >7.-%+( (-?.$+(/      @/ , A/  99/
 :  /! B/ C7 ,/ 2/ 2*.3 (* C/ <(/ ?$*- (-?.$1)7-.* -7$+D%+(/ 8(            /! 森辰則/ 検索結果表示向け文書要約における情報利得比に基づく語の重要度計算/ 自然言語処理 @/  A/ 99/ : /! 平尾努 佐々木裕 磯崎秀樹/ 質問に適応した文書要約手法とその評価/ 情報処理学会論文誌 @/  A/  99/
:  /
順位つきの解出力を行なった時に，正解の順位が平均すると ¾位程度であることに相当する．