特集 テキスト自動要約2

Text Summarization Challenge−自動要約の評価型ワークショップ−
福島 孝博

追手門学院大学文学部

fukusima@res.otemon.ac.jp

奥村学

東京工業大学精密工学研究所

広島市立大学

oku@pi.titech.ac.jp

難波 英嗣
nanba@its.hiroshima-cu.ac.jp

は，要約そのものをその内容や読みやすさなどの点からはじめに評価する内的な（intrinsic）評価と，要約を利用して他の作業を行いその作業の達成率を計ることにより要約の情報社会と言われて久しく，情報が日常的に溢れるよ評価をしようとする外的な（extrinsic）な評価がある．
対象となるテキストを人間が要約を行い，システムのうになった現代において，多量の情報を「要約」する技

結果と比較して評価を行う内的な評価が従来から行われ術は，ますます重要となっている．
テキスト（文章の集り）をコンピュータを使い自動的てきた．しかし，同一テキストを要約するにしても要約に要約する技術である「自動要約」の研究の歴史は 1950

を行う人間により，要約結果が違うことがある．また，年代に遡ることができ，コンピュータの誕生当初からこ同じ人が行う場合でも，読む視点によって要約結果が違の分野に関する研究が行われていた．ってくる場合もあり，人間の要約との単純な比較をして従来の研究は，与えられたテキストにおいて，まず，の評価には問題があるといえる．外的評価は，近年にな重要な文を見つけ出し，それらの重要な文を集めるこり後述する評価型ワークショップにおいて採用されていとにより元のテキストの要約とする「重要文抽出」による．評価にどのような作業を選ぶのかという問題がある

る自動要約が主であった．しかし，最近はこれだけではが，要約を何に役立てるのかという目的がはっきりとしなく，テキストの構造，読み手の視点を考慮しての要約ている評価だといえる．

や，より自然な要約文を作成する研究，単一のテキスト◎評価型ワークショップ

ではなく複数のテキストを対象とした自動要約の研究が進められている

12），13）

言語処理研究のいくつかの分野では，最近の研究の特．

自動要約システムの性能を高めるには，自動的に作徴として，特にアメリカにおいてそうであるが，「評価成された要約をどのように評価するかが重要となる．自型のワークショップ」を開催して研究を進めることが行

動要約システムの要約した結果をどのように評価するかわれている．この評価型ワークショップは，以下のようは，最近の自動要約研究の重要な課題の 1 つとなっていな流れで進められる．

る．要約の評価方法には大きく分けて 2 つある．1 つ目

IPSJ Magazine Vol.43 No.12 Dec. 2002

−1−1295

った．

（1）共通の課題を設定する．課題は 1 つだけに限られず，しかし，評価型ワークショップを行うことにより，共いくつかあるのが普通である．
（2）一般からの参加を募る．課題に対する結果を提出す

通の課題について共通の評価尺度を適用でき，異なる要る限り海外の研修者であっても参加は自由にすること

約システム評価が可能となった．評価方法については，ができる．

いくつかの方法を複数の要約システムに対して試すこと（3）参加者は，どの課題に参加するかを決定して，そのができるようになった．同時に，その評価のための要約課題に対する結果を提出する．参加者には，主催者かデータを作成して，公開するため，研究者が共有して利らシステムの開発に必要なデータが提供されるのが普用可能な要約データの蓄積がなされて，研究を進める環通である．

境が整うことになった．

（4）主催者側は，参加者から提出された結果を集計して，◎自動要約の評価型ワークショップ評価を行い，評価結果を公表する．
（5）公表はワークショップ形式で行われ，主催者と参加

自動要約の評価型ワークショップとしては，アメリ者，関係者が一堂に集まり，課題の内容や評価方法，カ国防省の支援する Tipster プロジェクトの一部とし今後の進むべき道などについて議論，検討を行う．参て SUMMAC（Text Summarization Evaluation Confer-

加者は，自分たちのシステムについての説明をここでence）が開催された行う．

る TIDES（Translingual Information Detection, Extrac-10），16）．最近は，同国防省が支援す

tion, and Summarization）プロジェクトの一環として，（6）ワークショップの結果は，論文集や WWW にて公開される．

NIST（National Institute of Standards and Technology）の 主 催 す る Document Understanding Conferences（DUC）が 行 わ れ て い る

評価型ワークショップは 1 回限りではなく，何年かに

6），7）．DUC は， 第 1 回 目 がわたり複数回開催され，対象の分野での要素技術を明2001 年，第 2 回目が 2002 年に開催されている．DUC

確にし，その技術の精度を高めていくような方向で運営

でどのように研究を進めていくのか長期的な計画も発表される．たとえば，新聞記事などのテキストからあらかされており，Roadmap として公開されている ．これじめ決められた重要だとされる情報を取り出してくる技

らの一連のワークショップでは，自動要約システムの評術である「情報抽出（Information Extraction）」の分野で価を行い，また，評価方法について種々の取り組みがな

は，Message Understanding Conferences（MUC）と いされ報告されている．

8）

う評価型ワークショップが米国国防省の支援のもとに，日本においては，国立情報学研究所主催の NTCIR1980 年代後半より 1990 年代を通して約 12 年間，合計 7（NII Test Collection for Information Retrieval and Text

回のワークショップが開催された．この MUC の開催にProcessing）ワークショップの枠組みにおいて，日本語より英語で書かれた新聞記事を対象とする情報抽出に関テキストを対象とした自動要約の評価型のワークショする要素技術が確立され，研究課題が明確となり，情報ップが 2 回行われている抽出の研究が進められた．

ワークショップは Text Summarization Challenge（TSC）

このような手順で行われる評価型ワークショップであと呼ばれ，TSC1（第 1 回目），TSC2（第 2 回目）として17）るが，自動要約研究でのその役割について考察すると，

5），9）．この自動要約の評価型開催された ．
4）

次章にて TSC について，続いて TSC2 についてより詳次のような 3 つの役割を果たしているといえる．

しく解説する．また，最後に今後の展望を述べる．
• 自動要約システム自体の評価の実施• 評価方法の確立

TSC1• 要約データの作成と蓄積
今まで，自動要約システムは開発されてきていたが，TSC1 は，1999 年 か ら 2001 年 の 初 め に か け て

その評価については，システム開発者が内部で行うもの

NTCIR Workshop 2 の タ ス ク の 1 つ と し て 開 催 さ れが普通であり，異なる要約システム間の評価，比較は困た難であった．また，評価のための手法も，研究分野内でた要約データおよび TSC1 から得られた知見について述確立されたものがなく，種々の評価方法が試されてきてべる．

いた．評価のための要約データも，研究者が共有して使えるものがなく，研究者独自に作成することが通常であ1296 43 巻 12 号

情報処理2002 年 12 月−2−1），2），14）．以下に課題，評価方法，TSC1 にて作成し特集 テキスト自動要約◎課題
課題は大きく分けて 2 つあった．1 つ目の課題（課題A）の中に 2 つの課題（課題 A-1 ，A-2）が設定された．
課題 A-1：与えられたテキストから重要文を取り出してくる．重要文を取り出す割合は，10%, 30%, 50% である．たとえば，対象となるテキストが 10 文で構成されているのであれば，1, 3, 5 文を重要文として選び出

課題 B では，外的な評価，つまり，情報検索の作業にす．

基づく評価を行った．評価者に検索要求とシステムが作

課題 A-2：与えられたテキストから自由に要約を作成す成した要約（検索要求結果のテキストの要約）を見せる．

る．作成された結果は，人手で作成された要約と比評価者は，その要約を読むことによって，そのテキスト較をして評価される．文字数で計算しての要約の割合が検索要求に適合しているかどうかを判断する．米国で（要約率）は，20%, 40% である．1,000 文字のテキス開催された SUMMAC にて同様の評価が英語のテキストトであれば，200 文字までの要約と 400 文字までの要を対象として行われた．

約を作成することになる．

評価は，Dryrun と Formal run の 2 度行われた．前者

課題 B：検索要求（情報検索における質問）とその検索は，試験的な評価であり，課題に慣れるために行われ結果としてのテキストを元にして要約を作成する．要たものである．Dryrun を行うことにより，主催者にと約の長さは自由である．っても，参加者にとっても，課題を遂行するにあたって何が必要とされるかが分かるというメリットがある．後

なお，TSC1 では，単一テキストが要約の対象であり，複数テキスト要約は課題としていなかった．

者は，本番の評価である．本番の評価に参加したシス
テム数は，課題 A-1 に 10 ，課題 A-2 に 9 ，課題 B に 9であった．また，評価には，社説，経済面からの 30 記

◎評価方法

事が Dryrun において，社説，社会面からの 30 記事が課題 A は，内的な評価を行い，課題 B では外的な評価Formal run で用いられた．

を行った．
課題 A では，まず，人手による要約を作成しておく．

◎要約データ

課題 A-1 では，人手により重要だとして選ばれた文とシ

TSC1 において使用したテキストは，毎日新聞記事デステムの選んだ文がどの程度一致しているかで評価を行ータベースからの記事であった．作成された要約デー

った．課題 A-2 では，人手による要約を 2 種類使った．

タは，新聞記事 180 記事それぞれに対して，10%, 30%,人間が重要だと思う個所を選んでの重要個所要約と自50% の割合での重要文を選択したもの，および 20%,由に要約をした自由要約である．この 2 種類の要約を使40% の要約率の重要個所要約と自由作成要約である．こい，以下の 2 つの評価を行った．

れらの要約データは現在，国立情報学研究所の Web ページにて公開されており，研究目的での利用が可能とな（1）内容に基づく評価（content-based evaluation）っている ．
5）

人手の作成の要約とシステムの要約結果を，単語◎ TSC1 の知見（正確には形態素）に分割し，名詞，動詞，形容詞などの内容があるとされる語のみを対象として，人間のTSC1 は，日本語を題材とした自動要約の評価型ワー

要約とシステムの要約がどの程度近いかを計算し評価クショップとしては，初めてのものであった．評価結果を行った．

を簡単にまとめると以下のようである．

（2）主観評価
評価者に，元のテキストに加えて，人手作成の重要• 課題 A-1：10％でのシステムの評価値に多少差が見ら個所要約，自由要約，システムの要約結果およびベーれたが，30%, 50% では，システム間の差は少なかっ

スラインシステム（基本的な要約手法を用いてのシスた．大体のシステムがベースラインシステムより良いテム）の要約という 4 種類の要約を見せて，原文の重評価値を示した．

要な内容がどの程度保持されているか，要約文の読み• 課題 A-2：内容評価では，ベースラインを含めてシスやすさの 2 つの観点から順位を付けてもらった．

テム間の差があまりない結果となった．主観評価でIPSJ Magazine Vol.43 No.12 Dec. 2002

−3−

1297

は，多少の差があるものの，全体としては，人手の自渡っている．システムおよび人間の要約作成者には，

由要約，重要個所要約，システムまたはベースライン記事集合を作成する際に使った情報（検索に用いた語の要約の順で評価が良く，人手の要約とシステムの要や語句）を与える．要約は，短いものと長いものの 2約の差がはっきりしていた．

種類を設定した．

• 課題 B においても，システム間の差があまり見られな◎評価方法かった．SUMMAC でも確認されたことであるが，日評価方法は，課題 A, 課題 B とも共通で，2 種類の内的本語のテキストを対象とした場合でもシステムの要約評価を行った．

が情報検索の作業を行う上で有効であることが確認された．

（1）順位付け評価
ワークショップの運営面では，要約データの作成おこれは，TSC1 での主観評価と同様のものである．

よび評価の遂行に，人手による作業を多く必要とするた

ただし，TSC1 では，人手による要約作成時に，要約め，予想以上に時間がかかることが分かった．の対象となる 1 つの新聞記事に対して 1 つの要約を作

また，TSC1 開催後であるが，TSC1 で作成された要成しただけであったが，TSC2 では，1 つの記事に対約データを使用して重要分抽出型の要約の評価に関するして 3 人の要約作成者に要約を作成してもらい，その研究が行われ，より良い評価のための検討がなされていうちの 1 つを評価値の上限を示す指標（アッパーバウるンド）として評価に取り入れている．

．

11）（2）添削評価
TSC2 にて初めて導入された評価である．この評価

TSC2

では，システムの要約に対してどの程度の修正がなされるかを測ることにより，評価を行うものである．実

TSC1 にて引き続いて開催された TSC2 における課題

際には，要約の内容および読みやすさに関して，評価の内容，評価方法，TSC2 にて作成した要約データにつ者に添削をしてもらうが，添削は削除，挿入，置換のいて述べる

3），15）

3 種類のみに制限されている．削除は不要だと判断さ．

TSC2 は 2001 年 か ら 2002 年 に か け て 開 催 さ れ た．

れる文字を消すことであり，挿入は，反対に，必要なTSC1 のときと同様に，NTCIR Workshop 3 のタスクの文字を新たに入れることであり，置換は，ある文字や1 つとして行われた．

文字の並び（文字列）を言い換えることに相当する．

◎課題

評価は，TSC1 と同様に Dryrun と Formal run の 2 度

課題は大きく分けて 2 つである．単一記事の要約と複行われた．本番の評価に参加したシステム数は，課題 A数記事の要約である．後者は，TSC2 において初めて行に 8, 課題 B に 9 であった．また，評価には，課題 A 用われるものである．に社会面からの 30 記事，課題 B 用に 16 のトピックがDryrun において使われた．Formal run では，課題 A 用

課題 A：単一記事を対象とした自由要約である．TSC1に社会面からの 30 記事と課題 B 用に 30 のトピックが用の課題 A-2 と同様の内容である．要約率も同様に，いられた．
TSC2 で は，Dryrun と Formal run の 後 に，round-20%, 40% の 2 種類である．
課題 B：複数記事を対象とした要約を行う．複数記事は，table discussion として，課題の内容，評価方法についあるトピックに関して集められた複数の新聞記事の集て議論，検討する会を主催者と参加者が集まってワーク合である．トピックは，川崎公害訴訟，2000 年問題，ショップとは別に行った．これは，研究分野において評花粉症，ノーベル賞，全日空のストライキなど多岐に価の手法が確立されていない中，主催者と参加者が互いに議論，検討をすることにより，評価結果に見られる数値だけではない緩やかな評価を行い，より良い評価方法を探ろうとするのが目的である．
Formal run 後の round-table discussion では，順位付
け評価に関しての問題点と思われる点が指摘され，別の評価方法が提案された．また，今後どのような評価方法，要約データが望まれるかについて検討がなされた．

1298 43 巻 12 号

情報処理2002 年 12 月−4−

特集 テキスト自動要約◎要約データ
TSC1 では，180 の記事を対象にして，要約作成者 1名の要約データを作成したが，TSC2 では，それに追加をして，同一記事に対して第 2 ，第 3 の要約の作成を進めた．要約の種類は，TSC1 と同様であり，評価では用いなかった重要文選択の要約も含まれている．また，課題 B 用として，50 の異なるトピックについての記事集

るテキストはすべて新聞記事であったが，Web ペー合を対象とする長短 2 種類の要約を，要約者 3 名を使っジなど新聞記事以外のジャンルのテキストを対象とて作成している．

した要約も考えられる．また，よりチャレンジングであるが興味深い課題となる，英語で書かれたテキストを日本語で要約するような複数の言語にまたがる要約今後の展望（translingual summarization）も検討していきたい．

TSC3 の開催が予定されているが，その内容について最後に，これまでの TSC の経験および蓄積されたデは，今後 TSC3 へ向けての検討会を開催して決定していータが活かされ，さらに自動要約研究の活動が活発になく計画となっている．

ること，そして評価型ワークショップが引き続き開催さ

また，TSC3 で実施されるかどうかは別にして，TSCれることを願いたい．

として以下のような課題を検討していきたい．
（1）質問応答の研究分野との連携
ユーザの質問に対して新聞記事などのデータベースを元にしてシステムが答えを出す質問応答（QuestionAnswering）システムの研究分野との関係が注目される．たとえば，「AO 入試とは何？」という質問に対しての回答を得るには，AO 入試に関する新聞記事などのテキストから関係の深い文や段落を抜き出してまとめる必要がある．また，英語でいう How や Why の質問においても同様に，回答が存在するであろう部分を探し出して集め，まとめる必要がある．このように見ると，この種の質問応答では，質問を元としてそれに対する要約を作成する作業と見なすことができる．質
問応答自身は，NTCIR Workshop 3 においてもタスクの 1 つとして評価型ワークショップが実行されており，連携の可能性を探っていきたい．
（2）外的な（extrinsic）評価
これは，TSC1 で情報検索作業を用いて行ったが，TSC2 では，内的な評価のみとなった．一方，関連する動向として，自動要約研究の実社会の問題へ応用しようとする試みが始まっている．たとえば，携帯端末での表示のための要約，テレビ番組に付与される字幕を制作するための要約などが挙げられる．このような自動要約研究の実問題への応用も考慮して，外的な参考文献
1）Fukusima, T. and Okumura, M.: Text Summarization Challenge - TextSummarization Evaluation at NTCIR Workshop2, In Proceedings ofNTCIR Workshop2, pp.45-50 (2001).
2）Fukusima, T. and Okumura, M.: Text Summarization Challenge - Text
Summarization Evaluation in Japan, North American Association for
Computational Linguistics (NAACL2001), Workshop on AutomaticSummarization, pp.51-59 (2001).
3）Fukusima, T., Okumura, M. and Nanba, H.: Text Summarization
Challenge 2 - Text Summarization Evaluation at NTCIR Workshop3, In
Proceedings of NTCIR Workshop3 (2002).
4）http://oku-gw.pi.titech.ac.jp/tsc/index-en.html
5）http://research.nii.ac.jp/~ntcadm/index-ja.html
6）http://www.darpa.nil/ito/research/tides/index.html
7）http://www-nlpir.nist.gov/projects/duc/
8）http://www-nlpir.nist.gov/projects/duc/roadmapping.html
9）神門典子 : NTCIR とその背景−情報アクセス技術の評価ワークショッ
プとテストコレクション，人工知能学会誌，Vol.17, No.3 (May 2002).
10）Mani, I., et al.: The TIPSTER SUMMAC Text Summarization
Evaluation, Technical Report, MTR 98W0000138 The MITRE Corp.
(1998).
11）難波英嗣，奥村 学 : 要約の内的（intrinsic）な評価方法に関するいく
つかの考察−第 2 回 NTCIR ワークショップ自動要約タスク（TSC）を基に−，自然言語処理，Vol.9, No.3, pp.129-146 (July 2002).
12）奥村 学，難波英嗣 : テキスト自動要約に関する研究動向，自然言語処理，Vol.6, No. 6, pp.1-26 (1999).
13）奥村 学，難波英嗣 : テキスト自動要約に関する最近の話題，自然言語処理，Vol.9, No.4, pp.97-116 (2002).
14）奥村 学，福島孝博 : NTCIR Workshop 2 の新しいタスクの紹介­テキスト自動要約タスク­，情報処理，Vol.41, No.8, pp.917-920 (Aug.
2000).
15）奥村 学，福島孝博 : TSC2（Text Summarization Challenge 2 の目指すもの，情報処理学会情報学基礎研究会，63-1 (July 2001).
16）Proceedings of The Tipster Text Program Phase III, MorganKaufmann (1999).
17）若尾孝博 : 英語テキストからの情報抽出，情報処理学会自然言語処理研究会，96-NL-114-12 (1996).
（平成 14 年 10 月 23 日受付）

（extrinsic）評価としてどのような課題が良いのか検討していきたい．
（3）要約の対象となるテキストの多様化
今までに開催した 2 回の TSC では要約の対象とな

IPSJ Magazine Vol.43 No.12 Dec. 2002

−5−

1299

−6−