特集 テキスト自動要約

1

ここまで来たテキスト自動要約
難波 英嗣

広島市立大学情報科学部

nanba@its.hiroshima-cu.ac.jp

奥村学

東京工業大学精密工学研究所

oku@pi.titech.ac.jp

もある，ニュースの文字放送では，ニュースの原文自体

テキスト自動要約の必要性

ではなく，その要約といえるようなかたちでニュースが配信されている．さらに，市販のワープロソフトの中には，要約機能を付けたものもかなり見受けられるように

インターネットの普及に伴い，電子化されたテキストなってきた．

データの流通がますます拡大している．このような状況の中，ユーザが必要な情報に効率的にアクセスするのをこのように，テキスト自動要約は現在，人間の知的活支援する技術が求められており，さまざまな広がりを見動を支援するための基礎技術として重要視され，（本当せている．大量のテキストからユーザにとって必要と思に「実用的」かどうかは別にして）, 実用的な自然言語

われるテキストを検索するテキスト検索技術，大量の情処理（応用）の研究分野の 1 つとなっていることは間違報から重要な情報のみを選択して提供し，要点の迅速ないないであろう．

把握を支援するテキスト自動要約技術，ユーザの目的を反映した質問文に対して的確な答えを返す質問応答技術

これまでのテキスト自動要約など，さまざまな観点から研究が進んでいる．
本稿では，テキスト自動要約に関する現状を概観す
る．特に，現在テキスト自動要約関連で研究が活発な技

従来どのような手法がテキスト自動要約では用いられ術，注目される話題を紹介するとともに，現在テキストてきたのか．この問いへの回答となる解説はすでにいく

自動要約技術が実際にどの程度利用可能なのかを実例でつか書かれているので，伝統的なテキスト自動要約手法

紹介し，現状の技術がどの程度のものなのかを考察したや，その研究動向に関しては，これまで書かれてきた解い．

説等へのポインタを参照しつつ概説することにする．

最近ますます要約が我々の身近で活躍する場面は増え

テキスト自動要約の手法としては，伝統的に，テキスてきている．近年検索エンジンが広く利用されるようにト中の重要な文を抜き出す重要文抽出法が用いられてきなっているが，システムが提示する検索結果には，（リた．1990 年代に入り，研究が活発化するとともに，そのンク先の）Web ページ（テキスト）の内容を短く紹介し研究の方向性も多様化し，以下のようなトピックスがテたものが合わせて提示される場合もある．これは，リンキスト自動要約手法に関する研究では注目されるように

ク先のページが，ユーザの欲しいものかどうかを要約をなっている．

見て判断してもらおうという趣旨でつけられている．また，インターネット上や，携帯電話への配信サービス（a）文から文中の重要個所を抽出することによる要約手
IPSJ Magazine Vol.43 No.12 Dec. 2002

−1−

1287

法，

スト要約技術は不可欠と言わざるを得ないこともこの技（b）単一テキストではなく，複数テキストを対象にした術が注目される 1 つの理由といえよう．

要約手法，

最後に，これまでのテキスト自動要約研究の動向にお（c）統計的手法あるいは機械学習に基づく要約手法，

いてもう 1 つ特筆すべき点は，自動要約システムの評価（d）ユーザに適応した要約を動的に作成する要約手法，

方法に関する真摯な議論が継続されている点である．こ（e）言い換え（paraphrase）や書き換え（revision）を用

れは，アメリカ，日本両方において行われている．そのいた要約手法，試みに関しては，本特集の福島らの記事を参照していた（f）冗長性の少ない要約を目指す要約手法

だきたい．

（a）は，テキストから重要文を抽出する伝統的手法とテキスト自動要約でホットな話題

組み合わせて使用することで，現在の要約システムではほぼ定着しつつある手法といえる．
（c）は，近年の自然言語処理研究全般における統計的手法，機械学習に基

本章では，テキスト自動要約の分野でも，近年特に活づく手法の隆盛の一端ともいえるかもしれないが，要発に研究されている複数テキスト要約について述べる．

約タグ付コーパスを用意することで，自動要約システム

要約対象が複数の場合，単一テキストの要約の場合と比を（比較的容易に）構築できることから，有望視される

べ，新たに考慮しなければならない点がいくつかある．

手法であり，今後も活発に研究が続くものと思われる．

本章では，まず，複数テキスト要約のいくつかのポイン（e），（f）は，単一テキストを対象にした要約において，トについて述べる．次に，これまで開発されてきた技術

より自然な要約作成に向けての動きということができ，について簡単に紹介する．最後に，単一テキストから複引き続き研究は活発と思われる．

数テキストへと要約対象が広がっているのと同様，要約

現時点までのテキスト自動要約に関する研究動向，

対象のテキストのジャンルに関しても，幅の広がりの傾

伝統的な要約手法の詳細に関しては，これまでの解向が現在見られる．その動向に関しても簡単に触れる．

説

6）
，7）
，11）

を参照していただければ幸いである．また，◎複数テキスト要約のポイント

今はなき bit 誌にもテキスト自動要約に関する連載を以（1）要約対象テキストの収集

前書かせていただいた（テキストを自動的に要約する技術（その 1-3），bit,Vol.32, No.2-4, 2000）．テキスト自動単一テキストの要約と異なり，複数テキスト要約で要約の入門となることを心がけたつもりなので，この分は，要約対象となるテキストをどのように集めてくる野で研究を始める人にはまずこちらをお勧めする．

かが問題となる．複数テキスト要約の研究が始まった

また，自動要約に関する（英語の）教科書も出版され当初は，要約対象として，あらかじめ人間が用意したている ．自動要約に関する話題を分かりやすく記述し比較的小規模なテキスト集合が用いられることが多かてあり，この本もこの分野で研究を始める人には必読とったが，近年では，情報検索システムの検索結果やテいえる．なお，この本の翻訳は来年には（共立出版から）キストを自動分類した結果を直接要約システムに用い出版されると期待している．

るなど，より大規模なテキスト集合を対象とした，実

3）

本稿では，
（b）を現時点で（最も）ホットなトピック

用性の高いシステムが構築されてきている．また，複として後ほど紹介する．残念ながら，この分野での研究

数のジャンルや複数の言語で書かれたテキスト集合をはアメリカの方が日本に比べ活発であることは認めざる対象にした要約システムの開発も行われている．

を得ないところがある．アメリカでは DARPA（政府）主（2）要約率導のプロジェクトでテキスト自動要約研究が進められて複数テキスト要約で要求される要約率は単一テキス

おり，そこから多くの成果が生まれている．プロジェク

トに比べ非常に小さい．単一テキスト要約では，一般

トの 1 つの方向性には，テキスト集合の情報を簡潔にま的には 10 〜数 10% 程度の要約率が設定されているこ

とめたテキストの作成，すなわち複数テキストを対象にとが多いが，同程度の要約率を複数テキスト要約に適した要約があり，ここ数年で注目すべき研究がいくつか用すると，出力される要約は非常に長くなるので，通生まれている．後ほど，それらについて紹介する．

常は，単一テキスト要約よりもより小さい要約率が要

単一テキストを要約する場合に比べ，圧倒的に要約率求される．このため，複数テキスト要約は単一テキス（元のテキストの長さと比べた要約の長さ）が小さい複数テキスト要約は，技術的に困難な部分も多く，未解決

ト要約と比べ，より高度な要約技術が必要となる．
（3）要約対象テキスト間の共通点と相違点の抽出の課題も多いが，世の中のテキストの量の増大がとどま

複数テキスト要約でも，単一テキスト要約と同様ることを知らず，もはや要約とはいえ，1 つ 1 つのテキに，個々のテキストの重要点を抽出する処理が必要でストを読み手が読んではいられない状況では，複数テキある．しかし，収集してきたテキスト間で内容が重複

1288 43 巻 12 号

情報処理2002 年 12 月

−2−

特集 テキスト自動要約
する場合，従来の単一テキスト要約の手法を個々のテたスペースでユーザに効率的に伝達するために，さまキストに適用しそれらを並べただけでは，個々の要約

ざまな方法が考えられる．たとえば，文書としてまとの記述が重複し冗長な要約になってしまう可能性があめるのも 1 つの方法ではあるが，このほかにもいくつる．このため，冗長な個所（テキスト間の共通個所）

かの項目をリストや表などにまとめるといった方法もをどのように検出し削除するかが問題となる．しか考えられる．

し，冗長な個所を削除しても複数テキストの要約とし◎これまでの取り組みと開発技術てはまだ十分であるとはいえない．複数のテキストを要約するとは，それらのテキストを比較し要点をまと

ここでは，先に述べた複数テキスト要約のポイントのめることであるため，テキストの共通点だけでなく，中でも，特に（3）と（4）を取り上げる．（3）はこれまで相違点も明らかにする必要があると考えられる．たとにこの分野でしばしば議論されてきており，またさまざえば，ある事件に関する一連の新聞記事から要約を作

まな方法が提案されている．また（4）は（3）と比べると成する場合，ある記事からは，それよりも日付が前のまだ十分議論されているとはいえないが，この分野で関記事に書かれていない新情報を抜き出し要約に含める

心を集めているトピックの 1 つである．

必要があるが，この新情報がテキスト間の相違点にな（3）要約対象テキスト間の共通点と相違点の抽出っており，どのように抽出するかが課題になる．
（4）抽出された情報の構成

テキスト間で共通する個所を同定する方法がこれまで

単一テキスト要約では，抽出された重要個所は，多にいくつか提案されている．それらは，形態素レベルのくの場合，それらが原文中で出現する順番にならべて

比較と構文レベルの比較の 2 つに大別できる．異なるテ出力される．しかし，複数テキスト要約の場合，抽出

キスト中に存在する以下の 2 文を同定する処理を例に，された個々のテキストの重要点，テキスト間の共通点

これらの 2 つの代表的な方法を説明する．

と相違点をどのように構成するかも，考慮すべきポイ
ントの 1 つになる．要約の構成方法は，対象テキスト［文 1］「フーバー社は軽量の携帯電話を発売する」

集合の性質と関連があると考えられる．たとえば，あ［文 2］「軽量の携帯電話が来月フーバー社から発売される」る事件に関する一連の報道記事から要約を作成する場
合，抽出された情報は基本的には時間順（記事の日付

形態素レベルの比較☆1では，まず比較する 2 文を形順）に並べればよいと考えられる．しかし，たとえば

態素解析し，そこから自立語を抽出する．上の例では，「2000 年問題に対する各社の対応状況」に関する要約

文 1 からは（フーバー社，軽量，携帯電話，発売）が，を作成する場合，各社の対応状況はそれぞれ独立した

文 2 からは（軽量，携帯電話，来月，フーバー社，発売）

イベントであるため，それらを時間順に並べるのが最が，それぞれ抽出される．これらの語の中で，文 1 では

適な構成方法であるとは限らない．

4 語中 4 語が，文 2 では 5 語中 4 語が互いに一致してい（5）要約の読みやすさ

る．このように一致の度合が高ければ，2 文は同じ内容

単一テキスト要約（特に重要個所抽出型の要約）でについて述べていると考え，この 2 文をテキスト間の共は，抽出された部分テキスト（パッセージ）を単純に通個所として同定する．

並べると，それらが原文中で離れた個所から抽出されこれに対し，近年の構文解析技術の向上に伴って，構
1），4）
，12）

ている場合には，その個所で文間のつながりが悪くな

文レベルで比較しようという試みもある

る可能性がある．このような場合には，適宜接続詞をの方法では，あらかじめ比較対象の 2 文を構文解析して補ったり，不要な接続詞，照応詞等を除去したり，まおき，解析結果として得られた構文木をいくつかの規則

た，抽出された個所中に宙ぶらりんな（先行詞がない）を用いて変形し，2 文が同一内容であるかどうかを同定

照応表現が存在する場合はその表現を先行詞に置き換する．さらにこれらを統合して 1 つの文を生成する．文える，といった処理が必要になる．同様の処理は複数

1 と文 2 の例では，文 2 が文 1 の受動態になっているた

テキスト要約でも必要であるが，複数テキスト要約のめ，能動態を受動態に変形する規則を作成しておけば，

場合，さらに考慮すべき点がある．たとえば，テキス

文 1 と文 2 の同定が可能になる．また，文 2 には「来ト間で文体が異なる場合には，文体を統一した上で要月」という文 1 にはない語が含まれているが，構文解析

約を作成する必要がある．また，前で述べた「抽出さの結果「来月」が「発売される」に係っていることが分かれた情報をどのような順序で出力するか」は，文間のれば，文 2 に能動態変形規則を適用し「来月」が「発売すつながりの良さという点で，要約の読みやすさとも関る」に係るよう変形した上で文 1 との統合処理を行えば，連があると考えられる．

以下のような文 3 を生成することが可能である．

（6）要約の提示方法☆1

複数のテキストに書かれている多くの情報を限られより詳しい解説は文献 6）を参照していただきたい．

IPSJ Magazine Vol.43 No.12 Dec. 2002

−3−

．こ

1289

など，テキストを対象とした場合とは異なり，新たに考慮しなければいけない点が存在する．

［文 3］「フーバー社は軽量の携帯電話を来月発売する」

本節のトピックの詳細は文献 7）に譲るが，このよう（4）抽出された情報の構成に多様な種類の入力を自動要約システムで扱おうとする

人間が複数テキスト要約を作成する際，さまざま試みは，後でも述べるように，自動要約システムがアプなトピックの並べ方が存在するが，そこには何らかのリケーション指向で今後開発されていくであろうことを制約が働いていると考えられる．Barzilay ら

考えると，今後も続くと思われ，注目されるトピックと

は，複

2）

数の記事から抽出されたいくつかの重要文のセットいうことができる．

を 10 人の被験者に与え，それらを並べ換えることで要約を作成してもらっている．そして，その結果を比使われているテキスト自動要約

較することで，次のような知見を得ている．すべての文の順序が被験者間で完全に一致することはあまりない．しかし，順序が入れ換わっても，常に隣り合って本章では，テキスト自動要約技術を利用した，商用ソ出現する文のペアがいくつかある．これらのペアは関フトウェア，利用に供されているサービスを可能な限り連したトピックの文で構成されている．したがって，紹介し，現状の技術がどの程度実用可能なのかを考察す

複数テキスト要約において文間の結束性を考慮するこる．なお，ここで挙げるものは，筆者が知る範囲で特徴とは重要である．

的なものに限定しており，網羅的なものではないことをこのような知見に基づき，Barzilay らは，要約文お断わりしておく．

2）の順序を決定する方法を考案している．基本的にはト市販のソフトの中で，要約だけを専門に行うソフト

ピックを時間順に並べるが，関連したトピックの文はは，現在のところ恐らく販売されていないと思われる．

必ず隣接して出力する．この方法により，作成される

しかし，テキストを扱う市販ソフトに要約機能が付いて要約文書はある程度一貫性が保たれる．Barzilayらは，いるケースはたくさんある．専門ソフトにはなっていな

この手法を先に述べた「記事が書かれた時間順に並べいものの，他のソフトの基本機能として要約機能が付くる方法」と比較し，前者の手法の方が優れていることのは，もはや当たり前のことになったといえる．その代を示している．

表的なものがワードプロセッサ（ワープロ）ソフトであろう．要約機能が付いている代表的な日本語ワープロソ

なお，この手法に基づいた要約システムを後ほど紹介

フトとしては，マイクロソフトワード，富士通 OASYS,する．

ジャストシステム一太郎，ロータスワードプロの 4 つがある．これらのソフトの要約機能の詳細はここでは省◎要約対象の幅の広がり

略するが，先に紹介した bit 誌の連載に詳細があるので，これまでの自動要約研究の多くは，その要約対象の興味のある方はそちらを参照していただきたい．

テキストのジャンルとして，新聞記事，論文を扱ってきワープロソフトのほかに，最近メジャーになってきた

た．これに対し，近年これ以外のジャンルのテキストを

テキストデータベースソフトや，翻訳ソフトにも要約機

要約対象とする研究が見られるようになってきた．たと能付きのものがある．また，最近ではテキストデータベ

えば，Web ページを対象とした研究や，電子メールをースに近い関係にあるテキストマイニングという領域の対象とした研究がある．

ソフトに，さまざまなツールの 1 つとして要約機能が提さらに，テキストではなく，音声（あるいは，その供されている．たとえば，IBM の Intelligent Miner for

書き起こしである話し言葉のデータ）を対象とする要約

Text の Summarization Tool は単語の重要度と文の重要研究がいくつか見られるようになってきた．これには，度の 2 段階の処理で重要文を抽出している．現在要約機

講演音声のような monologue と，2 人以上による対話

能の付いていないソフトにも，バージョンアップなどの（dialogue）の両方が含まれる．話し言葉を対象としたおりに新たに追加されるなど，要約機能付きのソフトは

要約では，今後ますます増えていくものと思われる．
また，Alta Vista Discovery 検索エンジンのインタフ• テキストとしての情報以外に他の音響的情報が利用でェース中には，InXight 社の要約器が搭載されているな

きる，ど，検索エンジンの出力表示に要約を用いるというのも• 音声認識結果を入力とすることから，入力にノイズが現在ではもう珍しくないかもしれない．

含まれる，本章の残りでは，Web 上で利用可能な 2 つの複数テ• 話し言葉の特性としての冗長性が入力には含まれる，

キスト要約システムを，先に述べた作成のポイントに沿って紹介する．どちらも Web 上の英文ニュース記事

1290 43 巻 12 号

情報処理2002 年 12 月

−4−

特集 テキスト自動要約を対象にしている．Google でも Google News
（http://news.google.com/）と い う サ ー ビ ス
を始めており，複数のニュース記事をまとめて 1 つの要約として作成する，これらのシス
テムは，Web 上で実際に利用可能であることも含め，大変興味深いといえる．

◎ NewsblasterN e w s b l a s t e r （ h t t p : / / w w w. c s .
columbia.edu/nlp/newsblaster/） は，Columbia 大学の McKeown らのグループが開発した要約システムである ．このシステム
5）は，CNN, Reuters, Fox News, NY Post, USA
Today 等の 17 のニュースサイトから新聞記事を収集し，要約を自動作成する．本節では，
まず Newsblaster の動作例を示し，次にシステ
ムの構成について説明する．
• Newsblaster の動作例
図 -1 は，Newsblaster のトップページ（2002年 10 月 13 日 現 在 ）で あ る． 要 約 は「U.S.」，「 国 際（World）」，「 金 融（Finance）」，「 娯

図 -1 Newsblaster 動作例 1
http://www.cs.columbia.edu/nlp/newsblaster/archive/353.html

楽（Entertainment）」，「 科 学 技 術（Science/
Technology）」，「スポーツ（Sports）」の 6 つのカテゴリーにあらかじめ分類されている．これらのカテゴリーは図中でグレーの帯で示されている（実際のシステムではオレンジ色で表示される）．各カテゴリー内で，関連する
イベントクラスタ（記事集合）はグルーピン
グされており，グループごとにキーワードが示してある．たとえば，図の Finance というカ テ ゴ リ ー の 1 つ 目 は，「Dow, Commerce
Department, Dow Jones, Wall Street, Iraq」というキーワードに関連するイベントクラスタが 2 つあり，それぞれ 4 つの記事を含んでいることを示す．
こ の う ち「Analysts Ponder Meaning as
Dow, Nasdaq Spurt Again」の リ ン ク を ク リ
ックすると，4 つの記事から生成された要約

図 -2 Newsblaster 動作例 2
http://www.cs.columbia.edu/nlp/newsblaster/archive/
summaries/353/10_12_02_7.html

が 表 示 さ れ る（ 図 -2）．この要約のタイトル「Analysts Ponder Meaning as Dow, Nasdaq
Spurt Again」は，4 記事の中で最も代表的な記事（Washington Post）のタイトルである．また，タイ

ャに従っている．

トル・要約と一緒に，関連する画像のサムネイルが表示

1 ．17 のニュースサイトから新聞記事を収集．画像を抽されている．要約の下には 4 記事へのリンクが張ってあ出．

り，原文を参照できるようになっている．

2 ．収集した記事をイベントごとにクラスタリング．

次に，システムの構成について説明する．

3 ．イベントクラスタを 6 つのカテゴリーに分類．
4 ．関連する複数のイベントクラスタをグループ化．

システムの構成

5 ．イベントクラスタごとに要約を作成．

Newsblaster は以下に示すパイプラインアーキテクチ
IPSJ Magazine Vol.43 No.12 Dec. 2002

−5−

1291

以下，1 ．〜 5 ．について順に説明する．なお，先にに関するイベントや，その人物に関する背景情報を述べた複数テキスト要約のポイントと関連する項目には

取り扱う．

（1）〜（6）を合わせて記す．

（III）「複数イベント文書」は，異なる場所・時間，また普通は異なる主唱者によるいくつかのイベントに

1 ．17 のニュースサイトから新聞記事を収集．関連画像

ついて言及する．

を抽出：（IV）「その他クラスタ」は，大まかに関連する文書集

Newsblaster は 17 のサイトを巡回し，トップページ

合を含んでおり，先に述べた 3 つのカテゴリーに含から最大 4 階層までたどって，Web 文書を収集する

まれない．

（1）
．次に，Web 文書から新聞記事を抽出する．記事

Columbia Summarizer 内部では，まずルータがクラの抽出には次のようなヒューリスティクスを用いてスごとの文書タイプを決定し，次に適切な要約サブコ

いる．Web 文書中の最も大きなセルの中で 512 文字

ンポーネントを起動する．

を超えるものがあれば，それを新聞記事と考え抽出す（I）に関しては，MultiGen というシステムを用いてる．また，関連画像は「記事と同一セル中にあり，か

要約の作成を行う．MultiGen は，「複数テキスト要約

つ画像の URL 中に ad や advertisement を含まない」とのポイント」（3）で説明したように，異なる記事中のいった情報に基づいて抽出する．

2 文を，まず語（形態素）レベルで比較し，類似する

2 ．収集した記事をイベントごとにクラスタリング：文を同定しておく．次にこれらを構文レベルで比較・

1 ．の過程で収集された記事について，記事に含まれ統合して 1 つの文として出力する．統合された文を，る固有名や用語等を用いて，イベントごとにクラスタ「複数テキスト要約のポイント」（3）で説明した方法

リングを行う（1）．

で順序付け，結果を出力する．

3 ．イベントクラスタを 6 つのカテゴリーに分類：（II）（III）（IV）に関しては，DEMS というシステムをイ ベ ン ト ク ラ ス タ は，6 つ の カ テ ゴ リ ー「U.S.」，

用いる．DEMS は，記事の第 1 段落に多く含まれる単「 国 際（World）」，「 金 融（Finance）」，「 娯 楽（Enter-

語，入力記事中の概念（WordNet 中の特定の意味的な

tainment）」，「科学技術（Science/Technology）」，「スグループ）の頻度，記事の日付（新しい記事の情報がポーツ（Sports）」のいずれかに分類される．あらかじ重要），代名詞の有無（宙ぶらりんな照応が要約に含め，カテゴリーごとに TF・IDF という手法を用いて，まれるのを避けるため，代名詞を含む文は負の重み

カテゴリーの特徴を表す用語ベクトルを作成しておが与えられる）や文の長さ（短すぎる文は曖昧で，長く．次に，イベントクラスタ中の各記事とカテゴリー

すぎる文は無関係な情報を含む）といったいくつかのの用語ベクトルを比較し，各記事に最も近いカテゴリ

素性を組み合わせて，重要な情報を含んだ文を選択すーを割り振る．イベントクラスタ中で，最も多くの記る．また（II）に関しては，このほかに文がターゲッ

事が割り振られたカテゴリーにイベントクラスタを分トの人物名を含んでいるか，という情報も合わせて用

類する．

いている．

4 ．関連する複数のイベントクラスタをグループ化：（II）（III）（IV）のような記事集合から抽出された文を同じカテゴリーに分類された複数のイベントクラスタ

どのような順序で出力するかについては，まだ十分にの中で，関連するものは，2 ．で用いられたクラスタ

議論されていないようである．しかし，出力される要リング手法を用いてグループ化される．図 -1 に示す

約の冗長性を抑えるため，要約中の繰り返し文のチェ

ように，各グループにはグループの特徴を示すキーワ

ックは少なくとも行っている（3）．

ードが示されている．これらは，まずクラスタ中のす◎ NewsInEssence

べての記事から固有名詞と用語を抽出し，出現頻度とIDF により重み付け，次にそれらの上位 5 つを関連イ

NewsInEssence（http://www.newsinessence.com）

ベントの最も代表的な用語として選択している．

は，Michigan 大 学 の Radev ら が 開 発 し た 要 約 シ ス テ

5 ．イベントクラスタごとに要約を作成：

ムである

9），10）．このシステムは BBC, CNN, MSNBC,

イ ベ ン ト ク ラ ス タ 中 の 記 事 は，Columbia Sum-

USA Today, Yahoo! の 6 つのニュースサイトから新聞

marizer に 送 ら れ， 要 約 が 生 成 さ れ る．Columbia

記事を収集し，要約を自動作成する．本節では，まずSummarizer とは，以下に示す 4 種類のクラスタのタ

NewsInEssence の動作例を示し，次にシステムの構成

イプを考慮し，タイプごとに異なる要約方法を用いるについて説明する．

混合式要約システムである

☆2

．

（I）
「単一イベント文書」は，ほぼ同時期にある場所で起きた 1 つのイベントに焦点を合わせている．

☆2

（II）
「人物に焦点をあてた（伝記）文書」は，ある人物

1292 43 巻 12 号

情報処理2002 年 12 月

−6−

ただし，実際には（III）と（IV）は，同じ要約器を用いて要約を生成しているので，厳密には 3 種類のタイプを考慮していることになる．

特集 テキスト自動要約
NewsInEssence の動作例

図 -3 は，NewsInEssence の ト ッ プ ペ ー ジ（2002 年 10 月 13 日現在）である．トップペー
ジでは，NewsInEssence がニュースサイトを巡回して収集し，作成した要約のうちの 1 つを 表 題（ こ の 場 合，"CNN.com - Kuwait says
al Qaeda linked to attack on Marines - Oct.12,
2002''）とともに示している．図 -3 中の FULLSUMMARY という個所をクリックすると，この要約の原文およびさらに長い要約が示される（図 -4）．図 -4 より，図 -3 の要約は 7 つのニュースサイト中の 8 記事から作成されていることが分かる．また，図 -4 中の［5%］［10%］［20%］という個所をクリックすると，さらに長い要約が提示される．
NewsInEssence は，あらかじめニュースサ
イトから記事を収集して要約をユーザに提示する機能を備えている点は Newsblaster と同様であるが，このほかに，ユーザが関心を持っているニュースについて，インタラクティブ

図 -3 NewsInEssence 動作例 1
http://www.newsinessence.com/nie.cgi?CID=20021013053563に要約を作成する機能もある．トップページには，ユーザが関心を持っている記事（以後，
種記事と呼ぶ）の URL や複数のキーワードを入力するためのフォームがあり，ユーザがフォームに記入すると，NewsInEssence は直ちにニュースサイトを巡回して関連記事を収集，要約を作成し，数分程度で結果を電子メールで通知してくれる．このようにして作成された要約はサーバ側で保存しており，他のユー
ザが閲覧することも可能である．
次に，システムの構成について説明する．
システムの構成

ここでは，NewsInEssence が提供するいく

つかの機能のうち，特にユーザの種記事を元に要約を作成する場合を取り上げ，その手順について述べる．
NewsInEssence は，NewsTroll と い う 記 事の収集を行うエージェントと，centroid-basedsummarization という技術に基づいた要約シス
テムから構成されている．以下では，これらについて順に説明する．
1 ．NewsTroll による関連記事の収集：

図 -4 NewsInEssence 動作例 2
http://www.newsinessence.com/nie.cgi?CID=20021013053563#summary

ユーザが種記事を入力すると，NewsTroll
はリアルタイムでインターネットから関連記事を収集する（1）．NewsTroll は 2 段階で記事の収集を行う．
第 1 段階では，種記事を含むページからリンクをたどを決定する．キーワードの決定には，TF*IDF という手法を用い，クラスタ中にはしばしば出現するが一般的にはあまり出現しない語を選ぶ．

って関連記事を探す（以後，収集された記事集合をク

キーワードを選定すると，収集の第 2 段階に入る．

ラスタと呼ぶ）．この過程で，クラスタのキーワード

この段階では，NewsTroll は第 1 段階で決定したキー
IPSJ Magazine Vol.43 No.12 Dec. 2002

−7−

1293

ワードを用い，6 つのニュースサイトの検索エンジン

きなのかであるが，上で述べた応用指向の方向性と相反を用いて関連記事をクラスタに追加しようと試みる．

するように見えるかもしれないが，これまでより精緻な追加候補となる記事は，IDF で重み付けられた n 次

言語処理を利用した要約技術に関する方向性が重要であ元ベクトルで表現され，種記事との類似度は余弦距離ると考えている．先に述べたように，自動要約研究の方で計算される．もし，類似度がある与えられた閾値以

向性のうち，いくつかは，人間の作成した要約と同様の上であれば，そのページは関連記事を含んでいると考要約を目指すものがあり，このためには，現在研究が途え，クラスタに追加される．

上の段階にある，文脈解析技術，言い換え技術，書き換

2 ．centroid-based summarization による要約作成：

え技術，テキスト生成技術等が不可欠である．これらの種記事と関連する記事集合のクラスタが形成される要素技術および，それらを用いた要約技術は，もちろんと，次に centroid-based summarization という技術を一般の任意のテキストに適用可能なものを開発するのは用いて要約が作成される ．

まだまだ困難であろうが，要約の応用を限定し，要約対

8）

まずクラスタに含まれる記事の各文の重要度を計算

象を特化することにより，ある程度実用的なものの開発

する．各文の重要度は，「1 ．で決定したキーワードの見通しが立つように思われる．今後の自動要約研究でをその文がどの程度含んでいるか」「各文の記事中では，実際の応用の可能性を検討しつつも，その中で，決の位置」等の情報に基づき計算される．次に要約率にして表層的な手法に陥らず，ある程度深い解析技術等を応じてスコアの高い順に文を抽出しそれらを要約に含利用した要約手法の研究を行っていきたいと，1 研究者

めるが，このままでは類似した内容の複数の文が抽出として，自戒の気持ちも含め，最後に記しておきたい．

される可能性があり，結果として出力される要約も冗

参考文献
1）Barzilay, R., McKeown, K.R. and Elhadad, N.: Information Fusionin the Context of Multi-Document Summarization, Proceedings of the37th Annual Meeting of the Association for Computational Linguistics,
pp.550-557 (1999).
2）Barzilay R., Elhadad, N. and McKeown, K.R.: Sentence Ordering in
Multidocument Summarization, Proceedings of HLT'01, pp.149-155(2001).
3）Mani, I.: Automatic Summarization, John Benjamins Publishing
Company (2001).
4）McKeown, K.R., Klavans, J.L., Hatzivassiloglou, V., Barzilay, R. andEskin, E.: Towards Multidocument Summarization by Reformulation:
Progress and Prospects, Proceedings of the 16th National Conferenceon American Association for Artificial Intelligence, pp.453-460 (1999).
5）McKeown, K.R., Barzilay, R., Evans, D., Hatzivassilogtou, V.,
Klavans, J.L., Nenkova, A., Sable, C., Schiffman, B. and Sigelman, S.:
Tracking and Summarizing News on a Daily Basis with Columbia's
Newsblaster, Proceedings of HLT'02 (2002).
6）奥村 学，難波英嗣 : テキスト自動要約に関する研究動向，自然言語
処理，Vol.6, No.6, pp.1-26 (1999).
7）奥村 学，難波英嗣 : テキスト自動要約に関する最近の話題，自然言語処理，「自動要約」特集号，Vol.9, No.4, pp.97-116 (2002).
8）Radev, D.R., Jing, H. and Budzikowska, M.: Centroid-based
Summarization of Multiple Documents: Sentence Extraction,Utilitybased Evaluation and User Studies, Proceedings of ANLP/NAACL
2000 Workshop: Automatic Summarization, pp.21-30 (2000).
9）Radev, D.R., Blair-Goldensohn, S., Zhang, Z. and Raghavan, R.S.:
Interactive, Domain-independent Identification and Summarizationof Topically Related News Articles, Proceedings of the Fifth European
Conference on Research and Advanced Technology for Digital Libraries(2001).
10）Radev, D.R., Blair-Goldensohn, S., Zhang, Z. and Raghavan, R.S.:
NewsInEssence: A System for Domain-Independent, Real-Time News
Clustering and Multi-Document Summarization, Proceedings of
HLT'01 (2001). http://perun.si.umich.edu/~radev/papers/hltd01.ps
11）佐藤理史，奥村 学 : 電脳文章要約術−計算機はいかにしてテキストを要約するか−，情報処理，Vol.40, No.2, pp.157-161 (Feb. 1999).
12）上田良寛，小山剛弘 : 共通意味断片の抽出による複数文書要約，言語処理学会 第 6 回年次大会，pp.360-363 (2000).
（平成 14 年 10 月 25 日受付）長になる．そこで，ある文が，それより高いスコアを持つ文と，語のオーバーラップがある場合には，冗長性ペナルティを与え，その文のスコアを下げることで対処している（3）．抽出された文は，文を含む記事の書かれた日付順に並べ（4），それらが最終的に要約として出力される．

どこへ行くテキスト自動要約
本稿では，テキスト自動要約研究の現状およびその現在の技術水準について概観した．テキスト自動要約技術の現状を踏まえ，今後この分野の研究はどのような方向へ進むのかであるが，自動要約研究が応用に近い研究分
野ということもあり，今後ますます要約の用途，利用目的を特化したかたちでの要約手法の研究が活発化すると思われる．
テキスト自動要約技術の応用として，いくつかの新しい方向性が明確になってきたこともここ数年の特徴といえる．これまでも，サーチエンジンにおける検索結果の表示や，ユーザのナビゲーションにおいて要約を利用する研究や，字幕作成，文字放送用に要約手法を利用する
ことは試みられていた（たとえば，本特集の江原らの記
事を参照）．これに加えて，ここ数年で，携帯端末における情報提示のための要約の利用（たとえば，本特集の中川らの記事を参照）や，（高齢者，視聴覚障害者といった）情報弱者のための情報保証への要約の利用（たとえば，自動要約筆記やユーザの視覚特性に合わせたトラ
ンスコーディング）といった，新しい有望な応用分野が要約には付け加わったといえる．
一方，今後この分野の研究はどのような方向へ進むべ

1294 43 巻 12 号

情報処理2002 年 12 月

−8−