# 情報信憑性判断支援のための
Web 文書向け要約生成タスクにおけるアノテーション

金子 浩一 ${ ^{\dagger} \cdot$ 永井 隆広 ${ }^{\dagger} \cdot$ 森 辰則 $\dagger$
}

我々は，利用者が信憑性を判断する上で必要となる情報を Web 文書から探し出し，要約・整理して提示する, 情報信憑性判断支援のための要約に関する研究を行って いる. この研究を行う上で基礎となる分析・評価用のコーパスを，改良を重ねなが ら 3 年間で延べ 4 回構築した. 本論文では, 人間の要約過程を観察するための情報 と, 性能を評価するための正解情報の両方を満たすタグセットとタグ付与の方法に ついて述べる。また, 全数調査が困難な Web 文書を要約対象とする研究において, タグ付与の対象文書集合をどのように決定するかといった問題に対して, 我々がど のように対応したかを述べ，コーパス構築を通して得られた知見を報告する。 キーワード: アノテーション, コーパス, 要約, 調停要約, 情報信憑性
## Annotation of Web Documents for Automatic Summarization to Verify Information Credibility

Hideyuki Shibuki ${ }^{\dagger}$, Masahiro Nakano ${ }^{\dagger \dagger}$, Rintaro Miyazaki ${ }^{\dagger \dagger}$, Madoka Ishioroshi ${ }^{\dagger}$, KoIChi KAnEKO ${ }^{\dagger \dagger}$, TAKahiro NAGaI $^{\dagger \dagger}$ and Tatsunori Mori ${ }^{\dagger}$

Over a span of three years, we have constructed and improved four corpora that are the basis for generating summaries for the verification of information credibility. The summary generated to verify the credibility of information is a brief document composed of extracts from Web documents; it provides material to the user for judging the validity of a statement. In this paper, we describe a set of tags designed for observing annotation and preparing a gold standard for the summary. Further, we describe the method of annotation. Because examining each web document for its appropriateness in contributing to the summary is difficult, we describe the methodology of obtaining appropriate documents. Furthermore, we share our observations and learnings from the process of constructing these corpora.

Key Words: annotation, corpus, summarization, mediatory summary, information credibility


## 1 はじめに

近年, Webを情報源として, 人間の情報分析や情報信憑性判断などの支援を目的としたシステム開発に関する研究が行われている (Akamine, Kawahara, Kato, Nakagawa, Inui, Kurohashi, and Kidawara 2009; Akamine, Kawahara, Kato, Nakagawa, Leon-Suematsu, Kawada, Inui, Kurohashi, and Kidawara 2010; Ennals, Trushkowsky, and Agosta 2010; Finn, Kushmerick, and Smyth 2001; Kaneko, Shibuki, Nakano, Miyazaki, Ishioroshi, and Morii 2009; Miyazaki, Momose, Shibuki, and Mori 2009; Murakami, Nichols, Mizuno, Watanabe, Masuda, Goto, Ohki, Sao, Matsuyoshi, Inui, and Matsumoto 2010; Shibuki, Nagai, Nakano, Miyazaki, Ishioroshi, and Mori 2010; 渋木, 永井, 中野, 石下, 松本, 森 2013; 加藤, 河原, 乾, 黒橋, 柴田 2010 ; 河合, 岡嶋, 中澤 2007 ; 松本, 小西, 高木, 小山, 三宅, 伊東 2009 ; 中野, 渋木, 宮崎, 石下, 金子, 永井, 森 2011; 藤井 2008; 山本, 田中 2010). このようなシステムの開発においては, そもそも, どのような情報を提示することが効果的な支援につながるか，また，そのためにどのような処理を行う必要があるか, といった点から検討しなくてはならないことが多く, そういった検討に必要な情報が付与されたコーパスが必要となる。加えて, 開発されたシステムの性能を評価するための正解情報が付与されたコーパスも必要となる。 そういった情報が付与されたコーパスは，一般に利用可能でないことが多いため，開発の基礎となるコーパスを構築する研究が行われている (Nakano, Shibuki, Miyazaki, Ishioroshi, Kaneko, and Mori 2010; Ptaszynski, Rzepka, Araki, and Momouchi 2012; Radev, Otterbacher, and Zhang 2004; Wiebe, Wilson, and Cardie 2005 ; 渋木, 中野, 宮崎, 石下, 鈴木, 森 2009; 渋木, 中野, 宮崎, 石下, 永井, 森 2011 ; 松吉,江口, 佐尾, 村上, 乾, 松本 2010 ; 中野, 渋木, 宮崎, 石下, 森 2008 ; 飯田, 小町, 乾, 松本 2010 ; 橋本, 黒橋, 河原, 新里, 永田 2011).

我々は，これまで，「ディーゼル車は環境に良い」といった，利用者が信憑性を判断したい言明1（着目言明）に対して，その信憑性判断を支援するために有用なテキスト群を Web 文書から探し, 要約・整理して提示する研究を行ってきており, その基礎となるコーパスを 3 年間で延べ 4 回2構築している. 研究当初, 我々は, 情報信憑性判断支援のための要約として, 言明間の論理的関係の全体像を把握するのに有用な, 論理的関係の要所に位置する言明を重要言明とみなし, それらを優先的に提示することによって情報量を抑える, サーベイレポート的な要約を考えていた。この考え方の下で，着目言明に関連する重要言明をWeb 文書集合から網羅するようなアノテーションを第 1 回と第 2 回のコーパス構築において行った. こうして構築されたコー パスを分析した結果，一見すると互いに対立しているようにみえる二つの言明の組が，実際に


は対立しておらず，ある条件や状況の下で両立可能となっている場合（疑似対立）があることが分かった，また，疑似対立の場合に両立可能となる状況を第三者視点から簡潔に説明している記述が少数ではあるが Web 文書中に存在していることも分かり，そのような記述を利用者に提示することができれば，利用者の信憑性判断支援に役立つと考えた，以上の経緯から，我々は，二つの言明の組が疑似対立である場合に，第三者視点から両立可能となる状況を簡潔に説明している記述を Web 文書から見つける要約を調停要約として提案した，以後，調停要約を信憑性判断支援のための要約の中心に位置付けて, 第 3 回と第 4 回のコーパス構築を行い, 調停要約を自動生成する手法を開発した。我々は，サーベイレポート要約と調停要約を，それぞれ情報信憑性判断支援のための要約の一つとして位置づけている.

情報信溤性判断支援のための要約といった比較的ユニークな研究課題に新しく取り組むに当たって，構築されるコーパスには，手法のアルゴリズム等を検討するための分析用コーパスとしての役割と，手法の性能を測るための評価用コーパスとしての役割の両方が要求される。したがって，本論文では，この要求に応える夕グセットとタグ付与の方法について述べる。また，要約対象は, Web 検索等により得られた任意の Web 文書集合であるため，アノテーションの対象となる文書集合をどのように決定するかという問題が生じる。この問題に対して，我々が採った方法についても述べる。 また, 情報信憑性判断のための要約といった同一の研究課題で,作業内容の改良を重ねながら 4 回のコーパス構築を行った事例は少なく, そういった希少な事例としても報告したい.

本論文では，4回にわたって構築したコーパスを，着目言明に関連する重要言明を網羅することを目的として構築された, 第 1 回と第 2 回のサーベイレポートコーパスと, 調停要約に焦点を当てて構築された，第 3 回と第 4 回の調停要約コーパスに大きく分けて説明する。また，それぞれのコーパスを構築する際に直面した課題について，我々がどのように対応したかを述べ， コーパス構築を通して得られた知見を報告する。

本論文の構成は以下の通りである。2 節では，コーパス構築の目的である，情報信慿性判断支援のための要約における我々の基本的な考えを述べる．3 節では，サーベイレポートコーパスの構築における背景を述べた後，どのような課題が存在し，我々がどのように対応しようとしたかを述べる。また，実際のコーパス構築手順とアノテーションに用いたタグセットを述べ，構築されたサーベイレポートコーパスを分析した結果について報告し，考察を行う４節では，調停要約コーパスについて 3 節と同様の記述をする. 5 節では，コーパス構築の関連研究について述べ，情報信憑性判断支援のための要約に関するコーパス構築の位置付けを明確にする． 6 節はまとめである.

## 2 情報信憑性判断支援のための要約

Web 上に存在する情報の中には, 出所が不確かな情報や利用者に不利益をもたらす情報などが含まれており，信頼できる情報を利用者が容易に得るための技術に対する要望が高まっている. 情報信憑性の判断を対象とした研究には, システムが信憑性を自動的に検証することと, 利用者の信憑性判断が容易になるようシステムが支援することの 2 通りのアプローチが考えられる.しかしながら, 情報の内容の真偽や正確性を自動的に検証することは困難である上に, その情報が意見などの主観を述べるものである場合には，利用者により考え方や受け止め方が異なることから，その真偽や正確性を検証することはさらに困難なものとなる，そのため，情報の信憑性は, 最終的に個々の情報利用者が判断しなければならないと考えている。したがって,情報の信憑性を自動的に検証する技術に優先して，利用者による信憑性の判断を支援する技術の実現を目指している.

情報信憑性判断を支援する技術には，着目言明に関する意見など判断の参考となる情報を抽出する技術 (Akamine et al. 2009, 2010; 宮崎, 森 2010), 対立や根拠など抽出された情報間の関係を解析する技術 (Murakami et al. 2010), 抽出・解析された情報を重要性の高い順に提示するといった要約・整理に関する技術 (Kaneko et al. 2009; Shibuki et al. 2010; 溙木他 2013) などが存在する。我々は, この中の要約・整理に関する研究に取り組んでいる.

我々が目的とする, 情報信憑性判断支援のための要約は, Web 文書を対象とした複数文書要約の一種である.しかしながら, 従来の新聞記事等を対象とした複数文書要約 (吉岡, 原口 2004) と比較して以下のような特徴がある。従来の複数文書要約では, どの情報も同等に信じられるとしており, 言明の間にも矛盾はないとしていた。一方で, 情報信憑性判断においては, 原文書の情報が全て信じられるとは限らず，どの言明が本当に正しいのか分からない場合がある。その結果, 言明間に矛盾が存在しうることが考えられ, サーベイレポートにおいては, 利用者が根拠関係や対立関係が理解できるように，調停要約においては，疑似対立である二言明が両立可能であることを理解できるように要約する必要がある。また, 複数文書要約において情報の発信者は複数存在するのが普通であるが，言明間の矛盾や対立関係を明らかにするためには情報発信者による情報の区分が重要となる。このように，情報信馮性判断支援のための要約は今まで広く行われてきた複数文書要約と異なる部分があり，アノテーションにおいても上記の点を考慮して行う必要がある。

## 3 サーベイレポートコーパスの構築

## 3.1 サーベイレポートコーパス構築の背景

研究当初の段階では，情報信憑性判断支援に資する要約とは何かということが漠然としか定まっておらず，研究の大部分が手探り状態であった。それゆえ，人間が情報信憑性判断支援のための要約を作成する際に，どのような情報を重視して要約を作成するのか，また，どのような知識が要約の作成に必要だったのかといった点から検討する必要があり, 作成結果となる要約だけではなく, 人間の要約作成過程を可能な限り詳細にトレースできるようなアノテーションを行う必要があった。

また, システムが自動生成した情報信憑性判断支援のための要約を自動的に評価するために,正解となる参照要約を準備することもコーパス構築の目的のひとつであった. 自動要約システ么の理想的な正解は人間が自由記述形式で作成した要約そのものであるが，人間と違って機械が最初から文章を書き起こすことは困難である。 それゆえ, 要約対象文書中の記述を抜粋して要約する TextRank(Mihalcea and Tarau 2004)のようなアルゴリズムを用いることを想定していた。そこで，人間が作成した要約を要約対象文書中の記述と関連付けておくことで，機械が要約を作成する際の正解の一部として利用できるようなアノテーションを行う必要があった.

図 1 に，サーベイレポートの例を示す。この例では, 着目言明として「朝, バナナを食べるたけでダイエットできる」が入力された場合を想定している，我々は，着目言明の信溤性が問われる主な原因として, 着目言明の内容を否定するような言明の存在があると考え, Web上で矛盾や対立などが存在する言明を論点と定義する。サーベイレポートは, 利用者が論点を把握するための要約と利用者が論点を判断するのに役立つ要約の 2 つに大きく分かれている．前者はさらに，着目言明の関連情報である関連キーワードと背景となる記述，各論点の主張を理解するための記述に分かれている。関連キーワードは, 着目言明と関連するWeb 文書集合に現れる主たる語句, 背景は着目言明の内容が Web 上で大きく話題となった日時と事件を列挙したものである。各論点の主張では, 着目言明の内容を肯定する Web 上の言明と, 着目言明の内容を否定するような言明（対立言明）を根拠や反論の有無とともに示している。ここで, 着目言明や対立言明の根拠や反論は一般に複数あることに注意されたい。図 1 の例では, 着目言明の根拠として「酵素」と「食物繊維」の効果が挙げられている。これに対し，「バナナの酵素が代謝を高めることはない」という反論は, 酵素の効果を否定しているだけであり, 食物繊維の効果に対する反論としては適切ではない. 反論等の信憑性判断は, 適切な対応関係にある根拠等を明確にした上で行われるべきである。したがって, 着目言明側と対立言明側の主張の対応関係が利用者に分かるように整理することが，利用者が論点を判断する上で役立つと考えられる．利用者が論点を判断するのに役立つ要約では, 反論などの対立関係にある言明の組を Web 文書から

図 1 サーベイレポートの例

パッセージ3単位で抜粋し, 情報発信者とともに提示している。本論文では, 情報発信者を言明を発信している個人や組織と定義する。また, 提示されたパッセージや情報発信者を元に，利用者にどのような点を判断してもらいたいかが，言明の組の上下に注釈として記されている。

図 1 に示すようなサーベイレポートをシステムが生成するにあたって, 根拠や対立等の言明間の関係の把握に関しては言論マップ (Murakami et al. 2010)の出力を, 話題となった日時と事件に関しては時系列分析 (河合他 2007)の出力をそれぞれ利用することを想定していた. それゆえ, サーベイレポートコーパスの構築は, 着目言明に関連する言明の抽出, 情報発信者の抽出, 利用者が論点を判断するのに役立つ要約の作成を作業の中心とすることとした.

## 3.2 サーベイレポートコーパス構築における課題

## 3.2.1 着目言明の決定

まず，コーパスに収録されるサーベイレポートのトピックとなる着目言明をどのように決定するかを考える。本研究では Web 文書を要約対象とするため, 着目言明に関連する Web 文書が

存在しない場合, サーベイレポートを生成することができない. そのような場合, 自動要約システムの挙動としては, 関連する Web 文書が存在しなかったことを示せば良いが, 開発の基礎となるコーパスを構築するという点においては，十分な分析を行える量のサーベイレポートを確保する必要がある。一方で, サーベイレポートを作成しやすい着目言明のみでコーパスを構築すると, 紋切り型のサーベイレポートになり, 人間の要約作成過程を観察する際の多様性がそしくなる恐れがある。したがって, 予め着目言明の候補を比較的多く作成し, 着目言明に関連する Web 文書がどの程度存在しているのか, また, 論点になりそうな言明はどの程度存在しているのか, といった調査を Web 検索エンジンを用いて行い, その結果を元に，多様性をもったサーベイレポートが作成できそうな着目言明を選別することとした.

## 3.2.2 要約作成過程の観察

ある着目言明が与えられた際に，その信憑性の判断を支援するための要約を人間が作成する場合を考えると，まず，着目言明に関連する文書集合をWeb 検索等により収集した後，収集した文書に目を通して, 要約の作成に必要な記述（重要記述）がありそうな文書を選別し, 最後に, 文書中の重要記述を中心に要約を作成すると考えられる。言い換えると, 収集した文書から要約に必要な記述を得るためには, 文書の収集や選別, 重要記述の抽出など何度かの絞り込みを行っていると考えられる。しかしながら，その絞り込みの方法の詳細は不明であるため，人間が実際に要約を作成する際に行う絞り込みの過程を観察できるようにする必要がある。本来であれば，如何なる制約もない自然な流れでの絞り达み過程を観察することが望ましいが，複数の人間による絞り込みの途中経過を比較することが困難になる。それゆえ，絞り込みの過程を幾つかの段階に分割し，各段階でアノテーションを行うこととした。こうすることで，各段階のアノテーション結果を参照することが可能になり, 複数の人間が行う絞り込みの一致率を途中経過を含めて調査できるようになる。もしも，絞り込みの過程が作業者によって大きく異なるならば，重要だと考える基準が作業者によって大きく異なるということであり，安定した自動要約を実現するのが困難になると考えられる。

作業者が絞り込みを適切に行うためには，着目言明に関する背景知識や，さまざまな文書内の情報が必要になると考えられる。本論文では, 「背景知識」を要約対象文書以外からでも獲得できる知識,「文書内の情報」を要約対象文書中に実際に含まれる記述から獲得できる情報と定義する，着目言明に関する背景知識は，一般的には要約を作成する際に必須のものではないが,着目言明に関する問題点や, 問題点に対する意見などの背景知識をもつことで, 問題を判断するためにどのような情報を重要視すべきかを作業者が適切に判断できるようになる。また，サー ベイレポートを読んだ人間が多角的に判断できるようにするためには, 着目言明に関する文書内の情報を網羅的に提示する必要がある. どのような論点が存在するのかに関する背景知識を作業者が予めもっていれば，各論点における文書内の情報を見落とす可能性が小さくなると考

えられる。したがって, 背景知識が豊富な作業者であるほど, 作成される要約の質が向上すると考えられる。しかしながら, 事前に各作業者がもっている背景知識には差がある。それゆえ,要約の質を均一にするために, 作業者が背景知識が獲得できるような作業段階を最初に設けることとした. 作業者の労力軽減という観点からは, 作業管理者等が事前に背景知識を調査しておき，それを作業者全員で共有するといった方法が考えられる。しかしながら，背景知識を共有することで，作成されるサーベイレポートや作成過程から多様性が失われる恐れがある。また, 自ら調査して得た知識と他人から与えられた知識では理解の程度に差が生じ, その差が作業内容に影響を及ぼすことも考えられる。したがって，作業者間で背景知識の共有はせず，各作業者が自ら獲得するようにした。また，作業者が背景知識や文書内の情報をどのように獲得し，どの知識や情報を重視したかを観察できるような情報をアノテーションすることとした。

## 3.2.3 対象文書の決定

膨大な Web 文書の中から着目言明に関連する重要記述を抽出して整理する, 情報信憑性判断支援のための要約は，情報検索などの情報アクセス技術の一種と捉えることができる．情報検索の分野において, 利用者の情報要求と適合する文書を検索できたかどうかは, 精度と再現率による検索有効性を用いて評価されるが，再現率を計算するためには，対象文書中の全適合文書数が必要となる.しかしながら, Web 文書のように全数調査が不可能に近いサイズの対象文書である場合, 網羅的に適合文書を調査することが困難である。この問題に対して, $\mathrm{TREC}^{4}$, $\mathrm{NTCIR}^{5}, \mathrm{CLEF}^{6}$ なとの評価型ワークショップでは，プーリングによりテストコレクションを構築している (Buckley, Dimmick, Soboroff, and Voorhees 2007). プーリングとは, 異なる複数の検索システムが同一の検索要求について検索を行い，その検索結果を集めて，正解文書の候補とする方法であるが，本研究のように初めて取り組む研究においては，該当するシステムが存在しないため，そのままプーリングの方法を用いることはできない。そこで，人間がシステムの代わりを務めることでプーリングに相当する結果を得られるようにした. すなわち, 複数の作業者がそれぞれ着目言明に関連する文書集合を収集し, 収集された文書集合をマージすることで対象文書の範囲を決定した。

## 3.2.4 参照要約の作成

情報信憑性判断支援のための要約を評価する上でのもう一つの問題は, 参照要約をどのように作成するかという点である。要約を読んた人間に分かりやすく伝えるには, どのような表現が適切かということを調査する必要があり, そのためには, 自由記述形式で要約を作成すること
^{4}$ http://trec.nist.gov

${ }^{5}$ http://research.nii.ac.jp/ntcir/index-ja.html

6 http://www.clef-campaign.org
}

が望ましい. しかしながら，一般的な要約の自動評価手法である ROUGE (Lin and Hovy 2003) は， N-gramの一致度により評価するため，表層的な表現の違いによる影響を受けやすい． 3.1 節で述べたように，我々は抜粋型の要約アルゴリズムを用いることを想定していたため，参照要約を自由記述形式とすると，表層的な表現の違いにより，不当に低く評価される恐れがあった. それゆえ，理想的な要約の表現を分析するための，自由記述形式で作成した要約（自由記述要約）と，システムを評価するための，要約対象文書からの抽出物を主たる部品として作成した要約（抜粋要約）の二種類の要約を作成することとした.

## 3.2.5 情報発信者の情報

最後に，サーベイレポートに提示すべき情報発信者の情報に関して考える。まず，匿名よりも実名の情報発信者の方が一般に信頼できると考えられるため，情報発信者の名称を提示すべきである。また，例えば，「ディーゼル車は環境に良い」という着目言明の場合，「自動車メー カー勤務の技術者」のような専門知識をもっているであろう情報発信者の方が信頼できると考えられるため, 情報発信者の専門性を示す属性情報も提示すべきである。しかしながら, 文書内に記述されていない情報をシステムが自動的に推測することは困難であるため, 文書内の記述を抽出する形式で名称や属性情報を提示することとした.

情報発信者の名称や属性情報に加えて, 情報発信者の同一性の情報も言明の信憑性を判断する上で重要な情報である。例えば，ある言明が多くのWeb文書に存在していたとしても，その言明が同じ情報発信者（同一発信者）によるものであった場合, 多くの人々が支持する言明とみなすことはできない. したがって，仮に情報発信者の名称が異なっていても，Web 文書のURL や記述のスタイルなどから同一発信者であることが推測できるのであれば，その情報を提示すべきである。それゆえ, 個々の言明の情報発信者の名称と属性情報に加えて, 同一発信者を識別できるようなアノテーションを行うこととした.

ここで問題となるのは, アノテーションする情報発信者の単位である. 情報発信者には, ウィキペディア7や，2 ちゃんねる8といった情報を発信した場所を示す Webページ単位の情報発信者と, 掲示板における投稿やコメントごとの書き手を示す記事単位の情報発信者が存在する.出版に例えるならば, 前者は発行者としての発信者, 後者は著者としての発信者とみなすことができる。どちらの情報発信者も，信憑性を判断する上で重要な情報であるが，サーベイレポー トには，より詳細な単位である著者としての発信者を優先して提示すべきであると考えた。また, 政府の発表や会社の広報など，発信される情報の中には，発信者個人の情報よりも企業や団体などの所属する組織の情報の方が重視されるものがあり，その観点から個人発信者と組織発信者に区分する必要がある。一例を挙げると, 「A 大学の学生である山田太郎が 2 ちゃんねる

表 1 情報発信者の情報の例

に書いた記述」の情報発信者は, 表 1 に示す情報になる。したがって, これらの情報に関するアノテーションを行うこととした。なお，引用が存在する記述，例えば，「チョムスキーは『文法の構造』の中で『無色の緑の概念が激しく眠る』と書いた」という「2ちゃんねるでの山田太郎の記述」の場合でも，以下の理由から「2ちゃんねる」を発行者としての発信者, 「山田太郎」 を著者としての発信者とすることとした。『無色の緑の概念が激しく眠る』といった引用記述の情報発信者を「チョムスキー」や『文法の構造』とするためには，「チョムスキー」や『文法の構造』という情報発信者の存在や, 実際に当該の記述が書かれているかといった点を確認する必要がある．こういった確認を行うためには Web 以外の情報源にあたる必要がある上に，そもそも「隣の B さんが言った」などの現実的に確認が不可能な引用記述も存在する。一方で，引用という形式をとっていても，当該の記述を「2ちゃんねる」に「山田太郎」が書いたことは確認できる事実である。それゆえ, 引用された記述の情報発信者に関しても, 引用している記述の情報発信者とすることとした.

## 3.2.6 アノテーションの質の管理

これまで述べてきたように，サーベイレポートコーパスを構築する上でアノテーションすべき項目は多岐に及ぶ. それゆえ, 作業者の負担が多大なものとなり, 作業の質の低下やヒュー マンエラーなどを誘発することが予想された。そこで, 図 2 に示す専用のアノテーションッー ルを開発し利用することで, 作業者の負担を軽減し, 質の低下やヒューマンエラーなどの問題を可能な限り回避することとした. アノテーションツールは, 殆どの作業をマウス操作で行えるように設計されており，作業者が直接 XML 夕グ等を記述しなくとも良いようになっている.例えば，図 2 に示すツールの下部には, 注釈対象となる Web 文書のテキストが表示されており，重要記述や情報発信者の名称の抽出作業は, 作業者が抽出したい範囲のテキストをクリックすることで行うことができる。また, 抜粋要約の作成作業は, 抽出したテキスト群から作業者が部品となるテキストを選択し, 加工して組み合わせることで行えるようになっている.

作業者への指示は, 作業を始める前に, 文書として一人ひとりに配布し, 口頭での説明を行った. また, 事前に予想できなかった問題等が作業中に生じた場合には, 問題の内容を可能な限り具体的にメモに記録すると同時に，逐次，作業管理者に報告して指示を仰ぐよう指示した．作
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

図 2 サーベイレポート用アノテーションツール

業管理者は, 報告された問題の解決方法を示すとともに, Wikiやメーリングリスト等を用いて,全ての作業者で問題と解決方法を共有できるようにした。ただし, 作業管理者の出張等, 指示を仰ぐことが困難な状況で, 作業が長時間中断されてしまう場合には, 生じた問題に対してどのように対処や解決したかを可能な限り具体的に記録することで作業を進めることを許可した.

## 3.3 サーベイレポートコーパス構築の手順

サーベイレポートコーパスの構築は, 第 1 回と第 2 回のコーパス構築で行っているが, 手順等が洗練された第 2 回のコーパス構築を中心に説明する. 表 2 に第 2 回のコーパス構築の手順を示す. 3.2.2 節で述べたように，絞り込みの各段階での結果を比較できるように，作業の流れ
表 2 サーベイレポートコーパス構築作業の流れ

T1. 背景知識の獲得

T2. 文書の収集

T2-1. 検索クエリの検討

T2-2. 文書の収集

T3. 文書の選別

T4. 重要記述の抽出

T5. 情報発信者の名称の抽出

T6. 要約の作成

T6-1. 自由記述要約の作成

T6-2. 抜粋要約の作成

(http://www.kawakai.com/asbestos/より引用)

図 3 サーベイレポートコーパスにおける Web 文書の例（一部）

はT1. から T6. へ一方向に進むものとし, 作業管理者 ${ }^{9}$ が特別に認めた場合 10 を除き, 前の段階の作業に戻ってはならないよう指示をした。

サーベイレポートコーパスには, 着目言明, Web 文書集合, 自由記述要約, 抜粋要約, 背景


図 4 サーベイレポートコーパスにおける抜粋要約の例（一部）

知識，検索クエリ，作業の疑問点等のメモが含まれている，各 Web 文書と抜粋要約には，作業結果を示す XML 形式のタグが埋め込まれている。Web 文書と抜粋要約の XML タグの一覧と文書型定義を付録 $\mathrm{A}$ に示す．3.2.6 節で述べたように，これらの夕グは，専用のアノテーションツールを通して付与される。XML タグが付与された Web 文書と抜粋要約の例を，図 3 と図 4 にそれぞれ示す。実際の文書には，もっと多数の夕グが付与されているが，紙面の都合により，各タグの代表的な例のみを示している。以下，作業の流れに従って説明する。

## 3.3.1 背景知識の獲得

作業者は最初に，T1.において，与えられた着目言明に関して，3.2.2 節で述べた背景知識の獲得を行う。すなわち, 各作業者は着目言明に関連してどのような論点が存在し, 各論点においてどのような意見や根拠が存在しているかを調査する。この調査の結果は, 作業者ごとに把握した論点を自由記述形式で記録する。これにより，後の分析において，最終的に作成されたサーベイレポートの内容と比較することで, T2. 以降の作業において当初の論点からどのように変化したのか調査できるようになる。また, 他の作業者が獲得した背景知識と比較することで, どの程度網羅的に論点を把握していたのか調査できるようになる。サーベイレポートコーパス
表 3 獲得された背景知識の例

に収録された背景知識の例として，「アスベストは危険性がない」という着目言明において，ある作業者が獲得した背景知識を表 3 に示す。背景知識を獲得する情報源には, Web 文書に限らず，新聞記事や雑誌などあらゆる媒体を許可した。サーベイレポートコーパスには背景知識自体も収録されている.

## 3.3.2 文書の収集

T2. では，作業者が実際にどのような文書を収集したかの情報を記録する．作業者の労力を軽減するために収集する文書数に制限を設ける一方で，ある程度の論点の多様性も保証したい。一つのクエリを用いて収集した場合，そのクエリが問う論点のみに偏った文書集合になる。そこで，異なる論点を問う複数のクエリを用いて文書集合を収集し，それらを1つの文書集合にマージすることで，多様な論点を含む文書集合を決定することとした。一般に，異なる論点を問うクエリで収集した文書集合同士であっても，共通の文書が存在する，そのため，マージした後の異なり文書数は、マージする前の文書集合の要素数の総和とはならない. そこで，文書の収集を T2-1.と T2-2.の二段階で行う， T2-1. で重要記述が含まれている文書集合が検索上位に来るようなクエリを調査し，T2-2. で多様な論点の重要記述が含まれている文書集合から順にマージしていくことにより，一定量の文書集合において論点の多様性を保証しようとした。 T2-1.のクエリの調査には, 検索エンジン TSUBAKI (Shinzato, Shibata, Kawahara, Hashimoto, and Kurohashi 2008)を利用し，少なくとも 20 種類以上のクエリを調査するよう指示した. 重要記述を含む文書集合を絞り达むのに効果的なクエリが存在するか調査するために，着目言明の表現に囚われない自由な形式のクエリ11を許可した，T2-2. では，クエリごとに上位 100 件の Web 文書を収集し，多様な重要記述が含まれている文書集合から順に 500 件以上になるまで


マージするよう指示した。 また，マージした文書集合を検索するのに用いたクエリには，検索に用いなかったクエリと区別できるよう記録し，サーベイレポートに含まれた論点と含まれなかった論点の分析ができるようにした．Web 文書を識別するためにTSUBAKI の文書 ID を利用し，<Fileld>の値としている。サーベイレポートコーパスには， T2. で調査に用いた検索クエリと収集された Web 文書集合が収録されている.

## 3.3.3重要記述の絞り込み

T3. と T4. では, T2.においてマージされた文書集合を対象に， 3.2 .2 節で述べた重要記述の絞り込みの過程を記録する。T3.では文書単位での絞り込みの結果, T4. では文単位での絞り込みの結果をそれぞれ記録する。より詳細な過程を観察するためには, 段落などの単位でも絞り込み, 作業の段階数を増やすことも考えられるが, 作業者の労力の観点から, 二段階で記録することとした，また，文より小さい単位での絞り込みは，実際に要約を作成する段階にならないと分からないことも多いため，T4.の段階では文単位での絞り込みに留めた。絞り込みの際には，たとえ同一の表現を持つ文書や文であっても，異なる出典のものを網羅的に選別・抽出した. これにより, システムによる重要文書の選別や重要文の抽出などを評価する際の再現率の計算を可能にしている．T3. で選別された文書は $<$ Fileld $>$ の属性 Selected の値を 1 としており, 選別されなかった文書は 0 としている。 T4. で抽出された重要記述は $<$ Passage> で囲っており，属性 Passageld には文書ごとに 1 から通し番号を割り当てている。なお， T4. で抽出された重要記述は，アノテーションツールの内部で抽出元の文書と文書中の位置の情報を保持しており，T6.において抜粋要約を作成する際の部品となる.

## 3.3.4 情報発信者の抽出

T5. では， T4. で抽出された重要記述を含む文書集合を対象に，3.2.5 節で述べた情報発信者に関する作業を行う，情報発信者の情報の内，同一発信者に関しては複数の文書における情報発信者を参照しなくてはならないのに対し，同一発信者以外の情報は文書内の記述を参照するたけで作業できる。それゆえ，各文書を参照して同一発信者以外の情報を抽出した後，抽出された情報発信者を参照して同一発信者と思われる情報発信者をグループ化するという流れで行った. 作業者の負担を軽减するために, 発行者としての発信者は文書の URLのみで識別することとした，著者としての発信者は，個人発信者と組織発信者それぞれの名称と属性情報を文書中の記述から抽出することとし，もしも文書中の記述に存在しないならば不明のままとした. 作業者には，抽出すべき属性情報として，個人発信者であれば，役職，年齢, 性別など, 組織発信者であれば，業種，所在地などを例として示した，また，個人発信者と組織発信者のどちらを重視すべきかの情報を付与した，情報発信者の情報は<Holder>に記録されており，属性 Localld は文書ごとの番号, 属性 Globalld は全文書を通しての番号を示している。属性 P1Element と属
性 P2Element は抽出された個人発信者の名称と属性情報，属性 O1Element と属性 O2Element は抽出された組織発信者の名称と属性情報をそれぞれ示しており，これらの名称または属性情報を構成する文字を，0を開始位置とした文書中の位置情報とともに示している。例えば，図 3 の 4 行目の <Holder> の場合，「川口解体工業株式会社」という組織発信者の名称を構成する「川」 の文字が 0 文目の 15 文字目にあることを「川_0_15」と示している．属性 OrgHolder の値は，組織発信者側を重視する場合は 1 ，個人発信者側を重視する場合は 0 としている。属性 LocalName は, 作業者がサーベイレポートで提示するのに最適と思われる情報発信者の名称を示している.同一発信者に関しては，複数の文書に及ぶ情報であるため，T6. で作成される抜粋要約中の属性 SameHolder に示している。なお, T4.の重要記述と同様に，アノテーションツールは，抽出された情報発信者に関する抽出元の文書と文書中の位置の情報を保持している.

## 3.3.5 要約の作成

T6. は, 情報信馮性判断支援のための要約を作成する作業である. 3.2 .4 節で述べた, 自由記述要約と抜粋要約の 2 種類の要約を作成するため, 自由記述要約を作成する T6-1. と, 抜粋要約を作成する T6-2.の 2 段階で行う. T6-1. では, T4. で抽出した重要記述の集合を参照しながら, T6-2. で作成する抜粋要約と内容的に齫䶣が生じないよう, 理想とする情報信憑性判断支援のための要約を自由記述形式で作成する。一般的な要約であれば，文字数などの要約の長さに関する制約が与えられるが，情報信憑性判断支援のための要約では，読み手が信憑性を判断するための情報を得られることが何よりも優先されなくてはならない. それゆえ, 作業者には,信憑性の判断に十分な情報を含むことを優先して作成することを指示し, 自由記述要約, 抜粋要約ともに，要約の長さに関しては指示しなかった，図 5 に自由記述要約の例を示す. T6-2.では，T4. で抽出した重要記述を文字単位でさらに絞り込みながら組み合わせることで抜粋要約を作成する。抜粋要約として不要な文字列を削除した記述を組み合わせて作成するため, 抜粋要約は自由記述要約と表層的な表現が異なっても構わないとした. しかしながら, 重要記述を組み合わせる際，逆接や対比といった重要記述間の関係を明確にするため, 重要記述内には存在しない助詞や接続詞などの語句が必要となることが考えられる。そのような場合, 任意の文字列を重要記述間に挿入できるようにした。作成された抜粋要約において, 挿入された文字列は <Extra>で囲み，＜Citation>で囲まれる重要記述の文字列と区別できるようにされている。 また, 重要記述の抽出元である Web 文書において, 実際に抜粋要約に用いられた重要記述の部分を <Cited $>$, 不要な文字列として削除された部分を $<$ Deserted $>$ で囲っている.
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

「アスベストは危険性がない。」

アスベストとは、石綿とも呼ばれる天然の鉱石繊維であり、

クリソタイルやクロシドライト、アモサイトといったものが存在している。

アスベストの特徴は耐熱性や耐薬品性、絶縁性といったものがあり、

また安価な工業製品であったため、その9割以上を建材製品として使用され、

その用途には3000種類以上のものがあるといわれている。

主な使用目的とされる建築素材としては、吹き付けアスベストや、

アスベスト保温材、アスベスト形成板などが主な使用形態となっている。

このようなアスベストであるが、近年、人体に深刻な影響を及ぼすという報告がされるようになってきた。

というのも、アスベストというものは極めて微細な繊維であるため飛散性があり、また劣化しにくいという特性がある。

このため、飛散したアスベストを吸い込んだ場合、吸い込まれたアスベストが肺に刺さり、

長期間に渡って人体に残留してしまうこととなる。

この残留したアスベストが人体にとって有害なものとなっているというのである。

吸い込んだアスベストの影響により引き起こされる具体的な病例としては、

「石綿肺」や「肺がん」、「悪性中皮腫」などがあげられる。

これらは、アスベストの吸入により引き起こされるといわれているが、

すぐに発症するわけではなく、20〜40年の潜伏期間をもって発症される。

このため、アスベストは「静かな時限爆弾」といわれるほど危険性が指摘されることとなった。

このような危険性が指摘されたため、アスベストは法的な規制の対象となることとなった。

具体的には、次のようになっている。

このように、一方的に危険性が指摘されるアスベストではあるが、

一概にアスベストが危険であるというわけではないことを認識しなければならない。

というのも、アスベストが危険な理由は、その繊維が微細なものであり、

そのために極めて容易に飛散してしまうという点にある。

しかし、アスベスト自体は極めて安定な物質であるため、

飛散する心配の状態にない安定な状態であればなんら危険性はないのである。

ただし、アスベストは過去、建築の製品として使用されてきたため、

これらを処理する際には扱いに注意を払う必要はある。

実際にアスベスト製品の処理を行う際には法的な規制が存在している。

アスベストの処理に対しては具体的に、「除去」「封じ込め」「囲い込み」

といった処置が一般的なものとなっている。

以上、アスベストの危険性について述べてきたが、

確かに、アスベストが人体に与える危険性があるということは否定できない。

しかし、単純にアスベストが危険であるということを鵜吞みにし、騷ぎ立てるのではなく、

取扱いに注意しさえすればなんら危険性はないということを理解した上で、

アスベストの問題に向き合っていく必要があるのではないだろうか。

図 5 サーベイレポートコーパスにおける自由記述要約の例

## 3.4 サーベイレポートコーパスの統計と分析

## 3.4.1 サーベイレポートコーパス

第 1 回と第 2 回のコーパス構築で用いた着目言明を表 4 に示す. 第 1 回の時点では, 利用者が信憑性を判断したいトピックを示す単語を用いていた。しかしながら，単語を用いた場合，例えば，「マイナスイオン」のトピックにおいて，マイナスイオンが健康に良いかどうかを判断したいのか，それとも，マイナスイオンが発生するかどうかを判断したいのか，といった利用者の関心がある論点を絞り込むことができない。一般に，論点は数多く考えられるため，あらゆる論点に言及する要約を作成することとなる。そのような要約は, 利用者にとって, 関心がな
表 4 サーベイレポートコーパス構築に用いた着目言明（トピック）

い論点の記述が多くを占めるものとなり, 結果として, 利用者の情報信憑性判断支援に役立たない要約となってしまう恐れがある。それゆえ，第 2 回では，論点が比較的絞り达まれている着目言明を用いることとした．また，「レーシック手術は安全である」と「レーシック手術は痛みがある」のように，「レーシック手術」という大きなトピックに包含される着目言明を用意することで，論点の違いによる影響を調査できるようにした，以下では，第 2 回のコーパスを中心に説明する。

1 つの着目言明には， 3.2.3 節で述べたプーリングに相当する結果を得るために，4名の作業者を割り当てた，作業者は，情報工学を専攻する大学生及び大学院生である．1 名の作業者が 1 つの抜粋要約を作成するために， T2. で収集した Web 文書集合の 1 着目言明あたりの平均文書数は 532.0 文書であり，収集された全 Web 文書の文字数を合計した値は 1 着目言明あたり平均して約 280 万文字であった. 作成された抜粋要約の 1 着目言明あたりの平均文字数は 2,564 文字であるため, 最終的に約 $0.1 \%$ の要約率となるが, 段階的に絞り込みを行っているため, 実際はもっと緩やかな要約過程となる. T3.の段階で選別された文書数は平均して 177 文書となり, T4.の段階で抽出された文の合計文字数は 1 着目言明あたり平均して 57,121 文字にまで絞り达まれている。したがって，T4.から T6.への過程での要約率は約 $4.5 \%$ となった.

## 3.4.2収集された文書集合における論点の多様性に関する考察

ここで，収集されたWeb 文書集合に打ける論点の多様性について考察する。図 6 に，第 2 回のコーパス構築で用いた 6 つの着目言明をクエリとして, それぞれ検索した上位文書の件数と，文書中に存在する着目言明に関する論点の異なり数の関係を示す。論点の有無は，第二著者および情報工学を専攻とする大学院生 2 名が実際に文書を読むことで判断した. 着目言明の違いによる差はあるが, 全体として最初の 30 文書までに殆どの論点が現れており, それ以降, 新しい論点は殆ど出現せず飽和状態となっている． 3.3 節で述べたように，T2.では，作業者が多様な論点を含むと考える複数のクエリを用いて 100 文書ずつ収集することにより要約対象となる文書集合を決定している。したがって，収集されたWeb 文書集合は，論点の多様性をある程度保証していると考えられる。
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

検索文書数

図 6 検索文書数と論点の異なり数の推移

## 3.4.3作業者間の一致率に関する考察

次に，各作業者が収集した Web 文書集合を絞り达む過程における作業者間の一致率について考察する．3.2.2 節で述べたように，絞り达みの過程が作業者によって大きく異なるならば，安定した自動要約を実現するのが困難になる。そのため，文書単位での選別を行った $\mathrm{T} 3$. の段階における一致率を Fleiss' kappa を用いて計算した，結果として，0.23，すなわち，低い一致率を示すこととなった. また, 要約の最終過程である T6.の段階における一致率を以下の 2 種類の方法で評価した.

第一の方法は, ROUGE-1による評価である. ROUGE-1 は, 二つの要約の間で一致する 1-gram の割合を示した自動評価手法であり，自動要約の評価型ワークショップである $\mathrm{DUC}^{12}$ 等においても用いられている，6つの着目言明を対象として, 着目言明ごとに, 二つの抜粋要約の組に対してそれぞれ計算し, 全ての組の值を平均した結果, 0.40 の值を示した. 0.40 という值は, 2005 年から 2007 年の DUC において最も成績が良かった手法の ROUGE-1 の値と同程度の値である。本論文が人手による要約の間の一致であるのに対し, DUCが自動生成された要約と正解

表 5 「レーシック手術は安全である」に関する抜粋要約中の論点の一覧

となる要約との一致である点を考慮する必要があるが, 全体として比較的一致した要約が作成されていると考えられる。

ROUGE は表記の一致による評価であるため, 論点が一致しているかどうかまでは保証しない. そこで，第二の方法として，抜粋要約間で共通している論点の数による評価を行った。評価の対象は, 労力の観点から, 第 2 回のコーパス構築で作成された抜粋要約のみを対象とした.論点が共通しているかどうかを判断する際には, 論点の粒度が問題となる。例えば, 「レーシック手術」などのトピックレベルの粗さで論点を捉えた場合, 殆どの記述が共通の論点となってしまう。共通性を判断するのに適した粒度をトップダウン的に決定することは困難であるため,我々は，以下に述べるボトムアップ的な方法で論点を決定した。まず，実際に各々の抜粋要約を読み，「レーシック手術の種類」や「レーシック手術の方法」といったサブトピックレベルの粒度で, 抜粋要約の内容を論点の候補として網羅した. 次に, 二つの抜粋要約を比較して, サブトピックレベルでは同じ論点の候補であっても，書き手が伝えたいであろうポイントが異なる記述が一方にしか存在しない場合は, さらに論点の細分化を行った. 例えば, 「レーシック手術により起こりうる合併症」というサブトピックであっても, その「原因」に言及する記述が,
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

表 6 サーベイレポートコーパスにおける情報発信者の延べ注釈数

一方の抜粋要約には存在するがもう一方には存在しない場合,「レーシック手術により起こりうる合併症の原因」という論点を別に設定した。 以上の論点に関する作業は, 第二著者および情報工学を専攻する大学院生 1 名により行った.

表 5 に，AからDの４名の作業者が作成した「レーシック手術は安全である」に関する抜粋要約に含まれる論点の一覧と, 各作業者の抜粋要約に各論点が含まれるか否かを示す.また, 付録 B として，他の5つの着目言明に関する抜粋要約に含まれる論点の一覧を収録した。表中の 「○」で示される論点が抜粋要約に含まれている論点である.「レーシック手術は安全である」の場合, 全部で 20 の論点があり, 4 つの抜粋要約全てに共通して含まれている論点の数は 3 であり, 2 つ以上の抜粋要約に共通している論点の数は 11 であった. 6 つの着目言明全体では, 全部で 65 の論点があり，4つ全てに共通している論点は 9,2 つ以上に共通している論点は 34 であった。したがって，比較的共通した論点に関する要約が作成されていると考えられる.

## 3.4.4 情報発信者に関する考察

情報発信者に関する延べ注釈数を表 6 に示す. 抽出された 4,061 の重要記述の内, 何らかの情報発信者の注釈があるものは 3,067 (約 $75.5 \%$ ) であった. また, 発行者としての発信者は 871 ,著者としての発信者は 3,049 であった. 1 つの重要記述に, 発行者としての発信者と著者としての発信者の両方が注釈される可能性があることに注意されたい. したがって，特定できた情報発信者の殆どは著者としての発信者であるといえる．著者としての発信者の内，個人発信者が注釈されたものは 776 , 組織発信者が注釈されたものは 2,503 であった. ここでも, 個人発信者と組織発信者の両方が注釈された発信者がいることに注意されたい. したがって，著者としての発信者の多くが組織発信者であり，個人発信者は比較的少なかった．また，著者としての発信者 3,049 の内，作業者が組織発信者側を重視すると判断した場合も 2,217 存在することから,
組織発信者の重要性が伺える。また, 名称がある個人発信者は 731 , 属性情報がある個人発信者は 182 , 名称がある組織発信者は 2,490 , 属性情報がある組織発信者は 73 であった。ここでも，名称と属性情報の両方が注釈された発信者がいることに注意されたい．個人発信者と組織発信者の両方で，属性情報より名称が記述されている割合が高いが，組織発信者の場合，属性情報の記述は極めて少ない（約 $2.9 \% ）$ といえる. また, 同一発信者が存在すると注釈された個人発信者と組織発信者の数は，それぞれ 139 と 556 であった. したがって，無視できない割合で同一発信者の存在があるといえる。

情報信憑性判断において, 同一発信者が互いに矛盾するような主張を行っているかどうかは興味のあるところである。そこで, 抜粋要約に用いられた重要記述の情報発信者を対象に, 矛盾するような記述がないか調査した。 6 つの着目言明における全ての抜粋要約に対して調査した結果，矛盾するような記述を見つけることはできなかった，今後，全ての情報発信者を対象に調査したいと考えている。

## 4 調停要約コーパスの構築

## 4.1 調停要約コーパス構築の背景

第 1 回と第 2 回のコーパス構築では, 着目言明に関連する論点を網羅することに主眼を置いた要約を作成した。そのようにして作成された要約を分析した結果, 自分の意見の正当性を主張するために，対立意見に反論するのとは異なる，第三者視点から公平に両方の意見に言及している記述が存在することが分かった。例えば，着目言明「アスベストは危険性がない」に関する要約には，「アスベストの成分は石や土と同じ成分であり甜めたり触ったりしても毒ではありません」という記述と，「人体への有毒性が指摘されているアスべスト」という記述が含まれており，一見すると互いに矛盾しているように見える。しかしながら，それらの記述とは別に，「アスベストの毒性は, その成分ではなく, その形状と通常の状態では半永久的に分解や変質しない性質によるものです」という記述を提示することで, 両方の記述が，化学的性質を述べたものか, それとも, 物理的性質を述べたものかという視点の違いによる疑似対立であることを読み手に伝えることができる。この疑似対立である場合に，両立できる視点や状況を示すという考え方は, 従来研究にない新しい考え方であることから, 両立できる視点や状況に関する記述の提示を調停要約と定義し, 情報信憑性判断支援のための要約の主軸とすることとした.

なお, 疑似対立であるか否かの最終的な判断は, 利用者が行うことを想定している。 ある調停要約を利用者が読んで, 両立できる視点や状況が存在することを納得できるならば, 調停要約に書かれている対立は, 少なくともその視点からの調停が可能な疑似対立である. したがって, システムは, 着目言明と対立言明の関係が疑似対立であると仮定して調停要約を生成し, 利用者は, 生成された調停要約を読んで疑似対立であるか否かを判断することを想定している.
着目言明: 朝バナナダイエットでダイエットできる?

「バナナのカロリーは低い」という点で一見対立していますが、以下の説明で対立が解消できるか調べましょう。

図 7 調停要約を中心とした情報信馮性判断支援のための要約の例

図 7 に「朝バナナダイエットでダイエットできる」を着目言明とした場合の調停要約を中心とした情報信憑性判断支援のための要約の例を示す. 図 7 中の, $(\mathrm{P}),(\mathrm{N}),(\mathrm{M})$ のボックス内の記述は，実際の Web 文書から抽出された記述であり，それ以外の記述は作例である。着目言明を肯定する根拠として「バナナは低カロリーで満腹感があります」，また，否定する根拠として 「バナナは果物の中では水分が少ないためカロリーは高めです」という記述がそれぞれ Web 上に存在していたので，対立関係にあるようにみえるとして，該当する記述を $(\mathrm{P})$ と $(\mathrm{N})$ のボックス内に表示している。また，(M)のボックス内が調停要約として Web上に存在する文書から抜粋された記述である。 Web 上には，こういった対立関係について，それらが両立可能であることを示した記述が存在していることがあり，そのような記述をパッセージ単位で抜粋して提示するというのが調停要約の基本的な考え方である。図 1 のコメント部分の生成も将来における課題であるが，まずは調停要約の中核となる $(\mathrm{P}),(\mathrm{N}),(\mathrm{M})$ の部分の記述を生成することを目的として，調停要約コーパスの構築を行うこととした。

## 4.2 調停要約コーパス構築の課題

## 4.2.1調停要約とサーベイレポートとの関係

調停要約は, 図 1 における, 利用者が論点を判断する際に役立つ要約の一種である.したがって, 調停要約コーパスの構築においても， 3.2 節に述べたサーベイレポートコーパスの構築と同様の問題が存在し, その対応も 3.2 節や 3.3 節で述べたのと同様に行うことができる.

## 4.2.2 対立関係の詳細化

調停要約を作成する上での固有の問題としては，以下の問題が挙げられる。まず，調停という性質上, 網羅すべき論点として, 対立関係にある言明の組が主となる。このとき, 着目言明との対立関係を示す軸（対立軸）は 1 つとは限らないことに注意されたい。例えば，「ダイエット」に関する文書集合においては，「瘦せる vs. 太る」という対立軸の他にも，美容観点の「美しいvs. 醜い」, 医療観点の「健康 vs. 病気」といった対立軸が考えられる。したがって,「ダイエットする」を支持する内容として, 「瘦せる」,「美しい」,「健康」といった記述，「ダイエッ卜する」と対立する内容として，「太る」，「醜い」，「病気になる」といった記述を全て抽出することとした。

## 4.2.3 対象文書に関する変更

調停要約の作成における別の問題としては, 対立関係にある言明の組を網羅するために収集した文書集合中に, 調停要約として適切な記述（調停記述）を含む文書が存在するかが保証されていないことが挙げられる。 それゆえ, 論点を網羅するための文書収集とは別に, 調停記述を含む文書（調停記述文書）を収集する過程が必要となる。また，調停記述文書を適切に収集するためには, 作業者が事前に対立関係をどのように調停できるかに関する知識（調停知識）をもっていることが望ましい. しかしながら, 調停知識を得るためには, その前提として, どのような対立関係が存在するかを把握していなくてはならない. 以上の考えから, 着目言明と対立関係にある言明（対立言明）を網羅的に抽出した後に，調停知識の獲得，および，調停記述文書の収集を行うこととした。

本来であれば，サーベイレポートコーパスの構築と同様に，作業者には着目言明のみを与えて, 背景知識の獲得を行った後, 対立言明を網羅的に抽出するための文書の収集から作業を開始することが望ましい.しかしながら, その後に続く, 調停知識の獲得, 調停記述文書の収集を考慮すると作業者の負担が著しく増大する。また，対立言明の抽出対象となる文書集合が作業者間で異なる場合, 作業者が把握する対立関係に差が生じるため, 収集された調停記述文書の作業者間の比較が困難になると考えられる。それゆえ，着目言明に加えて，対立言明を網羅的に抽出するための初期文書集合を，4.3.1 節に述べるように与えることとした.

## 4.2.4 抜粋要約に関する変更

Kaneko et al.(2009)において, 調停要約には, 一つのパッセージで両立可能となる状況を明示的に説明する直接調停要約と, 状況の一部を説明するパッセージを複数組み合わせて状況の全体を暗に示す間接調停要約の 2 種類があると定義している. 間接調停要約の方が, どのようにパッセージを組み合わせるかといった点を考慮しなくてはならないため, 要約生成過程において分析する項目が多くなる一方で, 直接調停要約の方が, 一つのパッセージで全てを説明しな
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

図 8 調停要約用アノテーションツール

くてはならないため, 正解となりうるパッセージの数は少なくなる，それゆえ，第 3 回のコー パス構築では, 要約生成過程の分析を優先して, 複数のパッセージを組み合わせて抜粋要約を作成することとし, 第 4 回のコーパス構築では, 直接調停要約の正解情報作成に焦点を絞って,一つのパッセージで正解となるパッセージの抽出をもって抜粋要約を作成することとした.

## 4.2.5絞り込み過程のシームレス化

サーベイレポートコーパスの構築作業において, 絞り达みの過程を観察するために, T3. での文書単位での選別と T4. での文単位の抽出とを別の段階での作業としていた. しかしながら，作業者からは，本文を読んで文書を選別する際に，重要記述を含む文についてもある程度判断できるため, 二度手間のような作業になり, 両者を区別せずに行いたいという要望が出されていた。そこで，第 4 回のコーパス構築に用いたアノテーションツールには，各段階の作業ログを自動的に記録する機能を実装することとした。作業ログには，対象文書や作業内容の情報に加え, マウスとキーボードの操作レベルの情報が記録されている. 図 8 と図 9 に, 第 4 回のアノテーションツールと作業ログの例をそれぞれ示す. 図 9 のログから, 作業者は, 「飲酒は健康に良い」という着目言明の T2.（対立関係にある言明の抽出）において, ID:01217676-1の文書を開き，4文目の 1 文字目から 48 文字目までをドラッグして言明を抽出したことが分かる．図 8 に示すように，表示の都合上, ツール上の行番号と文番号が必ずしも一致するわけではないため，ログには文番号と文字位置に加えて，括弧内にッール上のカーソル座標を記録している。

図 9 作業ログの例

続く作業では, 7 文目の 11 文字目から 34 文字目， 8 文目の 4 文字目から 60 文字目を抽出した後，9行目までスクロールさせて，9文目の 1 文字目から 22 文字目を抽出していることが分かる。また, 図 9 の作業者が, 最初に文書全体を読んでから抽出せずに，読み進めながら逐次的に抽出している様子が読み取れる。したがって，作業ログを分析することで，どの文書のどの部分にどのような作業を行ったかといった内容を復元できる. これにより, 第 4 回のコーパス構築では, 作業者は, 文書単位や文単位といった作業段階を意識することなく, 自然に重要記述の絞り込みを行うことが可能となった。

## 4.2.6情報発信者に関する変更

第 4 回のコーパス構築では, 情報発信者に関して, 調停要約を主軸としたことによる若干の修正を加える。第 3 回までのコーパス構築では，3.2.5 節で述べたように，幅広く情報発信者の情報の抽出を行った. しかしながら, 第 4 回のコーパス構築では, 調停要約の情報発信者として必要と思われる情報として，著者としての発信者における，名称，組織発信者か否か，専門的知識を備えている（専門的発信者）か否か, 調停者として第三者の立場から公平に述べてい
表 7 調停要約作成作業の流れ

T1. 背景知識の獲得

$\mathrm{T} 2$. 対立関係にある言明の抽出

T3. 調停知識の獲得

T4. 調停記述文書の収集

T5. 調停記述の抽出

T6. 情報発信者の抽出

$\mathrm{T} 7$. 同一発信者の判断

T8. 自由記述要約の作成

T9. 直接調停要約の分類

T10. 直接調停要約の評価

る（調停的発信者）か否か, の 4 種類に整理した。また, 情報発信者として提示すべき情報に加えて, これらの情報を何を手掛かりとして抽出したかに関する情報も, システムが自動的に提示する上で必要である。それゆえ, 情報発信者の情報を抽出する際に, 抽出の手掛かりとなった記述も合わせて抽出することとした。

## 4.3 調停要約コーパス構築の手順

調停要約コーパスの構築は, 第 3 回と第 4 回のコーパス構築で行っているが, 手順等が洗練された第 4 回のコーパス構築を中心に説明する. 作成作業は表 7 に示す 10 段階で行うこととし, サーベイレポートコーパスの構築と同様に, T1.から T10. へ一方向に進む流れで作業を行った.調停要約コーパスには, 着目言明, Web 文書集合, 調停要約文書, 背景知識, 調停知識, 検索クエリ，作業の疑問点等のメモ，作業ログが含まれている。Web 文書と抜粋要約の XML タグの一覧と文書型定義を付録 Cに示す。また，実際に，XML タグが付与された Web 文書と調停要約文書の例を, 図 10 と図 11 にそれぞれ示す. 以下，作業の流れに従って説明する。

## 4.3.1 背景知識の獲得

最初に，各作業者には，着目言明と初期文書集合を与えた。初期文書集合を決定するにあたり，初期文書集合の決定する人物の意思が作業者に影響を及ぼさないよう機械的に求めることとし，着目言明をクエリとして検索した上位 250 件の Web 文書を初期文書集合とした。初期文書集合に含まれる Web 文書には，＜Fileld＞の属性 Common の値を 1 として， T4. で各作業者が独自に収集する Web 文書と区別できるようにしている，T1.では，対立言明を公平な視点から網羅的に抽出できるよう，各作業者は着目言明に関連してどのような論点が存在し，各論点においてどのような意見や根拠が存在しているかの背景知識を獲得する。獲得された背景知識は,作業者ごとに自由記述形式で書かれ，調停要約コーパスに収録されている。

<Data version="3.0" year="H22">

<Fileld Common="1" IsConflictExtracted="1" IsMediationExtracted="1" IsSender="1">24992583-1</Fileld> <ConflictList>

<Conflict Sentenceld="10" Start="0" Length="12">酒は百薬の長といわれます</Conflict>

</ConflictList>

<MediationList>

<Mediation Type=“Direct” Sentenceld=“25” Start=“0” Length=“212”>少量のお酒がいいのは、今のところ、心筋梗塞、脳梗塞だけのようです。肝藏疾患やガン(喉頭がん、食道がん、胃がん、肝がん、乳がん)では、少量の飲酒でもリスクが高くなることが知られています。お酒は飲まない方が良いのです。健康のために無理に飲むのは意味がないお酒で心筋梗塞や脳梗塞にならなくても、ガンになったら意味はないでしょう。死亡原因に占める心筋梗塞や脳梗塞とガンの割合はほぼ同じなので、一概にどっちがいいかは特定できません </Mediation>

</MediationList>

<MediationKeyExpressionList/>

<SenderList>

<Sender Type="Page" Sentenceld="2" Start="0" Length="10" IsOrganized="1" IsExpert="1" IsMediator="1">株式会社フォーエルズ</Sender> </SenderList>

<SenderKeyExpressionList>

<SenderKeyExpression Sentenceld="63" Start="0" Length="13">Copyright（c)</SenderKeyExpression>

</SenderKeyExpressionList>

<SenderExpertKeyExpressionList>

<SenderExpertKeyExpression Sentenceld="13" Start="0" Length="4">心筋梗塞</SenderExpertKeyExpression>

</SenderExpertKeyExpressionList>

<SenderMediatorKeyExpressionList/>

$<$ Text>

<Sentence Id="1"> | HOME | CONTACT |</Sentence>

<Sentence Id="2">株式会社フォーエルズ／健康食品・サプリメントと販売促進支援</Sentence>

<Sentence Id="3">Live ! </Sentence>

<Sentence Id="4">Like ! </Sentence>

<Sentence Id="5">Life ! </Sentence>

<Sentence Id="6">Link ! </Sentence>

<Sentence Id="7">TOPページ> > お酒の適量</Sentence>

<Sentence Id="8">お酒の適量</Sentence>

<Sentence Id="9">酒は百薬の長か</Sentence>

<Sentence Id="10">酒は百薬の長といわれます。</Sentence>

<Sentence Id="11">数年前にはワインブームもありました。</Sentence>

$<$ /Text>

</Data>

図 10 調停要約コーパスにおける Web 文書の例（一部）

図 11 調停要約コーパスにおける調停要約文書の例（一部）

## 4.3.2 対立関係にある言明の抽出

T2.では, 与えられた初期文書集合から着目言明を支持する内容の言明と対立する内容の言明を文字単位で網羅的に抽出する，抽出された言明は，＜Text>で囲まれた本文とは別の＜Conflict>内に記述され，属性 Sentenceld に抽出元の文番号，属性 Start に言明の開始位置, 属性 Length に言明の長さが記されている.

## 4.3.3 調停知識の獲得

T3. では，T2. で抽出された言明がどの対立軸に関する内容であるかに基づいて人手でクラスタリングを行った後, 各クラスタの対立軸に関する調停知識の獲得を行う．クラスタリングは, 1つの言明が複数の対立軸に属することを許可しており, クラスタ内の言明に対しては, 着目言明を支持する内容であるか, それとも, 着目言明と対立する内容であるかの極性を付与している。また，各クラスタの対立軸を表現する「ディーゼル車は環境に良いvs. ディーゼル車は環境に悪い」といった形式のラベルを付与する，以下に，クラスタリングの方法を例を用いて説明する。例えば，「ディーゼル車は環境に良い」という着目言明の初期文書集合から，「ディー ゼル車排出ガスは東京の空を污す最大の要因になっています」という言明が抽出されたとする. この言明から, 作業者は「ディーゼル車は大気污染の原因でないvs. ディーゼル車は大気污染の原因である」といった初期文書集合中に対立する内容の記述が存在していそうな対立軸の候補を幾つか設定し，それぞれにラベルを付与する。また，当該の言明は着目言明と対立する内容であるという極性を付与して，任意の数の対立軸の候補に属させる。抽出された全ての言明を対立軸の候補に属させた後, 同じ対立軸に属する言明群を一つのクラスタとした

各作業者には, 対立関係の曖昧性がなくなるように任意の数の対立軸を独自に設定できるよう許可した. ただし， 3 つの対立軸に関しては， T4. 以降の作業者間の比較を容易にするため,事前に我々が初期文書集合を調査した結果に基づいて予め 3 つの対立軸を設定し，初期文書集合と共に作業者に与えている. クラスタの情報は, 調停要約文書の <Conflict>で示され, 対立軸のラベルは <Label>，クラスタ内の言明は <Statement＞に記述されている，＜Statement>の属性は, Web 文書の同名夕グと同一であるが，抽出元の文書番号を示す属性 Fileld と, 着目言明の支持/対立の極性を示す属性 Polarity が追加されている. 各作業者は, 独自に設定した対立軸ごとに，両立可能となりうるか，なるとすればどのような状況かといった調停知識を調査した後, 疑似対立である対立軸を独自に見つけて，その中から 2 つを選び，与えられた 3 つの対立軸に追加して, 計 5 つの主要対立軸に対して調停要約を作成することとした. なお, 事前に与えた 3 つの対立軸に対して, 独自に追加する対立軸を 2 つに限定したのは, 作業者の労力を考慮したものである. 獲得された調停知識は, 作業者ごとに自由記述形式で書かれている。調停要約コーパスに収録された調停知識の例として，「飲酒は健康に良い」という着目言明において，ある作業者が獲得した調停知識の一部を表 8 に示す. 表 8 の「○」で示された対立軸は主
表 8 獲得された調停知識の例

 &  & D \\

要対立軸を示す。

## 4.3.4調停記述文書の収集

4.2 .3 節で述べたように，対立関係にある言明を網羅するための初期文書集合は調停要約として適切な記述を必ずしも含んでいるとは限らない。そのため，T4.において，調停要約の記述を含むような文書集合を任意のクエリを用いて検索し，初期文書集合に加えることとした。すなわち, この段階で要約対象となる文書集合が確定し, 作業者ごとに差異が現れることとなる.具体的には, T3. で選択した主要対立軸ごとに, TSUBAKI での検索結果から, 調停要約の対象となる文書集合を求めるのに最適と思われるクエリを 1 つ決定し，そのクエリによる上位 50 件の文書を初期文書集合に加える。したがって，5つの対立軸で 250 件の文書が加えられるこ

とになるが, 重複する文書の存在があるため, 要約対象となる文書数は最終的に 500 弱となる.追加された Web 文書は，＜Fileld＞の属性 Commonの値を 0 としている。

## 4.3.5調停記述の抽出

T5. では, 調停要約として適切な記述を 1 つのパッセージ（調停パッセージ）として抽出する. 4.2.4 節で述べたように, 第 4 回のコーパス構築作業では, 直接調停要約の正解情報となる, 1 つパッセージで両立可能となる状況を明確に説明するタイプの調停要約の作成を対象としている. したがって，調停要約の一部として必要な記述ではあるが，その記述だけでは両立可能であることを明確に伝えられない記述は調停パッセージとして抽出しなかった. なお, 調停要約の一部として必要な記述の抽出, および, それらを用いた調停要約の作成は, 第 3 回のコーパス構築で行っている. また, 調停パッセージの抽出の際, その記述がなぜ調停パッセージとして適切と判断したのかの手掛かりとなった文字列も抽出している。抽出された調停パッセージは, <Mediation>内に，調停パッセージの判断の手掛かりとなった文字列は，＜MediationKeyExpression>内にそれぞれ記述され，どちらの記述も＜Statement>と同じ属性 Sentenceld, 属性 Start, 属性 Length により抽出元の情報を保持している。また，＜Mediation>の属性 Typeの値をDirect として直接調停要約であることを示している.

## 4.3.6 情報発信者の注釈

T6. では，T5. で抽出された調停パッセージを含む文書集合を対象に，情報発信者に関する情報，および，その手掛かりとなる記述の抽出を行う. 情報発信者の名称となる記述を抽出し，その情報発信者が，組織発信者であるか，専門的発信者であるか，調停的発信者であるかを，それぞれ文書中の記述から判断する。また，その抽出や判断の手掛かりとなった記述もそれぞれ抽出した．情報発信者の名称は，＜Sender>内に記述され，＜Statement>と同じ属性 Sentenceld,属性 Start, 属性 Lengthにより抽出元の情報を保持している. 情報発信者が組織発信者である場合は, 属性 IsOrganization の値を, 専門的発信者の場合は属性 IsExpert の値を, 調停的発信者の場合は属性 IsMediatorの値をぞれぞれ 1 としている。また, 名称, 専門的発信者, 調停的専門者の判断の手掛かりとなった記述を, <SenderKeyExpression>, <SenderExpertKeyExpression>, <SenderMediationKeyExpression＞に，抽出元の情報とともに記述している.

T7. は，同一発信者と思われる情報発信者のグループ化を行うが, 3.3 節のサーベイレポートコーパス構築と同じ作業であるため説明を省略する。

## 4.3.7調停要約の作成

T8. では, T3. で選択した主要対立軸ごとに, 理想とする調停要約の自由記述要約を作成する.自由記述要約は, 調停要約文書の $<$ Mediation>の一つに, 属性 Type の値を Model として調停
表 9 調停要約コーパス構築に用いた着目言明

パッセージと区別できるように記述されている.

T9.では，T5. で抽出した調停パッセージが，T3. で選択した主要対立軸の調停要約となっているかを分類する，分類は，1つの調停パッセージが複数の対立軸の調停要約となることを許可している. 分類された調停パッセージは, 調停要約文書の $<$ Conflict $>$ 内の $<$ Mediation>に記述されている.

T10.では, T9.の対立軸ごとに分類された調停パッセージに対して，調停要約としての適切性の観点から全ての調停パッセージの対に対して順序を付けた．また，各パッセージに対し， T8. で作成した理想の調停要約との内容や表現などの近さを総合的に判断して, 調停要約としての適切性について 4 段階の絶対評価を行う．ランキングされた結果は，調停要約文書の＜Conflict>内の <Mediation>の順序として反映されている。また, 絶対評価は, 属性 Evaluation の値として, Excellent, Good, Fair, Poorの 4 段階で示されている.

## 4.4 調停要約コーパスの統計と分析

## 4.4.1 調停要約コーパス

第 3 回と第 4 回のコーパス構築で用いた着目言明を表 9 に示す. 調停要約は, 疑似対立である場合に両立可能となる状況を説明する要約であるため, 前提として，疑似対立となる対立言明が存在している必要がある，それゆえ，調停要約に関する着目言明は， 60 以上の着目言明の候補を対象に疑似対立の有無の調査を行い，疑似対立が存在する候補の中で多様性に富むと思われる着目言明を選択した。なお，疑似対立の有無は，客観的であるか否か，科学的に証明できるか否かなどとは別の概念であることに注意されたい。例えば，「CO2 は地球温暖化の原因である」という着目言明の場合，「CO2 の温室効果や排出量」を示して地球温暖化の原因であるとする主張と, 「氷期と間氷期のサイクル」を示して地球温暖化の原因ではないとする主張との間で疑似対立が生じている。この場合, 調停要約の例としては, 「20世紀後半の温暖化は人類の活動により排出された $\mathrm{CO} 2$ が原因であるが， 20 世紀前半の温暖化は自然の活動が原因である可能性が高い」といったものが考えられる，表 9 に示した着目言明は, 全て疑似対立が存在することを確認している。
表 10 T3. で選択された主要対立軸

 & 他 20 組 \\

調停要約コーパスの構築作業では, 1 つの着目言明に対して 4 名の作業者を割り当てた. なお, 作業者は情報工学を専攻する大学生および大学院生である。調停要約コーパスは, 4.2 節や 4.3 節で述べたように, 抽出の手掛かりとなった記述や, 操作レベルの作業ログ等の豊富な情報を含んでいるが，まだ十分な分析が行われていない，4.4.2節から 4.4.4節にかけて，「飲酒は健康に良い」を着目言明とした場合の注釈結果に基づき，以下の 3 点について分析を行う． 1 点目はT3.において各作業者が選択した対立軸に関して, 2 点目は調停要約の対象となる文書集合を決定するために T4. で用いられた検索クエリに関して, 3 点目は $\mathrm{T} 5$. で抽出された調停パッセー ジと T8. で作成された自由記述による調停要約との差に関してである. 4.4.5節と 4.4.6 節では,調停要約コーパス全体を対象として，情報発信者と作業ログに関する分析をそれぞれ行う。

## 4.4.2 対立軸に関する考察

各作業者が，「飲酒は健康に良い」に関して，T3.で選択した主要対立軸を表 10 に示す。（a) から (c)は, 初期文書集合と共に与えられた作業者共通の主要対立軸であり, (d) と (e)が, 調停要約を作成できそうな対立軸として, 各作業者が任意に作成した対立軸から選択した主要対立軸である。主要対立軸に選択されなかった対立軸に関しては，その数だけを「他 $\mathrm{n}$ 組」のように示している。すなわち，表 10 の作業者 1 は， 22 組の対立軸を作成し，その中から (d) と (e) に示す対立軸を主要対立軸として選択している。各作業者の主要対立軸を比較すると，作業者 1 の (d) と作業者 2 の (e) を除いて, 複数の作業者が共通で主要対立軸として選択している対立軸は存在しなかった. しかしながら, 例えば, 作業者 1 の (e) は, 主要対立軸として選択してはいないが, 作業者 2 , 作業者 3 , 作業者 4 の全員が対立軸として作成しており，ある作業者が主要対立軸として選択した対立軸は全て, 表現の違いはあれど他の 3 名の作業者が任意に作成した対立軸の集合において存在していた。したがって，どのような対立軸が存在しているかに関しては作業者間で共通の認識をしているが，どの対立軸が調停要約を作成する上で重要と考え
表 11 要約対象文書集合の重複度

るかは作業者によって異なる可能性が示唆された。

## 4.4.3検索クエリに関する考察

各作業者が要約対象とした文書集合の重複度合いを表 11 に示す。表 11 は「○」で示された作業者間に共通する文書数を表しており，1行目であれば作業者 1 が要約対象とした文書数が 495 件, 5 行目であれば作業者 1 と作業者 2 が共通した要約対象文書数が 275 件であることを示している．全作業者に共通の 254 文書の内，250 文書は初期文書集合であるため，T4.において追加された文書集合において全作業者に共通する文書数は 4 であり，検索された文書集合はほとんど重複しなかった．T5.において抽出された調停パッセージを含む文書は，異なり数で 203 文書存在した。この 203 文書の内訳は, 初期文書集合からが 66 文書, T4. で追加された文書集合からが 173 文書であった。要約対象とする文書集合の決定は調停要約の精度に影響する重要な処理であり，文書集合を決定するための検索クエリも重要な要素である.

各作業者が T4. で用いた検索クエリを対立軸ごとに整理したものを表 12 に示す. 表 12 の対立軸の記号は表 10 の記号に対応している. TSUBAKIが自然文で検索可能であることは各作業者も理解しており, T4. において 3 名の作業者が調査した計 57 クエリの内, 22 クエリは自然文でのクエリであった。しかしながら，TSUBAKI を用いた場合には初期文書集合に加えた文書集合の検索に用いたクエリは表 12 に示すように単語列であるものが多かった. この結果について各作業者に質問したところ，「最初に自然文で入力したが，思うような文書が検索されなかったため単語列で検索した」という回答であった。この原因として「飲酒健康良い悪い」の
表 12 T4. で用いられた検索クエリ

表 13 各評価における調停パッセージの延べ数

ように, 良い面と悪い面の両方を記述している文書を検索するという調停要約特有の要求を満たすクエリを文の形式で表現しにくかったことが考えられる。以上から, 調停要約として適切な記述を含む文書を検索するという観点からは，検索エンジンによる影響を考慮する必要があるが, 単語列を用いた方が適している可能性が示唆された。ただし，「飲酒糖尿病のリスクを低下」のように単語と句を組み合わせたクエリも存在したことから, 必ずしも単語列が最適というわけではない.この点に関する分析を今後さらに進めていきたい.

## 4.4.4調停要約と調停パッセージに関する考察

表 13 に，T10.のランキングにおける各評価の調停パッセージの延べ数を示す.また，内訳と
表 $14 \mathrm{~T} 8$. で作成された自由記述による調停要約

して，初期文書から抽出された数と，T4. で追加された調停記述文書から抽出された数を示す。同じ調停パッセージであっても, 対立軸が異なれば評価も異なり, 調停要約とみなされなかった場合もあることに注意されたい，作業者によるバラツキが存在するが，全体として，Fair, Poor, Good, Excellent の順に評価された数が多く, 理想の調停要約に極めて近いことを示すExcellent と評価された調停パッセージは殆ど存在しなかった。初期文書と調停記述文書の内訳から, 調停記述文書の方が比較的評価が高い調停パッセージを多く含んでいたことが分かる。しかしながら，適切な調停記述文書を自動的に検索する方法は現段階で不明であり，今後も分析を続けていきたい.

表 14 は「飲酒は健康に良いvs. 飲酒は健康に悪い」の対立軸に対してT8. で作成された理想の調停要約であり, 表 15 は同じ対立軸において T10.のランキングで 1 位となった調停パッセー
表 15 T10.で 1 位にランキングされた調停パッセージ

ジである。理想とする調停要約に関しては，作業者 1 と作業者 3 が「病気の種類」という観点からも記述しているが，基本的には 4 名とも「飲酒量」という観点からまとめており，多くの人に共通する調停要約の観点が存在するように思われる。一方, 表 14 の調停要約と表 15 の調停パッセージを比較した場合,「飲酒量」などの大意は共通しているが細かな違いが生じてい
表 16 調停要約コーパスにおける情報発信者の延べ注釈数

る.また, 作業者 1 の調停要約で存在した「コレステロール」や「ワイン」などの話題は, 調停パッセージには存在していない. したがって，1つのパッセージを抽出して提示する直接調停要約の考え方に大きな問題はないが, より理想的な調停要約を生成するためには複数の調停パッセージを組み合わせる必要があると考えられる.

## 4.4.5 情報発信者に関する考察

情報発信者に関する延べ注釈数を表 16 に示す. 注釈された 3,221 の情報発信者は全て著者としての発信者であり, その内, 組織発信者であるのは 1,990 , 専門的発信者であるのは 840 , 調停的発信者であるのは 759 であった. ある発信者に, 組織発信者, 専門的発信者, 調停的発信者の 2 つ以上が注釈される可能性があることに注意されたい，組織発信者側を重視する場合に限り，組織発信者を抽出しているため, 表 16 における組織発信者の数は, 表 6 における組織発信者側を重視する場合の数に相当する。したがって，著者としての発信者における組織発信者の割合は, サーベイレポート要約で約 $72.7 \%(2,217 / 3,049)$, 調停要約コーパスで約 $61.8 \%(1,990 / 3,221)$ となり, 一般に 6 割から 7 割程度であると考えられる。また, 同一発信者が存在すると注釈された個人発信者と組織発信者は，それぞれ， 691 と 1,183 であった. サーベイレポートコーパスと同じく, 調停要約コーパスにおいても, 同一発信者は無視できない割合で存在している.

## 4.4.6 作業ログに関する考察

表 17 に, 作業ログを元にした, 各段階における作業者の行動の回数を示す. 作業ログは, 図 9 に示すように，マウスやキーボードの操作レベルで記録されているが，表 17 では, その操作がもたらす効果のレベルで示している。また, 文書から文字列を絞り込む過程に関連する作業段階と行動に限定している.

一般に, 下方向のスクロールに対する上方向へのスクロールの割合が大きいほど, 文書を何度も読み返していると考えられる。対立関係にある言明を抽出する T2.では約 $21.0 \%(39,795 / 189,079)$,調停記述を抽出する T5. では約 $14.9 \%(39,412 / 265,347)$ であったのに対し, 情報発信者を抽出する T6. では $54.1 \%(58,894 / 108,855)$ という高い值であった. 一般に, 後の作業では, 前の作
表 17 各段階における作業者の行動の回数

業で既に読んだ文書に対して作業を行うため，読み返す必要性は低下すると考えられる．T6.で上方向へのスクロールの割合が高かった理由は，以下のように考えられる．4.3.6節で述べたように，T6.では，情報発信者の名称，専門的発信者, 調停的発信者を判断する手掛かりとなった表現を抽出するよう指示している。手掛かり表現は文書中に散在しているため, 3 種類の手掛かり表現を求めて文書内を探した結果，上方向へのスクロールの割合が高くなったと考えられる.

また，どの作業段階においても，抽出した文字列を取り消す行動が無視できない割合で存在している。対立関係にある言明の抽出では約 $18.1 \%(1,651 / 9,139)$, 調停パッセージの抽出では約 $23.8 \%(527 / 2,218)$, 情報発信者の抽出では約 $16.7 \%(664 / 3,978)$ であった．抽出した文字列を取り消すという行動は，必ずしも作業者が熟慮した上で行われているわけではないであろうが，取り消す行動の割合が高いほど，作業者の判断を摇らがせるような作業であった可能性がある．仮にそうであったとするならば，情報発信者の抽出に比べて，調停パッセージの抽出は判断が難しい作業であったといえる.

## 5 関連研究

コーパス構築に関する研究には以下のものがある，飯田ら（2010）は, 新聞記事を対象に, 述語項構造・共参照タグを付与する基準について報告し, 事態性名詞のタグ付与において, 具体物のタグ付与と項のタグ付与を独立して行うことで作業品質を向上させている. 宮崎ら (2010) は, Web 文書を対象に，製品の様態と評価を分離した評判情報のモデルを提案し，評判情報コーパスを構築する際の注釈者間の注釈摇孔を削減する方法について論じている。しかしながら，これらのコーパス構築の目的は, 本研究の目的である情報信憑性判断支援のための要約と異なる.

文書の書き手の意見を理解できるよう支援することを目的としてアノテーションを行う研究として, Weibe et al. (2005), 西原ら (西原, 伊藤, 大澤 2011), 松吉ら (松吉他 2010)などの研究がある. Wiebe et al. (2005) は, 意見や感情などの private state を人手でアノテーションする方法を提案し，新聞記事を対象としたMPQAコーパスにアノテーションを行った。西原ら （2011）は，文書の書き手の意見を理解することを支援するために，文書においてアノテーションを付与すべき文を推薦するシステムを提案した，松吉ら (2010) は，書き手が表明する真偽判断, 価値判断等の, 事象に対する総合的な情報を表す夕グ体系を提案し, この夕グ体系に基づくコーパスを基礎とした解析システムを開発した. Wiebe et al., 西原ら, 松吉らの研究の目的は, 本研究の目的である信憑性判断支援と関連があるが, 本研究が支援のための手段として要約を対象としている点で異なる。

要約を目的としてコーパスを構築した研究としては, Radev et al. (2004), 綾ら (綾, 松尾,岡崎, 橋田, 石塚 2005), 伊藤ら (伊藤, 斎藤 2004) などの研究がある. Radev et al. (2004) は, RST (Rhetorical Structure Theory)を文書間関係に拡張した CST (Cross-document Structure Theory)を提唱し，CSTの関係をアノテーションしたCST Bankの構築を行った。綾ら (2005) は, セマンティックオーサリングで得られたグラフを想定し, 修辞関係等を明示的に与えた複数文書に対し要約を作成する手法を提案した. しかしながら, Radev et al. や綾らは Web 文書ではなく新聞記事を対象としている。伊藤ら (2004)は, 汎用アノテーション記述言語 MAMLを提案し, 複数メール要約や動画像の検索・要約を行う研究を行っている. メーラやブラウザ等を利用する際に入力されたデータをアノテーションデータとすることで, 利用者が特に意識せずともアノテーションデータを生成できるようにした. 本研究では, 情報信憑性判断支援のための要約という新しい要約概念を対象とするため, 要約の生成過程を調査する必要があり, そのためのアノテーションを行っている点で異なる.

テキストの表層的な情報を使うだけでは十分に解決できない, より深い言語処理課題においては, アノテーションの際に，アノテーションの結果だけではなく, 作業者がどのような情報を利用してアノテーションを行ったかといったアノテーション中の過程にも関心を払うことの重要性が, 徳永ら (徳永, 飯田 2013) や光田ら (光田他 2013) により指摘されている. 本研究で

は, 重要記述の絞り込みの過程や, 抽出の手掛かりとなった記述, 作業中の疑問点のメモ, 操作レベルの作業ログといった，要約作成の過程に関するアノテーションを行っており，これらの情報を分析して得られた知見に基づいて調停要約生成システムの開発を行っている.

Web 文書を情報源としてコーパスを構築する研究として, Ptaszynski et al. (2012), 鍜治ら (鍜治, 喜連川 2008), 関口ら (関口, 山本 2003) などの研究がある. Ptaszynski et al. (2012)は,日本語のブログを自動収集して構築した，3.5 億文からなるコーパス YACIS に対して自動的に感情情報を付与した．鍜治ら (2008)は，大規模な HTML 文書集合から評価文を自動収集する手法を提案し, 約 10 億件の HTML 文書から約 65 万文からなる評価文コーパスを自動的に構築した. 関口ら (2003) は, Web 文書中のリンク情報を手掛かりとして連鎖的に Web 文書を収集し,単語や格フレームの異なり数の点で良質なコーパスを自動的に構築した. Ptaszynski et al., 鍜治ら, 関口らの研究で構築されたコーパスは, 不特定トピックの Web 文書集合を自動的に収集して構築したものであり，着目言明に関連した Web 文書集合を人手で収集して構築した本研究のコーパスと性質が異なる.

アノテーションの対象となる文書集合を決定する方法として，文書そのものを新しく作成する橋本ら (2011)の方法や, 適合文書に必須となる情報を用いる吉岡ら (吉岡, 神門 2012)の方法がある。橋本ら (2011)は，ブログを対象とした自然言語処理の高精度化に寄与することを目的として，81名の大学生に 4 つのテーマで執筆させた 249 記事のブログに, 文境界, 形態素, 係り受け，格・省略・照応，固有表現，評価表現に関するアノテーションを行った．本研究でも，自由記述要約として作業者が理想の要約文書を作成しているが, 同時に, 表層の一致による評価を行うために, Web 文書の重要記述を組み合わせた抜粋要約を作成する必要があり, 要約対象となる Web 文書集合を決定する必要があった。吉岡ら (2012)は，質問応答を目的としたテストコレクションの構築において，適合文書に必須の情報である回答を用いて検索することで，一定以上の網羅性を担保したテストコレクションが作成できる可能性を示した. しかしながら，本研究では, 情報信憑性判断支援のための要約において必須の情報が不明であったため, 適切な検索クエリを調査する必要があり，作業で用いられた検索クエリをコーパスに収録している。

情報信憑性判断支援のための要約に関するコーパス構築と分析は, Nakano et al. (2010), 渋木ら (2011) でも行っている. Nakano et al., 渋木らの分析結果は本研究の一部と共通しているが，本研究では，さらに情報発信者や作業ログ等に関する分析を進めている.

## 6 おわりに

本論文では, 情報信憑性判断支援のための要約に関する研究を行う上で基礎となる分析・評価用のコーパスを 3 年間で延べ 4 回構築した結果について, 現時点での試行の 1 つであるが報告した。情報信憑性判断支援のための要約では, 利用者が着目する言明の信憑性を判断する上

で必要となる情報を Web 文書から探し出し, 要約・整理して提示する. 情報信憑性判断支援のための要約の基礎となるコーパス構築においては, 人間の要約過程を観察するための情報と,性能を評価するための正解情報が求められており，両方の情報を満たすタグセットとタグ付与の方法について説明した。また, 全数調査が困難な Web 文書を要約対象とする研究において, タグ付与の対象となる文書集合をどのように決定するかといった問題に対して, 評価型ワークショップのテストコレクション構築で用いられるプーリングを参考とした方法を述べた.

本論文で構築したコーパスを一般公開することは, 収集した Web 文書の再配布が著作権の観点から法律上の問題がある可能性があるため, 現時点では難しい. 今後, NTCIR の WEB テストコレクションや言論マップコーパス ${ }^{13}$ の配布方法などを参考に公開の方法を検討していきたいと考えている。また, 本コーパスは, 人間の要約の作成過程を分析する上で豊富な情報を含んでいるが，その分析は充分に行われていない，今後は，さらに詳細な分析を行い，その結果を要約生成システムに反映させたいと考えている。

## 謝 辞

本研究の一部は, JSPS 科研費 25330254 , ならびに, 横浜国立大学大学院環境情報研究院共同研究推進プログラムの助成を受けたものである.

## 参考文献

Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Inui, K., Kurohashi, S., and Kidawara, Y. (2009). "WISDOM: A Web Information Credibility Analysis System." In the ACL-IJCNLP 2009 Software Demonstrations, pp. 1-4.

Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Leon-Suematsu, Y. I., Kawada, T., Inui, K., Kurohashi, S., and Kidawara, Y. (2010). "Organizing Information on the Web to Support User Judgments on Information Credibility." In the 4th International Universal Communication Symposium (IUCS2010), pp. 123-130.

綾聡平, 松尾豊, 岡崎直観, 橋田浩一, 石塚満 (2005). 修辞構造のアノテーションに基づく要約生成. 人工知能学会論文誌, $20(3)$, pp. 149-158.

Buckley, C., Dimmick, D., Soboroff, I., and Voorhees, E. (2007). "Bias and the Limits of Pooling for Large Collections." Information Retrieval, 10 (6), pp. 491-508.


Ennals, R., Trushkowsky, B., and Agosta, J. M. (2010). "Highlighting Disputed Claims on the Web." In the 19th International World Wide Web Conference (WWW 2010), pp. 341-350.

Finn, A., Kushmerick, N., and Smyth, B. (2001). "Fact or fiction: Content Classification for Digital Libraries." In the Second DELOS Network of Excellence Workshop on Personalisation and Recommender Systems in Digital Libraries, pp. 18-20.

藤井敦 (2008). OpinionReader：意思決定支援を目的とした主観情報の集約・可視化システム.電子情報通信学会論文誌 (D), J91-D (2), pp. 459-470.

橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明 (2011). 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, $18(2)$, pp. 175-201.

飯田龍, 小町守, 乾健太郎, 松本裕治 (2010). 述語項構造と照応関係のアノテーション：NAIST テキストコーパス構築の経験から. 自然言語処理, 17 (2), pp. 25-50.

伊藤一成, 斎藤博昭 (2004). アノテーションの副次生成とテキスト処理への応用. 日本デー夕

ベース学会論文誌 DBSJ Letters, 3 (1), pp. 117-120.

鍜治伸裕，喜連川優 (2008). HTML 文書集合からの評価文の自動収集. 自然言語処理, 15 (3), pp. $77-90$.

Kaneko, K., Shibuki, H., Nakano, M., Miyazaki, R., Ishioroshi, M., and Morii, T. (2009). "Mediatory Summary Genaration: Summary-Passage Extraction for Information Credibility on the Web." In the 23rd Pacific Asia Conference on Language, Information and Computation, pp. 240-249.

加藤義清, 河原大輔, 乾健太郎, 黒橋禎夫, 柴田知秀 (2010). Web ページの情報発信者の同定.人工知能学会論文誌, 25 (1), pp. 90-103.

河合剛巨, 岡嶋穣, 中澤聡 (2007). Web 文書の時系列分析に基づく意見変化イベントの抽出. 言語処理学会第 17 回年次大会発表論文集, pp. 264-267.

Lin, C.-Y. and Hovy, E. (2003). "Automatic Evaluation of Summaries Using N-gram CoOccurrence Statistics." In the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology - Volume 1 (NAACL'03), pp. 71-78.

松本章代, 小西達裕, 高木朗, 小山照夫, 三宅芳雄, 伊東幸宏 (2009). 文末表現を利用したウェブページの主観・客観度の判定. 第 1 回データ工学と情報マネジメントに関するフォーラム (DEIM), A5-4.

松吉俊, 江口萌, 佐尾ちとせ, 村上浩司, 乾健太郎, 松本裕治 (2010). テキスト情報分析のための判断情報アノテーション. 電子情報通信学会論文誌 (D), J93-D (6), pp. 705-713.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bringing Order into Texts." In the Conference on Empirical Methods in Natural Language Processing (EMNLP 2004), pp. 404-411.
光田航, 飯田龍, 徳永健伸 (2013). テキストアノテーションにおける視線と操作履歴の収集と分析. 言語処理学会第 19 回年次大会発表論文集, pp. 449-452.

宮崎林太郎，森辰則 (2010). 注釈事例参照を用いた複数注釈者による評判情報コーパスの作成.自然言語処理, $\mathbf{1 7}(5)$, pp. 3-50.

Miyazaki, R., Momose, R., Shibuki, H., and Mori, T. (2009). "Using Web Page Layout for Extraction of Sender Names." In the 3rd International Universal Communication Symposium (IUCS 2009), pp. 181-186.

Murakami, K., Nichols, E., Mizuno, J., Watanabe, Y., Masuda, S., Goto, H., Ohki, M., Sao, C., Matsuyoshi, S., Inui, K., and Matsumoto, Y. (2010). "Statement Map: Reducing Web Information Credibility Noise through Opinion Classification." In the Fourth Workshop on Analytics for Noisy Unstructured Text Data (AND 2010), pp. 59-66.

中野正宽, 渋木英潔, 宮崎林太郎, 石下円香, 森辰則 (2008). 情報信憑性判断のための自動要約に向けた人手による要約作成実験とその分析. 自然言語処理研究会報告 2008-NL-187, pp. 107-114.

中野正宽, 渋木英潔, 宮崎林太郎, 石下円香, 金子浩一, 永井隆広, 森辰則 (2011). 情報信憑性判断支援のための直接調停要約生成手法. 電子情報通信学会論文誌 (D), J94-D (11), pp. 1019-1030.

Nakano, M., Shibuki, H., Miyazaki, R., Ishioroshi, M., Kaneko, K., and Mori, T. (2010). "Construction of Text Summarization Corpus for the Credibility of Information on the Web." In the 7th Language Resources and Evaluation Conference (LREC 2010), pp. 3125-3131.

西原陽子, 伊藤彩, 大澤幸生 (2011). 意見の理解を支援するアノテーションシステム. マイニングツールの統合と活用\&情報編纂研究会 (TETDM-01-SIG-IC-06-01), pp. 1-6.

Ptaszynski, M., Rzepka, R., Araki, K., and Momouchi, Y. (2012). "Automatically Annotating A Five-Billion-Word Corpus of Japanese Blogs for Sentiment and Affect Analysis." In the 3rd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 89-98. Radev, D., Otterbacher, J., and Zhang, Z. (2004). "CST Bank: A Corpus for the Study of Cross-document Structural Relationships." In the 4th International Language Resourace and Evaluation (LREC'04), pp. 1783-1786.

関口洋一, 山本和英 (2003). Web コーパスの提案. 情報処理学会研究報告, NL157-17/FI72-17.渋木英潔, 中野正寞, 宮崎林太郎, 石下円香, 鈴木貴子, 森辰則 (2009). 情報信憑性判断のための要約に関する基礎的検討. 言語処理学会第 15 回年次大会発表論文集, pp. 123-130.

渋木英潔, 中野正寞, 宮崎林太郎, 石下円香, 永井隆広, 森辰則 (2011). 調停要約のための正解コーパスの作成とその分析. 言語処理学会第 17 回年次大会発表論文集, pp. 364-367.

涉木英潔, 永井隆広, 中野正寛, 石下円香, 松本拓也, 森辰則 (2013). 情報信馮性判断支援の
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーションための対話型調停要約生成手法. 自然言語処理, 20 (2), pp. 75-103.

Shibuki, H., Nagai, T., Nakano, M., Miyazaki, R., Ishioroshi, M., and Mori, T. (2010). "A Method for Automatically Generating a Mediatory Summary to Verify Credibility of Information on the Web." In the 23rd International Conference on Computational Linguistics (COLING 2010), pp. 1140-1148.

Shinzato, K., Shibata, T., Kawahara, D., Hashimoto, C., and Kurohashi, S. (2008). "TSUBAKI:

An Open Search Engine Infrastructure for Developing New Information Access Methodology." In the Third International Joint Conference on Natural Language Processing, pp. 189-196.

徳永健伸, 飯田龍 (2013). アノテーションのためのアノテーション. 言語処理学会第 19 回年次大会発表論文集, pp. 70-73.

Wiebe, J., Wilson, T., and Cardie, C. (2005). "Annotating Expressions of Opinions and Emotions in Language." Language Resources and Evaluation, 39 (2-3), pp. 165-210.

山本祐輔，田中克己 (2010). デー夕対間のサポート関係分析に基づく Web 情報の信憑性評価.情報処理学会論文誌 : データベース, $\mathbf{3}(2)$, pp. 61-79.

吉岡真治, 原口誠 (2004). イベントの参照関係に注目した新聞記事の複数文書要約. 言語処理学会第 10 回年次大会発表論文集, pp. 257-260.

吉岡真治, 神門典子 (2012). タスクを考慮した情報検索テストコレクション構築に関する考察.情報アクセスシンポジウム 2012 , pp. 1-7.

## 付録

## Aサーベイレポートコーパスのタグー覧と文書型定義

サーベイレポートコーパスに収録された Web 文書と抜粋要約のタグの一覧を，表 18 と表 19 にそれぞれ示す。また, 文書型定義を, 図 12 と図 13 にそれぞれ示す.

表 18 サーベイレポートコーパスに収録された Web 文書の夕グの一覧

 &  \\

渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

表 19 サーベイレポートコーパスに収録された抜粋要約の夕グの一覧

図 12 サーベイレポートコーパスに収録された Web 文書の文書型定義

<!DOCTYPE Data [

<!ELEMENT Data (SurveyReport,HolderList)>

<!ATTLIST Data version CDATA \#FIXED "1.0">

<!ATTLIST Data year CDATA \#FIXED "H20">

$<$ !ELEMENT SurveyReport (Citation |Extra)+>

<!ELEMENT Citation (\#PCDATA)>

<!ATTLIST Citation Fileld CDATA \#REQUIRED>

<!ATTLIST Citation Passageld CDATA \#REQUIRED>

<!ATTLIST Citation BeginPoint CDATA \#REQUIRED>

<!ATTLIST Citation HolderId CDATA \#REQUIRED>

$<$ !ATTLIST Citation HolderName CDATA \#REQUIRED>

<!ELEMENT Extra (\#PCDATA)>

$<$ !ELEMENT HolderList (Holder*)>

<!ELEMENT Holder EMPTY>

<!ATTLIST Holder Globalld CDATA \#REQUIRED>

<!ATTLIST Holder GlobalName CDATA \#REQUIRED>

<!ATTLIST Holder P1Element CDATA \#REQUIRED>

<!ATTLIST Holder O1Element CDATA \#REQUIRED>

<!ATTLIST Holder P2Element CDATA \#REQUIRED>

<!ATTLIST Holder O2Element CDATA \#REQUIRED>

$<$ !ATTLIST Holder OrgHolder (0|1)>

<!ATTLIST Holder SameHolder CDATA \#REQUIRED>

]$>$

図 13 サーベイレポートコーパスに収録された抜粋要約の文書型定義

## B 抜粋要約中の論点の一覧

3.4.3 節で述べた作業者間の一致率に関する考察として行った, 第 2 回のサーベイレポートコーパスに収録された抜粋要約中の論点数を調査した結果を，表 20 から表 24 にそれぞれ示す.

表 20 「レーシック手術は痛みがある」に関する抜粋要約中の論点の一覧

表 21 「無洗米は水を污さない」に関する抜粋要約中の論点の一覧

表 22 「無洗米はおいしい」に関する抜粁要約中の論点の一覧

 & & & $\bigcirc$ & \\

表 23 「アスベストは危険性がない」に関する抜粋要約中の論点の一覧

表 24 「キシリトールは虫歯にならない」に関する抜粋要約中の論点の一覧

 & $\bigcirc$ & & $\bigcirc$ & $\bigcirc$ \\

## Ｃ調停要約コーパスのタグー覧と文書型定義

調停要約コーパスに収録された Web 文書のタグの一覧を表 25 と表 26 に，抜粋要約のタグの一覧を表 27 にそれぞれ示す。また, 文書型定義を, 図 14 と図 15 にそれぞれ示す.

表 25 調停要約コーパスにおける Web 文書の夕グの一覧（前半）

表 26 調停要約コーパスにおける Web 文書の夕グの一覧（後半）

渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

表 27 調停要約コーパスにおける調停要約文書の夕グの一覧

## $<$ !DOCTYPE Data [

<!ELEMENT Data (Fileld, StatementList, MediationList, MediationKeyExpression-

List,SenderList, SenderKeyExpressionList, SenderExpertKeyExpressionList, SenderMedi-

ationKeyExpressionList, Text)>

<!ATTLIST Data version CDATA \#FIXED "3.0">

<!ATTLIST Data year CDATA \#FIXED "H22">

$<$ !ELEMENT Fileld (\#PCDATA)>

$<$ :ATTLIST Fileld Common (0|1)>

$<$ !ATTLIST Fileld HasConflict (0|1)>

$<$ !ATTLIST Fileld HasMediation (0|1)>

$<$ !ATTLIST Fileld HasSender (0|1)>

<!ELEMENT StatementList (Statement*)>

$<$ !ELEMENT Statement (\#PCDATA)>

$<$ !ATTLIST Statement Sentenceld CDATA \#REQUIRED>

<!ATTLIST Statement Start CDATA \#REQUIRED>

$<$ !ATTLIST Statement Length CDATA \#REQUIRED>

$<$ !ELEMENT MediationList (Mediation*)>

$<$ !ELEMENT Mediation (\#PCDATA)>

<!ATTLIST Mediation Type CDATA \#FIXED "Direct">

<!ATTLIST Mediation Sentenceld CDATA \#REQUIRED>

$<$ !ATTLIST Mediation Start CDATA \#REQUIRED>

$<$ !ATTLIST Mediation Length CDATA \#REQUIRED>

<!ELEMENT MediationKeyExpressionList (MediationKeyExpression*)>

<!ELEMENT MediationKeyExpression EMPTY>

<!ATTLIST MediationKeyExpression Sentenceld CDATA \#REQUIRED>

<!ATTLIST MediationKeyExpression Start CDATA \#REQUIRED>

<!ATTLIST MediationKeyExpression Length CDATA \#REQUIRED>

<!ELEMENT SenderList (Sender*)>

$<$ !ELEMENT Sender (\#PCDATA)>

$<$ !ATTLIST Sender Type CDATA \#FIXED "Page">

$<$ !ATTLIST Sender Sentenceld CDATA \#REQUIRED>

$<$ !ATTLIST Sender Start CDATA \#REQUIRED>

$<$ !ATTLIST Sender Length CDATA \#REQUIRED>

$<$ !ATTLIST Sender IsOrganization (0|1)>

$<$ !ATTLIST Sender IsExpert (0|1)>

$<$ !ATTLIST Sender IsMediator (0|1)>

<!ELEMENT SenderKeyExpressionList (SenderKeyExpression*)>

$<$ !ELEMENT SenderKeyExpression (\#PCDATA)>

<!ATTLIST SenderKeyExpression Sentenceld CDATA \#REQUIRED>

<!ATTLIST SenderKeyExpression Start CDATA \#REQUIRED>

$<$ !ATTLIST SenderKeyExpression Length CDATA \#REQUIRED>

<!ELEMENT SenderExpertKeyExpressionList (SenderExpertKeyExpression*)>

$<$ !ELEMENT SenderExpertKeyExpression (\#PCDATA)>

<!ATTLIST SenderExpertKeyExpression Sentenceld CDATA \#REQUIRED>

<!ATTLIST SenderExpertKeyExpression Start CDATA \#REQUIRED>

<!ATTLIST SenderExpertKeyExpression Length CDATA \#REQUIRED>

<!ELEMENT SenderMediationKeyExpressionList (SenderMediationKeyExpression*)>

$<$ !ELEMENT SenderMediationKeyExpression (\#PCDATA)>

<!ATTLIST SenderMediationKeyExpression Sentenceld CDATA \#REQUIRED>

<!ATTLIST SenderMediationKeyExpression Start CDATA \#REQUIRED>

<!ATTLIST SenderMediationKeyExpression Length CDATA \#REQUIRED>

$<$ !ELEMENT Text (Sentence)+>

$<$ !ELEMENT Sentence (\#PCDATA)>

$<$ !ATTLIST Sentenceld CDATA \#REQUIRED>

]>

図 14 調停要約コーパスに収録された Web 文書の文書型定義
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

図 15 調停要約コーパスに収録された抜粋要約の文書型定義

## 略歴

渋木英潔：1997 年小樽商科大学商学部商業教員養成課程卒業. 1999 年同大学大学院商学研究科修士課程修了. 2002 年北海道大学大学院工学研究科博士後期課程修了. 博士 (工学). 2006 年北海学園大学大学院経営学研究科博士後期課程終了. 博士 (経営学). 現在, 横浜国立大学環境情報研究院科学研究費研究員. 自然言語処理に関する研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 日本認知科学会各会員.

中野正寛 : 2005 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 2011 年同専攻博士課程後期単位取得退学. 修士 (情報学). 2011 年から 2012 年まで同学府研究生. この間, 自然言語処理に関する研究に従事.

宮崎林太郎：2004 年神奈川大学大学院理学研究科情報科学専攻博士課程前期修了. 2011 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程後期修了. 博士 (情報学). 在学中は, 自然言語処理に関する研究に従事.

石下円香：2009 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程後期修了. 現在, 国立情報学研究所特任研究員. 博士 (情報学). 自然言語処理に関する研究に従事. 言語処理学会, 人工知能学会各会員.

金子浩一：2008 年横浜国立大学工学部電子情報工学科卒業. 2010 年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 修士（情報学). 在学中は自然言語処理に関する研究に従事.

永井隆広：2010 年横浜国立大学工学部電子情報工学科卒業. 2012 年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 修士（情報学). 在学中は自然言語処理に関する研究に従事.

森辰則：1986 年横浜国立大学工学部情報工学科卒業. 1991 年同大学大学院工学研究科博士課程後期修了. 工学博士. 同年, 同大学工学部助手着任. 同講師, 同助教授を経て, 現在, 同大学大学院環境情報研究院教授. この間, 1998 年 2 月より 11 月まで Stanford 大学 CSLI 客員研究員. 自然言語処理, 情報検索, 情報抽出などの研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 人工知能学会, ACM 各会員.