# ファクトチェック支援のための含意関係認識システム

栗原健太郎
早稲田大学基幹理工学部
kkurihara@akane.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

2016 年アメリカ大統領選挙以降、フェイクニュー スという言葉が世界中に浸透している。フェイクニュースとは虚偽の情報で作られたニュース、すなわちデマ情報を意味する言葉であり、フェイクニュースという言葉の拡大は、政治家の発言や現地メディアの報道の真実性に関する議論を勃発させていた。しかし、それら発言や報道が、時として大統領選挙の結果などの重要な局面で大きな影響を与えうる。故に、報道機関では不正のない正当な情報の提供のために、発信する情報の真実性の向上と外部の言説の適切な利用を目的としたファクトチェックの需要が高まっている。

しかしファクトチェックは、昨今のニュースの情報源の膨大さ故に大変な労力を要する作業である。日本においても、 $\mathrm{InFact}^{11}$ や毎日新聞などのジャーナルが積極的なファクトチェックを行っているが、ファクトチェックの自動化が実現していない現状においては、 その作業は人手や時間のかかる作業となっている。本研究では、含意関係認識を活用したファクトチェック支援システムを考える。システムの概略図を図 1(a) に示す。本システムは以下のフローで構成される。

1. 疑義言説について関連する文書集合を取得

2. 疑義言説とその関連文書の含意関係認識

ここで疑義言説とは、ファクトチェックの対象となる真実かどうか疑わしい言説である。本研究では疑義言説を 1 文で表せるものとする。

本研究では、上記フローのうち、2の含意関係認識のステップ (図 1(b)) の実現を目指す。このステップは疑義言説と関連文書との含意関係認識であるが、既存の含意関係認識リソースは文ペアを対象にしており、 これらを利用することが難しい。そこで、本研究では、このステップを実現するための要素技術として、

1) https://infact.press/疑義言説 1 文と関連文書中の 1 文との含意関係認識を行うシステム (図 1(c))を構築する。このシステムを NLIFC (NLI system for FactCheck) と呼ぶ。

NLIFC の訓練・評価のためにデータセットを構築した。これを FCSNLI (FactCheck Sentence NLI デー タセット) と呼ぶ。SNLI [1] や MultiNLI [2] などの既存の含意関係認識データセットでは、文ペアが contradiction (矛盾)", “entailment (含意)”, “neutral (中立)” のいずれかのラベルをもち、2 文間には何らかの関係性がある。しかし、ファクトチェックにおいては、疑義言説と関連文書中の 1 文がまったく関係ないことも多い。そこで、FCSNLI のラベルは、上記 3 ラベルに “unrelated (無関係)”を加えた 4 ラベルとする。訓練データは、既存 3 ラベルの識別性能向上を目的として SNLI の和文翻訳データセットである JSNLI [3] “unrelated” ラベルの識別性能向上を目的としてニュー ス記事のコーパス、数値表現の識別性能向上を目的とした擬似データの 3 種類から構成する。評価データは、ファクトチェック・イニシアティブ (FIJ) が提供する疑義言説データベースに掲載されている疑義言説を基に作成する。

NLIFC のモデルは文脈言語モデル BERT [4]を用いる。実験の結果、FCSNLI の 4 ラベルにおける F1 值は 0.653、“unrelated”以外の 3 ラベルのみにおける F1 值は 0.538 となった。本研究における提案手法および構築したデータセットは、含意関係認識システムを活用したファクトチェック支援の第一歩になると考えている。

## 2 関連研究

田上ら [5] はファクトチェックすべきニュース記事 (要検証記事) の探索支援に関する研究を行っている。具体的には、ファクトチェックをするべきであるニュース記事の選別のための端緒情報の特定、および特定した端緒情報を利用したニュース記事の検証必要度のランク付けによる要検証記事の探索支援の仕組みを構築している。本稿では、このような仕組みによっ
(a)

図1ファクトチェック支援システムの概略図

て抽出された要検証記事のファクトチェックを図 1 のフローで支援することを想定し、疑義言説と関連文書の含意関係認識システム構築の前段階として、疑義言説と関連文書中の文との含意関係認識システムを提案する。

## 3 ファクトチェック支援のための 含意関係認識システム

ファクトチェック支援のための含意関係認識システムとして NLI system for FactCheck (NLIFC) を提案する。本モデルは図 1(c)、すなわち疑義言説と関連文書中の文の 2 文間の含意関係認識を行うシステムである。本研究では、疑義言説は 1 文で表されるものを扱うので疑義言説文、関連文書中の文をリソース文と呼ぶ。

提案モデルは BERT (Bidirectional Encoder Representations from Transformers) [4] をべースとする。本研究では BERT 日本語 Pretrained モデル [6] を使用し、ファクトチェック支援への活用に向けた含意関係認識夕スクで fine-tuning する。本タスクにおける fine-tuning のために、4 節で述べる FCSNLI 訓練データを用いる。入力はリソース文と疑義言説文の 2 文であり、出力ラベルは "contradiction", "entailment", "neutral", “unrelated”の 4 ラベルのいずれかである。

リソース文と疑義言説文は形態素解析器 Juman $++^{2)}$ で分かち書きを行ったトークン列を入力とし、リソー ス文と疑義言説文の間に [SEP] トークンを追加している。

## 4 ファクトチェック支援に向けた 含意関係認識データセットの構築

NLIFC の訓練および評価を行うデータセットとして、FCSNLIを構築する。本データセットのラベルは 1 節で述べたとおり、“contradiction”, “entailment,

2) http://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B\%2B "neutral", "unrelated”の 4 ラベルとした。

## 4.1 訓練データ

FCSNLI 訓練データは以下の 3 つのデータセットから構成する。
- JSNLI (contradiction: 182964, entailment: 182583, neutral: 182467, unrelated: 0 )

・ unrelated データセット (contradiction: 0 , entailment: 0 , neutral: 0 , unrelated: 180000 )

$\cdot$ figure データセット (contradiction: 248556, entailment: 248556, neutral: 30360, unrelated: 0)

unrelated データセットは、JSNLI データに含まれていない unrelated ラベルのデータを追加する目的で構築したデータセットである。データのペアのうち一方は livedoor ニュースコーパスの文を使用し、他方には JSNLI データセットの文を使用した。figure データセットは、NLIFC の数値表現の認識性能向上を目的として作成した擬似データセットである。リソース文・疑義言説文の数値を変化させ、対応する正解ラべルを与えることで擬似データの生成を行った。figure データセットの例を付録の表 6 に示す。

## 4.2 評価データ

FCSNLI 評価データはファクトチェック・イニシアティブ (FIJ) が提供する疑義言説データベース ClaimMonitor2 に掲載されている疑義言説のうち、 Infact や毎日新聞などのジャーナルが検証を行った言説を基に構築した。データセットの構築は以下の 2 点に留意した上で人手で行った。

1. 人には容易に含意関係認識が可能となるようなデータセット

2. 既存の NLI データセットよりも平均文字数が多くなるような文のペアのデータセット

これらは、既存の NLI データセットにおける以下の特

 &  \\

表 1 FCSNLI 評価データの例

表 $2 \mathrm{JSNLI} \cdot \mathrm{FCSNLI}$ における文の平均文字数

徴との差別化を図ったものである。

1. ペアに無関係のものがほとんど含まれていない。

2. 文の平均文字数が短い。

FCSNLI 評価データの例を表 1 に示す。データ数は開発 (dev) データが 305 ペア、テスト (test) データが 200 ペアとなっており、ラベルの比率は unrelated: 既存 3 ラベル $=4: 1$ である。文の平均文字数は表 2 のように JSNLI と比較して多くなった。

## 5 含意関係認識システムの評価実験

## 5.1 実験設定

NLIFC の構築にあたって、BERT の学習の際のハイパーパラメータを付録の表 7 に示す。また、NLIFC の性能評価のため、figure データセットを除いて fine-tuning したモデル (以下 NLIFC - figure) と、JSNLI データセットのみを用いて fine-tuning したモデル (以下 NLIFC - unrelated - figure) も同様の設定で構築する。

モデルの性能評価には FCSNLI と JSNLI の 2 つの評価データを使用した。このうち JSNLI は unrelated 以外の 3 ラベルで構成されているデータセットであるため、NLIFC と NLIFC - unrelated - figure の比較を通じて unrelated の学習が与える既存 3 ラベルの識別性能への影響の調査が可能となる。精度の測定に関して、 JSNLI データセットについては正答率をスコアとし、 FCSNLI データセットについてはマイクロ平均により算出した $\mathrm{F}$ 値をスコアとしており、3ラベルデータのスコア算出は unrelated データ以外について行った。

## 5.2 結果・考察

FCSNLI の全てのデータで訓練した結果を表 3 の NLIFC の行に示す。提案手法は JSNLI データセットにおいて、精度 0.922 を達成しており、JSNLI モデルのスコアとわずか $0.5 \%$ 差であることから、unrelated の学習に伴う 3 ラベルの識別性能の低下は生じていないことを示している。また、FCSNLI - test の 4 ラベルデータで評価した結果は 3 ラベルデータで評価した結果と比較して 11.5 ポイント上回っている。これは NLIFC の unrelated ラベルの識別性能が他の 3 ラベルの識別性能よりも性能が高いことを示している。一方で 3 ラベルデータにおける 0.538 というスコアは、 JSNLI タスクで高精度を達成している BERT も、ファクトチェック支援などの実応用における含意関係認識に関しては性能が不十分であることを示している。

NLIFC の予測例を表 4 に示す。(1)のようにリソー ス文の肯定表現と疑義言説の否定表現を正しく認識できた例が得られた一方で、(2)(3) のように “entailment” と判定してしまう誤り例も得られた。これはリソース文と疑義言説文とで一致する表現が多いことから否定表現の認識が適切に行われず“entailment” と判定しまったと考えられる。次に (4) のようにリソース文あるいは疑義言説文が長文である場合の誤り例も多く見られた。これは長文における文脈の考慮が正確にできていないことに起因していると考えられる。(5)はリソース文の前半の「新型コロナ〜論文が存在する一方で」と疑義言説文との含意関係は “entailment”、リソース文の後半の節「WHO は〜続いている。」と疑義言説文との含意関係は “contradiction” となるという問題であり、このような節ごとに異なる含意関係を持つデータに関しても誤った判定をしていた。

表 3 評価結果

 \\

表 4 NLIFC の予測例

 & リソース文 & 疑義言説文 \\

表 5 NLIFC と NLIFC - figure の予測例

## 5.3 Ablation 実験

NLIFC 構築において fine-tuning に用いた figure デー タセットが与えた影響に関して考える。NLIFC から figure データセットを除いて学習したモデル (NLIFC figure) の評価結果を表 5 に示す。開発データ同士での比較ではほとんどスコアに差はなかったものの、テストデータにおいては NLIFC が NLIFC - figure のスコアを、4 ラベル評価・3 ラベル評価の両方で上回った。この結果は figure データセットの有効性を示している。各モデルの出力例を表 5 に示す。( I ) の他 3 件の正解ラベルが “contradiction” の数値表現を含むデー タに関して同様に NLIFC のみが正解できた一方、(II ) の他 2 件の正解ラベルが “neutral” の数値表現を含むデータに関しては NLIFC - figure のみが正解した。 これは、figure データセットの多くが “contradiction” と “entailment”の 2 つのラベルから構成されるため、 neutral の数値表現に関しての学習が不十分であることが考えられる。

## 6 おわりに

本研究では、疑義言説と関連文書との含意関係認識システム構築の前段階として、疑義言説と関連文書中の文との含意関係認識システムとして NLIFC を提案した。また、ファクトチェックへの応用を想定した含意関係認識システムの評価指標として FCSNLI データセットを構築した。

実験結果は、FCSNLI タスクが JSNLI タスクと比較して難易度の高いタスクであることを示している。一方で、提案手法は FCSNLI タスクで $\mathrm{F} 1$ 値 0.653 を達成しており、今後のファクトチェック支援の第一歩になると考えている。今後は、MultiNLIなどのドメインのカバレッジが広い NLI データセットの和文翻訳デー タセットを用いた FCSNLI データセットの拡張による含意関係認識システムの性能向上を図るとともに、 データセット拡張の自動化も検討していく。また、図 1(b) のような疑義言説と複数文から成る関連文書の含意関係認識システムの実現が今後の課題である。

## 参考文献

[1]Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[2]Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3]吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 研究報告自然言語処理 (NL), pp. $1-8,2020$.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]田上翼, 朝野広樹, 楊井人文, 山下亮, 小宮篤史, 藤村厚夫, 町野明徳, 乾健太郎.ファクトチェックを必要とするニュース記事の探索の支援. 言語処理学会第 24 回年次大会, pp. $404-407,2018$.

[6]柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205 208, 2019.

## A 付録

 & "山田君は 3 月 15 日に沖縄に滞在していた。 \\

表 6 figure データセットの例

表 7 ハイパーパラメータの設定値