言語処理学会 第24回年次大会 発表論文集 (2018年3月)

検索エンジンによる上位検索ページを情報源とするフェイクニュース自動検出のためのデータセット作成∗
尾崎 諒介†
前田 竜冶†
宇津呂 武仁‡村瀬 一之†
福井大学 工学部 知能システム工学科† 筑波大学 システム情報系 知能機能工学域‡

1

かどうかを判定するタスクである．このタスクは，機はじめにTwitter や Facebook といった SNS の普及により大量

械翻訳，文書分類をはじめとする自然言語処理のさまの情報を簡単に入手できるようになった．その反面，ざまな研究に広く共通している．
含意関係認識のためのデータセットとして，Stan-その情報には不正確な記述や信憑性の薄い意見が混在しているため，事実かどうかを判断する必要性は高く

ford Natural Language Inference (SNLI) corpus [1]なった．人を欺くために作為的に書かれたニュースをや，SNLI を基にさらに豊富な語彙や含意関係を加えたフェイクニュースと呼ぶ．近年，このフェイクニュー
スの拡散が社会問題となっている．実例の 1 つとしMulti-genre NLI (MultiNLI) [7] が挙げられる．SNLI
データセットは前提文と仮説文の関係を人の手によって，2016 年の米大統領選挙において，Facebook 上でて，含意，中立，矛盾の 3 種類のラベル付けがなされたのフェイクニュース拡散がドナルド・トランプ氏の当約 57 万のデータからなる．このデータセットは，英含選を助けたという非難が Facebook に殺到したという意関係の研究のベンチマークデータセットとして活用件があげられる．フェイクニュースが拡散する背景とされており，自然言語処理技術の発展に貢献している．

しては，インターネットのおかげで不特定多数のユー

しかし，データ内の語彙に大きな偏りがありデータ作ザーが任意の内容を簡単に世界に発信することができるようになり，真実と虚偽の境界が曖昧になってきて成時にバイアスを含んでしまっているため，前提文を無視し仮説文のみを用いたラベル推定が 66%の精度で可能である，という報告 [5] もされている．SNLI をいることが挙げられる．
この動向に伴って，機械学習を用いたフェイクニュー用いた Chen らによるモデル [2] では，BiLSTM ベース自動検出の研究が盛んになりつつある．しかし，未スのモデルに外部からの語彙知識を与えた学習を行うだフェイクニュース検出タスクのための実用的なデーことで，精度 89.1%と人によるテスト精度 87.7% [3]タセットが豊富にあるとは言いがたい．そこで本稿でを上回る結果を残している．

は，有用なデータセットの作成を目的として，人間が2.2

実際に行うフェイクニュース検出の過程を模倣して，フェイクニュース検出タスクも，事実 (前提) とニュー検索エンジンを利用して収集した外部ソースからの情ス記事 (仮説) の関係が正しいかどうかを判定すると報を用いてフェイクニュース検出を行う方式により，いう意味で本質的には，含意関係認識のタスクと言えフェイクニュース検出タスク用のデータセットを作成る．ニュース記事に事実との矛盾があった場合，そのする手法を提案し，その手法を用いて実際に小規模記事はフェイクニュースとみなされる．しかし，あるデータセットを作成した．

事柄が事実かどうかを調べることは容易ではない．[4]2関連研究ではファクトチェックの方法の 1 つとして，記事の主2.1

含意関係認識フェイクニュース検出

要となる主張について外部ソースと比較し真偽を判定する方法を挙げている．本研究においてはこの手法に含意関係認識とは 2 つの文 Text，Hypothesis が与え基づいてのデータセット作成を行う．

られた時，Text から Hypothesis の意味を推論できる

既存のフェイクニュース検出のためのデータセット∗ Developing a Data Set for Fake News Detection based on
Search Results Web Pages† Ryosuke Ozaki, Tatsuya Maeda, Kazuyuki Murase,
School of Engineering, University of Fukui‡ Takehito Utsuro, Faculty of Engineering, Information andSystems, University of Tsukuba

としては，Fake News Challenge (FNC) データセッ
ト，LIAR データセット (4.1 節) [6] などがある．FNC
データは FakeNewsChallenge1というフェイクニュー― 987 ―1 http://www.fakenewschallenge.org/

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ス自動判別のための競技会で公開され使用されたデータである．このデータセットは，実際のニュース記事

FNC データでは記事の見出しと本文間の関係を agree，disagree，discuss，無関係の 4 値に分類したことに対の見出しと本文間の関係を agree，disagree，discuss，して，本論文では，ステートメントと検索結果ページunrelated の 4 値に分類されたデータで構成される．し間の関係は，以下の True，False，関連するが判定不かし，このデータセットは様々な記事の本文と見出し可，無関係の 4 値に分類する．

を組み合わせることによってデータを作成しているた• True — 賛成または同じ主張• False — 反対または偽だと主張

め，必然的に無関係ラベルの数が多くなっており，無関係ラベルデータが全体の約 7 割を占めるといった• 関連するが判定不可 — 関連記事であるが真偽判
断は不可

データの不均衡問題がある．
この競技会での優勝チーム2 は，1 次元の畳み込み• 無関係 — 無関係な記事

ニューラルネットワーク (CNN) と勾配ブースティング
決定木 (GBDT) によるアンサンブル学習手法を取ることで，テスト精度 88.6%を誇っている．しかし，実際

4

フェイクニュース自動検出システ

は無関係ラベルの正解率が 98%あるのに対し，agree

ムのためのデータセット作成

ラベルは 44%，disagree ラベルは 7%とデータセット

本節ではまず，データセット作成において必要となったの偏りによる影響が見られる．このような点からも，フェイクニュース検出のためのより有用なデータセッ

PolitiFact サイトについて述べ，次にフェイクニュース自動検出システムに用いることを前提としたデータト作成が必要であると考えられる．

セット作成手順について述べる．

3

4.1

検索エンジンによる上位検索ペーPolitiFact

ジを情報源とするフェイクニュー

PolitiFact3 は主にアメリカの政治にまつわる発言や事柄 (ステートメント) についての信憑性の事実確認をス自動検出の枠組み行うサイトである．検証対象となる発言を転記し，ジ

本節では，フェイクニュース自動検出の枠組み (図 1)ャーナリストによって True，Mostly True，Half True，について述べる．人間がある事柄の真偽を判定すると
き，インターネットの検索エンジンを用いてその事柄Barely True，False，Pants on Fire の 6 段階スコアによってその内容の評価を行っている．PolitiFact を基にについて検索し，検索結果のそれぞれの主張を読み理

フェイクニュース自動検出のために作成されたデータ解した上で最終的にその事柄がフェイクニュースなのが LIAR データセット (表 1) [6] である．LIAR データかそうでないのかの判断をする．このように人間は検は PolitiFact のステートメントとそのラベルで構成さ索エンジンを用いた検索結果を情報源として事柄の真れている．その他に Speaker，Context の情報が付与偽を判定する．そこで，本論文では，フェイクニュースされている．Label は PolitiFact に基づく 6 値である．

自動検出の枠組みとして，人間によるフェイクニュー

本研究では，このデータセットから True と Pantsス判定の手順を模倣する方式を採用する．また，人間

on Fire のラベルがついたステートメントをいくつかがインターネットの検索エンジンを用いてある事柄の取り出し，外部ソースからの判断情報を付与すること

真偽判断する場合，検索クエリはある事柄そのままで新たなデータセットに用いる．の文にすることが多い．そのことを前提に，本論文で4.2

データセット作成手順

は，真偽判断の対象文と検索クエリは同一文としてそ

図 1 のフェイクニュース自動検出システムの枠組みれをステートメントと呼ぶ．本論文におけるフェイクに沿って，以下の手順でデータセットの作成を行う．

ニュース自動検出の枠組みの概要を以下に示す．

(1) LIAR データのステートメントを検索クエリとして Google 検索機でそのまま検索する，(2) 検索結果の1. ステートメントを検索エンジンで検索する．
2. 検索結果ページ一つ一つの本文の主張とステートメント間の含意関係を True，False，関連するが判定不可，無関係の 4 値に自動分類する．

3. それぞれの分類をもとに最終的にステートメントがフェイクニュースかそうでないか判断をする．
2 https://blog.talosintelligence.com/2017/06/

上位 20 個のサイトの URL を Web スクレイピングをすることにより自動収集する，(3) 取得した URL を用いてその記事に書いてあるタイトルと本文を自動抽出する，(4) ステートメントと記事から抽出した内容
つまりステートメント・検索結果ページ間の含意関係のラベルを決定する．
3 http://www.PolitiFact.com/

talos-fake-news-challenge.html― 988 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

図 1: フェイクニュース自動検出システム
表 1: LIAR データとラベル説明
StatementSpeaker

正確な情報であるinterview

MostlyTrue

正確ではあるが，追加情報が必要

comments on the’Glenn Beck’ show

HalfTrue

部分的には正確であるが重大な情報が不足している

Andrew
Napolitano

MarcoRubio

a press release

BarelyFalse

若干正確ではあるが，重大な情報を無視している

donnaEdwards

a round tablediscussion on CNN’s”State of the Union”

False

不正確な情報である

consercative blogs

PantsonFire

不正確なだけでなく，馬鹿げている

The American people support defunding Obamacareand oppose shutting down the government.

BlogPosting

Photo of ”tea party” protests shows crowd sprawlingfrom Capitol to Washington Monument.

5TrueRonPaul

If you got rid of the income tax today you’d haveabout as much revenue as we had 10 years ago.

74 percent of Republicants support the Aﬀordable
Care Act.

ラベル説明

Contentthe biography on hiscompaign Web site

During his tenure as mayor, he saw Houwtons crime
rates drop to the lowest levels in more than 25 years.

There are mechanism in place to shut down the Internet privatelyLabelBill
White

ステートメントと検索結果ページ間の含意関係人手付与及び含意関けの判断ではバイアスがかかるので，英語を得意とする計 4 人に同様の作業をしてもらい 4 人の分類判断の多数決でステートメント・検索結果ページ間のラベ係に基づくフェイクニュース判定

ルを決定する．4 人の分類判断が分かれてしまった場

本節では 4.2 節のデータセット作成手順 「(4) ステー

合はラベルを [同数] とする．また Wikipedia，PDF，トメント・検索結果ページ間の含意関係のラベルの決

Google ブックス，動画サイトなどの記事で無いもの定方法」について説明し，次にそのラベルに基づいたはすべて無関係に分類する． このようにしてステー

フェイクニュース判定の説明をする．

トメントと検索結果ページ間のラベルを多数決で 800

5.1個決定し，それを作業者間多数決ラベルとする．

手順

ステートメントと検索結果ページ間の含意関係付与 (ラベル付け) の決定は人手によって行う．ラベル付け方
法は検索された URL の記事にリンクしその内容を理解して，ステートメントとの含意関係を True，False，関連するが判定不可，無関係の 4 値に分類する．この作業を１ステートメントにつき 20 記事行い，全部で40 ステートメントつまり 800 記事分を行う．１人だ

また，1 つのステートメントがフェイクニュースであるかどうかの判定は集められた検索結果上位 20 個の作業者間多数決ラベルの True と False の多数決によって決定する．1 つのステートメントに対しての 20個の作業者間多数決ラベルの内，True か False の多い方をそのステートメント自体のラベルとし，検索結果ページ間多数決ラベルと呼ぶ．同数の場合は検索結果― 989 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2: PolitiFact ラベル・検索結果ページ間多数決ラベルの組ごとの作業者間多数決ラベルの統計
PolitiFactラベル

検索結果ページ間多数決ラベル

ステートメント数

True
False

True
False

True
False
False
False
False

False
True
True
同数
同数
合計

作業者間多数決ラベル
関連するが判定不可
無関係

同数

True

False

161917825181692026831372123

1111128435962352212240111173421140

225

2125525355

ページ間多数決ラベルを [同数] とする．検索結果ペーを判定でき，1 つの立場では真であり，もうひとつのジ間多数決ラベルが True の場合ステートメントは事立場では偽である場合で，実，False の場合はフェイクニュースとする．このよAmerica has already taken in one-fourth of

うにして 40 ステートメントすべての検索結果ページ

Mexico’s entire population.

間多数決ラベルを決定する．

5.2

ではアメリカに移民したメキシコ人の人数は 4 分の１考察および分析

ステートメントと検索結果上位 20 ページを元に人手によってラベル付けされた検索結果ページ間多数決ラベルの精度は PolitiFact ラベル (True か Pants on ﬁre)との一致具合で評価する．40 ステートメントの検索結果ページ間多数決ラベルの内，2 ステートメントがに満たないが，現在アメリカに住んでいるメキシコ系
アメリカ人を含めるとメキシコの人口の 4 分の１に匹敵するという 2 つの立場があるので作業者によって分類が分かれる．これらの理由から PolitiFact ラベルの実現ができなかった．

[同数] なので，それらを差し引いた 38 ステートメン

6

トの検索結果ページ間多数決ラベルの内， 35 ステー

本研究では人間が実際に行うフェイクニュース検出のトメントが PolitiFact ラベルと一致した．検索エンジ過程を模倣した手法によるフェイクニュース自動検出ンによる上位検索ページを情報源とステートメントのタスク用のデータセットを作成する手法を提案し，そ真偽判定をすることは高い精度で PolitiFact ラベルのの手法を用いて実際に小規模データセットの作成及び実現ができることがわかった．表 2 は PolitiFact ラベ

その評価を行った．データセットの作成方法において

ルと検索結果ページ間多数決ラベルが一致の場合と不検索エンジンによる上位検索ページを情報源としてス一致の場合に分けそれぞれのステートメント数と作業テートメントの真偽判定をすることにより，高い精度おわりに者多数決ラベルの内訳を示している．PolitiFact ラベ

で PolitiFact ラベルの実現ができることがわかった．

ルの Pants on Fire は検索結果ページ間多数決ラベル

今後は，この手順のもとでフェイクニュース自動検出の False と同じ意味とする．のための大規模なデータセット作成を行う．

PolitiFact ラベルと検索結果ページ間多数決ラベルが一致しなかったステートメントは 3 個，検索結果ページ間多数決ラベルが [同数] であったステートメ
ントが 2 個で，計 5 個のステートメントが PolitiFactラベルの再現ができなかった．これらのステートメン
トが PolitiFact ラベルを再現できなかった理由は大きく分けて 2 つある．1 つ目は検索された結果ページにフェイクニュースの記事のほうが多く存在してしまう
場合で，実際にTens of thousands of fraudulent Clinton
votes found in Ohio warehouse.

[1] S. R. Bowman, G. Angeli, C. Potts, and C. D. Manning.
A large annotated corpus for learning natural language
inference. In Proc. 20th EMNLP, pp. 632–642, 2015.
[2] Q. Chen, X. Zhu, Z. H. Ling, D. Inkpen, and S. Wei.
Natural language inference with external knowledge. Vol.
abs/1711.04289, 2017.
[3] Y. Gong, H. Luo, and J. Zhang. Natural language inference over interaction space. Vol. abs/1709.04348, 2017.
[4] K. Shu, A. Sliva, S. Wang, J. Tang, and H. Liu. Fake news
detection on social media: A data mining perspective.
ACM SIGKDD Exploration Newsletter, Vol. 19, No. 1,pp. 22–36, 2017.
[5] 土屋雅稔. 含意関係認識コーパスの偏りによる性能評価への影
響. Vol. 2017–NL–233, No. 5, pp. 1–6, 2017.のステートメントはフェイクニュースであるが，検索結果においては，クリントンを陥れる意図のある記事や，フェイクニュースを信じた人によって書かれた記事が多く存在した．

参考文献

2 つ目は，2 つの立場から真偽[6] W. Y. Wang. ”liar, liar pants on ﬁre”: A new benchmark
dataset for fake news detection. In Proc. 55th ACL, pp.
422–426, 2017.
[7] A. Williams, N. Nangia, and S. R. Bowman. A broadcoverage challenge corpus for sentence understanding
through inference. Vol. abs/1704.05426, 2017.

― 990 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.