DEIM Forum 2019 C1-4

新聞記事における発言引用部分の特定と引用方法の分類－ファクトチェック支援への応用－
山田 健太​†​ 真鍋 智紀​‡​ 山名 早人​§
†早稲田大学基幹理工学部 〒169-8555 東京都新宿区大久保3-4-1‡早稲田大学大学院基幹理工学研究科 〒169-8555 東京都新宿区大久保3-4-1§早稲田大学理工学術院 〒169-8555 東京都新宿区大久保3-4-1
E-mail: {yamada, tomoki_manabe, yamana}@yama.info.waseda.ac.jp
あらまし 近年，SNSやニュースサイトの普及により様々な人が手軽にニュースを享受できるようになった. しかし，ニュースを享受しやすくなった一方で，悪質なデマや誤解を生むような表現・報道を含むフェイクニュースの拡散が目立つようになった. したがって，ニュース一つ一つに対して信頼できるか否かを検証する必要性が高まっている. 現在，信頼性の確認に用いられている手法の一つとしてファクトチェックがある. ファクトチェックは第三者が報道の信頼性を評価することを示す. ファク
トチェックは，発言や主張の引用が含まれる部分を原典から探し出さなければならないため多くの人手や労力を必要とする. また，ファクトチェックの結果がチェックを行う人間の主観によって左右され得るという問題がある. そこで，本研究ではファクトチェック一部を自動化することにより労力を軽減し，より客観的なファクトチェックを行うことを目指す. 具体的には，報道サイトの記事を機械的に原典と照らし合わせて評価し，ファクトチェッカーを補佐する手法を提案する.
キーワード​ 情報信頼性，ファクトチェック，フェイクニュース
1. はじめに
近年, SNSやニュースサイトの普及もあり様々な人が手軽にニュースを享受できるようになった. 一方で悪質なデマや誤解を生むような表現・報道を含むフェイクニュースの拡散も目立つようになってきた. Vosoughiら[1]の調査では, SNSにおけるフェイクニュースはフェイクニュースでないニュースの18倍の速度で拡散されると結論づけられている. また
フェイクニュースを発端とした事件や問題なども起こっている. 例えば, 2016年のアメリカ大統領選挙ではフェイクニュースが原因で発砲事件が発生している. Huntら[2]は, フェイクニュースが大統領選に影響を与えた可能性に言及している. フェイクニュースの影響が顕著になるにつれ, メディアやSNS各社ではフェイクニュースを規制する動きが活発になっている. 現在, フェイクニュースの検知に用いられている手法の一つとしてファクトチェックがある. ファクトチェックは第三者が報道の信頼性を評価するという手法である.
ファクトチェックの問題点としては, 該当の内容が含まれる部分を原典から探し出さなければならないため多くの人手や労力を必要とすることや, 評価が人間の主観に左右され得ることが挙げられる.
ファクトチェックを補佐する手法としては, 田上ら[3]のSNSの投稿からフェイクニュースの検知に役立つ端緒情報を抽出し, 情報の含有度合いから要ファクトチェックランキングをファクトチェッカーに提供する手法や, 尾崎ら[4]の検索エンジンを使用し, 実際に人間がファクトチェ ックをする際の挙動に近い形で集められたフェイクニュースデータセットを作成する手法などが挙げられる. しかし, 政治分野においては個人の意見が大きく別れるため, SNSやウ ェブサイトなどの出どころの定まっていない情報をソースとするとするファクトチェックは適切でないと考えられる. したがって個人の意見が反映されやすい分野のファクトチェックには信頼のおける情報ソースに限って使用することが望ましいと考えられる. 個人の意見が反映されやすい分野として政治社会分野があげられる. 政治社会分野のファクトチェックの既存研究としては木村ら[5]の研究がある. 木村らは信頼のおける情報ソースとして都議会議事録を例として挙げ, 豊洲問題を取り上げた日経の記事と議事録を比較し評価する調査を行なっている.
本稿では, 政治や社会に関する話題を扱う報道サイト, つまり新聞社の報道サイトの記事を原典である議事録と機械的に照らし合わせて引用部分を特定・分類し, ファクトチェッカーを補佐する手法を提案する. 既存研究[5]では, 議事録に対してどれほどの文意を再現して引用されているかを信頼性と定義し, 議事録と日経の記事を対象に調査を行っていた. 木村らは議事録と引用部分の対応づけにはBoWが有効であると結論づけていた. しかし, 木村らの調査は手動で行われたものであり, ファクトチェッカー支援のための工程自動化はなされていなかった. そこで本稿では, まず同様の手法で検証を行うことで有効性を再確認し, 次に調査工程を自動化す
る.
また実際の引用部分候補を明示しその引用傾向を3-gramとDoc2vecを用いて大きく3段階（1:完全に一致する, 2:ほぼ一致する, 3:大きく異なる）に分類し提供することでファクトチェッカーの業務効率化に貢献していく.
本稿では次の構成をとる. まず, 第 2 項で関連研究について述べる. 次に第 3 項で提案手法の説明を行い, 第 4 項で評価実験と結果を説明する. 最後に, 第 5 項でまとめを行う.
2. フェイクニュースとファクトチェック
フェイクニュースとは誤報の一種である. David[6]らによるとフェイクニュースとはニュースのような形をとっているものの, ニュースメディアの編集上の規範や情報の正確性と信頼性を保証するためのプロセスを欠いているニュースであるとしている. また, Hunt [2]らはフェイクニュースとは故意に偽ったり, 読者のミスリードを誘うようなニュースであると定義づけている. SNSやニュースサイトが手軽に閲覧できるようになる一方, フェイクニュースの拡散といった新たな問題が浮き彫りになってきた. フェイクニュースを野放しにしていると個人や企業・団体の名誉が守られないばかりか, フェイクニュースを信じた者による事件や社会的混乱の誘発のような弊害がある. 有名なものとして, 2016年のアメリカ大統領選挙戦に関するフェイクニュースに端を発した,ピザゲート事件と呼ばれる発砲事件がある. また, フェイク
ニュース対策をしないSNS企業には罰金をとる法案も出てきており, 企業・団体は早急なフェイクニュース対策を迫られている.
導入が最も簡単なフェイクニュース対策の一つとしてファクトチェックとが挙げられる. ファクトチェックとはニュースの根拠となる原典とニュースを比較し, フェイクニュースであるか否かを判別する作業で, このファクトチェックを行う人はファクトチェッカーと呼ばれている.
Googleなども第三者機関を使ったファクトチェック結果を検索結果に反映させており, ファクトチェックの結果がフェイクニュース検知に有効であることが確認できる.
しかしながらファクトチェ ックは膨大な情報の中から情報ソースを探し出し, 事実に即しているかどうかを確認する必要があり,ファクト
チェッカ ーに対する負担の大きさが問題となっている.

3. 関連研究
本項では，関連研究として，フェイクニュースとファクトチェックに関する研究や調査について述べる.

らに, 大きな知識リポジトリを用いたKnowledge Graphならばより高性能なファクトチェックが可能になる可能性にも言及している.

MITのVosoughiら[1]は2017年にTwitterにおけるフェイクニュースの拡散に関する調査結果をScienceにて発表した.
Vosoughiらは2006から2017年の間のツイートを収取しファクトチェック団体（Snopes，PolitiFact，FactCheck.org，Truth or Fiction，HoaxSlayer，About.com）においてファクトチェックの行われたニュース126,000件について300万人のツイートを調査し，フェイクニュースと関連があるかを調査・分類した.
Vosoughiらの調査によると，真実が1000人に届くことが稀であるのに対しフェイクニュースの拡散度上位1%はほとんど常に1000から10万人の人々に届いていたことや，フェイクニュースはほとんどの場合リリースされてからの経過時間に関わらずリツイート数で真実を上回っていたことが分かった. また，フェイクニュースが拡散されるのにかかる時間は真実が拡散されるのにかかる時間より6倍短縮されることや，政治分野のフェイクニュースの拡散速度は噂や自然災
害，科学などの他分野のフェイクニュースに比べ3倍速く，つまり真実の18倍の速度で拡散されることが明らかになった.

東北大学の田村ら[3]は2018年に,端緒情報と呼ばれるファクトチェックの必要性が示唆される情報をSNSから自動で収集しファクトチェックを必要とする記事の探索作業を支援する研究を行なった. 田村らはTwitter上の任意のニュース記事のURLを含んだ投稿から, 日本報道検証機構が実際にファクトチェックの際に用いている端緒情報ワードリストに記載される単語が含まれるものを収集した. また, 収集の際には記事自身のタイトルや本文を除いた純粋なコメント部分になるように適切な処置を加えた. 次に, 端緒情報分類器を構築し,収集した各ツイートが端緒情報か否かの判別とニュ ースの検証必要度のランク付けを行った.
端緒情報分類器の精度検証では素性にBoW(Bag of Words)とBoB(Bag of Bigrams)を用いたロジスティック回帰モ
デル, 同様の素性を用いた順伝播ニューラルネットワークモ
デル, ツイートに含まれる各単語表現の平均を素性としたロジスティック回帰モデル, 同様の素性を用いた順伝播ニューラルネットワークモデル, ツイートに含まれる各単語の分散表現を入力とするLSTMモデルの5つの性能を比較している.
分散表現を一部のモデルに取り入れているのは文脈情報を考慮するためである. 学習データのサイズを変化させ検証した
ところ長期の文脈を学習できるLSTMが最も分類スコアが高く, 1単語の文脈を評価できる順伝播ニューラルネットワー
クモデルもスコアが高くなることが分かった. また, 学習データの増加に伴いF値も上昇したことから, 学習データを増加させるほど端緒情報分類の性能向上が見込めることもわ
かった.
また, 検証必要度に基づく記事ランクづけでは, 最も性能の良かったLSTMを用いた分類器で判定し, 検証必要度として記事ごとにまとめられた関連ツイートの端時情報分類スコアの平均を使用している.

3.1フェイクニュースの拡散
3.1.1 SNSにおける拡散影響調査

3.1.2 大統領選におけるフェイクニュースの調査​ untら[2]は2016年アメリカ大統領選におけるフェイクH

ニュースの影響について, フェイクニュースの拡散に関する言説の理論および背景を示すことを目的に調査を行った. 調
査はSnopes, PolitiFact, BuzzFeedで紹介されている156のフェイクニュース記事を統合したデータセットや, 1208人の成人したアメリカ人を対象に行ったオンラインアンケートを基にしたデータセットを使用して行われている.
調査の結果, 平均的なアメリカ人は投票前一か月のうちに1～3件のフェイクニュ ースを受信していることが示された.
また, 一般のニュースサイトのソーシャルメディアからの流入率は10.1%であるのに対し, フェイクニュースサイトへの流入率は41.8%とソーシャルメディアの影響が大きいことや,大統領選における最も重要な情報ソースとしてソーシャルメ
ディアが13.8%, ウェブサイトが14.8%と大きな割合を占めていることが明らかになった.
また, 2016年の米大統領選のドナルド・トランプ氏の勝利にはフェイクニュースが寄与していたという言説に対して,理論的に証明することはできなかったもののフェイクニュー
スが何らかの影響を与えていたのではないかと推測しうるデータを調査によって提示できたのではないかとまとめている.

3.2 知識ベースのフェイクニュース自動検知
3.2.1 KnowledgeGraphでの自動ファクトチェック

Ciampagliaら[7]はKnowledge Graphを活用したファクトチェックの自動化手法を提案している. DBpediaのTypes,Properties, subClassOfの3つのデータセットを用いてKnowledge Graphを構築し, Academy Awards for BestMovie, US presidential couples, US state capitals, worldcapitalsの4つのデータから生成した文項を対象に適用した.
実験の結果, Academy Awards for Best Movie, US
presidential couples, US state capitals, world capitalsのデータセットそれぞれに対して95%, 98%, 61%, 95%の確率で真の文の検出ができたとしている. また2つ目の実験としてWikipediaの文項のファクトチェックをさせるという現実のファクトチェックを模した実験も行っている. 提案手法による自動評価と人間の評価に正の相関があることも確認しており, 簡単な知識に基づいて作成されたKnowledge Graphによる真偽判断は, 全く新しく与えられた文項と判断すべき項目の審議判断に応用することができると結論付けている. さ

3.3 ファクトチェッカーの支援研究
3.3.1 SNSを用いた支援システム

3.3.2 Web検索を用いた支援システム

福井大学の尾崎ら[4]は, 検索エンジンによる上位検索ページを情報源としたフェイクニュース自動検出のためのデータセット作成法を提案した. フェイクニュース検出タスクを含有関係認識のタスクの一つとして扱い, 含有関係認識のためのデータセットの作成手法, そしてフェイクニュース自動検出の枠組みを提案している.
尾崎らは真偽判断の対象文を検索エンジンで検索し, 検索ページ一つ一つの本文の主張と対象文間の含有関係をTrue,False, 関連するが判定不可, 無関係に自動分類した. 自動分類の手法としてLIARデータセット[8]を用いて学習させた分類器を用い, 分類結果を元にフェイクニュースを自動検出する手法を提案した.
自動分類の結果を評価するため, 尾崎らは上位20位の検索結果からPolitiFactで付与された信頼度と自動推定された信頼度を比較する実験を行った. 実験の結果PolitiFactで付与された信頼度ラベルと自動推定された信頼度で, 対象文40文のうち35文が一致する結果となった. また, 分類に失敗した文項の傾向を2つ挙げており, 1つ目は検索エンジンで検索された結果ページにフェイクニュースが多く含まれてしまっている場合, もう一つとしては立場によって真偽が別れてしまうようなニュ ースの場合であった.

3.3.3 政治分野における支援システム

小樽商科大学の木村ら[5]はフェイクニュース検出のために, 新聞記事における政治家の発言の引用と議会会議録との記述同士の対応関係を調査した. 調査として日経電子版の記事から豊洲問題に関連する記事を収集し,その内かぎ括弧「」で囲われた政治家の発言引用部分を含む計32点の記事と地方会議会議録コーパスと呼ばれる会議録の東京都議会のコーパスデータを利用し, 会議録の発言がどのよう新聞記事に記述されているかを集計・分類した.
豊洲問題の記事検索には「豊洲」「答弁」をAND検索したものを用いている. 調査は人手によって行われ, 対象32記事における150文を発言個所の一致度から大きく3段階（1:完全に一致する, 2:ほぼ一致する, 3:大きく異なる）に分類している. また, ほぼ一致するに分類されるものに関しては一致しない個所に応じてさらに3つに分類している.
分類の結果, 最も簡単に対応関係を推定できる1に分類されたものが22.7%, 引用箇所をBoWとして表現することで対応関係が推定できそうなものが2に分類され72.0%であった. しかし, 2の一部には類義語や類義表現を考慮する必要があるものもあるためBoWでの推定の難易度が高いものもある. 最後に, 対応関係にある箇所全体の意味を考慮しなければならないものが3と分類され, 全体の5.3%となった. これらのことから, 木村らは引用個所の約95%はBoWなどの語句レベルの一致により推定することができるとしている.

提案手法

本項では本研究の提案手法である発言引用部分の特定手法および引用方法の分類手法について述べる.

4.1 概要​本研究では, 木村ら[5]の提案したBoWによる発言引用部
分特定手法の有効性を確認するとともに, 3-gramとDoc2vecによる引用方法の自動分類を提案し, ファクトチェッカーの作業軽減を図る.

を過度に参考にすることは好ましくないと考える. 政治分
野・社会分野の話題にはそれぞれの人の立場や主義主張が密接に関係している. また, Vosou ghiらの調査にもあるように政治・社会分野はフェイクニュースを抱えやすい分野である. したがって, 政治・社会分野のファクトチェックにおける真実かどうかの議論は慎重に行う必要がある.
そこでファクトチェックの公平性を担保するため, 本稿では原典の意味をどれほど保って引用されているか, つまり内容の一致度を真実の度合いとして採用する. 具体的な例として, 日経電子版の東京都議会に関する記事と原典として東京都議会の議事録を用いて検証する.

4.4 発言引用部分の特定手法・引用方法の分類手法

木村ら[5]の調査によると, 約95%の新聞記事においてはBoWで引用発言の特定が行えることが示されている. 本稿ではBoWを用いて引用された発言の特定ができるかを実験するとともに, 3-gram, Doc2vecも加えて用いた場合の引用発言特定の性能を比較する.
引用のなされている発言の特定後, 発言全体の中からさらにどの部分が引用されているのかを特定する. まずは発言全体と引用のなされている発言を品詞分解し, 3 -gram単位で分割する. 分割結果を比較し, 3-gram単位でシーケンスが完全一致している部分を探し出し, 該当部分の引用スコアを1として付与する. その後に引用方法を完全一致, ほぼ一致, 大きく異なるの3つに分類する. また, 3-gram単位では検出できなかった同義語や細かな語尾の違いを考慮するためにDoc2vecで類似度を計算し, 部分的に言い換えた引用に関しては更に細分化し文脈に影響のない語句（語尾や助詞など）の言い換えと文脈に影響を及ぼす語句（名詞や動詞など）の言い換えの2つに分類するものとする. 以下に提案手法の疑似コードを示す.
表4.1 発言用部分特定アルゴリズム中で用いる文言の定義

図4.1 提案手法のフローチャート

4.2 本研究の目的

本研究の第1の目的は, 特にフェイクニュースの拡散しやすい政治分野においてフェイクニュースの疑いがあるものを機械的に検知することによってフェイクニュ ースの拡散を初期の段階で抑えることである. もちろん, フェイクニュースか否かの最終判断においては人間の判断を仰ぐ必要があるが, 初期の段階である程度の精度で検知・分類をすることでフェイクニュースが広く拡散する前に手を打つことができると考えられる. また, 政治分野のファクトチェックではファクトチェッカーの立場や思想の影響が問題となっている. したがって, 本研究では機械的な分類によってのフェイクニュース検出の指標を提示することを目指した.
本研究の第2の目的は, ファクトチェッカーに原典のチェックすべき部分の候補を提示することによってファクトチェック作業の効率化を進めることである. 原典の対象部分をハイライトするなどして提示することで目視で探索するよりも簡単に対象を発見することができる. 同時にどのような引用のされ方をしているかをあらかじめ分類して提供することでファクトチェックをする順番を決める際の補佐として有効であると考えた.

4.3 本稿における真実の定義

ファクトチェックにおいて重要な事項として, 何をもってして真実なのかということが挙げられる. 政治分野・社会分
野のファクトチェックの支援をするにあたって, 人々の意見

図4.2 発言の引用部分特定の疑似コード

表4.2 引用発言の分類アルゴリズム中で用いる文言の定義

図5.1 東京都議会議事録の例

5.2 新聞記事の収集と引用部分の抽出

新聞記事の例として日経電子版の記事を用いて実験を行った. 2015年1月1日から2018年6月までの日経電子版記事を木村らの手法同様に「都議会 答弁」の検索クエリで検索した計237記事，681引用を用いた. 引用部分の抽出は記事本文中のかぎ括弧で囲まれた部分が引用部分であるとし抽出した. また，その際に独自定義の名詞や強調したい単語などをかぎ括弧で囲むこともあることから助詞を含まない引用については除外処理を施している.

図5.2 新聞記事引用部分の例(日本経済新聞2016年12月9日の記事より引用)

5.3 引用対象となる発言の特定新聞記事にて引用されている発言を特定するにあたって
BoW, 3-gram, Doc2vecを用い引用対象議事録の検出割合の比較をした. 用いたアルゴリズムは4.4項で提案したものである. 表5.1にその結果を示す.
表5.1 引用対象議事録の検出割合

図4.3 引用発言の分類の疑似コード
疑似コードにおける類似度計算にはDoc2Vecを使用している. Doc2Vecの類似度計算はあらかじめ文項を学習させておいたモデルを利用し入力の文項を文項ベクトルに変換, 変換された文項ベクトル同士のコサイン類似度を計算し返す. 本
稿においてはモデルの学習にWikipediaの日本語記事データを用いた.

5. 評価実験

本項では，提案手法に対する評価実験の手法と実験結果について述べる.

5.1 東京都議会議事録のデータ収集

東京都議会の速記録・会議録Webページ[10]から速記録や会議録がテキストファイルで提供されている. 本研究では，東京都議会本会議の会議録を2015年1月1日から2018年6月までの名簿・議事日程など一部を除く計795議事録，延べ77937発言を収集した.

表5.1より, BoWが3-gram, Doc2vecを大きく上回って対象議事録を特定できることがわかった. これは木村らの調査[5]によるBoWによって引用部分の特定が可能であるという推定を裏付ける結果である. しかしながら特定が可能であった部分は0.721にとどまった. 特定可能部分が0.721にとどまった理由としては, 引用部分であると判定しているかぎ括弧で囲まれた文項の中には発言ではなく記事内で強調したいワードも含まれていることや, 言い換えや要約が大部分を占め元の文項が判別できないものがあったことが挙げられる.
したがって, 本研究では判別ができなかった文項については判別不能として分類することとした.
また, この結果によりBoWが引用対象となる発言の特定に3手法の中で最も有効であることが分かった. そこで本稿においてはBoWによって引用対象となる発言の特定を行うものとする.

5.4 詳細な引用箇所の特定と引用方法の分類

以下に今回収集した議事録における議員の発言ひとつひとつの文字数のヒストグラムを図5.3に, 新聞記事によってカギ括弧を用いて引用された発言の文字数のヒストグラムを図5.4に示す.

図5.3 議事録による議員発言長のヒストグラム

してもらうタスクを被験者17人を対象におこなった. 以下に実験の詳細を示す.

図5.4 新聞記事による発言引用長のヒストグラム
図5.3, 5.4より, 議員の発言は50文字前後が最も多く, 一方引用の文字数は10文字前後であることが多いことがわかる.
このことから議会における議員ひとりひとりの発言は引用文字数と比較して長いことが多く, どの発言が引用元であるか判明しただけではファクトチェッカーの負担を減らすには十分とは言えないことが分かる. そのため, 引用対象となる発言の特定がなされた後に発言のより詳細な引用箇所の特定を行う必要がある.
引用発言の特定をした後, 3-gramにおいて完全一致部分が最も多い部分が発言引用部分であるとして被引用場所を特定する. 完全一致でない場合にはその位置にDo c2vecによる類似度計算を適用し分類した. アルゴリズムの詳細に関しては4.4項に示すした通りである. 以下に引用方法の分類例と実際に分類された数を示す. それぞれ​- 完全一致- ほぼ一致する- 意味をもたない単語の言い換え- 意味をもつ単語の言い換え- 大きく異なるとして分類している

図5.6 ファクトチェックタスクの詳細

表5.2 分類結果の例とその数

5.5 ファクトチェッカー支援への効果​ファクトチェックタスクをおこなうアプリケーションを作成し, 引用のある新聞記事をランダムに被験者に与え, 議事録中から情報ソースとなる部分を検索しその引用方法を分類

図5.7 被験者実験に用いたファクトチェックツール(議事録選択・ファクトチェック実施部分)

図5.9 ファクトチェックサポートON/OFFでの作業所要時間の比較

5.6 考察図5.8 被験者実験に用いたファクトチェックツール(引用部分提示・議事録閲覧部分)
実際の評価と提案手法による自動分類を比較した様子を表5.3に, 提案手法によるサポートを行った場合と行わなかった場合との作業所要時間の比較を図5.9に示す. 提案手法では,システムの判別した引用部分を強調表示することによって被験者に視覚的サポートを与えている.
実験の結果, ファクトチェックタスクの実施速度が提案手法によるファクトチェックサポートを行わない場合と比較しすべての被験者において向上することが示された. また, 実
際の評価と提案手法による自動分類を比較すると完全一致のものと大きく異なるものに関しては被験者の分類とシステムの分類結果が一致した回数が最も多かった.
表5.3 評価実験と提案手法による自動分類間の分類結果のconfusion matrix

第4.2項で述べたように本研究の目標はファクトチェックの一部自動化とファクトチェッカーの視覚的サポートであった. 具体的な実装では. ファクトチェッカーに提案手法を用い引用部分の候補を強調表示するという方法で視覚的サポートを行った. 第1段階として引用部分の検出, 第2段階としての引用方法の自動分類の結果について考察する.
提案手法の第1段階である引用部分の検出での, BoWによる引用部分検出率は表5.1より72.1％であった. 検出率が72.1％に収まった原因としては新聞記事に引用されている発言において文字数が極端に少ないものや, カギ括弧で囲われたものが議会中の発言でない可能性があること, 非常に大きく省略されてしまっている発言があることが原因であると考える. 図5.3, 図5.4よりわかる通り, 引用の文字数と議員の発言文字数の分布には大きな乖離がある.
一方, 表5.3より, 提案手法の第2段階であるシステムによる自動分類と評価実験による被験者の分類結果を比較すると完全一致のものと大きく異なるものに関しては被験者の分類とシステムの分類結果が一致した回数が最も多かった. また,自動分類では大きく異なると判定されているにも関わらず,被験者が完全一致であると判定してしまった件数は19件あり, これは被験者側が完全一致していない部分を完全一致であると誤解して判定したと考えられる. 提案手法を用いて,被験者側が判定ミスを行わないよう実際のソースを示しながらサポートする手法で判定ミスを事前に防ぐことができる可能性がある.
提案手法の欠点の1つとしてあげられるのが, 引用部分を検出できなかった残りの28.9%の引用文が引用をしていたのか，それとも作られた文言であったのかの判別がつかないところである. 引用部分の網羅的検出は今後の課題としていきたい. 同一議員の発言は同一の内容について話していることが多く, 発言全体を対象にBoWを適用すると引用部分に対して発言部分を一意に定めることが難しい. しかしながら新聞記
事の引用は省略や言い換えがなされていることが多く,3-gramなどの単純なシーケンスとしての検索でも発言全体を対象に検索しても54.7％と検出率は低くなる. そのためBoWや3-gramよりも複雑な機械学習的アプローチが有効ではないかと考える.
ファクトチェックの実施速度に関しては図5.9よりすべての被験者に速度の向上があったことが分かり, ファクトチェッカーに引用部分の候補を強調表示する視覚的サポートの有効性を示すことができた.

6 おわりに本稿では, まずフェイクニュースの拡散とその傾向について述べ, ファクトチェッカーを支援するための先行研究を示した. その上で現行の支援方法では政治的話題を扱うフェイクニュースの対策に課題があることを示した.
本研究ではファクトチェックのタスクの一つとして適切な引用, つまり原典の意味を損なうことなく引用がなされているかを自動で検知することを目指した. 実験では先行調査の結論であった政治家の発言引用部分の特定にはBoWが有効であることを示し, その上ファクトチェッカーに引用部分の候補を強調表示する視覚的サポートを施すことによりファクトチェックタスクの処理速度がすべての被験者に対して向上するなど, ファクトチェックの作業の効率化に一定の効果があることを示した. 引用部分の網羅的検索をすること, 分類の精度向上などを含め改善をし, ファクトチェックの自動化を進めていきたい.

謝辞

データに関して日本経済新聞社の方々に多大な協力を得ましたことに感謝いたします.
本研究は、科学研究費助成事業17KT0085によるものである.

参 考 文 献[1] Soroush Vosoughi, Deb Roy, Sinan Aral, "Thespread of true and false news online", Science, Vol.
359, Issue 6380, pp. 1146-1151, Mar 2018[2] Hunt Allcott, Matthew Gentzkow, "Social Mediaand Fake News in the 2016 Election." Journal ofEconomic Perspectives, Vol. 31, No. 2, pp.
211-236. 2017[3] 田上翼, 浅野広樹, 乾健太郎, 楊井人文, 山下亮, 小宮篤史, 藤村厚夫, 町野明徳, ファクトチェックを必要とする
ニュース記事の探索の支援, 言語処理学会第24回年次大会, Mar 2018[4] ​尾崎諒介, 前田竜冶, 宇津呂武仁, 村瀬一之, 検索エンジンによる上位検索ページを情報源とするフェイクニュース自動検出のためのデータセット作成, 言語処理学会
第24回年次大会, Mar 2018
[5] 木村泰知, 戸嶋咲穂, 渋木英潔, 新聞記事における政治家の発言の引用記述と議会会議録との対応関係の調査 ―フェイクニュース検出に向けて―, 言語処理学会第24回
年次大会, B3-2, Mar 2018[6] David M. J. Lazer, Matthew A. Baum, Yochai Benkler, Adam J. Berinsky, Kelly M. Greenhill, FilippoMenczer, Miriam J. Metzger, Brendan Nyhan, Gordon Pennycook, David Rothschild, Michael Sc
hudson, Steven A. Sloman, Cass R. Sunstein, Em
ily A. Thorson, Duncan J. Watts, Jonathan L. Zitt
rain, "The science of fake news", Science, Vol. 359, Issue 6380, pp. 1094-1096, Mar 2018
[7] Ciampaglia GL, Shiralkar P, Rocha LM, Bollen J,
Menczer F, Flammini A, "Computational Fact Che
cking from Knowledge Networks", PLoS ONE Vol.
10 No.6:e0128193. doi:10.1371/, journal.po ne.
0128193, 2015[8] W. Y. Wang. "liar, liar pants on fire": A newbenchmark dataset for fake news detection. In Pro
c of The 55th ACL, pp. 422–426, 2017[9] Quoc Le, Tomas Mikolov, "Distributed Repr
esentations of Sentences and Documents", In Procof The 31st International Conference on Machine

Learning, pp. 1188–1196, 2014