DEIM Forum 2023 4a-3-3

ニュース記事へ言及する Twitter 投稿の主観性と情報継承性に基づく分類
遠田 哲史†

吉永 直樹††

豊田正史††† 東京大学大学院情報理工学系研究科 〒 113–8656 東京都文京区本郷 7–3–1†† 東京大学生産技術研究所 〒 153–8505 東京都目黒区駒場 4–6–1
E-mail: †{tohda,ynaga,toyoda}@tkl.iis.u-tokyo.ac.jp
あらまし 近年のソーシャルメディアの普及に伴い，ニュース記事への言及を伴う投稿を通じてニュースが拡散される現象が広く見られるようになっている．ここで問題となるのは意図的に誤っている情報を流布する「フェイクニュー
ス」の現象であるが，本物のニュース記事について書かれた投稿であっても，読者にニュースの内容に関する誤解を生じさせるような，誤解を招く表現が使われる場面もある．本論文では，COVID-19 に関するニュース記事への言及を含む Twitter 上の投稿を網羅的に分析し，投稿の主観性と記事の内容が投稿に継承されているか（情報継承性）に基づいた投稿内容の分類を行う．また，投稿とニュース記事に含まれる情報を利用し，投稿の分類を自動的に判定する分類器を提案する．
キーワード ソーシャルメディア，ニュース記事，Twitter，COVID-19

1 はじめに
近年はネット上における情報入手手段として，あるいは手に入れた情報の拡散・議論を目的として，ソーシャルメディアが活用される場面が増えている．実際に，ソーシャルメディア上
でニュースを入手しているアメリカ人は 50%におよび 1 ，日本
においても小中学生の過半数が日常的にソーシャルメディア経由でニュースを得ており 2 ，既存のマスメディアと同等以上に重要なニュースの入手経路となっている．これらソーシャルメ

図1

互いに異なる印象を与える，誤解を招く情報伝播の例．

ディア上のニュースに関する投稿には世の中の出来事の理解を促進する有益なものもあるが，誤解や意図的な誤情報に基づく

しかし，ソーシャルメディア上での情報伝播過程に着目する投稿も多く, 結果として不正確な情報が蔓延することが重大なと，ファクトチェックの対象とならない主観表現を含む投稿が問題となっている．とりわけ，COVID-19 の感染拡大に伴い対多数あり，信憑性が確立された記事への直接的な言及があって面で情報交換をする機会が減り，オンライン上の情報への依存も，なおニュースに関する誤解が伝わる場面がみられる．例え度が増えたことで問題が深刻化しており，誤情報が拡散し氾濫

ば話題の元となる投稿に関する間接的な言及や部分的な引用，する状況（インフォデミック）により社会に多大な悪影響が及

また内容を翻訳や要約した投稿を通じて，話題の内容が改変さぶ可能性が指摘されている 3 ．

れながら他ユーザに伝わることも多い．元となる情報源を忠実

このような誤情報や偽情報を包括する概念としての「フェイに引用しているように見せかけるなどして，元の内容と必ずしクニュース」の問題に対し，与えられた投稿が提供する情報のも矛盾しない恣意的な情報の取捨選択を行った場合，読者を誤信憑性を判断することでフェイクニュースを検出するファクト

解させ，誤った情報が不特定多数のユーザに拡散する状況につチェックの研究が行われている [1] [2] [3]．多くのファクトチェッ

ながる．
（図 1）に本研究で問題とするような改変の例を示す．

ク研究では，ニュースの真偽の判断を行う分類器の作成を目的

本研究では，COVID-19 に関するニュース記事への直接的なとし，元投稿の主張の正誤や投稿への反応の主張への賛否度合言及がある Twitter 上の投稿（ツイート）を対象とした分析をいがラベル付けされたデータセットが提供されている．

行い，それぞれの投稿と元記事との関係を明らかにすることを目的としたアノテーションスキームを提案した上で，Twitter

1：https://pewresearch.org/journalism/fact-sheet/social-media-and-

投稿のラベル付きデータセットの構築を行う．次に，データセッ

news-fact-sheet/

トの分析を行い，投稿者による主張の含有度合い（主観性）と(2023 年 1 月 10 日参照)
2：https://kyoiku.yomiuri.co.jp/newsliteracy/articles/contents/nle.

元のニュース記事の内容を継承している度合い（情報継承性）

phpの軸に基づいてラベルの整理を行う．最後に，ニュース言及を(2023 年 1 月 10 日参照)

含む Twitter 投稿の主観性と情報継承性の分類タスクを新たに

3：https://www.who.int/health-topics/infodemic

提唱し，これを解く分類器の提案を行う．

(2023 年 1 月 10 日参照)

2 関連研究2. 1 フェイクニュース検出・ファクトチェック
誤情報の検出を目的とした研究には，与えられた情報の信憑性を判断するファクトチェックの研究が挙げられる．ファク
トチェックには 3 つの段階があり，それぞれ個別のタスクとして分解することが出来る [2]．最初の段階では，文中から主張を抽出し，ファクトチェックの検討に値するかどうか，つまり
図2

Checkworthy であるかどうか検討する [4]．次にエビデンス探

リアクションツリーの例．

しの段階があり，主張を肯定あるいは否定する論拠を探すタスクとなる．最後に，エビデンスと主張を比較し，前者が後者を肯定ないし否定するかチェックし，最終的な判断を下す [5] [6] [7]．
主張の中の情報の新規性に着目し，情報新規性の分類タスクで学習させたモデルをファクトチェックに応用する研究も行われている [8]．

図3

リアクション数に応じた並べ替えの例．

従来の研究ではニュース記事や個別の主張を含む文章を入力とするタスク設定も多かったが，近年では Twitter 上の投稿をファクトチェックの対象とした研究が増えている．とりわけ，RumorEval19 [9] が本研究と近い．RumorEval19 では，

3 ニュース言及を含む投稿データセットの構築

Twitter 上の投稿と、それに対する反応（リプライ）について，

本節では，ニュース記事への言及を含む投稿を分析し，Twit-

リプライの元投稿に対する肯定度合いをラベル付けしている．

ter 上の投稿がニュースの情報伝播にどのような役割を果たし

また，COVID-19 関連のファクトチェック用データセットのているか明らかにする．この結果を利用し，ニュース記事に対整備 [10] も行われている．この研究では，ツイートの内容に対する投稿の内容を表現したラベルおよびラベル付けを行う際の応する COVID-19 についての誤解を含む流言を取得し，ツイー

アノテーションスキームを考案し，投稿の収集を行う．

トの内容が流言を肯定している度合いをラベル付けしている．
テキスト以外のモダリティを扱った研究としては，COS-

MOS [11] が挙げられる．写真が適当でない説明文とともに提示されると，記事の読者が騙されてしまう現象に対抗し，画像に対する誤解を生む説明文を検出する手法を提案した．本論文で提案する，ツイートの主観性と情報継承性の分類タスクは，
ニュース記事に紐づけられた投稿による誤解を防ぐことを目的とする点で，COSMOS と同類だがモダリティの異なる問題設定をしていると解釈できる．

3. 1 構 築 手 法
本研究では，2022 年の日本語の全量ツイート 4 から COVID-

19 関係の外部ニュースサイトに直接言及した単体のツイート（ソースツイート）を抽出し，これらを情報伝播上の重要性に応じて並べ替えを行い，残った上位の対象とした分析を行う．
全量ツイートを取得した後に，データの前処理として以下の処理を行ってソースツイートを取得する．

•

キーワードフィルター：トピックキーワード（「コロナ」「covid」「COVID」）を含まないツイートや，スパム投稿と関2. 2 含意関係認識

連性の高いキーワード（「プレゼント」等）を除外

特定のニュースに言及したツイートの情報継承性を分類する•

URL フィルター：URL が含まれないツイートを除外

タスクは，含意関係認識タスクの類型だと見ることができる．

•

単体ツイート抽出：他のツイートへのリプライ・RT・QT

含意関係認識とは，与えられたテキスト同士に含意関係が成りを除外立つかどうかを自動的に判定する技術であり，通常は 2 つの文•を比べて判断する設定になっている．近年はより長い文章の含

非公式 RT 除外：リンク先のタイトルと URL のみ含む

ツイートを除外
重複ツイート除外

意関係を扱った研究も行われており，とりわけニュース文章に•関する文章単位での含意関係認識も行われている [12] [13]．

次に，それぞれのソースツイートの拡散度合いを判断するた

本研究で比較しているニュース記事と SNS 上の投稿は筆者

めに，ソースツイートのリアクション数を取得する．取得対象の意図・文章長ともに既存研究と異なり，既存の提案手法を素は「リプライ」「RT」「引用 RT」とし，まずソースツイート

直に適用することが難しい．一例として，比較している文章同に対するリアクションから取得を開始し，これらに対する反応

士の長さが大幅に違うため，重複エンティティの数を数える等（リプライのリプライなど）をも再帰的に取得することで，ソーのヒューリスティックスが使えない等の問題がある．また，内スツイートを根ノード，リアクションを葉ノードとしたリアク

容の情報継承性に関するラベルについても，誤解を生む可能性

ションツリーを抽出する（図 2）．リアクションツリーに含まに着目した，より粒度の高いスキーマが求められている。
4：Twitter データは NTT データより提供を受けたものである．

表 1 5/1 のツイートグループのリアクション数と順位
リアクション数%

図 4 2022 年 5 月 1 日のツイートグループのリアクション数．

順位

50

8

60

17

70

32

80

85

90

388

95

864

100

4535

れるリアクションの数を取得し，ソースツイートに対するリア
クションの総数とする．なお，リアクションはソースツイートが投稿された日時より 1 週間以内まで取得した．

3. 3 アノテーションスキーム
取得したツイートについて，ツイートとリンク先のニュース

最後に，それぞれのソースツイート及びリンク先のニュース

記事の関係を細やかに表すラベルを設け，特にツイート内でリ記事の拡散度合いを判断するために，ソースツイートに対する

ンク先のニュース記事の内容がどの程度忠実に表現されている

リアクション数を利用した二段階の並び替えを行う (図 3)．

か明らかにすることを念頭にアノテーション用のスキームを構第一段階では，各ニュース記事の拡散度合いを測るため，リ築した．

ンクを含むソースツイートを集め，その数およびリアクション

本スキームでは，ツイートに含まれる内容を表すカテゴリを数の総和を計算する．この値でニュース記事を降順に並べ，よ設け，それぞれ元のニュースと比較した時の改変度合いに応じりリアクション数の多いソースツイートのグループを優先的にた数値をラベルとして付与する．

分析・ラベル付けを行うこととした．
第二段階では、各ソースツイートの拡散度合いを測るため，同様にリアクション数の多さでソースツイートを並べ替えた．
また，最終的なデータセット構築の際には，ニュースサイト（NHK，共同通信，Yahoo!ニュース）へのリンクを含まないものを除外するフィルターを設けた．

3. 2 ニュース言及を含む Twitter 投稿の分析
ニュース言及を含むツイートの分析を行うにあたり，上記手法で 2022 年 5 月 1 日に投稿されたニュース記事へのリンクを含むツイート 23,508 個を取得した．これらのツイートをリンク別にグループ分けした結果が図 4 である．ツイートグループに含まれるリアクションの大半は，上位の限られた数のニュース記事に関するものであることが読み取れる．具体的な数値は
表 1 に示すが，上位 8 個のニュース記事についての投稿が当日に行われたツイートに対する反応の半分を占めている．また，反応数上位 100 個のニュース記事を扱うことで，当日に行われた COVID-19 関連ニュースにまつわるツイッター上の反応の 8割以上を網羅できることがわかる．
次に，上位 4 ツイートグループ内のソースツイートにおけるリアクション数の分布を図 5 で示す．同じニュース記事のリンクを含む投稿同士でもリアクション数に大きな差異がみられ，
特に上位数ツイートにリアクションの大多数が集中していることが見受けられる．
これらの結果より，リアクション数の多いツイートグループ
を選び，その中でもリアクション数の多いソースツイートを選ぶことで，その日に行われた Twitter 上の情報伝播の大きな部分を占める重要性の高いツイートを得られることが分かる．以後のデータセット構築では，各日のリアクション数上位 200 のツイートグループ（ニュースサイトへのリンク数）につき，それぞれ上位 5 つまでのツイートを取得し，ラベル付けを行った．

カテゴリとしては，次の 5 種類を用意した．

•

言い換え・要約：リンク先のニュース記事に含まれる情報を言い換えたり，記事の要約を行っている•

翻訳：ニュース記事の言語とツイートの言語が異なり，翻訳された情報が含まれている•

外部情報の参照：リンク先のニュース記事に含まれてない情報が含まれている•

投稿者の意見：ツイートの投稿者の意見や主張が含まれている•

タイトル：記事のタイトルが含まれているそれぞれのカテゴリについて，情報改変度合いを 0-3 の数値で表す．ここでの数値の意味は次の通りとなる．

•

改変なし (0)：ニュース記事に含まれる情報は完全に保持されている•

誤解の生じない改変あり (1)：ニュース記事に含まれる情報について，表現上の改変は行われているが，その内容は十分に継承されている．読者がニュース記事を読んだときに得る
理解と，ツイートを読んだときに得る理解に大きな差はない．

•

誤解を生じうる改変あり (2)：ニュース記事に含まれる情報について，誤解を生じうる程度の改変が行われている．読者がニュース記事を読んだときに得る理解と，ツイートを読んだときに得る理解に差がある．

•

完全な改変あり (3)：ツイートに含まれる情報は完全に間違っている．
アノテーション作業者には，ツイートの本文及びリンク先のニュース記事のタイトルと本文が提示される．まず，5 カテゴ
リのそれぞれについて，そのカテゴリに該当する要素がツイートに含まれるかどうかを判断する．次に，該当したカテゴリについて，情報改変の度合いをラベルとして付与する．なお，単一のツイートが複数のカテゴリに該当することも想定される（記事内容を要約し，それに対する意見を述べるツイートなど）

図 5 5/1 の上位 4 ツイートグループタ内のソースツイートのリアクション数．
タイトル

言い換え・要約 外部情報の参照

ツイート数

全体に占める割合 (%)

-

-

228

24.9

!

-

-

33

3.6

-

!

-

1

0.1

-

-

-

!

62

6.8

!

!

-

-

97

10.6

!

-

!

-

19

2.1

!

-

-

!

285

31.2

-

!

!

-

2

0.2

-

!

-

!

34

3.7

-

-

!

!

32

3.5

!

!

!

-

3

0.3

!

!

-

!

51

5.6

!

-

!

!

60

6.6

-

!

!

!

5

0.5

!

!

!

!

2

0.2

914

-

!

-

-

投稿者の意見

合計
表2

データセットのカテゴリラベルの組み合わせ別ツイート数

ため，該当するカテゴリ全てについて情報改変度合いのラベル

表3

データセットのカテゴリ別ツイート数

カテゴリを付与することとする．

ツイート数全体に占める割合 (%)

227

24.8

言い換え・要約
翻訳

4 ニュース言及を含む Twitter 投稿データセットの概要
構築したニュース言及を含む Twitter 投稿データセットの概要を説明する．
データは，前節で説明した手法に従い，2022 年 10 月 1 日か00

外部情報の参照124

13.6

投稿者の意見

531

58.1

タイトル

745

81.5

合計

914

-

表 4 「言い換え・要約」カテゴリの改変度合い別ツイート数

ら 4 日にかけて投稿された COVID-19 関連ニュースの言及を改変度合い含むツイートを網羅的に取得した．これらをグループに分けた

改変なし

105

46.3

のち，各日リアクション数上位 200 のツイートグループの中で誤解の生じない改変あり

100

44.1

それぞれ上位 5 ツイートまでを取得し，得られた 914 ツイート

誤解の生じうる改変あり

10

4.4

すべてに対してアノテーション作業を行った．作業者について

完全な改変あり12

5.3

は，論文著者の１名が全ツイートのアノテーションを行った．

合計

227

-

ツイート数 カテゴリに占める割合 (%)

カテゴリラベルの組み合わせ別ツイート数を表 2 に，カテゴ
リ別のツイートの分布を表 3 に示す．カテゴリ別ツイート数をス記事へのリンクとタイトルがツイート本文に挿入される機能

見ると，最も多くツイートが該当したカテゴリがタイトルであがあるためだと考えられる．また，カテゴリラベルの組み合わり，次いで投稿者の意見，言い換え・要約が続く．タイトルのせに着目すると，投稿者の意見とタイトルの組み合わせが最も多さについては，多くのニュースサイトでは SNS へ投稿する多く見られた．これについては，ニュースに言及したうえで自ためのボタンが設けられており，これを押すと自動的にニュー分の意見を述べる形の投稿が多く見られることを示している．

表5
ラベル

ツイートの主観性ラベルの付与基準

表9

提案手法（入力：F tw ）の性能評価

基準

主観性

情報継承性

客観的 「投稿者の意見」ラベルが含まれていない

システム

混在

最多クラス法0.17

0.33 0.22

0.28

0.33

提案手法

0.66

0.65 0.64

0.47

0.45 0.45「投稿者の意見」ラベルに加え，他のラベルを含む

主観的 「投稿者の意見」ラベルのみ含まれている
表6

Precision Recall F1

Precision Recall

F1
0.30

ツイートの情報継承性ラベルの付与基準

ラベル

基準

高

「言い換え・要約」かつ「誤解を生じない改変」未満を含む

中「外部情報の参照」を含む

低「言い換え・要約」かつ「誤解を生じる改変」以上を含む
表7

表8

ク回帰を組み合わせたものである．入力はツイート本文（F tw ）およびリンク先のニュース記事のタイトル（F ti ）・記事の本文（F b ）とし，それぞれ独立した RoBERTa エンコーダの入力とツイートの主観性ラベルの分布する．次に，各エンコーダの [CLS] トークンの最終隠れ層を全て連結したベクトルを作る．最後に，このベクトルを入力，ツイートの正ラベルを出力とした多項ロジスティック回帰モデル

ラベル

ツイート数

客観的

155

を学習するモデルを用意する．この分類モデルは，主観性と情

混在

184

報継承性のラベル付けされた学習データについてそれぞれ学習

主観的

347

された後，各テストデータに対する出力を得る．

ツイートの情報継承性ラベルの分布
ラベル

ツイート数

6 実

験

高

708

実験で使うモデルの実装について説明する．大規模言語モデ中122

ルについては，早稲田大学河原研究室が日本語 Wikipedia コー

低22パスおよび Web 上の日本語ページコーパスを利用して学習を行った日本語 RoBERTa モデル 5 を使用する．前処理として日改変度合いの分布を示す．言い換え・要約を含む投稿のうち，

本語形態素解析システム JUMAN++ 6 を用いた分かち書きを行い，F tw , F ti , F b それぞれの入力には別途エンコーダを用

記事内容の改変が全く見られないものは半分以下となっている意する．なお，用いた言語モデルの最大入力長である 128 トー

表 4 に「言い換え・要約」カテゴリに属するツイートの情報

ことがわかる．また，10%弱の投稿には，少なくとも誤解を生クンに入力文長を合わせるため，パディングおよび超過分のじうる程度の改変がみられることが示されている．これは，ア切り捨てを適宜行う．多項ロジスティック回帰モデルの実装はノテーションが行われたツイートが全てのツイートの集合から

scikit-learn のデフォルト 7 に準じるが，重みの更新回数の上限

無作為に選ばれたのではなく，よりリアクション数の多いもの

は 3000 に設定する．

が選ばれていることに着目すると，Twitter 上における情報改

データは，本研究で構築した主観性データセット・情報継承

変を含む情報伝播の多さを強く印象付ける結果となっている．

性データセットを利用し，それぞれ独立して 10 分割交差検証

このデータセットを後述のタスクに適した形にするため，ツを行う．なお，同じニュース記事に言及しているツイートが複

イートの主観性と情報継承性の軸に合わせたラベルの整理を行数存在することを鑑みて，分割時にテスト事例に含まれる全て

う．ラベルの付与基準は表 5・表 6 にて示し，それぞれのラベのリンクについて，訓練事例にこのリンクが含まれるツイート

ルの分布は表 7・表 8 にて示す．なお，主観性ラベル付与の際を全て除去した．したがって，通常の 10 分割交差検証に比べには「タイトル」カテゴリを無視（「タイトル」カテゴリのみて訓練用の標本数が少なくなっている．

含むツイートを除外）し，情報継承性ラベル付与の際には「投稿者の意見」カテゴリのみ含むツイートを除外した．前処理で結果の評価尺度としてはマクロ平均の Precision(適合率),

Recall(再現率), F1 値を用いる．

除外されたツイートがそれぞれ異なるため，主観性および情報最初の実験として，提案手法の基本的な性能評価を行う．ベー

継承性ラベルの付与されたツイートの数はそれぞれ異なる．

スラインは学習データ内の最多クラスを常に選ぶ最多クラス法とし，提案手法の入力は F tw のみとする．

5 ニュース言及を含む Twitter 投稿の主観性と情報継承性の分類構築したデータセットを利用し，ニュース記事への言及を含
む任意のツイートについて，投稿内容の主観性とニュース記事の内容に対する情報継承性を分類するタスクを新たに設定し，結果を表 9 に示すが，提案手法は全ての評価尺度で多数決法を大幅に上回っていることが確認できる．また，モデルの予測
結果の混同行列（図 6）を見ると，主観性・情報継承性ラベル
共に一定の性能が確認できる．ただし，情報継承性については正解値を問わず「高」の予測値が多く出ており，正解クラスあ

事前学習済みの大規模言語モデルを利用した分類手法を提案する．
提案手法は大規模言語モデル RoBERTa [14] とロジスティッ

5：https://huggingface.co/nlp-waseda/roberta-large-japanese
6：https://github.com/ku-nlp/jumanpp
7：https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html

謝辞

本研究は，JST CREST JPMJCR19A4，および，JSPS 科
研費 JP21H03445 の支援を受けたものです．

文

図6

提案手法（入力：F tw ）の混同行列．

表 10

入力情報追加時の比較（主観性）

入力
F tw

Precision Recall

F tw & F ti
F tw & F ti & F b
表 11

F1

0.66

0.65 0.64

0.64

0.62

0.62

0.64

0.62

0.62

入力情報追加時の比較（情報継承性）

入力
F tw

F tw & F ti
F tw & F ti & F b

Precision Recall
0.47

F1

0.45

0.45

0.45

0.43

0.43

0.48

0.46 0.46

たりのデータ数が大幅に異なる不均衡データの問題に十分に対処できていないと考えられる．さらに，情報継承性の正ラベルが「低」であるツイートを正しく分類できていないが，これはツイートのみを利用して情報継承性の判断を下すことの困難さを反映していると考えられる．
次に，F tw ・F ti ・F b と性質の異なる文章を入力に追加し，モデルの分類性能の評価を行う．結果を表 10, 表 11 に示す．
主観性の分類ではツイート本文のみを利用した場合の性能が最も良いが，これは主観性がツイート本文の情報のみで判断可能であることを示唆している．また，情報継承性については全ての入力を使った場合に最も高い性能を示しており，ツイートと言及されているニュース記事の文章同士を比較し，含意関係を捉えることの必要性が強調されている．

7 おわりに
本研究では，ニュース記事へ言及する Twitter 上の投稿の分析を通じて投稿内容と元記事との関係を明らかにし，これを整理した上で「主観性」「情報継承性」の軸に沿ったラベル付き
データセットの構築を行った．また，このデータセットを使った分類問題を解く手法を提案し，性能評価を行った．
今後の研究方針として，Twitter 投稿の主観性と情報継承性の分類タスクにおける提案手法を改良し，モデルの性能向上に向けた取り組みを行うこと，また，日本語の投稿が英語の記事を参照している場合など，言語横断的な情報伝播現象を捉えた
データセットの拡張を行うことを考えている．

献[1] Terry Flew, Christina Spurgeon, Anna Daniel, and Adam
Swift. The promise of computational journalism. Journalism Practice, Vol. 6, No. 2, pp. 157–171, 2012.
[2] Andreas Vlachos and Sebastian Riedel. Fact checking: Task
deﬁnition and dataset construction. In Proceedings of the
ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 18–22, Baltimore, MD, USA,
June 2014. Association for Computational Linguistics.
[3] Lucas Graves. Understanding the promise and limits of automated fact-checking. Reuters Institute for the Study ofJournalism, 2018.
[4] Xueyao Zhang, Juan Cao, Xirong Li, Qiang Sheng, Lei
Zhong, and Kai Shu. Mining dual emotion for fake news
detection. In Proceedings of the Web Conference 2021, pp.
3465–3476, 2021.
[5] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. FEVER: a large-scale dataset for fact
extraction and VERiﬁcation. In Proceedings of the 2018
Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, Volume 1 (Long Papers), pp. 809–819, New
Orleans, Louisiana, June 2018. Association for Computational Linguistics.
[6] Isabelle Augenstein, Christina Lioma, Dongsheng Wang,
Lucas Chaves Lima, Casper Hansen, Christian Hansen,
and Jakob Grue Simonsen. MultiFC: A real-world multidomain dataset for evidence-based fact checking of claims.
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP), pp. 4685–4697, Hong Kong, China,
November 2019. Association for Computational Linguistics.
[7] Gautam Kishore Shahi and Durgesh Nandini. Fakecovid- a multilingual cross-domain fact check news dataset forcovid-19. ArXiv, Vol. abs/2006.11343, , 2020.
[8] Rina Kumari, Nischal Ashok, Tirthankar Ghosal, and Asif
Ekbal. What the fake? probing misinformation detection
standing on the shoulder of novelty and emotion. Information Processing Management, Vol. 59, No. 1, p. 102740,
2022.
[9] Genevieve Gorrell, Elena Kochkina, Maria Liakata, Ahmet
Aker, Arkaitz Zubiaga, Kalina Bontcheva, and Leon Derczynski. SemEval-2019 task 7: RumourEval, determining
rumour veracity and support for rumours. In Proceedings ofthe 13th International Workshop on Semantic Evaluation,
pp. 845–854, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.
[10] Tamanna Hossain, Robert L. Logan IV, Arjuna Ugarte,
Yoshitomo Matsubara, Sean Young, and Sameer Singh.
COVIDLies: Detecting COVID-19 misinformation on social media. In Proceedings of the 1st Workshop on NLP for
COVID-19 (Part 2) at EMNLP 2020, Online, December
2020. Association for Computational Linguistics.
[11] Shivangi Aneja, Chris Bregler, and Matthias Nießner. Cosmos: Catching out-of-context misinformation with selfsupervised learning, 2021.
[12] Tirthankar Ghosal, Amitra Salam, Swati Tiwari, Asif Ekbal, and Pushpak Bhattacharyya. TAP-DLND 1.0 : A
corpus for document level novelty detection. In Proceed-ings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki,
Japan, May 2018. European Language Resources Association (ELRA).
[13] Tanik Saikh, Tirthankar Ghosal, Asif Ekbal, and Pushpak
Bhattacharyya. Document level novelty detection: Textual
entailment lends a helping hand. In Proceedings of the 14th
International Conference on Natural Language Processing(ICON-2017), pp. 131–140, Kolkata, India, December 2017.
NLP Association of India.
[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar
Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.