言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルによる時系列を考慮した
フェイクニュース生成
原悠貴 1

Yin Jou Huang2 Fei Cheng2
2 京都大学大学院情報学研究科{hara,huang}@nlp.ist.i.kyoto-u.ac.jp feicheng@i.kyoto-u.ac.jp
1 京都大学工学部

概要
大規模言語モデルの登場により，フェイクニュース検出タスクに新たな課題が生じている．既存の検出タスクの多くは，その F1 スコアが 90%を超えている．これは 1 つのニュース記事だけに着目し，その言語的特徴等を手掛かりにした，簡易的なタスク設定が原因と考える．そこで本研究では，大規模言語モデルを用いて，既存のフェイクニュース検出器に検出されにくいフェイクニュースの生成を試みた．具体的には，時系列順に並んだ複数の記事に着目し，論理的に一貫したフェイクニュースを生成することを目標にした．

1

はじめに

ChatGPT [1] や GPT-4 [2] をはじめ，最近の大規模言語モデル (以下 LLM) は，人間が書く文章によく似た文章を生成することができ，ある文章が人間が書いたものなのか LLM が生成したものなのかを判断するのが難しい場合が多い．この技術は非常に便利である一方で，これを悪用することで，間違った情報 (フェイクニュース) が拡散されるリスクがある．
フェイクニュース検出に関する研究は以前から行われていたが，LLM の登場により新たな課題が生じている．その内の 1 つが，既存のフェイクニュース検出器は LLM が意図的に生成したフェイクニュースをどの程度検出できるのかという課題だ．
既存の検出タスクの多くは，1 つのニュース記事だけに着目している．タイトルの言語的特徴や内容が風刺的か [3]，あるいは内容が誹謗中傷を含むか[4] といった，ニュースの表面的な側面に注目しており，これは簡易的なタスク設定だと言える．その結果，F1 スコアはどれも 90%を超えている [4, 5]．
そこで本研究では複数のニュース記事に着目し，LLM を用いることで，既存のフェイクニュース検出器に検出されにくい，文脈を意識したフェイクニュースデータセットを構築する手法を提案する．
図 1 のように，あるトピックに関する複数のニュース記事が時系列順に並んだタイムラインを作成し，1 つのニュース記事を置換する形でフェイクニュースを生成する．生成時に文脈や時系列的なつながりを考慮することで，他の記事との論理的一貫性を保つ．
また，本手法により生成されたフェイクニュースについて，関連性・矛盾性・一貫性という 3 つの評価指標に基づいて人間による評価を行った．関連性と矛盾性は 100%, 90.91%と高スコアだったが，一貫性はタイムラインの質が原因で 27.27%と低いスコアに留まった．

データセット構築手法

2

時系列を考慮したフェイクニュース生成の全体像を図 1 に示す．まずニュース記事のデータセットから，キーワードグループを抽出する (2.2 節)．次に，得られたキーワードグループを含むニュース記事からストーリーを生成し，それを用いてタイムラインを作成する (2.3 節)．最後にタイムラインの中の 1
つのニュース記事を置換する形で時系列を考慮したフェイクニュースを生成す (2.4 節)．

2.1

使用するニュース記事の要素

本研究で扱うニュース記事は以下の要素を用いる．

― 2119 ―• headline: ニュース記事のタイトル• short description: ニュース記事の要約• date: 投稿された年月日• content: ニュース記事の内容

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図1

2.2

提案手法の全体像ではない可能性があり，タイムラインを作成できなキーワードグループの抽出

タイムラインの作成にあたって，似たようなトい．そこでこのようにストーリーを作成し，そのストーリーに沿ってニュース記事を選択することで記

ピックについてのニュース記事を取得する．ここで事同士の関連性が高いタイムラインを作成することは同じキーワードを持つ記事は関連したものと仮定ができる．

する．したがってニュースデータセット全体するよく共起するキーワードグループを抽出する．

次にこのストーリーを用いてタイムラインを作成する．タイムラインに関連したニュース候補の中各ニュース記事の headline と short description を連からニュース記事を追加した際，そのタイムライン結した文字列について，レマタイズ，ストップワーと生成したストーリー間の ROUGE-2 スコア [9] がドの除去，1 文字の単語の除去，名詞以外の単語の除最も高くなるニュース記事を，正式にタイムライン

去，BM25[6] を用いた不必要な単語の除去し，残りのに追加する．このように貪欲にニュース記事を選択ものをキーワードとする．次に，得られた複数の名することで関連性の高いニュース記事を選ぶこと

詞群に対して FP-growth (Frequent Pattern-growth)[7, 8]ができ，ストーリー性のあるタイムラインを作成でを適用することで，[‘Russia’, ‘Ukraine’] のような二きる．

単語以上からなるキーワードグループを抽出することができる．

2.3

2.4

フェイクニュースの生成

ここまでで作成したタイムラインデータセットとタイムラインの作成

LLM を用いて，1 つのタイムライン中に 1 つのフェ

タ イ ム ラ イ ン と は，あ る ト ピ ッ ク に つ い て のイクニュースを生成する．フェイクニュースは時系ニュース記事が時系列順に並んだものである．タイ

列的に前 2 つのニュース記事とは論理的に一貫する

ムラインに含まれる記事同士が関連性の高いものとが，置換するニュース記事とは矛盾するようにしたなるように，２段階的にタイムラインを作成する．

いため，2 段階的に生成する．

ま ず，タ イ ム ラ イ ン を 作 成 す る の に 必 要 な ス

まずある 1 つのタイムラインに含まれるニューストーリーを作成する．あるキーワードグループを記事を全て LLM に入力し，フェイクニュースを生

headline もしくは short description に含む記事を全て成する位置を決めてもらう．次に，文脈を意識し論取得することで関連したニュース候補を取得し，そ理的に一貫したフェイクニュースを生成するため，れらを LLM に入力することでストーリーを生成すフェイクニュースを生成する位置の前 2 つのニューる．あるキーワードグループを含むというだけではス記事と，矛盾させるニュース記事を LLM に入力

それらのニュース記事が同じ話題についての内容する．

― 2120 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

使用するデータセット

2019 2020

2021

2022

計

count 2005 2054

2066

1398

7523

year

また基本的な条件として次の 2 つを設ける．1 つ目は，フェイクニュースを生成する際は， headline,short description, date を使う．また矛盾させるニュー
ス記事のみ content も使うこと．2 つ目は，フェイクニュースの位置は，タイムラインにおいて 3 つ目以降とすること．2 つ目の条件はフェイクニュースの図 2 キーワードグループの上位 20 個

前に 2 つのニュース記事があることを保証するために必要なものである．

ニュース記事においても閾値 (𝜖) を下回ったとき．

実験の結果と分析

3

つまり 𝑅 𝑗+1 − 𝑅 𝑗 < 𝜖 となるとき，𝑗 + 1 番目の記事は2 章で説明した手法を用いて，フェイクニュースデータセットを作成する．

3.1

タイムラインには追加しない．今回は 𝜖 = 0.007 として実験を行う．

3.2

実験設定

LLM には GPT-4 を採用し，今回は API で利用できる gpt-4-1106-preview を使用する．Temperature は0.8 とした．
ニ ュ ー ス デ ー タ セ ッ ト に は News Category
Dataset[10, 11] を 使 用 す る．News Category Datasetに は content が 含 ま れ な い た め，ニ ュ ー ス 記 事 のURL からスクレイピングでニュース記事の内容を取得した．また，使用するデータセットの年毎のデータ数を表 1 に示す．今回は 2019 年以降に投稿された 7523 個のニュース記事を用いる．
次にタイムラインの作成に関する設定について説明する．タイムラインに含まれる記事の数は 𝑛min 以
上 𝑛max 以下とし，それぞれのキーワードグループ 𝑖において，作成するタイムラインの数 𝑘 𝑖 は作成可能なタイムライン数の最小値の半分以下とする．つまり，キーワードグループ 𝑖 について関連したニュース候補の数が 𝑙 𝑖 の時，以下の式が成り立つ．
𝑛min ≤ 𝑛 𝑘 ′ ≤ 𝑛max for ∀𝑘 ′ , 1 ≤ 𝑘 ′ ≤ 𝑘 𝑖]][[𝑙𝑖× 0.5
𝑘𝑖 ≤𝑛max

(1)
(2)

統計情報

次に得られたキーワードグループについて分析する．全てのニュース記事がキーワードグループの単語を含むわけではないため，この時点で使用されないニュース記事が出てくる．どのキーワードグルー
プも含まない記事は 4492 個存在しているため，以降使用されるニュース記事の数は 7523 個中 3031 個となる．またキーワードグループは合計で 262 個取得でき，そのうちそのキーワードグループを含む記事の数が多いものの上位 20 個を図 2 に示す．上位には主に ‘Trump’ や ‘president’ といった政治的な単語が入っている．
また 𝜖 = 0.007 のときの，タイムラインに含まれるニュース記事の数の分布を表 2 に示す．作成されたタイムラインの数は合計で 359 個であり，4 個のニュース記事からなるタイムラインが最も多い．

3.3

生成したフェイクニュースの量的分析生成したフェイクニュースを含むタイムラインを22 個ランダムにサンプリングし，人間による評価を行う．評価を行う際は，以下の 3 つの評価指標により評価する．
1. 生成されたフェイクニュースは，置換された記今回は，𝑛min = 4, 𝑛max = 10 として実験を行う．
ニュース記事をタイムラインに追加する際の停止事と関連した内容か (関連性)．
2. 生成されたフェイクニュースは，置換された記事と矛盾しているか (矛盾性)．

条件としては，次の 2 つを用いる．1 つ目はタイムラインに含まれる記事の数が最大数 (𝑛max ) に達し

3. 生成されたフェイクニュースは，時系列的にたとき．2 つ目はタイムラインに記事を追加する前

前 2 つの記事とは論理的に一貫しているか (一後における ROUGE-2 スコア (𝑅) の増加量が，どの貫性)．

― 2121 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 タイムラインに含まれるニュース記事の数の分布
ニュース記事4567
8 9 10 計
タイムライン 127 116 63 20 14 8 11 359
表4

スコア

表 3 人間による評価の結果
1. (関連性)
2. (矛盾性)
3. (一貫性)100% (22/22) 90.91% (20/22) 27.27% (6/22)

生成したフェイクニュースの例 (上: 良い例, 下: 悪い例)

𝑡−2

Western Oﬃcials Pledge To Support Ukraine As Russia Says It Should Be Dismembered

𝑡−1

Russia Hits Ukraine Fuel Suplies, Airﬁelds In New Attacks𝑡 (real)U.S. Astronaut To Return On Russian Capsule Despite Heightened Tensions Over War𝑡 ′ (fake)NASA Astronaut Stranded on ISS as Russia Refuses Return Passage

𝑡−2

Twitter Users Bury Thankless Trump Over Ugly John McCain Funeral Slam𝑡−1

Ivanka Trump Mocked By Twitter Users While Promoting𝑡 (real)Trump Lashes Out At The Media But Twitter Users Push Back With Fierce Replies𝑡 ′ (fake)President Trump Announces COVID-19 Cure; Credits Personal Genius

Skills-Based Hiring

人間による評価の結果を表 3 に示す．1 つ目の評

ンプ氏が COVID-19 の治療法を開発したという記事

価指標については 100%となっており，GPT-4 が生なので，1 と 2 の評価指標は満たしている．一方で，成するフェイクニュースは，置換されたニュース記

時系列的に前 2 つの記事は COVID-19 に関する記事事に関するものとなっていることがわかる．また 2

ではなく，明らかに 3 つ目の評価指標を満たしていつ目の評価指標については 90.91%となっており，ほない．これはフェイクニュース生成前のタイムライ

とんどのフェイクニュースが置換されたニュース記

ンの質が原因だと考えるが，これには 2 つの理由が事と矛盾するように生成されたことがわかる．一方考えられる．

で 3 つ目の評価指標については 27.27%とスコアが

1 つ目はキーワードグループの質だ．悪い例には低くなってしまっている．その理由について次の節‘users’ というあまり重要ではない単語が含まれていで分析する．

る．このような単語がキーワードグループに含まれ3.4生成したフェイクニュースの質的分析ることで，関連性の低いニュース記事同士がタイムラインに含まれる可能性を高めていると考える．

ケーススタディも交えつつ，3 つ目の評価指標に2 つ目はストーリーの質だ．タイムラインはスおけるスコアが低い点について分析する．生成したトーリーをカバーするように，関連したニュースフェイクニュースの例を，headline に限って表 4 に候補から選択されるため，GPT-4 が生成するストー示す．

リーがストーリー性をもたず，複数の話題についまず良い例について分析する．これは [‘Russia’,て言及している場合，得られるタイムライン中の‘Ukraine’] というキーワードグループから作成されニュース記事も関連性の低いものとなると考える．

たタイムラインの一部である．時系列的に前２つの実際，悪い例のタイムラインを作成する際のストー

ニュース記事 (𝑡 − 2 と 𝑡 − 1) では，ロシアとウクラリーは一貫性のないものとなっていた．

イナの情勢に関するものとなっており，置換された
ニュース記事はその情勢の中アメリカの宇宙飛行士おわりに4がロシアのカプセルで帰還することについての記事

本研究では大規模言語モデルによる時系列を考慮である．生成されたフェイクニュースは NASA の宇したフェイクニュース生成の手法について提案し宙飛行士がロシアのカプセルに搭乗できず ISS に取り残されたという記事であり，３つの評価指標の全た．また，3 つの評価指標を用いて，生成したフェてを満たしていることがわかる．

イクニュースの人手評価を行った．時系列的に前 2つの記事と論理的に一貫したフェイクニュースは次に悪い例について分析する．これは [‘Trump’,27.27%程度に留まった．将来的にはフェイクニュー‘users’] というキーワードグループから作成されたスの質を向上させ，既存のフェイクニュース検出器タイムラインの一部である．置換された記事はトラがどれほど検出できるのかを確認したい．

ンプ氏が COVID-19 を軽視する立場であることを示す記事であり，生成されたフェイクニュースはトラ― 2122 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 23K16946, JST ACT-X JPMJAX23CP の助成を受けたものです．

参考文献[1] OpenAI. Introducing chatgpt., 2023. https://openai.
com/blog/chatgpt.
[2] Gpt-4 technical report, 2023.
[3] Benjamin D. Horne and Sibel Adali. This just in: Fakenews packs a lot in title, uses simpler, repetitive content intext body, more similar to satire than real news, 2017.
[4] Archita Pathak and Rohini Srihari. BREAKING! presenting fake news corpus for automated fact checking.
In Fernando Alva-Manchego, Eunsol Choi, and Daniel
Khashabi, editors, Proceedings of the 57th Annual
Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 357–362,

[5]

[6]

[7]

[8]

Florence, Italy, July 2019. Association for Computational
Linguistics.
Pawan Kumar Verma, Prateek Agrawal, Ivone Amorim,and Radu Prodan. Welfake: Word embedding over linguistic features for fake news detection. IEEE Transactions
on Computational Social Systems, Vol. 8, No. 4, pp.
881–893, 2021.
Stephen Robertson and Hugo Zaragoza. The probabilistic
relevance framework: Bm25 and beyond. Found. Trends
Inf. Retr., Vol. 3, No. 4, p. 333–389, apr 2009.
Jiawei Han, Jian Pei, and Yiwen Yin. Mining frequent
patterns without candidate generation. SIGMOD Rec.,
Vol. 29, No. 2, p. 1–12, may 2000.
Jiawei Han, Jian Pei, and Yiwen Yin. Mining frequent
patterns without candidate generation. In Proceedings ofthe 2000 ACM SIGMOD International Conference on
Management of Data, SIGMOD ’00, p. 1–12, New York,NY, USA, 2000. Association for Computing Machinery.
[9] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches
Out, pp. 74–81, Barcelona, Spain, July 2004. Associationfor Computational Linguistics.
[10] Rishabh Misra. News category dataset. arXiv preprint
arXiv:2209.11429, 2022.
[11] Rishabh Misra and Jigyasa Grover. Sculpting Data for
ML: The ﬁrst act of Machine Learning. 01 2021.

― 2123 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考情報A

参考となる情報を記す．

A.1

Promptフェイクニュースを生成する際のプロンプトを表 5 に示す．
表5

フェイクニュースを生成する際のプロンプトの例# INSTRUCTIONSGenerate ONE fake news based on the following constraints and input documents by following criteria:- It needs to contain headline, short description, date (YYYY-MM-DD),and content properties, and please strictly adhere to around 200 words for the content you generate.
- Additionally, explain how the fake news contradicts the real ones.
## criteria1: Ensure that the headline and content of the fake news you generate are contradict toheadline and content of the following document.
document ID. 1102
headline: Russia Hits Ukraine Fuel Suplies, Airﬁelds In New Attacks
short description: Russian forces blew up a gas pipeline in Kharkiv and an oil depot near the Zhuliany airport,
according to the oﬃce of Ukrainian President Zelenskyy.
date: 2022-02-27
content: ...
## criteria2: Please generate fake news that is a possible consequence of the following two documents.
document ID. 1666
headline: Kremlin Denies Troop Buildup Near Ukraine Border Signals Plan To Invade
short description:Russia doesnt threaten anyone,said a Kremlin spokesman.

date: 2021-11-13
document ID. 1136
headline: Western Oﬃcials Pledge To Support Ukraine As Russia Says It Should Be Dismemberedshort description: Faced with a Russian attempt to redraw borders in Europe, the U.S. is preparing sanctions
and European allies are signaling solidarity with the government in Kiev.
date: 2022-02-21- The date of the fake news you generate should be 2022-02-27.

A.2

パラメータ

キーワードグループの抽出に関する設定について説明する．
BM25 のパラメータである 𝑘 1 と 𝑏 については，𝑘 1 = 1.2, 𝑏 = 0.75 とし，閾値を 0.5 とした．
また FP-Growth のパラメータである minsup と minconf については，minsup = 0.003, minconf = 0.6 とした．

― 2124 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).