大規模言語モデルによる時系列を考慮したフェイクニュース生成

ChatGPT[1]やGPT-4[2]をはじめ，最近の大規模言語モデル(以下LLM)は，人間が書く文章によく似た文章を生成することができ，ある文章が人間が書いたものなのかLLMが生成したものなのかを判断するのが難しい場合が多い．この技術は非常に便利である一方で，これを悪用することで，間違った情報(フェイクニュース)が拡散されるリスクがある．フェイクニュース検出に関する研究は以前から行われていたが，LLMの登場により新たな課題が生じている．その内の1つが，既存のフェイクニュース検出器はLLMが意図的に生成したフェイクニュースをどの程度検出できるのかという課題だ．既存の検出タスクの多くは，1つのニュース記事だけに着目している．タイトルの言語的特徴や内容が風刺的か[3]，あるいは内容が誹謗中傷を含むか[4]といった，ニュースの表面的な側面に注目しており，これは簡易的なタスク設定だと言える．その結果，F1スコアはどれも90%を超えている[4,5]．そこで本研究では複数のニュース記事に着目し，LLMを用いることで，既存のフェイクニュース検出器に検出されにくい，文脈を意識したフェイクニュースデータセットを構築する手法を提案する．ス記事が時系列順に並んだタイムラインを作成し，1つのニュース記事を置換する形でフェイクニュースを生成する．生成時に文脈や時系列的なつながりを考慮することで，他の記事との論理的一貫性を保つ．また，本手法により生成されたフェイクニュースについて，関連性・矛盾性・一貫性という3つの評価指標に基づいて人間による評価を行った．関連性と矛盾性は100%,90.91%と高スコアだったが，一貫性はタイムラインの質が原因で27.27%と低いスコアに留まった．