日本語LLM生成テキスト識別データセットの構築

近年，大規模言語モデル(LargeLanguageModel;LLM)は特にテキスト生成の分野で優れた成果を挙げており，人間が書いたテキストとほぼ見分けがつかないテキストを生成できるようになっている．これに伴い，LLMによって生成されたテキスト(以下，LLM生成テキスト)と人間が作成したテキスト(以下，人間生成テキスト)を自動的に識別することの重要性が高まっている．例えば，LLMによって生成されたレポートや論文を見分けたりフェイクニュースを検出したりすることは実用的な価値が高い．LLM生成テキストの自動識別の研究には，人間生成テキストとLLM生成テキストを収集したデータセットが必要不可欠である．これまで，先行研究によっていくつかのデータセットが構築され，公開されている．HumanChatGPTComparisonCorpus(HC3)は，同一の質問に対して人間とChatGPTが回答したテキストの組から構成されるデータセットである[1]．HC3Plusデータセットは，HC3では質問応答タスクのみを対象としていたのに対し，要約，翻訳，言い換えといったタスクを対象に人間生成テキストとLLM生成テキストを収集している[2]．CHEATは，計算機科学分野の論文の15,395件の概要と，ChatGPTによって生成された35,304件の概要から構成されるデータセットである[3]．しかしながら，LLM生成テキスト識別のためのデータセットの多くは英語を対象に開発されており，日本語テキストを対象としたデータセットの整備は遅れている．本研究では，日本語LLM生成テキスト識別データセットを構築する．同データセットは日本語の人間生成テキストとそれに対応するLLM生成テキストの組から構成され，以下のような特徴を持つ．(1)学術論文の概要を中心に，質問応答，ニュース，Wikipedia記事など多様な種類のテキストを含む．(2)複数のLLMによって生成されたテキストを含む．さらに，本論文ではLLM生成テキストと人間生成テキストの違いを分析する．また，構築したデータセットを用いてLLM生成テキスト識別のベースラインモデルを学習し，その性能を実験的に検証する．