日本語LLM生成テキスト識別データセットの構築

本論文は日本語LLM生成テキスト識別データセットの構築について述べる．本データセットは，同じトピックについて人間が書いたテキストとLLM(大規模言語モデル)が生成したテキストの組を収録したものであり，テキストの作成者が人間かLLMかを識別するタスクのベンチマークとなるものである．人間が書いたテキストとして，論文の概要，ウェブ上の質問応答，ニュース，Wikipedia記事の4種類のテキストを収集する．また，これらに対応するテキストを4つのLLMを用いて生成する．さらに，人間・LLMが生成したテキストの違いの分析や，同データセットを用いたLLM生成テキスト識別タスクの実験について報告する．