大規模言語モデルで生成された文学テキストの検出と有効な識別的特徴の探求

近年，大規模言語モデル（LLM）は目覚ましい進歩を遂げており，ニュース記事や学術論文といった一般的なテキストに加え，詩や小説のような文学テキストも生成可能になっている．文学テキストは，創造性や独自の文体といった非定型的な要素を含む点で一般的なテキストと異なる特徴を持つ．しかし，LLMが生成した文学テキストと人間が書いた文学テキストの区別は困難になっている．Porterらの研究[1]では，読者によるLLM生成詩の特定で正答率が46.6％となり，LLM生成詩を実際の人間が書いた詩よりも人間が書いたものと判断する傾向が強いことが示された．人手によるLLMの生成した文章の識別は困難であるが，この困難さはコンピュータを用いた場合にも当てはまるとは限らない．本研究では，人間が作成した文学テキストとLLMが生成した文学テキストの自動分類がどの程度の精度で可能かを検証する．特に，高い検出性能が示された場合には，人間とLLMが生成した文学テキストの間に存在する識別可能な特徴を解明する．LLMが生成した文学テキストを検出できれば，教育面において，学生が自分の力で文章を作成することを促し，思考力や創造性を守ることに繋がる．