大規模言語モデルで生成された文学テキストの検出と有効な識別的特徴の探求

本研究は，人間が作成した文学テキストとLLMが生成した文学テキストの自動分類がどの程度の精度で可能かをBERTモデルを用いて検証した．その結果，高精度で可能であることが示された．また，人間とLLMの生成テキストの間に存在する識別可能な特徴を探求するため，RandomForestで18種類の特徴量を用いてLLM生成テキストの検出を行った．その結果，詩においては，MATTR，LexicalDensity，文長のばらつき，感情の揺らぎ，歌詞においては，MaasIndex，HapaxLegomenonRatio，文長のばらつき，感情の揺らぎ，短編小説では，HD-D，隣接文類似度，文長のばらつき，修飾関係の意味的距離が分類に寄与していることが示された．