LLMサプライザルと語彙豊富度指標を用いた

本研究では，大規模言語モデルが算出するサプライザルと語彙豊富度指標（MTLD）を用いて，日本語エッセイの書き手の母語（日本語，中国語，韓国語）を識別する手法を提案する．Rinna-3.6B，ELYZA-Llama2-7B，LLM-jp-13Bの3つのLLMを用いて分析を行った．その結果，サプライザルは書き手の母語によって異なる分布を示し，特に中国語話者のテキストにおいては特有の漢字使用や固有名詞がサプライザル値を高める要因であることが明らかになった．また，サプライザルとMTLDの相関分析から，学習者は語彙の難度が上がると文脈の不自然さが増す一方，母語話者はその影響を受けにくいという構造的な違いが示唆された．