LLMサプライザルと語彙豊富度指標を用いた

自然言語処理技術の発展に伴い，第二言語習得研究においても機械学習を用いた学習者データの分析が進んでいる．特に，学習者の書いたテキストからその母語を推測する母語識別は，学習者の誤用傾向や言語転移を理解する上で重要なタスクである．従来の手法ではn-gramなどの表層的な特徴量が用いられてきたが[1]，近年では大規模言語モデル（LLM）の予測確率を用いた分析が注目されている[2]．本研究では，LLMにおけるサプライザル（surprisal）という特徴に着目する．サプライザルとは，ある単語が出現する確率の対数負値であり，モデルにとって予測しにくい単語ほど高い値を示す．本研究の目的は，このサプライザルと語彙の多様性を表すMTLD（MeasureofTextualLexicalDiversity）を組みTONGFENGYI1久野雅樹11電気通信大学大学院情報理工学研究科t2530092@edu.cc.uec.ac.jphisano@uec.ac.jp合わせることで，日中韓の日本語エッセイコーパスにおける母語識別を行い，その有効性と日中韓の言語的特徴を明らかにすることである．