日本語におけるLLMと人間の誤用傾向の差異の分析

大規模言語モデル（LargeLanguageModel;LLM）は，人間によって書かれた膨大な量の文章を学習することで，自然な文章を生成できる．近年のLLMは，多様な自然言語処理タスクで高い性能を示しており，生成された文章は人間の書いたものと容易に区別できない水準に達することから，LLMは人間の言語生成能力を再現しているように見える．一方で，LLMによる文章生成を観察すると，人間の文章では一定の確率で生じるはずの誤用がほとんど見られず，あまりにも文章が整いすぎているという違和感がある．誤用とは，例えば「危機一髪」と「危機一発」のように，本来の表現を取り違えて誤った意味・用法で用いることである．人間は誤用を含む記述することが多々あるが，図1のように，LLMが誤用を生成することは極めて稀である．これは，LLMが誤りの少ない文章に強く偏った，人間とは異なる言語分布を獲得している可能性を示唆する．人間の言語生成における誤用は，単なるノイズではなく，認知や知識の不完全さに起因する自然な現∗現在，株式会社エムニ所属車が逆走してきたが、正：危機一髪59.8%誤：危機一発0.36%約166倍生成確率で避けられた。用・誤用候補の確率をteacherforcingで算出し，二択正規化した例．誤用側の相対確率が極端に低い．象で，誤用の出現頻度や分布は人間らしい言語生成過程の特徴を反映している．人間とLLMの誤用生成傾向の差異は，LLMが生成する文章の人間らしさや表現の多様性に影響するため，LLMの適切な利用を考える上で重要な問題である．本研究の目的は，日本語における人間とLLMの誤用傾向の差異を，同一の評価枠組みで定量化し，さらにその差異を学習により制御可能かを検証することである．具体的には，(i)認知的誤用に焦点化した大規模データセットを構築し，(ii)人間の誤用と正用の二択選好確率とLLMの二択正規化確率を直接比較し，(iii)DirectPreferenceOptimization(DPO)/SupervisedFine-Tuning(SFT)により誤用傾向を部分的に人間へ近づけることを試みる．本研究の主な貢献は，以下のとおりである．•データ：認知的誤用に焦点化した日本語誤用データセット（81,517件）を構築する．•分析：人間の選好確率とLLMの内部確率を同一指標で比較し，誤用抑制と相関の低さを定量的に示す．•制御：DPO/SFTにより誤用傾向（分布）を部分的に調整できることを示す．