LLMの文体差理解向上のためのデータセットの開発

近年，大規模言語モデル（LLM）は，日本語の質問応答や文章生成において高い性能を示しており，実社会での利用が急速に進んでいる．一方で，話し言葉と書き言葉のような文体差に着目すると，モデルの理解挙動が人間の期待と必ずしも一致しない場合がある．特に話し言葉においては，砕けた表現や会話的文脈を適切に捉えられない事例が見られ，文体差を考慮した理解性能の向上が課題となっている．このような背景のもと，本研究では，話し言葉および書き言葉の理解向上を目的として，同一の質問に対して異なる文体の回答を対応付けた日本語データセットを新たに構築する．さらに，構築したデータセットを用いて複数の日本語対応LLMに対して追加学習を行い，文体別の理解性能がどのように変化するかを分析する．評価には，高性能なLLMを評価器として用い，学習前後のモデル出力を同一基準で比較することで，話し言葉および書き言葉の理解性能の変化を定量的に評価する．これにより，文体差を明示的に考慮したデータセット構築が，日本語LLMの理解性能向上に有効であるかを検証する．