対話内難易度変化に追従する第二言語学習支援対話システム

第二言語学習者の会話練習機会の確保にはコストがかかる．英会話教室では会話相手となるチューターが1対1もしくは少人数クラスで対応する必要があり，留学には渡航費や滞在費を含めてコストがかかる．また，第二言語を実際に他人に対して発話することに不安を感じる学習者もいる[1]．近年普及している大規模言語モデル(LLM:LargeLanguageModel)は対話形式のインタフェースを持っており，第二言語学習者の会話練習機会の確保と，対人対話の練習における不安の低減が見込める．第二言語学習における学習者のインプットは，易しすぎず，難しすぎない近接発達領域内に収まることが重要である[2]．そのため，これまでの第二言語学習者向け対話システムの開発では，所与の発話難易度を満たすように対話システムの発話を制御する手法が提案されてきた[3–5]．しかし，第二言語学習者の発話難易度は，学習者の話題への親しみ度合いによって変動する[6,7]．これに対応して近接発達領域内の発話を提供するためには，対話中で動的にユーザの発話難易度に適応する必要があるが，LLMのこの能力を直接評価した研究は存在しない．そこで，本研究ではトピックを対話の中で変化させ，それに応じて発話難易度が変化するユーザシミュレーションモデル(ユーザモデル)を導入する．このユーザモデルと対話システムの対話ログから，対話システムの発話難易度変化への適応能力を評価するフレームワークを提案する．対話ログから異なる会話トピックのターンの発話対を抽出し，難易度差を語彙と文法・文構造の2つの面から評価する．これはLLM同士を対話させ、そのログを評価するself-chat[4]と関連するが、ユーザモデルの発話難易度を前半と後半で変化させる点が異なる．ユーザモデルの発話難易度変化に追従する能力を向上させる手法を2つ提案する．プロンプトによる発話難易度制御の手法と,DPO学習を利用する手法である．実験では，複数のLLMを利用して自動評価と人手評価で提案手法の有効性を検証した．自動評価においては，シンプルな対話指示のプロンプトに対して，プロンプトによる発話難易度制御手法とDPO手法の両方でスコア向上が確認できた．また，自動評価と人手評価のスコアの間で高いスピアマン順位相関と，主観的なタスクとしては妥当なCohen’sKappa係数が確認できた．