語学学習やライティング支援など教育分野において言語処理技術の活用が注目されている．本稿では，対話形式の文法学習に向けて，対話の応答文に特定の文法項目を含める言語生成に取り組む．生成手法として，強化学習によって生成モデルを訓練する手法と，大規模汎用言語モデルに少数サンプルの入力例を与えて生成する手法を検討する．そして，強化学習の報酬関数として，文法項目の含有に加え，多様性と流暢性の観点の導入を検討する．実験の結果，どちらの手法でも生成が可能であること，報酬関数としては多様性よりも流暢性の考慮が重要であることが確認された．

言語処理技術を教育に活用する一つの方向性として，語学学習に対話システムを活用することが注目されており，多くの研究で語学学習者の対話相手として導入され，その効果が検証されてきた．先行研究[1,2,3]からは，対話システムを語学教育に導入する利点となる特徴として，時間を問わず利用でき，語学学習をより手軽で身近なものにできること，多くの人々が慣れ親しんだチャットベースのアプリケーションなどに容易に組み込み可能であり，使用の敷居が低いこと，個人の学習状況に合わせて最適化できることなどが挙げられる．これらの特徴はいずれも，対話システムが語学学習のパートナーとして有用であり，より良い選択肢の一つとなりうることを示唆していると考えられる．また，Nagataら[4]により，単純な対話システムであるELIZA[5]を用いた場合でも学習者の文産出量が増加することが示された．さらに，彼らの実験では，チャットボットの文に出現する単語を学習者が採用した結果が報告されており，学習者が知らない言葉や自分では使わない傾向にある言葉を学習するのに対話システムが有効であることが示唆された．本稿では，対話モデルの応答に学習者が習得したい文法項目を含ませることにより，語学学習における対話モデルの可用性の向上に取り組む．ここで，文法項目とは中学・高校の英語学習で扱われる，現在完了形，仮定法，関係詞節，不定詞などの項目を指す．対話システムとの対話を通して英文産出量を増やすだけでなく，学習したい文法項目に触れる機会を増やすことで優れた学習効果が期待できる．所望の表現を含む応答文の生成を行う研究として，条件を満たすテキストを生成するように，事前学習済み言語モデルを誘導する補助モジュールを構築する手法[6]や，大規模言語モデルを訓練する際に，制御コードを一緒に学習させ，それらのコードを用いて生成を制御する手法[7]などがある．これらの手法は教師あり学習に基づいているため，教師付きデータセットが必要である．しかし，言語処理技術の教育応用については多くの資源が整備されているとは言えず，特に，文法項目に関する大規模なラベル付き対話データセットが充実していないという課題がある．したがって，教師あり学習を用いるこれらの手法においては，訓練に用いるデータセットの不足が懸念される．そこで本稿では，大規模なラベル付きデータセットを必要とせず所望の文法項目を含む応答を生成する手法として，強化学習を用いる手法と，大規模汎用言語モデルに，プロンプトと呼ばれるタスクの指示と少数のサンプルを含んだ入力を与える手法を検討する．強化学習の報酬関数には，文法項目が含まれるかどうかを判定する分類器を用いる．また，学習が文法項目のみに偏って応答文の質が落ちないように，応答文の多様性，流暢性に関する報酬関数を設計し，それらの組み合わせの効果を検討する．