LLMによる教育的フィードバックの生成と評価

近年，大規模言語モデル（LLM）を教育支援に統合する試みが進展し，ChatGPT1）やGemini2）による個別学習支援が実用段階にある．教育学において，フィードバック（FB）は学習者の現状と目標の乖離を埋める不可欠な手段であり[1,2,3]，LLMを用いたFB生成が学習成果に与える影響の検証が加速している[4,5]．また，多大なコストを要する対人実験の代替として，LLMを擬似学習者としたシミュレーション評価も注目されている[6,7,8]．しかし，既存研究の多くはFBの有無等に主眼を置き，FBの構成要素を個別に操作して解き直しの正答率への寄与を定量的に分析した例は少ない．Borgesら[9]は，LLMによるFB生成において考慮すべき構成要素として，情報の新規性や肯定的な口調などを定性的に分類しているが，各要素を個別に反映したFBが解き直しプロセスにおいてどの程度有効であるかを定量的に検証するまでには至っていない．1）https://chatgpt.com/ja-JP/features/study-mode/2）https://blog.google/products-and-platforms/products/education/guided-learning/フェーズ1：FB生成BaselineActionabilityKeyword6種類の方法でFB生成CoveragePositivityNoveltyFB生成モデル問題フェーズ2：FBの評価わかりやすさ：3信頼性：2など3段階評価問題解答生成モデルFBFBの評価解答生成モデルによる解き直しFB評価モデルによる内容の評価方法でLLMを用いてFBを生成する．フェーズ2では，解答生成モデルによる解き直しとFB評価モデルによる3段階評価の2軸からFBの評価を行う．そこで本研究では，LLMを学習者および評価者の代替として用いて，FBの各構成要素が解き直しにおける正答率の向上にどのように寄与するかを明らかにする．本研究の流れを図1に示す．まず，大学入試センター試験の理科3科目を対象に，FBの構成要素に基づく6種類の生成手法（基本説明・重要語の強調・実現可能な指示・網羅性・情報の新規性・肯定的口調）を定義し，GPT-5[10]を用いてFBを生成する（フェーズ1）．次に，大きさの異なる4種の解答生成モデルがFBをもとに解き直しを行う．また，2種のFB評価モデルにより，明瞭性や信頼性など6観点から3段階評価を行う（フェーズ2）．最終的に，解き直しの正解率および評価スコアから効果的なFB生成手法を分析する．実験の結果，正解に寄与したFBには「正誤の明示」や「再考すべき具体的観点の提示」という共通点がある一方，出題範囲を超える高度な情報の提供は，モデルの推論を混乱させ評価を低下させる傾向が明らかとなった．今後は人間を対象とした実証研究により，本知見の汎用性を検証予定である．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).31301677067.967.166.66054.751.45046.643.539.94037.535.432.330.228.8302015(%)105FB生成手法．Baseline，Keywords，Actionability，Positivilityが共通して有効であった．科目2B4B8B32B生物KeywordPositivityBaselineBaselineKeyword化学PositivityActionabilityBaselineCoverage物理ActionabilityBaselineActionabilityBaselineルで理解のしやすさ・復習観点・明瞭性・新たな知識・表現方法・信頼性の6項目で3段階評価した．これにより，正解に寄与したFBの質的特徴や，高評価ながら誤答に至った事例の原因を解明する．3.2FB生成の結果・分析定義した6種類の生成手法によって，FBの内容に意図通りの教育的アプローチの違いが現れるかを確認した．全167選択肢（生物：56，化学：58，物理：53）に対し，計1002件のFBを生成し，各科目および各手法から計40件をランダムサンプリングし，定性的な分析を行った．各手法の特徴は以下の通りである．Baselineは，正誤判定に続き，誤答の確信を突く簡単な解説であった．Keywordsでは，【】を使用するなど，問題を解く上で特に重要な構成要素が何かを認識しやすい形で説明していた．Actionabilityでは，単なる知識の提示ではなく「3つのステップに分けて」のように，具体的な思考プロセスを指示する特徴が見られた．Noveltyでは，問題に関する説明を簡潔にした上で，高校の範囲を超えた発展的内容を含むため，説明が抽象化・高度化する傾向にあった．Coverageでは，どこBaselineKeywordsActionabilityNoveltyCoveragePositivity0Actionabilityが有効である一方で，Noveltyの正解率は低い傾向が見られた．ModelsNoFB(Qwen3-VL-2B-Instruct)NoFB(Qwen3-VL-4B-Instruct)NoFB(Qwen3-VL-8B-Instruct)NoFB(Qwen3-VL-32B-Instruct)Qwen3-VL-2B-InstructQwen3-VL-4B-InstructQwen3-VL-8B-InstructQwen3-VL-32B-Instruct62.461.356.648.442.043.042.934.032.331.325.826.4まで正解であり，どこからが不正解であるかが明示的に書かれており，また，確認しなければいけない点を「①」のように書かれており，自分がどこまでできて何が足りなかったのかが認識しやすいものだった．Positivityは，全体的に肯定的な口調であり，仮に不正解であっても正解に関する箇所を褒めているようなものであった．分析の結果，サンプリングした全てのFBにおいて，定義した手法ごとの教育的要素が意図通りに付与されていることを確認した．このことから，本研究で用いたプロンプトおよび生成プロセスは，大規模なFB生成においても一貫して各手法の特徴を反映できていると判断した．生成されたFBの具体例は付録Aに記載した．3.3解き直しによる正解率の結果・分析全科目に対する解答生成モデルごとの1回目の解き直しの正解率の結果を図2に示す．ここで正解率とは，正解を含む全選択肢に対し，FB提示後の1回目で正答できた割合とする．その結果，4種類の解答生成モデル全てにおいて各モデル自身のNoFBの正解率を上回っており，FBの有効性が一貫して確認された．手法別では，Baseline，KeywordsおよびActionabilityが共通して有効な傾向にあった．の結果と同様にこれら3手法に集中した．正解に寄与したFBの特徴分析解き直しにおいて正答・誤答ケースの比較からFBに含まれるべき効果的な構成要素を特定する．まず，正解の直接的漏洩を人手で確認したところ，不正解から初回で正答した120例のうち正解を直接含むFBは10%未満であった．これは，正解率の向上が答えの漏洩でorg/licenses/by/4.0/).3