一対一英語個別指導における教師の戦略予測モデル構築

一対一個別指導は一般的な授業環境より教師が学習者に合わせた学習を提供することができる。そのような個別指導を受けた学習者集団は、通常の授業を受けた学習者集団に比べて学習成果が高いことが示されている[1]。しかし、個別指導には拡張性の問題がある。個別指導は一対一ないし少数の学習者を対象に教育を提供するが、教師の数が学習者より少ないため大規模な展開が難しい。そのため、近年は大規模言語モデル（LLMs）をAI教師として構築する研究が進められている。これはLLMの発話を実際の教師発話に近づけるように学習させることで実現している[2][3]。しかし、現在のLLMは教育的に適切な発話を生成できていないことが報告されている[4][5]。この課題に対し、教師の戦略（Strategy）を活用することが有効であると示されている。戦略とは発話の性格であり、その発話が何をしているのかを表すものである（例：質問、修正、知識伝達など）。教師は現在の対話履歴に基づき、次の発話で必要な戦略を選択することで学習を円滑にし、学習効率を向上させる。このような戦略をLLMに組み込むことで、AI教師の発話をするために用いている戦略。教師の戦略説明sca!olding（足場かけ）学習者の理解をサポートする行為eliciting（引き起こし）学習者から回答を引き出す行為repair（修正）教師が発話を修正する行為presentation（提示）ある知識や能力を示す行為enquiry（質問）学習者に質問をする行為clariﬁcation（明確化）不明確な発話をクリアにする行為reference（参照）外部資料を参照する行為recap（復習）学習内容をサマリーする行為revision（見直し）前の学習セッションを見直す行為人間教師の発話に近づけたり[6]、より教師の発話として好まれる[7]ことが報告されている。本研究では、一対一チャット形式および自由対話型の英語個別指導において、与えられた対話履歴から次の教師戦略を予測するタスクに着目する。タスク指向型学習では学習目標が明示的に決まっており、それに沿って対話が進む。一方、自由対話型学習では、教師と学習者が日常会話を挟んだり、学習内容が柔軟に変わったりする。そのため、自由対話型では、各発話が学習目的か否かを判断するという、タスク指向型にはない追加的な課題が生じる。具体的な手法は、現在までの対話履歴をLLMに入力し、その次の教師発話で必要な戦略を予測するタスクを実験する。特に、発話の生成過程が戦略の理解を深め、生成した発話が適切な戦略の予測を支援するという相互補完関係を仮定し、戦略予測と発話生成を同時に学習させるマルチタスク学習手法を提案する。実験結果、提案手法によってモデルの全般的な予測性能が向上された。しかし、戦略分布の不均衡による予測性能の低さが課題として残っている。本研究の貢献は以下の通りである：•英語学習および自由対話型の個別指導におけるLLMの戦略予測の性能を検証する。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).５つの発話単位で構成された対話履歴퐶푖を戦略予測モデル푓휃に入力、次の教師発話で必要な戦略ˆ푚푖+1を出力する。MultiTaskLearning（提案手法）ベースラインからさらなる性能向上を目指すため、本研究では戦略予測と発話生成を同時に行うマルチタスク学習手法を提案する：ˆ푢푖+1,ˆ푚푖+1=푓휃(퐶푖)本手法は戦略と発話の相互依存関係を活用する。適切な戦略予測には「どのような発話で実現すべきか」の考慮が必要であり、逆に適切な発話生成には「どのような教育的意図（戦略）を持つか」の理解が必要である。発話生成を補助タスクとして導入することで、モデルは戦略と言語パターンの対応関係を学習でき、戦略予測の精度向上が期待される。タスクは人間の思考過程（戦略決定後、発話を生成）に従い、戦略を先に予測してから発話を生成する。ただし、今回の発話生成は戦略予測の補助として取り入れたタスクであり、評価対象ではない。4.1教師戦略TSCC2には教師の発話ごとに学習の大きな転換を表すメインシークエンスと小さな転換を表すサブシークエンスがアノテーションされている。その中、９つあるサブシークエンスを教師の発話戦略として扱う。本研究で予測する教師戦略は5種類である：sca!olding、eliciting、repair、others（そのほか）、none（戦略なし）。sca!oldingはVygotskyのZoneofProximalDevelopment（ZPD）理論[16]に基づき、サポートを通じた学習者の現在のレベルと到達可能なレベルの間隔を縮める戦略である。elicitingは学習者が答えにたどり着けるように思考を促進し、学習者の積極的な参加と理解を深める[17]。repairは学習者の誤りを訂正することによってテスト成績の向上に寄与することが報告されている[18]。othersは三つの戦略を除外した教師戦略をまとめたラベルであり、説明や復習などの戦略を含む（表1参照）。最後に、これら４つの戦略に属しない発話はnoneとして分類する。5実験設定5.1データ分割TSCC2には260個の学習セッションがあり、総教師発話数は22,012個である。これをセッション基準で6:2:2の比率で訓練・検証・テストデータで分割し、先行する対話履歴が存在しない各セッションの最初の教師発話は除外している。最終的に各データセットに含まれる教師発話の数は13,256、4,557、4,198個となる。検証データはハイパーパラメータとエポック数の調整に使用している。5.2モデル今回用いるモデルは二つである。BERT[19]：今回LLMの性能を比較するため、Transformer系で分類タスクに高い性能を出すbert-based-uncasedを用いる。モデルの出力に多ラベル分類ヘッドを追加し、入力文脈から戦略ごとのロジットを通じて確率を出力する。Llama-3.1[20]：LLMはオープンソースモデルの中でLlama-3.1-8B-Instructを用いる。学習にはSupervisedFine-Tuning（SFT）のprompt-completion形式を用い、出力として戦略と発話のみを学習するように設定した。5.3評価指標データセット内の戦略分布の不均衡を考慮し（図2参照）、三つの𝑆1スコアを評価指標として報告する。Micro𝑆1：マルチラベル分類において、全予測の正確度（Accuracy）と同値である。Macro𝑆1：各戦略の𝑆1スコアの単純平均であり、各クラスを平等に評価する指標である。Weighted𝑆1：各戦略の𝑆1スコアを出現頻度で重み付けして平均したもので、全体的な予測性能と少数事例の戦略予測の性能を両方反映する。また、最低限の予測性能を測るため、ランダム（Random）に予測した時の結果を一緒に報告する。これは、テストデータセットにおける各戦略の出現頻度に従ってランダムに予測した時の性能である。なお、noneは四つの戦略のいずれも該org/licenses/by/4.0/).モデルMicro𝑆1Macro𝑆1Weighted𝑆1Random11.437.4911.46BERT35.8921.1530.76SingleTask42.0131.3038.99MultiTask42.2032.4739.67戦略SingleTaskMultiTasksca!olding(n=4,627/19.86%)50.0650.41eliciting(n=1,875/8.05%)24.9524.79repair(n=957/4.11%)