本研究では、英語長文穴埋め問題で教育目的上重要となる長期推論型の問題を自動生成することを目的として、その基盤となる作成された問題のタイプを自動分類する評価手法を確立する。また、提案する評価手法で教師の作成した問題と既存の生成手法で生成された問題タイプの分布を詳細に分析し、既存手法の問題点を明らかにする。さらに、この結果をもとに、既存の問題生成手法のさらなる改良を試み、その結果を報告する。

英語教育において、文章の一部を空所化して適切な語を補わせる穴埋め問題は、語彙知識、文法知識、文脈情報を統合して正解を導く能力を測る統合的テストとして重要視されている[1]。この問題で学習者の読解力を適切に評価するには、空所周辺の局所的な情報だけではなく、パッセージ全体の内容的つながりに基づいた推論を経て正解に辿り着ける問題（LongInference型、以後Long型と呼ぶ）が不可欠である[2,3]。そのような問題を作成するには、文脈依存度に基づいて削除する語を合理的に選定する必要がある[4]。こうした合理的削除を大規模かつ効率的に実現する手段として、近年の自然言語処理分野では、言語モデルを用いた英語学習向けの問題自動生成の研究が進展している[5,6]。特に、Ondovら[7]は、長文穴埋め問題の自動生成の手法として、マスク言語モデル（MLM）の予測確率を利用した手法（nCloze）を提案し、文脈推論を必要とする問題の生成に取り組んだ。しかし、生成された問題は、教師作成テストとの受験者得点の相関を見る方法や、生成された問題の間で同じ測定結果が得られるかの観点で評価された一方、本質的に重要なLong型の問題が作成されたかの直接的な評価は行われていない。そこで、本研究ではまず、英語長文穴埋め問題において本質的に必要なLong型の問題の生成量を直接的に評価方法を確立する。このために、LLM-as-a-Judge[8]の手法を用い、作成された穴埋め問題のカテゴリを分類する手法を考案する（§3）。提案する分類手法で既存手法（nCloze）を分析した結果（図1）、nClozeでは比較的高い割合でLong型（図のInference-ProbableとInference-Ambiguous相当）の作成に成功している一方で、パッセージ中の単語照合で単純に解けるMatching型の問題も高い割合で生成してしまうことが明らかになった。また、空欄を含む１文のみで解ける問題(Short)や、本質的に選択肢間に曖昧性が残る問題(Unsolvable)も一定量生成されることが分かるなど、より細かい粒度での性質分析が可能となった。この結果を受けて、本研究ではさらにnClozeの空欄箇所選定を改善するために、２つの観点から空欄箇所選定に用いる数式の改良を試みた（§4）。実験により、提案する改善手法がMatching型の問題の大部分を削減し、Long型の問題を増加させることが確認された。