OpenCloze化した語彙穴埋め問題の運用可能性評価

第二言語学習において語彙は基盤的要素であり，学習者は語彙量だけでなく，語の形式・意味・用法（共起，頻度，レジスター等）を含む多面的な知識を獲得する必要がある[1]．したがって，語彙知識の到達度を多面的に把握する評価手段の設計は教育実践上重要である．語彙知識の評価方法の一つとして，多肢選択式穴埋め問題（以下，多肢選択式語彙問題）は広く用いられている[2]．多肢選択式は採点が迅速かつ安定しやすく，大規模実施に適する点が利点である[2]．一方，選択肢を与えない自由記述式の穴埋め問題（以下，OpenCloze問題）は，解答を選択肢から選ぶのではなく，学習者が文脈に合う語を自力で生成（想起）して空所を埋めることを要求する形式である[3]．Pinoらは，OpenCloze問題では文脈に基づく語の産出が求められるため，綴りや文体選択などを含む産出的知識も評価し得ると述べている[5]．しかし，選択肢制約を外すことで許容解が増え得るため[3]，採点時に想定外の解答を正答として扱うかの判断が必要になり，特に大規模実施では運用上の負担が大きい[2]．このような課題がある一方で，多肢選択式語彙問題の中には，選択肢を外してOpenCloze化しても，元問題の正解語が依然として有力な正答として成立する問題が含まれる可能性がある．しかし，既存の多肢選択式語彙問題をOpenClozeとして転用する場合，どの問題が「選択肢なしでも元の正解語を単一の正答として維持しやすいか」を人手で全件精査することは現実的でない．したがって，自動的にスクリーニングする枠組みが必要になる．以上を踏まえ，本研究は，多肢選択式語彙問題をOpenCloze問題へ変換した際に，元問題の正解語が選択肢制約なしでも正答として成立するとみなせるかを，自動的に判定する枠組みを提案する．具体的には，BERTに代表されるMaskedLanguageModel（MLM）[4]の予測を用い，正解語とモデルのtop-1予測語が一致するか（表層一致）を判定基準とする．本稿ではこの一致を，選択肢を外しても元の正解語が最有力候補として残るかを見積もるための簡便な基準として扱う．なお，不一致はこの一致基準を満たさないことを示すにとどまり，文として不自然であることを直接意味しない