OpenCloze化した語彙穴埋め問題の運用可能性評価

本研究は，多肢選択式語彙穴埋め問題をOpenCloze問題へ機械変換した際に，元問題の正解語を単一正答として維持できているとみなせる問題かどうかを，モデル予測に基づき自動判定する枠組みを提案する．BERTのmaskedlanguagemodel（MLM）で空所の予測分布を得て，正解語とtop-1予測語の一致／不一致により妥当性を操作的に定義した．英検2級30問から1トークン条件で28問を評価し，一致は5問（17.9%）であった．さらに，不一致事例の一部では正解語が上位候補に含まれることが確認され，OpenCloze化に伴う別解の扱いと採点基準設計が課題となることを指摘する.