エッセイ自動採点における文法特徴と学習者レベルの関係

近年の外国語教育では，ライティングやスピーキング能力の育成も重視されるようになっており，学校現場や入試で両能力のテストが実施されることも増えている．しかし，その評価には，大きな人的・時間的コストがかかるという課題がある．採点自体に時間がかかることに加えて，評価の信頼性を保つためには，採点者の訓練が必要である．このような課題を背景に，自動採点研究が行われている．ライティングやスピーキングといった学習者のパフォーマンスを評価する方法は，総合的評価と分析的評価に大別される．前者は学習者の作文や発話に対して1つのスコアを付与するのに対して，後者は文法や内容等の複数の観点に対してそれぞれスコアを付与する．ただし，総合的評価においても，それらの観点での出来栄えが基準となっていることが一般的である．例えばTOEFLiBTの基準(表1)では，内容，構成，文法，語彙等が言及されている．特に文法，語彙については，テスト問題のトピックとは関係なく，ある習熟度レベルの学習者に特徴的な項目があることが明らかになっている[1]．人間の採点者は，そのような項目を探しながら学習者のパフォーマンスを評価しているとも言われており[1]，Anessayatthislevellargelyaccomplishesallofthefollowing:•Eﬀectivelyaddressesthetopicandtask•Iswellorganizedandwelldeveloped,usingclearlyappropri-ateexplanations,exempliﬁcationsand/ordetails•Displaysunity,progressionandcoherence•Displaysconsistentfacilityintheuseoflanguage,demonstrat-ingsyntacticvariety,appropriatewordchoiceandidiomatic-ity,thoughitmayhaveminorlexicalorgrammaticalerrors自動採点モデルにおいて文法特徴を明示的に利用することで，様々なテスト問題に対して頑健なモデルを構築することが期待できる．そこで本研究は，エッセイ自動採点(AES)において文法特徴を考慮することの効果について検証する．