短答式記述テストにおける自動採点－その採点ロジックと課題について－
石岡 恒逝（大学入試センター）
エッセイの自動評価採点に比較し，短答式記述テストに対する自動評価システムの研究はさほど活発ではない。その評価システムとして，おそらく唯－－の実用システムであるc "raterの仕様を報告しながら，踊答式テストをコンピュータで行なうことの必要性と現在の技術水準における採点ロジック，および残された課題について解説する。

はじめに(2005)は，品詞決定に隠れマルコフモデルをアメリカでは教育関係者のみ鞍らず一般適用した情報抽出技術を用い，これにより予においても主観が入るエッセイ試験においてめ用意した正解文と同じ意味榊造を持つ幾つは，コンピュータによる評価採点の考えが受かの文を自動生成する試みについて述べていけ入れられるようになってきた。実際，アメる。

1

リカのビジネススクール入学のための共通テ

このように,1998年ごろから短答式テスト

ストであるGMATにおける作文（エッセイ）における自動採点の研究が進んでいるものの，ﾁｽﾄでは,1998年よりe-rater (Burstein et

著者の知る限り実用システムとしてはETS

a1.,

が唯- c-raterを試作しているに過ぎない．

1998)が, 2006 {1皇よりはIntelliMetric( Ellio t,1 999)が採点を行なっている．他にもしかも商用のシステムとLて, PEG (Project Essay

致率は、エ､ｿセイ自動評価採点システム

Grade; Page,1 999) \ IEA(Intelligent Essay

その性能であるところの専|' '1家との(e-rater) (/)それに比べ10%以｣=も小さい’

Assessor; Foltz et a1.,1 999)があり利用に供

本稿では，短答式テスト0)コンヒコ.－タでされている‘我が国においても著者のグルー行なうこと〃)必要性と現在の技術水準におけプがJessる採点ロシ ､, ' ク，および残された淵魍につい(Ishioka & Kameda, 2006)を開発L,そり)成果は剛内外の多くのマスコミでて解説を行ｵ使う”

紹介さｵ1た”
しかL,今ニニで,砿諭しようとしている短2

なぜ短答式テストなのか；なぜ自動評価答式記述( short- allswer )テスl、（以卜，短轄なのか式テストと略記する）をコンヒ"ユータで採点21することについては,短答式テストの利点

そ(ﾉ〕箪要性は耐ｲY)られ多肢選択テスト の代わし)に短禅式チス|､がているもり)ひ)技術的にさまざまな諜題が未解用いられる般大ﾘ〕理由は，蝿稗式チストリ)方決ひ )ままである" Vigilante(1999)は世界最がより典if (authentic)で信頼できると考え

大(ﾉ)テス｜､機関である ETS (Educationalられているから-'尋ある“実際，現実世界におr1℃sting Service)とニューヨーク大学とで｣'さける鷺間応杵は．多岐選択ではなく，想啓式'両|研究を行い，ニリ)分! l1i;における晶初”報皆テストに近い“をI_た〃Leacock& Chodorow(2003)は，他”理ltl!Is Lては，経済性が雛げ1 >れる”

ETSが|淵発LたC~1,別ter (/)鎧新の仕様につい

高1W,噴な多肢選択問題を作成する二とは、通て,報告I_てい論I

常，コスト上手間がかかる‘，日米(ﾉ)参､〈の共Pullnan& SUkka]'ieh／151-大学入試研究ジャーナル第19号

通テストでは，4～5択の問題がしばしば用いり返し行なうことができるから，対話的な学られるが，このうち2つの選択肢における選習訓練に向いており，個人教育的な側面を有択率の合計がどのような学力層においてもしているといえる。

90％を超えるような，すなわち実衙的には2

近年では，他に説明寅任が挙げられる。採択になっているような問題は，注意深く作ら点の論拠を示すことの重要性はますます増大れた問題であっても存在する。

してきている。

最後の理由は，多肢選択テストはテスト戦

しかしながら，自動評価システムが成功す

略を立てやすく，学生の問題についての理解るか否かは，システムの評価をいかに人間にを正しく評価することが難しいことによる。

近づけるか，あるいはそれが不可能なら，いまた当て推並による効果も無視できない。たかに一般に受け入れ易い採点の論拠を有してとえば5択の問題では，当て推触で平均20％いるかにかかっている。の正解を得ることができるから,SN比を最大とする，すなわち誤差要因に対して学力要因

3短答式テストを最も正しく測定することのできる場合の正3.1自動評価採点の仕組み

解率は60％である。このことは，センター試

短答式テストをコンピュータに評価させ験の正解率が60％を目指して作成されているのに最も向いた出題形式の一つは，論説やるという事実に符合するわけだが，逆にいえ物語において，読んだことの内容に関する質ば，60％から大きく外れた場合の試験問題は，問に答えるものである。これは一般に読解テそのテストとしての識別力が一般には低いこストと呼ばれている。とを意味している。正解率の低い方，たとえば正解率が20％あるいはそれ以下の間脳，す以下（図1）は，読解テストのサンプル問魍とその衝間例である。

なわち雌間は，多肢選択においては州造的に識別力の低い問題にならざるを得ない。

ここに茶わんが一つあります。中には熱い湯がいっぱい入っております。ただそれだけ
2.2

自動評価採点の利点

では何の面白みもなく不思縦もないようです

ではなぜ，短答式テストに対して自i助評価採点なのであろうか？

が，よく気をつけて見ると，だんだんにいろいろの微ﾙIIなことが目につき，さまざまな疑教育テスト関係者におけるモチベーション問が起こってくるはずです。ただ一杯のこのとしては，経済性が挙げられる。もし2人の湯でも，自然の現象を観察し研究することの人間による評価採点のうち一方をコンピュー好きな人には，なかなか面白い見物です。

タに世き換えることができれば，試験の評価（中lll各）に対するコストを文字通り半減することがで湯気が上がるときにはいろいろの渦ができきる。このやり方は，アメリカのビジネススます。これがまたよく見ているとなかなか面

クールでの入学共通試1験であるGMATにお白いものです。線香の煙でも何でも1煙の出ける作文試験での適用の仕方と同じであり，るところからいくつかの高さまではまつすぐ最終判定点の決定が人間側に委ねられていれに上がりますが，それ以上は煙がゆらゆらしば，一般には受け入れ易いと考えられる。て，いくつもの渦になり，それがだんだんに2番目のモチベーションはより重要である

拡がり入り乱れて，しまいに見えなくなってが，短答式の自動採点は，システムがよくでしまいます。茶わんの湯気の場合だと，もうきてさえいれば，即座のフィードバックを返

茶わんのすぐ上から大きな渦ができて，それすことができる。このフィードバックは，操－152－

短答式記述テストにおける自励採点がかなり早く回りながら｣二がっていきま了1-．

方法であるが）回答をアン-Iナーキーと比較す

茶わんの上で起こる渦のようなもので，もるものである。アン-1 1-－キーは，もし文諜がっと大仕掛けなものがあります。それは雷雨

なんらかの正解を含んでいるとしたら，文.祥のときに空中で起こっている大きな渦です。

集合(back of the book)の中から正解を得る

陸地の上のどこかの一地方が日光のために特ことができる。そうでないならば，人間の専別に温められると，そこだけは地面から蒸発門家（以下，専門家とlll61- )が適当な正解のする水蒸気が特に多くなります。そういう地集合を作る。アンサーキーは1つの髄間に対方の傍に，割合に冷たい空気におおわれた地して，1つ以上の正解からなる。例えば図2方がありますと，前に言った地方の，温かいは図1からの質問とそ,のアンーサーーキーを示し空気が上がっていくあとへ，入り代わりにまている。いったんアンサーキーを決めれば，わりの冷たい空気が下から吹き込んできて，大きな渦ができます。そして雷がふったり雷入力された回答とアンサーキーの近さを，単が鳴ったりします。
（寺田寅彦「茶わんの湯」による｡）

語ベクトルの近さとして，たとえばTF-ID Fモデルなどを利用して測定することができる。

TFとは単語頻度(term frequency)のことで質問：－一線部「そういう地方」とはどのような地方ですか？

1つの文諜に現れるある蒲目した単語の出現頻度をその重みとするものである。この重み付けの背景には「何度も繰り返し言及される図1：読解問題の例(第2回全国学力調査

概念は重要な概念である」という仮定がある。
一方，ある単語がどの程度その文誹に特徴的中学・国語A(基礎)､ 2008より）に現れるかという特徴性を示すためにIDF

もし我々が上記のような短答式問題への自動(inversedocumentfrequency)を用いる｡IDF

評価システムを拙築しようとした場合に，最初に問題となるのは，なにをもって正解と判定するか，ということである。そのための最も安直な方法は，人間が正解か否かの判定をはある単語が全文書中でどの位の文書に出現与えるというものである,そのための一つのするかの尺度であるが，実際は全文響数に対する出現文書数の逆数ではなく，その対数あるいはその対数に1を加えた値を取ることが多い｡

アブ'ローチは，いわゆる知能工学の分野では「教師学習」と呼ばれる，複数の正解あるい

質問：一一線部「そういう地方」とはどのは不正解と判定される回答を学習し，トレーような地方で完)-か？

ニンケすることで分類の規則を構築することである“しかしながら不幸なことに，学習できるだけの信頼に足る「教師データ」を得ることは通常，難しい“現在，利用できるもの
としては,1999年のTREC (rlbxt REtrieval

正解文キー：
陸地の上のどこかの－地方が日光のために特別に温められると，そこだけは地揃から蒸発
TI-る水蒸･気が特に多くなります”

Confrence :文譜検索における著名な国|際会

アンサーキー：縦）コンテストで公|淵された200の質問に=つ日光に特別に洲y)られたたy )に，地面から蒸いて，応募した］0－15のシステムの判定が発可)-る水蒸気のIItが雑に多い地方.．

利 用できるに過ぎない“

そ二で別のアプローチとしては，（二れはETSのc- rate]"の開発グループがとっている

回答文（回答例）：

地面から蒸発ﾏI-る水蒸気の戦が特に多い地ノア－153－大学入試研究ジャーナル第19号

回答中の単語正確性より木目の細かい測定方法の開発が求一再現率／精度

められている。

キー；［光，温められた，地面，蒸発，水蒸

そのための一つの案はアンサーキーと回答

気 特に多い，地方］
回答：［地面，蒸発，水蒸気，特に多い，地文との単語の重複に基づいたもの，再現率を方］使うことである。この再現率の指標は》回答

再現率：

5/7=71％

文とアンサーキーとの単語の重複数をアンサ

精度：5/5=100％ーキー内の単語数で割ったものである。完全な(100％)の再現率は回答文中に全てのアン

図2：アンサーキーと回答一単語 再現率

サーキーの単語が含まれていることである。
10％の再現率は，アンサーキーの単語のどれ3 2正解を判定するための指標一つも回答文に含まれていないことを意味す

回答文の正しさを判定するために2つの指標， すなわち 「文の正砿性(sentencecorrectness)」と「回答中の単語の再現率(answer-word recan)/精度(precision)」を使う。文の正確性とは次のようなものである。

る。

また再現率に加えて，粘度を用いる。これは，いわば回答におけるゴミの少なさを示す指標で，回答文とアンサーキーとの単語の重複数を回答文の単語数で割る。完全な(100％）

まず専門家が正解文キーを作る。これはその質問に最もよく答えた段落の文から枇成される。正確性は単純に正解文キーと回答文とを比較することである。あるいはもし文の番号の糖度は回答文中に全ての単語がアンサーキーに含まれていることであり，0％の精度は，回答文の単語のどれ一つもアンサーキーに含まれていないことを意味する。

付けがされていれば文番号と比較する。

図2には，もし回答文として「地面から蒸すなわち図2にあるように，質問に対する正解文キーは「陸地の上のどこかの一地方が日光のために特別に温められると，そこだけは地面から蒸発する水蒸気が特に多くなります」である。もし回答文としてこの文を与えれば，システムはそれを正解として，また違う文を与えれば正解でないと判定することになる。

しかしながら，正解を与えるのに複数の文を必要とする場合が10％強は存在する。また正解文キーは，質問に答えるのに不要な文言をしばしば含んでいる。アンサーキーの長さ（35字）に比べ，正解文キーの長さ（55字）発する水蒸気の雄が特に多い地方」とした場合の例を示している。回答文には，幹となる内容を示す単語として｢地面,蒸発,水蒸気，特に多い，地方」があり，アンサーキーには7つの内容を示す単語（光，温められた，地面，蒸発，水蒸気，特に多い，地方）があるから，ことがわかる。

ものであることに注意する。糀度が低いならば回答文の長さは通常，長くなる。また回答文は異質の単語を含むようになるから，精度は必然的に小さな値をとる。
また当然のこととして再現率の高い回答であればある程,正解(アンサーキー）に近い。
しかし一般に精度と再現率の間には，一方を彼らそして我々の目指すべきものは，テキストからの文を単に抜き出しただけのものを正解とするのではなく，適切な答えを正しいと判定できるシステムである。したがって，5/7(71％）と粘度5/5(100％)を与える。
ここで精度は「文の正確性」に代群しうるを比較されたい（図2)。これより明らかに，正解性の指標に加え，別の指標が必要である再現率として高くすれば他方が低くなるというトレードオフの関係があるから，ある一定の再現率のもとで，ある閾値を超えた精度のものを正解と判定することになる｡TRE Cデータをもとに，－154－

短答式記述テストにおける自動採点正解を判定するための再現率一精度曲線を求るものである。

め，これを用いてT1ﾐ解／不正解を判定する。

なお，本項でﾉ願出する再現率と粘度は，怖表1：専門家と自動採点との判定が異なっのある方は参考にされたい。

計

性能評価

１4０

再現率閾値不適のための誤り

０

報告としてIshioka (2003)があるので，興1床％ ％ ％ ％正解と関連があると思われる

５の統計学的な‘唾味について再検討を行なった

３

TREC評価の誤り％

７尺度などと共に雌も広く用いられている。こ件数

３不一致の原因０

す指標として，またその両方を併せ持った〃１た72件の分析(Hirschman et. a1, 2000)

７ ” 兜 池報検索の分野では，検索システムの性能を示

しかしながら，彼らによれば，これらの誤R1 rschm anら(2000)によれば，再現率がりのうちの半分(19/38)は，数学的表記の誤り25％を超えれば，専|ﾖﾘ家が正しいと判定したに類するもので，例えば，回答が3でアンサもののうちシステムが正しいと判定をするヒット率は93.6％であり，専門家が不正解と判ーキーが" three ''であるものや, Tuesdayや"April 3"のようなものである。7/3 8は回定するもののうちシステムが正しいと判定を答の細かさ（粒度）や言い回しによるものでする誤り率(alarm rate)は6.6%であるといある。たとえばアンサーキーが<! Georgeう。一般に再現率と専門家が正解と判定する

Washington"であるのにWashingtonと答え率との間にはよい相関があるとしている。

るものである。残りの12は別の問題に起因しかしこの相関をもって，短答式テストへする。したがって，今後，開発が進めば，再の自動評価の妥当性を示したことにはならな現率は人間の判定に近づけることができ，こいであろう｡まず明らかに，単語の重複でのれは多くの場合，最新の技術を実装寸一ること判定はあまりに単純であるUIE解のうち6%で実用的なレベルにまで引き'二げる二とがでは0％の再現率である（すなわちアンサーキきるとしている。

ーと正解文に単語の重複がまったくない)｡まLeacock& Chodorow(2003)では, 2003

た不正解|飼答(ﾉ)う･ら1.7％は逆に100％の再年時点のc-raterの仕様が紹介されているが，現率である。

これによれば|司義語の辞書を完備し，専門’衆専門家と自動評1111システム(コンピュータ）との‐致率は84％であるとしている。との不一致を理解するために, TRECにある評価データの中から990のレスポンスをランダムに選び，専門家とコンピューダとの評価の違う72件について訓杳してある5

おわりに現在c -raterで用いている回答中の単語の(Hirschman et. al､2000),結果を表1に示す。

再現率は，非常に|恨定的な評価指標であり，回答を正しく評‘価1－るたy)の以下のような礪

これによると，うち7件は，そもそもTREC要な側而を無視しているといえる。

における人間の評態が誤っているものであ。

る：27ｲﾉ'二はﾉ凡間とコンピュータとでどfﾉらが正しいのか不明瞭であるものである。つまり知性（単なる単語の集まりではなく，正解としての繋がりv)jこさ）・明瞭性（詳細さと余計なものを含んでい約半分（47％）が，自動評価システムの誤りないこと；これについては精度がある程とはいえないものである｡残りの38件(53％）

度は判定している）

が単語の再現率の閾値の設定が悪いために明・らかに自動採点システムの評定が間違ってい－155－

弁明性（他の文からの論拠の提示）

大学入試研究ジャーナル第19号。

適切性（与えられた指示に適切に答えて

Hirschman, L.,

Breck, E.,

Light, M.,

いるか；よいフレーズを用いた最適な答

Burger, J D. and Ferro, L. (2000).

えか）Automated

精度のような詳細な指標が短答式の評価には求められるが，テキストからの単なる抜き出しをしたら，それとは相関が低くなるよう

Gradingof

Short-Answer

Tbsts. Z亙亙〃血ｵeZZを巴"S"rems,乃ezz(*azzd mzzな℃VeZEZeS SeC虚ひn, 15(5): 22-37.
Ishioka, T・and Kameda, M.
(2006).
Automated

な指標もまた必要であろう。正しい答えであJapanese

Essay

Scoring

ることとはどういうものであるかを判定する

System based on Articles Written byExperts,
Proceedingsof the21St

ための新たな指標や，いままでの検討の次元Internationalを超えたような指標について研究・開発をすCompUtationalる必要があろう。

Annual Meeting of the Ass9ciation fbr

本稿では，単なる技術紹介でなく我が国のConfrence

Linguistics

ComputationalonandLinguistics,44th

SydneyAustralia, July) 2 3 3-240 .

大学入学者選抜に役立てるという観点から，

Ishioka, T. (2 0 0 3) .

英文における採点システムであるc-raterのfbr仕様を，あえて日本語における例題を用いてRetrieval,』五図画/ﾘ"YC"ntrezzCeoZz

Wbb

血ｵeZZ増置"ce riW 200" Sponsored by

うな採点システムを採用するか否かは，実際

IEEE
Computer SocietyIntelligence
Consortium,的な要請や社会的合意など多くの問題のために全くもって不明であるが，少なくとも技術的な課題や適用限界については知っておく必

lnformation

nz#eZzzatiOnaJ説明することを試みた。我が国で将来このよ

Evaluation of Criteria

and Web
Halifax,

Canada, 425-431 .

Leacock , C. and Chodorow , M (2003).

要がある。日本語で書かれた，また日本語をC-rater:対象とする公刊されたこのような解説記事はShort-Answer Questions, Computers andthe Humanities , Springer Netherlands,
ISSN OO10-4817(Print)1572･8412

かつてなく，本稿がこの分野に興味をもつ研究者や教育関係者の一助となれば幸いである。

Burstein, J., Kukich, K.,

WolffI S.,

Braden-Harder, L.,&(1998).

Harris,

M.D.

Using

IdentificationA

Automated

HybridTbchnique .

FeatureIn

theEW'ezffmen jaﾉ皿f"cajわ", 62(2), 127-142.
Pulman, S. G. and Sukkarieh, J・Z. (2005).
AutomaticShort Answer Marking.
Proceedings of the 2nd Workshop on
Building Educational Applications Using
NLR Assocな汝iOn rbr mmpuja"DIzaj
Lingzzig虚忽s. 9-16.

Proceedings of "eAmzzzaJMeekZzzg･ of"eAssocr誠ねnof'"zzZpzz麺友ひnaJLizZgzzお雄sMontreal, Canada.

S.

(1 999) .

ConstruCt validity ofIntelliMetricwithassessment,

Yardleyiinternation alPA:

Vigilante,Vantage

Tbchnologies (RB･323).
Foltz, R W, Laham, D., & Landauer, T・K.

(1999).

ofof StudentProse,Usmg Modern
Concepts and Software, cﾉbzzzmaJ ofLu,

C., Chodorowl M.,

Elliot,. Scoring(Online), 37(4), 389-405.
Page, E. B.(1994). New Computer Grading

参考文献

Scoring

Automated

Automated

Essay

Scoring:

Applications to Educational Tbchnology.
Ina℃ceedZzzg窓of戯Zj化djaり且－156－R.

Scoring
Questions,(1999).

OnlineComputerof
Constructed-Response@ﾉbzzzzzaJ
Qf "zfrmahiOzz

姥“nojbgymjﾌa" 1(2), 57 -62.