日本語小論文の自動採点システムJessについて
石岡 恒憲（大学入試センター）
アメリカで実施される適性試験の一つであるGMAT (6raduate management AdmissionTest)において，実際に小論文の採点に用いられているE-r ate rを参考にして，日本語小論文のための自動採点システムJessを試作した。Jes sは，文章の形式的な側面，いわゆる文章作法を評価する「修辞」と，アイディアが理路整然と表現されている程度を示す「論理構成」と，トピックに関連した語彙が用いられているかを示す「内容」の3つの観点から小論文を評価する。毎日新聞の社説およびコラムを学習し，これを模範とした場合に適切でないと判断される採点細目に対して減点することで採点を行なう。
1－人種など）はじめに大学入試センターの平成10年度の調査（鈴このような誤差要因を排除するため，ある木1999）によれば，国立大学の全学科．コ

いは公平性の立場から，近年，コンピュータース（以下，学科と記す）のうち85.7%が小論による小論文の自動採点の研究が精力的に行文を実施し，また平成12年度の私立大学におなわれている(Burstein et al、1998 ; FoltZ

ける郵送調査(柳井･鈴木2002 )においても，et al. 1999 ; Page l997 ; Rudner 2002) ｡

回答の得られた325大学723学科のうち70. 0%

このうち最も有名なものは，アメリカのテ（495学科）が小論文を実施している。いまや

スト機関Educational Testing Service, ETS

小論文試験は学科試験や面接試験と並んで，が開発し，現在はその補助機関であるETS

ごく普通に行なわれている試験の一つになっTechno logiesに拡張開発，および運用が移管ている。

されているE-rater (Burstein et a1.

1998)

小論文試験においては，実施者は受験者のであろう。E-r at erは現在，経営大学院（いわある種の能力が答案に反映していることを期ゆるビジネススクール）の入学試験である

待しているわけだが,その得点結果には,様々Graduate Management Admission Test,な要因が複雑に関与している。それらの要因における小論文の採点に用いられている。

GMAT

E-ra t erは以下の3つの観点から小論文を評の大部分はいわゆる「試験」に共通している要因であるが，小論文試験に特有で，かつ決定する。

定的な要因として「評定者」が挙げられる。

構造(Structure) :文法の多様性，すなわちフ

他にも小論文試験では，得点に影響を与える

レーズや文節 および文の配列が多様な

以下のような多くの要因が存在し，それらに構造で表現されていること。

組織化(Organization) :アイディアが理路整ついての多くの研究がある（渡部1988）。
○○

文字の巧拙（文字の上手さ，綴りの正確然と表現されていること。たとえば修辞性）的な表現，あるいは文や節の間の論理的評定の系列的効果（ある小論文の評定がな接続法が使われているか。

内容(Con ten t s)ごトピックに関連した語彙が答案の中で何番目に行なわれたか）○

用いられているか。

課題選択（異なる課題に基づいて書かれE-ra terでは専門家によって採点された膨た小論文をどう評価するか）○

その他種々の誤差要因（書き手の性別，大な数の小論文の蓄積があり，専門家の得点-165-

大学入試研究ジャーナル第14号とコンピュータによる得点とを線形回帰させと著者らは考えた。

ることにより，得点のためのメトリクスにか

われわれは日本語で書かれた小論文の自動かる回帰係数を定めている。翻って我が国の採点システムをJess (ジェス）と名付けたが，場合は，オーソライズされた得点の蓄積がな

Jessは採点基準についてはE-ra terの構造組

く，同じようなアプローチは事実上，不可能

織 内容をほぼそのまま踏襲し，（1）修辞，である。

(2)論理構成，（3）内容の3つの観点から評

しかしながら，現在は言語学研究の目的で価する。またそれら3つの観点に係る重み（配日外アソシエーツより「毎日新聞」の2001年点）はユーザが指定できるものとした。ユーまでの全記事を，また日経出版販売より「日ザが特に指定しなければ，配点は5,2,3とし，本経済新聞」の2 000年までの全記事を入手す合計を10点とした。（ちなみにE-rat erの満点ることができる。社説，コラム（「余録」）は6点である。）この配点は，渡部(1988)の結等，模範と考えられえる小論文を電子媒体で果に基づいている。

獲得するのは容易である。

次節以降では, Jessにおける採点基準の詳

一方，自然言語における日本語解祇の最も細について説明する。2節には修辞，3節には基本となる形態素解析については，京都大学論理構成，4節には内容について述べる。5節

言語メディア研究室で開発されたJ UMANや奈には実施例を取り上げ，そのときの動作時間

良先端科学技術大学院大学 松本研究室の茶について記す。

筌（ちゃせん，
http://chasen. aist-nara. ac. jp/;今回 著2．修辞者らが使用），富士通研究所のBreakfast, NTTJe ssでは修辞を示すメトリクスとして前川基礎研究所の「すもも」などがフリーで利用(1995) ,長尾(1996)に従い,でき，構文解析についても京都大学の剛Pややすさ，（2）語彙の多様性，（3）ビッグ・ワ

奈良先端科学技術大学院大学のSAX, BUP ,東ード(big Word,長くて難しい語)の割合, (4)京工業大学 田中・徳永研究室のMSLRパーザ

受動態の文の割合，を用いた。これらをさらなどが同様にフリーで利用できる。に次項以下で述べるメトリクスにブレークダ(1)文章の読みこのように，模範となるエッセイやコラムウンし，それらの統計量の分布を，毎日新聞に加えて，それをコンピュータ処理すべきツのCD-R OMに納められている社説，あるいはコールもいまや整いつつある。また小論文の採ラムについて得た。

点においては内容の適切さ，すなわち書かれこれらメトリクスの分布のほとんどは左右た内容が質問文に十分に応えた内容であるか非対象の歪んだ分布となるが，この分布を理の評価が不可欠となるが，これについてもイ想とする小論文についての分布とみなす。採ンターネット・ウェブにおけるサーチ・エン点の結果，得られた統計量がこの理想とするジン等で用いられているパターン･マッチ(文分布において外れ値となった場合に，そのメ字列一致）に拠らない意味的検索技術が利用トリクスにおいて「適当でない」と判断し，できるようになった。その技術的な実装方法

割り当てられた配点を減じ，またその旨をコについては，石岡(1999)などに詳しく，したメントとして出力する。外れ値は四分範囲のがって模範となるエッセイやコラムを学習す1.5倍を越えるデータとする。採点において，るというアプローチを取ることで, E-rater

ブレークダウンした各メトリクスの比重は同と結果として同様のことを，すなわち日本語等とした。唯一の例外は「語彙の多様性jので書かれた小論文の自動採点システムを，技尺度であり，これだけがその重みを2倍にして術的にはより優れた方法を用いて開発できる，ある。これは，この項目が修辞だけでなく，-166-日本語小論文の自動採点システムJessについて内容にも関与する指標であると著者らが判断を与えるもう一つの要因は読点（，）でしたことによる。

ある。読点と読点の間をここでは句と呼び，句の字数についても評価指標の一つ
2.1文章の読みやすさとした。

文章の読みやすさを示す指標として以下を6．連用形や接続助詞の句の並びの最大値取り上げた。

連用形や接続助詞の句の並びが多いこと

1．文の長さの中央値，最大値

も，文章の分かりやすさに影響を与える

一般に文章を分かりやすくするためは，と考えられる。ただこの値は，平均的な文の長さは短い方がよいとされる（木下大きさにはあまり意味がなく，係り受け1981）。また日本語の文章作成に関するの最大深さの方が，文章の分かり易さに多くの本は，一文の最大長さを40ない影響を与える。したがって，連用形や接し50字に納めるのが適当である，として続助詞の句の並びの「最大値」のみを指いる。したがって，文の長さの中央値と標とした。

最大値を指標の一つとした。平均でなく中央値を用いるのは，多くの場合，文の2.2語彙の多様性長さの分布が歪んだ分布であることによ

ユール(Yule l944)は文体の解析に様々なる。中央値と最大値の評価における比重統計量を使ったが，最も有名なのがK特性値は同等（以下同じ）とした。と呼ばれる語彙の集中度を示す指標である。

2．句の長さの中央値，最大値

X特性値は，語彙が集中しているほど大き句点（。）と並んで，読みやすさに影響くなり，語彙が多様なほど小さくなる。毎日を与えるもう一つの要因は読点（，）で新聞の社説では，xの値の中央値は873であある。読点と読点の問をここでは句と呼り，コラムでは101.3であった。

び，句の字数についても評価指標の一つ
2.3ビッグ・ワードの割合とした。

3．句中における文節数の中央値，最大値

いわゆるビッグ・ワードをどの程度，使っ人間の短期記憶の限界は一般に7だと言ているかが，読み手に与える印象は決して小われており，それが句の長さを制限してさくないと思われる。英語の場合，ビッグ・いると思われる。実際 著者らが毎日新

ワードは大抵の場合長い語であるが，日本語聞の社説から句中の文節数を求めてみた

では漢字をカナで表せば長さは増え，表記上ところ，その中央値は4で，短期記憶の7は短い語もピ･ツグ・ワードになる可能性があと整合性が高いことが確認されている。

る。したがってカナに変換したときの文字数，いわゆるヨミでもってビッグ・ワードを判断

4－漢字/カナの割合

一般に文章を易しくしたり，読みやすくする必要がある。

するために漢字を減らすということは意図的に行なわれる。小論文においても適2.4受動態の文の割合

当な漢字とカナの比率の範囲が存在する

一般に文章はできるだけ能動態で書くべきと考え，これを評価指標の一つとした。

で,受動態の多い文章は悪文とされている(木漢字/カナの割合は,一般には文体の一つ下1981)。したがって，これも修辞に関するだと考えられている。

評価指標となる。

5．連体修飾（埋め込み文）の用言の数
句点（。）と並んで，読みやすさに影響

3．論理構成-167-大学入試研究ジャーナル第14号

議論の流れをつかむことは，さまざまな主我々は，毎日新聞の社説に現われる接続関張のつながり具合を把握することに他ならな係を示す句を全て抜き出し，これを前述の順い。このため，書き手はその理解を助けるた

接，逆接各4通り，計8通りに排他的に分類しめに，議論の接続を示す接続表現をしばしばた。Jessでは，採点する小論文の談話用いることになる。そこで我々も論文中に現(discourse,議論のかたまり）に対して接続われる接続表現を検出することで，文章の論関係を示すラベルを付加し，これらの個数を理構造を把握することを試みた。

カウントすることで議論がよく掘り下げられさて接続関係は，大別して，「順接」と「逆ているかを判断した。接続表現の個数につい接」に区分できる。野矢1997によると順接て，修辞同様，毎日新聞の社説で学習し，模の接続構造には以下がある。

範とする分布において外れ値となった場合に付加:主張を加える接続関係である｡典型的に配点を減ずることとした。

は「そして」で表される。他にも「しかまた，これら接続関係の出現パターンが，も」や「むしろ」などがある。省略され社説のそれに比べて特異でないかを判断した。

ることも少なくない。

そのために著者らは，順接と逆接の出現パタ

解説:典型的には「すなわち」，「つまり」，ーンについて，トライグラムモデル（北「言い換えれば」，「要約すれば」とい1999）を考えた。いま記号の集合としてった接続表現で表される接続関係である。

2＝｛α：順接，6：逆接}としたときに，ト論証:理由と帰結の関係を示す｡理由を示す典型的な接続表現には，「なぜなら」，「そライグラムモデルでは{α：順接}および{6§逆接}の出現確率が，その2つ前までの出の理由は」などがあり，帰結を示すもの現状況に依存すると考える。これにより，論としては，「それゆえ」，「したがって」，文中の｛α：順接}と｛6：逆接}の出現パター「だから」，「つまり」などがある。

ンに対する生起確率が，予め得られた条件付

例示:典型的には「たとえば」で表される接続き確率の積をとることで得ることができる。

関係であり，具体例による解説，ないし一方，事前情報なしに{α：順接}および{6：逆接}の出現する確率が得ることができ論証としての構造をもつ。
また逆接の接続構造には以下がある。

るから，たとえば順接が3回と逆接が1回出現

転換:ある主張Aに対して対立する主張Bが続したときの，事前情報が与えられていないとけられるとき,Bの方にいいたいことがくいう条件のもとでの与えられた出現パターン

る接続関係をいう。一般に「AだがB」，の生起確率を得ることができる。

「A,しかしB」という表現をとる。

トライグラムモデルにおける生起確率と，制限:上記において,Aの方にいいたいことが事前情報のない場合の生起確率とを比較し，くる接続関係をいう。いわゆる「ただし後者の方が大きいならば，順接と逆接の出現書き」であり，典型的には「ただし」やパターンは特異であると考え，議論の接続に「もっとも」などがある。

割り当てられた配点を減ずることとした。

譲歩:転換の一種とみることもできるが,譲歩の場合は対話的構造が現われる。典型的4．内容には「たしかに」，「もちろん」などで書かれている小論文が問題文に対して適切な内容になっているかについては, TREC (Textある。

対比:典型的には「一方」，「他方」，「それREtrieval Conference)などでその有用性がに対して」といった接続表現で表される主張されているLatent Semantic lndexing(以接続関係である。

下LSIと略す）を用いる。LSIは予め十分に多-168-

日本語小論文の自動採点システムJessについてくの文書（毎日新聞のCD -R OMに収められていページに示している小論文A～Gを和訳し，そる全社説/コラム3年分を利用）に出現する単れらをJe ssで採点した。出題文は以下で与え語の頻度を表したz×αの行列X(rは単語られる。

数,dは文書数）を特異値分解することから「人生において我々はしばしば自分がしたい始まる。得られた特異値ベクトルの特異値のことと，自分がすべきだと感じることと，どちらを選んだらよいかに悩む場合がある。自大きい方からル番目までとり，これを対角要素とする対角行列をSとする｡それに応じて，ル列までを抜き出した左右の特異値分解行列をそれぞれr,D とすれば，分がすべきだと感じることより自分がしたいことを優先させることがその人にとって良い場合があるとしたら，それはどのような場合だと思うか？あなた自身の経験，あるいはあ八

X= mD'

なたが見聞したことから,その事例を挙げて，となり，戈はXの近似となる。ここでrはあなたの考えを述べなさい｡」

4節との対応で述べると，出題文が9，採合，経験的にルは50～100程度にすればよい。

点すべき小論文がeとなる。結果を表1に示す。2列目がE-rat erの得点,3列目がJe ssの得点であり，4列目が各小論文の字数である｡Jessは標準では修辞5点,論理構成2点，採点される小論文eは，形態素解析によりそ内容3点の計10点で採点するが, E-raterのrxk行列，8 はル×ルの正方対角行列,D'はkxa行列である。′は転置を示す。
Deerwester (1990)によれば，言語データの場の小論文が含む/次元の単語ベクトルXgで表得点と比較するために，6点換算の得点を括弧書きで示した。

現することができ，これを用いて，文書空間
表1：採点結果の比較

Dの行に対応する1×ルの文書ベクトル

1．00

51(3. 0)

431

1．01

8.3(5.0）

1，884

1．35

3.1(1.9）

297

0．94

３7.9(4.7）

726

0．99

５8.4(5.0）

1，478

1．14

３

きる。われわれは，ここで与えられるrを687２

書ベクトルがなす角の余弦で与えることがで6.9(4.1）

６

これより，両文書の近似度『(‘e,α,)を，両文Jess３様にk次元ベクトルα9を得ることができる。

字数

CPU時間

E-rater４を導くことができる。出題文9についても同挿文》Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ

de = xem-1

6. 0(3.5)504

0．95（秒）「内容」に割り当てられた配点を乗ずることでゥ「内容」に対する評点とすることとした。

これを見るにE-ra terが良い得点を与える

γは理論的には負の値を取りうるが，その下小論文にはJessも良い得点を与えており，得点もかなり一致していることがわかる。だが限を0にすることは妥当であろう。

E-ra terは（そしておそらく人間は）同じよう
5

実施例な形式で書かれた小論文であるならば，分量E-rat erにおけるデモ(http : //www. etctechの多いものにより多くの点を与える傾向があり，そこに減点法で採点するJessとの違いが現われているように思われる。たとえば小論nologies. com/html/eraterdemo. html)では，7通りの回答パターン(7つの小論文)に対する評価を見ることができる｡著者らは上記のWeb-169-大学入試研究ジャーナル第14号

文Cにおいては, E-raterは満点の6点を与えう

Deerwester, S､, DumaiS, S.T., FurnaS, G.W.,

るが, Jessでは減点法なので，論文の有するLandauer, T.K. & Harshman, R. 1990,

多少の悪い点を分量で補うということをせず

1ndexing by latent semantic analysis.に，6点満点換算で5点程度としてしまうと考‘ﾉbuzEnal ofthe Amezrban』釦cie〃んr

えられる。

ZhibzYmahiO" '"ience, 41(7), 391-407,

表1の第5列にJe ssの処理時間(cPU時間）をFoltz, P.W., Laham, D. & Landauer, T.K.

示した。使用マシンはPlat' Home Standard

1999, Automated Essay Scoring:

System 801S, Intel Pentium lll 800MHz,

Applications to E ducational

RedHat7. 2

Technology. In proceedings ofである。Jes sはCシェルスクリプ

ト, jgawk, jsed, Cで書かれており，全部で1万行弱のプログラムである。なおJe ssはEtZj化diaりa

石岡恒憲・亀田雅之，1999,「単語の共起にhttp : //zaza. rd. dnc. ac. jp/jess/で利用可能基づく関連文書検索，算法と検索事例」

である。

『応用統計学』28(2):107-121．
httP//www .rd . dnc ac.jpj-,tunenori/doclj

6．おわりにJessは大学入試における小論文の採点シj asSvd.{dvi,p s}
木下是雄，1981,『理科系の作文技術』中公ステムに用いることを念頭において作成された．このため800字から1,600字程度の小論新書

北語と計算4』東京大学出版会

文に対しては，ある程度，妥当な結果を示すと考えられる．しかしながら，毎日新聞の社

前川説やコラムで学習しているために，たとえばコンピュータなどの科学技術分野については研二，1999,「確率的言語モデル」『言守，1995,「文章を科学する」『1000万人のコンピュータ科学3』岩波書店．

長尾真（編），1996,「自然言語処理」『岩語の学習が十分でなく，問題文に応えた内容

波講座ソフトウェア科学15』岩波書店の文章を書いているにもかかわらず，「内容」

野矢茂樹，1997,「論理トレーニング」『哲学教科書シリーズ』産業図書の評価が低い事例のあることがわかっている

したがって内容の分析においては，書かれてPage, E.B, Poggio, J.P. & Keith, T.Z. 1997,いる記事に応じて,用いるべき単語-文書の共Computer analysis of student essays:

起マトリックスを自動選択できるような仕組

Finding trait differences in the student

みが必要となるかもしれない．

profle.

AERAﾉWU"万SwnposiumQn

Gzading Essays〃a"Zputer.
参考文献
Burstein, J., Kukich, K,C., Chodorow, M.,

Rudner, L.M & Liang, L. 2002, AutomatedWolff S.,

essay scoring using Bayes' theorem,Lu,

Braden-Harder, L.," tiOlzaIa哩刀cilozz Mbasuz℃me"ｵ、& Harris, M.D. 1998, AutomatedafUca"O", New Orleans, LA.

Scoring Using A Hybrid Fe ature

Available

I dentification Technique . In theonline : http ://ericae .net/betsy/P apers/n

Proceedings of rbe Azm "aI Meekmg of'

2002e.pdf
鈴木規夫，1999,「3.1章 小論文総合問題に"e Associa"O" ofCbmp"砲"ひ"aJ

Lingmsな" August, Montreal, Canada.

関する調査結果の概要」『平成8-12年度「大学の各専門分野への適性の評価を目Available online :的とする総合試験のあり方に関する共同htm ://www.ets.org/research/erater.html- 170-

日本語小論文の自動採点システムJessについて研究」最終報告書』大学入試センター研究開発部，21-32．

渡部洋・平由実子・井上俊哉，1988,「小論文評価データの解析」『東京大学
教育学部紀要』28:143-164．

柳井晴夫・鈴木規夫，2002,「第3章 私立大学総合問題に関する調査結果」『大学入学者選抜資料としての総合試験の開発的研究』平成11.13年度科研費補助金基盤研究(B),研究成果報告書．

Yule, G.U. 1944, "e SZa雄睦a/Sru〃of″tezaly "cab"Zazy" Cambridge
University Press, Cambridge .

－171－