【原著】

自然言語処理技術を用いたセンター試験問題の統計的解析
一英語および国語の試験問題を対象として－石岡 恒憲，橋本 貴充，大津起夫（大学入試センター）

平成17年から平成20年度のセンター試談（本試験）の英語および国語の試験問題を対象として，その問題文における語彙の難しさや文章の難読性が得点率に影響を与える様子について調査した。その結果，センター試験で用いる範囲においては，これらは互いに無相関であることがわかった。また英語の文章は，4年次（9歳）から8年次（13歳）のレベルの英語によって構成されていることがわかった｡‘

1

はじめにその有効性が多くの研究者や技術者に広く認

平成9年以降における大学入試センター試知されてきたことがあるbまたこのような自験の解答データについての統計情報の整備は，研究開発部において着々とおこなわれてきた。

然言語を取り扱うための道具立ても，整ってこれにより，今や，必要に応じて過去の関連

ルは, GoogleDocs,統計言語Rおよびその問題を検索し，その詳細な統計情報を獲得す

上で動作するlanguageRライブラリ，形態素ることが可能となっている。

解析Me Cab (和布蕪),およびJACET 8000

次に我々が目指すべきものは，自然言語処きている。事実，今回我々が用いる解析ツーレベルメーカであり，全てネット上からフリ理技術を用いた試験問題文そのものがもつ属性に踏み込んだデータ解析とそのデータ提供である。たとえば，国語や英語の長文読解問ーで利用できるものである。

題などで用いられる問題文そのものの難読性

ち，その問題文における語彙の難しさや文章に関する指標や出題形式といった試験問題その難読性が得点率に影響を与えやすいと考えのものがもつ属性が，受験者の得た得点とでられる英語と国語を取り上げ，その相互の影どのような関係にあるかがわかれば，今後の響について調査することを試みる。

本稿では，平成17（2005）年から平成20（2008）年度のセンター試験（本試験）のう作題において得点予測の十分な資料となるこ

2節では，語彙の難しさや難読性に関するとが期待される。難読性に関する指標には，たとえば（1）語彙の多様性を示すユール指標の定義について整理しておく。3節では，(YUle)のKなどの幾つかの指標, (2)文の長さ，（3）用いられて語彙それ自体の難易度，などを挙げることができる。また読みやすさ

例に解析を試みる。4節では国語を取り扱う。
日本語形態素解析を用いて，各種指標の適用を試み，その結果を報告する。5節には，問の指標としても,英語などについては, Flesch

題文で用いられている語彙のネットワーク分

Reading Easeなどがある(Baayen,2 0 0 8)｡
このようなアプローチを取ることの技術的析を試み，単なる語彙頻度だけでなく語彙の背景としては, 従来，知識工学的なアプロー

これら一連の解析では，解析のソースコードチの多かった自然言語処理の分野に，1990年代頃よりコーパスと呼ばれる言語集体を用を示し，興味のある方には追試ができるよう-配慮した。6節はまとめである。

これら指標が歴史的に整理されている英語を繋がりの様子が一目で見られることを示す。

いた確率･統計的なアプローチが成功を収め，- 145-大学入試研究ジャーナル第20号

2

文章の難読性や語彙の困難度を示す各あるが，こちらはどの学年によって理解でき種指標るかを示すものである。たとえば8.2という数

2. 1

値が出たならば，それは平均的な8年次の学

GoogleDocs

GoogleDocsのワードカウント槻能はGoogleドキュメント英語版で利用できる生（アメリカでは通常13歳から14歳）の学生(http : //docs. google. com/)｡文書内の英単語ている(www. readabilityformulas. com/)。

数をカウントするには, [Tools]タブをクリックして[Word count…］を選択する。する

GoogleDocsではこの数字は整数に丸められと，ウインドウに次の項目が表示される。

一方, Automated Readabinty Index(ARI)
は，ワードあたりの文字数や1文あたりの文にとって理解できるレベルであることを示し

CoImtR･ Word count (単語数）･ Character count (with spaces) (スペースを含めた文字数）･ Character count (without sp aces) (スペースを除いた文字数）･

Number of paragraphs (段落の数）･

Number of sentences (文の数）る。

字数を考慮した読み易さの指標であり，F KGL同様，対応する学年レベルを示す。これもまたGoogleDocsで数値が整数に丸められる。

2. 2｡ Approximate number of pages (おおよそのページ数）

Readabnity statics (文書全体の統計):･ Average sentences per paragraph (1段落あたりの平均文数）

1angaugeR ライブラリ

Rは統計とグラフィックスのためのフリーのプログラミング環境である。Rにはbaseと呼ばれる標準ライブラリに加え，数多くの投稿されたライブラリ（拡張パッケージ）が用･ Average words per sentence (1文あたりの意され，ユーザは必要に応じて追加してイン平均単語数）

ストールすることができる。

･Average characters per word (1単語あたりの平均文字数）･Average words per page (1ページあたりのいま,RのライブラリであるlangaugeRをインストールすれば，述べ語数flbkens)や異･

Flesch Reading Ease･

Flesch-Ki n"id Grade Level

なり語数(Typ es)に加えて，トークン比やZipfの法則のパラメータの他，語彙の豊富さを示す指標であるYule's K (ユールのI0, Herdan's･

Automated Re adability lndex

C, Guiraud's R (ギロー指数) , Sichel's Sな平均単語数）どの値を得ることができる(Baayen, 2008)。
ユールのK(YUle, 1944)は単語の頻度スペ

このうち, Fle sch Reading Ease (FRE)のスコ
アは1文あたりの単語数や1文あたりの音節数を考慮した読み易さの指標であり，スコア

クトルを用いた指標である。出現頻度がポアが大きいほど読み易いと判定される。スコア

ど 小さな値を取るように作られている。式の概ねの目安として90.0-100.0は平均的な5年次の学生が容易に理解できるレベル，60.0-70.0は8年次から9年次の学生が容易に理解できるレベル,0.0-30.0はカレッジ卒業生が容易に理解できるレベルであるとしている。

ソン分布に従うと仮定して，語彙が多様なほで示せば,ある文章にXj回現れた単語が（個あるとすれば延べ語数〃はⅣ＝ Zx,バとなり，そのときK特性値はまたFlesch-Kincaid Grade Level(FKGL)は, FREと同様,1文あたりの単語数や1文あたりの音節数を考慮した読み易さの指標で－146－

K=,04 Zx/バーⅣ
Ⅳ2

自然言語処理技術を用いたセンター試験問題の統計的解析となる。いま1000語からなるテキストがある･ Level 5[順位400 1～5000位〕

として，この1000語が全て異なっているの難関大学受験，大学一般教養。英検準1級

ならば,K特性値は0となるぅ一方，これのレベル。TOEICでは，おおよそ400点からが全て同じ単語であれば,K特性値は9990500点前後に相当。となる。

･ Level 6[順位500 1～6000位〕

Herdan's C (Herdan, 1960)とGuiraud's R

英語専門外の大学生やビジネスマンが目標(Guiraud, 1954)は，延べ語数八/と異なり語数Vを用いた指標であり，.それぞれ次式で示とするレベル。英検準1級, TOEICでは600点に相当。

される：･ Level 7[順位600 1～7000位〕

一一ｙ｜〃

Ｒヲ且）
Ｏｌγ Ⅳ頁）０ｌ－－Ｃ

英語専門の大学生，英語教師，仕事で英語を使うビジネスマンの到達目標。英検1級やTOEICでは95%以上の単語をカバー。

Sichel's Sは1度だけ現れた単語(hapax･ Level 8

dislegomena)を異なり語数Vで割った指標である(Sichel, 1986)。

[順位700 1～8000位〕

日本人英語学習者の最終目標。英語を仕事して使う場合，95％の単語を知っていることに。英検1級やTOEICでは95%以上の単語を2. 3

JACET 8000カバー。

JACET 8000は｢大学英語教育学会基本語改あるテキスト文書を入力して，そこで用い訂委員会」（委員長：村田年 千葉大学名誉教られている単語にレベル付けを行うツールと授・和洋女子大教授）が，2003年3月に制定してJACET8000レベルメ､－力があり，ネッした「大学英語教育学会基本語リスト」の通ト上で利用できる称である。これは「日本人英語学習者のため(http://www01. tcp-ip. or. jp/~shin/J8Leve lの教育語彙表」であり，英語学習の指針になMarker/j81m. cgi)。

ることを目的としている。Level lからLevel8まで各レベルに1000語が割り当てられ，そ3

センター試験。英語れぞれの意味づけは以下の通りである（相澤3.1

試験問題の構成ほか,2005)。
･ Level l

平成4年（1992年）以降，英語の出題形[順位1000位まで〕

式はほぼ一定で6つの大間より構成される。

中学校英語教科書に頻出する基本語。一般

第1間がアクセント問題，第2間が単文の穴

英文の70％をカバー。

埋め問題（文法問題)，および短い会話文の穴･ Level 2[順位100 1～2000位〕

埋め問題 第3問から第6問が読解問題であ高校初級。英字新聞の75％をカバー。英検る。読解問題にはグラフの説明や料理レシピ

準2級に相当。
･ Level 3などの説明文などが含まれる。4コマ漫画の[順位200 1～3000位〕

高等学校英語教科書・大学入試センター試説明として適当なものを選ぶ問題の年もあり，書かれている内容については一定ではない。

験は，ほぼこのレベルの単語で作成。 英検2級に相当｡社会人は教養として必要なレベル。

ただ第6間は，例年，比較的分量のある読解･ Level 4

ニングテストが導入された。

[順位300 1～4000位〕

問題が出題される。平成18年度からはリス

大学受験，大学一般教養初級。日本人が単語力の有無を問われるレベル。英検2級に相3.2当。

語数や読み易さに対する評価

本稿では，平成17年度から平成20年度ま－147－大学入試研究ジャーナル第20号

での4年間の試験問題を対象とした。第3問に相関が現れないことは容易に推察できる。

から第5間までを併合したものと第6間の2つのデータ対象に対して，総語数やFlesch3.3

語彙の多様性に対する評価

Reading Ease(FRE)が大間得点率にどのよ

Yule's K (ユールのK), Herdan's C ,うに影響を与えるのかを示したのが図1であGuiraud's R (ギロー指数）を説明変数としる。上段の2つが総語数を説明変数とする得て，大間得点率がどのように変化するのかを点率のグラフ，下段の2つがFREを説明変示したのが図2である。上段の2つがYule's数とする得点率のグラフである。図中の直線Kに対するグラフ，中段の2つがHerdan's Cは回帰直線であり，グラフの枠内の右下にはに対するグラフ，下段の2つがGuiraud's R相関係数を記してある。ここでFREを用いに対するグラフである。図1同様，左側の3（学年を示す) FKGLを用いないのは, FKGLつが大問3から大間5までをまとめたもので，は数字が丸められているために，関係性をみ右側の3つが大間6に対するものである。

るためにはFREの方がより良いと考えるかまとめたものに対しては，これら代表的な語らである。

。 。

（誤）四８の87080o~､~卜屡
1鴎010801120■⑨。

回⑨ロ函o⑪8『＝0．01

和 叩：。

○マ⑥：

■

口垣｡

.6．

｡

Hｰ

勺（誤）２８の側》■、。

ロロ函一講一r叩0。マ

8R○の｡

8o（誤｝２８の（誤）２８のｏｍｏｍｏトロ四○四○マロ”○副（誤）２８の。、○四○トロロロ唖ロマ。③○国｢＝心.25O

Item6○・一○四ltem 6Imm 3-5○○一○函

Item3－5-裂き一少ないために確定的なことはいえないが，相関がないように推察される。

WoIdsCounts。。

がわかる。大間6についても，サンプル数がr＝-0.53

100085

得点率には影響がない（無相関である）こと

0e

WordsCoUnts§：8｡

75。、○四○卜ｏｍｐｍＣせ○ぬ○画。

ＤＵ《ＨｂｏＯ（ま）２８の。、○四○トロ⑲。、ロマロ嗣○国

r＝｡.2565

彙の多様性を示すいずれの指標においても，ltem 6ltem 3-560

これらを見ると，大間3から大間5までをr＝幻.49

卯100110 120130

6080

U100YuIe，sK606570758085

606570758085

ltem 3-5ltem 6

Flesch Reading Ease

Fiesch Reading Ease○の。⑨Ｃ寸回■~、-ﾄ÷－○副⑥一一●

２０ザ０

⑪0.60

r＝･0.27

Hardan0sC

0.520.54 0,56 0.58 0.60
Hardan!s C

item 3-5

1tem 6
ロ○一○画；＆0.65。

○国1．01
2．02
3．03
001．52．02．53．03．54．0。寸。因r＝幻.1。の○ず

8（誤）曾８の○の（誤）巴８の-ず-単濫-1－

図2－148－（誤）里８の

●■

○0.55

Guiraudqs R

レンジの幅が作題者の調整により小さいため《⑥ロ。80 5

総語数やFREの値は正解率に影響を与えるはずのものであるが，センター試験ではその●。＃○。。←ロ四いることがわかる｡勿論常識的に考えれば，

竃嗜i：。

0.50

60から85程度であることからわかるように，年次（13歳）程度のレベルの英語が使われて；品｡②ｰる。一方，読み易さの指標と得点率の相関はセンター試験の英語は4年次（9歳）から8｡⑪。。

○国が，正解率が低下する傾向のあることがわか少ないように感じられる。なお, FREの値が｡

｡

。

○マ

これより，総語数が増えるとわずかではある○ｍ（誤）９８の

図1：語数や読み易さに対する得点率の変化

120

○○一○四

Yule，s K

ロ○一○四『＝0．21

8

11．0

r＝毛.2

1．5

2．0

2．5

Guiraudls R

語蕊の多様性に対する得点率の変化

3．0

自然言語処理技術を用いたセンター試験問題の統計的解析

3.4

JACET 8000を用いた評価

代の読解量は約1300語である。

表1は,平成17年度から平成20年度までの各大間における用いられた単語のLevel別頻度の平均である。その他はLevel 8までに含まれない単語の他，試験問題という特質のためにたとえば「①」のような英語以外の文字が含まれている。単語には問題文の英文も含まれる。
表1 : JACET8000のレベル分類（平成17年度から20年度までの平均)による語数と比率

4

センター試験。国語

4.1

試験問題の構成

国語の試験問題の構成は，第1問が評論，第2間が小説（近代)，第3間が古文，第4間が漢文で，この構成および配点(各50点)は，共通一次時代より変わっていない。
42

語彙の多様性に関する評価

形態素解析にR上で動作するRMe Cabを使い，英語の試験問題の解析同様にlangaugeRライブラリを用いてYule's Kを算出した。こ

L*I

却記側

却34㈹

却弱棚

鈴 側

LeE1

m5伽副419.0(7x旬

465噸9）

885卵39）

I_ewI2688(7J"5 (101)

340(59）623(59）のYule's Kを説明変数とした場合に，国語のLeE3253(29173(32118(21）235(四得点率がどのように変化するかを示したのがL凰尼14140(1a170(31）48(0印

160(1.句図3である。これより語彙の多様性の指標でLaE15103(1260(1.1）

110(1930(03あるYule's Kの値の違いによって，得点率がLevel675(09)0B(01)

10(0253(0句l_eiel745(0a13(O242(07）18(02Lad8

33(04)

23(04）

O8(0.1)

1.3 ( Q1)

その他

333(33225(42423(74）565(54）

計

8刀3(10①5405(100574β(1の10別Ⅸ1のLevel l [順位1000位まで〕が中学校英語教科書に頻出する基本語で,一般英文の70％をカバーすることを考えれば，センター試験の英語はこれが80％を占めており，かなり平易

著者らは, Herdan's CやGuiraud's R (ギロー指数)についても解析結果を得ているが，特に興味深い結果を得ることができなかった。
I瞳m f

I鯰、2。○○マ。“○Ｎ

r＝－QO6

r＝0.勢。

るLevel 3より難しいLevel 4以降の単語も

130

140

150

160

135140145150155160

YuIeos K

YUIeos K

item 3Item 4

少なくなく，各問で平均して30単語が含ま○○§○。

一。

－:~原ｃｃ。

§・寸○園。

『＝0．16§｡。＠。

◎（誤）巴８の一寺一菫一号一《Ｕ《巳。。←Ｃ画○○Ｎ

読んでいることになる。ちなみに共通一次時○マえる単語はさすがに少ない。
全体の分量としては，大問3から大間6までのいわゆる読解で，毎年3000語の文章を○の（誤）巴８め

通してLevel 5 (難関大学受験レベル）を超ロ○一○西れている。大間6は分量が多いせいか，他の大間（大間3から大問5）に比べ，易しい単語の比率が大きいこともわかる。ただ全体を。

。

。の」（誤）２８⑩

８一○．○○．ｐ○マ

その一方で，センター試験のレベルとされ。。。

。。←○ぬ一８８回

ｓ０○８○８８一ｏの約87％を占めている。

だと推測される。

（誤）９８め

当するわけだが, センター試験はここまででを目標として試験問題を作成しており，素材文の難しさを設問の易しさで相殺しているの

ｃｃ←ｏｍな語彙により構成されていることがわかる。
Level 2 [順位100 1～2000位〕は高校初級で，英字新聞の75％をカバーし，英検準2級に相変化するという傾向は認められなかった。読解における理解の難しさと，得点とは別ということであると思われる。作題者は概ね60％「＝0．

110 115120

125 130

Yule's K

135

90

100 110 120 130 140
Yuleis K

図3 : Yule's Kに対する国語の得点率の変化－149－､

大学入試研究ジャーナル第20号

5freq←length 6[y>Z])
fM1[1 :fi℃q,]＃ネットワークマッブデータに置き換える
vng <- nalil.data.fiane( wn[1:freq,])＃ネットワークﾏｯﾌを帽戎

語彙のネットワーク分析

図4は，平成20年度・国語・第1間の素材文として用いられた狩野俊次「住居空間の心身論一『奥」の日本文化」で用いられた語彙の繋がりを有向グラフで示したものである。

tkplot Wng, vertex. label=V WnJ $nanEE, layout=layalt・丘uCht mBIL reinmld, veItex. size=1)

形態素解析にR上で動作するRMe Cabを使い，

図5：ネットワーク分析のRによるプログラム

igraphライブラリを用いてR上で実行。描画
6

した。これより，「空間」や「的」といったおわりに単語が，この素材文のキーワードになっていセンター試験は大間形式で構成されているる様子がみてとれる。なお，この図は正味でために，同じ素材文に対して易しい設問からわずか15行足らずのソースコードで作成す難しい設問まで幾つかが設定される。その得点率のバラツキの方が，素材文自体の読みやることができる（図5）。
口同画’

鱒響窯Oh”

釦腫ILay”tV的w

E呵海t

そこ 人邸‘･･肺雲･'入口蝿『”棚5舞･応溌W晩”磯"-麺驚夛

畔一
１１１

ユークリ堀ド中心･付牡働人．葎

詐春－4

１１

珂上

禰胸懲縦ピ庵イ’2

仏教／寺院

指摘、それ‐次

出題者は素材文の読みやすさ/難しさにかかわらず，同程度（約60％）の得点率を目指しており，それがほぼ実現している様子が確認された。これは英語と国語とで共通である。

また英語では，素材文で用いられている単１

日需ミジコ厚ｽｷｰ 方“に，結果として素材文の難しさと得点率には相関が現れないことがわかった｡逆にいえば，

座敷 プヴセス限守

すさや難しさのバラツキに比べて大きいため

文彦

語の読み易さのレベルは，4年次から8年次である；単語の難しさについても大学受験レベル(Level 4およびLevel 5)以下に概ね収まっており，これらを超える難しさの単語は全体のわずか1.5％であることがわかった。

,W:･- 8

ただ語彙の多様性については、単語の出現…

図4：平成20年度・国語・第1問，素材文にしにくさの度合いを考慮すべきであり、その定式化を含め､今後検討したいと考えている。

含まれる語彙のネットワーク分析

参考文献＃鳥獅ネットワーク分析

相澤 一美，ほか(2005).

＃ライブラリーとﾃｰﾀ聯込み
1i mxy(igrad,)Baayen, R. H. (2008) . Analyzing Linguistic

lilx3xy側嘩b)

Data: A Practical lntroduction to Statistics

targeEIbxte

Using R, Cambridge UmvE Press (Sd) .

"F:/CtｴｿmCm. doc/2008H doc/2"8-A1-H-01ed. txt"

＃名詞のバイグラムをとる
keld<aⅨ7←N厘劃1"(targeflbxt, type=1, N=2, po亭"名詞"）＃集計した結果を鋤佃℃(j回鯛|同こ
sortlist令吐der(keldKar[, 3], decreasing = TRID
fWn←ekk弧？[smftlist,]＃雛2以上を取り出す
y←卸､細℃q

JACET8000英単語

一「大学英語教育学会基本語リスト」に基づ
く－，桐原書店．

＃Guiraud,R(1954).
Les
Caracteres
statistiques du vocabulaire. Paris : RU.F.
Massonie .

Herdan, G. (1960).助ﾌe-jaken zzza"ema"m.
A textbook of mathematical hnguistics,
Gravenhage, the Netherlands: Mouton.

Sichel,H.

S.

(1986).

Word

fiPequency

distributions and type-token characteristics. "自坊b jLi函立" 11, 45-72.

－150－