小論文/エッセイの自重採点システム－過去現在，そして未来一
石岡 恒憲（大学入試センター）

評定者の影響を取り除くあるいは作文指導の観点から，近年コンピュータによる記述式テストにおける自動採点の研究が精力的に行なわれている。本稿では先ず英文における既存システムの開発の歴史を概説し,自動採点システムに対する従来からの批判を整理する。

次に現在の代表的なシステムであるe-rater, PEG, IEA, IntelliMetric: BETSYについて紹介
し，相互の比較を試みる。また日本語エッセイを処理する，唯一の採点評価システムであるJessについて技術的詳細を紹介する。最後に残された課題や，日本語に固有な問題点について整理しておく。
1

自動エッセイ評価の最初の研究は古く，はじめに小論文/エッセイの自動採点および評価は,，1960年代のPage(1966)に始まるとされる。

現在，教育測定における最もホットな話題のPageの開発したシステムはP呵ect Essay一つとなっている。その理由は，従来，知識Grade, PEGと名付けられたが,その開発の目工学的なアプローチの多かった自然言語処理

的は大規模テストにおけるエッセイ評価の教に，膨大な言語集体(コーパス; corpus,"ﾉ．

員の負担を減らすことにあった。教員は予めcorpora)を利用した確率・統計的なアプロー採点（グレード分け）してある学生のエッセ

チが成功を収め，その有効性が多くの研究者イを用いて，テキスト特徴量に係る重回帰にや技術者に広く認知されてきたことによる。

おける重み係数を計算し，残りのエッセイス

コーパスを用いた成功例のアプリケーションコアを予測する。PEGスコアと教員スコアとには，典型的なものだけでも，機械翻訳，音の相関係数は0.78で，教員同士の相関0.85に声認識，カナ漢変換，情報検索 文書要約な近いものであった。

どを挙げることができる。これより自然言語

当時，自動的に抽出される特徴量は表面的を必然的に取り扱うことになる小論文/エッなもの，たとえば平均ワード長さ，エッセイ

セイテストの評価に，最近の自然言語処理での長さ（ワード数），コンマの数，前置詞のの研究成果を取り込もうとする試みは，きわ数，一般的でない( uncom mon)ワードの数，とめて自然な流れであるということがいえる。

いったものに限られていた。Pageはこれらの本稿では，このようなコーパスに基づく自特徴壁をproxiesと呼び，本来測定しようとす動採点へのアプローチが開発されつつあったる作文要素の代用とした｡ PEGのエッセイ評

2000年以前の状況を過去，それ以降，現在ま価予測はある程度の成功を収めたが，初期のでを現在と定義する。2節で過去，3節で現在段階では作文，および教育コミュニティに受における小論文/エッセイの自動採点システけ入れられるに留まっていた。それは作文スムを概説する｡4節では未来において達成すべキルを直接的に測定していないことに起因すき課題や方向性を指摘しておく。

ると考えられる。PEGに対しては，間接的な指標を用いているために，トリックを使って2

過去

21先行研究の歴史

良いスコアを人工的に得ることができる，という批判がされた。他にもより本質的な批判－41－

大学入試研究ジャーナル第16号

として，作文の重要な質であるところの，たある作文テストAnalytical Writing Assessment,

とえば内容(contents) ,組織化(organization) ,AWAにおけるエッセイ採点基準には,評価の文体(style)などを捉えておらず，このために観点として文法の多様性(syntax variety) ,内容(topic content) ,組織化(organization of idea)が挙げられている。Jill Burstein (1998)を中心とするETSのチームは，この3つの観点をより直接的に測定するためにNLPやIRの技術を用い学生への教育的なフィードバックを与えることができない，ということを指摘することができる。
1980年代の初期には, Writers Workbench(WWB)と呼ばれる作文ツールが開発された。て言語上の特徴量を抽出し，利用している。
たとえば，彼らはエッセイ中に現れる文や句のタイプを計量するために構文解析ツールを用い,書かれている内容の妥当性については，当時,IRで主流であった単語の共起頻度に基づいたベクトル空間モデルを用いている。
彼らの開発したシステムはe-raterと名づけられたが，そのプロトタイプにおいては各々400以上のエッセイに対して人間の評定者と比較した結果，6点満点中2点以上異なった予測は全体の約10%であった。これは従来の2

これはスペリングや語法，可読性(l･eadabil ity)について，書き手に有用なヘルプを与えるものである。またWWBは可読性の指標を，文章に含まれるワード，文節，文の数に基づいて提示した。WWBはテキストの表面を粗くなぞっただけのプログラムということができるが,作文品質の自動評価を行うための1ステップと言うことができる。

わが国においてもこの時期，日本語版のWWBと呼ぶべき文書校正支援システムの原型が開発された。代表的なシステムにはNTT

人の専門家による一致率とほぼ同等であり，で開発されたREVISEを母体とし日経新|淵社において利用されているVOICE-T WINや，COMETを母体とし誰談社で用いられているることの妥当性が検証された。

St. WORDS ,産経新聞社で実稼側している定できるように改良された(Page, 1994)。これ

FleCSなどがある（池原ほか, 1993)。
日本文の校正は，英語のスペルチェックに対応するものであるが，単に単語の辞書的照合を行うだけでなく，誤りの検出漏れを防ぐために，たとえばVOICE-TWINでは，音声出力槻能を組合せ，合成音声との読み上げ校正方式を実装している。新聞，図書の出版分野によれば，“現在のプログラムは文章の繋がりやすさを測定するなど，より複雑で豊かな変数の採用と,その重み付けがなされている”

ループが，作文品質をより直接的に測定するにおいては，その語の使用法が厳密に定まっ方法として，文書検索の最も著名な国際会議ていることもあって，これらの文書校正支援であるTREC(Text REtrieval Conference)などで盛んにその有用性が主張されてきた潜在的意味分析(Latent Semantic Analysis)を採り入

これによりe-raterが専門家の一方に代替しう
PEGにおいても作文品質をより直接的に測システムは，現在でも校正の現場で実際に利用されている。としている。しかしながら，ほとんどの変数については未だに公開されていない。
またこの時期, Landauerらを中心とするグ

1 990年代には自然言語処理(Naturalれ，エッセイ中に含まれる語彙の文字列一致

Language Processing, NLP)や情報検索に基づかない，いわゆる意味的な内容の一致(Infbrmation Retl･ieval, IR)の急激な進歩と相まを測定するシステムIntelligent Essay Assessor,IEAを開発した(Foltz eml, 1999)｡ IEAは，って，これらの技術を作文の品質測定に直接役立てる試みがなされた。アメリカの経営大学院への入学試験であるGraduate

現在では改良がなされ，内容，文体，構成（メカニズム）の3つの観点から評価がされるが，Management Admission Test, GMATの一部で15の話題について3,296編のエッセイについ－42．－

小論文／エッセイの自動採点システムて評価したところ,2人の専門家による採点の（正解性）。しかしながらこの指摘は適切で相関が0.86であるのに対し, IEAと専門家によはない。多くの作文教師は，コミュニケーシる採点の相関はほぼ同じ0.85であった。

ョンの過程では修辞の側面，たとえば自分の意志を伝えるのに論理的な接続表現が用いら

22

自動採点システムに対する批判れているか,あるいは話の筋が通っているか，Shermis(2002)によれば，エッセイの自動採などといった点を重視するという。実際，一点には以下の3つの批判がされてきたという。

部の出題では正しい答えのない場合がある。

1つ目は,コンピュータはテキストを正確に理つまり作文スキルとして議論の展開の仕方だ解することができない,というものである(正けに注目しているのである。もし答えが正し確性）。適切なキーワードや同義語を用いていことが重要なら，テストの様式はより効果

出題文に答えたとしても，これが必ずしも包的な別の形であろうし，その方が結果の妥当括的に適切な答えになっているとは限らない。

性もより上がるであろう。

例えば以下のような文を考える。
「アメリカ女王は1 492隻の船でサンタマリア

3現在

ヘ航海した。彼女の夫，コロンブス王は，イ2000年代に入り，ベイズ理論を採り入れた

ンディアンの探険家ニーナ・ピンタがイザベBETSY (Rudner and Liang, 2002)や，ルール発ラ海岸に巨大な富を持っていることを知って見アルゴリズムに基づくIntelliMetric (Elliot,いたが，フェルナンド大陸から香辛料を獲得2003),また日本語エッセイを処理する唯一のすることを我慢せざるを得なかった。」

システムであるJess

勿論，この答案は荒唐無稽であるが，コロンども新たに登場した。コンピュータによるエブスの北米大陸発見に関連した多くの適切なッセイの自動採点および評価は，評定の系列キーワードが含まれているために，幾つかの的効果 (ある小論文の評定が答案の中で何番システムは，これに高スコアを与えるかもし目に行なわれたかにより評定が変わる），課れない。これ程の場合でなくても，望ましい題選択（異なる課題に基づいて書かれた小論答えに似た文章を書いた場合に，同じ問題が文をどう一元的に評価するか；どのように等生じることは予想される。このために一部の化をするか）などの問題を排除できるだけで研究者は，防護策として人間と機械との併用なく，採点の手間を大幅に低減し，また対話を推奨している。

的な作文指導ができるといった点で，極めて2つ目の批判は,各出題文に対するモデルを(石岡・亀田, 2003b)な有効であると考えられている。

セットアップするために多大な労力を必要とするということである。自動採点システムの3.1

多くは重回帰モデルを用いており，採点をお(1) IntelliMetric

英文における自動採点システム

こなうためには事前に多くの変量に係る重み

このシステムの技術的な最大の特徴は，開を設定しておく必要がある。このために，実発元であるVantage Learning社自身が「先進的際にこれらのモデルが使われるのは，事前にな人工知能を有した」と称しているように，データを集めることが妥当となるような大規知識工学的なアプローチである｢ルール発見」

模テストの利用に限られている。

を採点に用いていることにある。すなわち，最後の批判は，書かれている内容の意味的

まず最初に予め採点が終っているスコアが出妥当性を評価する内容重視の採点システムは，ている模範解答を「学習」し，各採点ポイン解答に正解が書かれているかについても十分トのデータを蓄積する。次にシステムはこれな評価を行うべきである，というものである

らのデータを用いて，人間の採点者の採点ル－43－

大学入試研究ジャーナル第16号－ルの判断を推定する。Vantage Learning社が想とする分布において外れ値となった場合に，独自に開発したコグニサーチ(CogniSearch) ,そのメトリクスにおいて「適当でない」と判断し，割り当てられた配点を減じ，またそのクォンタムリーズニング(Quanmm Reasoning),そしてインテリメトリック(Intel l iMetric)は，各採点ポイントにおける解答の特徴を学習し，旨をコメントとして出力する。外れ値は四分範囲の1.5倍を越えるデータとする。

その知識を採点に活用する。このアプローチ

Jessは採点基準についてはe-l･ate1･の構造,組は，全体の採点を行う場合も同様である。
(2) Beyesial1 Essay Test Scorillg sYstem, BETSY

織，内容をほぼそのまま踏襲し，（1）修辞，(2)論理構成，（3）内容の3つの観点から評価

B ETSYはメリーランド大学のRud n el･らのする｡またそれら3つの観点に係る重み(配点）グループによって開発されたシステムで，エはユーザが指定できる。ユーザが特に指定しッセイ評価分類にベイジアンアプローチが取e/αﾉ. , 2002)。エッセイの評点は，通常,4段階なければ，配点は5,2,3で合計は10点である。
この配点は渡部ほか(1988)の研究成果を踏まえて，著者らが定めたものである。

から6段階で評定されるので,これらの段階へ(1)修辞られていることに最大の特徴がある(Rudnerのクラス分けとして考えることができる。

Jessでは修辞の観点として，文章の読みや一般的には，分類方法として2つのべイジすさ/語漿の多様性/ビッグ･ワード(big word,アンモデルが用いられる。一つは多変量長くて難しい語）の割合/受動態の文の割合をBernoull iモデルで，エッセイ‘ルが分類スコア評価する。

CIを受け取る確率を求めるものである。もう一つのモデルはmultinomialモデルで，与えら(2)論理構成
著者らは毎日新聞の社説に現れる接続関係れたエッセイに対する各スコアの確率をエッを示す句を全て抜き出し，これを順接，逆接セイに含まれる特徴の現れる確率の積で計算するものである。BETSYではエッセイの最初のパラグラフでどのような分野について書か各4通り，計8通りに排他的に分類してある。
J essでは，採点する小論文の談話(discourse ,れているかを判定すると言われている。

ベルを付加し，これらの個数をカウントする議論のかたまり)に対して接続関係を示すラことで議論がよく掘り下げられているかを判

3. 2

Jess

著者らが開発した日本語を処理する唯一の採点システムである。システムとしての最大の特徴は，他の既存のシステムがプロの評価者(rater)を手本にしているのに対し，このシ断する。個数についても，修辞|司様，毎日新聞の社説で学習し，模範とする分布において外れ値となった場合に配点を減ずる。
また，これら接続関係の出現パターンが，社説のそれに比べて特異でないかを判断する。

ステムは唯一，プロのライター(wl･iter)の書いた文章を手本にしているところにある。

そのために順接と逆接の出現パターンについJ essでは，模範と考えられる小論文/エッセられている。Jessでは事前情報のない方がそイとしてある全国誌の新聞における社説とコの生起確率が大きくなるとき，順接と逆接のラム（余録）を学習し，理想とする文章の書き方についてのメトリクスの分布を予め獲得

出現パターンは特異であると判断し，議論の接続に割り当てられた配点を減ずる。

しておく。これらメトリクスの分布のほとん(3)内容て，トライグラムモデル（北, 1999)が用いどは左右非対象の歪んだ分布となるが，この分布を理想とする小論文についての分布とみな内容になっているかについては,TRECなす。採点の結果，得られた統計量がこの理(Text REtrieval Conference)などでその有用性書かれている小論文が問題文に対して適切

－44－

（

小論文／エッセイの自動採点システムが主張されているLatent Semantic lndexing,量の学習データが必要である。

LSIが用いられている。このこと自体はIEAとPEGとは逆に「内容」の占める割合が高め同じであるが，その実装には，石岡・亀田であるが，彼らのいう「内容」の中身それ自(1999)の特許を利用した高速化のための工夫体に，例えば潜在的意味空間における文書ベがしてある。

クトル間の距離など，文書サイズにきわめて結果については800字から1,600字程度の依存する，通常は表層的観点と考えられるよ

小論文に対しては，ある程度，妥当な結果をうな要因が含まれていることは知っておく必示すと考えられる。また入社試験の初期選抜要があろう。また開発者が指摘しているようにおける小論文試験での専門家との比較評価に，論理構成や語の出現順を評価しないといにおいても，専門家の評価と遜色のないことう問題点が残っている。IntelliMetricはルールが確認されている（石岡ほか, 2003a)。

発見のアルゴリズムに基づくが故に，論題毎3.3エッセイ評価モデルの比較に大量のデータが必要となる。B ETSYはまだ開発中であり，利用できる分野が限られてい本節の要約として，各エッセイ評価システる。Jessは毎日新聞の社説やコラムで学習しムの比較を表lにまとめる。第2列目はエッセているために，例えばコンピュータなどの科イの評価基準で,第3列目は各評価システムが学技術分野については語の学習が十分でない。

主として用いている手法を示す｡第4列目の制

このため問題文に応えた内容の文章を書いて限は，他の評価システムと比較した場合の弱いるにもかかわらず，「内容」の評価が低く点に類することが記載してある。第5列目は，人間との評定値との比較についての文献を示なる場合がある。

す。

4 未来

評価基準は各システムともそれぞれ開発当

4.1自動採点システムに望まれる要件

初においては大きく異なっていたが，現在でBereiter(2003 )は専門家による採点の不完全はBETSYを除き，ほぼ同じような観点で評価さを指摘している｡ 人間の採点には，良い（あがなされている。強いて違いを述べれば，e-raterでは評価指標が最も多く，どのようなるいは悪い）印象が他の全ての評価観点に良い（あるいは悪い）評価を与える，いわゆるタイプの論題についての適合できるようチューニングしてある。このためよくトリックが使われている，という批判がされる。また大ハロー効果のあることが知られているからである。事実, Fridmanが1 980年代に行った研究

表1：エッセイ評価システムの比較
制限e･ rater

構造縄溺上内容

重副帛モデル6GM(IrPd?'画蟠りあり

内容 組織化 形式 技錘帰ﾓﾗ琴ﾉレ

内容/概念激睦性を認面しない人間とのと罐鈎酬：緬鰔/語蝿|贋を評価しない

而画1iMebic

ルール発見

胃鐇毎に大壷完タカ泌要

BETSY

表層

ベイズ的浅丘分里効喘賑さｵじているj開発中

Rudna?etaZQOO"

Jess

修驚：縫胸戎内容

外れ掴…団科挙荷分野に弱い

石岡･亀田c003け－ 山－45－㈹

Im

副内容 文佑 技巧
一貫陸 内容 構成 文章の複雑さ，アメリカ英語､○跡巧魂蛸ﾘ性鉱 副IEA

PEG

１ ０

手法剛蜘迦評価雲僅》》》》

評価ｼステム大学入試研究ジャーナル第16号によれば，人間の評価者は学生のエッセイのこれら2つのことは，まさに今，達成されつ中に混入させたプロの手によるエッセイを特つある課題であるが，当然の流れとして将来別に高く評価することができなかった。このは内容レベルでの誤りの指摘が求められるでため，彼(B el･ei ter)は自動採点システムを改良する方法の一つとして，専門家の評定者あろう。具体例としては実在しない固有名詞(rater)を使うのではなく，専門家のライター盾する数値(｢第五四半期｣），文意の矛盾（｢定を使うことを提案している。著者らのグルー率法と低額法」→「定額法」），文意の誤りプが開発したJessは，専門家のライターによる文章を評価基準とするという点で世界で最などを挙げることができる。これらは構文解
析では解決することができず，文脈や一般常初のシステムということがいえる。

識を用いた解析により誤りと断定できるもの（「中僧根元首相」→「中曽根元首相」），矛

一方，自動採点システムは単にスコアを返である。対話的フィードバックの重要性につすだけでなく，現在では対話的なフィードバいてはCalfee (2000)にも詳しく述べられていックを返すための作文ツールと見なすこともできる。このような立場では，低いスコアをるが，自動採点システムを作文支援ツールと考える場合は，従来のWWBの機能それ自体得た学生には，書いたエッセイのどの部分にをより精微化することの方向性が窺えよう。

問題があるかを適切に提示する必要があろう。
このために，現在, e-ratel.の開発チームは以4.2下の問題に取り組んでいるという(Kukich,(1)分量の問題
少なくともアメリカの公的試験におけるエ2000)｡ lつは単純な文法エラー（たとえば"Iconcentrates'' , "this conclusions''など）でな

日本語評価固有の問題点上の文法エラーを，ワード並びのⅣグラムモ

ッセイ試験では字数制限がないのに対し，わが国の場合は，600字あるいは800字の字数制限が設けられている。その結果，わが国におデル（たとえば北,1999など）に基づいて発いては作文能力の高い者もそうでない者もほ見しようというものである。「汚れ」の例とぼ同じ分量を書くことになり，一般に量についての評価は不適である。しかも600字ないし800字という分量は,論理構造を表現するのには少なすぎる分量である。実隙 毎日新聞のい，一般に「汚れ(pollution)」と呼ばれる語彙しては前置詞の誤り/脱落や一般にいわれる悪文などが挙げられる。

2つ目の課題は,言語学で用いられる中心化理論(centering theory)におけるラフ・シフト(rough-shift)を検出しようとする試みである。
中心化理論は，代名詞と先行名詞の照応関係を決定する手法であり，トランスレーションコラム（余録）の字数は850字であるが，1年365編のコラムの中で約20編は接続表現の全の自然な順に｢接続(continue)｣ >｢保持(retain)」＞「スムース・シフト(smooth-shifi)｣ >「ラフ・造，あるいは展開を採点者は正しく判定することが難しく，したがって採点者個人による違いの影響が相対的に大きくなってしまう。

シフト(rough-shift)」の関係がある。100件のAWAエッセイを調査したところ，ラフ・シフくない記事である。
このよ､うな少ない分晶だと，文章の論理椛

(2)順接表現の省略

トの割合とエッセイスコアとには負の相関が日本語では，順接表現は意識的に避けられあることがわかっており.，したがってラフ・る傾向にある。このため日本語では特に手がシフトを含む文を修正を要するものとして指かり語に頼らない文章の構成および展開の把摘することが正当化される。日本語の場合は，握が必要となる。

係り受けの深さや埋め込み文の存在などがこれに相当するものと考えられる。

エッセイをその内容に応じてブロックごとに分解し，その関係を分析する方法は，一般－46－

小論文／エッセイの自動採点システムに談話分析(discourse analysis)と呼ばれ,現在，多くの研究がなされている。重要文抽出ある

6℃"M･4 cFDR3通℃ｳﾌ腕"W"哩狸繭ぞ. Hillsdale,NJ:I-aⅧEnce Edhalm AsWiam.

いは文書要約の基本となるためである。しかFblZP.W.,I_ahan,D.andI_andaller,TK 1999,Aummard

しながら，エッセイの自動採点においては，

ESsayScoling:AppHcaionsbEducational TbChnolO圏′、談話の関係に階層構造を採り入れたものはまhllxoceedir哩吐及飢血加奴

池東悟･ﾉj原永｡高木伸-部1993,文書交正支援シだない。

（3）機種依存文字の問題

ステムにおける自然言語処理悌敗蝿34(1Q

現在，わが国では小論文の試験は手書きで1249-1258.

行われているが，今後キーボード入力が可能

石岡恒憲｡亀田雅之1 999,特許:ﾃｰﾀﾍｰｽ侑戎となった場合であっても機種依存文字の問題

對萱およひ関教書関藍割寅瀧 データペーが生じ得る。利用者は必ずしも漢字コードにスイ衛妨法およひ関數書関蓉割食索方法ならび詳しくはなく，このためJISのコード表に定義に記餓体､峨頁番号出頭平1 1-188613,公開番号弓されていない機種依存文字（システム外字と公開2001-14341．

も呼ばれる）を意識せずに使用する可能性が石岡恒憲｡鴛反由紀子｡二村英幸2003a, ss:日本語小ある。たとえばWindows (シフトJIS)の①②

言紙の自動採点システムー久拙試験による作文③はそうである。

ﾃｰﾀ蠕判間－32003鞭綣1関齢重合大会誌悲蕪品告集298-299.

小論文では箇条書きを使用する可能性は少なくなく，この危険は十分に想定される。Jess,司司恒憲･亀田雅之2003hコンピュータによる小では機種依存文字は空白に置き換え，システ

言紋の自動採点ｼｽﾃ“essMI値計算鶏濡嶬

ム上，破綻することはないが，ユーザは箇条

16 (1) , 3-18.

北研二19",W鯛信語ﾓﾃﾙ;言語と言隠↓,東京

書きで分かりやすく表現したつもりがシステ

大学仕1絵

ムはこれを評価しないことになる。

Kukich,K2000,B可ondAummamEssa/Scming
参考文献'IhekbaCmAummardEssa/G1adilg廼砥

BeIe"C.2003,FblewddhlShamh,M. andBuISrin,J.

〃?花雌"@iw77zsj 15Q22-27.

eds."z"wcM域ﾉa風s印ﾉs℃αｶﾘgw4cm弼鉱sc"?z"JノPa"E.B. 1966,Theimminence㎡aadngEssaySIJ/

ノ氾岬泥α舵.Hillsdale,NJ: I瓢ⅣIalce albaum ASociaE'Compu""zi""雄狸x'3238-243.

BenylMJ.A.andLmofG.S. 1997,α攻7A伽7壇Zbcﾉ""".､Pa"EB. 1994, NewmmpufrGmdigofStudentPIme,

Rｶｶﾊ化'伽"Zg&z" "z/C"b"7"S”"ZJdln Wilq/

USingModemConcepS and Sofiwala"ﾌzwzMqf&Sons,Inc.

助だ"W"”/＆"xi" 62C), 127~142.

BuIstein,J,KLkich,K, WoES.,Lu,C､, ChodolowbM,RudnenL.M. andUangL 2002,AummmedessayscUing

BIadalJ-Iarda; L., and I胃hnis,MD. 1998,Aunnard

ushlgBUesi 61eorem,M成り""Cbz"r"o"A"zFz"匂7m7〃

ScoIingUsmgA IMrid FbanlleldenifcadonTHhnique

勿及”ﾛ加",NewOlleanS,LA.

hllhePIDceedmg of"zeA"zzzIMfe"qg(γ雄S elmEMD.,Kocl%C.M.,Page,E.,Ke血TZ.,and44swmり"可℃"〃”"わ“L聰"加"A唱魑〔Haningbn, S. 20m, 'IiaitRahngfrAummard

ⅣmmEm,Canada.

E$句/GIading,及力把"m"cM"zIRJAa肋ﾙﾕgな〃Cal企e, R 2000, Tb GIadeorNOtTb GIade;Ihel%ba妃叩"AummardEssあ/G1adingEEEEjz彪雌""砂s心"$A企a""匂"α砿 砲, 5-1 8.

鞭螂津平由実子》井上俊哉1988,4論文調間デー
タ刎鞠蒲東京ﾌ撒育藷蹄醒昌鐡礒143-164.

15(5),3”7．

EllioLS. 003,1nrmA化IIic:FiomHaelDValidW71-86. h

Shermis,M andBul証血J. e(b.4z"b"7cmiaEs印ノh－47－