【原著】

AO入試における信頼性評価の研究－一般化可能性理論を用いた検討一
木村拓也，吉村宰（長崎大学）

本研究の目的は、一般化可能性理論を用いたAO入試における信頼性評価の方法を提案することである。 「選抜方法の多様化、評価尺度の多元化」を基軸にする大学
入学者選抜方法・制度の設計では、限られた学内の人的・時間的リソースを際限なく浪費してしまう方向にしか向かわない。本研究の成果によって、十分な信頼性を担保した上での評価観点の峻別/縮減・採点者(面接官)の削減指針が轆得可能となる。
1．問題の所在一入試の多様化を「縮減」す状である。

る論理とA0入誠の信頼性評価研究の必要性
現行の大学入学者選抜実施要項「1.基本方

そもそも、古典的テスト理論では、テスト
得点をX、真値をT、誤差をEとしたと針」に書き添えられている「選抜方法の多様き、次式を出発的として考えられてきた。

化、評価尺度の多元化」という大学入学者選

X =T+E抜における錦の御旗は、踵大の論理こそあれ、どこまでの多様化・多元化であるべきか といこのとき、古典的テスト理論では、信頼性係数p(X )を次式で定めている。

った盤鍼璽論理がそもそも内包されていない。
中教審答申「学士課程教育の構築に向けて」

p(X)-o:/O; -of/(Of+oi)

で、AO入試や推薦入試の学力担保に憂慮がつまり、総得点の分散に占める真値の分散示されたりしたが（中教審2008:30)、AO入の割合が信頼性係数であり、一般に、再テス

試や推薦入試などの入学者選抜方法の多様化

ト法や平行テスト法で推定してみたり、信頼を如何に適正規鏡で行うかを考えることが、性の基準としてCronbachのα係数を判断の今後、大学入学者選抜の制度設計における喫指標として用いたりする｡

緊の課題となってくることは間違いない．

一方､1テスト理論の分野では、誤差Eの一方で、大半が記述式の問題で占められる

評価についても研究が進み、一般化可能性理

国立大学二次試験の現場では、試験の実施．

論2)と呼ばれるものが知られている。一概に採点・合否判定と非常にタイトなスケジュー

誤差と言っても、試験実施時期や回数などのルで行われるが故に、項目反応理論(I RT)が時間的な変動、出題される課題（質問項目）

必要とする個別受験生の詳細な回答データがの違いといった項目間の変動記述式のテス

必ずしも得られる訳ではないものの、2次試

トや面接であれば、評定者がつける評点の違験の教科科目については、五分位図')などにいといった評定者間の変動といったものなど

よる大まかな識別力の検討くらいには、項目が混在している。一般化可能性理論とは、こ分析を行うことができる。だが、AO入試やうした系統誤差要因［相(fact)と呼ばれる］推薦入試で行われる面接試験や小論文試験、ごとに誤差成分を特定して、テスト得点が持書類審査の信頼性を担保する方法論の共有がつ誤差の範囲がどこまで一般化されるものか

未だ大学入試研究業界でされていないのが現を指標化しようとして生まれたものである－81－

大学入試研究ジャーナル第20号（池田2007)。既に、一般化可能性理論は、に文部省によって導入が検討されたアドミッ

日本において、法科大学院統一適性試験（前ション・オフィスの研究機関としての本来の田2004)、医療系大学間共用試験のOSCE姿（木村2008)に近づいた。これまでもN大（宮本他2006)のような公的試験に留まらず、学ACでは、五分位図などでの大問分析を2大学における授業評価（豊田・中村2004)、

次科目（英数理及び総合問題）で行い、実施

学生同士の相互評価（熊澤2006)、日本語プを担ってきたAO1次の検討については幾つ

レースメントテスト（坂野2008)、企業の人かの報告が行われてきた（吉村2007．

事評価（鷲坂他2004)、中学校における観点

2008、吉村。南部2008)。規則改正後は、別評価（山森2003)などでも応用されてきた。

AO2次の分析も主任務の範鴫となったので、

また、一般化可能性理論には、分散分析の分析事例として紹介することを試みる。尚、手法を利用して、各要因の大きさ（分散成本研究で用いたデータは、A大学B学部C学分）を推定するGeneralizability Study(G研科のAO入試結果である。選抜方式は、1次究）と、G研究で得られた分散成分から各テで自己推薦書2様式と調査書成績が課され7

ストデザインの信頼性を評価するDecision

人で採点している。また、募集要項に記載しStudy (D研究）とがある（池田200 7)。分てある通り、2次では、「課題作文を課し、かりやすく言えば、前者については、面接評

面接（数学・物理。化学・英語に関する基礎

価や小論文採点において、いかなる誤差要因

学力及び課題作文の内容等について問う）をが大きく占めているのかが分かり、後者につ行う」［原文のママ］。そして、課題作文をいては、何人の採点者（面接官)で、いくつ13人で採点し、同一の8観点で別個の質問の観点で試験を行うと、テストとしての信頼項目で行う面接室を3カ所設けて面接官各4性が担保されるのかについての解を得られる。

人で、面接（本稿では、「面接1－3」と定

つまり、一般化可能性理論をAO入試のデー義し、そのいずれもに共通の「観点1－8」

タ分析に用いることで、冒頭にあげた、2つが存在する）を行い、更に､.面接官3人の面の問題、入学者選抜方法の多様化にI際しての接を4カ所で行う（本稿では、「面接4」と適正規模といった制度設計にまつわる問題と、

定義し、その観点を「観点1－4」とした）

AO入試や推薦入試における面接試験や小論など、実施要項で示された「選抜方法の多様

文試験、書類審査の信頼性評価の問題とを同化、評価尺度の多元化」の方針に基づいて、時に解決することが予想される。よって、一複雑な選抜方法が設計され、少数の定員枠の般化可能性理論の大学入学者選抜における適受験生に対して多数の教員の労苦を必要とす

用を提案することが本研究の目的である。

る、大がかりな検査態勢を構築している。

2.N大ACの規則改正と本研究データの概要

3．検査課題間及び評価観点間の相関と寄与

N大学アドミッションセンター（以後、一般化可能性理論による検討に入る前に、ACと略記）では、2008年度からセンター

検査課題及び検査項目の特徴を把握するため規則が変更となり、新たに業務として「一般に、課題（観点）間の相関係数を算出した。

選抜、特別選抜、AO入試等入学者選抜全般

但し、受験者数が少数であったので、外れ値の方法に関する情報提供、助言及び支援に関の影響を鑑みて、Spearmanの順位相関係数すること」という項目が追加された。それまで算出してある（表1)。ちなみに、各検査課

ではAO入試の実施機関としての性格が強か

題得点の標準偏差は、課題作文、面接1からったが、この規則改正により、能研テスト時

4まで、ぞれぞれ、2.83,1.73,1.29,1.84、－82－

AO入試における信頼性評価の研究

表1．

検査課題間の順位相関、及び、総得点における寄与－1次書類，小論文｜面接1

面震一面一一両γも

1

次

書

類

1.000

腺
面

題
接

作
1

文

e22O
.534

1.000
.499

面

接

2

.498

.423

.510

1.000

面
面
総

接
接
合

3
4
点

.492
、362
．gア7

.70ア
、715
1”1

、480
、604
、642

’506
、29學
‘3邸6

共

分

散 比

｜、097

．052

、032

1．029

｜〉

率

奉

｜毒

’

關鱸｜、

＊

－一 J 一

面

一

接

一
－
1.000

1.000
、397
、421

一一

一

一一

一

4

総
’

－
－
’

合

－

’

－

－

’

－

－

｜

－

1.ooo

l

一

点

-

__gZg_"

1.000

丘~”ぴ－－で~ ~im耐■■■I

|…

’
--

左下の数字:Spearmanの順位相関係数、

一

1

－－‘■

<:.100未満、<<:. 100以上. 300 未満 く＜く:､300以上

一

一 一1

☆:2段階選抜（但し、1次不合格なし）のため共分散比が存在しない。 太字；、400未満

表2．
一

総得点における評価観点の寄与

一

準偏差が20.40と2．83と大まく異なっマ
準偏差が20.40と2．83と大きく異なっている

－

1

次

題

作

文

価

観

書

類

1

害

類

2

‘191

浄

調

査

害

，434

室

－;訂5F~罫.~~可

点
の

割
比

ことから生じている。また、面接4の順位と合較

総合点の順位の相関が異常に高いことも、デ＜ータ数が少ないという側面は否めないが、面面接室１２３
面接室４

１－２－３’１’２－３－４－５ｌｌ６ｌ７ｌ８『１】２－３－－４

牒

分比

詳

共散

、

配
と

接1－3での得点差があまりない中で、面接4での得点差がほぼそのまま総合得点の順位を決定付け、散布図で確認してみてもほぼ一直線であり、順位の入れ替わりが殆ど生じなかった。

更に、1次書類と課題作文、面接4および総合点との相関が低いことが分かる（注:1次<:.05未満、＜<:､050以上．100未満 くくく:､100以上

得点は2次での合否に使用しない）。1次書類と総合点や面接4との相関が低いことは、

20.40であり、配点割合に大差がないにも関1次で測っているものが2次では異なるといわらず、採点の段階で、得点のばらつきに極う見解も成り立つかとは考えられるが、事前端に差があった検査課題とまったく差がつかに提出し、多くは高校教員の指導が入っていなかった検査課題があったことが分かる。

る1次書類と、受験生が大学の受験会場で直また、各検査課題／評価観点が総得点に与接その場で書く課題作文の評価の相関が低い

える寄与を確認するために共分散比を算出し、ことは、1次で選抜を行う場合には、あまり配点割合との比較を試みた（表1及び表2)。

好ましい状況とは言えないだろう。

表1を見ると、総合点の順位と相関が最も表2で、評価観点別の共分散比で細かく確高いのは、面接4の順位であり、．979と高い認してみると、1次で言えば、書類2が、課値を示し、共分散比も.790と高い。面接4は、

題作文で言えば、観点1が、面接1．2．3

他の検査課題の共分散比と配点割合と比べてでは観点2．3．4．5が配点割合と共分散

軒並み小さいのに対し、その差が.300以上と比の差が負に大きく、2次試験の総得点に対なっており、配点以上に寄与の割合が高かっする寄与が低い。逆に、面接4の観点1．

たことが見て取れる。検査課題ごとの比較で2．4では配点割合と共分散比の差がプラス

言えば、他に、小論文も総得点との間に.791に大きく、2次試験の総得点に対する寄与がという高い相関を示しているが、共分散比

高く、ほぼ面接4での結果が大きく合否に効が.097と低い。この両者の差異は、両者の標

いていることが分かる。

このように、一般化可能性理論を用いる以－83－

大学入試研究ジャーナル第20号

前にも、こうした鮪便な方法を用いることでり除外して順にα係数を再計算してみても、も、各大学各学部のAO入試（或いは、推薦

観点5の面接3を除いては、α係数の平均

入試）において、どういった選抜資料が、或値・中央値に比して最大値がさほど向上しな

いは、どういった観点が、選抜に大きく寄与いことから、特定の人物の評定値が原因で順したのかという、大まかな状況把握が可能で

位相関を下げている訳ではなく、評価観点とある。

それに基づいて各面接で行われている具体的

本稿の文脈で言うと、以上の結果も踏まえな質問項目に問題がある可能性がある。そこ

れば、相関や寄与の低いにも関わらず、多くで、面接1－3の評価観点の信頼性の確認、の大学教員が採点や面接に参加している1次

特に、観点2、観点3、観点5、観点6の信や課題作文の検査方法の在り方を見直したり、頼性を確認してみる必要がでてくる。

同じく相関や寄与の低い、2次の面接1－3のあり方、特に、評価観点が8個もあること

5．一般化可能性理論による検討【1】に問題がないのかを改めて吟味したりする必

そこで、まず、一般化可能性理論による信頼性の検討を、1次書類（採点者7人、評要があろう。

価観点数3)、課題作文（採点者13人、評価4．面接官同士の評定一致度

観点数3)、面接1－3(面接官各4人、評価観

次に、面接官の間での評定の一致度を枚討

点数8)に対して行った。本研究における実験

した（表3)。まず、面接1－3ごとにペアを計画の概念図は、(p×ん×jデザイン）であ作り、観点ごとに面接官のペア同士の順位相る（図1)。図2がG研究の結果であり、xiilll

関を算出した。観点2の面接1及び2，観点の左から、受験生、採点者（面接官）、評価3の面接1，観点5の面接2及び3，観点6

観点、受験生×採点者（面接官）の交互作用、の面接2及び3，観点8の面接1の順位相関

受験生×評価観点の交互作用、採点者（面接が低く、全体のα係数も低い。面接官をひと官）×評価観点の交互作用のそれぞれの分散表3．面接官同士の評定一致度と測定の安定性
一

ペ

の

画

相

閣

僚

数

l

.744

1

.534

1

外

し

た

咽

I

中

央

値

｜

丑

大

臣

.664
.691

1

.647
.699

1
1

.809
.786

.497

1

.424

1

.810

均

1

5346

合

、467

.687

1 . .538

1

.495

1

.813

.577

1．549

1．490

1

．812

．．200‐

、342

.717
1
．760
1
．787
1．602

一

、451

1．573
1．676
1．585
1．386

1

1

■語同

1．450
1．459

1．470
1
.524
1

､184

－幾0脚目

1
‘:ゞ狸甑一』．3”

f、060“・・50綿

、622

1．695
1
.410

1．718
1
.412

、784
.533

､684

.747
.700
.535
.502
４

狐一印
ー'

媚

三025
-

.765
町

,516

.620
1．664
1．544
1．428

＝

1．606
.624

■よけ■１日■■■Ｐ日■+~.､155

．‘176

・663

1．548

1．547

．746

.659

1

1

.590

.702

.400

1．361

1．355

、481

．＝､258←_.{_ -h, 257

、278

ロⅡ

輌

ロⅡ
０８■８１９■■■■■■■■－，170.198.567■ⅡⅡ■Ⅱ■０
１１ⅡⅡ■９１■ⅡⅡⅡ

.654

1

j581

1

.583

.649

.489

1

.436

1．420

．636

.752
.794

1．“7
1．736

1．624
1．726

．821
．831

.557

1．531

1

一－

－84－

散

餘

-

､340

一

係

人

. 145 ~_

.346

－

α

I

｜平

.750

一

恥一恥一郷一郷一祁一郷一価一錨一噸一岬一蝿一吋｜罪一岬一劉一郡一恥一郷一皿一緬一鍛一翻一祁一恥一鋤一郎一“｜郷体■■■■■■■■■Ⅱ■日日巳Ⅱ日ロⅡｐＵ０

二

全■■■■ｍＰＬ■●■７１４■■■再Ｉご■■出口

軸一班一皿一恥一姻一鍛一皿一怒一伽一郷一価一皿一”｜岬一拙一秘一呵一”｜州一却一蝿一皿一秘一岬一挫一”｜”｜岬

5

1

位

》｜卿一秘一“｜皿一恥一恋一皿一和一伽一獅一鯉一吋一畔一郷一”｜皿一皿一“｜繩一恥一池一皿一“｜咽一恥一伽一雨

６日■■■■■ⅡＴⅡⅡⅡⅡ１１１■且蘆士

何一岬一岬→器謡皿一一理榧壷柵一冊稲冊昭一

I

圭

同

》一“｜姉一”l

蝿一一州一伽一拠一岬椛一心癖一岬亙姉一岬亙錘一血掴一唖”抑一伽一抑一恥麺一郷一哩一抑Ｉ』２．３－１．２．３’’１’’２．３－１－７．３｜｜ＩＰ２卓３．１【２－３’’１’’２．３’’１．２．３面１．２．３

旧一限一個一旧一順一隈一掴一一帳一旧一膿一幅一帳一一帳一阻一順一柵一帳一梱『鵬一披一擴一一個一棚一椴一披一接一椎

画一面一面一画一面一面一面一面一画一函一面一団一面一面一繭一面一面一面一菌一面一蘭一面一関一蘭一画一面一面眼息１一眼嵐２一睡点３－観凰４－観点５－観劇０－観点７－観創‐｜鍵合点

l

ア

,498

、779
－

■ 一 閏

二

一．

一

一.■■

AO入試における信頼性評価の研究

合一一 画ーー一一 一 一＝1

可

“70｡鰯
麗
I

〃

曹”鰐

（面接官）

竺5q砿
壮

廻

2 40oM
坦

侭30.畷
健

員20鰯
余

0.鰯 セーロ

癖蝉"鯛…，懲震‘謝鱈雛:舞謬鱗…露≦。

I

〃

（受験生）

(評耐観/I点 ）I－1次一轟一課題作文一▲‐面接1－※一面接2－浄面接3
＝

図2．

一

一

■ 戸I.■

”

日中と

弓

一・症

一

■

一

一

甲

司

守‘

雨 示 一'b

－

勺＝

亨

b

守

一

〆~

ず

…

各要因の総得点に対する比率

図1．1次・課題作文・2次面接における実験計画の概念図

また、図3がD研究の結果であり、課題作
文での現行の評価観点数3に固定し、7以上の信頼性係数(=一般化可能性係数）で安定し成分、及び、残差である。

また､ Y軸の数値が分散成分の和に占めるた評定結果を得ると考えて、採点者4人で十当該分散成分の割合である。その割合は、そ分であり、例え.8以上としても採点者7人でれぞれ、全体に占める、受験生の能力の散ら十分となる。元の13人の半分or l/3以下のばりの影響（受験生の主効果）、採点者（面

採点者数で評定しても問題ないことが分かる。

接官）の甘さ／辛さの差の影響（採点者［面

●

一画

，

,‐弔

三

hF

可

h4F

●毎 毎

国

~

【

接官］の主効果）、評価観点の易しさ／難しの採点者（面接官）との相性の影響（受験生
点への得手・不得手の影響（受験生×評価観

ト

ビ

ド

ド

I

ド

0.800

銀躍起盤随筆墨Ｉ

ド

ド
§

隠
し

Q750

卜

1

←

脚

Ff

k，

0,700

師らｐ３Ｇ．鄙心句向晶読

0.650

0.600

ｰ

0.550

報提供・作成支援を行い、その影響が減じた－+一採点者散7名

÷採蝋窃歎9名

÷採点宿散11名．

÷採点名敏13名

令今岡や“亜望③心胴ｒ予異二Ｆの採点にあたりルーブリック作成に関する情日勺■１Ｊ■■■■■■■■■■■４１０１‐Ｉ‐■■■■ＵＢｄｑ■■■■■■■Ｐ

3)ものの、その後、2次の課題作文・面接でザ
吟『交互作用）、及び、残差（誤差十全ての要因

性のなさの影響が最も割合が高くなっている

！

0.850

の差の影響（採点者［面接官1×評価観点の図2では、1次の採点者の評価基準が一貫

fl点の交互作用）、面接官の評価観点の重視度の交互作用）を表している。

M

0"900

■△向日■■■Ｆ

×採点者の交互作用）、受験生ごとの評価観

ドド

４４Ｎｂ■巳■Ｉｑｇ函．４さの影響（評価観点の主効果）、受験生ごと

ビ

0.950

0.500

1

ことが見て取れる。だだ、課題作文において、

2

3

4

5

6

7

8

；

観点数

採点者の甘さ／辛さの影響（採点者の主効

一果）よりも、受験生ごとの採点者との相性の

一

－企ﾛ‐

空

T匿

一

P辛

… 趣

一 一

一

一

T2,

坐

＝

延

一,

=1 隼 , … ご◆株●J些圭

‐

■

垂

図3．課題作文の信頼性

影響（受験生×採点者の交互作用）が強く見られた。受験生の評価を巡り、評価が採点者

6．一般化可能性理論による検討【2】の中でまつぷたつに分かれたために引き起こ

前節では、面接1－3を個別の面接としてされた結果である｡

扱ったが、一般化可能性理論を用いれば、複数の観点を同時に扱って分散・共分散成分の

－85－

ー

１１

甚
謹10.鰐

大学入試研究ジャーナル第20号

推定を行うことも可能である。また、一般化

点別評価の質問項目であり、高校生にとって可能性理論を用いることの利点1つとして、答えづらい質問でもあった。先の図5で観点評価観点別に一般化可能性係数が算出でき、2を見ると、受験生と質問項目の相性（受験

どの評価観点（及び、それに応じた質問項

生×質問項目の交互作用）の影響がもっとも目）の適不適を吟味できる。そこで、一般化高く、実際に面接の場面でも上手く答えられ可能性理論を用いて、面接1－3(評価観点数

た受験生とあまり上手に答えられなかった受8，質問項目数［面接1－3ごとに異なるた験生がいた印象がある。その反応から、表3

め面接室数と一致]3，面接官4人inl面接で見たように、質問内容の|暖昧さから面接官室）の信頼性評価を行った。本研究におけるの評価が一貫しなかったと考えられ、次年度

実験計画の概念図は、p･×(/z｡ :i｡）デザイ

以降改訂が検討されるべき質問項目となった。

ン）である（図4)。

また、一般化可能性係数の値が高かった質問項目を確認すると、当該学部学科の専門的
／

〆〆

一一

一一ー■■■一一

沙へ、事項を問うたものが多く、やはり専門分野に、、関連するものであれば、採点者［面接官］同§,／（評価観点）、、

１１

〃

ノ

士の受験生に対する評価も一致し、かつ、受｜j験生の善し悪しをよくよく識別するため、次

ノ

(鮭富）

ノ
ノ
ノ

年度以降の有力な質問項目候補として蓄積／

／
〆
〆

一

－

〆

一 一
，－ －
－

検討されることとなった。

f

瓜

”

砿

図4．

面接1－3の実験計画の概念図

砿(p9×(ん｡:i･）

デザイン）

“

ﾄ

ＤｐＩ
ｌＩｌ
■■け茜
ｒＥＩ
ｌＨＦ‘■けＬＬＩｌ

､＋9

１０ｋ

“

r■0■‐5－ 可

一一

一○■■一

一
Ⅱトー

験生の能力の散らばり具合が効いており、受鰔の割合をみていくと、観点1．4．6は、受

l

ｂ

酩

図5で、評価観点ごとに分散。共分散成分

巳Ｂ８ｌＩｈⅡ０１ｌｂ■■Ｐ』■■■■ｌｂ■ＤＤＦ■Ｉ■ｈＬＩ■ｂら．Ｐ■ｌＰＩＩ■ＩⅡ１１，－■■ⅡＩＰＩⅡｆＩｆｆｌＩＢ■Ｌ・日Ｐｂ■Ⅱ０１０１Ⅱ７１１日■■！ＩⅡｌＩｌＩＩＩ■

釦
⑩
釦
加
扣
０
“匡岬念咽ｕ壮剥塙鼻ｅ■慨垂Ｇ余避鍵索猟・授奄

目 室

(蜜餐

）

鋲巽

が鰍｡

鋤，融懇"・錘鎮憲悪銀n鳳鼠'ず｡ゞ

受験生と質問項目（面接1－3ごとに異な

一 観貞1－■一睡2 -←娘点．÷ 観点4一 睡点5－－睡点5．.十・観血7－－‐胆怠8る）の相性による影響が大きく、観点3は、図5．各要因の総得点に対する比率

ー ー

同じ観点で問いながら、面接1－3ごとでの

幸

再

P

~ ｰ 一

ー

ー 壷 ” 』

一

F

P

.

一 一

､-9m

質問項目の問い方の違いによって、受験生の

ト

1

0.0“
1

印象がまったく異なった質問項目であったこ

u7m

Iとがわかる。観点4と7は、面接1－3内部

魁0.6”の面接官ごとの相性による影響が大きく、面E q4"

接室内部での面接官の評価に差が見られた例

嘩

坦q5“
埋
望

でもあった。

l u3m
Q2的

また、図6で観点2と観点5を見てみると、

ql“
u皿

一般化可能性係数の値が極端に低いことが分かる。質問項目を確認すると、問題解決能力
や意欲・努力・関心といった新学力観的な観

－86－

観点1

観踊2

観蝿

似点4

組点5

観点6

観点フ

岬侭観点

一一面接官1人一驚一面被官2人 一 面接官4人

図6.評価観点別の一般化可能性係数

観嵐8

ＩＪＵ１トリ験生の能力をよく識別している。観点3は、

AO入試における信頼性評価の研究

更に、図示はしていないが、多変量一般化

た上での所感を述べてみたい。冒頭で述べた可能性係数が現行の面接室1部屋あたり4人

通り、一般化可能性理論は、米国発のテストの場合、つまり、4人×3部屋12人で.753

理論の文脈で開発されてきた。つまり、「米であるが、面接室1部屋あたり半分の2人に国発のテスト理論的な捉え方」からみれば、

しても、つまり、2人×3部屋6人でも、多採点者（面接官）間の評価の一致度が高いほ変量一般化可能性係数が.711となり、十分など、つまり、採点者（面接官）において受験

信頼性が担保されることがわかる。

生の優劣が揃うほど、誤差が小さくなる、ということで信頼性が高まる仕組みになってい7．結語一一AO入試の品質確保に向けてる。

そもそも、木村(2009)で指摘してきたよう

この考え方を踏襲すれば、例えば、図2でに、AO入試は、選抜資料が複数であればあみたように、仮に、課題作文の評価で採点者るほど、評価尺度が多元的であればあるほど、の受験生に対する選り好みが出たとなれば、入学後の成績との相関が高いといった入学者

その評価は「採点者（面接官）の受験生に対選抜研究における重相関係数の誤用や選抜効する選り好み」という誤差が大きいという理果の誤読といった統計的な非常識と、じっく

由で「失敗」と結論づけられる。勿論、しっり手間暇かけた選抜の方がよりよい選抜だとかりと採点基準（ルーブリック）を定めてあいう世間の常識が不幸な婚姻関係を結んだこることが前提として担保されていたとしても、とによって開始され、今日まで爆発的に拡大

今回の結果のように、大学入試の現場では、してきた。だが、全国的に蔓延した制度とな

受験生が書いた内容についての採点者（面接り、学力を担保しない選抜方法という世間的官）の理解の度合いや評価がまったく異なり、な評価を得てしまった今の今になってさえ、評価がまつぷたつに割れることも往々にしてその､｢適正規模」を考慮すべきと言った瓶域起こりうる。そこに例えばアドミッションセの論理を持ち得ていないのがAO入試を巡る

ンターの教員が入試現場で介入するのは時間現況であろう。その論理を手にするためには、的にも労力的にも（勿論、人間関係的にも）理念や概念の拡張では為し得ず、本研究で示至難の技と言わざるを得ない。今回の場合でしてきたようにデータによる議論あってこそあれば、図2を見ても、採点者（面接官）や成り立つ。そもそも、学力を担保しないだけ

評価観点の主効果はともに低く、採点者（面に留まらず、テストとしての信頼性を担保す

接官）の採点のバラツキや評価観点のバラツる方向にも全くことが進んでいない。一般入

キがないことが見て取れるので、純粋に「解試の2次科目の項目分析と同様に、どういっ釈」の質とそれに対する「評価」の違いが反た評価観点及びそれから導き出される質問項映されたと考えられる。

目が、受験生の能力をよく識別し、採点者

この誤差の「価値付け」というところまで（面接官）や質問項目に内在する、或いは、

考えると、一般化可能性理論を大学入試の現採点者（面接官）と受験性の相性などに内在場に適用することが、十把ひとからげで、そする誤差を多く含むのかといった研究仁経のまま受け入れ、大学入試の現場からあらゆ験）を蓄積する方向性も現行の入試制度を継る誤差をなくす方向に進むことが必ずしも現続するのであれば真剣に議論されるべきこと

実的・建設的であると思えない側面もある。

であろう。

もっと言えば、一般化可能性理論では、純粋最後に、一般化可能性理論を、AO入試をに要因ごとに統制した際の得点データのバラ

はじめとした面接評価や小論文採点に適用しツキから読み取れる誤差を評価しているに過－87－大学入試研究ジャーナル第20号

ぎず、採点者（面接官）の解釈から点数化すは機能するであろう。

る過程、つまり、各採点者（面接官）の「解一般化可能性理論による結論が、絶対的で釈の質」には踏み込んだものでは必ずしもなはないまでも、大学入試改善の新たな方法論

いことには、十分に注意を払わなければならの一つとして、教育制度論的な考察や追跡調ない。

査等の結果も踏まえ、包括的に大学入試制

極端な例で言えば、一般化可能性理論を突度・方法を考える一助と して活用される方向

き詰め、信頼性を高めようとすれば、そうい性が、現実的かつ建設的であると考えている。

った「解釈の質」を問わない項目、例えば、「面接の最初に挨拶はできているか」とか「文法ミスはないか」とか「誤字脱字はないか」など、ものごとの有る／無しが比較的はっきりした、誰もが評価のぶれない、非常に【謝辞】本稿の完成にいたるまでには、査読者の先生がたに、数多くの貴重なアドバイスを賜りました。ここに感謝の意を表します。

りやすいという側面がある。こういった構造【付記】本研究は、長崎大学における大学高度化推進経費「新任教員の教育研究推進支援
経費」の研究成果の一部である。

的な視点から見たとき、一般化可能性理論で

注

簡単な質問項目で揃えた方が、信頼性が高まの結論ありきで、面接評価や小論文採点を演
縄的に機能させてしまうと、中身のある良い
採点表ができず、それに応じて、聞きたい／

1）五分位図とは、受験生全体を上から20％ずつの5つのグループに分け、それぞれのグループにおける得点率をグラフ化したものである。簡便な方法ではあるが、聞くべき質問ができず、という場面に必ず陥こうした手法を用い、グラフの傾きを見ることで、各設問ごとの大まかな識別力を検討することが可能となる。

ってしまう。このことは、一般化可能性理論

を、AO入試をはじめとした面接評価や小論
文採点に適用する際には、勘案しなければな
らない事柄となる。

2）（多変量）一般化可能性理論は、
Brennan (1996, 2001a)、Feldt &Brennan(1989)、Shaverson & Webb

勿論、高校側から首を傾げる合否結果を出さないためにも、大学教員である採点者（面（1991)、平井(2007)、池田(1994)、池田（2007)、角幸(2006)、中村(2003)、対馬（2007)、豊田(1994)などで紹介されている。一般化可能性理論における分散成分の推定にはSPSS 15.0 Advanced、多変量一般化可能性理論における分散・共分接官）が満場で一致して良い生徒だと思う受験生から合格させるという側面から見れば、「採点者（面接官）間の評価の一致度が高いほど、つまり、採点者（面接官）において受散成分の推定にはmGenova (Brenngn

験生の優劣が揃うほど、誤差が小さくなる、ということで信頼性が高まる仕組み」の「テ3)

スト理論的捉え方」はとても有効なツールとなることは間違いない。本稿で扱ったように、適正規模を保った上で、質問項目の善し悪しを判別するツールとして、一般化可能性理論

から得られた蓄積一例えば、今回のように、信頼性を担保した上で、採点者の人数を定め、専門家が専門的事項を見分ける識別眼的質問
項目のリストアップやノウハウの蓄積を行う
こと－は、十分に大学入試の改善のために－88－

200 1b)をそれぞれ利用した。
Brennanは、先行研究をレビューして、評定者の評価の一貫性のなさの影響が小さく、人（本研究の文脈でいうなら、受験生）と課題の交互作用の影響が大きいことを報告している(Brennanl996: 26)。
だが、そもそもBrennanの報告では、
用意周到に訓練された評定者が前提となっており、本研究で見てきたように、面接や作文評価においてそもそも訓練された評価者を前提とすることが難しい大学

入学者選抜の文脈では当てはまり難い。
この点は、平井(2007)にも指摘がある。

AO入試における信頼性評価の研究

引用文献

坂野永理（2008)．「一般化可能性理論による
日本語口頭プレースメントテストの検討」『日本テスト学会誌』4(1)、23-32．

Brennan, R. L. (1 9 96) . "Generalizability of
Perfbrmance Assessment", G. W
Phillips ed. ZbchnicaI ISsues in Lazge-

化可能性理論を用いた客観的臨床能力試
験における評価の信頼性の検討」『大阪医科大学雑誌』65(3)、196雲201．

中村健太郎（2003)．「一般化可能性理論」「多変量一般化可能性理論」『共分散構造分析［技術編]－構造方程式モデリング』71-89．
Shaverson, R. J. and Webb, N､M (1991).
Gen eralizab迩なZZeozy; A primez;
Newbury Park: Sage Publications.
対馬栄輝（2007)．「検者間・検者内信頼性係

S℃ale Perfbrmance Assessment,
NCES96-802, 19-58.

Brennan, R. L. (2001a). GeneraliZabili"
IZIh eoZ:y; New Ybrk: Springer.

Brennan, R. L. (2001b). Manualibr
m.Genov宣姥rsion 2・Z., Iowa Tbsting
Programs Occasional Papers No.50, 1-

数」『SPSSで学ぶ医療系データ解析』、
東京図書、195-214．

豊田秀樹（1994)．『違いを見抜く統計学一
実験計画と分散分析入門』講談社ブルー83．

Feldt, L.S. and R. L. Brennan (1989).
" Reliabilityj'' Robert L Linn (ed)バックス．

EducafionaI MeasIzreme" Third
Edition, American Council on

Education, (池田央監訳(1992).「第3章 信頼性」ロバート･L・リン編『教育測定学第3版 上巻』147-209.）
平井洋子（2007)．「主観的評定における評定
基準、評定者数、課題数の効果について－一般化可能性理論による定量的研究」『人文学報』380,25-64．
池田央（1994)． ｢一般化可能性理論」『現代
テスト理論』朝倉書店、28-50．
池田央(2007)．「一般化可能性理論」『統計データ科学事典』朝倉書店、638-9．
角幸康太郎（2006)．「一般化可能性理論一
採用面接の信頼制度を測る」『購買心理を読み解く統計学』東京図書、215-222．
木村拓也（2008)．「アドミッションセンターの系譜学－何故、そしてどのような入試研究が求められたのか」『日本テスト学会第6回大会発表抄録集』、88-91．
木村拓也(2009)．『大学入学者選抜における測定評価技術の不在と誤謬』東北大学大学院教育学研究科論文博士学位請求論文
熊澤孝昭（2006)．「一般化可能性理論を用いた相互評価における学生評定者の信頼性の検討」『立教ランゲージセンター紀要』15，55－64．
前田忠彦（2004)．「法科大学院統一適性試験における『表現力を試す問題』の採点と分析」『法科大学院統一適性試験テクニ‘ カルレポート2004』商事法務、100‐

豊田秀樹。中村健太郎(2004）「大学における授業評価の信頼性一一般化可能性モデ
ルと構造方程式モデリングによる4相データの解析」『心理学研究』75(2)、109－117．

山森光陽（2003)．「中学校英語科の観点別学
習状況の評価における関心・意欲・態度の評価の検討」『教育心理学研究』51，，

195－204．

吉村宰(2007)．「長崎大学AO入試における書類選考データの分析」『大学入試研究
ジャーナル』17，39－42．
吉村宰(2008). ｢ AO入試選考書類のテキス
トマイニング」『平成20年度全国大学入学者選抜研究連絡協議会大会（第3回）研究発表予稿集』（取扱注意）、
169－172．

吉村宰・南部広孝(2008). ｢ AO入試による入学者の入学後成績と選抜方法一選抜
方法改善の観点から」『大学入試研究ジ
ャーナル』18,187-192．
鷲坂由紀子・入江崇介・内藤淳．二村英幸（2004)．「昇格選考における論文評定の分析一多変量一般化可能性理論を用いた信頼性の検討」『経営行動科学会年次
大会発表論文集」7，33－39．

117．

宮本学・出口寛文・北浦泰他（2006)．「一般－89－