CATにおける項目選択ルールの履歴
荘島宏二郎, 橋本貴充，大津起夫，石塚智一（大学入試センター）

本研究では，コンピュータ適応型テスト( CAT)において，項目反応理論(IRT)に基づく3つの項目選択ルールの項目選択履歴についてシミュレーション研究を行った．3つの方法は，ベイジアンアプローチ，多段階a層別化法，重み付き情報量最大化法であった．項目提示回数が20前後では，重み付き情報量最大化法がもっとも潜在特性の測定精度と効率が良かった．

1．

導入と(2)項目実施プロセス(item adm皿i stration

近年，コンピュータを用いたテストが普及

proce ss)である．基本的に両プロセスのそれしつつあり, computer baSed testing (CBT)

ぞれで検閲を満たした項目が次に被験者に提と言われ注目されている. CBTをめぐる国内示されるべき項目として採用される．

や米国の事情は,池田(2003),池田･林(2004)，廣瀬（20002004）などに詳しい．

まず，（1）の項目選択プロセスでは,被験者の回答パタンから最適な項目を項目バンクCBTの1つのカテゴリとして，コンピューから選抜するプロセスである．つまり，被験タ適応型テスト(computer adaptive testing,者志向のプロセスである．本研究の興味の対

CAT ; van der Linden & Glas, 2002; Wainer,象であるので，後ほど詳細な説明を行う．

2000）がある. CBTといった場合には，単次に，（2）の項目実施プロセスであるが，にコンピュータを用いたテストという意味が

このプロセスは項目バンク志向である．とい強いが,CATといった場合には，被験者個々

うのは，項目選択プロセスでは，ある基準に人によって実施されるテストが異なる．CAT

したがって被験者に最適な項目を選択するのでは，被験者個々人によって仕立て着のようで，その基準のもとで選択されやすい項目とにテストが異なるという意味でTailored選択されにくい項目がでてくる. すると，選rlb stingとも言われる（村木・萩原, 2002) .

択されやすい一部の項目の項目内容が被験者

我が国におけるCATの開発としては，永岡・に広く知られてしまう危険性がある(Mills &植野（1992)，菊地(2003a 2003b)などがStOking, 1996) .これは項目内容のセキュリある．

ティ問題と密接にかかわる．また，一部の項被験者個々人によって実施されるテストが目が選択される率が高いと項目バンクにある異なるというのは，被験者によって提示され膨大な項目を十分に生かせないという問題点る項目群が異なるということである．被験者が発生する．したがって，項目実施プロセスそれぞれに能力が異なるので，それぞれの能では，仮に項目選択プロセスにおいて検閲を力に見合った項目を提示する仕組みを提供す満たした項目であっても露出率( exposureるのがCATである．

rate )が高い項目に検閲をかけて露出率の低一般にCATにおいて，回答パタンの履歴かい項目とのバランスをとる. Sympson &ら次に提示されるべき項目が被験者の前に表Hetter (1985)では，選択されやすい項目は示されるまでに，2 つのプロセスを経る実施されにくくなるように，最終的な露出率(Sympson & Hetter, 1985) .それらは, (1)をコントロールしている．

項目選択プロセス(item selection process)

本研究の関心は，（1）の項目選択プロセス－157－大学入試研究ジャーナル第16号

における項目選択ルールについてである．まである．

た，項目反応理論(item response theory,さて, IRTに基づく項目選択ルールをざっIRT)の枠組みの中での項目選択ルールに限とレビューすると，4つの方法が利用できる定する．ところで, IRTに基づく項目選択ルと思われる．それらはールは，さまざまに提案されておりvan der(a)最大情報量アプローチ( maximum

Linden & Glas (2002)が参考になるが，いったいユーザはどのルールを採用したらよい

infbrmaiion approach)(b)ベイジアン・アプローチ( Bayesianのかが明らかでない．項目提示終了後の各ルapproach ; Owen, 1975)

ールの特徴に関する記述は'van der Linden(c)多段階 a 層別化法

( multistage（1998）やChang & Ying (1999)でも見らa･stratified method ; Chang & Ying

れるが,履歴に関する特徴が分かっていない．

l999）(d)最大期待事後重み付き情報量法
2．

(目的

本研究は，項目選択ルールのシミュレーシ

posterior1998）である．

より,CATの実務家に判断材料となる資料を供することである

expectedweighted infbrmation; van der Linden,

ョン研究を通じて，特に項目提示の履歴に焦点化してシミュレーション研究を行うことにmaximum

これらのうちまず(a)の最大情報量アブ‘

本節では，議論に必要なローチは，被験者の回答の履歴から，各回で準備として，関連するIRTの理論的なガイダ

被験者の能力値0の最尤推定値を推定し，そンスと項目選択ルールに関する先行研究につの能力値に対して最大の情報量をもつ項目をいてレビューを行う．

次の項目として選択するというものである．

IRTでは，潜在特性が8である受験者が，IRTにおける情報量とは,8のレベルごと項目反応が2値（正答／誤答）の項目ノ（=,，に項目の推定精度を定量的に評価できるもの2,…,〃）に対する確率的な反応を冴とした
とき，当該項目に正答（冴＝'）する確率をであり，通常のFisher情報量である．すなわ

P'･(Uj =118)=B(8)ち，8の最尤推定量の標準誤差の2乗の逆数と同じである．いま，テストにn個の項目が(1)あるとき，情報量はのように何らかの6の関数として表現する．

これを項目反応関数(item response fimction,IRF)という．IRFは》一般的にロジステイ

I(9) = =1,(8)WW/=1 = =j=】弓"j(8) (3)ック分布関数を用いたで表現される（例えば,(') = " ,+exp{-,7.i(l－cら(8)＝cj＋1＋exp{－17αj(8－6j)}(2)がよく用いられ，3パラメタ．ロジスティッ

Hambleton &Swaminathan, 1985 ;池田, 1994)．なお，"(6)を項目情報量, J(6)をテスト情報鑓という．

ク( 3PL)モデルという．ここでa/は傾き母

次に,' (b)のベイジアン・アプローチは，項目が提示された各回での8の事後分布を利数,〃は位置母数,9は下方漸近母数である．

用する．いま,t回目の項目提示が終了した

上の式において,Ciを考えないとき,2パラ時点での潜在特性値etの事後分布を9 (8t)とすると, g(6t)はメタ．ロジステイック(2PL)モデルといわれ，我が国では最も頻繁に用いられるモデル－158－

CATにおける項目選択ルールの履歴

g(4)= I纈職騨卿‘

進むにつれて傾き母数の大きい項目を提示す（4）

1999，村木・萩原2002）は，まさにこの点で求めることができるここで, pz(6t)は8tを乗り越えるために提案された．まず，傾きの事前分布,Rはs回目に提示された項目の母数aの大きさによって項目バンクを数段階IRFである．また, 9s=1－良である．さらに層別化する．その上でPSDが小さくなるに，usはs回目に提示された項目に対する反につれて，したがって，項目提示が進行する応である．

につれて，より高次のステージから次の項目るのが良いとされる．

(c)の多段階a層別化法( Chang & Yin9,そして，t回目における事後分布から事後を選抜する仕組みである．なお，村木・萩原

期待値(expected a posteriori, EAP)と事後（2002）では，各ステージから項目を選抜す標準偏差( po sterior standar d deviation,る際には, EAPとPSDが(7)式を満たすよPSD )を利用する．それらはそれぞれ，うに選抜している．よって,村木･萩原(2002）

PSDr=EE"I =Iag(4)"(5)

ｲI (a -E〃｝)2 9(4 )",(6)では，ベイジアン・アプローチも選択プロセスのうちに含まれている．

最後に, (d)の最大期待事後重み付き情報量法（以下，頭文字をとってMEPⅧ法と略記である．(4)，(5)，（6）式の積分計算は，ガする）である. MEPWI法は，情報量とg(6ウス・エルミート求積点，等間隔の求積点，，との重み付き和である，以下の式

あるいはモンテカルロ法などで十分な数値近II'; ､1j(a)g(a)"似を行うことができる．ベイジアン・アプローチは上記のEAPとPSDを用いてIE〃I-6j l< 05×RSD!

(8)を未提示の項目全てに対して評価し，その中で(8)式が最大であるような項目ノを次に提(7)示される項目とする．これは，オ回の項目提を満たす項目群からランダムに次に提示すべ示の履歴を経た後の暫定的な事後分布g(8 "き項目として選抜する．つまり，暫定的な能に対して，情報量が最も大きい項目を選択し力値に近い位置母数をもつ項目が選ばれる．

ようという意図である．

その際, PSDの大きさがに考慮されている．
しかしながら，この方法は,(a)の方法と似この方法は，事後分布の期待値と同じくらいの位置母数を持つ項目が選択されやすく，た結果が得られることが知られている

また，事後分布の標準偏差が小さくなるほど(Chang & Yin9, 1999) .

（項目提示の回数が増えるほど),傾き母数が(a)と(b)の方法は，項目提示の初期の大きい項目が選択されやすい．

ころから，傾き母数の大きい項目が提示される可能性がある．しかしながら, PSDが大き3．数値実験

い段階，つまり，項目提示の初期から，傾き3．1．

手続き母数の高い（情報量の大きい）項目を提示し3方法の項目選択履歴に関するシミュレーても効率の良い測定ができない(Chang &ションを行った．3つの方法は，第2節で紹Yin9, 1996) .測定における誤差分散が大きく介した(b) (c) (d)とした. (a)の最大情報量アプなるからである．したがって，項目提示の初ローチは，ベイジアン・アプロ.－チと似た結期には傾き母数の小さい項目を，項目提示が果を返す(Chang & Yin9, 1999)ために数値- 159-

大学入試研究ジャーナル第16号

実験から割愛した、また，全般的に村木・萩3原（2002）の手続きを参考とした．

2．

数値実験結果以下から示す結果は，項目バンクにどのよ

項目反応モデルは2PLモデルとし,項目バうな性質の項目がどれだけ貯蓄されているかンクの項目数は3000とした．項目母数の発による

生はaはその自然対数を平均0，分散0．3の想的な項目バンクに依存する結果である．た正規分布JV(0, 0 3)から発生させ,bはⅣ(0, 2)

だし，3方法の結果を比較する上ではよく傾から発生させ，仮想的な項目バンクを作成し向が表れていると思われる．

た．

したがって，あくまでも作成した仮

まず，項目提示の履歴が進むにつれて，ど次に，8を』V(0, 1)から発生させ，発生させのような傾き母数の値が選択されていったのた8を（2）式に代入させた値と，一方でラかについて図1に示す．図は，1000回の繰りンダムに[0,1]の一様分布から発生させた値返しの平均である．と比較して大きければ項目反応を1，そうで2.5なければ0とした．
2.0

数が0．0の項目とした．

0.5

一一MEPM法

基準を満たした時点で，項目提示を終了するという方法がよく用いられる．しかし，受験

上記の手続きを1000人分繰り返した．

､

0．0

ﾔ1ﾛ

10Q

6DQﾛD

11Oﾛﾛﾛロﾛ

16I

10、

210

1

＄

00O

ITd26

項目提示回数者によって提示項目数が異なるのは不公平感につながるという指摘がある（村木・萩原2002)．よって，ここでも項目数が30に達したところで項目提示を終了することにした．

０

最後に，項目提示終了ルールであるが，通常は, PSDないしテスト情報量がある一定の５熱酎抽堅

また，最初に提示される項目は，3つの方法においていずれも傾き母数が0 5，位置母4

図1

傾き母数の平均値の履歴

図1より，ベイジアン・アプローチは，履歴を通じて傾き母数の平均値は一定であった．

なお，多段階a層別化法に関して)a≦0.8

それは，ベイジアン･アプローチが（7）式さである項目をステージ1, 0.8<a≦1.3であえ満たせば，傾き母数についてはランダムにる項目をステージ2, 1.3<aである項目をス選択されるからである.多段階a層別化法は，履歴が進むにつれて高位のステージから項目が選択されていることが伺える．平均的にはテージ3とした．その結果，ステージ1の項目数は678，ステージ2は1765,ステージ3は557となった．また, PSDが1.0を下回った時点でステージ2の項目から選択されるように移行し，さらにPSDが0.5を下回った時点で#ステージ3に移行するようにした.なお，該当するステージにおいて候補となる項目がないときには，（7）式を満たす項目からステ6～7回目の項目提示からステージ2に移行し，11～13回目でステージ3に移行した．さらに, MEPⅧ法は，履歴の最初の方は，傾きが小さい項目がよく選択され，履歴が進むにつれ傾きが大きい項目が選択されていったージに関係なくランダムに選抜した．また，様子が伺える．ただし，13回目でピークが見られる．これは，重み付き情報量を最大にすPSDの計算にはガウス･エルミート求積点をるような傾き母数の高い項目が有限だからで用いた．

ある．それでも，未提示項目の中では最も重み付き情報量を大きくする項目が常に選択さ－160－

CATにおける項目選択ルールの履歴れ続けている．無論，傾き母数の大きい項目で評価し，真値からの平均的な2乗距離の平が多くあれば，図1におけるMEPⅧ法の曲方根の指標である.MDと同じく値が小さい線は，高いままに保たれる．

方が推定の精度がよいとされる．結果を図3

次に平均偏差(mean difference, MD )をに示す．

考察する.MDは小さい方が推定の精度がよ2‘0いとされ，一ベイジアン.アプローチ
1.6０８

返しにおける事後期待値である．20回の履歴ーﾛｰ多段階a層別化法-←M EPWI法●で評価した．ここで,"ABは,Z･番目の繰り２口の乏匡(9)1 000

１副0(剛厚－9）Aの＝0．4のうち各回で評価した平均を図2に示す．
1uO。

６００16110100116↑21dODQ

126

項目提示回数Ｇ３００

図3RMSDの履歴０００－

３００
一６００一９■００●○三図3より, MEPWI法は，履歴の最初の方●●

では傾き母数が小さい項目を投入する傾向が一一MEPM法

真値からの2乗距離が大きい．しかし，履歴あるために，ベイジアン・アプローチよりも

２１０
一－ペイジアン･アプローチ
ーロー多段階a層別化法

16111621の中盤では, MEPWI法は他の2つの方法に26項目提示回数
図2比べて精度が高いといえる．
多段階a層別化法は, PSDが10を下回っMDの履歴た時点でステージ2, PSDが0．5を下回れば基本的には，どの方法も8の真値をよく再現ステージ3に移行するというルールのもとでできていると思われる.20～30回あたりでは数値実験を行っており，ステージを移行する

ME PWI法の時期を早めれば, MEPWI法と大差ない成績成績が平均的に一番よかったが，標本変動をを収めることができたに違いない．しかし，考慮すると優劣はつけがたい．また，項目提MEPWI法は，被験者に対して常に最適な項示の20回以降, MEPWI法と多段階a層別目を選択する．つまり，履歴の中盤から後半化法は，平均的な真値とのズレが0 001以下にかけて傾き母数の高い項目の出し惜しみをである．これは偏差値で考えるとおおよそ，しない.しかしながら,多段階a層別化法は，001の違いでしかないので，実質科学的に問（7）式を満たせば，ステージの中からラン題がないといってよい．

ダムに項目が選抜されるので，必ずしも最適次は，偏差平方平均平方根(root meanな項目が選択されるとは限らず,したがって，square difference, RMSD )を考察する．

最小誤差分散法に収束の速さで勝つことはでRMSDはきないであろうと強く想像できる．

RMSD=

〃

|"W '｢しかし，履歴が進むにつれ，いずれの方法(11）も真値からの距離が小さく種っていくことが分かる．さらに，25項目以後も項目提示を続-161-

大学入試研究ジャーナル第16号

けたときは，3方法にそれほどの差は見られ項目提示の5，10，15，20，25，30回の6回になくなる. MEPWI法が他の方法と比較しておける上記の要約を表1に示した．

非常に良いのは,数値実験では項目提示が12～20項目ほどのときであった．

表1

第5，10，15，20，25，30回における最後に, PSDの履歴を図4に示す．

傾き母数。MD・RMSD ･ PSD

函2．0743034

１１００１回

052

694

１１022

MEPWI

０５ーﾛｰ多段階a層別化法

MaS**

回

一ベイジアン･アプローチ
1.6BA*

613

傾き

357029

氾026

氾003

幻007

幻004

幻－１002０462

００８０519

１｜氾

０017

703

１０026

１０024

２１－℃

027

022

262

547

１１053

平均

539

１

１５２

回

063

母数の１

１０２

回

065

５１040

回

口のａ２１-←MEPWI法

553

0．4IlR

R

11li

Illl

Q

I

1’｜ID

T

110ゥ，

５161116

21０
１

回012

０007

００２回０５１回

PSDの履歴002

MD０281０241

１526００339007

００５

回

１

項目が投入されるMEPWI法が精度のよい測

749

０－００－００回

449

５

中盤から後半で傾きが高い

回015

０３

きが高い項目が投入されるベイジアン・アプ

回ることが分かる．やはり，初回から比較的傾回

５．２

図4より, PSDとRMS Dが似た傾向があローチに比べて，002＝＝＝＝＝＝

075

26

項目提示回数
図4

001

452０l

回

l１｜咽０３l

回

l0．0

319

968008RMSD

０197０－１■ﾛ■■■■■

０464

０250-534327015

申０１００１

193００212

211００243

214０’１０５回

284780246００’００回

344

５

項目程度のときはMEPWI法が最もPSDが回455０３に差がなくなっていくであろうが，15～30回

222０５

先，40回，50回と項目提示が続けば，3者回２がPSDが小さい測定が可能であった．この

０２て，多段階a層別化法よりもMEPWI法の方回定ができている．また，中鵬から終盤にかけ

190054

PSD

189０144

156０☆*MaS : Multistage a･Si'ratihed０以上，選択された傾き母数の値, MD,

180０*BA :ベイジアン・アプローチ

239００３回小さい測定をすることは難しいと思われる．

０５２回を残しているので, MEPWI法よりもPSDが０２の成績も悪くないが，項目選択にランダム性回小さい測定が可能である．多段階a層別化法

118(多段階a層別化法）

RMSD, PSDの履歴を見てきたが，ベイジアン・アプローチと多段階a層別化法に比べて表1より, ME PWI法の特筆すべき明らか

20項目程度のテストにおいては, MEPWT法な利点は，履歴の中盤から後半にかけてのが優れていることが確認された．経験的に言RMSDの精度の高さ，およびPSDの小ささ

えば，20項目というのは,CATとしては，長すぎず短すぎずといったテストの長さであるが，当然のことながら，履歴が40回(Tbst Length)であると思われる．なお，違いは3方法間で区別がなくなるだろう．

50回と進む状況では, MD, RMSD, PSDの- 162-

CATにおける項目選択ルールの履歴

4－考察

池田央（2003）コンピュータを利用した心理･教育テストの動向一米国を例に情報

本研究では,IRTに基づいたCATの項目選択ルールについてシミュレーション研究を処理，44,940.945．

池田央，林 則生(2004) Computer行った. MD, RMSD, PSDの観点からは，Based

項目提示が20項目であるときは, MEPWI

Tb stingの現状と開発 植野真臣（編著）

法が最も優れている．しかし，項目バンクに知識社会のための情報・統計科学，長岡

ある未提示項目全てについて(8)式を評価す

技術科学大学(pp.40- 57)るのは計算機の負担になる恐れがあるので，菊地賢- (2003a) Microsoft Officeを利用し(7)式と併用するなどの工夫が必要であろう．

たCATシステムの開発 日本行動計量学

なお，本研究のシミュレーション状況が，会第31回大会発表論文抄録集,214-215．

必ずしも一般的なテスト実務家の置かれてい菊地賢一(2003b) MS WordとExcelを利用る状況ではないであろう．つまり，項目バンした汎用的CATシステムの開発 日本テ

クに3000もの項目がない状況も現実的にはスト学会第1回大会発表論文抄録集，多いだろう．したがって,CAT作成者には，33－34．

項目選択ルールを選ぶ上で，なお色々な状況

MILLs, C. N. & STocKING, M L (1996)と相談する必要があると思われる．しかしなPractical

がら，30回程度の項目提示状況は, CBTのcomputerized adaptive testing. Apphed

利用場面での通常の回数であり，そのような

j4basuremeJztm "上fzIcakiOn, 9, 287･304.

状況の下では，常にME PWI法が優越すると

村木英治，萩原康仁(2002>多段階a層別化

いうことは1つの有力な資料であると思われ方法のシミュレーションによる検証 日る．

本行動計量学会第30回大会発表論文抄

文献録集246-249

CHANG, H.･H & YING, Z (1996) A global

issuesinlarge - scale

永岡慶三，植野真臣（1992）多元的適応型テ

mbrmation approach to computerized

ストシステムのアルゴリズム

adaptive testing AppZiea恥ycholOgrbal

工学雑誌，15,157-165．

OwEN, R J. (1975) A Bayesian sequential

j企as z'em "A 20 : 213-229.

CHANG,H.

･H

a-Strainfied&YING,multistageZ(1999)

procedure fOr quantal response in thecontext

computerizedofadaptive

mentaladaptive testing AppZiea恥ychomgf"JcﾉburnaIQr

Mbasurem "& 23 : 211･222.

Assoc虚如", 70 : 351-356.

CHANG, H. -H & ,STouT, W F. (1999) The
nfait

inanlRT

Cbmp"er Afmp"vea"dmodel.

tesmng

S砲なS直jどalprac"とe.

Zbs"]g:

ZZeoz:yDordrecht,

The

Netherlands: Kluwer Academic Press.

RSy℃h mehzika, 58 : 37-52.

廣瀬英子（2000）心理測定尺度のコンピュー
タ・テスト化に向けての最近の動向

fZze AmeztibanvAN DER LINDEN, W J. GLAs, C. A W (2000)

asymptotic posterior normalily of thelatent

日本教育

WAINER,教

育心理学研究，48,235-246．

H

Adap"ve(2000)
fbs""g･:Cbmp"“たeゴA

2fmezE

Lawrence Erlbaum Associates, Inc.

廣瀬英子（2004）測定・評価に関する研究動向と展望一テ スト研究と評価研究－，教育心理学年報，43，99．106．

-163-

NJ: