設問別解答率分析図について

設問別解答率分析図について
大阪大学大学院基礎工学研究科

白旗慎吾

1に対しては正解，不正解の2通り，かつ試験得
1．はじめに点は正解の個数とする。すなわち第k番目の設試験問題の特性を検討するためにはその正解問に，正解の場合XA=1,不正解ならXk= 1と率を分析しなければならない。分析には理論だする。試験得点はX=XI…+XAである。

けではなくウグラフに表現して考察するグラフ

学力（得点能力）を表すパラメータを8とす

イカルな方法も有益であり，その有力な手段とる。βは受験者を固定すれば定数であるが，受して設問別解答率分析図がある（例えば菊地験者全体では確率変数と見なす。かつ，受験者(1999) )。分析図は受験者群を試験総得点によっごとに独立であり，きらに，9が与えられたとてグループ分けし，試験総得点を横軸に，試験きの条件付き分布の意味ではXj,…,Xkは独立と総得点が同じグループ内でのある設問の正解率仮定する。これは項目反応理論では通常仮定さを縦軸に表現したものであり，そこから試験問れている（芝(1991) ,池田(1994) )。以下の記

題の検討や項目特性曲線等の考察を行っている。

号を用いる。

この方法は多くのデータに適用きれており(例えば，石塚，平，清水（1992）等)，受験生①βの密度関数をf(βノとおく。の学力を反映した素直な設問では図は右上がり⑭Xの確率関数をP(X=kﾉ=g(kノとする。の傾向を示すと期待きれる。ただしこの方法で③8が与えられたときのXの条件付き確率関数をP (X=k/ 8ノ=g ik/ 8ノとおく。

は，総得点でグループ分けしているために高得点者の正解率が自然に高くなる，という欠点が③X=kのときの8の条件付き密度をf(8 jk)とある。例えば，ある多岐選択が難しすぎて正解おく。

するかどうかは全くの偶然の産物になったとし

eXと8の同時分布をh(kβノとおく。ても分析図は右上がりの傾向を示す。ある設問．βが与えられたときの設問iへの正解確率が，理解が深いほど逆に誤解して誤答する傾向をP (X=I〃ノ=Pi (8)とおく。項目反応理の強い悪問だったとしても（この場合は右下が論では呂（8）にロデイステイック曲線等をりが期待きれる)，右下がりになるとは限らない。

仮定するが，ここでは具体形は仮定しない。

つまり当然期待される傾向がグラフに現れると④設問jを除いたときの正解数Xbjに関する確率関数や密度関数については添え字としては限らない。

適用例では右下がりになることは稀であるが，（〃をつける。例えば卸伽=P (Xi=kﾉ,動常に右上がり傾向が顕著とは限らず，その場合(6閥等。

上記の性質を考えると，試験問題の適切性の検このとき設問別解答率は討資料として使えるかどうか疑問を持つことも
一一

ｌｊｋ

御勘″’’

１Ｘ函１皇ｚ-81 -一一一一Ｅ Ｐ

(3)＝

試験はK個の項目（設問）から成り，各項目

概慨｜’２１Ｉ

2．設問別解答率は何を測っているか

１

修正法を提案する。

１

Ｉ多い。そこで，本論では設問別解答率分析図のP(X = A)，卿;祷りか(8)f(i)(81k - 11d9

上I

大学入試研究ジャーナル第12号
IIする修正設問別正解率分析図はを推定している。ただし, k=OのときはOとなをk=0.1, ･･･ , K-1に対してプロットして得られる。式(3)の積分部分はXj1が与えられたときのる。

1
16の事後分布による正解率の平均であるが，そなお，式(3)の前にかかっている確率の比を除の前にかかっている確率の比のために解釈がしいて図示すれば，ここで提案きれた図を右に1にくい。kが大きくなると自然に大きくなってずらした図が得られる。

しまう現象もこの確率の比のいたずらである。
4．別の修正（修正2）

正解数fに正解

計

2，3節の図は積分の中が設問jを除いた得0O

1

TZ11

兜０

恥町点で条件づけられた事後平均から得られる。た駒

nkl

汎“”kjに不正解
００

兜１

だし条件付けは全得点で行う方が自然であろう。

/刑/(81k)de(8)

全得点にするには
１｜Ｋ 計
Ｋ

7JK-1,1

TZK-1
K-1,0,072K-1

nkl

0

孔K

TTZ1

mO｜”が推定できればよい。‘

赤/刑'(燗/(9)"n人のデ恐鰔夕唯下のように表示する。
式(1)は(4)

ただし，このままでは推定できない。式(8)はで推定きれるので，設問jに対(A, nk,/"A),,(Ale) = R(9)9(')(A-11e)+(1-R(9))g(j)(Ale)h = 0,…,Kと変形されるが,_関係する設問別正解率分析図は2側詣')/馴加(8IA - 1)"≠鶚/刑(1-珊加(elk)d9を図示して与えられる。

3．分析図の修正（修正1）

通常の分析図の欠点は，合計点は考える設問(5)(6)

を用いるとを得る。2，3節での結果を温の推定と見なし，E(xjIx(i) = k)g P(Xj = 1, X(i) =k)＝
P(x(i) = h)

その2乗でPfを推定し, PI(1－勤も同様に推定すると設問別解答率分析図は横軸の値k= 0, 1,＝／島(‘川‘'柵

蝿:1

nfk+1,0汎細(9)"A("k]咽沌k,＋”ん-,,0)＋“(犯k+1,0＋”kO）
f",c_,,0) + "k("M f",c｡)の得点を含んでいることによる。そこで･･･, Kに対してを考える。これは学力に事前分布を想定し，デをプロットして得られる。ただしk=0の場合

ータによってその事前分布を修正した事後分布

は第2項のみ,を求め，その事後分布で正解確率を平均したもる。これは式(8)のかなり荒い近似であり，多数のであり，ベイズ統計学的に通常の分析図よりの受験者がいてもより正確とは限らない。実際解釈しやすく ，上述の欠点がない。設問iに対この推定量は一致性を持たない。

(7)(俺，γ恥十1,1n,jb+1,1 +”ん0

k=Kの場合は第1項のみであもし推定鼠の構成がうまくいけばこの修正に）

より最初に述べた分析図の欠点は大幅に減少す－82－

設問別解答率分析図について複数個の値を取りうる場合は以下で積分を和にる。

5．シミュレーション結果置き換えればよい。

Iを適当な区間と－31澄。Iが1点のみであると式(4)，(7),(9)による3種の設問別解答率分析図をシミュレーションにより比較する。簡単のきは以下の積分で，の可能な範囲をいくつかの区間に分割して，そため以下のように設定する。項目反応理論のロデイステイックモデルなどの通常のモデルは仮を省略すればよい。得点

こにおける平均得点率を図示するのが，項目別正解率分析図である｡ (XiX")および(XiX)の同定しない。

／鱗("'‘伽(麺(,)!‘)’(')‘0，／"(鰯'')，側(鰯-鰯'')/(6)“。Kとし標本数は10,000とする。
・簡単のためβの事前分布は区間(0, 1)の一様分布，すなわちf(8)=<8< 1とする。
・P!(8)=2,B(8)=1－8, R(8)=R(8)時密度関数がそれぞれ=B (8)=βとする。すなわち，設問1は正解するかどうかは全くの偶然であり，設問(10)で与えられることを用いて3-5は得点能力を学力とし，設問2は設問3-5と逆の傾向にあり，学力のある者が間違える悪問である。

こ．のとき式(2)，(6)，(8)の真値を計算し，かつコンピュータ・シミュレーションを行った。

E(xIIx E I)

を積分の比で表現できる。通常の項目別正解率分析図はこれを推定しているが，その式の解釈は困難である。実際の分析図ではしばしばP(X J)が一定（可能な得点の範囲をL個に分ける場合は1 /Z,)となるような分割を考える。

各設問の真値を求めシミュレーション結果と比E(xIIx E I)

較した結果では，修正法2の誤差がやや大きい('')= L/〃鰯"("|9)9(4)(" - "fl9) xが，従来法と修正法1ではデータ数が多いためf(8)dedzdmj

推定精度は十分であった。真値の図は省略する。
設問1-3のシミュレーション結果を図L3に示す。

その場合上式はその結果によれば,従来の方法は設問1（図1），と表されるが，解釈の困難さに変わりはない。

設問2（設問2）でも顕著な右上がりの傾向をE(xilx(i) E I)示す。これは不合理な傾向である。一方，提案('2)＝〃錘f9z("fl8)/(elX(’E I) d9dzf

された2つの修正法にはその欠点が見られない。
また設問3（図3）に対しては従来法に比べ提3節にならって修正すると案された方法の右上がり傾向は小さい。理論的を得る。これはX"が区間Iに入ったという情報がには，推定は困難であるが式(8)が最も合理的なあるときのβの事後分布を考え，その分布でβ指標である。ただし推定精度に問題があるためが与えられたときの恐の平均であると解釈され常にそう言えるかどうかは疑問である。

る。グラフに表すことも容易であり，設問jに対する分析図は，設問jを除いた教科の合計点6．連続の場合が区間Iに入った受験者の平均点をプロットして各泌が連続の場合を考える。X)のβが与えら得られる。

れたという条件の下での条件付き密度をgi (X/8ノ('3)〃麺"("ile)f(81X E I)d9"とおく。このように遜に関連した密度等は添え字にjをつける。前節までの確率関数は密度関4節にならって，数と読み替える。また，各襲が離散ではあるが，を考えるのも合理的と考えられるが，推定量の－83－

大学入試研究ジャーナル第12号

10．75
0．50.250－◆=ご垂012345三十従乗法一●-修正’一修正2」h

図1．離散の場合の設問1に対するシミュレーション結果

10．75
0．50.250012345'千二従来法一･一修正’一七修正2 ’
図2.離散の場合の設問2に対するシミュレーション結果

10．75
0．50．250012341－◆一従来法一・一修正’老一修正21－

図3．離散の場合の設問3に対するシミュレーション結果

－84－

5’

設問別解答率分析図について

ーI0．65

一一一0．55’
0．450．35◆一’’l1283D

45'一･一従来悪~三口三膠正法］
図4．連続の場合の設問1に対するシミュレーション結果｜↑，0.75

0．50.2501243‐１斗

声5;正法1

一一従来法 －■一修正法

図5．連続の場合の設問2に対するシミュレーション結果－－~－_可→

10．25
0ゞ

10 5

一一一0．75

函1234－←従来法一号修正法
図6．連続の場合の設問3に対するシミュレーション結果－85－5

大学入試研究ジャーナル第12号

－|，
075

ヨ

1

1

0．5００１『0‘25ロ002345－◆一従来法一●一修正1－圭一修正2

図7．センター試験国語のセンター試験における分析図構成が困難である。
7．実際例

式(10) , (12)はその真値を求めるのは困難である。
そこでシミュレーションによりその性質を探っ

図7は大阪大学のある学部受験生のセンターた。モデルは5節と同様で以下のように設定し試験得点とその中の国語のデータに適用した設た。

問別解答率分析図である。ただし得点を偏差値に変換した後，偏差値50以上を1，50未満を0として離散化した。グラフからは従来法では顕。K=5とし標本数は10,000,各設問の得点は区間(0,1)に入る，とする。

著な右上がりの傾向が見られるが，修正法1，・8の事前分布は区間(0,1)の一様分布とする。

2では中位以上の受験生ではほとんど差がない

・設問1の得点はβの値に関わらず，平均0.5,ことが読みとれる。したがって，センター試験標準偏差0.2の正規分布とする。設問2の得

国語の得点は従来の分析図から受ける印象ほど点は上と同じ分布の正規分布に1-8を加え受験生問で差がないことが分かる。

たものとする。設問3-5はやはり同じ分布の正規分布に8を加えたものとする。すなわ
ち，設問1．は正解するかどうかは学力に無参考文献

池田央（1994）：現代テスト理論朝倉書店

関係であり，設問3-5は得点能力は学力とほぼ等しく，設問2は設問3-5と逆の傾向にあ石塚智一，平直樹，清水留三郎（1992)：社会り，学力のある者が間違える傾向の強い悪の試験問題の出題形式に関する比較研究。大問である。

学入試センター研究紀要, 21, 1-33.
菊地賢一（1999):項目反応理論を用いた設問解
答率分析図の評価。大学入試センター研究紀

シミュレーションの結果を図4-6に示す。シミ

要,29,1-8．

ュレーション・データからは，特に8や他の設芝

問に無関係な設問1で式(10)の動きが異常であ

祐順（1991）：項目反応理論一基礎と応用。
東京大学出版会る。ただし離散の場合に比較すれば異常の程度は小さいが，修正法の方が従来法より良いことは明らかであろう。

－86－