広島工業大学紀要教育編
第 ₁₅ 巻（₂₀₁₆）39– 43

論文

異なる集団間での項目反応理論パラメータ――数学プレースメントテスト成績の大学間比較の一例――

廣瀬

英雄*（平成₂₇年 ₉ 月₂₄日受付）

Parameters for the Item Response Theory between Different Groups—— An Example of Comparison of the Mathematics Placement Tests
between Two Universities ——Hideo HIROSE(Received Sep. 24, 2015)

Abstract
The item response theory (IRT) is often used in modern educational evaluation scene. However, if
the two groups are different from each other, the estimated IRT parameters such as item difficultyparameters, discriminant parameters, and students’ ability parameters in each group may differ fromeach other. We have investigated this phenomenon using the two universities’ testing results (highschool level mathematics placement tests). The universities are both specified to science and technology. The number of students in investigation in a university is 145, and 179 in another university. As aresult, we have found that 1) the estimates for the item difficulty parameters show no clear differences
between the two groups, 2) the estimates for the students’ ability parameters differ from each other if
the two groups are different. To compare the difference of ability among groups, use of combined datais strongly required.
Key Words: different groups, placement test, item response theory, classical test theory₁

正性を目指した方法が，現代テスト理論の一つ，項目反応

はじめに理論（Item Response Theor y, IRT）₁-₃︶ である。ここでは大学でよく行われている成績評価法は，教員が問題毎にIRT を用いた評価法を用いて評価を行うことを試みる。IRT

あらかじめ配点を決め，総合点により学生の成績評価としによれば，学生の能力値に加えた問題毎の評価も同時に可ている方法である。これは古典的テスト理論に沿った方法

能になり，それを使うことによってアダプティブなテスト₄︶である。学生の能力値のランクは，平均，標準偏差を求めも可能になる。また，オンラインのテストも可能になる。

た後で，その集団での（正規分布に従うと仮定したときの）IRT の理論についてはその概略を付録に示す。ただし，ど確率的な位置から決定できる。しかし，成績は問題の配点ちらの方法でも，学生がある集団内では相対的にどの位置によって変わるので，適切な配点であれば問題はないが，にいるかを決めることによって評価値を決定している。従っ教員が恣意的に配点を変えれば評価を変えることができるて，集団が異なれば評価値が異なる可能性がある。評価値

ため，一般に公平性が保たれているとはいえない。

を絶対評価に近くなるようにするには，集団の規模が大きい

これに対して，問題の難易度も評価に加えて公平性と公ことが望ましい。ここでは日常よく見られる比較的小さい* 広島工業大学環境学部環境デザイン学科
─ 39 ─

廣瀬英雄

大きさの集団間での検討を行った結果について述べる。
異なった集団間で成績評価の比較を行うには絶対評価に近い方法が好ましい。両集団を含む更に大きな集団の中での評価を行う必要がある。例えば多くの受験者をかかえる
TOEIC 試験では絶対評価に近い評価が可能になる。ただし，そのような比較は日常なかなか難しい。そのため，あらかじめ決められた同じ配点で総合点の比較を行うことがよく行われる。絶対評価に近いはずの IRT でも異質な集団間比較は難しい。そこで，ここでは，IRT を使った集団間の比較は可能なのか，可能ならどの程度可能なのかを，ある程度集団の性格が異なる二つの大学で行ったプレースメ

図₁

Ｈ大での総合成績のヒストグラム

ントテストのサンプリング結果を用いて行ってみた。ここでは，大学入学直後の学生に高校数学の試験問題を課し，評価結果の比較を行った結果について述べる。

₂

二つの集団で実施された試験の方法について異なった集団でも同じ時期に同年代の学生に試験を課すことが望ましいが，いろいろ制約があるので，ここでは違う時期ではあるが学生はＨ大学とＫ大学（どちらも工科系大学）の二つの大学で，入学直後のサンプリング学生を対象とした。集団のサイズは同程度が好ましいと思われるので，サイズ効果が入らないように同定度の大きさにした。Ｈ大学では，₃₀人クラスと₆₀人クラスについての ₁ 年生の解析学のコース（必修），₆₀人クラスについての ₁ 年生の線形代数学

図₂

古典的方法による問題の難易度（Ｈ大）のコース（選択），および ₂ 年生の解析学のコース（₁₅人，₂₀人程度の選択科目）で合計₁₄₅人を対象とした。Ｋ大学では，₈₆人クラスと₉₃人クラスの合計₁₇₉人を対象とした。
プレースメントテストについては，数Ⅰ，数Ａ，数Ⅱや数Ｂ，および数Ⅲや数Ｃすべてを調べることにした。₂₀₁₄年度以前の古い学習指導要領に従う学生もいることを考慮して，新しい指導要領内容には従わず以前のものに従うテス
ト内容とした。そのため，行列の問題も ₁ 部含まれている。
具体的には，数Ⅰが ₇ 問，数Ａが ₃ 問，数Ⅱが ₆ 問，数Ｂが ₂ 問，数Ⅲが ₉ 問，数Ｃが ₇ 問の合計₃₄問である。Ｈ大学での回答法はマークシート方式（ ₉ 択）で，Ｋ大学での回答法は記述式であるが，マークシートの選択肢が多いので評価結果にそれほど差異は出ないものと考える。

₃

図₃

IRT による能力評価と問題の困難度評価

IRT による問題の難易度（Ｈ大）めることができる。数Ⅰ，A はある程度易しいが，数Ⅲ，C

これまでプレースメントテストの成績評価については，については難しいことが表されている。

あらかじめ決められた素点について正解した点数を合計しただし，古典的方法では問題間の関連性を使った問題のた総合点で行っていることが多い。いわゆる古典的テスト難易度については計算されてはいない。IRT は，学生の習評価法である。例えば，Ｈ大での成績は図 ₁ のように総合熟度評価に加えて問題の難易度も考慮して評価を行うこと的に表わすことができる。また，問題の難易度は，個々のができる。例えば，Ｈ大での問題の難易度は図 ₃ のように問題に関する正答の割合から求めることができる。例えば，表される。負の値は相対的に易しい問題を，正の値は難し

Ｈ大でのテスト結果からは図 ₂ のように問題の難易度を求い問題を表している。古典的評価法と同様，数Ⅰ，A はあ─ 40 ─

異なる集団間での項目反応理論パラメータる程度易しいが，数Ⅲ，C については難しいことが表されているが，それに加えて数Ⅱ，B の難しさも表されている。
IRT ではこのパラメータの他に識別度を表す指標も設けている。識別度は問題が学生の習熟度判定にどのように貢献するかを表したもので，いわゆる良問，悪問の指標として表現することができる。
IRT は問題の難易度と学生の習熟度とを同時に評価できる。図 ₄ はＨ大の学生の習熟度を表したものである。習熟度はロジスティック関数で表されているが，近似的には標準正規分布と同じように表現されたものと考えてよい。図
で B₁₁，B₂₁，C₁₁ は ₁ 年生，C₂₁ は ₂ 年生である。
図₅

図₄

₄

困難度パラメータの比較（H, K）

IRT による学生の習熟度（Ｈ大）₂ 大学の情報を同時に用いた IRT 評価結果

図₆

困難度パラメータの比較 ₁ （H, K, H&K）

図₇

困難度パラメータの比較 ₂ （H, K, H&K）

これまでは一つの大学内だけでの評価について述べた。
ここでは，二つの大学でのプレースメントテスト結果を同時に用いた結果について述べ，それぞれの大学内で求めたパラメータ，二つの大学を同時に用いたパラメータの推定結果について比較を行う。
₄.₁

困難度パラメータ b の比較

困難度パラメータは調べた集団によって求めることができる。ここではＨ大単独，Ｋ大単独，Ｈ大とＫ大の両方で求めた困難度パラメータを比較してみる。図 ₅ は₃₄問の問題についての困難度をＨ大単独での結果，Ｋ大単独での結果で比較したものである。一つの組織であれば困難度パラメータは（例え成績が異なっても）どちらも似たような値になるようにも思われるが，図を見るとかなり明確に異なっていることが分かる。ほぼすべての問題が点線の上側線でも表してみたものが図 ₇ である。Ｈ大とＫ大の両方でに位置している。

求めた結果は，それぞれＨ大単独，Ｋ大単独で求めた結果

図 ₆ は問題毎の困難度を， ₁ ）Ｈ大単独， ₂ ）Ｋ大単独，の間に位置している。このことは，一つ一つの集団で求め₃ ）Ｈ大とＫ大の両方で求めた結果について棒グラフで比た IRT の困難度パラメータは，その集団内でしか通用しな

較してみた。棒グラフでは分かりにくいので（折線で表すいように思われるが，実はそうではなく相対的に区別できことに意味はないが）比較結果を明瞭に区別するために折るように求められていることを示している。つまり，異─ 41 ─

廣瀬英雄

なった集団毎に求められたパラメータは，ある程度公平性を保てるような結果になっていると考えられる。
₄.₂

識別度パラメータ a の比較

図 ₈ に識別度パラメータの比較を示す。数Ⅲ，C を除く
ほぼすべての問題で識別度は₀.₅から ₁ の間に分布しているので特に問題はなくほぼ良問と言える。際立っているのはＫ大での数Ｃの最後の ₄ 問である。極めて識別度が高い。
この問題は離散型の確率分布を求める問題である。

図₈₄.₃

図₉

能力パラメータの比較（H, K, H&K）

図₁₀

能力パラメータの比較（K, H&K）

図₁₁

能力パラメータの比較（H, H&K）

識別度パラメータの比較（H, K, H&K）

能力パラメータθの比較集団が変われば能力推定値も変わる。ここではそれがどの程度なのかを調べてみる。調査する集団はＨ大生₁₄₅人，Ｋ大生₉₃人クラスと₈₆人クラス（合計₁₇₉人）の二つである。比較はＨ大₁₄₅人とＫ大生 ₈₆人との間で行った。
₁ ）図 ₉ は調査したすべての学生についてその能力推定値を示したものである。おおよそ ₃ つの区分に分かれている。一番左はＨ大とＫ大の両方のデータを用いて求めたＫ大生₉₃人クラスの推定値，中央は₈₆人クラスの推定値を（₁）Ｈ大とＫ大の両方のデータを用いて，を表している。

（₂）Ｋ大だけのデータを用いて求めたＫ大生₈₆人の推図₁₀からは，Ｈ大とＫ大の両方のデータを用いた場合の定値，一番右は（₁）Ｈ大とＫ大の両方のデータを用い結果とＫ大だけのデータを用いて求めた場合の能力値の推て，（₂）Ｈ大だけのデータを用いて求めたＨ大₁₄₅人推定値にそれほどの違いが見られない。しかしながら，図₁₁定値を表している。少し分かりにくいので次にＨ大，からは，Ｈ大とＫ大の両方のデータを用いた場合の結果とＫ大それぞれについて，Ｈ大とＫ大の両方のデータをＨ大だけのデータを用いて求めた場合の能力値の推定値に用いた場合の比較を示す。

明らかな違いが見られる。Ｈ大だけでの推定値は正の値と₂ ）図₁₀はＫ大の学生についてその能力推定値を示したも負の値がバランスよく配置されているのに対し，Ｈ大とＫので，（₁）Ｈ大とＫ大の両方のデータを用いて，（₂）

大の両方のデータを用いた場合ではほとんどすべての学生

Ｋ大だけのデータを用いて求めたＫ大生₈₆人の推定値について負の値が示されている。
図₁₂に，Ｈ大とＫ大の両方のデータを用いた場合を横軸を表している。
₃ ）図₁₀はＫ大の学生についてその能力推定値を示したもに，Ｈ大またはＫ大のみのデータを用いた場合を縦軸に配ので，（₁）Ｈ大とＫ大の両方のデータを用いて，（₂）

置した推定値を示す。図₁₀，₁₁では詳細には見えなかった

Ｈ大だけのデータを用いて求めたＨ大生₁₄₅人の推定値

違いがここでははっきり見える。つまり，Ｋ大の推定値は，

─ 42 ─

異なる集団間での項目反応理論パラメータ

Conference on Teaching, Assessment, and Learning forEngineering ₂₀₁₂, pp. ₈-₁₂, ₂₀₁₂.
付録

項目反応理論（Item Response Theor y, IRT）

これまでの評価法では，各問題にはあらかじめ配点が与えられ，それぞれの問題の得点を合計した総得点が評価値であった。同じ試験を多くの人に課せば全員の総得点が得られる。そこから平均や標準偏差を算出すれば，自分の相図₁₂対的な評価値を偏差値という形で求めることができる。し能力パラメータの比較（H, K, H&K）

かし，問題の配点を変えれば総得点が違ってくる場合があ両方および単独のデータを用いても同じように正の方向にる。配点によって評価値が変わるのは公正な評価法とはい割合が多く，Ｈ大ではその逆である。また，Ｋ大では平均えないかもしれない。そこで，問題の難易度と各受験者の値の差は小さいが，Ｈ大ではそれが大きい。集団内での学習習熟度とを同時に求めながら，公正で公平な評価法が個々の学生の比較は，両方のデータを用いても単独のデー提案された。これが IRT による評価法である。この理論は，タを用いても可能であるが，集団間の学生の比較は両方のこれまでに TOEFL や情報処理検定など多くの公的な場面データを用いたときにしか行えない。このことは問題の難で適用されている。ここではこの評価法を用いている。
IRT では，各問題 j に対する受験者 i の評価確率 Pj(q i) が易度の場合と異なっている。

₅₂ パラメータロジスティック分布，

まとめ

Pj (θi ) =異なる集団間での項目反応理論（Item Response Theory,

11 + exp( −1.7ai(θi − bi ))IRT）のパラメータの推定値の比較を，二つの大学で行っに従っていると仮定する。aj, bj は問題 j の識別力（簡単にた高校数学のプレースメントテストの結果を用いて具体的いうと，問題の良し悪しを表す）と困難度（文字どおり，に行った。その結果，次のようなことが分かった。 ₁ ）IRT問題の難易度を表す）を，q i は受験者 i の習熟度を表してを使えば古典的な比較法よりもより詳しい分析が可能にないる。受験者 i = i ,, N が項目 j = 1,, n に対して取り組る， ₂ ）問題の難易度については，異なった集団間の差異んだ結果，その解答が正答なら，δ i , j = 1，誤答なら δ i , j = 0はそれほど際立っては見えない，つまり，二つの集団のと書き表すと，すべての受験者がすべての問題に挑戦した

データを同時に用いて求めた難易度の推定値と一つの集団結果（これを反応パターンという）の確率は，独立事象をで求めた推定値の間にはそれほどの差は見られない， ₃ ）

仮定すれば，しかしながら，学生の能力推定値になると，二つの集団のN

nL = ∏ ∏ Pj (θi ) i , j (1 − Pj (θi ))

データを同時に用いて求めた難易度の推定値と一つの集団

δ1 −δ i , ji =1 j =1で求めた推定値の間には大きな差異が認められる。異質なと表される。これを尤度関数という。付録図に，IRT によ集団間での能力推定値を比較する際にはすべてのデータをる評価の過程のイメージを示す。誤答 ₀ と正答 ₁ からなる用いた土俵の上で行わなければならない。

δ i , j を上の尤度関数 L に代入し，それを最大にするような文

aj, bj, q i を同時に求めるのが IRT による評価法である。

献₁ ）R. K. Hambleton and H. Swaminathan, Item Response
Theory: Principles and Applications. Springer, ₁₉₈₄.
₂ ）R. Hambleton, H. Swaminathan, and H. J. Rogers, Fundamentals of Item Response Theor y. Sage Publications,
₁₉₉₁.
₃ ）W. J. D. Linden and R. K. Hambleton, Handbook ofModern Item Response Theory. Springer, ₁₉₉₆.
₄ ）H. Hirose and T. Sakumura, Item Response Prediction
for Incomplete Response Matrix Using the EM-type
Item Response Theor y with Application to AdaptiveOnline Ability Evaluation System, IEEE International─ 43 ─

付録図

項目反応理論の概念図