G5-2

CBT における項目反応理論を用いたパフォーマンス課題の評価法の提案
Proposal on CBT for Performance Tasks using Item Response Theory
*1*2,

*1

大橋 誠 ,宮澤 芳光
森本 康彦
*1
*2
*1
Makoto OHASHI , Yoshimitsu MIYASAWA
Yasuhiko MORIMOTO*1*2
東京学芸大学
長岡技術科学大学*1*2
Tokyo Gakugei University
Nagaoka University of Technology
あらまし： 知識基盤社会である近年，ジェネリックスキルの育成とその評価法の確立が急務となっている．特に，「思考力・判断力・表現力」の評価法の開発が注目されており，この達成には真正な評価が求められている．真正な評価では，現実的な課題と現実的な文脈をもった学習の過程を通し継続的に生成される学習成果物や学習の記録などの学習エビデンスを用いて学習者のパフォーマンスを評価する．しかし，学習者が課題に取り組む過程の学習場面ごとに必要な学習エビデンスを収集して形成的評価を繰り返し，そして総括的評価を行うことは困難なことであった．そこで，本研究では，先の問題点を解決することを目的に，ICT を活用し「思考力・判断力・表現力」等のジェネリックスキルを評価する方法を開発する．
具体的には，CBT 上のパフォーマンス課題に学習者が取り組むことで，各学習場面で必要な学習エビデンスを収集しながら課題遂行時に発揮された資質・能力をパフォーマンス課題に紐づいた評価基準を参考に項目反応理論を用いて同定する．
キーワード：ジェネリックスキル，真正な評価，パフォーマンス課題，CBT, 項目反応理論，ポートフォリオ

1.

はじめに知識基盤社会である近年，ATC21S(Assessment andTeaching of 21st Century Skills)が定義した「21 世紀型スキル」(1)や，OECD の「キー・コンピテンシー」(2)に代表されるジェネリックスキルの育成とその資質・能力の評価方法の開発が求められている．我が国でも，「思考力・判断力・表現力」等のジェネリックスキルの育成とその評価の方法として，パフォー
マンス課題を用いた評価活動が取り組まれている(3)．パフォーマンス課題とは，ありのままの学習を意味する真正な学習において，現実的な文脈のもと，学習者がさまざまな知識や技能を総合させ問題を解決することを求める現実に即した課題を指す(4)．
パフォーマンス課題を用いたジェネリックスキルの 測 定 試 験 と し て は ， CAE （ Council for Aid toEducation）の CLA（Collegiate Learning Assessment）(5)
や OECD の AHERO(6)が挙げられる．これら試験では，自由記述式によるレポート等の最終成果物を用いてジェネリックスキルを評価している．しかし，真正な学習において求められる真正な評価では，学習の結果だけでなく，学習過程が重視されるため，継続的に生成される学習成果物や学習の記録などの学習エビデンスを用いて学習者のパフォーマンスを評価することが必要とされる．つまり，先の試験では，学習過程を重視した真正な評価によるジェネリックスキルの評価には不十分と言える．そこで，現在では，ICT を用いてそれら学習エビデンスを e ポートフォリオとして蓄積し利活用することが注目されてきている(6)．
そこで，本研究では，ICT を活用し「思考力・判断力・表現力」等のジェネリックスキルを評価する方法を開発することを目的とする．具体的には，
CBT(Computer Based Testing) 上のパフォーマンス課

題に学習者（以下，受検者）が取り組むことで，各学習場面で必要な学習エビデンスを e ポートフォリオ（以下，学習記録データ）として収集・蓄積し，課題遂行時に発揮された受検者の資質・能力をパフォーマンス課題に紐づいた評価基準を参考に項目反応理論を用いて同定する方法を提案する．

2.

段階反応モデル

本評価手法では，各学習場面で収集・蓄積される学習記録データから受検者の資質・能力を同定するため，テスト理論である項目反応理論の段階反応モデルを用いる(7)．段階反応モデルとは，反応データがカテゴリ k の多値データを扱うモデルである．受験者𝑗が項目𝑖に対してカテゴリ k と反応する確率𝑃𝑖𝑗𝑘を次式から求める．
∗∗
𝑃𝑖𝑗𝑘 = 𝑃𝑖𝑗𝑘−1− 𝑃𝑖𝑗𝑘
(1)
1∗𝑃𝑖𝑗𝑘=𝑘 = 1, ･･･, 𝐾 − 1
1 + exp (−𝑎𝑖 (𝜃𝑗 − 𝑏𝑖𝑘 )){∗𝑃𝑖𝑗0=1∗
𝑃𝑖𝑗𝐾 = 0(2)ここで，𝑎𝑖 は項目𝑖の識別力パラメータ，𝑏𝑖𝑘 は項目𝑖のカテゴリ𝑘の難易度パラメータ，𝜃𝑗 は受検者 j の能力パラメータを表す．ただし，𝑏𝑖1 < 𝑏𝑖2 < ･･･ <𝑏𝑖𝑘 < ･･･ < 𝑏𝑖𝐾−1 と制約される．パフォーマンス課
題の各学習場面で蓄積される学習記録データは，評価基準に基づいて評価者が採点する．ここで，評価基準とは各学習場面を採点するための判断基準であり，k 段階に尺度が決められる．この採点データから段階反応モデルを用いて受検者の能力が同定される．

― 361 ―

教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3

3.

本手法の要件本手法では，課題に取り組む過程の各学習場面で蓄積される学習記録データから段階反応モデルを用いて受検者の能力を同定するため，次の要件が必要とされる．
(1) 課題の要件
本手法におけるパフォー
マンス課題は，一つの資質・能力を評価し，課題遂行に複数の学習場面を必要とする．
また，これら学習場面は受検者への課題出題前に全て列挙する．
(2) 課題遂行時の学習場面
における要件本手法では，課題遂行時の学習場面を評価するため，学習場面ごとに一つ以上の学図1習記録データを収集・蓄積する．また，課題遂行時に発揮された受検者の資質・能力を段階反応モデルによって同定するため，一つの学習場面に対して一つの評価項目を設定する．ここで，評価項目とは各学習場面の評価基準に対応した m 段階の尺度を持つ段階反応モデルの項目を表す．
(3) 評価項目における要件評価項目は，評価基準に対応した段階反応モデルのパラメータが同定済みでなければならない．また，観点別に評価基準がある場合は項目領域を用意し，課題遂行までの学習過程を評価するための評価項目を設定する必要がある．

4.

学習課程の評価のための評価項目

パフォーマンス課題遂行時の学習過程を評価する
ためには，各学習場面の内容を評価すると共に，受検者の学習過程の順序が理想的なモデルに則っているか評価することも重要である．そこで，本手法では評価項目として以下の 2 種を設定する．
1. 学習場面評価項目：受検者が課題に取り組む中での各学習場面で蓄積された学習記録データを評価基準に基づいて評価する項目
2. 学習過程評価項目：受検者の学習過程と課題作成者の意図した学習過程を比較して評価する項目

5.

能力同定のモデル

本手法におけるパフォーマンス課題の CBT モデ
ルを図 1 に示す．システムはパフォーマンス課題に関する情報と受検者に関する情報があり，以下の手順で能力の同定が行われる．
1) 受検者はコンピュータ上でパフォーマンス課題に取り組む．このとき，学習場面リストが画面上パフォーマンス評価の CBT モデルに表示され，受検者は学習場面を選択し，行動する．これを課題遂行まで繰り返す．
2) 受検者の学習記録データは学習場面ごとに蓄積され，評価者は各学習記録データを評価基準に基づいて評価する．
3) 評価者は評価結果をシステムに送り，段階反応モデルに基づいて各受検者の能力値を同定する．

6.

おわりに

本研究では，ジェネリックスキルの評価を行うための方法として，CBT によるパフォーマンス課題の評価法について検討し，そのモデルを提案した．
今後はシステムの開発を行い，試験運用を繰り返しながら提案法の評価を行う予定である．

謝辞
本研究は科研費（26350311）の助成を受けたものである．

参考文献(1) ATC21S＜http://atc21s.org＞(2) OECD＜http://www.oecd.org＞(3) 文部科学省, “児童生徒の学習評価の在り方について（報告）”, 2009.
(4) CAE＜http://cae.org/＞(5) 国立教育政策研究所, “AHERO 調査結果の分析に関する研究会 研究成果報告書”, 2014.
(6) 森本康彦, “e ポートフォリオとしての教育ビッグデー
タとラーニングアナリティクス”, コンピュータ＆エデュケーション, Vol.38, pp.18-27, 2015.
(7) F．Samejima, “Estimation of latent ability using a response
pattern of graded scores”, Psychometrika Monography,
pp.1–100, no.17, 1969.

― 362 ―