総説

学習者評価の信頼性とは
大西弘高

東京大学医学系研究科医学教育国際研究センター

抄録
評価手法が良いか否かを議論するためには妥当性が重要だが，総括評価に客観試験以外の評価手法を用いる際，信頼性検証が不可欠である．OSCE（objective structured clinical examination）における信頼性指標は，各課題に挙げられている項目毎の評価者間信頼性と，ステーション毎にまとめた項目合計点をステーション間でみたときの信頼性に大別される．評価者間の信頼性指標には，評価者間一致率，κ値，級内相関係数が挙げられる．ステーション間の信頼性はα係数で表すことが可能だが，一般化可能性理論を用いることで，誤差要因同士の分散の比較，一般化可能性係数や信頼度指数の計算，決定解析が可能となる．
キーワード：学習者評価，信頼性，テスト理論，一般化可能性理論

Reliability in learner assessment
Hirotaka Onishi
International Research Center for Medical Education, Graduate School of Medicine, The University of Tokyo

Abstract
Validity is important to discuss whether the assessment tool is good or not, evaluation of the validity is important. However, identifying reliability is indispensable when non-objective assessment tools are used forsummative purposes. Two types of reliability indices are used for OSCE（objective structured clinical examination）; one is the inter-rater reliability for each item of the checklist in a station task, and the other is inter-station reliability using the total item scores from all the stations. Indices of inter-rater reliability consistof inter-rater agreement, kappa value, and intra-class correlation coefficients. Inter-station reliability can beexpressed by the alpha coefficient. Utilization of the generalizability theory in OSCE enables comparison ofvariances among different error factors, calculation of the generalizability and dependability indices, and decision study.
Key words：learner assessment, reliability, test theory, generalizability theory

おいては，一定以上の信頼性が達成されていなければ，はじめに合否判定等に関する誤差が大きくなるため，信頼性を検証し，改善することは不可欠といえるだろう．

学習者を評価する際，精神運動領域，情意領域，高次認知領域の評価等においては評価者のバラツキの懸

本稿では，OSCE による評価をイメージしながら信念が大きくなる．総括評価，特に high-stake test に

頼性指標の持つ意味，様々な信頼性指標の意義に分け【連絡先】東京大学医学系研究科医学教育国際研究センター〒113-0033 東京都文京区本郷 ７ - ３ - １ 医学部総合中央館 ２ 階
受理日：2018年 ２ 月 ９ 日 採録決定日：2018年 ３ 月 ６ 日―

医療職の能力開発 JJHPD― 78 ―

学習者評価の信頼性とは

表１

妥当性を証明するための情報源
テストで得たスコアの処理プロセス

内容

テストの内的構造

他の変数との関係

結果・試 験のブループリン ・学 習者がテストのフ ・項 目 分 析 デ ー タ（ 項 ・他 の関連した変数と ・テ スト結果が学習者や社会に与える影響
ト， 達 成 す べ き 目 標 ォーマットに慣れて 目 の 難 易 度， 識 別 係 の相関数， 項 目 特 性 曲 線，・類 似したテストとの ・将 来の学習者に与え
領 域， テ ス ト 内 容 が いるか・採 点が正確かどうか 項 目 間 相 関， 項 目 と 収 束 的 相 関（ 内 的， る影響一貫している・正 の結果が予測しな外的）合計点との相関）・テ ストが目標領域を の確認
・異 なったフォーマッ ・項目の信頼性，測定の ・異 なったテストとの かった負の結果を上代表している・テ ストで問われてい トの点数を正確に合 標 準 誤 差， 一 般 化 可 弁 別 的 相 関（ 内 的， 回っているか・合 否基準となるスコ外的）能性分析，因子分析
る内容が現場で必要 計しているか・テ ス ト と 規 準（ ク ラ アを決定する方法がとなる内容と一致し ・ス コアや評価の正確 ・心理測定モデル
納得できるものかイテリア）との相関性に関する質管理ている
・エ ビデンスの一般化 ・合 否決定による分類
・テ ストの問題の質が ・ス コアと合否判定に可能性（外挿可能性） の正確性
関する質管理高い・能 力が不十分なのに・問題作成者が一定レベ ・学 習者や教育者への合 格 に な っ た り， 能報告に関する質管理
ルの質に達している
力が十分なのに不合・ス コアの記述が分か格になったりする者
りやすく，正確かの数・合 否判定基準スコアの条件付き標準誤差
・評 価が学習者に与える影響が点推定値の95% 信頼区間となる．体重計に乗ってて概説し，例を挙げてその有用性にも触れてみたい．

60kg を指したとき，その95% 信頼区間が50～70kg であったなら，その体重計は全く信頼できないと呆れる

信頼性指標の意味だろうが，学習者評価の評点というのはそのような性評価には常に信頼性，妥当性の問題が付いて回る．

質の数値であると認識しておくべきだろう．

妥当性とは，その評価手法が真に測定したいものを測ところが，合否を判定しようとすれば，60点の学生

定できているかどうか，信頼性とは，その評価手法のが合格で59点の学生が不合格，ということも起こりう

測定が安定しているかと定義される．学習者評価が学る．このとき，点推定値としての評点の信頼区間があ習者の能力を反映しているかどうかは，妥当性で判断まりに広いと，特にぎりぎりで不合格になった受験者されるべきであり，信頼性の問題はさほど大きくないから試験に疑義を挟まれる可能性はある．そのようなはずである．

問題に可能な限り対処するために，学習者評価の信頼性に配慮が必要なのである．

妥当性は，Messick の再定義により，構成概念妥当性に一元化されると共に内容がやや拡がり，テストデまずは，信頼性指標とは何かを明確にしていこう．

ータの処理，結果が社会に与えるインパクト等も考慮

概念的には，同じ人が違うタイミング，違う視点で何することになった ．Downing はこの新しい定義に基回も評点を付ける，あるいは異なる人が評点を付ける

づき，妥当性を証明するための情報源を表１のようにといった場合に，その評点がどの程度安定しているか列挙した ．特に，合否判定に関する内容は以前よりを意味する．

１）２）もはるかに重視されるに至った．
さて，再度各学生の評点の持つ意味を考えてみよう．
学生の評点が60点であった場合，これはいくらかの誤信頼性係数 =真値の分散・・・式①
真値の分散＋誤差分散差を含んだ点推定値であるとみなすことも可能であ式①より，誤差分散が小さくなると信頼性係数が大きる．ここで，測定値の標準誤差（standard error ofくなる関係があることが分かる．各施設レベルの試験measurement）が ５ 点で，評点が正規分布に従うと仮なら0.7，全国レベルの試験なら0.8という信頼性係数定すれば，［50.2（60- ５ ×1.96）～69.8（60+ ５ ×1.96）］が目安として示されている３）．

Volume 5 No 2―― 79 ―

表２

信頼性指標の種類

１．評価者間信頼性指標（ア）項目毎の信頼性指標① 評価者間一致率② κ値③ 級内相関係数（通常は ICC（２，１））（イ）ステーションの項目合計点を用いた信頼性指標① Pearson の相関係数② Spearman の相関係数
２．ステーション間の信頼性指標（ア）Cronbach のα係数
３．評価者とステーションの要因を併せ持つ信頼性指標（ア）一般化可能性係数（generalizability index，Ｇ係数）（イ）信頼度指数（dependability index，Φ係数）
表３２名の評価者によるチェックリスト評点の例
評価者２

評価者
１001計

0001

14950

計

14950

注１：観察された一致率＝ Po，一致率の期待値＝ Pe とすると，Po ＝49/50 ＝ 0.98，Pe ＝ 49/50 ＝ 0.98 であり，κ値＝（Po － Pe）/（１－ Pe）＝０
注２：被評価者数 n，評価者数 k と置き，BMS（between-subject meansquares），JMS（between measures（judges）mean squares），EMS（errormean squares） を 用 い て 表 す と，ICC（ ２，１） ＝（BMS － EMS）/{BMS ＋（k －１）EMS ＋ k（JMS － EMS）/n} となる．文献 ４） の定義によって計算すると，BMS ＝ 0.01，EMS ＝ 0.01 であり，ICC（２，１）＝０となる．

明確になるかもしれない．後者に対し「患者の話を聴信頼性指標の種類やその意義きながら ５ 回以上相づちを打った」という評価基準を様々な信頼性指標を表２に一括して挙げた．このう

設ければ評価者間信頼性は向上するかもしれないが，ち，評価者間の信頼性指標については，項目毎のものマニュアル的な対応を増やして妥当性を減じるかもしとステーションの項目合計点を用いたものに分けられれない．
κ値や級内相関係数は項目の得点率が50% 付近でる．ステーション間の信頼性指標を求める際には各スは信頼区間が小さいが， ０ % や100% に近づくと信頼テーションの項目合計点が用いられる ．
３）

このうち，利用の意義が大きいのは項目毎の評価者区間が大きくなるため注意が必要である．例えば表３

間信頼性指標と信頼度指数（dependability index）ででは「患者に挨拶した」という項目に対し，ほぼ全員ある．これらについて，下に詳述する．

が正しく実施できているが，ただ １ 人の学生に対する評価がずれている．このとき，評価者間一致率は0.98
だが，κ値，級内相関係数（ここでは評価者間一致度

項目毎の評価者間信頼性指標４）を表すときに頻用される ICC（ ２ ，１ ）を用いる）の項目毎の評価者間信頼性指標は，各項目がどのよういずれもが ０ となる．もし，この評価がずれた学生のな性質を持ち，評価基準が明確になっているかどうか真の評価は ０ 点であって，評価者 １ がそれを正しく ０を確認するのに役立つことがある．例えば，医療面接点としていたとすれば，全ての指標はいずれも １ とな

ステーションで「患者の姓を確認した」という項目はる．これらの観察から，評価者間一致率とκ値，ある評価者間のズレが生じにくく，「患者の話を共感的にいは級内相関係数の併記が奨められている５）．

聴いた」という項目はズレが生じやすいという違いが―医療職の能力開発 JJHPD

なお，評価者が ３ 名以上のときに評価者間信頼性指― 80 ―

学習者評価の信頼性とは

表４

OSCE 結果による一般化可能性解析の例

要因
学生（i）
ステーション（j）
評価者（k：j）
学生×ステーション（ij）
学生×評価者（i（k：j））
Sum

図１

偏差平方和
4.48130.66720.0801
1.82730.95278.0086

自由度
91４
５364
455
919

平均平方0.04924
0.16680
0.016020.005020.00209

分散推定値
0.004422
0.000804
0.0001510.001463
0.002094
0.008934

分散の比率
49.5%
9.0%
1.7%
16.4%
23.4%

表４と同じデータを用いた決定解析の例

標を求めようとすれば，級内相関係数（intraclass cor-能だが，評価の主観性が問題になりがちな OSCE のrelation coefficient：ICC）が最も簡便に求められる．

ような場合には，これも含めて解析できる後者がよりICC にはどの分散を用いるかによって ６ 種類のデータ有用であろう．

が得られるが，複数評価者を変量モデルとした場合には ICC（ ２ ，１ ）が用いられる４）．

一般化可能性解析の概要

κ値は，どの程度の数値なら評価者間信頼性が保たれているかに関するガイドラインがあることでも知ら一般化可能性解析では各ステーションの項目合計点れる．Landis and Koch は，κ≦0.2なら Poor，0.2＜を用い，分散分析の手法によって式①における誤差分κ ≦0.4な ら Fair，0.4＜ κ ≦0.6な ら Moderate，0.6＜

散を ３ つの要因（学生の評点の差によるもの（i），スκ ≦0.8な ら Good，0.8＜ κ ≦1.0な ら Very good と しテーション（ j），評価者（κ））で分離することが主眼た ．Fleiss は，0.75≦ κ な ら Excellent，0.40＜ κ ＜となる．その際，各要因の交互作用も得られるが，評0.75な ら Fair to good， κ ≦0.40な ら poor と し た ．

価者はステーション毎に異なるため，評価者とステー

このガイドラインは ICC にも用いられることがある．

ションの交互作用を求めることはできない（要因のネ

しかし，これらの基準には数値的な根拠は特になく，スト構造と呼ばれ，評価者の分散はσ（κ：j）と表記され一部の統計学者はこのガイドラインの使用を憂慮してる）．よって，学生，ステーション，評価者の分散と，いる ．

学生とステーションの交互作用の分散，学生と評価者の６）

７）８）交互作用の分散の ５ つが分離されることになる．

評価者間信頼性指標のうち，ステーションの項目合

信頼度指数Φは，学生の分散と，それ以外の分散成計点を用いたものはさほど意味を持たない．相関係数分から，式②の形が低くても，どこを改善すべきかには項目毎の指標が必要になるからである．ステーション間の信頼性指標を求めれば，ステーション数を増やしたときにどの程Ąl Ʀ ӯ

度信頼性指標が上がるかが分かるため，参考になる．

Ąl ƦƧĄl ƧӯGӯĄl ƦӥǛęƧӦ ӯ Ąl ӥǛęƧӦ ӯ ・・・式②GK（n，r はステーション数及び評価者数）で求まる．なお，― 81 ―

Volume 5 No 2―

このような分析はα係数，信頼度指数のいずれでも可Ąl Ʀ ӯï

式②において学生要因である i を含まない項を削除し標，複数の相関要因を含めた一般化可能性解析についたものが一般化可能性係数（generalizability index）ては，OSCE の信頼性向上に対して有用であり，詳述となる．一般化可能性係数は相対評価，信頼度指数はした．

絶対評価に利用すべきとされる．詳細については，文献を参照していただきたい９-11）．

文献１ ）Messick, S.（1989）. Validity. In : Educational Measurement, ３ rd edn. Ed : Linn RL. New York : American

OSCE 評点を用いた一般化可能性解析の例

Council on Education and Macmillan, 13–104.
２ ）Downing, SM.（2003）. Validity : on the meaningful inter-

表４には，受験者92名， ５ ステーション，各ステー

pretation of assessment data. Med Educ, 37 : 830–837.
３ ）Downing, SM.（2004）. Reliability : on the reproducibility

ション評価者 ２ 名の形で実施された OSCE の評点をof assessment data. Med Educ, 38 : 1006–1012.

用いた一般化可能性解析（generalizability study）の例を４ ）Hasnain, M, Onishi, H, Elstein, A.S.（2004）. Inter-rater

挙げた．ここには， ５ 種類の分散推定値やその割合がagreement in judging errors in diagnostic reasoning.
Med Educ, 38 : 609–616.

示されている．絶対評価に用いることを想定して式②５ ）Shrout, P.E, Fleiss, J.L.（1979）. Intraclass Correlations : Usesに代入すると，Φ＝0.004422/（0.004422 + 0.000804/in Assessing Rater Reliability．Psychol Bull, 86 : 420–

５ + 0.001463/ ５ + 0.000151/10 + 0.002094/10） ＝428.
６ ）Landis, J.R, Koch, G.（1977）. The measurement of ob-0.867となる．図１には，これと同じデータを用いた

server agreement for categorical data. Biometrics,決定解析（decision study）のグラフを示した．決定解

33 : 159–174.

析はステーション数や評価者数を変更したときに，信７ ）Fleiss, J.L.（1981）.Statistical Methods for Rates and Pro-

頼度指数がどう変化するかを予測するものである．例えportions, ２ nd edn. New York : Wiley, : 212–236.
８ ）Uebersax, J.（2002）. Kappa Coefficients. http : //our-ば，ステーション数 ７ ，評価者数 ２ とすれば，Φ＝world.compuserve.com/homepages/jsuebersax/kappa.

0.004422/（0.004422 + 0.000804/ ７ + 0.001463/ ７ +htm（accessed 11 October 2006）．

0.000151/14 + 0.002094/14）＝0.901となる．

９ ）Shavelson, R.（1991）. Webb, N. Generalizability Theory ;A Primer. Sage Publications, Thousand Oaks.
10）池田央．（1994）．現代テスト理論，東京：朝倉書店．

まとめ11）B rennan, R.L. （2005）. Generalizability theory, NewYork : Springer.

評価の信頼性に関する一般的な内容を，OSCE の例を中心にまとめた．特に，項目毎の評価者間信頼性指―医療職の能力開発 JJHPD― 82 ―