質問: 教えてください。 正規分布していない or 世紀分布しているか怪しい状態で、試験の成績などのばらつきを偏差値で表すことに、意義はあるでしょうか? 正規分布でなければ偏差値が使えないのではなく,正規分布でなければ例えば「偏差値40~60が全体の約68%をカバーする」などと言えないだけだ、と書かれたwebページを見て、確かにそうだと思いました。 では、たとえば正規分布しているか怪しい状態、たとえば50人程度の少数の塾で模擬試験を行い、成績を偏差値で表したします。 その偏差値には「塾の講師として指導するための実務的な意味で」あっても、意味はない、と考えるべきでしょうか? 「50人という少人数の試験結果だから偏差値自体に誤差のようなものがあるが、生徒の学力を大まかに把握して、指導方針を立てる」というような使い方をしても良いものでしょうか?
回答: 塾講師経験者です。 塾テストだとしたら、テスト問題が教えた範囲のどこをカバーしてるかを チェックすることから始めないとね。タグチメソッドみたいなもんです。 生徒のどんな成績指標を評価しようとしているのかまえもって考えるべき テストが教えた範囲からズレているようだと成績分析しても自己満足です 採点が◯/(チェック)の1/0しか評価されない問題はココを怠ったら分析できない。 そして問題自体が成績分布が正規表現になる問題かの検証が必要ですね 生徒群に合わせた標準的な問題に仕上がってる場合は今までの実績から ほぼ正規分布からサンプリングしたのと同等という判断が出来るはず ぎゃくに成績分布が正規分布から大きく外れてしまうというのは 問題自体が対象生徒群に対して適切では無かった証拠だと考えられるので テスト結果自体の信頼性が低く、そこでの偏差値も価値が薄いです。 (社会のなかでの偏差値と一致する保証が低い偏差値導出には意味はない) 問題ごとの生徒間の正誤の相関係数とって偏っているならテスト出題範囲も 偏ってる。歴史の問題で戦国時代の問題だけ出して成績みてるようなもの。 つまり正規分布ではない結果を無理に解析しようとするよりは 成績が正規分布になるような適切なテスト問題を設定するところに 注力すべきだと思います。 問題文がよく理解できなくて成績が悪い生徒なんてごまんといますし 設問内容がおなじで問題文をかえるだけでテスト結果かわるのも常識かと。