広島工業大学紀要研究編
第 54 巻（2020）149-154

論

文

テストの点数のゆらぎについて廣瀬

英雄＊（令和元年 ９ 月18日受付）

On Fluctuation of Score of Examination
Hideo HIROSE（Received Sep. 18, 2019）

Abstract
Comparing the results of placement tests and final exams performed in a class, it has beencommon to see the whole aspect and investigate the correlation between them. It seems that little
has been studied whether useful information can be obtained. In other words, the scores xi and yiof the student i in the class are only the simultaneous samples of the random variables X and Y,
and the relationship between xi and yi was not deeply investigated. However, a score of student A isgoverned by A’s ability and proficiency level, and it is normal to think that there will be bounded
fluctuations. In other words, the range of variation of xi is not defined in the domain of X, but ismore limited. In this paper we pursue such a matter.
By doing this, it is possible to observe fluctuations in test scores under various conditions, whichcannot be eliminated due to the form of the test (descriptive or multiple choice) among teachers. Itis also possible to extract variations due to teaching manners of teachers. Here, the basic idea todeal with such things is described.
Key Words: f luctuation, learning check testing, computer based testing, multiple-choice paperquestions, description type questions, item response theory, end-term examination.

１

れているのかはなはだ疑問である。

はじめに

例えば、全く同じようなテストを続けて ２ 回受けるとす

実に奇妙なことに、ほとんど誰もが、テストを受けた点る。このとき、 １ 回目で合格したとき、 ２ 回目でも合格す

数はさも絶対かのように、テストの結果に従って異議を唱るチャンスはどの程度なのだろうか。 ２ 回目では失敗するえない。ただ一度しか受験しないテストで、その点数が60ことも、合格することももちろんある。つまり、テストの点以上は合格、59点以下は不合格、というように。それは、点数はゆらいでいると考えられる。その原因は説明変数（共これ以上に公平感を持たせる説得性のある方法論がないか変量）によって説明されるものもあるだろうし、純粋に確らである。ただし、失敗したとき、ほとんど皆、今回はチャ率的変動だけに由来するものもあるだろう。いろいろ考えンスがなかっただけだと気がついており、結果についてはられる。こういうことを理論的に把握していないと、 ２ 回合理的にあきらめて受け入れている。しかし、その程度に目でも合格するチャンスはどの程度なのだろうか、というついて、どのくらいの人たちが理解してこのことを受け入ような問いにはなかなか応えられないのではないだろうか。

＊

広島工業大学データサイエンス研究センター & 環境学部建築デザイン学科― 149 ―

廣瀬英雄

あるいは、数学 I のテストの点数と数学 II のテストの大きく伸びた学生にインタビューしたところ、海外への留成績の相関はどうなっているのだろうか、ということはよ

学を契機に勉強の意欲が湧いたとか、さまざまな動機によく取り上げられているが、その実態はきちんと把握されてる個人的な取り組みの姿勢が大きく影響しているようでいるのだろうか。相関係数だけで議論が進められていないあった。逆に、スコアを下げた学生のその理由は、入学試だろうか。

験のための勉強のインセンティブがなくなった、という

ここでは、このような、テストの点数のゆらぎについてケースが少なくなかった。

考えてみたい。このことを理解することによって、日常の行動がテストの点数に支配されることがなくなり、更には、より適切なテストの結果の使い方までを考えることができると思われる。

２

TOEIC を ２ 回受験したときの点数
図 １ は、大学に入学してすぐに入学生全員が受験したTOEIC の点数と、同じ学生の約 １ 年後の TOEIC の点数を比較したものである。図の左は2006年の １ 年生と2007年の ２ 年生、右は2007年の １ 年生と2008年の ２ 年生である。
大学に入って英語の授業を受けているはずなので １ 年後には TOEIC の点数も上がっていることが期待される。
しかし、実際には、2006年入学生の平均は19点上がって図２

 一人物が ２ 回 TOEIC を受験したときの同１ 回目と ２ 回目のスコアの関係（ １ 回目は大学入学直後、 ２ 回目は ３ 年後）いるものの、個々の学生の点数はかなり変動しており一概に １ 年後点数が上がっているとは言えない。個々の学生の両者間の差の標準偏差は72点程度にもなる（2006年での標３準偏差は82点、2007年での標準偏差は85点）。相関係数は２ つのテストの点数の確率変数の取り扱い０．63程度である。2007年入学生の場合の同様である。なお、相関を持つ ２ 変量の確率変数を表すとき、確率変数 X当時の ETS に確認したところ、同一人物が実力の上下がと確率変数 Y が同時分布関数 F（x，y）に従い、同時密度ない状態で複数回受験する場合の点数のぶれはおよそ50点関数 （f x，y）を持つ、というように考えることが多い。例と見込んでいるとのことであった。

えば、数学 I のテストの点数を X、数学 II のテストの点つまり、TOEIC のような、社会的には評価値に比較的数を Y とするように。数学 I のテストの点数が高ければ絶対的な信頼度が持たれているものでも、テストの点数に数学 II のテストの点数もある程度高いことが予想され、はゆらぎが発生しており、その大きさまで観測されている。

相関係数は例えば０．７というような関係を想定することだろう。
図 ３ は、大学入学直後に入学してきた学生全員に受けてもらったプレースメントテストで、数学 IA を中心とした問題（PTA と呼ぶ）に対応したテストの点数と数学 IIBおよび数学 III までを中心とした問題（PTB と呼ぶ）に対応したテストの点数の関係をプロットしたものである。学生数はおよそ1100人。数学 IA の問題は暗記型の問題ではなくよく考えないと解けない問題になっており、数学 IIBおよび数学 III の問題はその分野の知識を問うどちらかといえば暗記型の問題になっている。両者の間には正の相関

図１

 一人物が ２ 回 TOEIC を受験したときの同１ 回目と ２ 回目のスコアの関係（ １ 回目は大学入学直後、 ２ 回目は １ 年後）があることは期待される。相関係数を計算すると０．72となっている。
通常、このような前提に立って議論が進められることがちなみに、大学入学後 ３ 年経った時点でどうなっている多い。さて、ここで、X、Y のある観測値 xi yi の値は何をかを調べた結果が図 ２ である。点数が大きく伸びている学表しているかと言えば、もちろん i 番目の学生の数学 IA生が幾人かみられるものの大半はあまり変わっていない。のテストの点数 xi 、数学 IIB および数学 III の点数 yi である。

― 150 ―

テストの点数のゆらぎについてA 君のテストの点数は、仮定されている X、Y の同時能力値（IRT の ability 値）が観測される。つまり、 ２ 変分布に従う分布から抜き出されたものとみなす、と考える。

量正規分布のような形にはなっていない。図 ４ ではこのこ

ここで、現実のデータからモデル（同時分布確率モデル）とは明瞭には見えていないがサンプル数が少ないためで、に移行する間には捨象化あるいは抽象化が入って、両者は実際には同様な現象が起こっていると思われる。このこと異なるものであるというのはわざわざ断らない。

は何を示しているのだろうか。

さて、現実的な場面では A 君の実力というものを想定することがある。例えば、A 君は普段よくできる、あるいはあまりできない、といった具合に。このとき、A 君のサンプルを先の同時分布からどうやって自然に拾うことができるだろうか。xi yi は分布の頻度にそってランダムに選ばれるだけで、特に A 君の個性を感じて選ばれている訳ではない。何か足りない、と感じる。

図４

 TA の22問の回答結果で、奇数番目の問題（１−21）11個Pを集めたときの成績と偶数番目の問題（２−22）11個を集めたときの成績の比較

図５P TA と PTB の77問の回答 結 果で、奇 数 番目の問題（１−75）36個を集めたときの成績と偶数番目の問題（２−76）36個を集めたときの成績の比較

図３

２ つのプレースメントテスト結果のスコアの関係（PTA：数学 IA で主に考える問題を出題、PTB：数学 IIB と数 III で主に知識を問う問題を出題）

ここで、 １ つの仮想データを考えてみよう。図 ４ は、図３ で用いた PTA の22問の回答結果で、奇数番目の問題を集めたときの成績（項目反応理論、IRT、を用いている）と偶数番目の問題を集めたときの成績を比較したものである。同じ人が同じような難易度の問題を同じ条件下で受験したときでも、両者の間には大きな開きがあることがわかる。これは、図 １ 、 ２ で示したような ２ つのテストの点数の比較とは異なり、点数のばらつきへの影響条件はかなり削減されていると考えられるが、やはり点数にゆらぎがあ
A 君は普段よくできる、あるいはあまりできない、とる。
図 ５ は、図 ４ と同様な比較を行ったものであるが、対象いうことについて、もう一度考えてみる。A 君は、仮定を PTA のみから、PTA と PTB の両方を使っているので、した確率分布（例えば ２ 変量正規分布）から抽出されたサ問題数はおよそ ３ − ４ 倍になっている。図 １ − ３ とは異なンプルというよりは、A 君の能力値（習熟度）というのり、X ＝ Y の線の上を中心に同じような幅でばらついたはある程度固定されていて、観測される値は、固定された― 151 ―廣瀬英雄

値を中心に、そのまわりを一定のランダムな確率変数の挙の観測値として考えることができる。この場合、ability を動に従って動く値に加算したもの、と考えることはできな

推定する際には、いろいろな共変量の影響を受けているもいだろうか。のが自然に含まれていると考えてよい。ただし、θi の分

図 ６ は、そのような仮説に従ったシミュレーションデー

布には普通標準正規分布が仮定されている。

タから作られた ２ つのテストの成績を比較したものであ

それに対して、図 ４ 、５ のように考えた場合のゆらぎは、る。ここで、学生の能力を p（ p＝０．１，０．２，，，，０．９）とし（言共変量の影響を取り払った確率的変動だけが観測されていい換えると、学生が問題を解ける確率が p である）、問題ると考えることもできる。

数を100問与えたときの正答数を成績と解釈している。

そうすると、 ２ つの異なったテストの間で観測されるゆらぎと、 ２ つのほぼ同様なテストを単独に続けて ２ 回行なったと仮定したときのゆらぎから、 ２ 回のテストの間にどのような発展（あるいは衰退）があったのかを推測することができる可能性がある。

４

教員の評価バイアスとその除去
これまでの例では、テストの採点はすべてコンピュータが行なっており、教員などのヒトの手は借りていない。しかし、200人くらいのクラスでは、クラスを分割して同じ内容を教える場合があり、例えば ３ 人の教員が担当する際に、教員間で、教えることの優劣の差異、評価の差異が発生し、それが（図 ４ − ６ のような確率的変動を受けない）学生が本来持っている能力値を変えて観測しているかもしれない。
例えば、図 ７ は、200人程度のクラスを、100点満点のプ
図６

 生の能力を p（p＝０．１，０．２，，，，０．９）と仮定し、シミュ学
レーションデータから作られた ２ 回のテストの成績の比較

レースメントテストの結果によって、上位 ２ クラス（プ

図 ５ 、 ６ は非常によく似ており、仮説の妥当性を示唆しメントテスト50点未満）の ４ つのクラスに分割したときのている。このことから、学生の ability というのはある確

上位 ２ クラスでの、１ ）プレースメントテストの成績、２ ）率分布に従っていると考えてよいが、個々の学生の ability

LCT の ability 値、 ３ ）期末試験の成績（＠、A、B、C、は異なった平均を持っており、学生個々のテストの点数はD の ５ 段階）の関係を見たものである。

レースメントテスト50点以上）、下位 ２ クラス（プレースそこを中心に確率的にゆらいでいる、つまり、X１，，，，，Xn のちらばり具合はある確率分布（例えば一様分布）に従い、各 Xi が観測された値 xi には、ある値に一定の確率変動（例えば ２ 項確率誤差）が加わっていると考えることができる。クラス全体を見る確率変数としては、X＝（X１，，，，，Xn）、といった多変量の分布を考える方が適切であるかもしれない。
一方、現代テスト理論では、はじめからテスト問題の難易度と受験者の能力の両方を未知数とし、尤度方程式を解いてそれらを求める、という形をとっている。尤度原理を用いているので、求められた推定値の信頼度も求められる。つまり、A 君の能力値はある程度固定された点θi として固定され、その値のばらつきは尤度方程式を解く際に出てくる Fisher の情報量から求められる。つまり、正規分布近似としたときの標準偏差から求められる。従って、ability 値θi のゆらぎが求められることになる。図 ４ 、 ５でドットで示されているものは、θi のまわりをゆらぐ点― 152 ―

図７

 レースメントテストの成績、LCT の ability 値、期末試
プ
験の成績（＠、A、B、C、D の ５ 段階）の関係（期末試験は筆記型で教員がそれぞれ採点）テストの点数のゆらぎについて図を見ると、プレースメントテストの成績と LCT のability 値の分布は ２ 人の教員間でそれほど変わらないが、最後の期末試験の成績は大きく異なった分布になっていることが分かる。これが、教えることの優劣の差異、評価の差異にあたる。少なくともヒトの手による評価値についてはバイアスを除去したい。
そこで、期末試験も多肢選択型の問題にしてすべてをコンピュータによって処理してみた。その結果が図 ８ である。LCT と期末試験では IRT を用いている。比較のために同じ内容を用いたいが、同じ内容について ２ 回の試みを行うことはできないので、別の試験になっている。200人程度のクラスを、プレースメントテストの成績をもとに、
図10

同じような分布を持つクラスを ３ つ編成し、そこで、 １ ） CT トレンドをもとにした学期半ばでの期末試験合格予L
測結果と期末試験の成績（ability 値）の関係（横軸は合格予測結果、期末試験の成績）

プレースメントテストの成績、 ２ ）LCT の ability 値、 ３ ）期末試験の成績（＠、A、B、C、D の ５ 段階）の関係を見てみた。
３ 人の成績評価は分布上あまり異なっているようには見えない。つまり、教えることの優劣の差異、評価の差異ともに、それらのバイアスが除去されているように見える。
同じような期末試験を ２ 回受験したと仮定して両者を比較することもできる。 １ 回目は期末試験の結果そのもの、２ 回目は仮想的に bootstrap シミュレーションによって生成された結果を用いることができる。その結果を図 ９ に示す。
図８プ
 レースメントテストの成績、LCT の ability 値、期末試験の成績（ability 値）の関係（期末試験は多肢選択型でコンピュータが一括採点）

図 ８ の分布から図 ９ の分布を差し引いたものが教員による教えることの優劣の差異によるゆらぎになる可能性がある。実際に、 ３ 教員それぞれについて、LCT トレンドをもとにした学期半ばでの期末試験合格予測結果と期末試験の結果を比較すると ３ 教員の間には相違が見られる。図10にそれを示す。これを一括して見ると確率的変動以外のゆらぎにつながっているように思われる。

5

まとめ
これまで、クラスで行なったプレースメントテストと期末試験の結果を比較する際、全体をまとめて表示して両者間の相関を見ることはよくあったが、それ以上立ち入って、両者間から何か有用な情報が得られるかどうかについてはあまり調べられていなかったと思われる。つまり、クラスの学生 i の成績 xi と yi は確率変数 X と Y の同時分布というだけで、xi と yi の関係についてはそれらの性格を問うことはしなかったということである。しかし、A 君の成績は、
図 ９ 期末試験の成績（ability 値）の関係（横軸は期末試験の結果そのもの、縦軸は bootstrap シミュレー
ションによって生成された結果）

A 君の能力や習熟度に支配されており、大きく変動することはないと考えるのが普通である。つまり、xi の変動範
囲は、X の定義域ではなく、それよりもっと限られている。
― 153 ―

廣瀬英雄

30, 2018．

ここではそのことについての問題提起を行なっている。
そうすることで、さまざまな条件下でのテストの点数の５ ）Hideo Hirose, Meticulous Learning Follow-up Systems

ゆらぎを観測する可能性ができて、除去できない確率的変for Undergraduate Students Using the Online Item

動、試験の形態（記述式か多肢選択式か）による変動、教Response Theory, ５th International Conference on

員間の教え方による変動を抽出することもできる。ここでLearning Technologies and Learning Environments(LTLE2016), pp. 427-432, 2016.

はそのことができる基本的な考え方について述べた。

文６ ）Hideo Hirose, Difference Between Successful and献

Failed Students Learned from Analytics of Weekly１ ）廣瀬、ラーニングアナリティクス：LCT 成績と期末試
験成績の関係、広島工業大学紀要教育編、pp. 59−63,

Learning Check Testing, Information Engineering
Express, Vol 4, No １, pp. 11-21, 2018.
７ ）Hideo Hirose, Prediction of Success or Failure forVol. 18, 2019．
２ ）廣瀬、大規模オンラインテスティングから得られるラー

Examination using Nearest Neighbor Method to the

ニングアナリティクス、広島工業大学紀要研究編、Trend of Weekly Online Testing, International Journal

pp. 159−166, Vol. 53, 2019．

of Learning Technologies and Learning Environments３ ）廣瀬、大規模授業支援テスティングシステムとそのラー
ニングアナリティクス、統計数理、Vol. 66, No. １ , pp.

(IJLTLE), Vol ２, No １, pp. 19-34, May 31, 2019.
８ ）H ideo Hirose, Key Factor Not to Drop Out is toAttend Lectures, Information Engineering Express,

79−96, 2018．
４ ）廣 瀬、ラーニングアナリティクス指向学習支援、コン
ピュータ＆エデュケーション（CIEC）、Vol. 45, pp. 23−― 154 ―

Vol ５, No １, pp. 11-21, May 31, 2019.