Анализ результатов тестирования с применением методов математической статистики

УДК 378.14

Р. Н. Черницына

АНАЛИЗ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ С ПРИМЕНЕНИЕМ МЕТОДОВ МАТЕМАТИЧЕСКОЙ

СТАТИСТИКИ

Производится статистическая обработка результатов тестирования студентов, участвующих в педагогическом эксперименте, проводимом кафедрой «Высшая математика» Самарского государственного университета путей сообщения. Построенный интервальный вариационный ряд, вычисленные наиболее важные числовые характеристики случайной величины - выборочная средняя, выборочная дисперсия и выборочное среднее квадратическое отклонение дают возможность построить гистограмму относительных частот.

По виду линии эмпирической плотности выдвинута статистическая гипотеза о нормальном законе распределения случайной величины. Для проверки этой гипотезы используется критерий Пирсона х2, состоящий в сравнении эмпирических и теоретических частот, который и подтверждает выдвинутую гипотезу. Подбор нормальной кривой распределения позволяет сделать вывод, что примерно 30 % студентов будут нуждаться в дополнительной самообразовательной деятельности для достижения удовлетворительного результата, а также построить шкалу успешности обучения.

Ключевые слова: самообразовательная деятельность, выборочное среднее, математическое ожидание, выборочное среднеквадратичное отклонение, гистограмма относительных частот, функция распределения, гипотеза, доверительный интервал, шкала успешности обучения.

Педагогические исследования, проводимые в высшей школе, показывают, что в настоящее время отсутствуют научно обоснованные и сопоставимые критерии оценки результатов наблюдений и экспериментов. Из психолого-педагогических исследований, направленных на решение задач высшей школы, следует вывод: построение теории педагогики высшей школы невозможно без перехода от субъективных качественных описаний педагогических процессов к строгим и объективным их оценкам [1].

В методике педагогических исследований существенную роль играет эксперимент, позволяющий изучать явления и процессы в строго контролируемых и управляемых условиях. Педагогический эксперимент часто является единственным способом подтверждения эффективности новой методики по сравнению с используемыми ранее. Статистические методы, применяемые к результатам педагогического эксперимента, дают возможность объективно установить степень сходства или различия исследуемых объектов на основании результатов измерений их показателей [2].

Наличие литературы по математической статистике для гуманитариев [3-7] позволяет применять ее методы в научном исследовании, что повышает его качество и практическую ценность. В данной статье статистические методы применяются для обработки и анализа результатов педагогического эксперимента по внедрению модели адаптивной профессиональной подготовки, ориентированной на приспособление системы обучения к индивидуальным особенностям обучающихся [8], что позволяет корректно и достоверно подтвердить эффективность применения данной методики.

В 2013-2015 гг. в Самарском государственном университете путей сообщения преподавателями кафедры «Высшая математика» был проведен педагогический эксперимент с использованием учебных пособий [9, 10]. Он строился на сравнении экспериментальной и контрольной групп студентов специальностей «строительство железных дорог» (СЖД) и «Экономика» (Э), которых распределили на две группы, состав которых указан в табл. 1 и 2.

Таблица 1

Состав экспериментальной и контрольной групп

по первому тесту

Группа Специальность, учебная группа Количество студентов

Экспериментальная Э-31, Э-32, Э-41, Э-42, СЖД-31, СЖД-32 170

Контрольная Э-33, Э-34, Э-43, Э-44, СЖД-33, СЖД-34 168

Таблица 2 Состав экспериментальной и контрольной групп по второму тесту

Группа Специальность, учебная группа Количество студентов

Экспериментальная Э-31, Э-32, СЖД-31, СЖД-32 120

Контрольная Э-33, Э-34, СЖД-33, СЖД-34 116

Для определения начального состояния был проведен тест, составленный по курсу школьной программы, показавший отсутствие статистически значимых различий в экспериментальной и контрольной группах. Дальнейшее обучение обеих групп проводилось по одному учебному плану но с применением разных методик: в контрольной группе использовалась традиционная методика,

в экспериментальном - инновационным подход к организации самообразовательной деятельности (СОД) на основе матричной модели познавательной деятельности. Данные по первому контрольному тесту «Линейная алгебра» в экспериментальной и контрольной группах приведены в табл. 3, данные по второму тесту «Математический анализ» -в табл. 4. Величина Ку - коэффициент усвоения учебной информации отдельным студентом

К = ^,К е[0; 11,

у N у У ' J'

где Мпр - количество правильно выполненных учебных элементов теста, N - общее количество учебных элементов в тесте.

Для удобства данные сгруппированы следующим образом: весь интервал изменения Ку разбит на 10 равных частичных интервалов длиной к = 0,1 и подсчитана частота попадания Ку в каждый из полученных интервалов.

Таблица 3

Ку в экспериментальной и контрольной группах по результатам первого теста

Группа Козе эфициент усвоения учебной инс юрмации

0,1- 0,2- 0,3- 0,4- 0,5- 0,6- 0,7- 0,8- 0,9-

0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0

Экспериментальная 0 1 1 3 10 23 61 47 24

Контрольная 1 2 2 4 17 33 57 39 13

Таблица 4

Ку в экспериментальной и контрольной группах по результатам 2-го теста

Группа Коэфс эициент усвоения учебной информации

0,30,4 0,40,5 0,50,6 0,60,7 0,70,8 0,80,9 0,91,0

Экспериментальная 0 1 3 15 31 42 28

Контрольная 2 1 5 25 41 30 12

Структура педагогического эксперимента представлена на рис. 1.

Начальное состояние

Состояние по итогам первого

Состояние по итогам второго

Эксперименталь- — Эксперименталь- IV — Эксперименталь-

ная группа ная группа ная группа

I » II ф III ф

Контрольная — Контрольная V — Контрольная

группа группа группа

Рис. 1. Структура педагогического эксперимента; I, соответствующие сравнения

Время II, IV, V -

Алгоритм исследования следующий:

1. На основании сравнения I установлено отсутствие статистически значимого различия между контрольной и экспериментальной группами.

2. Реализовано воздействие на экспериментальную группу, при этом экспериментальная и контрольная группы находились в одинаковых условиях за исключением целенаправленно изменяемых преподавателем.

3. На основании сравнений IV и V устанавливается различие скоростей изменения Ку.

Рассмотрим случайные величины:

- СВХ - Ку учебного материала отдельным студентом экспериментальной группы по результатам первого тестирования;

- СВУ - Ку учебного материала отдельным студентом контрольной группы по результатам первого тестирования;

- СВ2 - Ку учебного материала отдельным студентом экспериментальной группы по результатам второго тестирования;

- СВЖ- Куучебного материала отдельным студентом контрольной группы по результатам второго тестирования.

Введем следующие обозначения:

п - количество студентов (объем выборки): пх = 170, пу = 168, пг = 120, п„ = 116;

х„ у, г, ^^ - значения Ку в соответствующих выборках (варианты);

п, - величина, показывающая, сколько раз появлялось данное значение х, в выборке (частота варианты);

= — - относительная частота варианты; п

Я - размах варьирования СВХ; я = х - х = 1

тах Лтт А •

ь Я

к = — - шаг интервала,

где к - целое число, обозначающее количество частичных интервалов, к = 10, к = 0,1.

w.

_I

к

- плотность частоты.

Полученные в результате тестирования данные подвергаются статистической обработке [1, 11-13]. Опишем подробно статистическую обработку СВХ. Строим интервальный вариационный ряд, т. е. ранжированной совокупности вариант х,, разбитой на частичные интервалы с шагом к = 0,1, ставим в соответствие их частоты п, относительные частоты wi и плотности частот w

— (табл. 5). к

п

Таблица 5

Интервальный ряд распределения

х 0-0,1 0,1-0,2 0,2-0,3 0,3-0,4 0,4-0,5 0,5-0,6 0,6-0,7 0,7-0,8 0,8-0,9 0,9-1

п, 0 0 1 1 3 10 23 61 47 24

Щ 0 0 0,006 0,006 0,018 0,059 0,135 0,359 0,276 0,141

Щ к 0 0 0,06 0,06 0,18 0,59 1,35 3,59 2,76 1,41

0,05 0,15 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95

В последней строке табл. 5 приведены значения величины х1 - середины частичных интервалов [хх,+1]

х. + х.

х. =-

2

I

х.п.

х„ =-

Кх

Б = -

= 0,77; Хе)2П

= 0,0157;

=4йв = 0,125.

Н0: СВХ подчинена нормальному закону распределения с плотностью распределения

Г (х ) =

1

—(х—х

необходимые для дальнейших вычислений. Вычислим наиболее важные числовые характеристики СВХ - выборочную среднюю хв, выборочную дисперсию и выборочное среднее квадратиче-ское отклонение ав по формулам:

(7У[2ж

Построим линию теоретической плотности распределения / (х).

Для проверки выдвинутой гипотезы Н0 используем один из критериев согласия - критерий Пирсона х2, состоящий в сравнении эмпирических и теоретических частот. Теоретические частоты вычислим по известному алгоритму.

1. Нормируем СВХ, т. е. переходим к величине

X - х

г = :

а.

Построим гистограмму относительных частот. Соединив соседние середины верхних сторон прямоугольников гистограммы отрезками прямых, получим ломаную линию, называемую линией эмпирической плотности / *(х) (рис. 2).

По виду линии эмпирической плотности выдвигаем статистическую гипотезу Н0 о законе распределения СВХ щ

к

3,5

3 2,5 2

1,5 1

0,5 0

0,05 0,15 0,25 0,35 0,45 0,55 0,65 0,75 0,85 0,95 1,05 1,15 1,25 Рис. 2. Линия эмпирической и теоретической плотности: 1 - гистограмма относительных частот; 2 - линия эмпирической плотности f *

2. Теоретические вероятности р° попадания СВХ в интервал (х,; х+1) определим по формуле

р, -Ф{I,+1)-Ф^)

где Ф) = е 2 dx;

V 2к о

Ф (7) - функция Лапласа, находится по таблице [3, 5, 11].

3. Находим искомые теоретические частоты

п,0 = пр,0.

Результаты наблюдений П1 и вычислений п0 после объединения интервалов с частотами п1 < 5 приведены в табл. 6.

Таблица 6

Эмпирические и теоретические частоты

г 1 2 3 4 5

п, 15 23 61 47 24

0 14,773 34,136 52,207 43,52 25,364

2Вычислим наблюдаемое значение критерия

%набл

Я". - п )2

УСнабл

где 5 - число интервалов в табл. 6. - 5,468

Критическое значение критерия %кр находим по таблице «Критические точки распределения х2»

о

П

[3, 5, 11], задаваясь уровнем значимости а = 0,01. Число степеней свободы к вычислим по формуле к = 5" - 1- г, где г - число параметров предлагаемого распределения, для нормального закона их два: выборочная средняя хв и выборочное среднее квадра-тическое отклонение ав.

Итак, к = 5 - 1 - 2 = 2.

4 {к, а) = ЖкР (2; 0,01) = 9,2.

Таким^ образом получаем неравенство

%набл ^ %кр '

т. е. вычисленное значение критерия попадает в «область принятия гипотезы», следовательно, гипотеза Н0: «СВХ подчинена нормальному закону распределения» принимается.

Вообще, для определения закона распределения нужно располагать достаточно обширным статистическим материалом, порядка нескольких сотен отчетов (наблюдений) [12]. Мы же пока имеем дело со статистическим материалом ограниченного объема - 170 наблюдений, однако, поскольку гипотеза о нормальном распределении подтверждена, можно определить его неизвестные параметры, например, оценить неизвестное математическое ожидание а (среднее значение коэффициента усвоения Ку) с помощью найденной по данным выборки выборочной средней хв. Очевидно, что чем меньше разница 3 между ними, тем точнее определен неизвестный параметр.

|а - хв| < 3, где 3 > 0 - точность оценки.

Методы математической статистики не позволяют категорически утверждать, что а попадает в интервал (хв - 3, хв + 3), называемый доверительным интервалом, можно лишь говорить о вероятности у, с которой это неравенство выполняется. у - надежность оценки, пусть у = 0,95. Для нормального закона распределения имеем ( я Г \

р(|хв - а\ <8) = 2Ф= 2Ф(г).

В нашем случае Ф (?) = 0,475. По таблице значений функции Лапласа [11-13] находим ? = 1,96

и точность оценки 8 = = 0,019.

V«

Так как хв = 0,77 то доверительный интервал имеет вид (0,751; 0,789), т. е. в 95 случаях из 100 средний коэффициент усвоения Ку попадает в этот интервал.

Оценим вероятность попадания СВХ в интервал научения Ку [0; 0,7), характеризующий недостаточность в усвоении предложенной учебной информации. На этом этапе студент требует постоянного внимания преподавателя, т. е. ему необходима внешняя поддержка в виде дополнительных учебных заданий и консультаций. По известной форму-

ле вероятность попадания СВХ в заданный интервал для нормального распределения вычисляется следующим образом:

Р (а< х <р) = Ф

а

Ф

г \ а- х.

а

где а = 0; в = 0,7; хв = 0,77, ав = 0,125.

Р = 0,2977.

Учитывая полученный результат, можно сделать вывод, что примерно 30 % студентов будут нуждаться в дополнительной самообразовательной деятельности для достижения удовлетворительного результата. Подбор нормальной кривой распределения N (хв, ав) позволяет также построить шкалу успешности обучения, т. е. практически реализовать стандартные оценки [1].

Аналогичным образом можно определить вероятность попадания Ку в любой интервал (х,; х,+1). Так, для совокупности значений СВХ, попавших в интервал (хв ± 3ав) такая вероятность равна 0,9973 (правило трех сигм). Использование стандартных оценок и единичного нормального распределения N (0, 1) позволяет вычислить не только общий процент случаев, приходящихся на соответствующий интервал, но и определить, на сколько отстоит любое значение СВХ от хв. Для этого используем шкалу процентилей - равноинтервальную шкалу, в которой интервалы группируются по принципу равенства накопленных частот, и 2-шкалу, позволяющую отнести каждого обучаемого в один из четырех непересекающихся классов оценок с вероятностью 0,25, для чего весь интервал (0, 1) разбивается на подинтервалы (0; 0,387], (0,387; 0,5], (0,5; 0,613], (0,613; 1], границы которых соответствуют процентилям Р01, Р25, Р50, Р75, Р999 (шкалы 1 и 2 на рис. 3).

Кж)

-3а -2а -а 0,77 +а +2а +3а 0,1 2 16 30 70 99 Шкала

-+-

I II I I I I I II I I

1 10 20 40 60 80 90

РП1 Р25 р50 Р75

-+-

процентилеи

-+-

-+-

ч—I-

-Р

Р,

Ч—I-

-+-

999 2-шкала

-3,0 -2,0 -1,0 0 +1,0 +2,0 +3,0 (шкала 2) КлассЧ 2 3 4 5

-+-

-+-

-+-

-+-

0,387 0,5 0,613 1

Рис. 3. Шкалы и их соотношение

Для качественной интерпретации стандартных показателей шкалы отнесем каждого обучающегося в один из непересекающихся классов 2-оценок -

ж

Вестник ТГПУ

класс 2, класс 3, класс 4 и класс 5 (шкала 3 на рис. 3). Таким образом, знание закона распределения СВХ позволяет в дальнейшем проводить группировку объектов по 2-шкале с последующим переходом к балльной шкале, где все объекты исследуемой группы отнесены к конкретному классу оценок.

Аналогичные вычисления проводятся и для СВУ, СВ2, СВЖ(табл. 7).

Таблица 7

Основные числовые характеристики случайных величин У, 2 и Ж

Для подтверждения гипотезы о нормальном законе распределения СВУ, СВ2 и СВЖ вычислим наблюдаемые значения критерия согласия Пирсона %набл и сравним их с критическими значениями %кр (табл. 8).

Таблица 8

Наблюдаемые и критические значения критерия согласия х2 для случайных величин У, 2 и Ж

2 2

Во всех случаях хнабл < Хкр, следовательно, гипотезы о нормальном распределении случайных величин Y, Z, W подтверждаются.

Для иллюстрации сравнений II и III построим линии эмпирической плотности СВХ и СВУ (рис. 4) и CBZ и CBW (рис. 5).

Анализируя средние результаты первого и второго тестирования в экспериментальной и контрольной группах (сравнения II и III на рис. 1), видим, что если при первом тестировании средний результат в экспериментальной группе хв= 0,770 лучше среднего результата в контрольной группе ув = 0,721 на 6,9 %, то при втором тестировании эта разница увеличивается до 10 % (ze = 0,812, wB = 0,731), что говорит об эффективности применения предложенной методики в динамике.

В результате сравнения IV и V (рис. 1) видим, что средний результат в экспериментальной группе увеличился с хв = 0,770 до zB = 0,812, т. е. на 5,5 %, в контрольной группе с ув = 0,721 до we = 0,731 т. е. всего на 1,4 %, что безусловно подтверждает эффективность предложенной методики.

Исходя из всего вышеизложенного можно сделать вывод о целесообразности применения методов математической статистики как для оценки эффективности новых методик, так и в случае подтверждения нормального закона распределения, для построения разного рода шкал, позволяющих качественно интерпретировать количественные показатели результатов тестирования. Таким образом, описанная методика может быть рекомендована к применению для обработки и анализа результатов педагогического эксперимента в подобных случаях.

Случай- Наблюдаемое значение Критическое значение

ная критерия Пирсона критерия Пирсона

величина Ж набл х1Р

Y 8,633 11,3

Z 3,944 6,6

W 1,5 9,2

Случайная величина Выборочная средняя Выборочная дисперсия Выборочное среднеквадратично е отклонение

Y Ув = 0,721 Dy = 0,0202 av = 0,142

Z z„ = 0,812 Dz = 0,0123 az = 0,111

W w„ = 0,731 Dw = 0,0146 ow = 0,121

Рис. 4. Линии эмпирической плотности СВХ и СВУ? 1 - эмпириче- Рис. 5. Линии эмпирической плотности СВМ и СВ7: 1 - эмпирическая плотность распределения f *

Список литературы

1. Михеев В. И. Моделирование и методы измерений в педагогике. М.: Эдиториал УРСС, 2010. 224 с.

2. Новиков Д. А. Статистические методы в педагогических исследованиях. М.: М3-Пресс, 2004. 67 с.

3. Ительсон Л. Б. Математические и кибернетические методы в педагогике. М.: Просвещение, 1964. 268 с.

4. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. 496 с.

5. Грабарь М. И., Краснянская К. А. Применение математической статистики в педагогических исследованиях: непараметрические методы. М.: Педагогика, 1997. 136 с.

6. Кыверялг А. А. Методы исследований в профессиональной педагогике. Таллин: Валгус, 1980. 334 с.

7. Сидоренко Е. В. Методы математической обработки в психологии. СПб.: Речь, 2007. 350 с.

8. Рябинова Е. Н. Адаптивная система персонифицированной профессиональной подготовки студентов технических вузов. М.: Машиностроение, 2009. 258 с.

9. Рябинова Е. Н., Черницына Р. Н. Организация самообразовательной деятельности студентов при изучении кривых второго порядка. Самара: СамГУПС, Порто-принт, 2014. 204 с.

10. Курушина С. Е., Кузнецов В. П., Рябинова Е. Н., Черницына Р. Н. Формирование самообразовательных компетенций студентов при изучении матриц: учеб.-метод. пособие. 2-е изд., испр. Самара: СамГУПС, 2015. 159 с.

11. Гмурман В. Е. Теория вероятностей и математическая статистика. М.: Высшая школа, 2003. 479 с.

12. Вентцель Е. С. Теория вероятностей и математическая статистика. М.: Наука, Физматгиз, 1969. 579 с.

13. Суходольский Г. В. Основы математической статистики для психологов. Л.: ЛГУ, 1972. 428 с.

Черницына Р. Н., старший преподаватель.

Самарский государственный университет путей сообщения.

Пер. Первый Безымянный, 18, Самара, Россия, 443066. E-mail: y-abc@mail.ru

Материал поступил в редакцию 03.12.2015.

R. N. Chernitsyna

ANALYSIS OF TEST RESULTS WITH THE APPLICATION OF MATHEMATICAL STATISTICS

The article presents statistical analysis of the results of testing of students involved in the pedagogical experiment conducted by the department of "Higher Mathematics" in Samara State University of Railways. Built interval variation series calculated the most important numerical characteristics of random variable - the sample mean, sample variance and the sample standard deviation allowed to build a histogram of relative frequencies.

By type of the line of empiric density was put forward the statistic hypothesis of normal distribution of the random variable. To test this hypothesis is used the Pearson criterion consisting in comparing empirical and theoretical frequencies, which confirms the hypothesis. Selection of the normal distribution curve leads to the conclusion that about 30 % of students will require more self-educational activity in order to achieve a satisfactory result, as well as to build a scale of success of training.

Key words: self-educational activity, sample mean, expectation, sample standard deviation, histogram of relative frequency, distribution function, hypothesis, confidential interval, scale of the success of learning.

References

1. Mikheev V. I. Modelirovaniye i metody teorii izmereniy v pedagogike [Modeling and methods of measurement theory in pedagogy]. Moscow, Editorial URSS Publ., 2010. 224 p. (in Russian).

2. Novikov D. A. Statisticheskiye metody v pedagogicheskikh issledovaniyakh [Statistical methods in educational research]. Moscow, MZ-Press Publ., 2004. 67 p. (in Russian).

3. Itelson L. B. Matematicheskiye i kiberneticheskiye metody v pedagogike [Mathematical and cybernetic methods in pedagogy]. Moscow, Prosveshcheniye Publ., 1964. 268 p. (in Russian).

4. Glass Dzh., Stenli Dzh. Statisticheskiye metody vpedagogike ipsikhologii [Statistical methods in pedagogy and psychology]. Moscow, Progress Publ., 1976. 496 p. (in Russian).

5. Grabar M. I., Krasnyanskaya K. A. Primeneniye matematicheskoy statistiki v pedagogicheskikh issledovaniyakh: Neparametricheskiye metody [Application of mathematical statistics in educational research: Non-parametric methods]. Moscow, Pedagogika Publ., 1997. 136 p. (in Russian).

6. Kyiveryalg A. A. Metody issledovaniy vprofessional'noy pedagogike [Research methods in vocational pedagogy]. Tallin, Valgus Publ., 1980. 334 p. (in Russian).

7. Sidorenko E. V. Metody matematicheskoy obrabotki v psikhologii [Mathematical Methods in Psychology]. St. Petersburg, Rech Publ., 2007. 350 p. (in Russian).

BecmHUK Trm

8. Ryabinova E. N. Adaptivnaya sistema personifitsirovannoy professional'noy podgotovki studentov tekhnicheskikh vuzov [Adaptive personalized training of students of technical colleges]. Moscow, Mashinostroeniye Publ., 2009. 258 p. (in Russian).

9. Ryabinova E. N., Chernitsyina R. N. Organizatsiya samoobrazovatel'noy deyatel'nosti studentov pri izuchenii krivykh vtorogo poryadka [Organization of self-educational activity of students in the study of second-order curves]. Samara, SamGUPS, Porto-print Publ., 2014. 204 p. (in Russian).

10. Kurushina S. E., Kuznetsov V. P., Ryabinova E. N., Chernitsyina R. N. Formirovaniye samoobrazovatel'nykh kompetentsiy studentov pri izucheniimatrits: ucheb.-metod. posobiye [Formation of self-education competencies of students in the study of matrices: teaching aid]. 2-e izd., ispr. Samara, SamGUPS Publ., 2015. 159 p. (in Russian).

11. Gmurman V. E. Teoriya veroyatnostey i matematicheskaya statistika [Theory of probability and mathematical statistics]. Moscow, Vyisshaya shkola Publ., 2003. 479 p. (in Russian).

12. Venttsel E. S. Teoriya veroyatnostey imatematicheskaya statistika [Theory of probability and mathematical statistics]. Moscow, Nauka, Fizmatgiz Publ., 1969. 579 р. (in Russian).

13. Sukhodol'skiy G. V. Osnovy matematicheskoy statistiki dlya psikhologov [Basics of mathematical statistics for psychologists]. Leningrad, LGU Publ., 1972. 428 p. (in Russian).

Chemitsyna R. N.

Samara State University of Railways.

Per. Pervyy Bezymyannyy, 18, Samara, Russia, 443066.

E-mail: y-abc@mail.ru