Модели и процедуры измерения и оценивания результатов критериально-ориентированного тестирования

Туровская А.О. Модели и процедуры измерения и оценивания результатов критериально-ориентированного..

Literature

1. Alexandrov, J. I. Learning and memory: system prospect// Simonov second readings / Ed. I.A Shevlev, etc. - Moscow, 2004. - P. 3-51.

2. Anisov, A. M. Properties of time // Logic researches. Fascicle 8. — Moscow, 2001. — P. 5-25.

3. Ashmarin, I. P., Kruglikov, R. I. Peptide, training, memory (polyfunctionality principle) // Neurochemistry, 1983. — book 2. — № 3.

4. Batuev, A. S. Physiology of the high nervous activity and sensing systems : Textbook for high schools. — St.-Petersburg, 2005.

5. Verbitsky, A. A. Active training in the high school: the contextual approach. — Moscow, 1991.

6. Verbitsky, A. A. New educational paradigm and contextual training. — Moscow, 1999.

7. Grechenko, T. N, Sokolov, E. N. Neurophysiology of memory and training // Mechanisms of memory. — Leningrad, 1987. — P. 132-171.

8. Grechenko, T. N. Psychophysiology of memory // Bases of psychophysiology / Under the editorship of J. M. Aleksandrov. — Moscow, 1997.

9. Danilova, N. N. Psychophysiology : Textbook for high schools. / N.N. Danilova — M, 2004.

10. Kiseleva, O. O. Time and pedagogical reality // the Person in pedagogy and psychology. — Petropavlovsk-Kamchatka, 2001.

11. Kozyrev, N. A. About possibility of the experimental research of time properties / Kozirev N.A. The favor works. — Leningrad, 1991.

12. Maklakov, A. G. General Psychology : Textbook for high schools. — St.-Petersburg, 2004.

13. Rean, A. A, Bordovskaja, N. V., Ro%um, S. I. Psychology and pedagogy. — St.-Petersburg, 2008.

14. Smirnov, V. M, Budilina, S. M. Physiology of sensing systems and higher nervous activity : Manual for students of high educational institutions. — Moscow, 2003.

15. Strelnikova, J. J., Solntsev, V. O. Anatomy of central neural systems: Manual. — St.-Petersburg,

2009.

16. Ukhtomsky, A. A. Dominant. — St.-Petersburg, 2002.

17. Grzywacz, N. M., Burgi, P. Y. Toward a biophysically plausible bidirectional Hebbian rule / / Neural Comput. — 1998, Apr.1; 10 (3). — P. 499-520.

18. Mark, R. Sequental biochemical steps in memory formation: evidence from the use of metabolic inhibitors / / Brain mechanisms in memory and learning: from the single neuron to man / Ed. / M.A.B. Brazier. — N.Y., 1979. — P. 197-215.

19. Nader, K Response to Arshavsky: Challenging the old views // TINS. 2003. — V 26. — P. 466-468.

20. Squire, Larry R., Kandel, Eric R. Memory: From Mind to Molecules Publisher: W H. Freeman Company Pub. — January 1998. — P.19

1 Работа выполнена при поддержке Российского гуманитарного научного фонда (РГНФ), грант 08-06-00799а.

2 Синапс (от греч. synapsis — контакт) — это специализированные структурные соединения между клетками (в данном случае — нейронами), обеспечивающие возбуждающие, тормозные и трофические влияния между ними.

3 Медиатор — химическое вещество (ацетилхолин, норадреналин, серотонин, дофамин, g-аминомасляная кислота и др.), образующееся в теле нейрона или в нервном окончании, необходимое для передачи сигнала в синапсах.

4 Нейропептид — химическое вещество белковой природы, синтезируемое в нейроне.

УДК 371.322.8 А.О. Туровская*

Модели и процедуры измерения и оценивания результатов критериально-ориентированного тестирования

В статье рассмотрены недостатки существующих методов оценки результатов критериально-ориентированного педагогического контроля знаний и предложены модели и процедуры, обеспечивающие объективность, дифференцированность и критериальную валидность оценки результатов тестирования знаний.

Ключевые слова: критериально-ориентированное тестирование, педагогическое измерение и оценивание результатов, независимые и вложенные тестовые задания.

* Туровская, Алиса Олеговна, младший научный сотрудник ЗАО "Фирма "Пассат"; г. Санкт-Петербург, ул. Разводная, д. 15, тел. (812) 427-20-21.

* Turovskaya, Alisa, Junior colleague of "Passat Firm" JSC (Scientific and Manufacturing Company «Passat», closed-type JSC), Sankt-Petersburg, Razvodnaya, 15.

Психология

A.O. Turovskaya*. Model and procedures of measurement and estimation of results of the criterion-referenced testing.

In article lacks of existing methods of an estimation of results of the criterion-referenced pedagogical control of knowledge are considered and models and the procedures providing objectivity, distinctiveness and concurrent validity estimations of results of testing of knowledge are offered.

Keywords: the criterion-referenced testing, pedagogical measurement and the estimation of the results independent and enclosed test task.

Педагогическое тестирование определяется как «один из наиболее стандартизованных и объективных методов контроля и оценивания знаний, умений и навыков испытуемого, который лишен таких традиционных недостатков других методов контроля знаний, как неоднородность требований, субъективность экзаменаторов, неопределенность системы оценок и т.п.» [1].

Однако указанное положение об объективности педагогического тестирования не может быть полностью распространено на критериально-ориентированные тесты, позволяющие оценить уровень подготовленности (учебных достижений) испытуемых в конкретной предметной области по не связанному с процедурой тестирования внешнему критерию. Так, из основных форм закрытых тестовых заданий в современных компьютерных системах тестирования (КСТ) объективно оцениваются только задания в форме «одиночный выбор», когда испытуемый должен выбрать один вариант ответа из нескольких предложенных. В остальных формах заданий процедура объективного измерения результатов тестирования заменяется процедурой субъективной идентификации этих результатов по правилам, установленным преподавателем или разработчиком теста. К таким формам закрытых критериально-ориентированных тестовых заданий относятся:

1) форма «множественный выбор», когда испытуемый должен выбрать несколько вариантов ответа из нескольких предложенных;

2) форма «соответствие», когда тестируемому нужно упорядочить два списка таким образом, чтобы они соответствовали друг другу;

3) форма «упорядоченный список», когда тестируемому нужно упорядочить список в определенном порядке.

Для формы «множественный выбор» В.С. Аванесов в [2] рекомендует за полностью правильное решение дать три балла, за каждую ошибку снимать один балл. Если ошибок больше трех, то давать 0 баллов. М.Б. Челышкова [3] рекомендует за полностью выполненное задание с выбором нескольких верных ответов давать 1 балл и 0 баллов за хотя бы один неверный ответ. В.Ю. Переверзев в [4] описывает метод «частичного балла» (partial credit), в котором за каждый правильно выбранный ответ дается 1 балл, за неправильно выбранный ответ — 0 баллов. Штрафные баллы в этом методе не предусмотрены. По мнению В.С. Кима [5], использование заданий с выбором одного верного ответа предпочтительней, и лучше заменять одно задание с выбором нескольких верных ответов на несколько заданий с выбором одного верного ответа. Аналогичные рекомендации имеют место и в отношении тестовых заданий в формах «соответствие» и «упорядоченный список».

Для устранения указанных выше недостатков процедур измерения результатов критериально-ориентированного тестирования в КСТ предлагается использовать данные теории распознавания образов [6]. Приступая к изложению предлагаемых методов измерения и оценивания результатов выполнения критериально-ориентированных тестов в формах «множественный выбор», «соответствие» и «упорядоченный список», необходимо отметить, что как перечисленные формы закрытых тестовых заданий, так и производные от них формы, как показано в [9], могут быть сведены к двум базовым формам: множество (неупорядоченное множество) элементов или список (упорядоченное множество). Поэтому дальнейшее описание предлагаемых процедур измерения и оценивания результатов критериально-ориентированного тестирования приводится в отношении последних двух базовых форм тестовых заданий.

Постановка задачи оценки ответа типа «Множество». Пусть дано множество МО (рис. 1), характеризующие ответ испытуемого, и множество Мэ, характеризующие эталонный ответ.

С д/' ( K=Л/ пМ. V J

Рис. 1. Диаграмма Эйлера-Венна для множеств V, M , МЭ

Туровская А.О. Модели и процедуры измерения и оценивания результатов критериально-ориентированного.

Пусть для Мр М, выполнено условие

_

где: V- {й.} (/= 1,у; V < оо), М0 = {а,}(/ = \,п, п < у), Мэ = {<з,}(/ = 1 ,т,т<\).

Требуется оценить ответ испытуемого в традиционной 4-балльной шкале.

Решение задачи. Оценим расстояние г между множествами М0 и Мэ. Для этого введем следующую метрику: 1) г = [0,1]; 2) г = 0, если М0 и Мэ состоят из одних и тех же элементов, т.е. эквивалентны М0  Мэ (если М0 = 0 и Мэ = 0,то М0  Мэ); 3) г = 1, если МопМэ=0;4)О<г<1, если М0 п Мэ * 0.

Тогда расстояние между М0 и Мэ может быть определено как

1 * , *

г = г =1--= 1--;

МН 1 7 5

/ М + П-Л г ^

г = 0 при т-п~ 0

где: /4 - число элементов в подмножестве АТ = М0 (Л Мэ (число одинаковых элементов в М() и Мд), I — п + т — к — число элементов в подмножестве Ь =М0 иМэ (общее число неповторяющихся элементов подмножеств М0 и М,^.

В теории системно-информационного анализа [7] введено понятие неупорядоченности как меры различия какого-либо выбранного параметра х. в отношении эталона порядка х , которая стремится к нулю при х.—>х . Оценка (2) соответствует этому понятию, что позволяет организовать процедуру оценивания измеренных результатов по схеме, предложенной А.Н. Печниковым в [8]:

1. Абсолютная неупорядоченность ответа испытуемого оценивается как:

Ч = *

2. Рассчитывается оценка испытуемого в традиционной 4-балльной шкале:

5

^ = 1о§2

Че,Р, + ЯР2 + ЧуогРъ '

где: qв — величина q, соответствующая оценке «отлично»; q — величина q, соответствующая оценке «неудовлетворительно»; S = 25^ = 32^ — коэффициент, адаптирующий количественное выражение балла оценки к традиционной 4-балльной шкале; р1,р2,р) — ОД — логические операторы (Д = 1 при ^ < qвp2 = 1 при q^! <ц< р} = 1 при q >

В области определения оценки г < г < г формула (4) примет вид:

Применение формул (2-5) обеспечивает возможность настройки балла оценки на систему предпочтений преподавателя за счет изменения q¡¡ или

Постановка задачи оценки ответа типа «Список». Пусть выборочные ответы Х0 вида «Список» и соо тветствующий им эталон Хэ определены на исходном множестве V следующим образом:

Г = ХэиМ;

(Хэ={а],а2,...,ап...,ак})л

Хэ=рк =

^ 1, 2, ..., /,..., к ^

МФр'

'11

1, 2, ..., и,..., 5 |

(/ = 1, Л);

Необходимо определить оценку ЛГ(Х0, X^ ответа X испытуемого в традиционной 4-балльной шкале.

Решение задачи. Для решения подобных задач применяется метод Кендалла [6], который обеспечивает получение оценок г — [0,1], соответствующих понятию расстояния (но работоспособен только при одинаковых числе и номенклатуре элементов в списках), и метод Фора (работоспособен при любом наборе элементов, но неоднозначен и исключает нормирование оценок, т.е. их представление в традиционной 4-балльной шкале). Предлагается метод, базирующийся на модели (2) оценки ответа типа «Множество», методе Кендалла и процедуре создания пустых элементов, применяемой в методе Фора.

В соответствии с (6) список Х0 может содержать элементы вида Ьи, на которых не может быть определено отношение порядка. Поэтому в общем случае расчет оценки ЛГ(Х(), Х.^ предлагается производить в четыре этапа.

Этап 1. Оценка неупорядоченности q¡ (X , Х.^) ответа испытуемого (списка Х0) относительно эталона (списка Х^) по номенклатуре элементов. Списки ХГ) и Хэ рассматриваются как неупорядоченные множества, а неупорядоченность их номенклатуры оцешгвается по формулам (2, 3).

Этап 2. Оценка неупорядоченности (Х(), Х^) ответа испытуемого (списка Х(>) относительно эталона (списка Х,^ по упорядоченности элементов.

Психология

В соответствии с (6) списки Х() и X. имеют вид

X0={afbt},-

1, k —

0' = U),

Хэ=Рк =

Kat,a2,...,ar..,akJ

где: i = 0,t(t<k), u = 0,g(g<s).

Произведем в списке Х0 замену всех элементов вида bи на пустой элемент 1 (процедура, применяемая в методе Фора), обладающий свойством

Va

В случае к < п — t + ¿дополним список X, элементами ..., д, равными 1, а в случае к> п — t + J — список Х0 элементами д..., ае равными L Списки Х() и Х0 примут вид перестановок, которые имеют одинаковый состав элементов, а значит, могут быть корректно оценены по методу Кендалла:

1. Определяются коэффициенты сравнения:

+1 при хи>х,к

ЛИ~] при *»<х*, где / < к.

0 при хи=х1к

2. Рассчитывается расстояние (нормированная оценка Кендалла):

Г = --

2 п(п-\)ик v 7

Оценка rJX(), Х;)) по формуле (11) формально и по смыслу соответствуют понятию 1геупорядоченности, откуда в соответствии с (3) q2(X0, X^ = г .

Этап 3. Оценка общей неупорядоченности q — f (qp q^ ответа испытуемого (списка X) относительно эталонного ответа (списка Х^.

Общая неупорядоченность ответа вида «Список» определяется как

q = 1 -

Этап 4. Определение оценки выборочного ответа типа «Список» в традиционной 4-балльной шкале. Оценка рассчитывается путем подстановки в (4, 5) значения q, определенного по (12).

Список литературы

1. ОСТ Т 1.1. Педагогические тесты, термины и определения. Отраслевой стандарт (первая редакция). — М.: Министерство образования РФ, 2001. — 13 с. (с сайта http://bank.orenipk.ru/).

2. Аванесов, B.C. Форма тестовых заданий. — М.: Центр тестирования, 2005. — 156 с.

3. Чеяъшкова, М.Б. Теория и практика конструирования педагогических тестов : учебное пособие. - М.: Логос, 2002. - 432 с.

4. Переверзев, В.Ю. Технология разработки тестовых заданий : справочное руководство. — М.: Е-Медиа, 2005. - 265 с.

5. Ким, В. С. Тестирование учебных достижений: монография. — Уссурийск: 11здательство УГПИ, 2007.-214 с.

6. Фор, Л. Восприятие и распознавание образов / пер. с фр. / под ред. Г.П. Катыса. — М.: Машиностроение, 1989. — 272 с.

7. Горский, Ю.М. Системно-информационный анализ процессов управления. — Новосибирск: Наука. Сиб. отд-ние, 1988. — 268 с.

8. Печников, А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. — Петродворец: ВВМУРЭ, 1995. — 326 с. (с сайта http:// pedlib.ru/).

9. Карпова, II.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах : дис. ... канд. техн. наук. — М.: МГИЭМ, 2002. — 239 с.

Literature

1. Pedagogic tests, terms and definitions. Branch standard (the first edition)) — Moscow, 2001.

2. Avanesov, V. S. Form of test tasks - Moscow, 2005.

3. Tchelyshkova, M. B. Theory and practice of pedagogical tests constructing. — Moscow, 2002.

4. Perever^ev, V. J. Technology of test tasks constructing. — Moscow, 2005.

5. Kim, V..S. Testing of study achievements. — Ussurijsk, 2007.

6. For, A. Perception and recognition of images. — Moscow, 1989.

7. Gorsky, J.M. System and information analysis of processes of control. — Novosibirsk, 1988.

8. Pechnikov, A.N. Theoretic fundamentals of psychological and pedagogical constructing of automated educational systems. — Petergof, 1995.

9. Karpova, LP. Research and constructing of knowledge control subsystem in allocated automated educational systems. — Moscow, 2002.