О сертификации качества педагогических тестовых материалов

УДК 371.26 ББК 74.00 Ш 65

О СЕРТИФИКАЦИИ КАЧЕСТВА ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ

О. Ф. Шихова

Ключевые слова: тестирование, сертификация, педагогические тестовые материалы, содержательность, репрезентативность, латентность, когнитивность, валидность.

Резюме: В статье рассматриваются этапы и критерии сертификации качества педагогических тестовых материалов.

Совершенствование процесса тестирования с целью повышения его эффективности - одна из актуальных проблем российского образования. Ее появление связано с резким увеличением масштабов тестирования, введением государственных образовательных стандартов (ГОС), требующих модернизации систем контроля и оценки качества подготовки обучающихся.

С целью совершенствования аттестационных тестовых технологий Министерством образования Российской Федерации был издан приказ о сертификации качества педагогических тестовых материалов (ПТМ), предусматривающий, в том числе, и подготовку документов, регламентирующих саму процедуру сертификации. Опубликованы также Временное положение о сертификации качества ПТМ и методические указания по подготовке их к этой процедуре [5].

Согласно Временному положению, цель сертификации заключается в повышении качества образования за счет совершенствования педагогических тестовых материалов, которые применяются для оценки знаний обучающихся в учебных заведениях Российской Федерации. При этом последовательно решаются две задачи: выявление и фиксация достигнутого уровня качества сертифицируемых тестовых материалов и разработка рекомендаций, определяющих методику совершенствования ПТМ.

Процедура сертификации качества ПТМ осуществляется в два этапа. На первом производится экспертиза тестовых материалов, предусматривающая не только оценку качества их содержания и статистических характеристик, но и оценку правильности форм заданий в ПТМ. На втором этапе педагогическим тестовым материалам, прошедшим экспертизу и удовлетворяющим утвержденным требованиям к их качеству, выдается сертификат качества, который дает право на использование ПТМ для оценки знаний обучающихся.

При подготовке педагогических тестовых материалов к процедуре сертификации авторы должны самостоятельно оценить качество их содержания,

проверить соответствие заданий требованиям тестовой формы и выявить статистические характеристики ПТМ. Причем при проведении их содержательной экспертизы рекомендуется (согласно методическим указаниям [5]) использовать следующие критерии:

• полнота отображения материала образовательной программы при отборе содержания ПТМ;

• правильность пропорций, выбранных при отображении разделов предмета (содержательных линий);

• полнота охвата требований государственных образовательных стандартов в ПТМ;

• соответствие содержания заданий знаниям, умениям и навыкам, запланированным для проверки в спецификации ПТМ;

• значимость содержания каждого задания ПТМ для целей проверки.

Однако методика расчета перечисленных критериев в вышеназванных

документах не приводится и, следовательно, на практике они будут определяться в основном интуитивно, без учета факторов, формирующих качество ПТМ. Между тем перечисленные критерии так или иначе характеризуют ва-лидность тестовых материалов, то есть степень соответствия структуры и содержания ПТМ задачам и целям педагогического контроля. Исследователи выделяют множество различных видов валидности (содержательная, соответствия, прогностическая и т. д.), но, по сути, важнейшими для педагогического тестирования являются два вида: по содержанию и по критерию [4].

Содержательная валидность определяет «репрезентативность содержания дидактического теста выборке измеряемой области навыков и знаний учебного предмета» [3, с. 21]. При определении содержательной валидности необходимо установить степень соответствия заданий теста цели диагностики, в качестве которой могут выступать требования ГОСов; требования к профессиональной подготовке; установленные уровни обученности и т. п.

Критериальная валидность (или валидность соответствия) показывает соответствие между результатами тестирования и другими формами контроля, но с использованием в них тех же заданий, что и в тесте.

Количественной мерой валидности служит обычно коэффициент корреляции Пирсона или коэффициент связи ф (фи), данные для расчета которых получаются путем оценки группой опытных независимых экспертов предъявляемых им ПТМ по тому или иному критерию.

Однако, как показывает опыт, необходимых условий для организации педагогической экспертизы ПТМ и математико-статистической обработки ее результатов в большинстве вузов нет. Кроме того, большая часть преподавателей вообще не владеет основами тестологии. Поэтому процедура определения

валидности, характеризуемой набором вышеназванных критериев, должна быть достаточно проста и понятна.

Предлагаемый подход [2, 8] отвечает этим условиям, он достаточно универсален и позволяет не только количественно выразить установленные критерии, но и оперативно определить их. В качестве основных предлагаются такие критерии, как «Содержательность» (в), «Репрезентативность структуры» (£?), «Репрезентативность ГОС» (в), «Латентность» (Щ) и «Когнитивность» (X).

Критерий «Содержательность» определяет полноту отображения материала образовательной программы в содержании тестовых заданий и рассчитывается по формуле:

Ыр

где N - число дескрипторов (базовых понятий, терминов, формул и т. п.) в тезаурусе учебной программы (учебный тезаурус - это множество дескрипторов и множество связей между ними [6]); N - число дескрипторов в тезаурусе ПТМ.

Значение данного критерия можно существенно повысить за счет расширения тезауруса педагогических тестовых материалов путем создания интегрированных, многофункциональных тестовых заданий.

Критерий «Репрезентативность структуры» позволяет сопоставить количество тестовых заданий в ПТМ по отдельным разделам (или темам) учебного предмета с объемом (в часах) этих разделов (или тем), то есть характеризует правильность пропорций при отображении в тесте разделов учебного предмета. Рассчитывается данный критерий по формуле:

Я = 1-

ГК к

к ь

V я я

где V - объем (в часах) учебного предмета;

V - объем (в часах) к-го диагностируемого модуля (например, одного из разделов физики);

Ь3 - общее количество заданий в тесте,

Ьк - количество заданий для диагностики к-го модуля.

Если 1?>1, то количество тестовых заданий в ПТМ по данному разделу (или теме) завышено. Если 1?<1, то количество заданий в тесте по данному разделу занижено. Таким образом, рассчитав критерий «Репрезентативность

структуры», можно провести соответствующую корректировку теста, стремясь приблизить значения этого критерия к единице.

Критерий «Репрезентативность ГОС» устанавливает соответствие содержания тестовых материалов требованиям государственного образовательного стандарта по изучаемой дисциплине с учетом модели специалиста, то есть характеризует полноту охвата требований ГОС в ПТМ. Рассчитывается этот критерий по формуле:

Т

Тс

где Тв - количество требований к специалисту в ГОС (или дисциплинарных требований к студенту);

Т - количество требований, диагностируемых с помощью ПТМ.

Критерий «Латентность» характеризует пригодность тестовых материалов для диагностики уровней обученности в соответствии с выбранной таксономической моделью обучения как способа описания диагностируемых целей обучения. Это может быть шестиуровневая модель Б. Блума («знание», «понимание», «применение», «анализ», «синтез», «оценка»), четырехуровневая - В. П. Беспалько («узнавание», «воспроизведение», «эвристический», «творческий»), трехуровневая - ЗУН («знания», «умения», «навыки») и другие. Термин «Латентность» введен в связи с тем, что уровень обученности относится к латентным (скрытым) параметрам, ответственным за фиксируемые в опыте тестовые результаты. Предлагаемый критерий позволяет определить соответствие содержания заданий в тесте - знаниям, умениям и навыкам, запланированным для проверки в спецификации ПТМ, и рассчитывается по формуле:

Ь-К 1т

где /т - общее количество уровней обученности в выбранной модели обучения; ^ - количество уровней обученности, диагностируемое тестом.

Критерий «Когнитивность» позволяет выявить пригодность ПТМ для оценки сформированности у обучаемых определенных видов знаний по классификации Б. Блума - Р. Гагна - В. С. Аванесова [1]. Этот классификатор сформулирован исключительно для решения задач педагогического измерения и не образует пока полной классификационной системы, но его использование позволяет более аргументированно подойти к отбору педагогических тестовых материалов. ПТМ должны разрабатываться с учетом принципа «возрастающей

трудности» учебного материала и включать задания для проверки сформиро-ванности как простейших знаний (знание названий, имен, фактов, определений и т. п.), так и алгоритмических, системных, вероятностных, метод ологиче-ских и т. п. знаний.

Рассчитывается критерий «Когнитивность» по формуле:

К=К

км

где Км - общее количество видов знаний в принятой модели обучения; Ка - количество видов знаний, диагностируемых с помощью ПТМ.

Данный критерий может учитываться при моделировании адаптивных тестов, позволяющих соотносить уровень подготовленности тестируемых с трудностью тестовых заданий.

К дополнительным критериям можно отнести: «Адаптивность» (мера соответствия среднего логита трудности заданий среднему логиту уровня обу-ченности в выборке); «Профильность» (характеризует распределение заданий в ПТМ по схеме «возрастающей трудности» с целью повышения дифференцирующей способности тестовых материалов); «Системность» (характеризует разнообразие применяемых форм тестовых заданий, типов дидактических тестов, видов тестирования и оптимальность количества заданий в ПТМ); «Верифици-руемость» (повторяемость результатов диагностики в различных выборках, статистическая надежность результатов диагностики) и др. [2, 8, 7].

Совокупность предлагаемых критериев сводит к минимуму влияние субъективных факторов при отборе и сертификации педагогических тестовых материалов. Это свойство ПТМ называется «объективированностью».

Общая оценка объективированности (качества) ПТМ может быть произведена по формуле:

т] = С^ + С2Я + СъО + СЛЬ + С5К, где С1 + С5 - соответствующие весовые коэффициенты, то есть коэффициенты «важности» критериев 1-5; их сумма должна быть равна единице (ус-

5

ловие нормировки: = 1).

1=1

Критерии 1-5 и их весовые коэффициенты определяются методом групповых экспертных оценок (ГЭО) [6]. В отличие от обычных комиссий в методе ГЭО эксперты работают независимо друг от друга, процедура отбора и опроса экспертов, разработка анкет и обработка полученных экспертных оценок про-

изводятся по определенному алгоритму в соответствие с требованиями ГОСТ 23554.1-79 [9].

Критерии с незначительными весовыми коэффициентами могут быть исключены при окончательной оценке ПТМ.

Процедура объективизации ПТМ будет заключаться в увеличении численных значений критериев за счет корректировки тестов с учетом результатов педагогического эксперимента. Все это позволит подготовить тестовые материалы к сертификации и, тем самым, будет способствовать повышению эффективности педагогического контроля в любом образовательном учреждении.

Литература

1. Аванесов В. С. Композиция тестовых заданий. - 2 - е изд. - М.: Изд-во «Адепт», 1998. - 217 с.

2. Лебедева Е. Н. Методические рекомендации по сертификации дидактических тестов для диагностики уровня обученности студентов / Под ред.

B. С. Черепанова. - Ижевск: Изд-во ИжГСХА, 1998. - 37 с.

3. Мирошниченко А. А., Казаринов А. С., Култышева А. Ю. Технология адаптационной валидности: Учебное пособие. - Глазов: Изд-во ГГПИ, 1999. -62 с.

4. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. - М., 2000. - 168 с.

5. О сертификации качества педагогических тестовых материалов: Приказ МО РФ от 17.04.2000 г. № 1122 // Вестник образования. - 2000. - № 11.

6. Черепанов В. С. Экспертные оценки в педагогических исследованиях. - М.: Педагогика, 1989. - 152 с.

7. Черепанов В. С., Шихова О. Ф., Шихов Ю. А., Любимова О. В. К вопросу о конструировании педагогических тестов на основе квалитативной технологии // Педагогические измерения в России: Материалы конф. - М., 2002. -

C. 59-63.

8. Шихова О. Ф., Габдуллина Л. А. Критерии для оценки объективированности педагогических контрольных материалов / / Образование и наука. -2000. - № 3 (5). - С. 82-85.

9. Экспертные методы оценки качества промышленной продукции. Основные положения. ГОСТ 23554.0-79. Организация и проведение экспертной оценки качества продукции. ГОСТ 23554. 1-79. Обработка значений экспертных оценок качества продукции. ГОСТ 23554.2-81. - М.: Изд-во стандартов, 1979; 1980; 1981.