Технология адаптивого компьютерного тестирования контроля качества обучения в техническом вузе

нацеливающих на формирование более открытой и адаптированной к запросам глобального рынка труда системы обучения, создание высококонкурентной среды, обеспечивающей демократизм получения и применения образования, востребованность профессионального труда. Однако эти же принципы, при их абсолютизации ведут к обострению проблемы неравенства возможностей в получении высококачественного образования, способствуют выделению замкнутой высокообразованной интеллектуальной элиты, росту социального расслоения в системе образования. Развитие профессионализма как принципа организации и ориентации системы образования, являясь составной частью модернизационного процесса, способствует деформированному развитию способностей и навыков личности, в результате чего остается открытой проблема личностной гармонии и полноценного индивидуального бытия.

Проблема нахождения оптимальной для России модели модернизации образования является остроактуальной для настоящего времени и требует объединения усилий специалистов разного профиля. Актуальность ее, на наш взгляд, определяется неотложностью перехода к модернизации российской системы образования и ее интеграции в глобальное и европейское образовательное пространство; дискуссионностью выбора модели институциональных изменений в системе образования; амбивалентностью содержания глобализационных вызовов в образовательной сфере с точки зрения долгосрочных перспектив существования России как национального государства и необходимостью научного обоснования выбора стратегии реформы российской системы образования. Все это в комплексе делает перспективной работу в этом направлении.

Литература

1. Запесоцкий А. С. Гуманитарное образование и проблемы духовной безопасности // Педагогика. 2002. № 1.

Краснодарский университет МВД России 20 сентября 2006г.

© 2006 г. Р.В. Терюха

ТЕХНОЛОГИЯ АДАПТИВОГО КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ТЕХНИЧЕСКОМ ВУЗЕ

Одним из актуальных аспектов модернизации национальной системы высшего профессионального образования является обеспечение качества подготовки специалистов. Эти процессы получили свое отражение и закрепление в Законе РФ «Об образовании» и ФЗ «О высшем и послевузовском профессиональном образовании», коснулись и ведомственного обра-

зования. Однако обеспечение современного качества образования на основе сохранения его фундаментальности и соответствия актуальным и перспективным потребностям личности, общества и государства невозможно без создания адекватной образовательной системы, отвечающей мировым стандартам. Традиционные формы государственного контроля становятся неспособными к динамичным изменениям в содержании и формах обучения, ставя под сомнение необходимость такого контроля. В наши дни наблюдается повышенный интерес к проблеме компьютерного тестирования как нового вида объективного контроля знаний, умений и навыков и одного из способов повышения качества обучения. Среди различных подходов наибольшее распространение получило адаптивное тестирование.

Проблема правильной оценки знаний студентов играет важную роль при принятии решения по аккредитации учреждений, реализующих образовательные программы высшего профессионального образования. Следовательно, создание системы для измерения знаний, работающей в автоматическом режиме и гарантирующей нужную точность определения знаний в требуемых областях, явилось современной необходимостью.

Любая система тестирования базируется на качественных тестах. Создание хороших тестов, измеряющих и отражающих реальный уровень знаний тестируемых, является целой наукой. Здесь необходимы не только знания в предметной области, но и четкое знание тестологии (представление о параметрах заданий, процессе проведении тестирования в целом и т.д.) [1, 2]. Кроме того, обязательным условием самообследования и аттестации является проведение аттестационных педагогических измерений, во-первых, по всем аттестуемым основным образовательным программам (ООП), во-вторых, по всем циклам дисциплин каждой ООП и, наконец, не менее чем по трем дисциплинам циклов ГСЭ и ЕН и не менее чем по пяти дисциплинам циклов ОПД и СД.

Компьютерные тесты можно разделить на адаптивные [3] и неадаптивные. Последние обладают достаточной простотой реализации и понятны большинству людей. Вы отвечаете на все вопросы теста, получив за верный ответ «1», за неверный ответ - «0» (дихотомическая модель). Далее происходит подсчет первичных баллов и перевод их на нормированную шкалу (грубо говоря, учет трудности задания). Адаптивные же тесты отличаются тем, что выбирают последующий вопрос в зависимости от всех предыдущих ответов (если испытуемый ответил неверно, то следующий вопрос будет легче). Основные принципы этого вида тестирования были заложены М.Б. Челышковой [3]. На протяжении ряда лет вопросы адаптивного тестирования неоднократно привлекали внимание зарубежных ученых, а с начала 90-х гг. компьютерное адаптивное тестирование получило там широкое признание и в сфере практики. В значительной мере этому способствовали прикладные теоретические исследования. Некото-

рые из них нашли широкое применение в практике профессионального отбора в ряде структур промышленного и военного комплексов.

Адаптивное тестирование определяют как «совокупность процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов, обеспечивающую прирост эффективности измерений по сравнению с традиционным тестированием благодаря оптимизации подбора характеристик заданий, их количества, последовательности и скорости предъявления применительно к особенностям подготовки тестируемых обучающихся» [3, с. 4-6]. Это широкий класс методик тестирования, предусматривающих изменение последовательности, содержания и сложности предлагаемых заданий в самом процессе тестирования с учетом ответов испытуемого. Сюда обычно относят алгоритмы постановки заданий, построенные для пунктов теста, предварительно выбранных с помощью различных моделей и методов анализа пунктов. При таком обучении в процессе прохождения теста строится модель обучаемого, которая используется для генерации последующих заданий тестирования в зависимости от уровня обучаемого.

В настоящее время в Кубанском государственном технологическом университете (КубГТУ) апробированы адаптивные среды, такие как рекомендованная МО РФ среда тестирования АСТ -Тест (разработана в НИИ образовательных технологий МЭСИ, авторы В.И. Васильев, Т.Н. Тягунова, Н.Г. Малышев, С.А. Тягунов), автоматизированные комплексы, предложенные ЦТ МО РФ (В. А. Хлебников) и Росаккредагенством (г. Йошкар-Ола), а также комплексом программ, предназначенным для создания тестов, тестирования и обработки результатов тестирования, созданный автором в рамках работы в ЦТ КубГТУ

Национальное аккредитационное агентство в сфере образования (Ро-саккредагентство) предлагает вузам, проводящим самообследование, использовать возможности интернет-экзамена по циклам ЕН и ГСЭ, проводимого дважды в год - во время зимней (декабрь - январь) и летней (май-июнь) сессий с целью оказания централизованной помощи учебным заведениям [4].

В соответствии с уровнем получаемых знаний процесс компьютерного адаптивного тестирования разделяется на два этапа.

1. На начальном этапе разработки представление о степени обученно-сти объекта у тестирующей системы полностью отсутствует, следовательно, проектирование траектории его заключений необходимо осуществлять с учетом эмпирических результатов, накапливаемых в процессе испытаний. На этой стадии тестовых проверок не следует полагаться на факторы случайности, а необходимо использовать возможности подбора меры трудно -сти тестовых ситуаций и формировать образ тестируемого с учетом его поведения.

2. На втором этапе подтверждаются первоначально выявленные причинно-следственные отношения, для чего используются методы систематизации научных наблюдений, регулярно приобретаются новые данные о качестве заключений испытуемого на однородные по мере трудности тестовые задания. На этой стадии можно выявить закономерности, присущие поведению каждого конкретного испытуемого из данного класса обученно-сти. Здесь более точно оценивается реальная степень обученности испытуемого, что представляет дополнительный материал для правильного построения теоретической модели элементов однородной эмпирической системы компьютерного тестирования.

Создание и широкое внедрение компьютерных обучающих и тестирующих программ по различным дисциплинам, сдерживается в основном отсутствием у подавляющего большинства преподавателей навыков программирования. Поэтому в настоящее время является актуальным создание сред разработки и создания баз тестовых заданий, формирования вариантов тестирования и проведения контроля, использование которых требует минимальных навыков и умений работы с компьютером. Одной из подобных оболочек является созданный нами Универсальный тестовый комплекс (УТК) [5]. Он позволяет использовать все преимущества компьютерного тестирования, такие как:

- мгновенная обработка результатов;

- индивидуальность траектории;

- возможность формирования тестовых вариантов различного уровня сложности;

- возможность мониторинга и управления ходом тестирования;

- экономия материальных и трудовых затрат на проведение контроля знаний;

- индивидуальный подход к графику и времени проведения контроля знаний каждого тестируемого;

- использование мультимедийных компонент и графических изображений высокого качества (объем, цвет), доступных при компьютерном тестировании.

Необходимо отметить, что все вышеперечисленные преимущества достижимы лишь при правильной организации технологии компьютерного тестирования, наличии программных средств, механизмов их реализации и верном административном управлении. Основная особенность компьютер -ного адаптивного тестирования (КАТ) - это то, что тестовая последовательность формируется в процессе тестирования в соответствии с уровнем достижений каждого конкретного индивида, динамически оцениваемого (а в лучшем случае и прогнозируемого) в процессе, а не по окончании тестирования. Существенными отличительными чертами КАТ являются: идеализация объекта измерений (студента) с представлением его в виде некоторой математической модели (Раша или Бернбаума) и оценка числовых значений параметров этой модели. При дидактических измерениях уровня

достижений следует различать три вида ошибок: моделирования объекта, обработки заключений тестируемого на требование тестовых заданий, при установлении экспертами меры трудности тестовых заданий.

Шкала оценивания устанавливается априорно и не изменяется в течение учебного года. Это позволяет объективно сравнивать уровень учебных достижений студентов на различных факультетах или в различных группах. После проведения текущей и промежуточной проверок результаты тестовых испытаний выводятся на печать. Ошибочные заключения каждого тестируемого на требования тестовых заданий хранятся в системе КАТ не менее пяти лет. Созданный нами УТК может быть использован в учебном процессе как в вузе, так и в школе, отдельные его модули могут предоставляться учащимся для использования дома (тренировочное тестирование), он не требует знаний основ программирования от преподавателей, формирующих содержательную часть тестовой базы [6]. Комплекс позволяет проводить тестирование сетевое в локальных сетях и сети Internet с удаленным доступом и локальное, выполняя следующие функции:

- формирование из гомогенных гетерогенных баз тестовых заданий с возможностью редактирования и дополнения.

- компоновка гомогенных и гетерогенных вариантов тестирования;

- апробация тестовых заданий с выявлением уровня сложности для адаптивного тестирования;

- задание алгоритмов адаптивности тестирования;

- изменение алгоритма адаптивности в процессе тестирования;

- обработка результатов тестирования, формирование ведомостей и сертификатов;

- сбор и анализ статистической информации;

- создание, хранение и редактирование гомогенных баз тестовых заданий по дисциплинам;

УТК служит оболочкой для создания и ведения баз тестовых заданий различных типов. Создание и хранение тестовых заданий подразумевает обработку исходного авторского материала и выполнение автоматизированной компоновки тестов. При создании тестов учитываются такие параметры, как дискриминативность, надежность, валидность. Тестовые базы хранятся в собственном формате программы, но их набор и первоначальное редактирование осуществляется стандартным редактором MSWord, знакомым большинству преподавателей. Отличительной особенностью данной системы является то, что в ней предусмотрены различные виды тестовых вопросов. Это позволяет создавать комплексные тесты любого уровня сложности. Первоначально сложность вопроса предполагается равной 0,5. В дальнейшем расчет сложности теста проводится на основании данных о числе тестируемых, ответивших правильно на данный вопрос и общем их количестве.

Констатирующий этап эксперимента проходил в период с 2004 по 2006 гг. Экспериментальным исследованием было охвачено более 7000 студентов и 200 сотрудников КубГТУ [7]. В Центре тестирования вуза действует схема контроля качества знаний студентов, отслеживающая изменение статистических данных результатов во времени. Это позволяет проанализировать успеваемость в различных «срезах» (по числу тестируемых, предметам, семестрам, курсам и т.д.) В системе предполагается сбор и анализ статистической информации для обеспечения «обратной связи», без которой невозможно грамотное тестирование и проведение мониторинга. Для проведения исследований применяется аппарат современной математической статистики. Также предусматривается просмотр результатов в различных «срезах», необходимых для детального анализа и мониторинга. Основная задача констатирующего эксперимента состояла в изучении проблемы реализации технологии адаптивного компьютерного тестирования в практике руководства университетом. Статистическая обработка позволяет получать следующие данные по всем дисциплинам для всех специальностей инженерного вуза и включает в себя: рейтинг-лист; гистограмму плотности распределения результатов; карту коэффициентов решаемости заданий по темам; карту коэффициентов освоения дидактических единиц (ДЕ) дисциплины; график освоения дисциплины на основе выполнения совокупности ДЕ.

В рамках работы по контролю остаточных знаний студентов специальностей 350800, 030500, 060700, 180800, 271300 автором разработаны, экспериментально проверены и обоснованы организационно-педагогические условия успешного внедрения тестовой технологии, обеспечивающие повышение качества знаний. Результаты оценки качества подготовки студентов на соответствие требованиям государственных образовательных стандартов (ГОС) высшего профессионального образования результаты педагогических измерений по каждой ООП вуза систематизированы и обобщены.

Анализ результатов констатирующего эксперимента показал, что задания адаптивного компьютерного тестирования как один из наиболее качественных и объективных способов оценивания уровня учебных достижений учащихся на различных этапах обучения не нашли широкого применения при аттестации и аккредитации вуза, контрольных срезах по качеству остаточных знаний студентов. Управленческие функции, связанные с интерпретацией полученных результатов, их содержательная сопоставимость, системность, анализ, прогноз не носят завершающего цикла.

В ходе исследования доказана педагогическая целесообразность реализации системы тестового контроля в условиях стандартизации и техноло-гизации образования. Разработана и практически реализована методика создания предметных тестов, компьютерная программа обработки тестирования учащихся, позволяющая интерпретировать их итоги по различным основаниям и методика репрезентативной выборки студентов при подготовке к аттестации и аккредитации, методические рекомендации для ис-

пользования тестов предметных достижений, организации и проведения

контроля остаточных знаний на компьютере.

Литература

1. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов М., 2000.

2. Самыловский А.И. Тест как объективный измерительный инструмент в образовании // Вопросы тестирования в образовании М., 2001. № 1. С. 10-39.

3. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). М., 2001.

4. Масленников А. С., Наводнов В. Г. Об Интернет-экзамене в сфере профессионального образования. Йошкар-Ола, 2004.

5. А.с. 2003610459 РФ, МКИ3 В25] /00. Универсальный тестовый комплекс (УТК) / Т. Л. Шапошникова, Р.В.Терюха, А.В. Лаврентьев, О.С. Агранович.

6. Терюха Р.В. Уровневая дифференциация тестов педагогических измерений // Школьные годы. 2005. № 5. С. 38-40.

7. Комплексная экспертиза качества обучения в техническом вузе. Проблемы физико-математического моделирования: Межвузовский сб. науч. трудов / Т. Л. Шапошникова, Р.В. Терюха; Сб. науч. трудов Кубанского государственного технологического университета. Краснодар, 2005.

Кубанский государственный технологический университет 3 октября 2006 г.

© 2006 г. Е.И. Толокнеева

МУЗЫКАЛЬНЫЙ МИР МОЛОДЕЖИ

Одной из важнейших задач современного образования является формирование у учащихся не только определенной системы знаний, умений и навыков, но и помощь в правильном выборе приоритетных ценностей.

Процесс формирования ценностного отношения к искусству в целом, и к музыке в частности - сложный и длительный, требующий высокого мастерства от преподавателя, проводящего воспитательную работу, а также заинтересованности и активной работы со стороны подростков.

В основу построения программы предложенного нами элективного курса была положена идея об эффективности приобщения подростков к миру искусства и познания ценного в нем.

Цель данного элективного курса - формирование и развитие ценностного отношения подростков к искусству, повышение качества и эффективности музыкального воспитания в школе, а так же профилактика музыкального фанатизма в подростковой среде.

Главная задача курса состоит в том, чтобы новые знания, полученные в ходе занятий, стали для подростков их внутренними убеждениями, образом