Информационная технология контроля знаний по дисциплине "Экономическая теория"

Т.Д. Дегтярева, Н.В. Спешилова

ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ ПО ДИСЦИПЛИНЕ

«ЭКОНОМИЧЕСКАЯ ТЕОРИЯ»

Информационная технология предназначена для повышения эффективности проведения контрольных мероприятий по усвоению материала по основным вопросам и разделам экономической теории (или для самоконтроля обучающихся) при организации учебного процесса с учетом индивидуальных траекторий обучения.

На современном этапе развития общества все большее значение приобретает задача повышения эффективности процессов организационного управления. Для высшей школы теоретические и методологические аспекты повышения эффективности процесса обучения в этой сфере разработаны недостаточно. Актуальными задачами являются: осуществление анализа деятельности высшего учебного заведения; выявление возможностей повышения эффективности процесса обучения в вузе; разработка информационных технологий организации учебного процесса с учетом индивидуальных траекторий усвоения знаний.

Несомненно, что взаимосвязанность указанных задач требует их комплексного решения. С учетом парадигмы внедрения новых информационных технологий обучения с преломлением к высшей школе, приемлема следующая трактовка: эффективность и качество процесса обучения в вузе должны расти, если организовать построение стратегии обучения с внедрением новых информационных технологий и использованием дифференциации. В соответствии с контекстом представленной темы, остановимся на некоторых аспектах, связанных с подготовкой высококвалифицированных специалистов в области экономики.

На первый курс высших учебных заведений поступает самый разнообразный контингент обучающихся - это и медалисты, и прошедшие по конкурсу, и, так называемый, «коммерческий набор». Среди них - закончившие среднюю школу в городе и селе; получившие аттестат несколькими годами раньше; выпускники техникумов, училищ и т.д. Уровень подготовки у них неравнозначный. К тому же они различаются по умению применять общие правила и закономерности для решения конкретных задач. Еще одна проблема, с которой приходится довольно часто сталкиваться в настоящее время, - это тенденция поступления в вузы на экономические специальности абитуриентов с гуманитарным стилем мышления. Это затрудняет освоение ими экономического анализа, планирования, прогнозирования и т.п., так как изучение пос-

ледних предполагает необходимость использования математических методов.

Успешная работа по повышению качества знаний студентов во многом определяется как уровнем подготовленности поступающих в вузы, так и степенью индивидуального освоения материала данной дисциплины при ее углублении и дифференциации по мере прохождения траектории ее изучения за время всего курса обучения. Рассмотрим сформулированные нами проблемы в свете профессиональной ориентации будущих студентов (еще при обучении в школе) на примере предметов экономической направленности, изучаемых студентами соответствующих специальностей в вузе. Так, в некоторых школах, уже введен в программу курс экономики для классов данной ориентации. В результате учащиеся, поступая в вузы, уже ознакомились с элементарными основами данной дисциплины, что окажет им помощь в дальнейшем. Однако, основная масса абитуриентов экономических специальностей, не знакома с аналогичным материалом. В связи с этим возникает проблема разной скорости усвоения и понимания предмета на занятиях, не говоря уже об индивидуальных психологических особенностях каждого студента.

Что касается проблемы связи между изучаемыми дисциплинами одной направленности, а внутри предметов - между разделами, то следует отметить следующее. Например, на первом курсе студенты изучают «Экономическую теорию», которая включает в себя базовый материал для ряда предметов. Кроме того, читая, например, раздел «Макроэкономика», преподавателю, за давностью информации, приходится либо заново рассматривать ту часть содержания предмета, которая уже была представлена в начальном курсе «Экономической теории» (что не целесообразно, в связи с большой затратой учебного времени), либо отправлять студентов к уже знакомому им материалу (это чревато следующим: во-первых, каждый человек любую проблему видит по-своему и выражает ее в соответствии субъективного восприятия, которое может не совпадать с мнением преподавателя по

данному вопросу рассматриваемой нами дисциплины; во-вторых, основы экономической теории разным студентам одного потока могли читать разные преподаватели, что также может сказаться на уровне знаний отдельно взятой группы студентов и повлечь за собой определенные трудности в работе на занятиях).

С аналогичными неувязками сталкиваемся в цепочках вида: «Экономическая теория» (первый курс) - «Экономика предприятия» (второй курс) -«Менеджмент» (третий курс) и пр. В них во всех, как правило, не хватает промежуточных звеньев -связки, в связи с чем необходим механизм, позволяющий решить эту проблему, основу которого должны составить мероприятия по выявлению начального уровня знаний, умений и навыков по текущему предмету (целесообразна их организация на базе программных тестовых оболочек), проводимые на первом занятии, с учетом результатов которых строилась бы дальнейшая траектория обучения.

Педагогическая диагностика в вузах организуется в основном по двум направлениям: отбор абитуриентов при поступлении в вуз и измерение успеваемости во время учебы в вузе. Для выполнения этой работы необходим соответствующий инструментарий. Контролируя знания и выставляя отметки, преподаватель не может абстрагироваться от социальных, личностных и эмоциональных факторов, которые сопутствуют процессу оценивания. Исключить эти субъективные факторы помогают всевозможные средства тестирования знаний на основе единых критериев и подходов. Одним из таких средств является созданная нами многофункциональная тестовая система автоматизированного контроля и самопроверки знаний.

За последнее время создан достаточно широкий спектр компьютерных обучающих систем, обучающе-исследовательских программ, компьютеризированных учебников и учебных курсов, автоматизированных обучающих систем и прочих программных продуктов, внедряемых в учебный процесс с целью повышения его эффективности. Однако, ощущается дефицит отлаженных с учетом необходимых требований валидности, надежности и пр. компьютеризированных тестовых комплексов по экономическим дисциплинам. Кроме того, следует отметить, что такие комплексы имели бы большое значение в организации процесса обучения категории студентов так называемого второго высшего образования. Данный контингент отличается крайней «разношерстностью» базовых знаний и способностей дальнейшего освоения учебного материала. Наполняемость групп велика

(высок спрос на специалистов экономического профиля), а количество звонковых часов по предметам, согласно учебным планам, мало (двухгодичный срок обучения в вечерней форме), в связи с чем особенно остро встает вопрос объективной оценки знаний при обучении.

Многофункциональная тестовая система предназначена для повышения эффективности организации контроля за усвоением материала разных областей знаний, а также для самоконтроля обучающихся. Данный программный продукт способствует объективизации оценки за счет создания тестов, отвечающих научным принципам. Рекомендуется к использованию в учебных заведениях (особенно вузах), а также в различных организациях, где необходим контроль за усвоением некоторого блока знаний. В соответствии с проблемой подготовки высококвалифицированных специалистов в области экономики разработан блок тестового материала по основным вопросам и разделам экономической теории. Весь тестовый материал разбит на три крупных блока-раздела - «Экономическая теория (общие понятия и термины)» (50 заданий), «Микроэкономика» (52 задания), «Макроэкономика» (53 задания) - каждый из которых в свою очередь разделяется на подразделы. Такое представление тесно взаимосвязано с использованными источниками и рекомендуемой литературой. Блок тестового материала содержит тестовые задания закрытой формы, так как при разработке системы тестирования была ориентация именно на такие задания в связи с удобством статистической обработки (также реализованной в программе) результатов тестирования, организованного в такой форме. Кроме того, задания отвечают ряду необходимых требований, среди которых: объективность, дифференцирующая способность, надежность и валидность. Коэффициент надежности для формируемых на данном материале тестовых вариантов г ? 0,857±0,03. Он определен с помощью блока статистической обработки - наиболее интересной характерной особенностью данного программного продукта - с учетом накопления итогов тестирования и их анализа.

Созданная информационная технология организации многоаспектного педагогического контроля и самоконтроля обучающихся использует алгоритм формирования тестовых заданий и имеет блок помощи, разработанный на основе применения гипертекста. Она включает в себя модифицированную совокупность показателей научных принципов создания тестов и способов их расчета с учетом возможной корректировки последних на основе накоп-

ления статистической информации о результатах тестирования. Разработан блок подготовки, проверки и корректировки тестовых заданий на ЭВМ.

Программа реализована в среде Inpise Delphi 5.0 с применением дополнительных компонент из библиотеки RXLib 2.75.

В состав программного продукта входят: рабочее место студента, рабочее место преподавателя, справочная информация.

Рабочее место преподавателя включает следующие программные модули: базу вопросов, шаблоны тестов, тестовые варианты, результаты опросов, статистической обработки, справочной информации.

Модуль «База вопросов» предоставляет возможность:

- выбрать тему и подтему для редактирования списка вопросов, при этом названия темы и подтемы отображаются на экране;

- добавлять и удалять вопросы в базе данных;

- редактировать существующие вопросы;

- просматривать краткое содержание вопросов и уровень их сложности;

- экспортировать подтемы в файлы на диске, чтобы переносить их на другие компьютеры или сохранять для дальнейшего использования.

Программный продукт ориентирован на применение тестов в закрытой форме и базируется на принципах их формирования, так как именно этот класс поддается наилучшей представленности и формализации в машинном варианте в связи с однозначностью оценивания.

В основу разработанной тестовой системы положена возможность создания заданий с выбором одного или нескольких ответов с последующей статистической обработкой полученных результатов и проверкой тестообразующих свойств сформированных тестов, причем не только тех, которые разрабатывались на базе данной системы, но и других, согласующихся с требованиями нашего программного продукта.

Предварительно с помощью страничного элемента управления преподаватель может выбрать тип вопроса. Поддерживается два типа вопросов -стандартный и с фасетными заготовками.

При составлении базы заданий преподавателю предлагается присвоить каждому вопросу коэффициент его индивидуальной трудности (kD) на фоне всего диапазона тестов, входящих в контролируемый раздел. Если все вопросы равноценны по трудности или отсутствует необходимость такого ранжирования, то данное действие игнорируется. Однако, в соответствии с рекомендациями,

имеющимися в литературе по работе с тестами, целесообразно выстраивание тестовых заданий по возрастающей трудности. Поэтому в системе реализована возможность задания kD как в рамках всего теста, так и внутри каждой отдельно взятой темы (если тест построен с учетом строгого соблюдения последовательности разделов изучения).

Отметим, что в идеале тест должен состоять из заданий различного уровня трудности. Причем их построение осуществляется начиная с самого легкого, на которое должны ответить практически все испытуемые, и заканчивая самыми трудными. Такая организация осуществляется в гомогенных тестах, в которых тест создан с целью проверки знаний по одной учебной дисциплине и все вопросы теста связаны именно с ней. В гетерогенных тестах, состоящих из группы гомогенных тестов, возможна реализация как увеличения трудности по всему тесту (то есть равномерное движение вверх), так и внутри каждой части, его составляющей (то есть поступательное скачкообразное движение). Трудность заданий влияет на надежность и валидность.

Значения коэффициента трудности kD принадлежат промежутку от 0 до 5. Такой диапазон изменения данного коэффициента выбран в соответствии с уровнями усвоения учебного материала. Общепринятая пяти-уровневая модель усвоения знаний модифицирована нами с учетом возможности компьютерной обработки применительно к тестовым заданиям в закрытой форме. Исходя из ограниченной возможности представления творческого уровня обучения в виде такого рода заданий в модели обучения уровни умения и переноса объединены в один уровень применения. Для проверки умения ориентироваться в представленной области знаний для «слабых» групп студентов модель дополнена уровнем представления, который отображают тесты проверки общего, интуитивного знания предмета (использовать или не использовать которые по своей дисциплине решает каждый преподаватель в отдельности).

Таким образом, модель выглядит так:

I. уровень представления;

II. уровень узнавания (различения);

III. уровень воспроизведения (классификации);

IV. уровень понимания;

V. уровень применения (умение + перенос).

С учетом адаптации к тестовым заданиям закрытой формы в первом приближении конкретное значение коэффициента индивидуальной трудности определяется на основе вида мыслительной деятельности, которую выполняет студент при решении теста.

Посредством использования в программе кс формируются тестовые билеты приблизительно равные по среднему уровню трудности, который обеспечен за счет предоставления пользователю возможности выбора равного количества заданий одинаковой трудности в разных вариантах тестов. При необходимости задания перегруппировываются в модуле «Шаблоны тестов».

Таким образом, формируется банк заданий на основе их эмпирической проверки с модификацией и уточнением заданий согласно совокупности соответствующих статистических характеристик заданий, рассчитанных в модуле «Статистика» (таких как надежность, валидность и пр.).

Наличие банка заданий позволяет соединить преимущества неформального тестирования с научной основой при одновременном повышении качества тестирования. Исходя из учебных целей и необходимых для достижения последних характеристик заданий, любой преподаватель может применять тесты, находящиеся в «базе вопросов». В программе присутствует возможность исключения некоторых вопросов из уже имеющихся по данной теме в базе заданий или присоединение части вопросов к тестам. Это позволяет формировать оптимально адаптированные к конкретному занятию задания с учетом их сложности в зависимости от цели конкретного исследования (например, более слабая или сильная группа подвергается проверке). Активное подвижное использование «базы вопросов» по экономической теории было апробировано как на студентах очной формы обучения, так и на контингенте второго высшего образования и ускоренниках. При единообразии тематик в рабочих учебных программах всех перечисленных контингентов обучаемых, на освоение материала дается разное аудиторное время при том же уровне итогового усвоения (перераспределение общего количества часов между звонковыми часами и часами на самостоятельное изучение со смещением в сторону последнего). Возможность гибкого использования «базы вопросов» способствует объективной оценке знаний студентов как со стороны преподавателя, так и оказывает помощь самим обучаемым в определении уровня своего усвоения, например перед экзаменом (что особенно важно для последних двух категорий студентов).

Предварительно преподаватель устанавливает параметры режима тестирования: с оповещением правильного ответа или без оповещения, с возвратом к предыдущим вопросам и возможностью исправления ответов (в этом случае к подсчету принимается последняя, окончательная версия провер-

ки знаний) или без возврата. Поскольку при тестировании важным фактором является время, возможно установление ограничения времени контроля как по каждому отдельному заданию, так и по всему тесту в совокупности.

За счет изменения позиций вопросов и последовательности ответов (верный ответ каждый раз стоит на разном месте в каждом конкретном задании в различных вариантах тестов) достигается значительное снижение вероятности угадывания правильного ответа и повышается объективность и обоснованность аттестации студента.

В редакторе вопросов задаются или модифицируются формулировка вопроса, варианты ответов, первоначальная трудность задания, а также некоторые другие настройки.

Тесты формируются и отлаживаются с помощью модуля «Шаблоны тестов». Шаблон рассматривается как средство генерации равносильных тестов. Под равносильными тестами будем понимать варианты билетов тест-контроля, равные по суммарной трудности отдельных заданий, содержащие одинаковое количество вопросов каждой подтемы и имеющие одно и то же число заданий по видам - стандартный, фасетный. Таким образом, все тесты, созданные по одному шаблону, содержат одинаковое количество вопросов по одним и тем же темам и примерно равны по суммарной трудности. На основе шаблона формируются тесты, поступающие в модуль «Тестовые варианты», в котором возможен их полный просмотр и перевод в «Пакет студента» для опроса на компьютерах или вывод на печать с целью проведения тестирования на бумажных носителях. В последнем случае для компьютерной обработки результатов тестирования, проводимого без использования ЭВМ, необходимо сохранить сформированные для опроса (или создать вновь) карточки студентов в базе данных, чтобы в дальнейшем система могла определить правильность ответов без участия преподавателя.

Если тестирование проводится на компьютерах с непосредственным подключением многофункциональной системы тестирования, то результаты автоматически заносятся в модуль «Результаты опросов». Можно посмотреть для каждого конкретного обучаемого его вариант ответа на любое задание теста. Кроме того, в программе реализована статистическая обработка данных тестирования с постоянным сохранением и накоплением информации. Если данные вводятся вручную, то пользователь должен указать размерность матрицы тестовых результатов (т.е. количество студен-

тов и вопросов), при этом матрица на экране изменяет размеры в соответствии с введенными данными пользователя. Матрица заполняется с помощью выбора ее ячеек, после чего нужно нажать кнопку «Обработать» и переходить к просмотру результатов статистического анализа.

В программном модуле «Статистика» формируется матрица тестовых результатов, которая заполняется автоматически, если тестирование проводилось на компьютерах, в противном случае ввод данных выполняется вручную. Далее обработка проходит в автоматическом режиме. При этом матрица трансформируется в таблицу тестовых результатов, в которой указываются: тестовый балл испытуемых, логит уровня знаний, логит трудности заданий, средний арифметический балл, показатель использования каждого вопроса и количество верных ответов на него, а также рекомендуемый коэффициент кс, полученный на основе статистически накопленных значений показателя.

В этом же модуле определяются другие статистические показатели.

Программный модуль «Статистика» дает возможность автоматического ранжирования студентов с подсчетом рейтинга в двух вариантах: число учащихся меньше 100 (учащиеся распределяются на заданное количество мест по числу студентов в группе) и число учащихся больше 100 (обучающиеся распределяются на сто мест). Таким образом, преподаватель знает место студента в учебной группе и/или на потоке.

Кроме того, на любом этапе использования программы возможно обращение к модулю справочной информации, носящего название «Помощь» и содержащего: общую информацию о системе с набором технических характеристик; описание основных режимов работы программы и рекомендации по их применению; глоссарий терминов, встречающихся при работе с системой тестирования; рекомендации по отладке и улучшению тестового материала с учетом основных элементов теории тестов, фиксируемых в модуле «Статистика», результатов контроля, показателей вычисления стандартной ошибки измерения и доверительного интервала; дополнительную информацию по повышению надежности тестового материала, например, за счет подбора оптимальной длины теста и пр.

Таким образом, исходя из того, что проверка знаний должна быть объективной и давать корректные сведения об итогах процесса обучения, отметим, что с помощью тестов легче всего обеспечиваются надежность измерения, его объективность и, к тому же, они позволяют опросить всех студентов по всем вопросам учебного материала в одинаковых условиях с заранее разработанными, равными критериями оценки. Описанная выше многофункциональная тестовая система контроля и самопроверки знаний является именно таким инструментом. Она дает возможность подойти к формированию тестов с научных позиций и отвечает современному уровню развития теории тестов.

Разработанный блок тестового материала по основным вопросам и разделам экономической теории с соблюдением принципов формирования тестовых заданий с последующей их проверкой на соответствие ряду необходимых требований (среди которых: объективность, дифференцирующая способность, надежность и пр.), прошел необходимую апробацию, в результате чего получены положительные отзывы использования тестов, в том числе на контингенте студентов второго высшего образования.

Разработанная информационная технология была внедрена в ряде вузов г. Оренбурга. Реализованная в программе возможность создания равносильных тестов с последующей статистической обработкой итогов тестирования способствует повышению научного уровня статистического учета успеваемости и позволяет своевременно корректировать учебный процесс, что, в свою очередь, влияет положительно на суммарную эффективность обучения.

В заключении отметим, что организация педагогического контроля на кафедрах и в вузе в целом должна опираться на научные методы. Применение в этой сфере информационных технологий базирующихся на теории формирования тестов и имеющие свое непосредственное преломление в композиции тестовых заданий значительно повышает эффективность обучения. Возможность организации опроса всех студентов по совокупности вопросов учебного материала в одинаковых условиях на основе заранее разработанной единой для всех шкалы оценок способствует объективности и обоснованности оценки знаний студента.

Список использованной литературы:

1. Беспалько В.П. Стандартизация образования: основные идеи и понятия. // Педагогика, 1993 , № 5 . - С.16 - 25.

2. Дегтярева Т.Д., Спешилова Н.В. Автоматизированные информационные технологии в высших учебных заведениях. - Оренбург: ОГАУ, 2001. - 213с.

3. Монахов В.М. Проектирование и внедрение новых технологий обучения. // Советская педагогика, 1990, № 7. - С.17 - 22.