Определение целей проведения тестирования для правильной интерпретации его результатов

Каплун О. А. Определение целей проведения тестирования для правильной интерпретации его результатов / О. А. Каплун, А. И. Лаврищев // Научный диалог. — 2018. — № 7. — С. 320—330. — DOI: 10.24224/2227-1295-2018-7-320-330.

Kaplun, O. A., Lavrishchev, A. I. (2018). Defining the Objectives of Testing for Correct Interpretation of Its Results. Nauchnyy dialog, 7: 320-330. DOI: 10.24224/2227-1295-2018-7-320330. (In Russ.).

ERIHdW

Журнал включен

EBSCOfrast

Перечень ВАК

и L R I С H'S PERIODICALS DIRECTORY..

УДК 378.146

DOI: 10.24224/2227-1295-2018-7-320-330

Определение целей проведения тестирования для правильной интерпретации его результатов

© Каплун Ольга Александровна (2018), orcid.org/0000-0002-8898-2007, кандидат педагогических наук, доцент кафедры иностранных языков, институт иностранных языков, ФГБОУ ВО «Орловский государственный университет им. И. С. Тургенева» (Орел, Россия), sunny21@inbox.ru

© Лаврищев Александр Игоревич (2018), orcid.org/0000-0002-6170-6192, кандидат педагогических наук, доцент кафедры иностранных языков, институт иностранных языков, ФГБОУ ВО «Орловский государственный университет им. И. С. Тургенева» (Орел, Россия), algumkaf@yandex.ru.

Рассматривается один из важнейших этапов разработки теста — этап целепо-лагания. В качестве исследовательской задачи авторами была определена оценка изученности проблемы целеполагания в педагогической литературе и литературе по тестологии. Авторы доказывают, что от результатов этапа целеполагания зависит качество содержания теста. Также утверждается идея о том, что определение целей проведения тестирования важно для правильной интерпретации его результатов. На основе анализа литературы по тестологии авторы приходят к выводу о том, что, создавая тест, разработчик ставит перед собой задачу отобразить в его содержании то главное, что должны знать обучающиеся в результате обучения, а для этого необходимо структурировать цели проведения тестового контроля. Дается описание различных видов целей обучения. Перечислены выделенные разными исследователями уровни усвоения знаний. Даются рекомендации для правильного формулирования целей тестирования. Уделяется внимание тем знаниям, умениям, навыкам и усвоенным способам деятельности, которые можно проверить с помощью тестов. Авторы статьи приходят к выводу, что определение целей проведения тестирования необходимо для того, чтобы прояснить, какие результаты обучающихся будут оцениваться с помощью теста.

Ключевые слова: тестовый контроль; целеполагание; таксономия целей; когнитивные цели; аффективные цели; психомоторные цели; уровни усвоения знаний.

1. Целеполагание как важный этап разработки теста

Современный учебный процесс в высших учебных заведениях нельзя представить без системы тестового контроля. В учебно-методической литературе за последние годы появилось множество публикаций, посвященных технологии создания тестов для проверки уровня сформированности общекультурных и профессиональных компетенций по разным учебным дисциплинам. Первым и наиболее важным этапом разработки теста является определение целей и задач диагностики. От результатов этапа це-леполагания зависит качество содержания теста. Знание того, для какой цели используется тестирование, является основой для правильной оценки и интерпретации результатов проведения диагностики. Отсутствие четко поставленных целей может привести к возникновению ошибок в результатах тестирования.

М. Б. Челышкова отмечает, что в процессе целеполагания необходимо определить, какие результаты обучающихся (способности, знания, умения, навыки) будут оцениваться с помощью теста [Челышкова, 2002, с. 83]. Создавая тест, разработчик ставит перед собой задачу включить в тест наиболее важную информацию, которую обучающиеся должны усвоить, так как все результаты обучения одновременно проверить невозможно. Цели необходимо классифицировать, разработать их иерархию.

2. Таксономия (классификация) целей обучения

Проблемой выделения различных целей обучения занимались многие отечественные и зарубежные исследователи. Они пытались создать свои иерархические модели целей обучения. Одной из первых таких моделей является модель целей Б. С. Блума [Bloom, 1956], которую многие исследователи считают наиболее технологичной. Ученый выделил следующие три группы целей обучения: когнитивные (познавательные), аффективные (эмоциональные) и психомоторные.

Когнитивные цели делятся на следующие категории:

1) знание (запоминание и воспроизведение фактов, понятий, их определений, правил и закономерностей);

2) понимание (усвоение материала, способность к его преобразованию из одной формы в другую и интерпретации, высказыванию предположений о дальнейшем развитии событий);

3) применение (умение применять методы, приемы и правила в типовых ситуациях и новых условиях);

4) анализ (умение определять структуру учебного материала, выделять ее составные элементы и взаимосвязи между ними);

5) синтез (умение объединять элементы в целое, имеющее новизну);

6) оценка (умение оценить глубину и полноту знания материала на основе определенных критериев).

Умения в аффективной области отражают то, как обучающийся реагирует эмоционально, насколько он способен сопереживать, реагируя на чужие боль, огорчение, разочарование.

Умения в психомоторной области определяют способность использовать различные инструменты и орудия.

В 90 годы XX века многие ученые критиковали таксономию Б. С. Блу-ма, так как в ней в качестве целей обучения выступали и результаты обучения, и мыслительные операции, которые требуются для достижения этих результатов. Эта модель целей обучения была слишком упрощенной, в ней не использовались достижения современной теории обучения, а также отсутствовала взаимосвязь между составными элементами таксономии.

К. Биггс и Д. Коллис предложили свою модель целей обучения, которая основывалась на классификации уровней познавательной деятельности: от воспроизведения фактов и простейших алгоритмов действий с изучаемым материалом до разнообразных интеллектуальных и практических умений [Biggs et al., 1982].

М. В. Кларин [Кларин, 1994] дал более полное описание целей:

1. КогнитивныЕ цели:

1) з н а н и е : эта цель предполагает запоминание (запечатление в памяти обучающегося воспринятой им информации, установление связей между новой информацией и той, что имеется в его памяти), сохранение в памяти и последующее припоминание и воспроизведение усвоенной информации (основных терминов, определений понятий, правил, теорий и т. д.);

2) понимание подразумевает, что обучающийся понимает смысл изучаемого учебного материала, может преобразовать его из вербальной формы представления в наглядную и наоборот), интерпретировать его, высказать свою точку зрения, прогнозы и ожидания по поводу изученного;

3) применение предполагает использование изученного материала (понятий, закономерностей, принципов, методов и технологий) в новых ситуациях;

4) анализ: данная категория цели предполагает умение разделить материал на составные части так, чтобы была видна его структура, определить взаимосвязи между составными частями и принципы, по которым образуется единое целое из частей;

5) синтез: эта цель требует умения комбинировать составные элементы, чтобы получить целое. Обучающийся пишет эссе, творческое сочинение, сообщение, доклад, разрабатывает план своего исследования, применяет усвоенные им в разных областях науки знания, умения и навыки для решения поставленной задачи;

6) оценка означает определение значимости усвоенного материала. Мнение обучающегося должно складываться на основе внутренних (структурных) или внешних (соответствие поставленной цели) критериев, в зависимости от которых обучающийся дает свою оценку изучаемому материалу и его значимости, соответствию выводов приведенным фактам и доказательствам.

2. Аффективные цели:

1) восприятие: эта категория цели обозначает способность обучающегося правильно воспринимать те или иные явления. Сюда входят следующие субкатегории: осознание, готовность воспринимать и избирательное внимание. Обучающийся осознает важность обучения, внимательно слушает высказывания преподавателя и других студентов в аудитории, проявляет интерес к культурной и общественной жизни, умеет слушать других людей и сопереживать им;

2) реагирование (отклик): эта цель означает ответную реакцию самого обучающегося. Субкатегориями здесь являются подчиненный отклик, добровольный отклик и удовлетворение от реагирования. Обучающийся выполняет домашние задания, подчиняется определенным правилам поведения в школе (вузе), активно участвует в жизни класса (группы), следит за событиями общественно-политической жизни общества и международными проблемами, у него проявляется интерес к определенным дисциплинам и учебе в целом;

3) усвоение ценностной ориентации: эта цель предполагает изучение разных точек зрения, высказывание своего мнения, своего отношения к различным фактам, предметам и видам деятельности, а также убежденность в правильности своих взглядов;

4) организация ценностной ориентации предполагает осмысление обучающимся различных ценностных ориентаций, построение из них единого целого и формирование собственной системы ценностей, исходя из своих интересов, предпочтений и взглядов;

5) распространение ценностной ориентации на деятельность: эта цель показывает, как усвоенные ценностные ориентации влияют на поведение обучающегося. Чтобы достичь этой цели, обучающийся должен проявлять самостоятельность в обучении, стремиться к со-

трудничеству и дискуссии в обсуждении важных проблем, он должен быть готовым пересмотреть свои взгляды и изменить свое поведение, а также сформировать сове жизненное кредо.

3. Уровневый подход к описанию учебных достижений обучающихся

При планировании содержания тестов можно опираться на уровневый подход к описанию учебных достижений обучающихся. Б. С. Иванов выделил шесть уровней усвоения знаний и овладения учебным материалом:

1) узнавание, различение и воспроизведение (знакомство с учебным материалом на основе повторного его восприятия);

2) понимание (способность к рассуждению по аналогии с уже известной информацией, преобразование учебного материала из вербальной формы в наглядную и наоборот, интерпретация изученной информации);

3) применение (способность решать нетиповые задачи и использовать изученную информацию в ситуациях, приближенных к практической деятельности в реальной жизни);

4) анализ (умение выделить составные части в изучаемом учебном материале);

5) синтез (умение соединять составные учебного материала в единое целое);

6) оценка (умение определять ценность какой-либо информации для определенной цели) [Иванов, 2005, с. 22—24].

В. П. Беспалько, К. А. Иванова, Н. П. Петренко и А. П. Дмитриева [Беспалько, 1970; Беспалько, 1977; Иванова, 1976] дают характеристику пяти уровней усвоения учебного материала: понимание, узнавание (ученический уровень), репродуктивное действие (алгоритмический уровень), продуктивное действие (эвристический уровень) и творческое действие (творческий уровень).

На первом уровне понимания обучающийся сравнивает новую информацию с имеющейся в его памяти и выполняет действие «подведение под понятие».

На уровне узнавания (ученический уровень) обучающийся выполняет репродуктивные действия, опираясь на свою память, подсказки, инструкции, алгоритмы и описания действия, самостоятельно воспроизводя правила действия.

Достигнув уровня репродуктивного действия (алгоритмического уровня), обучающийся может воспроизвести по памяти и применить на практике усвоенный учебный материал для решения типовых задач, используя определенный алгоритм действия.

На уровне продуктивного действия (эвристический уровень) обучающийся способен использовать приобретенные знания и умения для решения нетиповых задач в реальных ситуациях для создания новой для обучающегося информации об изучаемых предметах и явлениях.

Характеристикой уровня творческого действия (творческого уровня) служит способность обучающегося использовать приобретенные знания, умения и навыки для создания новой информации, не известной ранее никому.

4. Цели проведения тестирования

По мнению Е. М. Борисовой, К. М. Гуревича и С. П. Суворова [Психологическая диагностика, 1977; Суворов, 1970], целями проведения тестирования могут быть:

— размещение (распределение) обучающихся по группам исходя из уровня их знаний, сформированности у них определенных умений и навыков, а также разделение обучающихся одной группы по тем же принципам для организации дифференцированного обучения. Результаты теста, используемого для цели размещения, показывают место обучающегося в группе. Такой тест должен иметь высокую степень надежности, а его задания должны обладать большой различающей способностью, то есть в тесте должны преобладать задания, которые смогут правильно решить только те обучающиеся, которые хорошо знают данный учебный предмет;

— диагностика: диагностические тесты используются, если необходимо определить причины плохой успеваемости, выявить пробелы в знаниях отдельных обучающихся для того, чтобы внести изменения в систему работы над определенными разделами программы, организовать самостоятельную работу или дополнительные занятия для слабых обучающихся;

— определение результатов обучения: в этом случае обучающиеся проходят тестирование перед началом и в конце определенного этапа обучения. Результаты повторного тестирования показывают степень успеха обучающихся в овладении определенным материалом, степень сформиро-ванности у них определенных умений, навыков и компетенций, а также могут служить показателями необходимости внесения определенных изменений в учебные программы, методы обучения и организацию учебного процесса и самостоятельной работы обучающихся;

— прогнозирование вероятного успеха в овладении той или иной дисциплиной: при этом обучающиеся могли ранее изучать данный учебный предмет, и прогноз вероятного успеха в будущем строится на основе успехов в изучении этой дисциплины ранее. Обучающиеся могли ранее не изу-

чать данный предмет, и тогда прогноз строится на основе успехов в изучении других, смежных предметов или на основе определенных качеств личности, которые необходимы для успешного овладения данным предметом;

— оценка работы учебного заведения: одни и те же тесты проводятся в разных учебных заведениях, но работающих по одним и тем же учебным программам, для сравнения результатов обучения и определения уровня успеваемости обучающихся определенного возраста.

5. Рекомендации для правильного формулирования целей обучения

Цели тестирования должны быть сформулированы так, чтобы можно было с помощью четко обозначенных критериев определить, достигнуты они или нет. Так как каждую цель можно разложить на составляющие ее компоненты — задачи, то необходимо сформировать дерево целей и задач. Развернутая постановка задач тестирования позволяет провести процедуру спецификации теста.

Цель тестирования должна быть конкретизирована. Для этого нужно описать, владение какими знаниями, умениями и навыками проверяет данный тест. Составитель теста должен понимать, что представляет собой проверяемое знание, умение или навык, каковы условия его формирования и какова желательная степень владения им для данного обучающегося.

Цель следует формулировать очень точно, чтобы можно было однозначно определить степень ее реализации.

Как отмечает И. И. Соколова, с помощью тестов можно провести диагностику следующих знаний:

— «знания фактов, их причин;

— знания научных проблем по данной теме;

— знания основных терминов и понятий по теме, их определений и их практического применения;

— знания основных правил, принципов и законов, их формулировок и особенностей применения;

— знания теорий и фактов, являющихся основой для разработки данных теорий, их основных положений, доказательств, выводов, прогностических возможностей» [Соколова, 2004, с. 82].

Далее автор приводит умения, которые можно проверить с помощью теста:

— «владение фактами — установление их причин и взаимосвязей между разными фактами;

— владение проблематикой — формулирование проблем по данной теме, умение находить возможные пути решения каждой проблемы;

— владение понятиями — узнавание, определение понятий, раскрытие их содержания, классификация, описание взаимосвязей между понятиями и практическое их применение;

— владение правилами, закономерностями и законами — узнавание, формулирование, описание содержания и применения правил и законов;

— владение теориями — узнавание, подбор фактов и данных, необходимых для построения теории, раскрытие ее содержания (характеристика основных положений, доказательств, выводов), осуществление практических действий на основе теории» [Соколова, 2004, с. 82].

Наконец, как пишет в своей работе И. И. Соколова, тестирование позволяет проверить следующие навыки:

— «построения и применения алгоритма выполнения конкретных действий в структуре умения;

— моделирования выполнения действий, из которых состоит данное умение;

— выполнения комплекса действий, составляющих данное умение;

— анализа результатов выполнения действий» [Соколова, 2004, с. 82—

83].

Кроме основной цели проведения, тестирование может решать ряд главных и второстепенных задач. Эти задачи влияют на количество заданий по определенной теме, которое показывает, сколько времени отводилось данной теме или разделу программы в учебном процессе. Характер тестовых заданий должен отражать особенности тестируемого навыка.

6. Заключение

Итак, одним из важнейших этапов создания тестов по различным дисциплинам является этап целеполагания, то есть процесс определения целей и задач тестовой диагностики. Определение целей проведения тестирования помогает понять, какие результаты обучающихся будут оцениваться с помощью теста.

В содержании теста отражаются наиболее важные знания, умения и навыки, которыми должны овладеть обучающиеся в результате обучения, а для этого необходимо структурировать учебные цели.

Анализ научной литературы по данному вопросу показал, что единой иерархической модели целей не существует. Одни авторы (Б. С. Блум и М. В. Кларин) делили цели обучения на когнитивные, аффективные и психомоторные, другие (К. Биггс и Д. Коллис) подразделяли цели по уровням познавательной деятельности. Третья группа исследователей (В. П. Бес-

палько, Б. С. Иванов, К. А. Иванова, Н. П. Петренко и А. П. Дмитриева) опиралась на уровневый подход при описании результатов обучения. Е. М. Борисова, К. М. Гуревич и С. П. Суворов высказали точку зрения, что тестирование может проводиться для распределения обучающихся, диагностики, прогнозирования будущего успеха в обучении, определения достижений обучающихся в овладении учебной дисциплиной и уровня сформированности у них знаний, умений и навыков и различных общекультурных и профессиональных компетенций, а также уровня обученно-сти всех обучающихся данного учебного заведения в целом.

Литература

l . Беспалько В. П. Основы теории педагогических систем : проблемы и методы психолого-педагогического обеспечения технических обучающих систем / В. П. Беспалько. — Воронеж : Воронежский университет, 1977. — 304 с.

2. Беспалько В. П. Программированное обучение (дидактические основы) / В. П. Беспалько. — Москва : Высшая школа, 1970. — 300 с.

3. Иванов Б. С. Принципы и технология тестирования студентов / Б. С. Иванов. — Санкт-Петербург : Политехнический университет, 2005. — 80 с.

4. Иванова К. А. Методика комплексного контроля усвоения знаний (на материале английского языка) / К. А. Иванова, Н. П. Петренко, А. П. Дмитриева // Проблемы изучения иностранных языков в заочной и вечерней высшей школе. — 1976. — Выпуск 1. — С. 123—131.

5. Кларин М. В. Инновационные модели обучения в зарубежных педагогических поисках / М. В. Кларин. — Москва : Арена, 1994. — 223 с.

6. Психологическая диагностика : учебное пособие / ред. К. М. Гуревич, Е. М. Борисова. — Москва : УРАО, 1997. — 304 с.

7. Соколова И. И. Компьютерное тестирование как наукоемкая педагогическая технология / И. И. Соколова // Известия Российского государственного педагогического университета им. А. И. Герцена. — 2004. — № 9, Т. 4. — С. 77—87.

S. Суворов С. П. Педагогические тесты: практика их составления и использования в США / С. П. Суворов // Пути улучшения преподавания иностранных языков : сборник статей. — Москва : Мысль, 1970. — С. 51—117.

9. Челышкова М. Б. Теория и практика конструирования педагогических тестов / М. Б. Челышкова. — Москва : Логос, 2002. — 432 с.

10. Biggs J. B. Evaluating the Quality of Learning — the SOLO Taxonomy / J. B. Biggs, K. F. Collis. — New York : Academic Press, 1982. — 248 p.

11. Bloom B. S. Taxonomy of Educational Objectives : The Classification of Educational Goals. Handbook 1: Cognitive Domain / B. S. Bloom et al. — New York : David Mckay Co., 1956. — 207 p.

Defining the Objectives of Testing f or Correct Interpretation of Its Results

© Kaplun Olga Aleksandrovna (2018), orcid.org/0000-0002-8898-2007, PhD in Education, associate professor, Department of Foreign Languages, Institute of Foreign Languages, Orel State University named after I. S. Turgenev (Orel, Russia), sunny21@inbox.ru. © Lavrishchev Aleksandr Igorevich (2018), orcid.org/0000-0002-6170-6192, PhD in Education, associate professor, Department of Foreign Languages, Institute of Foreign Languages, Orel State University named after I. S. Turgenev (Orel, Russia), algumkaf@yandex.ru.

One of the most important stages of the test development — the goal-setting stage — is considered. As a research task the authors determined the evaluation of the study of the problem of goal-setting in the pedagogical literature and literature on testology. The authors prove that the quality of the test content depends on the results of the goalsetting stage. The idea that the purpose of testing is important for the correct interpretation of its results is also approved. Based on the analysis of the literature on testology, the authors conclude that, creating a test, the developer sets a task to display in its content the main thing that students should know as a result of training, and it is necessary to structure the objectives of the test control. The description of different types of learning objectives is given. The levels of assimilation of knowledge distinguished by different researchers are listed. Recommendations are given for the correct formulation of the test objectives. Attention is paid to the knowledge, skills and learned methods of activity that can be checked using tests. The authors of the article come to the conclusion that the definition of the goals of testing is necessary in order to clarify what students' results will be evaluated using the test.

Key words: test control; goal setting; taxonomy of goals; cognitive goals; affective goals; psychomotor goals; levels of knowledge acquisition.

References

Bespalko, V. P. (1970). Programmirovannoye obucheniye (didakticheskiye osnovy).

Moskva: Vysshaya shkola. (In Russ.). Bespalko, V. P. (1977). Osnovy teorii pedagogicheskikh sistem: problemy i metody psik-hologo-pedagogicheskogo obespecheniya tekhnicheskikh obuchayushchikh sistem. Voronezh: Voronezhskiy universitet. (In Russ.). Biggs, J. B., Collis, K. F. (1982). Evaluating the Quality of Learning — the SOLO Taxonomy. New York: Academic Press. Bloom, B. S. (1956). Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1: Cognitive Domain. New York: David Mckay Co. Chelyshkova, M. B. (2002). Teoriya i praktika konstruirovaniya pedagogicheskikh tes-

tov. Moskva: Logos. (In Russ.). Gurevich, K. M., Borisova, E. M. (eds.). (1997). Psikhologicheskaya diagnostika: ucheb-

noyeposobiye. Moskva: URAO. (In Russ.). Ivanov, B. S. (2005). Printsipy i tekhnologiya testirovaniya studentov. Sankt-Peterburg: Politekhnicheskiy universitet. (In Russ.).

Ivanova, K. A., Petrenko, N. P., Dmitrieva, A. P. (1976). Metodika kompleksnogo kon-trolya usvoyeniya znaniy (na materiale angliyskogo yazyka). Problemy izucheniya inostrannykh yazykov v zaochnoy i vecherney vysshey shkole, 1: 123—131. (In Russ.).

Klarin, M. V. (1994). Innovatsionnyye modeli obucheniya v zarubezhnykh peda-gogicheskikhpoiskakh. Moskva: Arena. (In Russ.).

Sokolova, I. I. (2004). Kompyuternoye testirovaniye kak naukoyemkaya pedagogiches-kaya tekhnologiya. Izvestiya Rossiyskogo gosudarstvennogo pedagogichesk-ogo universiteta im. A. I. Gertsena, 9/4: 77—87. (In Russ.).

Suvorov, S. P. (1970). Pedagogicheskiye testy: praktika ikh sostavleniya i ispolzovaniya v SShA. In: Puti uluchsheniya prepodavaniya inostrannykh yazykov: sborn-ik statey. Moskva: Mysl. (In Russ.).