Мониторинг как форма альтернативного контроля по иностранному языку

МЕТОДИКА ПРЕПОДАВАНИЯ ЯЗЫКОВ METHODOLOGY OF TEACHING LANGUAGES

УДК 372.8

Северо-Западный институт управления Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации» заведующая кафедрой иностранных языков

канд. филол. наук, доцент Матиенко А.В.

Россия, Санкт-Петербург, +79834440918

North-West Institute of Management of the Russian Federation Presidential Academy of National Economy and Public Administration

Head of the Foreign Languages Department PhD, assistant professor

Matienko A.V.

Russia, Saint-Petersburg, +79834440918

А.В. Матиенко

МОНИТОРИНГ КАК ФОРМА АЛЬТЕРНАТИВНОГО КОНТРОЛЯ ПО ИНОСТРАННОМУ ЯЗЫКУ

В настоящей статье рассматривается проблема формирования контрольно-измерительной компетенции личности в рамках концепции когнитивно-коммуникативного контроля в обучении иностранному языку. Реализация данной концепции предполагает отслеживание результатов, полученных в процессе тестирования. Проводимый студентами мониторинг по результатам тестирования нацелен на отслеживание развития собственной коммуникативной компетенции, самонаблюдение над использованием стратегий подготовки, выполнения и последующего анализа тестовых заданий, рефлексию выполняемой учебной и тестовой деятельности с разработкой собственных рекомендаций по ее совершенствованию. Цель данного мониторинга - представить в динамике познавательную деятельность студентов, преобразовать тестирование в учение и создать условия для реализации их личностного потенциала в учении и тестировании. Выводы подтверждены данными многомерного статистического анализа.

Ключевые слова: когнитивно-коммуникативный контроль, контрольно-измерительная компетенция, тестирование по иностранному языку, мониторинг, коммуникативная компетенция, тестовые стратегии, развивающие умения, учебно-тестовый портфель, познавательная деятельность, многомерный статистический анализ.

A.V. Matienko

MONITORING AS A FORM OF ALTERNATIVE CONTROL IN A FOREIGN LANGUAGE

The present article is devoted to the investigation of the problem of formation of individual's assessment activity within the concept of cognitive-communicative control in learning a foreign language. Implementation of this concept involves monitoring the results obtained in the testing process. This monitoring is carried out by students, it is based on their own test results and aimed at monitoring the development of their own communica-

© Матиенко А.В., 2016

tive competence; introspection over the use of testing strategies, implementation and subsequent analysis of test tasks; reflection of the carried out learning and testing activities to develop their own recommendations for its improvement. This monitoring is aimed at the representation of students' cognitive activity in dynamics, convert testing to the learning process and to create conditions for realizing their personal potential in learning and testing. The conclusions were confirmed by multidimensional statistical analysis.

Key words: cognitive-communicative control, assessment activity, foreign language testing, monitoring, communicative competence, testing strategies, developing skills, learning and testing portfolio, cognitive activity, multidimensional statistical analysis.

Специфической особенностью современного этапа развития вузовского образования является новый взгляд на социальные роли его участников. Функцией обучаемого становится не только «потребление» интеллектуальной и духовной культуры, но и обогащение ее самим фактом своего творческого развития в разнообразных формах индивидуальной и совместной с преподавателем и коллегами по учебе деятельности [4,5]. В настоящей статье ставится мало исследованная проблема формирования у студентов контрольно-измерительной компетенции, основанной на теории, технике и технологии современных педагогических измерений уровня учебных достижений обучаемых, что и обусловливает потребность в совершенствовании теории и технологии процедур контроля, необходимость повышения эффективности использования результатов контроля путем оперативного реагирования на индивидуальные особенности познавательной деятельности обучающихся [7,8,9].

Наиболее полная реализация контрольно-измерительной компетенции личности возможна, если сформирована способность личности управлять контрольно-измерительной деятельностью, т. е. осуществлять длительный мониторинг [7,8] для измерения своих достижений в учебно-познавательной деятельности при помощи комплекса коммуникативных и когнитивных средств, технологий и инструментов, использующихся при проведении научно-исследовательской деятельности.

Реализация концепции когнитивно-коммуникативного контроля [2,3] в обучении иностранному языку предполагает мониторинг, т. е. отслеживание результатов, полученных в ходе тестирования компонентов коммуникативной компетенции обучающихся, являющейся объектом как традиционного, так и альтернативного тестирования, умений обучающихся пользоваться стратегиями выполнения тестов, а также развивающих умений обучающихся, которые активно формируются в условиях альтернативного языкового тестирования за счет реализации идей гуманистической идеологии и превращения обучения в учение [7,8,9].

Разработанная методика и технология организации альтернативного языкового тестирования на основе когнитивно-коммуникативного подхода была реализована при помощи мониторинга обучающимися собственных учебных достижений под руководством ведущего преподавателя. В качестве тестируемых выступили 2 группы студентов (30 человек) 2 курса Северо-Западного института управления РАНХиГС при Президенте РФ, обучающихся по направлению: 41.03.05 «Международные отношения». Мониторинг длился в течение учебного года (с сентября по июнь 2016 года).

Работа над каждым разделом учебно-тестового портфеля предполагала мониторинг формирования коммуникативной компетенции, тестовых стратегий и развивающих умений. Проводимый студентами мониторинг означал отслеживание развития собственной коммуникативной компетенции, самонаблюдение над использованием стратегий подготовки, выполнения и последующего анализа тестовых заданий, рефлексию выполняемой учебной и тестовой деятельности с разработкой собственных рекомендаций по ее совершенствованию [7,8,9].

В ходе и результате проведенной опытной работы сложилась структура мониторинга учебно-тестовой деятельности студентов. Данная структура состояла из следующих элементов: цели, средств, участников (субъектов), объектов и предмета мониторинга.

Целью мониторинга, как мы указали выше, было представить в динамике познавательную деятельность студентов, преобразовать тестирование в учение и создать условия для реализации их личностного потенциала в учении и тестировании. Средством мониторинга был учебно-тестовый портфель, на материале которого студенты анализировали свою учебную деятельность [9]. Активными участниками (субъектами) мониторинга были сами студенты в сотрудничестве со своими одногруппниками и преподавателями. Объекты мониторинга включали формирование коммуникативной компетенции, овладение тестовыми стратегиями и становление развивающих умений. Наконец, предметом мониторинга был рост познавательных возможностей учащихся, выражаемый в их активном учении, самореализация себя как личности в сотрудничестве с учителем и учащимися, а также рост учебно-тестовых показателей. Покажем структуру учебно-тестового мониторинга учащихся (рис. 1):

Рис. 1. Мониторинг учебно-тестовой деятельности

В ходе опытной работы была предпринята попытка реализовать представленную структуру. Для получения объективно доказательных результатов мониторинга были использованы методы многомерного статистического анализа, позволяющие характеризовать наблюдаемый объект множеством переменных, такие как кластерный и дис-криминантный анализы, критерий Т2 Хотеллинга. Также были использованы сравнительные критерии: t - критерий Стьюдента, Манна-Уитни [1,6,10]. В свете этого мы можем говорить о доказательной педагогике, основными постулатами которой являются:

1) каждое решение педагога должно основываться на научных данных;

2) вес каждого факта тем больше, чем строже методика научного исследования, в ходе которого он получен.

Мониторинг развития коммуникативной компетенции представлял собой отслеживание процесса коммуникативного развития, осуществляемое самими студентами. С целью мониторинга развития коммуникативной компетенции в учебно-тестовый портфель в полном объеме включались задания стандартизованного тестирования. Эти задания позволяли проверить уровень всех видов речевой деятельности студентов (говорение, слушание, чтение и письмо), а также их грамотность, словарный запас и владение фразеологией. Результаты выполнения этих заданий (оценки преподавателя) вносились студентами самостоятельно в таблицу с указанием номера и даты тестирования. Материалы таблицы позволяют проследить, какие результаты были получены студентами по соответствующим типам стандартизованных тестовых заданий и какова была динамика этих показателей: количество хороших и отличных оценок, полученных в сентябре на начальном этапе мониторинга и количество хороших и отличных оценок, полученных этими же учащимися в июне на заключительном этапе мониторинга.

Наглядные и объективные результаты дают данные, полученные в ходе многомерного статистического анализа (t-критерий Стьюдента). Определенные закономерности проявились по временным отрезкам: 1 группа - сентябрь; 2 группа - октябрь, ноябрь, декабрь; 3 группа- январь, февраль; 4 группа- март, апрель; 5 группа - май, июнь. Объединение данных временных отрезков можно объяснить спецификой учебного процесса: сентябрь - начало учебного года, адаптационный период у студентов после летних каникул; октябрь, ноябрь, декабрь - активизация студентов, интенсивная вовлеченность в учебный процесс; январь, февраль - спад учебной активности объясняется наличием большого количества праздничных дней и зимними каникулами; март, апрель - небольшой рост учебной активности, связанный с началом второго семестра и влиянием весенних месяцев; май, июнь - значительный рост учебной активности, связанный с окончанием семестра и подведением итогов года. Рассмотрим итоговую таблицу, позволяющую проанализировать конечные результаты между группами 1 (начальный этап мониторинга) и 5 (конечный этап мониторинга) (табл. 2).

В таблицах представлены различия между выше обозначенными группами по всем признакам, связанным с тестовыми заданиями по 4 видам речевой деятельности: аудированию, говорению, чтению, письму. Между группами 1-5, наблюдается существенный рост (существенными считаются различия при р < 0,05) по признакам listening for content (Lfc 2), listening for details (Lfd 3 4), giving information (Sgi 7) в области выполнения тестовых заданий по говорению, argumentative writing (Wra 13) При этом незначительный рост между 1 группой в начале нашего исследования и 5 группой на конечном этапе нашего исследования наблюдается по всем переменным, соответственно, по всем видам речевой деятельности, что позволяет сделать вывод об общей положительной динамике данного мониторинга (р по Т2 Хотеллингу меняется от 0,062 до 0,00029).

Табл. 2. Сравнение групп 1 и 5 по тестированию видов речевой деятельности

Переменная T-tests; Группирова код 3 (В - M) Group 1:1; Group 2: 5 p<,00029

Mean Mean 1 5 p по Манну-Уитни

Lfg 1 3,633333 3,933333 0,164728

Lfc 2 3,266667 3,983333 0,002444

Lfd 3 4 3,000000 3,916667 0,000305

Set 5 4,033333 4,200000 0,346462

Sit6 3,233333 3,650000 0,109690

Sgi 7 3,233333 3,816667 0,009981

Rfg8 3,900000 4,016667 0,541244

Rfc 9 4,366667 4,216667 0,304691

Rfd 10 3,933333 3,983333 0,811446

Wrex 11 3,266667 3,633333 0,130947

Wrci 12 3,333333 3,650000 0,200976

Wra 13 2,966667 3,583333 0,011144

Включенные в матрицу форматы тестовых заданий оценивались студентами после выполнения ими тестовых заданий и позволяли организовать мониторинг развития тестовой компетенции студентов в виде овладения тестовыми стратегиями. Владение форматами тестирования оценивалось студентами самостоятельно или вместе с преподавателем.

Освоение различных тестовых форматов - процесс, растянутый во временном пространстве, в течение одного учебного года сдвиг в положительную сторону невелик, но он присутствует. Между начальной точкой и конечным результатом есть множество промежуточных моментов, наглядно показывающих сложность процесса овладения тестовыми форматами. В качестве примера рассмотрим линейное вычерчивание, представляющие различные тестовые форматы по месяцам мониторинга (рис. 3).

Для промежуточного этапа характерны ухудшения, резкие улучшения, зависание на одном уровне, но конечный результат оправдывает наши ожидания и дает положительную динамику по всем предложенным студентам 24 тестовым форматам.

Эффективность использования тестовых стратегий в ходе нашего мониторинга можно представить графически следующим образом

Наблюдается четкая линейная зависимость в сторону роста показателей по использованию всех тестовых стратегий до, вовремя и после тестирования между начальным и конечным этапами мониторинга. Длительность нашего мониторинга (10 месяцев) позволила учащимся узнать ранее неизвестные и неиспользуемые ими тестовые стратегии и активно применять их для альтернативного контроля собственных знаний.

Рис. 3. Процесс формирования результата за период мониторинга

В ходе мониторинга студентами своей коммуникативной компетенции, качество их учения интерпретировалось в соответствии с имеющимися у них опытом учебно-тестовой деятельности, реальными познавательными возможностями и потенциалом роста знаний. Их тестовые стратегии сопоставлялись с характерными познавательными стилями и тестовыми стратегиями. Развивающая компетенция рассматривалась, как объективно наблюдаемая готовность студентов анализировать свою познавательную деятельность, преодолевать возникающие затруднения и обеспечивать рост своих учебных показателей по результатам языкового тестирования.

Обратившись к кластерному анализу по всем вышеперечисленным переменным, оценивающим развивающие умения учащихся, можно проследить, каким образом студенты группируют эти критерии (рис. 5).

Рис. 4. Начальный и конечный результаты (сентябрь - июнь) по использованию тестовых стратегий

4,1

4,0

3,9

3,8

3,7

3,6

3,5

3,4

3,3

3,2

:

-о--

Вг 1 Врг 2 Вгеу 3 ВсИ 4 Bf 5 \Л/огд 6 Wrec 7 Wex 8 \Л/иэ 9 \Л/рг 10 Ргед 11 Реу 12 Рэуэ 13 Рас) 14 РэеИ715

СЕНТЯБРЬ

ИЮНЬ

Рис. 5. Дерево объединения в кластер по критериям методом Уорда, в качестве меры сходства - евклидова метрика

В первую группу кластера входят прогностические и рефлексивные умения, позволяющие предвидеть результат (Pras 1) и проанализировать его (Refas 6); прогности-

ческие, рефлексивные и исполнительные умения по управлению успешностью своей деятельности, позволяющие предвидеть, как получить хороший результат (Ргтап 5), объяснить причины (Ехтап 15) и спрогнозировать следующий, более лучший результат (ДеАтап 10); прогностические, рефлексивные и исполнительные умения следовать определенным стандартам, предъявляемым к выполняемым тестовым заданиям (Ргсоп1х 3, Refcontr 8, Ехсоп1х 13). Вторая группа кластера объединяет прогностические, рефлексивные и исполнительные умения осмысливать полученный результат (Ргеу 2, Refev 8, Ехеу 12) - предвидеть причины получения данного результата, проанализировать их, осмыслить, как устранить неудачи для улучшения своего результата. В третью группу кластера входят прогностические, рефлексивные и исполнительские умения по отслеживанию изменений в сторону улучшения своего результата (Ргтоп 4, Ехтоп 14, Refmon 9). Только одно умение осталось обособленным, не вошло ни в один кластер -умение определить, насколько можно улучшить свой результат (Exas 11). Логическая цепочка выглядит следующим образом: сначала студенты думают о том, что конкретно они могут иметь и имеют, затем почему они это могут иметь и имеют на уровне объяснения и на уровне осмысления, как это изменить. Вопрос насколько это можно изменить представляется для них трудным, так как это требует анализа по всем выше приведенным позициям и полного заключительного обобщения.

Экспериментальные данные, полученные в ходе опытного обучения, показывают, что когнитивно-коммуникативный контроль в обучении иностранному языку в форме языкового тестирования как проверка достижений студентов в овладении иностранным языком в ходе длительного мониторинга учебной и тестовой деятельности с помощью учебно-тестового портфеля оказался весьма эффективным для превращения тестирования в учение, повышения учебных показателей и самореализации познавательных возможностей личности студентов. Мониторинг контрольно-измерительной деятельности студентов эффективно осуществлялся с помощью учебно-тестового портфеля. В ходе мониторинга отслеживалось развитие коммуникативной компетенции студентов, формирования у них тестовых стратегий, а также общеучебных умений развивающего характера. Объективность полученных результатов подтверждается данными многомерного статистического анализа.

Библиографический список

1. Алферова М.А. Основы прикладной статистики // Учебно- метод. пособие, вып. 2 / М.А. Алферова, И.М. Михалевич, Н.Ю. Рожкова. Иркутск, 2003. 101 с.

2. Барышников Н.В. Коммуникативно-когнитивный подход к чтению // Когнитивная методика обучения иностранным языкам в разных условиях (тезисы Всероссийской конференции)/Пятигорск, 1999. С. 5-8.

3. Виноградова Е.В. Лингво-когнитивные аспекты модели обучения иностранному языку //Обучение иностранным языкам: традиции и инновации. Межвуз. сб. научных статей. Пятигорск, 2001. С. 54-60.

4. Гершунский Б.С. Философия образования для XXI века (в поисках практико-ориентированных образовательных концепций). М.: Совершенство, 1998. 608 с.

5. Гинзбург М. Е. Универсальность как социальная характеристика выпускника вуза: социологический анализ: автореф. дис. ... к.соц.наук: 22.00.06. Екатеринбург. 2005. 17с.

6. Девис Дж. С. Статистический анализ данных в геологии / Дж. С. Девис. М.: Недра, 1990. Т. 1. 312 с.

7. Матиенко А.В. Альтернативный контроль в обучении иностранному языку как средство повышения качества языкового образования / Диссертация на соискание ученой

степени доктора педагогических наук / ГОУВПО "Тамбовский государственный университет". Тамбов, 2009. 369 с.

8. Матиенко А.В. Методическая концепция когнитивно-коммуникативного контроля в системе обучения иностранному языку студентов лингвистического вуза / дис. ... д-ра пед. н.: 13.00.02 / Нижний Новгород, 2012. 353 с.

9. Матиенко А.В. Учебно-тестовый портфель как альтернативная форма языкового тестирования // Известия Волгоградского государственного педагогического университета. 2008. № 5. С. 160-163.

10. Юнкеров В.И. Математико-статистические методы обработки данных медицинских исследований / В.И. Юнкеров, С.Г. Григорьев. СПб., 2002. 266 с.

References

1. Alferova M.A. Osnoviy prikladnoi statistiki [Fundamentals of Applied Statistics] / M.A. Alferova, I.M. Mikhalevich, N.U. Rozhkova // Teaching method. Handbook, vol. 2. Irkutsk, 2003. 101 p.

2. Bariyshnikov N.V. Kommunikativno-kognitivniy podhod k chteniyu [Communicative and Cognitive Approach to Reading]. Cognitive methods of teaching foreign languages in different conditions (All-Russian conference abstracts)/Pyatigorsk, 1999. P.5-8.

3. Vinogradova E.V. Lingvo-kognitivniye aspekty modeli obucheniya inostrannomu yaziku [Linguistic and cognitive aspects of foreign language teaching models]. Foreign languages: tradition and innovation. Intercollege collection of scientific articles. Pyatigorsk, 2001. P.54-60.

4. Gershunskiy B.S. Filosofiya obrazovaniya dlya XXI veka [Philosophy of Education for the XXI century (in the search for practical-oriented educational concepts)]. M.:Sovershenstvo, 1998. 608 p.

5. Ginzburg M.E. Universalnost' kak sotzialnaya harakteristika viypusknika vuza: sotziologocheskiy analiz [Versatility as a Social Characteristic of the Graduates: the sociological analysis/ Abstract of Dissertation for the Degree of Candidate of Sociology]. Ekaterinburg. 2005. 17 p.

6. Davis G.S. Statistichestiy analiz danniyh v geologii [Statistical Analysis in Geology]. Moscow: Nedra, 1990. Vol. 1. 312 p.

7. Matienko A.V. Alternativniy kontrol' v obuchenii inostrannomu yaziky kak sredstvo povi-ysheniya kachestva yazikovogo obrazovaniya [Alternative Control in Learning a Foreign Language as a means of Improving the Quality of Language Education/ Dissertation for the Degree of Doctor of Pedagogical Sciences].Tambov: Tambov State University Publ., 2009. 369 p.

8. Matienko A.V. Metodicheskaya kontzeptziya kognitivno-kommunikativnogo kontrolya v sisteme obucheniya inostrannomu yaziku studentov lingvisticheskogo vuza [Methodical Concept of Cognitive-Communicative Assessment in a Foreign Language Learning System for Linguistic University's Students / Dissertation for the Degree of Doctor of Pedagogical Sciences].Nizhniy Novgorod, 2012. 353 с.

9. Matienko A.V. Uchebno-testoviy portfel' kak sredstvo alternativnogo testirovaniya po inostrannomu yaziku [Training Test Portfolio as means of Alternative Language Testing Form]. Izvestiya of Volgograd State Pedagogical University.-2008. № 5. С. 160-163.

10. Unkerov V.I. Matematiko-statisticheskie metodiy obrabotki danniyh meditzinskih issle-dovaniy [Mathematical-Statistical Methods of Data Processing for Medical Research] / V.I. Unkerov, S.G. Grigoriev. SPb., 2002. 266 p.