Оценка иноязычной инженерной компетентности магистрантов в процессе продуктивной учебной и научной деятельности

оценка иноязычной инженерной компетентности магистрантов в процессе продуктивной учебной и научной деятельности

Э.г. Крылов

Аннотация. В Ижевском государственном техническом университете (ИжГТУ) проводится эксперимент по интегративному обучению магистрантов направления «технология машиностроения». Одна из его основных целей - достижение магистрантами устной и письменной иноязычной компетентности в области профессиональной коммуникации.

Во время конференции аспирантов и магистрантов, которая проводилась в ИжГТУ в апреле 2011 г., была выполнена комплексная оценка степени достижения указанной цели для экспериментальной и контрольной групп магистрантов. В статье предлагаются критерии комплексной оценки степени достижения устной и письменной иноязычной компетентности в области профессиональной коммуникации, дается обоснование выбора этих критериев и приводятся экспериментальные результаты их применения. Ключевые слова: интегративное обучение; магистранты; иноязычная профессиональная компетентность; оценка; критерий.

Потребность в выпускниках российских инженерных вузов, обладающих иноязычной коммуникативной компетентностью, постоянно увеличивается. Эта ситуация стимулирует развитие различных методов обучения профессионально ориентированному иностранному языку в вузах России. Студенты с хорошим знанием иностранного языка могут усовершенствовать свои языковые навыки в институтах переводчиков, которые появились в последние годы во многих инженерных вузах. Учебные программы этих институтов, помимо практического курса технического перевода, включают целый ряд теоретических дисциплин лингвистического направления. Выпускники институтов переводчиков могут осуществлять самостоятельную деятельность как инженеры и как переводчики.

Более сложной является задача разработки инновационных учебных планов, программ, методик для основной массы студентов, имеющих весьма слабые знания иностранного языка по результатам обучения в школе, колледже или другом учебном заведении среднего образования. На этом поле возможны педагогические эксперименты, основной задачей которых является качественное улучшение освоения иностранного языка за счет повышения мотивации к данному освоению. При сохранении базового четырехсеместрового курса иностранного языка, в некоторых университетах внедряются такие проекты, как интеграция преподавания инженерных дисциплин и иностранного языка. В зарубежных

вузах такой подход к обучению называется bilingual teaching (билинг-вальное обучение) и content and language integrated learning - CLIL (совместное изучение предмета и иностранного языка) [1]. Естественным образом оба вида обучения применялись первоначально при изучении дисциплин гуманитарного цикла. В последнее время наметилась тенденция к вовлечению естественно-научных и инженерных дисциплин в этот процесс. Оценки результатов интегративного обучения в зарубежных вузах противоречивы [1], однако большинство исследователей признают актуальность и важность подобных инноваций в образовании.

В ИжГТУ интегративное обучение инженерным дисциплинам и иностранному языку проводится в двух направлениях: факультативные билингвальные курсы по таким предметам, как теоретическая механика и теория машин и механизмов для студентов-бакалавров и двухсеместровый курс делового иностранного (английского) языка - для магистрантов. Отбор в экспериментальные группы происходит добровольно на основании желания студентов.

Принимая тезис ряда исследователей, что одной из основных задач обучения иностранным языкам в технических вузах является создание условий для развития у выпускников иноязычной коммуникативной компетентности в научной и инженерной сферах (называемой в ряде источников научной грамотностью) [2], мы приходим к необходимости выработки критериев достижения этой компетентности в профессиональной области. Если речь идет о бакалаврах, критерии достижения научной или технической грамотности в области того или иного специального учебного предмета могут быть основаны на результатах выполнения тестов, переводов текстов и устной беседы. То есть проверке подлежит сформи-рованность рецептивных иноязычных навыков. При оценке же научной грамотности магистрантов представляется целесообразным сосредоточиться на анализе порождаемых ими специфических продуктов устной и письменной речи. Такой анализ может быть выполнен, например, в процессе проведения конференций, презентаций, а также на основании рассмотрения текстов статей, рефератов, сообщений. В конечном счете, именно способность к созданию письменных текстов и порождению устных высказываний в области профессиональных интересов на иностранном языке является главной целью преподавания иностранного языка в вузе и его изучения студентами.

оценка устной англоязычной инженерной компетентности магистрантов

Для оценки способности магистрантов говорить о предмете научного исследования необходима подходящая мера. Лингвистическими

мерами, предлагаемыми исследователями, являются количество слов в минуту (WPM), число слогов в секунду (SPS) и средняя продолжительность высказывания между паузами в речи (MLR) [2].

Считается, что более высокий темп речи является показателем того, что информация была понята, переработана, структурирована и усвоена [3]. Методы SPS и MLR успешно применяются при сравнении презентаций, посвященных одной теме и выполненных на родном и иностранном языках. В то же время при анализе иноязычной речи метод WPM, по нашему мнению, предоставляет только первичную информацию, нуждающуюся в дальнейшей обработке.

Для достижения иноязычной научной грамотности критически важным является смысл речи - специальное дисциплинарное знание. Такое знание трудно оценить чисто лингвистическими методами. Степень владения материалом на иностранном языке может быть определена методом экспертных оценок [2], не предусматривающим количественных результатов. К недостаткам метода относятся субъективизм и необходимость привлечения нескольких экспертов для оценки презентаций и докладов, посвященных междисциплинарным исследованиям.

Следуя идее о том, что иноязычная коммуникативная компетентность предполагает реализацию способности к получению, переработке и правильному использованию научной или специальной информации, мы предлагаем метод сравнения количества слов в минуту (WPM) при подготовленной монологической речи и спонтанной речи при ответах на вопросы, которые относятся к теме научного или специального дисциплинарного сообщения. Когда студент отвечает по-английски на вопросы, степень замедления речи показывает, насколько хорошо он ориентируется в понятиях, процессах и явлениях, относящихся к предмету его монологической речи. Более глубокое понимание предполагает меньшее замедление скорости речи. В качестве количественного критерия предлагается отношение значения WPM при спонтанной речи и значения WPM при подготовленной монологической речи (табл. 1). Очевидно, естественным предельным значением для предложенного критерия является единица.

Одним из преимуществ предлагаемого метода является то, что в нем сочетаются качественный и количественный подходы, что уменьшает субъективизм при вынесении оценок. Кроме того, метод дает возможность учитывать индивидуальные особенности речи при устном высказывании. Поскольку сравнение производится между образцами речи, принадлежащими одному и тому же человеку, индивидуальные особенности не должны оказывать влияние на сравнительный анализ речевых продуктов различных участников конференции или иного мероприятия, предполагающего устный обмен информацией.

Т а б л и ц а 1

Средние значения WPM для экспериментальной и контрольной групп магистрантов

Группа ^М

Экспериментальная 1,625 1,216 0,748

Контрольная 1,482 0,766 0,517

Комплексная оценка иноязычной компетентности магистрантов в профессиональной области была проведена на конференции магистрантов и аспирантов, состоявшейся в ИжГТУ в апреле 2011 г. [4]. Для оценивания отобрали по пять магистрантов из экспериментальной и контрольной групп. Обучение в контрольной группе проводилось в течение двух семестров по стандартной программе, включающей повторение грамматики, специальной лексики, элементы технического перевода, обучение реферированию и аннотированию, ознакомление с типами научных конференций и аспектами, касающимися их проведения. В экспериментальной группе в течение тех же двух семестров обучение было построено на основании повторения профессионально значимого научного и учебного материала на английском языке, проведения обсуждений по темам магистерских исследований, разборов переводов научных текстов и определения правил перевода, обучение реферированию и аннотированию текстов.

Все десять магистрантов представили устные доклады и статьи в сборник трудов конференции. На основании обработки звуковых файлов были вычислены значения WPM и их отношения для каждого участника, а затем определены средние значения для экспериментальной и контрольной групп.

Результаты анализа устной речи представлены в табл. 1 и на рис. 1, магистрантам присвоены индексы в соответствии с первыми буквами латинского алфавита. Среднее замедление речи составило: в экспериментальной группе 24,4%, контрольной - 48,5%.

Из рис. 1 видно, что значения WPM(P) и WPM(S) для экспериментальной группы образуют одно статистическое множество. В то же время эти значения для контрольной группы распадаются на два статистических множества, что свидетельствует в пользу возможности использования предложенного подхода для оценки устной речи. Валидность метода может быть установлена при накоплении соответствующей статистики.

а - экспериментальная группа

б - контрольная группа

Рис. 1. Экспериментальные значения WPM

Оценка англоязычной инженерной компетентности магистрантов на основании анализа письменного текста

Письменный текст несет в себе информацию обо всех аспектах письменной речи. В нем могут быть найдены показатели индивидуального владения лексикой, правилами грамматики, синтаксисом и т.п. Мы сосредоточимся на оценке способности магистрантов извлекать необходимую информацию из научных текстов, подвергать ее сортировке, перерабатывать в соответствии с поставленной задачей и порождать собственный текст, посвященный объекту исследования. Очевидно, грамотность (иноязычная письменная компетентность) в заданной профессиональной или научной области достигнута, если написанный текст представляет объект (область) изучения и дает полную информацию о его предмете вместе со связями с другими концептами, входящими в область исследования.

Что же в таком случае может быть принято за меру проявления иноязычной письменной компетентности? Одним из очевидных решений является привлечение метода экспертных оценок. Другое решение -выработка некоторого правила по обработке текста и получению относительно объективной оценки. Принимая второй путь, мы предлагаем использовать контентный анализ текста, предполагающий подсчет относительных частостей ключевых слов, относящихся к предмету и объекту исследования, а также других взаимосвязанных концептов.

Гносеология определяет объект исследования как часть объективной реальности, которая противостоит изыскателю в его информативной деятельности. Предмет исследования описывает объект непосредственного анализа через рассмотрение его наиболее существенных (с точки зрения изыскателя) аспектов, сторон. Понятие «предмет исследования» уже, чем понятие «объект исследования», он постоянно находится в центре внимания. Следовательно, ключевые слова, относящиеся к предмету исследования, должны встречаться в тексте чаще, чем слова, относящие-

ся к его объекту. Более того, хорошо понятый предмет исследования должен проявлять себя через связанные с ним концепты, которые освещают различные его аспекты.

Мы предлагаем использовать контентный анализ текста для оценки письменной иноязычной компетентности магистрантов в профессиональной области. На основании этого анализа предлагаются два критерия.

Первый критерий представляет собой отношение частоты ключевых слов, являющихся предметом изучения, к частоте ключевых слов, выражающих объект исследования. Более высокие значения этого критерия свидетельствуют о лучшей письменной иноязычной компетентности. Определение слов обоих классов, предполагаемых критерием, не должно представлять больших затруднений, поскольку они обычно присутствуют в заголовке статьи, аннотации и приведены в списке ключевых слов.

В качестве второго критерия мы предлагаем принять отношение количества концептов, релевантных предмету / объекту исследования, к общему количеству слов, составляющих текст. В качестве обоснования второго критерия может быть выдвинуто предположение о том, что хорошо понятый концепт должен проявлять себя через другие концепты, которые объясняют его состав, характеристики, возможные действия с его стороны и т.д.

Для выработки оценочных уровней обоих предложенных индикаторов был проведен контентный анализ контрольного научного аутентичного англоязычного текста статьи, представленной на международной научной конференции [5]. Тема статьи была выбрана так, чтобы она соответствовала теме одного из оцениваемых магистрантских исследований. Концепты и их частости, извлеченные из этой статьи, приведены в табл. 2. С целью выравнивания условий оценивания, таблицы и рисунки были исключены из анализа всех рассмотренных текстов.

На рис. 2, построенном на основании анализа контрольной статьи, наглядно показано, что предмет исследования находится в центре изучения и окружен другими концептами. Рис. 2 демонстрирует свойства симметрии: ближайшие концепты чаще встречаются в тексте и имеют примерно равные сбалансированные частости. Очевидно, они выявляют наиболее существенные стороны предмета исследования. Чем дальше концепт находится от предмета изучения, тем реже он встречается в тексте, частость падает с увеличением расстояния от центра рисунка.

Сравним результаты анализа контрольной статьи с результатами, полученными для статей [6], представленных магистрантами экспериментальной и контрольной групп, перед началом конференции (табл. 3, 4).

Значения обоих критериев, вычисленных для контрольной статьи, статей магистрантов экспериментальной и контрольной групп, приведены в табл. 5.

Отношение FS /Р0, вычисленное для контрольной статьи АА, имеет значение, существенно большее единицы. Уровень частостей концептов в контрольной статье, выраженный в процентах (11,7% от общего количества слов), принят за базовый уровень. Частоты концептов для текстов всех других участников исследования отнесены к этому базовому уровню.

Т а б л и ц а 2

Концепты и их частоты для контрольной статьи

Контрольная статья Тема Концепты и их частоты

Объект исследования FO Предмет исследования FS Тезаурус

AA The Design of a Wireless Sensing Unit for Structural Health Monitoring monitoring 20 structure(s) 18 infrastructure 3 unit 41 accelerometer^) 39 sensor(s) 17 wireless 2З; data 23; modem 18; structure(s) 18; acceleration ІЗ; communication(s) ІЗ; experiment(s) ІЗ; performance ІЗ; characteristics 8; circuit 8; measurement(s) 8; bandwidth 7; network 6; dynamic range З; excitation 4; response 4; tests 4; validation 3; sensitivity 2

Всего 41 Всего 97 Всего 203

Рис. 2. Предмет исследования в окружении релевантных концептов

Т а б л и ц а 3

Концепты и их частоты для экспериментальной группы

Маги- странт Тема Концепты и их частоты

Объект исследования FO Предмет исследования FS Тезаурус

A Development of technology for producing elbowshaped part elbow-shaped tube 12 elbow-shaped part 10 bending 27 tube(s) 21; die(s) 18; equipment 10; mandrel(s) 3; bender(s) 2; drawing 2

Всего 22 Всего 27 Всего 56

B Application of spiroid gears in pipeline valve actuators pipeline valve(s) 7 actuator(s) 4 spiroid gear(s) 6 gearbox(es) 11 gear(s) 21; characteristics 7; meshing 7; working condition(s) 6; teeth 5; gearwheel 4; load 3; loading 3; durability 3; reliability 3; safety 3; factors 2; requirement(s) 2; overlap ratio 2

Всего 11 Всего 17 Всего 71

C Housingless rolling stands rolling 8 stand(s) 17 housingless rolling stands 10 rolling stands 8 prestressed stand(s) 3 roll(s) 10; bearing(s) 9; design 5; mill(s) 5; stiffness 5; accuracy 3; bushing(s) 2; caliber(s) 2; rolled product(s) 2; stress 2

Всего 25 Всего 21 Всего 45

D The method of the gear unit-size building. Unification of electric actuators for the different valve unit-sizes valve(s) 10 actuator(s) 8 pipeline valve(s) 4 gearbox(es) 22 choosing 8 gear 8 characteristics 5; torque 4; durability 3; load 3; moment 3; reliability 3; structure 3; gear ratio 2; operation 2; unification 1

Всего 22 Всего 38 Всего 29

E How to achieve precise machine assembling: method of regulation by using compensators with changeable and fixed shapes machine assembling 13 regulation 6 compensator(s) 16 ring(s) 17; error(s) 6; gap 6; accuracy 5; dimension chain 5; gearbox 5; optimisation 4; probability distribution 4; cost(s) 3; master link 3; spacer(s) 2

Всего 19 Всего 16 Всего 60

Участники экспериментальной группы показали лучшие результаты в сравнении с таковыми из контрольной. Следует иметь в виду, что на эти результаты могут оказывать влияние некоторые другие факторы, помимо собственно иноязычной письменной компетенции. Наиболее существенными из них являются, вероятно, недостаточно развитые навыки композиции, составления связного аргументированного информативного текста, независимо от того, на каком языке он написан - родном или иностранном.

Т а б л и ц а 4

Концепты и их частоты для контрольной группы

Маги- странт Тема Концепты и их частоты

Объект исследования FO Предмет исследования FS Тезаурус

A Algorithm development of pyrolysis technological parameters control of biomass pyrolysis to fuel gas pyrolysis 19 parameters 10 control 5 fuel gas 14; biomass 7; pyrolisat 4; products 3; burning 2; feedstock 2; waste 1;

Всего 22 Всего 15 Всего 33

B The wireless accelerometer on the basis of the microcontroller CC2511 for vibration measurement vibration(s) 5 measurements of vibrations 3 acceleration sensor 3 microcontroller 2 accelerometer 1 chip 5; sensor 4; transceiver 4; transmission 4; amplifier 3; signal 3; controller 2; device 2; unit 2; antenna 1; modulation 1; reception 1

Всего 8 Всего 6 Всего 32

C Quantum-chemical modelling and molecular spectroscopic studies of mechanochemically induced structural transformations in organometallic iron compounds compound(s) 9 spectroscopy 7 microscopy 6 ferrocene 5 diffraction 2 reactions 4 processes 3 modification 2 spatial organisation 1 structural transformation 1 structural study 1 metal 5; ion(s) 3; iron 2; molecules 2; powder 2; synthesis 2; atom 1

Всего 29 Всего 12 Всего 17

D Investigation of the accuracy of the positioning conveyor belt conveyor 21 belt 11 accuracy of positioning 9 continuous operation(s) 4; belt intermittent 3; positioning 3; pipeline 2; assembly 1; control 1; elastic deformation 1; inaccuracy 1; gap 1; transporting device 1

Всего 32 Всего 9 Всего 18

E Automation testing of inclinometer installation installation 12 inclinometer 7 measurement(s) 5 testing 4 angle 16; engine(s) 12; motor 11; drive(s) 10; robot(s) 6; accuracy 4; gauge(s) 4; module(s) 4; position(s) 4; calibration 3; device 3; CNC 2; mechatronics 2; positioning 2; correction 1; error 1

Всего 19 Всего 9 Всего 85

Т а б л и ц а 5

Экспериментальные значения критериев для оценки письменной иноязычной компетенции

Участник исследования Fs FO Частота концептов в тексте Ft

Контрольная статья АА 2,36 11,7% reference level 1

Экспериментальная группа А 1,23 13,4% 1,14

В 1,54 12,5% 1,07

С 0,84 14,3% 1,22

D 1,73 15,4% 1,32

Е 0,84 9,2% 0,78

Контрольная группа А 0,68 9,2% 0,78

В 0,75 6,0% 0,51

С 0,41 9,0% 0,77

D 0,28 10,9% 0,93

Е 0,47 9,5% 0,81

На деле это добавляет аргументы в пользу интегративного обучения, поскольку хорошо понятая идея, концепция или метод могут быть легче выражены в тексте, написанном на родном или иностранном языках.

Учитывая вышесказанное, можно сделать определенные выводы. Для комплексной оценки иноязычной компетенции обучаемых в области профессиональной коммуникации предлагаются следующие критерии.

1. Отношение количества слов в минуту при спонтанной речи (ответы на вопросы) к подобному значению, характерному для подготовленной монологической речи, посвященной научной или учебной теме, WPM(S) / WPM(P).

2. Отношение частоты ключевых слов, относящихся к предмету исследования, и частоты слов, касающихся объекта изучения.

3. Относительная частота концептов, релевантных предмету / объекту исследования, выраженная в процентной доле этих концептов от общего количества слов в тексте.

Все три критерия компаративны, т.е. их использование позволяет сравнить уровни иноязычной профессиональной компетентности в группе. Если же речь идет об оценке индивидуального уровня, для этого нужен базовый уровень, который можно получить на основе анализа образцов письменной речи, представленной в научных статьях, и образцов устной речи на научных конференциях, семинарах, презентациях. В качестве базового уровня для третьего критерия мы использовали частотность концептов из контрольной статьи АА, что позволило получить графическое представление всех трех критериев в одном масштабе.

Критерии, вычисленные в ходе экспериментального исследования для всех десяти участников, показаны на рис. 3.

a - экспериментальная группа

а в с D Е б - контрольная группа

Рис. 3. Экспериментальные значения критериев для комплексной оценки

Чем меньше флуктуации значений критериев для участника, тем выше надежность оценки его иноязычной профессиональной компетентности.

Литература

1. Krylov E. Integrative teaching of foreign language and mechanical engineering. Paper presented at the 4th International Conference of Education, Research and Innovation, Madrid, Spain,14th - 16th of November, 2011.

2. Airey J. Language and Engineering: Towards Bilingual Scientific Literacy. Paper presented at the Engineering Education Development Conference, Royal Institute of Technology. Stockholm, Sweden, 2008.

3. Anderson J.R. Acquisition of cognitive skill // Psychological Review. 1982. Vol. 89(4). Р. 369-406.

4. Архипова Е.И., Крылов Э.Г. Формирование культуры иноязычной коммуникации студентов в профессиональной и научной сферах деятельности: опыт проведения конференции // Вестник ИжГТУ. 2011. № 3(51). С. 195-196.

5. Lynch J. P., Law K.H., Kiremidjian A.S. et al. The Design of a Wireless Sensing Unit for Structural Health Monitoring // Proceedings of the 3rd International Workshop on Structural Health Monitoring. Stanford, CA, USA, September 12-14, 2001. Р. 1177-1184.

6. Proceedings of the Conference on Communication of Students, Master Students and Post-Graduates in Academic, Professional and Scientific Fields, ISTU, Izhevsk, Russia, April 27 - May, 3, 2011. 354 p.

ASSESSMENT OF ACQUARING ENGLISH SCIENTIFIC LITERACY OF ENGINEERING GRADUATES VIA ANALYSIS OF THEIR PRODUCTIVE ACTIVITY Krylov E.G.

Summary. In Izhevsk State Technical University (ISTU) CLIL is adopted for teaching / learning at English classes of machine engineering magistracy students. One of the main objectives of employing CLIL is to acquire students’ both written and oral English scientific literacy. The complex examination of the gained graduates’ academic language skills was made during the magistracy student research conference held on April, 2011 in ISTU. The productive skills of academic writing, oral presentation, and debate were assessed for test and reference groups of engineering graduates. The paper highlights a technique of employing CLIL for engineering students, discusses the criteria for the complex assessment of English scientific literacy, and the results obtained.

Key words: CLIL; engineering magistracy students; English scientific literacy; complex assessment; criterion.