Методика оценки сформированности компетенций на уровне учебной дисциплины

УДК 378.147

Кононова Ольга Витальевна Садон Елена Владимировна Якимова Зоя Владимировна

Владивостокский государственный университет экономики и сервиса Россия. Владивосток

Методика оценки сформированности компетенций на уровне учебной дисциплины

Описываются основные характеристики компетенции, анализируются сложности создания методики оценки сформированности компетенций на уровне отдельной дисциплины, приводится алгоритм создания методики в контексте балльно-рейтинговой системы оценки академической успеваемости студентов.

Ключевые слова и словосочетания: компетенция, результаты обучения, матрица компетенций, уровень сформированности компетенции, рейтинговая оценка.

Одна из центральных проблем реализации образовательного процесса в вузе на базе ФГОС - построение адекватной, устойчивой, непротиворечивой системы оценивания в новой компетентностной парадигме. Несмотря на работу в течение ряда лет по новым образовательным стандартам, в вузах отсутствует устоявшаяся практика измерения и оценки компетенций, в связи с чем назрела настоятельная необходимость в создании методики оценивания уровня их сформированности.

Один из подходов, поддержанный на уровне образовательных стандартов РФ и в международной (Болонской) практике, предполагает оценку сформированности компетенций посредством введения уровней и критериев сформированности. При этом необходимо учитывать, что уровни и критерии сформированности компетенций каждый вуз определяет самостоятельно, а к процедурам оценивания должен привлекать согласно ФГОС кроме преподавателей самих обучающихся и представителей работодателей из числа действующих руководителей и работников профильных организаций, т.е. создавать экспертные группы и применять экспертные методы оценивания. Проведение оценочных процедур обеспечивается посредством использования широкого спектра средств контроля (фондов оценочных средств - ФОС), позволяющих продемонстрировать студенту на различных

76

этапах обучения (от текущего контроля в рамках отдельной дисциплины (модуля) до итоговой аттестации) и образовательные результаты, и их интегральные характеристики - совокупность приобретенных компетенций.

Проведенные авторами предлагаемой статьи исследования, анализ образовательных стандартов позволили построить модель системы контроля и оценки качества подготовки в вузе [3, 4] и сформулировать требования к этой модели (табл. 1).

Практическая реализация модели осуществляется посредством оценочных средств и технологий оценки качества подготовки выпускника, адекватно отражающих результаты освоения через компетенции основной образовательной программы в течение всего периода обучения.

Разработка методики оценки компетенций подразумевает: разработку или подбор методов и процедур, которые будут использоваться экспертными группами для оценки результатов обучения;

разработку или модернизацию нормативно-методической документации вуза: положения о ФОС; положения о рейтинговой оценке успеваемости студентов; положения о прохождении и результатах диагностического профессионального тестирования; методических рекомендаций по подготовке тестовых заданий; методических рекомендаций и руководств по подготовке курсовых, выпускных квалификационных работ.

На сегодняшний день описанной проблематике посвящен достаточно большой объем исследовательских работ, в первую очередь речь идет об освещении вопросов оценки сформированности компетенций на этапах обучения: выполнение курсовых работ, прохождение практик и процедур итоговой государственной аттестации. Наиболее общий подход отражен в публикациях группы известных российских исследователей, специализирующихся на данной тематике (например, в статье «Принципы оценивания уровня сформированности компетенций по образовательным программам ВПО в соответствии с ФГОС нового поколения») [1].

Однако во всём этом многообразии публикаций наиболее слабым звеном исследований является методика оценки сформированности компетенций на уровне отдельных дисциплин. Причина, на наш взгляд, состоит в том, что переход на ФГОС ВПО спровоцировал актуализацию предметно-деятельностного подхода, суть которого заключается в необходимости тесного интегрирования содержания отдельных дисциплин по принципу ком-плементарности и поэтапном расширении профессионального репертуара за счет развития компетенций и прироста вариативных поведенческих моделей. В результате выделяются четыре основных аспекта, препятствующих

77

разработке универсальной методики оценки сформированности компетенций на уровне отдельных дисциплин.

Таблица 1

Требования к проектируемой модели системы оценки качества подготовки на базе ФГОС ВПО

Характеристики системы Содержание Требования ФГОС

1 2 3

Образовательная Компетентностный и прак- Разработка вузом стратегии по

парадигма тико-ориентированный обеспечению качества подго-

подходы, активные и инте- товки выпускников с привле-

рактивные методы, инно- чением представителей рабо-

вационные, дистанционные тодателей

технологии обучения

Предмет оцени- Формулировки того, что Результаты обучения, выра-

вания обучающийся будет знать, женные в знаниях, умениях,

понимать и в состоянии владении, в общекультурных и

продемонстрировать по профессиональных компетен-

завершении ООП циях

Этапы, перио- Определяются реализован- Оценка качества освоения

дичность оценки ной в вузе системой кон- ООП должна включать теку-

троля щий контроль успеваемости, промежуточную аттестацию обучающихся и итоговую гос. аттестацию выпускников

Оцениваемые Дисциплины и их части

блоки (темы), практики, курсовая работа/проект, научно-исследовательская работа, выпускная квалификационная работа, самостоятельная работа, магистерская диссертация

78

Продолжение табл. 1

1 2 3

Система оцени- Традиционная (экзамен, Созданы условия для макси-

вания зачет, дифференцируемый мального приближения систе-

зачет) мы оценивания и контроля

Балльно-рейтинговая (бал- компетенций к условиям бу-

лы) дущей профессиональной дея-

Методы оцени- Экспертная оценка тельности выпускников...

вания Самооценка Помимо индивидуальных оце-

Взаимооценка нок должны использоваться

Групповая оценка групповые и взаимооценки: рецензирование и оппонирование студентами работ друг друга, экспертные оценки группами, состоящими из студентов, преподавателей и работодателей

Результаты Должны быть:

оценивания - валидными

Субъекты оце- Представители заинтересо- Кроме преподавателей кон-

нивания ванных предприятий, науч- кретной дисциплины в качест-

но-исследовательских ин- ве внешних экспертов должны

ститутов, фирм активно использоваться рабо-

Преподаватели смежных тодатели

дисциплин, студенты

Основные кри- Признаки степени соответ- Обеспечивают гарантию каче-

терии оценива- ствия установленным тре- ства подготовки, в том числе

ния бованиям, нормам, стан- путем . разработки объектив-

дартам. ных процедур оценки уровня

Для знаний - объем и ши- знаний и умений обучающих-

рота; для умений, владений ся, компетенций выпускников

и компетенций - уровни

сформированности

79

Окончание табл. 1

1 2 3

Технологии Компьютерное тестирова- Использование активных и

оценивания ние интерактивных форм ... семи-

Деловая игра наров в диалоговом режиме,

Экспертная оценка дискуссий, компьютерных си-

Рейтинг муляций, деловых и ролевых игр, разбора конкретных ситуаций, психологических и иных тренингов, групповых дискуссий, результатов работы студенческих исследовательских групп, вузовских и межвузовских телеконференций

Средства и ин- Фонды оценочных средств ФОС должны учитывать все

струменты оце- (ФОС), которые разрабаты- виды связи между . знаниями,

нивания (виды ваются и утверждаются ву- умениями, навыками, позво-

оценочных зом ляющие установить качество

средств) Выбор оценочных средств сформированных у обучаю-

зависит от: щихся компетенций по видам

- уровня (бакалавриат, спе- деятельности и степень общей

циалитет, магистратура); готовности выпускников к

- направления подготовки, профессиональной деятельно-

профиля; сти;

- курса обучения, вида кон- ... предусматривать оценку

троля (текущий контроль, способности обучающихся к

промежуточная или итого- творческой деятельности, их

вая аттестации); готовности вести поиск реше-

- дисциплины и блока оце- ния новых задач, связанных с

нивания; недостаточностью конкретных

- связей между ЗУВами и специальных знаний и отсут-

компетенциями (КМВ) ствием общепринятых алгоритмов профессионального поведения

К этим аспектам мы отнесли:

1) ориентацию современных ФГОС ВПО на результаты обучения, а не на содержание дисциплин (дидактические единицы);

2) поэтапное формирование большинства компетенций несколькими дисциплинами;

80

3) сложность однозначного соотнесения компетенций и дисциплин ООП, отсюда наличие проблемы «множественности» компетенций, отнесённых к одной дисциплине;

4) вариативность и недетерминированность комбинаций связей между компетенциями и ЗУВами (связи отсутствуют в стандартах, определяются каждым вузом и кафедрой самостоятельно, могут пересматриваться ежегодно).

В предлагаемом нами варианте методики оценки уровня сформиро-ванности компетенций в рамках учебной дисциплины осуществлена попытка учёта всех перечисленных аспектов, предложен универсальный алгоритм оценки.

Первый рассматриваемый нами аспект связан с результатами обучения, понимаемыми как формулировки того, что, как ожидается, будет знать, понимать и/или будет в состоянии продемонстрировать (делать) обучающийся после завершения обучения по дисциплине [3]. Получается, что результаты обучения первичны. Перечень дисциплин в учебных планах формируется с ориентировкой на эти результаты, а не на дидактические единицы. В силу общности формулировок компетенций, их нахождения зачастую сразу в нескольких циклах, разделах стандарта невозможно провести однозначного соответствия между компетенциями и дисциплинами даже в рамках одного цикла.

Создается ситуация, которая отражает второй рассматриваемый нами аспект, когда одна и та же компетенция формируется последовательно несколькими дисциплинами в разные отрезки обучения и, следовательно, должна быть продемонстрирована и оценена на каждом этапе своего формирования разными видами оценочных средств, соответствующими заданному значению уровня сформированности компетенций на контролируемый момент в соответствии с ЗУВами по дисциплине.

Третий аспект рассмотрения - множественность компетенций, соотнесенных в рамках одной и той же дисциплины. Раз компетенция, формируемая конкретной дисциплиной, не одна, то встает вопрос об относительной значимости компетенций и достигнутого уровня их сформированности в общей системе оценки результатов обучения по дисциплине. Здесь может также возникнуть противоречение между статусом компетенции в рамках дисциплины и в рамках ООП в целом с учетом реализуемого профиля подготовки и значимости видов деятельности, определенных стандартом для конкретной ООП.

Четвертый аспект рассмотрения: вариативность и недетерминированность связей и их вариаций между компетенциями и ЗУВами, а также возможность ежегодного их пересмотра дают вузу большую свободу в выбо-

81

ре дисциплин для реализации образовательных программ и их содержания, в т.ч. реализация регионального компонента, вариативных дисциплин и дисциплин по выбору. Это созвучно требованиям ФГОС, предусматривающим, что «вузом должны быть созданы условия для максимального приближения системы оценивания и контроля компетенций выпускников к условиям их будущей профессиональной деятельности». В связи с этим появляется возможность определения и формирования компетенций, не только регламентированных стандартами, но и других, выражающих социальный заказ общества и востребованных в настоящее время конкретными работодателями [2].

Вузу необходимо организовать экспертную оценку всех формируемых в рамках рассматриваемой ООП компетенций. При этом перечень компетенций по ООП формируется не только с учетом требований ФГОС ВПО по оцениваемому направлению подготовки, но и с учетом мнения работодателей и социального запроса того региона, где осуществляется реализация данной ООП. Результатом экспертной оценки должен стать ранжированный перечень компетенций по видам деятельности с присвоением каждому блоку компетенций ранга (коэффициента значимости), фиксирующего его значимость для ООП в зависимости от профиля подготовки. Отнесение дисциплины к одному из циклов также может иметь «вес», выраженный в коэффициенте, который присваивается оцениваемой компетенции.

Таким образом, для того чтобы у вуза была возможность производить оценку компетенций на уровне отдельных дисциплин, первый шаг подготовительной работы должен состояться на уровне ООП.

В качестве примера рассмотрим вариант оценивания веса каждой компетенции, входящей в дисциплину в рамках ООП по направлению подготовки 080400.62 «Управление персоналом». Пусть согласно экспертной оценке, компетенции, предусмотренные ФГОС ВПО распределились следующим образом (табл. 2) с учетом ранга вида деятельности.

В качестве экспертов могут привлекаться не только преподаватели, ведущие дисциплину, но и преподаватели смежных дисциплин, представители профессиональной среды, а также выпускники, ранее освоившие данную ООП.

Далее в результате экспертной оценки должны быть определены компетенции, которые выносятся на оценку в цикл Б.5 (учебная и производственная практики) и в цикл Б.6 (Итоговая государственная аттестация), за принадлежность к каждому из этих циклов оцениваемая в рамках дисциплины компетенция также получает коэффициент значимости по 0,2.

Если дисциплина принадлежит к циклам Б.1 (гуманитарный, социальный и экономический цикл) и Б.2 (математический и естественнонаучный цикл), то общекультурная компетенция, оцениваемая в рамках дисциплины получает коэффициент 0,2.

82

Если дисциплина принадлежит к циклу Б.3 (профессиональный цикл), то профессиональная компетенция, оцениваемая в рамках дисциплины, получает коэффициент 0,2.

Таблица 2

Пример ранжирования компетенций по видам деятельности

Вид компе- Вид Компетенции, Ранг вида деят- Коэф. значимо-

тенции деятельности соотнесённые с ти в зависимо- сти в зависи-

видами дея- сти от профиля мости от ранга

тельности ООП вида деят-ти

Общекуль-

турные ОК-1 - ОК-24 1 0,1

Организацион-

но-управлен-ческая и эконо- ПК-1 - ПК-40 4 0,4

мическая

Профес- Информацион-

сиональные но-аналити- ПК-41 - ПК-63 2 0,2

(ПК) ческая

Социально-

психологиче- ПК-64 - ПК-72 1 0,1

ская

Проектная ПК-73 - ПК-78 3 0,3

Приведённую схему рассмотрим на примере двух дисциплин «Организационное поведение» и «Информационные технологии в управлении персоналом».

Пример 1. Дисциплина «Организационное поведение». Профессиональный цикл Б.3.

В рамках дисциплины формируются 5 компетенций:

ОК-8 - готовность к кооперации с коллегами, к работе на общий результат, обладание навыками организации и координации взаимодействия между людьми, контроля и оценки эффективности деятельности других;

ПК-62 - знание корпоративных коммуникационных каналов и средств передачи информации, владение навыками информационного обеспечения процессов внутренних коммуникаций;

ПК-71 - способность обеспечивать предупреждение и профилактику личной профессиональной деформации и профессионального выгорания;

ПК-72 - владение навыками самоуправления и самостоятельного обучения и готовность транслировать их своим коллегам;

ПК-78 - способность участвовать в реализации программы организационных изменений (в том числе в кризисных ситуациях) в части решения

83

задач управления персоналом, способность преодолевать локальное сопротивление изменениям [5]. Из них согласно экспертной оценке на ИГА вынесена только компетенция ПК-78. Исходя из имеющихся данных мы можем построить матрицу распределения коэффициентов значимости (табл. 3) для компетенций в рамках дисциплины:

Таблица 3

Матрица распределения коэффициентов значимости

Ком- Цикл Цикл Цикл Цикл Цикл Цикл Коэф. Ито-

петен- Б.1 Б.2 Б.3 Б.4 Б.5 Б.6 ранга го

ция

ОК-8 - 0,1 0,1

ПК-62 0,2 0,2 0,4

ПК-71 0,2 0,1 0,3

ПК-72 0,2 0,1 0,3

ПК-78 0,2 0,2 0,3 0,7

Далее находим «вес» (долю) каждой компетенции в рамках дисциплины и соотносим с количеством выставляемых баллов, исходя из возможностей балльно-рейтинговой системы оценки академической успеваемости студентов, где на 1 дисциплину отведено 100 баллов. Пример расчета приведён в табл. 4.

Таблица 4

Пример перерасчета «веса» компетенции в баллы по дисциплине

Компетенция Коэффициент значимости «Вес» компетенции, в % «Вес» компетенции, в баллах

ОК-8 0,1 5,5 5

ПК-62 0,4 22,2 22

ПК-71 0,3 16,7 17

ПК-72 0,3 16,7 17

ПК-78 0,7 38,9 39

Итого 1,8 100,0 100

Следующим шагом будет распределение баллов по компетенциям и оценочным средствам, основанное на учете вклада (веса) компетенций в структуру дисциплины и результатов экспертного ранжирования оценочных средств (по критериям: сложность, полезность, интерес, затраченное на подготовку время). Пример приведён в табл. 5.

84

Таблица 5

Пример распределения баллов по компетенциям и видам контроля

Оценочные средства ОК-8 ПК-62 ПК-71 ПК-72 ПК-78 Итого

Экзаменационные задачи 0 3 3 3 11 20

Эссе 5 1 2 2 10

Индивид. задание 0 5 5 5 5 20

Семинарские занятия 0 5 2 2 6 15

Презентация 0 0 0 0 5 5

Реферат 0 3 0 0 7 10

Тесты 0 5 5 5 5 20

Итого 5 22 17 17 39 100

После того как определены вес и стоимость в баллах каждого типа заданий, необходимо их пропорционально распределить на протяжении всего семестра изучения дисциплины или модуля (если дисциплина вычитывается модульно). С этой задачей успешно справляется балльно-рейтинговая система оценки академической успеваемости студентов, позволяющая не только регулярно проводить мониторинг успеваемости, но и минимизировать стрессовый фактор ситуации зачета/ экзамена, на долю которого приходится не более 20% вклада в итоговую оценку по дисциплине. Рассмотрим Пример 2. Дисциплина «Информационные технологии в управлении персоналом». Математический и естественнонаучный цикл Б.2.

В рамках дисциплины формируются 4 компетенции:

ОК-17 - наличие представления о роли и значении информации и информационных технологий в развитии современного общества и экономики знаний;

ОК-18 - владение основными методами, способами и средствами получения, хранения и переработки информации, наличие навыков работы с компьютером как средством управления информацией;

ОК-19 - способность работать с информацией в глобальных компьютерных сетях и корпоративных информационных системах;

ПК-61 - владение методами и программными средствами обработки деловой информации, навыками работы со специализированными кадровыми компьютерными программами и способностью взаимодействовать со службами информационных технологий и эффективно использовать корпоративные информационные системы при решении задач управления персоналом [5].

Из них согласно экспертной оценке в цикл Б.5 (практики) вынесена только компетенция ПК-61.

85

Строим матрицу распределения коэффициентов значимости (табл. 6) для компетенций в рамках дисциплины:

Таблица 6

Матрица распределения коэффициентов значимости

Компетенция Цикл Б.1 Цикл Б.2 Цикл Б.3 Цикл Б.4 Цикл Б.5 Цикл Б.6 Коэф. ранга Итого

ОК-17 0,2 0,1 0,3

ОК-18 0,2 0,1 0,3

ОК-19 0,2 0,1 0,3

ПК-61 - 0,2 0,2 0,4

Далее находим «вес» (долю) каждой компетенции в рамках дисциплины и соотносим с количеством выставляемых баллов. Расчет приведён в табл. 7.

Таблица 7

Перерасчет «веса» компетенции в баллы по дисциплине

Компетенция Коэффициент значимости «Вес» компетенции в % «Вес» компетенции в баллах

ОК-17 0,3 23,1 23

ОК-18 0,3 23,1 23

ОК-19 0,3 23,1 23

ПК-61 0,4 30,7 31

Итог: 1,3 100,0 100

Следующим шагом будет распределение баллов по компетенциям и оценочным средствам, основанное на учете вклада (веса) компетенций в структуру дисциплины. Расчет приведён в табл. 8.

Таблица 8

Распределение баллов по компетенциям и видам контроля

Оценочные средства ОК-17 ОК-18 ОК-19 ПК-61 Итого

Экзаменационные задачи 5 5 5 5 20

Кейс-задачи 5 5 5 5 20

Индивидуальное задание 3 3 3 6 15

Семинарские занятия 5 5 5 5 20

Реферат 0 0 0 5 5

Тесты 5 5 5 5 20

Итого 23 23 23 31 100

На примере двух дисциплин из разных циклов мы рассмотрели механизм распределения баллов для оценки компетенций с учетом «веса» каждой компетенции, формируемой в рамках дисциплины. Таким образом, методика оценки сформированности компетенций в рамках отдельной дис-

86

циплины включает в себя как подготовительную работу по экспертному оцениванию вклада компетенций в ООП, так и чисто техническую работу по определению коэффициента значимости и по перерасчету доли каждой компетенции, формируемой в рамках дисциплины в баллы согласно балль-но-рейтинговой системе оценке академической успеваемости студентов.

Предложенный нами алгоритм методики оценки сформированности компетенций на уровне отдельной дисциплины структурно состоит из 5 этапов:

1) необходимо провести экспертное ранжирование всех компетенций по видам деятельности, выделенных в рамках ООП, с выделением присвоенных коэффициентов значимости в зависимости от профиля подготовки;

2) с помощью экспертной оценки определить перечень компетенций, выносимых на контроль в рамках цикла Б.5 (учебная и производственная практики) и цикла Б.6 (итоговая государственная аттестация);

3) построить матрицу распределения коэффициентов значимости и рассчитать коэффициент для каждой из компетенций, формируемых в рамках дисциплины;

4) произвести расчет доли каждой компетенции в изучении дисциплины и соотнести с этой долей баллы согласно балльно-рейтинговой системы оценки академической успеваемости студентов;

5) пропорционально распределить контроль за сформированностью компетенций с использованием определённых оценочных средств на протяжении периода изучения дисциплины.

1. Караваева Е.В. Принципы оценивания уровня сформированности компетенций по образовательным программам ВПО в соответствии с ФГОС нового поколения / Е.В. Караваева, В.А. Богословский, Д.В. Харитонов // Вестн. Челябинск. гос. ун-та. - 2009. -№8(156). - Вып. 12. - С. 155-162.

2. Кононова О.В. Построение системы оценки результатов обучения по ООП на базе ФГОС [Электронный ресурс] / О.В. Кононова // Сб. между-нар. конф. «Инновации и современные технологии в системе образования». Режим доступа: http://www.sociosphera.com/files/conferenc-e/2013/k-02_20_13.pdf.

3. Кононова О.В. Система контроля качества подготовки ВГУЭС: особенности и перспективы развития / О.В. Кононова, Е.В. Садон // Университетское управление: практика и анализ. - 2012. - №4. - С. 43-52.

4. Садон Е.В. Контроль за формированием профессиональных компетенций. Психолого-организационные формы / Е.В. Садон, О.В. Кононова, Н.А. Олешкевич // Вестн. СибГАУ. -2006. - № 6. - С. 9 - 26.

5. ФГОС ВПО по направлению подготовки 080400.62 Управление персоналом (квалификация (степень) «бакалавр»). Утверждён приказом Министерства образования и науки Российской Федерации от 24 декабря 2010 г. № 2073.

87