Квалиметрический подход к диагностике компетенций выпускников высшей школы

Образование и наука. 2013. № 4

КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ

УДК 378.14

О. Ф. Шихова, Ю. А. Шихов

КВАЛИМЕТРИЧЕСКИЙ ПОДХОД К ДИАГНОСТИКЕ КОМПЕТЕНЦИЙ ВЫПУСКНИКОВ ВЫСШЕЙ ШКОЛЫ

Аннотация. В статье рассматриваются возможности квалиметриче-ского подхода и, в частности, метода групповых экспертных оценок для уточнения и дополнения актуального состава компетенций выпускника вуза, указанных в Федеральном государственном образовательном стандарте высшего профессионального образования; для выделения их групп и подгрупп; а также для проведения педагогической экспертизы разрабатываемых компетентностно-ориентированных оценочных средств. Показано, что среди всех существующих вариантов и способов диагностики результатов образования метод групповых экспертных оценок является наиболее перспективным, объективным и стандартизированным. Экспертиза на его основе проводится по определенному алгоритму группой тщательно отобранных специалистов с предварительной оценкой их компетентности, согласованности и численности, что гарантирует заданную погрешность измерения и уровень значимости оценок. С позиций данного метода представлен алгоритм технологии разработки комплексных аттестационных заданий для диагностики уровня готовности к профессиональной деятельности выпускников-бакалавров технологического образования.

Ключевые слова: компетенции, квалиметрический подход, метод групповых экспертных оценок, компетентность эксперта, валидность, надежность, диагностика компетенций, компетентностная модель бакалавра, тезаурус компетенций, комплексное аттестационное задание.

Abstract. The paper considers the implementation of the qualimetric approach, particularly - the group expert estimation method, for specifying the graduates' actual competences in compliance with the federal state edu-

cational standards; allocation of groups and subgroups of the given competences; and pedagogic expertise of the competence oriented estimation means. The authors maintain that the above method is the most perspective, objective and standardized one among the existing diagnostic methods. The pedagogic expertise is carried out according to the prescribed algorithms by a group of previously selected experts, their competences, coordination and number guaranteeing the admissible error margin and value relevance level. The algorithm of complex attestation tasks development is designed for diagnosing the bachelors' readiness for professional activity in technological profile.

Keywords: competence, qualimetric approach, method of group expert estimation, expert's competence, validity, reliability, competence diagnostics, bachelor's competence model, competence thesaurus, complex attestation task.

Реформирование системы отечественной высшей школы вызвано повышением требований общества к уровню интеллектуального и нравственного развития выпускников вузов, к их социальной и профессиональной мобильности.

Решение этих задач связано с внедрением компетентностно-го подхода, предполагающего перенос акцента с предметно-дисциплинарной и содержательной сторон на ожидаемые результаты образовательного процесса, выраженные в терминах компетенций.

Конкретизация целей профессиональной подготовки связана с построением компетентностных моделей выпускников вузов, предполагающих выявление, структурирование и классификацию компетенций, формируемых у студентов в процессе обучения.

Для уточнения и дополнения актуального состава компетенций, по отношению к ФГОС ВПО, выделения их групп и подгрупп, а также педагогической экспертизы разрабатываемых компетент-ностно-ориентированных оценочных средств целесообразно, на наш взгляд, использовать квалиметрический подход, ориентированный на измерение качества рассматриваемых педагогических объектов.

Отметим, что термин квалиметрия (от латинского quails -качество и от древнегреческого metrio - измерять) обозначает сравнительно новую научную дисциплину, изучающую методологию и проблематику разработки комплексных количественных оценок качества любых объектов, предметов, явлений, процессов.

Основы педагогической квалиметрии отражены в трудах как российских авторов (В. И. Байденко, В. П. Панасюк, Н. А. Селезнева, А. И. Субетто, Ю. Г. Татур, В. С. Черепанов и др. [2-6, 9 и др.]), так и зарубежных (Дж. Глас, Дж. Стэнли, E. L. Thorndike и др. [1, 12 и др.]). В этих исследованиях рассмотрены аксиоматика и принципы оценивания качества различных педагогических объектов (качества «процессов» и «результатов» обучения, образования, воспитания и др.).

В основе педагогической квалиметрии лежат экспертные методы (оценивание, методы самооценки и педагогического консилиума), среди которых в современных условиях наиболее перспективным является метод групповых экспертных оценок (ГЭО) как наиболее объективный и стандартизированный. В рамках данного метода педагогическая экспертиза (например анкет, тестов или компетенций) проводится по определенному алгоритму группой специально отобранных экспертов (преподавателей вузов, выпускников, представителей работодателей и др.) с предварительной оценкой их компетентности, согласованности и численности, гарантирующими заданную погрешность измерения и уровень значимости [4].

Компетентность эксперта, привлекаемого для педагогической экспертизы, определяется такими требованиями к нему, как информированность по проблемам качества образования; опыт профессиональной деятельности; знание рынка труда выпускников вузов; объективность и отсутствие конформизма; креативность и рефлексивность; заинтересованность, уверенность и деловитость.

Количественная оценка компетентности экспертов в области педагогических измерений может быть получена методами взаим-

ных рекомендаций, самооценки, оценки аргументированности и анкетных данных:. Коэффициент компетентности ]-го эксперта в этом случае определяется суммой [5, 6, 9]:

К = СКВ3 + С2КС + сэК; + скг,

где С1, С2, Сз, С4 - коэффициенты весомости методов оценки компетентности: взаимных рекомендаций (С1), самооценки (С2), оценки аргументированности (Сз), анкетных данных (С4). Их сумма равна единице (условие нормировки). Метод взаимных рекомендаций аналогичен методу голосования. В анкете, где указаны место работы, должность, ученая степень и звание, педагогический стаж и другие личные данные каждого кандидата в эксперты, им предлагается ответить на вопрос: «Кого бы Вы выбрали в качестве эксперта из предложенного списка?». На основе анкетирования определяется коэффициент взаимных рекомендаций, который для каждого кандидата в эксперты тем больше, чем больше голосов подано за него.

Метод самооценки основан на субъективной оценке кандидата в эксперты себя как специалиста по рассматриваемой проблеме. Используемые в анкете показатели зависят от целей экспертизы. Например, при разработке компетентностно-ориентированных оценочных средств это могут быть такие показатели, как знание современных методов оценивания качества образования, владение навыками разработки учебно-таксономических тезаурусов, конкретизирующих цели обучения; знание требований ФГОС, квалификационных требований, предъявляемых к выпускникам работодателями и др. Кандидатам в эксперты необходимо проранжи-ровать показатели анкеты и оценить себя по предлагаемой шкале.

Близким к самооценке является метод оценки аргументированности, учитывающий источники аргументации, влияющие на мнение кандидата в эксперты (педагогический стаж, участие в педагогических экспертизах, занимаемая должность, наличие научных трудов, почетные звания и др.). При заполнении соответствующих анкет необходимо проранжировать источники аргумента-

ции и установить степень (низкую, среднюю или высокую) их влияния на кандидата в эксперты.

К документальным методам оценки компетентности относится метод анкетных данных, в котором учитывается зависимость между отдельными документально подтвержденными характеристиками кандидата в эксперты и свойствами, определяющими его качество как эксперта (ученая степень, звание, количество методических работ, участие в работе диссертационных советов и т. п.).

В экспертную группу отбираются кандидаты с наиболее высокими значениями коэффициентов компетентности.

Численность экспертной группы рассчитывается по формуле:

" =

Ад 2(1 - ^

где б - размах оценочной шкалы (б = бшах - бш1п);

Лд - абсолютная погрешность коллективной экспертной оценки;

Y - доверительная вероятность; ф - коэффициент, зависящий от величины Y. Согласованность экспертов характеризует близость индивидуальных экспертных оценок (по отдельному показателю или по всем показателям анкеты), которая может быть определена, например, по критериям Пирсона, Спирмена, Кендала или Фридмана [5, 6, 9].

В ходе процедуры проверки согласованности можно выделить кандидатов в эксперты, чьи суждения значительно отличаются от групповой оценки, а также определить ее погрешность и установить доверительный интервал. Для оценки согласованности кандидатов в эксперты можно использовать, например, хорошо известные всем рабочую программу, учебник, учебный план и другие нормативные или методические материалы.

Для агрегирования индивидуальных экспертных оценок существует множество способов, однако наибольшее распростране-

ние получили линейные модели свертки с использованием формул типа [5]:

N n

Q =с YLwkj,

j=1 i=1

где Q - групповая экспертная оценка;

C - нормировочный коэффициент, С = 1/ N n; N - число экспертов; n - число показателей анкеты;

qj - оценка в баллах j-м экспертом i-го показателя анкеты; Vi - весовой коэффициент i-го показателя анкеты; kj - коэффициент компетентности j-го эксперта. Объективность и точность педагогической экспертизы значительно повышает количественная оценка валидности и надежности применяемых при опросе экспертов анкет.

Валидность анкеты (от латинского valid - пригодный) характеризует степень соответствия методов исследования цели экспертизы. В простейшем случае оценка валидности i-го показателя анкеты определяется по формуле:

Бг = N / N,

где N - число экспертов, рекомендующих включить i-й показатель в анкету;

N - общее число экспертов.

Валидность анкеты в целом рассчитывается следующим образом:

B = - ¿В ,

nt!

где n - число показателей анкеты.

Надежность анкеты характеризует повторяемость получаемых экспертных оценок. Наиболее просто ее можно определить методом повторного анкетирования, когда одной и той же группе

экспертов предлагается дважды (с интервалом более месяца) про-ранжировать показатели анкеты. Для расчета надежности используется, в частности, коэффициент корреляции Пирсона.

С позиций квалиметрии алгоритм педагогической экспертизы включает ряд этапов: подготовительный, этапы работы рабочей, экспертной и технической групп, заключительный этап с обсуждением результатов экспертизы и принятием решения. Общая характеристика процедур, выполняемых в рамках каждого этапа, приведена ниже.

Подготовительный этап: принятие решения о проведении педагогической экспертизы; определение ее целей; выбор ответственных за проведение, разработка Положения об анкетировании и выбор методики опроса экспертов.

Этап работы рабочей группы: разработка анкет для опроса экспертов, оценка их валидности и надежности; определение процедуры анкетирования; формирование экспертной группы; организация анкетного опроса экспертов в соответствии с Положением об анкетировании.

Этап работы экспертной группы экспертиза рабочей документации (педагогических контрольных материалов, критериев и показателей сформированности компетенций студентов и т. п.).

Этап работы технической группы: распространение анкет и инструкций; обеспечение процедуры анкетирования, математи-ко-статистическая обработка результатов анкетного опроса.

Заключительный этап: анализ, обсуждение и принятие решения по результатам педагогической экспертизы.

Содержание и количество этапов алгоритма может изменяться в зависимости от технических возможностей организаторов анкетирования, предъявляемой к нему точности, специфики анализируемого объекта и сроков проведения.

Следует отметить, что заполнение анкет экспертами должно производиться независимо друг от друга. После статистической обработки результаты анкетирования должны сообщаться экспертам для последующей их корректировки. Процедура может повторяться несколько раз с целью сужения диапазона разброса экс-

пертных оценок, а также проверки объективности и стабильности экспертных суждений.

Метод групповых экспертных оценок позволяет обрабатывать значительные массивы информации, в том числе слабоформализо-ванной и нечисловой, характерной для педагогических исследований. Его использование, на наш взгляд, поможет педагогическим коллективам вузов решать проблемы создания новых методик, технологий обучения и контроля, включая средства оценки уровня сформированности приобретаемых студентами компетенций.

В числе наиболее адекватных задачам формирования и диагностики компетенций, как правило, называют средства, предполагающие включенность студента в деятельность, в том числе имитирующую профессиональную, например - деловые игры, кейс-метод, метод портфолио и др.

Некоторый опыт разработки таких компетентностно-ориен-тированных средств методом групповых экспертных оценок накоплен в Ижевском государственном техническом университете им. М. Т. Калашникова [8, 9, 10]. Здесь на кафедре «Профессиональная педагогика», осуществляющей подготовку бакалавров и магистров технологического образования, разработаны модель и квалиметрическая технология проектирования комплексных аттестационных заданий [7], которые мы определяем как междисциплинарные компетентностно-ориентированные средства диагностики уровня подготовленности выпускника к будущей профессиональной деятельности.

Алгоритм предлагаемой нами технологии включает три этапа: подготовительный, проектировочный и заключительный.

Подготовительный этап предполагает анализ научно-педагогической литературы по проблемам компетентностно-ориентиро-ванного образования, содержания ФГОС ВПО по педагогическим направлениям подготовки, видов и задач будущей профессиональной деятельности выпускников. Основная цель этого этапа -формирование расширенного перечня компетенций выпускника данного направления подготовки.

Экспертные группы, которые работают на разных этапах проектирования комплексных аттестационных заданий, формируются из наиболее квалифицированных преподавателей, аспирантов, магистрантов и выпускников направления подготовки «Технологическое образование», а также представителей работодателей (директоров школ и профильных лицеев, представителей методических комиссий, учителей технологии и др.).

Проектировочный этап алгоритма разработки комплексных аттестационных заданий включает:

1) проектирование компетентностной модели бакалавра технологического образования, а именно:

• семантическую экспертизу расширенного перечня компетенций;

• классификацию и отбор компетенций по группам;

• разработку и экспертизу тезауруса компетенций (совокупность многоуровневых компетенций и связей между ними);

• разработку таксономической модели уровней сформиро-ванности компетенций бакалавра технологического образования;

2) проектирование фонда комплексных аттестационных заданий:

• разработку модели аттестационного задания;

• выявление диагностируемых, профессионально значимых компетенций и разработку тезауруса аттестационных заданий;

• формирование банка заданий, их экспериментальное выполнение и коррекцию;

• определение шкалы оценивания;

3) оценку качества и коррекцию комплексных аттестационных заданий.

Основной процедурой проектировочного этапа является разработка компетентностной модели бакалавра технологического образования, под которой понимается описание структуры и содержания компетенций, связанных с инвариантными и вариативными задачами профессиональной деятельности выпускника бакалавриата, задающих целевые установки его компетентностно-ори-ентированной подготовки.

В сформированной в ходе экспертизы компетентностной модели выделено три класса компетенций: ключевые, универсальные и профессиональные.

Ключевые компетенции - это междисциплинарные, интегрированные, выходящие за пределы направления подготовки знания, умения, способности, обеспечивающие долговременную основу успешной деятельности выпускника в сфере образования и современных технологий. К ним отнесены группы компетенций саморазвития, информационных, коммуникативных и социальных.

Универсальные компетенции - компетенции, закладывающие основы будущей успешной профессиональной деятельности выпускника и инвариантные для всех профилей данного направления подготовки. В нашем случае к данному классу эксперты отнесли группы общенаучных (естественнонаучные, математические и гуманитарные), общепрофессиональных (психологические, методико-технологические, квалиметрические, организационно-трудовые, профориентационные) и экономических компетенций.

Профессиональные компетенции обеспечивают выполнение конкретных профессиональных задач, соответствующих профилю направления подготовки. В этот класс вошли группы технико-технологических (материаловедческие, электротехнические, графические, производственные, охранно-трудовые) и творческих (про-ектно-творческие и художественно-эстетические) компетенций.

Заметим, что при проектировании данной модели учитывалось, что одно из направлений будущей профессиональной деятельности бакалавра технологического образования - это учитель технологии. Однако представленная модель может быть адаптирована для других направлений подготовки, ориентированных на педагогическую деятельность.

Учитывая структуру действующих ФГОС, представленную группами общекультурных и профессиональных компетенций, можно соотнести с первой ключевые, общенаучные и экономические, а со второй общепрофессиональные и профессиональные компетенции модели бакалавра.

Компетентностная модель, обобщенно описывая систему классов и групп компетенций, формируемых у студента, детализируется их тезаурусом, с обязательным проведением его семантической экспертизы, позволяющей устранить неточные формулировки или их дублирование.

Для утверждения классов, групп и тезауруса компетенций необходимо, чтобы за них высказалось не менее 2/3 от общего числа экспертов.

Покажем фрагмент тезауруса квалиметрических компетенций будущего бакалавра технологического образования:

• знание структуры качества образования;

• знание методов оценивания качества образования;

• знание систем оценивания достижений обучающихся;

• умение диагностировать результаты обучения;

• умение проектировать инструментарий для мониторинговых исследований качества подготовки обучающихся;

• умение прогнозировать результаты обучения;

• владение навыками применения общего алгоритма квали-метрии к решению профессионально-педагогических задач;

• владение навыками применения математического аппарата квалиметрии для обработки результатов педагогической экспертизы;

• владение навыками выбора критериев для оценки качества результатов образования и др.

В ходе педагогической экспертизы с целью реализации принципа диагностичности разработана таксономическая модель с выделением порогового, повышенного и продвинутого уровней сформированности компетенций студентов.

Пороговому уровню соответствуют категории «знание», «понимание», «применение». Если выпускник объясняет информацию, относящуюся к образовательной области «Технология», с использованием специальной терминологии, символьного и графического научного языка; использует принципы, положения, теории дисциплины для описания технологических фактов и явлений, а также приводит примеры проявления и использования свойств и законо-

мерностей объектов изучения данной области, то его компетенции сформированы на пороговом уровне.

Повышенному уровню сформированности компетенций дополнительно соответствуют категории «анализ» и «синтез». Если выпускник анализирует, распознает и классифицирует информацию о свойствах объектов, явлениях и процессах, соответствующих образовательной области «Технология», сопоставляет и сравнивает данные, решает вопросы о применимости изучаемых теорий к описанию конкретных объектов и явлений, то его компетенции сформированы на повышенном уровне.

Продвинутому уровню, помимо названных выше, соответствуют категории «оценка» и «прогноз». Если выпускник выносит критические суждения, основанные на знаниях в рассматриваемой образовательной области, дает оценку информации и данных об изучаемых объектах и явлениях, прогнозирует ход их дальнейшего развития, то его компетенции соответствуют продвинутому уровню.

В качестве примера в таблице представлена связь уровня сформированности материаловедческих компетенций с задачами будущей профессиональной деятельности бакалавра технологического образования.

Компетентностная модель бакалавра технологического образования определила модель комплексного аттестационного задания, состоящую из трех блоков, характеризующих структуру, содержание и механизм оценивания уровней сформированности компетенций студентов.

Структура аттестационного задания предусматривает оценку различных классов и групп компетенций. Экспертиза показала, что в содержании задания следует выделить две части - инвариантную и вариативную, что обусловлено характером подготовки бакалавра технологического образования, интегрирующей психолого-педагогическую и инженерную составляющие.

В нашем случае в инвариантную часть вошли задания для оценки уровня сформированности психолого-педагогических, ме-тодико-технологических, квалиметрических и других компетен-

ций, которые практически эквивалентны для всех профилей направления подготовки «Технологическое образование».

Соотношение материаловедческих компетенций с задачами профессиональной деятельности бакалавра

Уровень сформированнос-ти компетенций Задачи профессиональной деятельности, к выполнению которых готов выпускник

Пороговый Демонстрирует знания о кристаллическом строении металлов

Повышенный Готов подобрать металл с нужными свойствами для обеспечения надежной работы конструкции. Интерпретирует результаты механических испытаний металлов и на основе этого высказывает мнение о пригодности или непригодности этого материала для конкретного случая применения. Готов подобрать материалы и средства труда в соответствии с целями деятельности

Продвинутый Готов экономически обосновать выбор материала для изготовления изделия, предложить другие материалы с наиболее подходящими характеристиками. Готов к творческой деятельности

Вариативную часть составили задания для оценки уровня сформированности профессиональных компетенций, соответствующих профилю направления подготовки. Для наших выпускников это материаловедческие, электротехнические, производственные и графические компетенции.

Процедура выявления и экспертизы диагностируемых, профессионально значимых компетенций предполагала анкетирование работодателей, а также работающих по профилю подготовки выпускников, с целью отбора наиболее востребованных в процессе профессиональной деятельности компетенций. Так, например, ма-териаловедческие компетенции эксперты-работодатели оценили в равной степени профессионально значимыми, поэтому в комплексное аттестационное задание были включены задачи для оценки уровня сформированности всех материаловедческих компетенций.

Вот пример одного из вариантов комплексных аттестационных заданий, предъявляемых студентам бакалавриата на государственном экзамене:

Комплексное аттестационное задание

Вариант № 1

Инвариантная часть

Спроектировать теоретический урок технологии для 7-го класса по теме «Основные операции токарной обработки и особенности их выполнения».

1.1. Разработайте развернутый план урока по предложенной теме с использованием педагогической технологии имитационной игры. Укажите характер деятельности учащихся на каждом этапе урока.

1.2. Укажите, на развитие каких структур личности направлено использование данной технологии.

1.3. Исходя из структуры рабочей программы по дисциплине «Технология», конкретизируйте содержание ее элементов в соответствии с темой урока.

1.4. Разработайте средства наглядности и обоснуйте их использование при проведении урока по данной теме.

1.5. Составьте перечень правил техники безопасности для проведения практической части урока.

1.6. Обоснуйте методы и средства контроля при проведении урока.

1.7. Составьте перечень из 5-10 контрольных вопросов.

1.8. Составьте тестовые задания различной формы по теме урока (от 3 до 5).

1.9. Спрогнозируйте возможные ошибки учащихся при выполнении одного из тестовых заданий.

1.10. Укажите, какие воспитательные задачи можно решить при проведении урока.

Вариативная часть

Исходные данные: чертеж детали, годовая программа выпуска - 30 000 шт.

Выполните следующие задания:

1. Расшифруйте требования, касающиеся точности изготовления размеров детали, шероховатости ее поверхностей, точности геометрической формы и точности взаимного расположения поверхностей; свойств материала, из которого она должна быть изготовлена, и необходимого вида ее химико-термической обработки.

2. Опишите материал детали (состав, свойства) и возможные способы его получения, выбрав наиболее оптимальный вариант.

3. Обоснуйте способ получения детали с учетом заданной годовой программы. Выполните чертеж заготовки.

4. Опишите маршрут (последовательность) обработки заготовки на металлорежущем оборудовании, выбрав предварительно виды оборудования, приспособлений и инструментов для выполнения 3-5 операций. Нарисуйте схемы обработки детали для этих операций.

5. Предложите виды термической и химико-термической обработки для достижения необходимых свойств материала, указанных в технических требованиях чертежа детали. Опишите технологию проведения этих видов обработки.

Всего для итоговой аттестации выпускников бакалавриата был разработан комплект из 40 аттестационных заданий, каждое из которых содержит 15 задач. Выполнение задания оценивается по 100-балльной шкале:

• пороговому уровню соответствует оценка 55-74 балла;

• повышенному - 75-90 баллов;

• продвинутому - 91-100 баллов.

Процедура экзамена, установленная экспертами, утверждена на методическом семинаре кафедры «Профессиональная педагогика». В соответствии с ней на выполнение задания студенту отводится неделя, результаты работы оформляются в виде пояснительной записки, а в назначенный день государственного экзамена проводится презентация и проходит защита результатов выполненного комплексного аттестационного задания.

Государственные экзамены с использованием комплексных аттестационных заданий у студентов бакалавриата по направлению подготовки «Технологическое образование» проводились в Ижевском государственном техническом университете в период с 2009 по 2012 г. Студенты с большим интересом приняли новую форму проведения экзамена: у них появилась возможность продемонстрировать не только то, что они знают, но и то, что умеют (например, ими были разработаны макеты простейших электрических схем, которые можно изготовить на уроках технологии; учебные игры и презентации по различным темам предмета «Технология»).

Результаты государственных экзаменов показали, что уровень необходимых профессиональных знаний, умений, навыков, способностей у студентов значительно вырос, что свидетельствует о формирующем характере комплексных аттестационных заданий и их адекватности разработанной компетентностной модели бакалавра технологического образования.

Предложенные нами технология проектирования комплексных аттестационных заданий, компетентностная модель бакалавра технологического образования и модель комплексного аттестационного задания весьма универсальны и могут быть адаптированы, например, к таким направлениям подготовки, как «Профессиональное обучение (по отраслям)» и «Педагогическое образование».

Таким образом, квалиметрический подход, предполагающий использование метода групповых экспертных оценок, является одним из путей решения проблемы диагностики качества форми-

руемых у студентов общекультурных и профессиональных компетенций. Его использование при проектировании компетентностно-ориентированных оценочных средств позволяет научно обосновать их структуру и содержание, а также алгоритмизировать все необходимые для этого процедуры.

Литература

1. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. 495 с.

2. Квалиметрия человека и образования: методология и практика: материалы 1У-Х1 симпозиумов. М.: Исследовательский центр, 1995-2006.

3. Селезнева Н. А. Качество высшего образования как объект системного исследования. М.: Исследовательский центр, 2001. 79 с.

4. Субетто А. И. Введение в квалиметрию высшей школы. М.: Исследовательский центр Гособразования СССР по проблемам управления качеством подготовки специалистов, 1991.

5. Черепанов В. С. Экспертные оценки в педагогических исследованиях. М.: Педагогика, 1989. 152 с.

6. Шихова О. Ф. Основы квалиметрии вузовского образовательного стандарта: моногр. Москва; Ижевск: Удмуртский университет, 2006. 232 с.

7. Шихова О. Ф., Шестакова Н. В., Шаляпина М. С. Квалимет-рический подход к проектированию компетентностной модели бакалавра технологического образования / / Образование и наука. Изв. УрО РАО. 2009. № 1 (58). С. 45-51.

8. Шихова О. Ф. Модель проектирования многоуровневых оценочных средств для диагностики компетенций студентов в техническом вузе // Образование и наука. Изв. УрО РАО. 2012. № 2 (91). С. 23-31.

9. Шихов Ю. А. Квалиметрический мониторинг качества фундаментальной подготовки в техническом вузе: моногр. М.; СПб.; Ижевск: Исследовательский центр проблем качества подготовки специалистов: Стикс: ИжГТУ, 2007. 208 с.

10. Шихов Ю. А. Диагностический инструментарий для мониторинга качества подготовки в системе «школа - втуз» // Интеграция образования. 2006. № 3 (44). С. 18-20.

11. Шихов Ю. А. Концептуальные основы мониторинга качества обучения в системе непрерывного образования // Казанский педагогический журнал. 2008. № 1. С. 3-6.

12. Thorndike E. L. Educational Measurements of Fifty Years Ago // J. of Educational Psychology. 1913. № 6. Р. 551-552.