Автоматизированная система рейтинговой оценки результативности профессиональной деятельности научно-педагогических работников: принципы, модели и алгоритмические модули

УДК 519. 004

DOI: 10.12737/article_59b11cc2e61539.38478267

М.И. Рабинович, А.В. Морозова

АВТОМАТИЗИРОВАННАЯ СИСТЕМА РЕИТИНГОВОИ ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ НАУЧНО-ПЕДАГОГИЧЕСКИХ РАБОТНИКОВ: ПРИНЦИПЫ, МОДЕЛИ И АЛГОРИТМИЧЕСКИЕ МОДУЛИ

Рассмотрены общие вопросы, связанные с проектированием, внедрением и использованием автоматизированной системы рейтинговой оценки профессиональной деятельности персонала на примере научно-педагогических работников вуза (АС РОПД НПР).

Ключевые слова: рейтинговая оценка, автоматизированная система, результативность профессиональной деятельности, научно-педагогические работники, вуз, функциональная модель, алгоритм.

M.I. Rabinovich, A.V. Morozova

AUTOMATED SYSTEM FOR PROFESSIONAL EFFICIENCY RATING ASSESSMENT OF SCIENTIFIC-TEACHING STAFF: PRINCIPLES, MODELS AND ALGORITHMIC MODULES

General problems connected with the design, introduction and application of the automated system for the staff professional efficiency rating assessment by the example of the college scientific-teaching staff (AS SPERA STS) are under consideration. The offered design technology of such systems ensures the reliability of rating assessments and the efficiency of the process of their obtaining. The automated system for the rating assessment of the staff professional efficiency passed successfully a primary appraisal by the example of a social group of "STS of engineering college" and may be recommended for the adaptation to different social groups of experts under conditions of industrial enterprises and production companies.

During the development there were used the principles of a system approach to design (integrity, structuring, system hierarchy). The drawbacks of a commonly realizable model of stages in the design of the automated system for the staff professional activity rating assessment are revealed; an organization model of the design of AS SPERA STS is developed; the ad-

vantages of an alternative model of the development of AS SPERA STS. An appraisal of the alternative model of design and introduction of AS SPERA STS carried out in a number of Russian colleges allowed the leadership of structural sections of colleges to reduce on the average up to 20% the time for the preparation of reporting documentation; college authorities to increase reasonableness and efficiency of functioning the system of efficiency motivation in professional activities of scientific-teaching staff. The adaptation of modules of professional activity types and procedures for the rating computation to the conditions of organizations of other types and also industrial enterprises and manufacturing companies will allow increasing the functioning efficiency of similar systems formed with the use of models and algorithmic modules developed by the authors.

Key words: rating assessment, automated system, professional activity effectiveness, scientific-teaching staff, college, functional model, algorithm.

Введение

Проблема оценки персонала в настоящее время актуальна как для различных типов организаций, промышленных предприятий и производственных фирм [3; 12], так и для вузов [8; 9; 11]. Для разработки системы оценки персонала и формирования рейтинга сотрудников используются различные методы [1; 4; 10; 13-15], которые позволяют учитывать не только общие подходы к решению этой научной пробле-

мы [2; 6; 19], но и специфику различных организаций, например высших учебных заведений [5; 7; 16; 17].

Важность создания эффективных и надежных методов и систем оценки профессиональной деятельности научно-педагогических работников (НПР) подтверждена многолетней практикой управления высшими образовательными учреждениями во многих странах мира (США,

Великобритании, Германии и др.). С 90-х годов прошлого века такие системы оценки активно применяются и в вузах России. На данный момент внедрение автоматизированных систем рейтинговой оценки ре-

зультативности профессиональной деятельности научно-педагогических работников является одним из важнейших признаков зрелости современного университета.

Традиционная модель этапов проектирования автоматизированной системы рейтинговой оценки профессиональной деятельности персонала

Исследование уровня влияния используемых технологий как проектирования, так и внедрения рейтинговой системы оценки профессиональной деятельности персонала на надежность генерируемых ею рейтинговых оценок проведем на примере внедрения таких систем для оценки результативности профессиональной деятельности научно-педагогических кадров российских вузов. На официальных сайтах многих российских вузов, которые на данный момент уже применяют рейтинговые системы, можно найти различные корпоративные документы, относящиеся к вопросам разработки и функционирования этих систем. Среди этих документов можно выделить в первую очередь Приказ о разработке и внедрении рейтинговой системы и Положение о рейтинговой оценке профессиональной деятельности преподавателей. Анализ данных документов позволяет заключить, что процессы проектирования и внедрения рейтинговых систем в различных вузах не содержат значимых различий и могут быть представлены в виде традиционной схемы проектирования внутривузовской рейтинговой системы (рис. 1).

Получив задание разработать рейтинговую систему, рабочая группа, как правило, начинает поиск информации об аналоге такой системы в подходящем по типу вузе (техническом, гуманитарном, медицинском или другом). Как уже отмечалось выше, подходящее Положение о рейтинговой оценке, утвержденное и положенное в основу рейтинговой системы в конкретных вузах, можно без труда найти в сети Интернет.

Изменения, вносимые рабочей группой в аналог Положения о рейтинговой оценке, чаще всего ограничиваются корректировкой списка критериев оценки по его составу или значимости. Аппарат для

расчета рейтинга и форма проведения оценки при этом остаются практически в неизменном виде. Именно по этой причине данные документы во многих вузах очень похожи друг на друга.

Обсуждение проекта Положения вузовской общественностью и ученым советом вуза также концентрируется вокруг состава и значимости критериев оценки. При этом даже не ставится вопрос о проверке корректности рейтинговой оценки, которая будет получена на основании утвержденного документа (Положения). Отсутствие постановки такого вопроса свидетельствует либо о формальном подходе к разработке системы, либо о некомпетентности высшего менеджмента вуза в разрабатываемом вопросе, поскольку свертывание разнородных сведений о работе сотрудников в единую рейтинговую оценку выполняется при помощи эмпирических формул. Можно предположить, что корректность математического аппарата не ставится под сомнение по той простой причине, что за основу Положения о рейтинговой оценке берется определенный аналог,

используемый в конкретной и уже внедренной рейтинговой системе.

Так или иначе, но

последовательность этапов обсуждения и принятия Положения о рейтинговой системе настраивает разработчиков ее программных модулей на особое внимание к модулям, обеспечивающим различные манипуляции с таблицами исходных данных для получения рейтинговых оценок. Разработанная в таком порядке рейтинговая система проходит апробацию, в процессе которой выполняется поиск и устранение ошибок в программных модулях, после чего систему запускают в эксплуатацию.

Такая схема разработки, внедрения и эксплуатации внутривузовской

рейтинговой системы никак не учитывает возможность появления некорректных рейтинговых оценок [1]. Некорректные рейтинговые оценки, присваиваемые системой некоторым сотрудникам, могут проявиться и, соответственно, быть замечены не сразу. Для осуществления их целенаправленного поиска в первую

очередь необходимо, чтобы все сотрудники вуза, чья оценка предусмотрена в рейтинговой системе, ввели все необходимые сведения о своей работе. Полученные после этого списки рейтинговых оценок должны быть проверены экспертами с целью выявления сотрудников, рейтинговые оценки которых, с их точки зрения, завышены или занижены.

Рис. 1. Традиционная модель этапов проектирования рейтинговой системы оценки профессиональной деятельности персонала

На практике для ускорения этого процесса целесообразно исследовать рейтинговые оценки работников высшей квалификации (докторов наук и профессоров). В этом случае некорректные рейтинговые оценки следует искать в верхней части рейтинг-листа, где среди хорошо известных своей активностью лиц могут появиться фамилии сотрудников,

результаты деятельности которых ничем не примечательны, с точки зрения руководителей вуза.

Поначалу можно предположить, что причиной появления таких рейтинговых оценок являются ошибки в исходных данных, используемых для расчета рейтинговых оценок. Если же проверка исходных данных подтвердит их

достоверность, несправедливые

рейтинговые оценки могут считаться следствием ошибок, допущенных при разработке программных модулей рейтинговой системы.

И только полная проверка расчета рейтингов и детальное сопоставление исходных данных и полученных рейтинговых оценок могут помочь разобраться в том, что причина некорректной рейтинговой оценки кроется в математическом аппарате, применяемом для расчета рейтингов.

Когда истинная причина появления некорректных оценок установлена, проектировщики рейтинговой системы должны соответствующим образом модернизировать математический аппарат, используемый ими для расчета рейтинговых оценок. Сложность здесь состоит в том, что заранее неизвестно, как именно надо изменить модель расчета рейтингов, чтобы исключить возможность появления несправедливых рейтингов. Здесь необходимо проводить

многочисленные эксперименты,

включающие в себя изменение формул для расчета рейтингов, перерасчет

рейтинговых оценок и сопоставление полученных результатов.

Однако в традиционной схеме

процесса предусмотрен лишь

минимальный набор инструментов для модернизации аппарата расчета рейтингов: средства изменения состава критериев оценки и корректировки их значимости. Эти ресурсы не могут обеспечить поиск приемлемых вариантов группировки критериев по видам деятельности, необходимых для получения корректной модели расчета рейтинга [1].

Таким образом, при использовании традиционной схемы проектирования необходимость существенного изменения модели расчета рейтингов может возникнуть после завершения

проектирования и внедрения всей системы. Качественно решить такую задачу можно только в том случае, если весь необходимый для этого инструментарий был изначально предусмотрен в проекте рейтинговой системы.

В этой связи авторам представляется необходимым разработать такую технологию проектирования рейтинговой системы, которая определяет перечень обязательных модулей рейтинговой системы, их основные характеристики, а также четкую последовательность и содержание этапов выполнения разработки и внедрения системы.

Основные принципы проектирования СРО

При разработке этой технологии мы использовали ряд принципов системного подхода к проектированию (целостность, структуризация, иерархичность системы).

Согласно принципу целостности, рейтинговую систему оценки профессиональной деятельности преподавателей вуза следует рассматривать не только как цельный объект, выполняющий закрепленные за ним функции, но и как одну из подсистем системы мониторинга работы вуза. Поскольку в основе проведения любого вида мониторинга лежит процесс получения необходимой для него информации, базовым элементом рейтинговой системы (который она использует совместно с другими видами мониторинга) является си-

ПДП

стема сбора информации о профессиональной деятельности работников вуза.

С точки зрения принципа структуризации проектирование рейтинговой системы не является самоцелью, а должно быть подчинено наилучшему выполнению ее функций в структуре управления вузом: принятию обоснованных управляющих решений и стимулированию профессиональной деятельности преподавателей.

И наконец, в соответствии с принципом иерархичности технические требования к модулям более низкого уровня иерархии формируются на основании суммарных требований модулей более высокого уровня иерархии.

Организационная модель проектировани

Рассматривая проектирование автоматизированной системы рейтинговой оценки результативности профессиональной деятельности НПР как проектирование одного из элементов системы мониторинга работы вуза, авторы тем самым получили целый ряд практических преимуществ, проявляющихся как при разработке АС РОПД НИР, так и после ее внедрения. В частности, такой подход способствует достижению эффективности работы сотрудников, ответственных за подготовку мониторинговой информации в структурных подразделениях вуза, поскольку им более не приходится заполнять разнообразные формы отчетности, содержащие сведения, в значительной степени дублирующие друг дуга. Эффективность работы обеспечивается за счет того, что все сведения о работе сотрудников вуза, которые могут потребоваться для проведения различных видов мониторинга результативности отдельных направлений деятельности вуза, регистрируются в базе данных только один раз. Это экономит рабочее время сотрудников, поскольку все, что от них требуется, - это регулярно регистрировать в базе данных информацию о завершении выполнения различных видов работ. Что касается всей остальной работы с информацией (в том числе подведения итогов работы для определения рейтинговых оценок), то эту работу целиком берут на себя соответствующие программные модули.

Приступая к проектированию АС РОПД НИР, необходимо сознавать, что разработка и внедрение базовой системы сбора информации о работе НИР вуза должны быть полностью завершены до начала разработки математического аппарата, применяемого для расчета рейтинговых оценок. Это обусловлено необходимостью проведения верификации модели расчета рейтингов на основе реальных данных о работе сотрудников вуза.

АС РОПД НПР

Таким образом, проектирование рейтинговой системы следует разбить на два последовательных этапа. На первом этапе создается и внедряется базовая система, позволяющая аккумулировать всю необходимую информацию, используемую для проведения мониторинга различных видов деятельности НИР вуза (рис. 2). Наличие такой системы позволяет верифицировать альтернативные варианты математического аппарата, используемые для получения рейтинговых оценок, и создать АС РОПД НПР, обеспечивающую надежность рейтинговых оценок.

Следует особо подчеркнуть важность положения о том, что функциональные возможности базовой системы сбора информации должны определяться информационными потребностями систем - потребителей этой информации (принцип иерархичности). Так, для решения задач рейтинговой оценки профессиональной деятельности НПР и осуществления других видов вузовского мониторинга модули системы сбора информации должны обеспечивать:

- полноту информации о различных категориях выполняемых работ;

- возможность группировки сведений о работах по признакам, используемым в различных видах мониторинга;

- максимальную достоверность собираемой информации;

- защиту данных от несанкционированного изменения или удаления;

- простой механизм расширения списка регистрируемых работ, облегчающий сопровождение функционирования системы.

Получив в свое распоряжение реальные данные о работе научно-педагогических работников вуза, можно переходить к проектированию и верификации математического аппарата, применяемого для расчета рейтинговых оценок.

Требования к модулям АС РОРПД НПР

Этап № 2

Стимулирование НПР Управленческие решения

АС РОРПД НПР

Другие виды мониторинга

Этап № 1

Базовая система сбора информации о деятельности НПР вуза

Последовательность разработки АС РОРПД НПР

Рис. 2. Организационная модель проектирования автоматизированной системы рейтинговой оценки результативности профессиональной деятельности научно-педагогических работников вуза

Этот процесс предполагает использование альтернативных вариантов эмпирических формул, которые предположительно можно было бы применить для получения рейтинговых оценок, и последующее сравнение результатов их применения на одних и тех же наборах исходных данных. В связи с этим модули рейтинговой системы должны обеспечить одновременное использование различных моделей расчета рейтинговых оценок и возможность сопоставления соответствующих им рейтинг-листов. Кроме того, поскольку заранее неизвестно, насколько много вариантов математического аппарата для расчета рейтинговых оценок придется опробовать прежде, чем будет найден приемлемый вариант, модули рейтинговой системы должны предоставлять гибкие инструменты для видоизменения схемы расчета рейтингов. Здесь нецелесообразно реализовы-вать каждую новую схему расчета рейтингов в виде нового программного модуля в

связи с возможными ошибками программирования в каждом новом программном модуле. Следствием таких ошибок может стать неправильный вывод о некорректности одного из вариантов математического аппарата, который вполне можно было бы применять для расчета рейтинговых оценок.

Во избежание подобных коллизий для одновременного использования различных вариантов математического аппарата для расчета рейтингов следует разработать язык описания схемы расчета рейтингов, позволяющий создавать, видоизменять и использовать в расчетах формальные описания различных схем определения рейтингов. При таком подходе расчет рейтинга по любой из альтернативных методик реализуется в одном и том же программном модуле, который осуществляет загрузку и интерпретацию формального описания методики непосредственно в процессе расчета рейтинговых оценок.

Преимущества альтернативной модели р

Требование формализации схемы расчета рейтинга при проектировании АС РОПД НПР носит организационный характер. Оно накладывается только для обеспечения технологичности процесса верификации используемого в

зработки АС РОПД НПР

рейтинговой системе математического аппарата, тогда как основные требования к функциональным возможностям такой системы (рис. 2) должны формулироваться исходя из требований систем -потребителей рейтинговой информации.

Остановимся сначала на требованиях к рейтинговой системе со стороны системы материального и морального поощрения НПР вуза. В рассмотренных нами корпоративных документах о внутривузовской рейтинговой оценке декларируется необходимость применения рейтинговой системы как основы для построения системы материального поощрения сотрудников. Однако процессы проектирования этих двух систем изначально никак не взаимодействуют: сначала разрабатывается рейтинговая система, а затем ее возможности приспосабливаются для организации стимулирования НПР. С нашей точки зрения, такой подход приемлем только при использовании самых простых форм материального стимулирования, например путем разового премирования небольшого количества лучших (по рейтингу) преподавателей по итогам учебного или календарного года. Именно такая форма стимулирования применяется в

большинстве российских вузов, которые уже много лет применяют рейтинговые системы.

Однако достаточно часто существует потребность в более сложных системах стимулирования, когда существенная часть вознаграждения за труд непосредственно зависит от результатов труда НПР. При таких условиях рейтинговая система могла бы стать основой для создания гибкой системы для определения стимулирующей надбавки к заработной плате, охватывающей не только преподавателей, но и большинство сотрудников вуза. Для этих целей в АС РОПД НПР должны быть предусмотрены соответствующие

функциональные возможности.

Остановимся на этом подробнее.

Современный вуз предлагает разнообразные формы обучения и достаточно часто интегрирует подготовку специалистов в различных системах образования. В связи с этим преподаватели вуза различным образом задействованы при решении задач оказания образовательных услуг, следовательно, их работа характеризуется отличающимися друг от друга наборами критериев оценки.

Из этого следует, что в современных

условиях для построения гибкой системы материального стимулирования,

использующей в качестве исходной информацию из АС РОПД НПР, последняя должна быть способна отдельно оценивать результаты профессиональной

деятельности различных групп НПР вуза и использовать при этом разные наборы критериев оценки.

Кроме того, недопустимо большим является наиболее часто используемый интервал времени для пересчета рейтинговых оценок (длительностью в один год). Данное ограничение, по-видимому, вводится в связи с использованием технологии сбора и подготовки исходных данных для расчета рейтинговых оценок, предполагающей анкетирование участников рейтинговой оценки.

Однако если изменить технологию сбора и подготовки данных и использовать в основании рейтинговой системы базовую систему сбора информации о работе сотрудников вуза, то в этом случае снятие любых ограничений на длительность периода перерасчета рейтингов не встречает никаких технических

трудностей.

Чтобы применение системы материального стимулирования

положительным образом влияло на рост профессионального уровня

преподавателей вуза, необходимо, чтобы справедливость оценок, выставляемых рейтинговой системой, не вызывала никаких сомнений. Здесь недостаточно разработать корректную методику расчета рейтингов. Необходимо также, чтобы любой сотрудник вуза мог проверить исходные данные для расчета рейтингов, сопоставить расчеты рейтингов у различных сотрудников и убедиться в справедливости присвоенного ему значения личного рейтинга.

Существуют и другие формы мониторинга результативности

деятельности НПР вуза, которые не связаны с построением в вузе системы материального и морального

стимулирования и могут проводиться с использованием рейтинговой системы (например, анализ результатов работы

некоторых сотрудников вуза при принятии управленческих решений). Для их проведения в АС РОПД НПР должен быть предусмотрен инструментарий,

позволяющий получать выборки из рейтинг-листов, содержащие рейтинговые оценки по отдельным группам преподавателей (сотрудников) вуза или по отдельным видам их профессиональной деятельности.

Таким образом, с учетом требований систем - потребителей рейтинговой информации модули, входящие в состав АС РОПД НПР, должны обеспечивать:

- возможность создания и одновременного применения различных вариантов аппарата получения рейтинговых оценок;

- полностью автоматизированный расчет рейтинговых оценок (возможность получения ежедневных обновлений рейтингов субъектов оценки);

- возможность расчета рейтингов сотрудников вуза, выполняемого как с учетом их общего вклада в работу образовательного учреждения, так и по результатам их деятельности за любой ограниченный интервал времени;

- открытость процесса расчета рейтинговых оценок, предусматривающую возможность контроля исходных данных для расчета рейтингов и всех промежуточных протоколов;

- возможность оперативного получения сведений из таблиц рейтинговых оценок с применением комбинированных критериев выборки.

Рассмотренная нами технология проектирования АС РОПД НПР обеспечивает процесс ее разработки четким планом действий, способствующим созданию эффективной и надежной системы. Следование этой технологии

Заключение

Рассмотренные принципы, модели и алгоритмические модули были успешно апробированы при разработке автоматизированной системы рейтинговой оценки результативности профессиональной деятельности НПР в условиях нескольких российских вузов. Внедрение таких систем позволило руководителям структурных

также позволяет избежать возможных психологических проблем, связанных с введением системы оценки

профессиональной деятельности в коллективе вуза. Действительно, внедрение на первом этапе разработки АС РОПД НПР ее базового компонента (системы сбора информации о работе НПР вуза) должно положительно

восприниматься корпоративной

общественностью, поскольку этот компонент в значительной мере избавляет работников вуза от необходимости готовить разнообразные и зачастую сходные по содержанию отчеты о своей профессиональной деятельности. К примеру (для российских вузов), этому может способствовать автоматическая подготовка годовых отчетов по научно-исследовательской работе НПР, кафедр, факультетов и вуза в целом.

Когда период отладки базовой системы завершится и данные о результатах профессиональной

деятельности НПР начнут регулярно регистрироваться в базе данных, можно переходить к разработке и внедрению модулей АС РОПД НПР, отвечающих непосредственно за расчет рейтинговых оценок. При такой последовательности разработки исключается причина возможного негативного восприятия АС РОПД НПР вузовской общественностью, поскольку внедрение и эксплуатация ее модулей не накладывает никаких дополнительных обязанностей на сотрудников вуза. Как следствие, внедрение такой системы может носить чисто уведомительный характер, когда преподавателей и сотрудников вуза информируют о том, что в вузе внедрена и доступна для использования АС РОПД НПР.

подразделений вузов в среднем на 20% сократить время подготовки отчетной документации, а администрации - повысить обоснованность и эффективность функционирования системы стимулирования профессиональной деятельности НПР. Адаптация модулей видов профессиональной деятельности и методик расчета рейтинга к

условиям организаций иных типов, а также промышленных предприятий и производственных фирм позволит повысить эффективность функционирования аналогичных

систем, построенных с использованием разработанных авторами моделей и алгоритмических модулей.

Работа выполнена при финансовой поддержке внутреннего гранта № 163 Брянского государственного технического университета (2017 г.).

СПИСОК ЛИТЕРАТУРЫ

1. Abbas, R. Integrating soft skills assessment through soft skills workshop program for engineering students at university of Pahang-An analysis / R. Abbas, F.A.A. Kadir, I.A.G. Azmie // International Journal of research in Social Sciences. - 2013. - № 2. - P. 33-46.

2. Austin, L.J.E. Staff Preparation, Reward and Support: Are Quality Rating and Improvement Systems Addressing All of the Key Ingredients Necessary for Change? Policy Report / L.J.E. Austin; Center for the Study of Child Care Employment, University of California at Berkeley. - 2011.

3. Coppes, J. North American Society for Sport Management Conference sunulan bildiri / J. Coppes. - Florida, 2011.

4. Dahinden, U. Exploring the use of computer models in participatory integrated assessment-experiences and recommendations for further steps / U. Dahinden // Integrated assessment. - 2000. - №

1. - P. 253-266.

5. Danielson, C. Evaluations that help teachers learn / C. Danielson // Educational Leadership. - 2011. - № 68. - P. 35-39.

6. Guyatt, G.H. Going from evidence to recommendations / G.H. Guyatt // British Medical Journal. - 2008. - № 336. - P. 1049.

7. Jacob, B.A. What's in a rating? / B.A. Jacob, E. Walsh // Economics of Education Review. - 2011. -№ 30. - P. 434-448.

8. Jing, T. On the Current Performance Assessment of Sports Teachers in General Higher Educational Institutions / T. Jing // Academic Journal of Shaolin and Taiji (Zhongzhou Sports). - 2001. - № 4. - P. 15.

9. Kondakgi, Y. Administrative process in academic context: An assessment of administrative problems in higher education at faculty level. Unpublished Master's Thesis / Y. Kondakgi; Middle East Technical University. - Ankara, 2000.

10. Kubinger, K.D. On faking personality inventories /

1. Abbas, R. Integrating soft skills assessment through soft skills workshop program for engineering students at university of Pahang-An analysis / R. Abbas, F.A.A. Kadir, I.A.G. Azmie // International Journal of research in Social Sciences. - 2013. - №

2. - P. 33-46.

2. Austin, L.J.E. Staff Preparation, Reward and Support: Are Quality Rating and Improvement Systems Addressing All of the Key Ingredients

K.D. Kubinger // Psychological Test and Assessment Modeling. - 2002. - № 44. - Р.10.

11. Liolios, A. Assessment of Current Engineering Education in Greece-Universities and Technological Institutes / A. Liolios, A. Boglou // ICEE. - 2007.

12. Liu, Z. LCE: 15th CIRP International Conference on Life Cycle Engineering: Conference Proceedings / Z. Liu. - 2008. - Р. 136.

13. Malara, Z. Methods of assessing human resources in companies effecting improvement / Z. Malara, J. Kroik, M. Brol // Critical essay. Management. -2003. - № 7. - Р. 97-109.

14. Morozova, A. Neural network modeling of arbitrary objects during their bisubject qualimetric evaluation / A. Morozova // MEACS. - 2015. - Т. 124.

15. Morozova, A. Mathematical model of bisubject qualimetric arbitrary objects evaluation / A. Morozova // IOP Conference Series: Materials Science and Engineering. - 2016. - Т. 124.

16. Pounder, J.S.A. Behaviourally anchored rating scales approach to institutional self-assessment in higher education / J.S.A. Pounder // Assessment & Evaluation in Higher Education. - 2000. - № 25. -Р. 171-182.

17. Schaubde, J.M.A. Development of a student rating scale to evaluate teachers' competencies for facilitating reflective learning / J.M.A. Schaubde // Medical education. - 2011. - № 45. - Р. 155-165.

18. Степанов, Ю.С. О проблемах получения рейтинговых оценок деятельности преподавателей, кафедр и факультетов во внутривузовской системе управления качеством образования / Ю.С. Степанов, М.И. Рабинович // Университетское управление: практика и анализ. - 2006 .- № 6. - С. 53-57.

19. Welches, L.J. Typological prediction of staff nurse performance rating / L.J. Welches, F.A. Dixon, E.D. Stanford // Nursing research. - 1974. - № 23. -Р. 402-409.

Necessary for Change? Policy Report / L.J.E. Austin; Center for the Study of Child Care Employment, University of California at Berkeley. - 2011.

3. Coppes, J. North American Society for Sport Management Conference sunulan bildiri / J. Coppes. - Florida, 2011.

4. Dahinden, U. Exploring the use of computer models

in participatory integrated assessment-experiences

and recommendations for further steps / U. Dahinden // Integrated assessment. - 2000. - № 1. -P. 253-266.

5. Danielson, C. Evaluations that help teachers learn / C. Danielson // Educational Leadership. - 2011. - № 68. - P. 35-39.

6. Guyatt, G.H. Going from evidence to recommendations / G.H. Guyatt // British Medical Journal. - 2008. - № 336. - P. 1049.

7. Jacob, B.A. What's in a rating? / B.A. Jacob, E. Walsh // Economics of Education Review. - 2011. -№ 30. - P. 434-448.

8. Jing, T. On the Current Performance Assessment of Sports Teachers in General Higher Educational Institutions / T. Jing // Academic Journal of Shaolin and Taiji (Zhongzhou Sports). - 2001. - № 4. - P. 15.

9. Kondakgi, Y. Administrative process in academic context: An assessment of administrative problems in higher education at faculty level. Unpublished Master's Thesis / Y. Kondakgi; Middle East Technical University. - Ankara, 2000.

10.Kubinger, K.D. On faking personality inventories / K.D. Kubinger // Psychological Test and Assessment Modeling. - 2002. - № 44. - P.10.

11.Liolios, A. Assessment of Current Engineering Education in Greece-Universities and Technological Institutes / A. Liolios, A. Boglou // ICEE. - 2007.

12.Liu, Z. LCE: 15th CIRP International Conference on Life Cycle Engineering: Conference

Сведения об авторах:

Рабинович Марк Иосифович, вед. специалист, Брянский государственный технический университет, e-mail: rabi@ostu.ru.

Rabinovich Mark Iosifovich, Leading expert, Bryansk State Technical University, е-mail: rabi@ostu.ru.

Proceedings / Z. Liu. - 2008. - Р. 136.

13.Malara, Z. Methods of assessing human resources in companies effecting improvement / Z. Malara, J. Kroik, M. Brol // Critical essay. Management. -2003. - № 7. - Р. 97-109.

14.Morozova, A. Neural network modeling of arbitrary objects during their bisubject qualimetric evaluation / A. Morozova // MEACS. - 2015. - Т. 124.

15.Morozova, A. Mathematical model of bisubject qualimetric arbitrary objects evaluation / A. Morozova // IOP Conference Series: Materials Science and Engineering. - 2016. - Т. 124.

16.Pounder, J.S.A. Behaviourally anchored rating scales approach to institutional self-assessment in higher education / J.S.A. Pounder // Assessment & Evaluation in Higher Education. - 2000. - № 25. -Р. 171-182.

17.Schaubde, J.M.A. Development of a student rating scale to evaluate teachers' competencies for facilitating reflective learning / J.M.A. Schaubde // Medical education. - 2011. - № 45. - Р. 155-165.

18.Stepanov, Yu.S. On problems of obtaining rating assessments of faculty and department teaching staff activity in intra-college system of education quality management / Yu.S. Stepanov, M.I. Rabinovich // University Management: Practice and Analysis. - 2006 .- № 6. - pp. 53-57.

19.Welches, L.J. Typological prediction of staff nurse performance rating / L.J. Welches, F.A. Dixon, E.D. Stanford // Nursing research. - 1974. - № 23. -Р. 402-409.

Статья поступила в редколлегию 06.07.17.

Рецензент: д.т.н., профессор Брянского государственного технического университета

Киричек А.В.

Морозова Анна Валентиновна, к.социол.н., Брянский государственный технический университет, e-mail: niotiostu@gmail.com.

Morozova Anna Valentinovna, Can. Sociolog., Bryansk State Technical University, е-mail: nio-tiostu@gmail.com.