Мониторинг процессов и оценка результативности научной деятельности

предпринимательства в здравоохранении должны быть созданы общественные организации участников процесса оказания платных медицинских услуг.

Регулирование ценообразования в сфере платных услуг в разрезе предложенного перечня мер осуществляет специально созданное структурное подразделение. Установку соотношения между бесплатными видами помощи и платными услугами осуществляет руководство учреждения, как и общий контроль за этим видом деятельности. На руководстве также лежит задача обеспечения развития учреждения в области коммерческой деятельности ЛПУ

ЛИТЕРАТУРА

1. Акопян А. С. Организационно-правовые формы медицинских организаций и платные медицинские услуги в государственных учреждениях здравоохранения. Экономика здравоохранения. 2004; № 5—6: 10—18.

2. Беляева Н. В. Источники финансирования в системе счетов здравоохранения России. Экономика здравоохранения. 2001; № 7: 48—61.

© Е. А. ГЛУХОВА, 2012 УДК 61:001.8

3. Блинов П. С. Формирование и развитие системы предоставления платных медицинских услуг: Автореф. дис. ... канд. экон. наук. Самара; 2009.

4. Булгакова Л. В. Маркетинговые аспекты развития рынка платных медицинских услуг: Автореф. дис. ... канд. экон. наук. Саратов; 2009.

5. Быков Д. Ю. Социально-экономические проблемы развития рынка платных медицинских услуг в переходной экономике России: Автореф. дис. ... канд. экон. наук. М.; 2003.

6. Габуева Л. А., ТатриноваМ. А. Анализ организационно-экономических моделей предпринимательской деятельности в здравоохранении и перспективы их развития. Здравоохранение. 2004; 10: 33—43.

7. Заборский В. М. Организация, управление и современные экономические технологии при оказании платных медицинских услуг в родовспомогательном учреждении. Экономика здравоохранения. 2001; № 9: 40—3.

8. Кадыров Ф. Н. Платные медицинские услуги. М.: Грантъ; 2000.

9. Пономаренко У. В., Кузнецова Т. В. Развитие медицинского страхования в системе социального страхования современной России: Учебно-метод. пособие. М.: Агар; 2008.

Поступила 23.03.12

Е. А. ГЛУХОВА

Мониторинг процессов и оценка результативности

научной деятельности

Первый Московский государственный медицинский университет им. И. М. Сеченова

Представлены результаты пилотного проекта по апробации методики мониторинга процессов и процедур измерения результативности научно-исследовательской деятельности в научной (медицинской) организации по специальности "общественное здоровье и здравоохранение ". Определена структура взаимодействия процессов в организации, отображающая взаимоотношения между элементами информационной системы мониторинга, измерения результативности процессов и управления. Сформирована целостная система показателей, критериев качества и целевых индикаторов научной и инновационной деятельности (средние значения, эталонные требуемые значения). Даны рекомендации по применению результатов пилотного проекта для постоянной оптимизации системы менеджмента качества и работ по повышению результативности научных исследований.

Ключевые слова: научная (медицинская) организация, система менеджмента качества, научно-исследовательская деятельность, мониторинг процессов, оценка научных результатов, индикаторы качества

THE MONITORING OF PROCESSES AND THE ASSESSMENT OF RESEARCH ACTIVITIES

E.A. Glukhova The I.M. Sechenov first state medical university, Moscow The article deals with the results ofpilot project on the approbation of results ofpilot project on approbation of methods of monitoring of processes and procedures of measurement of effectiveness of research activity in scientific (medical) organization in the field of specialty "public health and health care". The structure of processes interaction in organization is determined demonstrating relationships between elements of information system of monitoring, measurements of effectiveness of processes and management. The comprehensive system of indicators, quality criteria and target indicators of research and innovative activities (average values, demand reference values) is developed. The recommendations are proposed to apply the results ofpilot project for permanent optimization of system of quality management and activities to increaseу effectiveness of research.

Key words: scientific (medical) organization, system of quality management, research activity, processes monitoring, research results evaluation, quality indicators

Задача модернизации сектора науки, а также повышения эффективности его работы предполагает совершенствование контроля за использованием государственных средства на научную деятельность, одним из направлений которого является введение систе-

мы мониторинга и оценок результативности научно-исследовательской деятельности (НИД) научных работников [1, 3].

Потребность в системе мониторинга и оценки результатов деятельности государственных научных ор-

Контактная информация: Глухова Екатерина Анатольевна, ст. науч. сотр.; e-mail:kate_mart@mail.ru

ганизаций обусловлена необходимостью разработки инструмента обратной связи между результатами и ресурсами, гибкого перераспределения ресурсов между государственными научными организациями [6, 7].

В отечественной практике сфера мониторинга процессов и оценки результатов в госсекторе науки ограничена федеральными целевыми программами, научными фондами, аккредитацией образовательных программ вузов, конкурсами инновационных научных программ [2].

К ограничениям системы мониторинга и оценки в госсекторе науки следует отнести несбалансированность существующих методов и процедур оценки (преобладание экспертной оценки при недостатке объективных количественных методов), проблему доступа к первичным данным (закрытость внутренней системы отчетности ведомственных научных организаций), отсутствие индикаторов результативности [4, 9].

Вышеизложенное делает актуальной задачей обоснование модели мониторинга процессов, процедур измерения и оценки качества НИД на основе единой технологии непрерывного улучшения, методов менеджмента, идентификации результата.

Целью настоящего исследования явилась разработка и апробация модели мониторинга процессов и оценки результативности НИД на соответствие показателям качества, требованиям постоянного улучшения.

Апробация модели мониторинга процессов, процедур измерения результативности НИД организации

В соответствии с планом мероприятий, направленных на достижение целей в области качества в научной (медицинской) организации (паспорт специальности: "общественное здоровье и здравоохранение") выполнено пилотное исследование для апробации модели мониторинга процессов, процедур измерения и оценки результативности НИД по принципам единой технологии непрерывного улучшения процессов, используемой в международных стандартных ISO 9001:2008 [5].

Материалами для исследования послужили данные анкетирования сотрудников относительно качества научного процесса, отчеты научной (медицинской) организации, цитатная база данных Российского индекса научного цитирования (РИНЦ), размещенная на Web-сайте Научной электронной библиотеки ELIBRARY.RU.

Информационно-методическое обеспечение системы мониторинга разработано на основе единой технологии описания алгоритмов и программ для ЭВМ, баз данных и моделей, входящих в состав сложного объекта управления [8].

Разработку системы мониторинга в организации осуществляли поэтапно для решения следующих задач [3]:

• установление потребностей и ожиданий внутренних потребителей (научно-профессорского состава организации — НПС);

• идентификация процессов, необходимых для достижения целей в области качества;

• обоснование модели мониторинга процессов (видов деятельности) и разработка методики измерения результативности процесса (каждого вида деятельности);

• установление порядка проведения мониторинга, организации регулярных статистических исследований и экспертиз, получение содержательных отчетов о результативности деятельности процессов в организации.

На первом этапе по данным анкетирования изучена динамика удовлетворенности внутренних потребителей — НПС организации численностью 107 человек на период 2010—2011 гг.

Социологическая анкета содержала вопросы о самых различных аспектах качества научного процесса, начиная с оценки качества проведения научных работ и заканчивая вопросами требований к условиям работы и предложений в отношении улучшения организации работы.

Оценка соответствия удовлетворенности качеством научной деятельности проведена по результатам измерения текущих и предыдущих значений показателей.

Подавляющее число сотрудников (86%) дали высокую оценку качества проведения научных работ, при этом оценки за предыдущий период были ниже (80%) при требуемом значении показателя 70%.

Установлены потребности и ожидания сотрудников организации: 52% опрошенных высказались за улучшение технического оснащения рабочего места, 18% — за увеличение заработной платы, 9% — за улучшение условий труда. К остальным требованиям сотрудников отнесены оптимизация финансирования исследований и разработок (21%) соответственно.

На втором этапе определена структура взаимодействия процессов в организации, отображающая взаимоотношения между элементами информационной системы мониторинга, измерения результативности процессов и управления: основные процессы — научная деятельность, инновационная деятельность; креативность руководства, создание продукции (услуг), измерение, анализ и улучшение, менеджмент ресурсов и персонала; процессы системы менеджмента качества — управление записями и документацией, проверка качества, корректирующие и предупреждающие действия, управление несоответствующей документацией; стратегическое управление — обеспечение ресурсами.

В соответствии с приведенными данными идентифицированы основные, вспомогательные процессы и процессы системы менеджмента качества (СМК) в организации.

В качестве основных процессов рассматривается научная и инновационная деятельность.

Научная деятельность — исследования и разработки по формированию нового уровня теоретических знаний, практических умений, навыков и компетенций осуществляется путем организации активной познавательной научной деятельности работников.

Инновационная деятельность — практическое воплощение идей в новую продукцию, услуги, программы, процессы, системы и социальное взаимодействие для повышения эффективности деятельности и управления.

К вспомогательным видам деятельности организации отнесены процессы рабочего цикла менеджмента качества, направленные на постоянное улучшение:

• креативность руководства (планирование, разработка и внедрение системы менеджмента качества, анализ достижения целей, выявление проблем и способов их решения);

• создание научной продукции, услуг (производство, воспроизводство и обмен, диффузия знаний);

• измерение, анализ и улучшение (удовлетворенность потребителей, измерение процессов и продукции, анализ данных и улучшение);

• менеджмент ресурсов и персонала (управление персоналом, инфраструктурой, средой, финансами).

К процессам СМК отнесены управление записями и документацией, проверка качества, корректирующие и

Динамика показателей публикационной активности

Показатель 2005 2006 2007 2008 2009 2010 Среднее значение

Количество авторов 80 90 92 87 87 82 89

Количество публикаций 99 99 110 113 113 106 107

Количество публикаций в рецензируемых российских и зарубежных журналах 33 35 41 44 47 55 49

Доля публикаций в рецензируемых российских и зарубежных журналах 35,4 35,4 37,4 37,3 41,5 51,9 42,5

Суммарное число цитирований публикаций 104 168 210 248 254 283 211

Публикационная активность (количество публикаций на 1 автора) 0,8 1,1 1,2 1,3 1,3 1,4 1,2

Среднее количество цитирований

1,1

1,7

1,9

2,2

2,2

2,7

2,0

предупреждающие действия, управление несоответствующей продукцией.

Все виды деятельности (процессы) взаимосвязаны и нацелены на постоянную оптимизацию СМК и работу по повышению качества научной деятельности с учетом потребностей заказчика и удовлетворенности потребителей продукцией и услугами.

На третьем этапе разработана методика мониторинга процессов, ориентированная не на фактический достигнутый уровень, а на эталонный (желаемый) уровень организации. Таким образом, обеспечивается смещение оценочных акцентов на темпы приращения результатов, выявление возможностей для повышения меры полезности для заказчиков и развития организации, нацеленности на достижение стратегических целей, умение находить способы их реализации.

Результат функционирования системы мониторинга представляет собой новое решение в направлении непрерывного улучшения процессов НИД, имеет объективную форму выражения в виде совокупности стандартных операций и процедур, используется в качестве ориентира для установления потенциальной пригодности системы.

На четвертом этапе установлен порядок проведения экспертной оценки результатов НИД, включающий модель и структуру показателей оценки качества, организации регулярных статистических обследований и экспертиз, получение содержательных отчетов относительно результативности процессов в организации, формирование единой базы данных.

Модель оценки результативности и индикаторы качества НИД

Большую трудность представляет разработка иерархической модели для мониторинга результативности процессов и показателей качества НИД [10, 11].

В рамках проектирования СМК разработана структурная модель, характеризующая принципиальные связи и свойства оценки результативности НИД, количество и степень важности учитываемых показателей.

Выделены 3 уровня модели, различающиеся количеством и степенью важности показателей результативности НИД: направления генерации знаний — производство знаний, воспроизводство и обмен знаниями, диффузия знаний; индикаторы процесса — публикационная активность, академическая активность, коммуникативная активность, патентная активность; индикаторы результата — количество публикаций в зарубежных журналах и журналах ВАКа (на 1 автора), цитируемость в расчете на 1 публикацию, количество научных защит аспирантами и соискателями (на 100 НПС), количество

изданных монографий утвержденной научной продукции (на 100 НПС), количество организованных научно-практических конференций (на 100 НПС), количество докладов на международных конференциях (на 100 НПС), количество зарегистрированных патентов (на 100 НПС), количество финансируемых договоров (грантов) (на 100 НПС).

В соответствии с приведенными данными к индикаторам контролируемого процесса (вида НИД) отнесены:

• публикационная активность (публикации в зарубежных журналах и рецензируемых журналах и их цити-руемость в связи с импакт-фактором журналов);

• академическая активность (система научных защит и издание монографий);

• коммуникативная активность (вовлеченность в мировое научное сообщество);

• патентная активность (зарегистрированные патенты, хозрасчетные договора, гранты). Индикаторы результата отображают изменения показателей каждого из контролируемых процессов системы мониторинга. Динамика показателей публикационной активности сотрудников организации за 2005— 2010 гг. представлена в табл. 1.

В соответствии с табл. 1 прослеживается увеличение доли высококачественных публикаций в рецензируемых российских и зарубежных журналах с 35,4% (2005) до 42,5% (2010). Отмечена динамика роста публикационной активности с 0,8 (2005) до 1,4 (2010) на 1 автора. Средний уровень цитирования — 2 на 1 публикацию.

Результаты мониторинга процессов НИД приведены в табл. 2.

Как видно из табл. 2, по результатам мониторинга процессов сформирована целостная система индика-торов1, критериев2 качества научной и инновационной деятельности (средние значения, эталонные требуемые значения).

По представленным научным отчетам организации можно сделать следующие выводы о результативности процессов СМК организации.

• Прослеживается рост уровня публикационной активности НИР (рост доли высококачественных публикаций с 41,5 до 51,4%).

'Индикатор (лат. indicator — указатель) — измеритель, отображающий изменения какого-либо параметра контролируемого процесса или объекта в форме, приемлемой для восприятия человеком.

2Критерий (греч. kriterion — средство для суждения) — признак, на основании которого производится оценка, определение или классификация чего-либо; мерило оценки.

Результаты мониторинга процессов и оценки соответствия требованиям постоянного улучшения

Индикатор Требуемое Текущее Значение

значение значение за предыдущий период

Удовлетворенность научных сотрудников качеством научного 70 86 80

процесса, %

Объем НИР на единицу НПС, тыс. руб. 70 84 85,2

Публикационная активность (количество публикаций на 1 автора) 1,2 1,4 1,3

Уровень цитируемости высококачественных публикаций 2,4 2,8 2.7

Доля высококачественных публикаций организации, % 40 51,9 41,5

Количество научных защит на 100 НПС 5 6 5

Количество монографий на 100 НПС 8 4 3

Количество утвержденной научной продукции на 100 НПС 10 13 11

Количество научно-практических мероприятий

низованных через технопарк) на 100 НПС

Число докладов на международных конференциях на 100 НПС 10 17 16

Количество патентов на 100 НПС 1 2 1

Количество финансируемых договоров (грантов) на 100 НПС 1 0 0

• Наблюдается высокий уровень вовлеченности сотрудников организации в мировое научное сообщество и продуктивности по утвержденной научно-технической продукции.

• Есть признаки организационного развития (организация 4 научно-практических конференций через технопарк).

• Получила развитие патентная деятельность (зарегистрированные патенты, авторские свидетельства на изобретения).

• Прослеживается слабая связь с реальным сектором финансирования НИР (договора, гранты). Подготовлен аналитический материал по состоянию

СМК организации с рекомендациями по улучшению:

• использовать результаты мониторинга и измерения процессов организации для среднесрочного планирования госзадания на выполнение государственных работ в области научных исследований и разработках.

• оформить патентную заявку на научно-исследовательскую разработку "Программа для ЭВМ" в качестве нового объекта управления, интегрированного с оценкой результативности научной и инновационной деятельности организации.

Заключение

В результате пилотного исследования создан прототип информационной системы мониторинга для компьютерной обработки, обеспечивающей эффективное сопровождение, масштабирование, интеграцию первичных данных из разных подразделений организации по специальности "общественное здоровье и управление здравоохранением".

В качестве основных конструктивных и технико-эксплуатационных показателей системы мониторинга рассматриваются информационно-методическое обеспечение, модель мониторинга процессов и процедур измерения качества НИД, индикаторы процесса и критерии результата, оценки соответствия требованиям постоянного улучшения.

Эффективность системы мониторинга процессов и индикаторов СМК определяется воспроизводимостью, репрезентативностью выборки исследования, построе-

нием персонифицированной системы учета данных и оценки результативности научной медицинской деятельности на принципах системного подхода и единой технологии улучшения результатов.

ЛИТЕРАТУРА

1. Гохберг Л. М., Заиченко С. А., Китова Г. А., Кузнецова Т. Е. Научная политика: глобальный контекст и российская практика. М.: Издательский дом ВШЭ; 2011.

2. Ильменская Е. М. Инструментарий мониторинга и экспертизы результатов научной деятельности научных работников. Концепции. 2009; 1: 111—5.

3. Китова Г. А. Государственные учреждения науки: контуры предстоящей реформы. Форсайт. 2010; 3: 40—54.

4. Мохначева Ю. В., Харыбина Т. Н. Методика определения значимости научных публикаций. Библиосфера. 2008; 3: 28—33.

5. Отчет НИР по ГОСТу «Разработка и апробация модели Системы менеджмента качества научно-исследовательской деятельности в НИИ общественного здоровья и управления здравоохранением». 2011. (ФГНУ ЦИТиС. ЕФБД НИОКР. УДК 61(094), регистрационная карта № 01201066250. 2012). URL:http://www.rntd.citis.ru/.

6. Постановление Правительства РФ от 08.04.2009 № 312 "Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения". 2012. URL:zaki.ru/pagesnew.php?id=60064 (Дата обращения 6.03.2012).

7. СтародубовВ. И., КраковаН. Г., Цветкова Л. А., Маркусова В. А. Российская медицинская наука в зеркале международного и отечественного цитирования. Менеджер здравоохранения. 2011; 1: 6—20.

8. Федеральный закон "О передаче прав на единые технологии" от 25.12.2008 № 284-ФЗ (ред. от 01.07.2011). 2012. URL:http://tamognia.ru/doc_base/document.php?id=1572821 (Дата обращения 10.02.2011).

9. Шайбакова Л. Ф., Рожкова М. А., ред. Оценка эффективности научной, научно-технической и инновационной деятельности. Екатеринбург: Урал. гос. экон. ун-т, 2007.

10. Lehmann S., Jackson A. D., Lautrup B. E. Measures for measures. Nature. 2007; 444: 1003—4.

11. Taskova K., Stojanova D., Bohanec M., Dzeroski S. A qualitative decision-support model for evaluating researchers. Informatica. — Slovenia. 2007; 31 (4): 479—86.

Поступила 23.03.12