Подходы к определению результативности научно-исследовательской деятельности в России

ДИСКУССИИ

Ключевые слова:

финансовая наука, результативность, научные организации, научно-исследовательская деятельность, публикационная активность

И. Н. Рыкова, д. э. н., проф., зам. директора НИФИ,

руководитель Центра отраслевой экономики НИФИ

Подходы к определению результативности научно-исследовательской деятельности в России

Одна из основных целей развития России—усиление ее конкурентных позиций на глобальном рынке, причем на рынке не только товаров и услуг, но и научно-технических достижений. Недаром российское руководство нацеливает ведущие университеты страны на повышение их конкурентоспособности в сравнении с мировыми лидерами. На эти цели дополнительно направляется почти 9 млрд руб.1 Начались преобразования в структуре управления наукой (реформа РАН), но при этом еще не достигнут консенсус в определении как вектора развития научно-исследовательских организаций России, так и критериев оценки их достижений.

Вопросы оценки эффективности и результативности научной деятельности вузов и научно-исследовательских институтов (НИИ) достаточно бурно обсуждаются в академических кругах и приводят к дискуссиям прежде всего на уровне понятийного аппарата, точного определения терминов «эффективность» и «результативность» в научной деятельности. Попытаемся определить критерии результативности и разграничить подходы к ее оценке на уровне научных организаций и научноисследовательской деятельности.

РЕЗУЛЬТАТИВНОСТЬ ДЕЯТЕЛЬНОСТИ НАУЧНЫХ ОРГАНИЗАЦИЙ

Под этим термином зачастую понимается результативность процессов, выполняемых данными учреждениями, что отражено также в российских нормативно-правовых актах.

В 1993 г. при создании научных центров было определено, что статус государственного научного центра Российской Федерации (далее — ГНЦ РФ) может присваиваться

1 Распоряжение Правительства РФ от 26.08.2013 г № 1500-р «О распределении субсидий ведущим университетам России в целях повышения их конкурентоспособности среди ведущих вузов мира» / Официальный сайт компании «Консультант Плюс» (http://base.consultant.ru/cons/cgi/online.cgi?req=doc; base=LAW;n=151280).

расположенным на ее территории предприятиям, учреждениям и организациям науки, а также высшим учебным заведениям, имеющим уникальное опытно-экспериментальное оборудование и высококвалифицированные кадры, результаты научных исследований которых получили международное признание2. При этом были определены основные значения целевых индикаторов и показателей деятельности ГНЦ РФ (табл. 1).

Таблица 1

Целевые показатели деятельности ГНЦ РФ

№ п/п Наименование показателя Значение

1 Удельный вес исследований и разработок в общем объеме выполненных работ (%) Не менее 50

2 Участие в реализации приоритетных направлений развития науки, технологий и техники в РФ и критических технологий РФ, в том числе ФЦП (в % от общего объема выполненных работ) Не менее 70

3 Объем работ по исследованиям и разработкам, выполненных собственными силами, отнесенный к численности исследователей

4 Удельный вес средств, полученных по международным контрактам, или средств, засчитываемых в качестве взносов в соответствии с международными обязательствами РФ, в общем объеме внебюджетных средств (%) Не менее 10

5 Удельный вес исследователей в общей численности работников (%) Не менее 33

6 Количество высококвалифицированных специалистов (кандидатов и докторов наук), отнесенное к общей численности исследователей (%) Не менее 30

7 Удельный вес внебюджетных средств в общем объеме работ, выполненных собственными силами

8 Число публикаций в научно-технических изданиях, отнесенное к численности исследователей (за последние три года) На 10 % выше среднего по областям специализации ГНЦ РФ

9 Количество действующих охранных документов на результаты интеллектуальной деятельности, которым предоставляется правовая охрана

Источник: Указ Президента РФ от22.06.1993 № 939 (ред. от25.02.2003) «О государственных научных центрах Российской Федерации»(http://base.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=41142).

В 2009 г. были приняты нормативные документы, определяющие методические подходы к оценке результативности научных организаций3, которые подведомственны федеральным органам исполнительной власти (далее — ФОИВ), и государственных академий наук. Результаты оценки дают ориентиры ФОИВ для определения объемов бюджетного финансирования, формирования тематического плана НИР и оптимизации сети научных организаций, при этом определены и сроки проверки — один раз в пять лет. На основе показателей результативности деятельности научная организация может быть отнесена к одной из следующих категорий: 1-я — организации — лидеры; 2-я — стабильные организации, демонстрирующие удовлетворительную результативность; 3-я — организации, утратившие научный профиль и перспективы развития.

Ряд требований к научной деятельности предъявляется также к научно-образовательным организациям:

— осуществление фундаментальных и (или) прикладных исследований не менее чем по 1-4 отраслям (в зависимости от типа учреждения);

2 Указ Президента РФ от 22.06.1993 № 939 (ред. от 25.02.2003) «О государственных научных центрах Российской Федерации»/ Официальный сайт компании «Консультант Плюс»(http://base.consultant.ru/ cons/cgi/online. cgi?req=doc;base=LAW;n=41142).

3 Постановление Правительства Российской Федерации от 8 апреля 2009 г № 312 «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытноконструкторские и технологические работы гражданского назначения» / Официальный сайт компании «Консультант Плюс»(http://base.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=86670).

— среднегодовой объем финансирования — не менее 1,5-3 млн руб.;

— наличие результатов интеллектуальной деятельности в выполненных научных исследованиях;

— количество научных публикаций в ведущих российских и зарубежных журналах в расчете на 100 человек научно-педагогического состава — не менее пяти в год, и пр.4

В рамках формирования ведущих научных школ5 в России определены их критерии. Так, ведущей научной школой Российской Федерации считается сложившийся коллектив исследователей различных возрастных групп и научной квалификации, связанных проведением исследований по общему научному направлению и объединенных совместной научной деятельностью. Такой коллектив должен осуществлять подготовку научных кадров, иметь в своем составе руководителя, а также молодых (до 35 лет) исследователей.

Государственной программой развития науки и технологий определен ряд мероприятий, направленных на поддержку ведущих научных школ:

— представление в Правительство РФ проекта нормативного акта, устанавливающего порядок перехода специалистов, занимающих средние и высшие должности в научных и образовательных организациях, на должности научных консультантов, советников, научных экспертов с целью обеспечения ротации кадров с сохранением их участия в научной и образовательной деятельности. Срок исполнения — 31 сентября 2013 г.:

— утверждение среднесрочных (пятилетних) программ развития научных организаций и вузов федерального уровня. Срок исполнения — 31 декабря 2013 г.;

— утверждение перечня базовых университетов и научных организаций для последующего развертывания сети проектных исследовательских лабораторий под руководством ведущих ученых. Срок исполнения — 30 июня 2014 г.;

— представление в Правительство РФ предложений о совершенствовании финансирования научных организаций и коллективов государственных академий наук. Срок исполнения — 30 сентября 2014 г.;

— представление в Правительство РФ проекта порядка государственной поддержки успешных научных и научно-исследовательских образовательных структур. Срок исполнения —

30 сентября 2014 г.;

— утверждение изменений в действующие нормативные регламенты проведения регулярных аттестаций (с привлечением внешней экспертизы) в целях замещения рабочих мест более эффективными научными сотрудниками. Срок исполнения — 31 декабря 2014 г.;

— представление в Правительство РФ проектов нормативных правовых актов, обеспечивающих создание в России вневедомственной системы оценки научных организаций. Срок исполнения — 31 декабря 2014 г.;

— проведение оценки результативности и эффективности исполнения государственных заданий образовательными учреждениями высшего профессионального образования в части проведения фундаментальных научных исследований за 2014 г. Срок исполнения — 31 марта 2015 г.;

— введение в эксплуатацию автоматизированной информационно-аналитической системы оценки результативности деятельности научных организаций. Срок исполнения — 30 июня

2015 г.;

— утверждение актуализированного перечня тематических направлений фундаментальных научных исследований в рамках Программы фундаментальных научных исследований в Российской Федерации на долгосрочный период (2013-2020 гг.). Срок исполнения —

31 декабря 2015 г.;

— институциональное развитие научно-исследовательского сектора, объем финансирования за счет средств федерального бюджета на 2013-2015 гг. — 45 761 781 тыс. руб. Срок исполнения — 31 декабря 2020 г.6

4 Приказ Рособрнадзора от 25.10.2011 № 2267 «Об утверждении критериев показателей, необходимых для определения типа и вида образовательного учреждения высшего профессионального и среднего образования» / Официальный сайт компании «Консультант Плюс» (http://base.consultant.ru/cons/cgi/ online. cgi?req=doc;base=LAW;n=124734).

5 Постановление Правительства РФ от 27.04.2005 № 260 (ред. от 01.11.2012) «О мерах по государственной поддержке молодых российских ученых — кандидатов наук и докторов наук и ведущих научных школ Российской Федерации» / Официальный сайт компании «Консультант Плюс» (http://base. consultant, ru/ cons/cgi/online.cgi?req=doc;base=LAW;n=137336).

6 Распоряжение Правительства РФ от 22.07.2013 № 1287-р «Обутверждении плана реализации государственной программы Российской Федерации "Развитие науки и технологий" на 2013 год и на плановый период 2014 и 2015 годов» / Официальный сайт компании «Консультант Плюс»

С учетом приоритетности развития науки и технологий на государственном уровне, в рамках данной статьи выделены следующие направления оценки результативности:

— научный потенциал и эффективность научных исследований;

— вовлеченность научной организации в национальное и мировое научнообразовательное сообщество;

— коммерциализация и прикладное значение результатов исследований;

— кадровая обеспеченность научной организации.

Юридические лица могут узнать об итогах оценки результативности деятельности научных организаций на основании запроса в Рособрнадзор бесплатно, алгоритм получения приведен на Едином портале государственных услуг7. В табл. 2 приведены показатели оценки потенциала и эффективности исследований, установленные согласно утвержденной методике.

Таблица 2

Показатели оценки научного потенциала и эффективности научных исследований

Группы Показатели

Показатели общей характе- ристики научного потенциала Удельный вес внутренних затрат на исследования и разработки в общем объеме выполненных научной организацией работ, оказанных услуг

Внутренние затраты на исследования и разработки, отнесенные к численности исследователей

Число защищенных за период оценки работниками научной организации докторских и кандидатских диссертаций, отнесенное к численности исследователей

Перечень государственных и международных премий, призов, наград, почетных званий, полученных научной организацией или отдельными ее работниками за период оценки

Публика- ционная активность Число публикаций работников научной организации в РИНЦ, отнесенное к численности исследователей

Цитируемость работников научной организации в РИНЦ

Число публикаций работников научной организации в Web of Science, отнесенное к численности исследователей

Цитируемость работников научной организации в Web of Science, отнесенная к численности исследователей

Импакт-фактор публикаций работников научной организации в Web of Science

Число опубликованных докладов, тезисов докладов, представленных работниками научной организации на крупных конференциях, симпозиумах и чтениях (более 150 участников), а также на конференциях, организованных в соответствии с планами ФОИВ, государственных академий наук или на средства российских и международных фондов (включая РФФИ и РГНФ), отнесенное к численности исследователей

Число монографий и глав в монографиях, учебников и глав в учебниках, отнесенное к численности исследователей

Объекты интеллек- туальной собствен- ности Число охраняемых объектов интеллектуальной собственности, принадлежащих научной организации, отнесенное к численности исследователей

Число отечественных и зарубежных патентов (свидетельств) на объекты интеллектуальной собственности, полученных научной организацией и ее работниками, отнесенное к численности исследователей

Примечание: РИНЦ — Российский индекс научного цитирования.

Источник: Приказ Министерства образования и науки Российской Федерации от 14.10.2009 г № 406 «Об утверждении типового положения о Комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения»(http://base.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=97103).

7 См.: Предоставление сведений об итогах оценки результативности деятельности научных организаций / Портал государственных услуг Российской Федерации (http://www.gosuslugi.ru/pgu/service/ 10001764147_.html#_description).

Параллельно проходила разработка методик оценки результативности подведомственных ФОИВ научных организаций. В настоящее время ФОИВ разработаны и утверждены 22 методики8. Но данные показатели не единичны. Так, рядом министерств и ведомств разрабатываются перечни целевых показателей результативности деятельности.

Группы целевых показателей эффективности (результативности) работы НИИ, подведомственных ФОИВ

Источник: составлено автором.

Большинство ФОИВ уделяют внимание показателям, характеризующим качество и сроки исполнения государственного задания на научно-исследовательскую работу, качество составления тематического плана, а также соответствие приоритетным направлениям деятельности и внедрение результатов НИР в практику (табл. 3).

Таблица 3

Целевые показатели результативности научноисследовательской деятельности институтов, подведомственных ФОИВ

Показатели Целевые значения/ Способ измерения Организации

Государственное задание и научно-исследовательская деятельность

Количество выполненных научных тем, в т. ч. по этапам (по отношению к числу тем в плане НИР) % Минприроды

Доля научно-исследовательских (научно-технических, экспериментальных) работ, выполненных собственными силами, в общем объеме выполненных учреждением работ Не менее 30 % Минобрнауки

Доля научно-исследовательских (научно-технических, экспериментальных) работ Не менее 40 % Минобрнауки

Выполнение государственного задания на разработку научно-технической продукции (фундаментальные, прикладные и экспериментальные научные исследования, экспертиза инновационных проектов) Количество тем Росрезерв, Росстат, Минтруд

Выполнение государственного задания на проведение научноисследовательских работ (соответствие плана НИР учреждения актуальным задачам развития отрасли и приоритетным направлениям деятельности министерства) Не менее 70 % НИР в год Минкультуры, Минэконом- развития, Рособрнадзор, Росстат

8 Органы власти, разработавшие методики: Минтруд, Ростехнадзор, Госкорпорация «Росатом», ФМБА, Роснедра, Росгидромет, Росжелдор, Минэнерго, Росархив, МЧС, Росрыболовство, Росстат, Росводресурсы, Минобрнауки, Россвязь, Минпромторг, Минэкономразвития, Минспорт, Минприроды, Рособрнадзор, Минсельхоз, Минкультуры.

Показатели Целевые значения/ Способ измерения Организации

Выполнение научных исследований по научно-техническим программам Количество исследований Рослесхоз

Выполнение научных исследований и разработок, финансируемых из средств хозяйствующих субъектов Количество исследований Рослесхоз

Выполнение НИР в рамках фундаментальных научных исследований Количество НИР Рослесхоз

Выполнение научных исследований по грантам Количество исследований Рослесхоз

Доля работ, выполненных учреждением в рамках реализации приоритетных направлений развития науки, технологий и техники, в общем объеме выполненных учреждением работ Не менее 10 % Минобрнауки

Внедренные методики, технологии, нормативные и иные разработки (соответствующие плановым темам НИР) Количество работ Минприроды

Экспертные заключения, подготовленные по запросам и поручениям министерства (по сравнению с предыдущим отчетным периодом) Количество заключений Минприроды, Минэконом- развития

Участие в реализации федеральных целевых программ Да/нет Минобрнауки

Наличие грантов, образовательных и научных проектов, в т. ч. в рамках федеральных и региональных целевых программ, реализуемых учреждением Количество грантов и проектов Минтруд

Участие в конференциях, семинарах

Количество сотрудников учреждения, принявших участие в научных конференциях и совещаниях Чел. Минприроды, Минкультуры

Участие сотрудников в работе Центрального дома ученых РАН, научных конференциях и семинарах Не менее 20 % от общего числа сотрудников Росстат

Организация и проведение всероссийских и международных научнопрактических мероприятий Количество Минтруд

Проведение методических семинаров/совещаний Количество Минэконом- развития

Участие в выставочной деятельности, конференциях, форумах и иных подобных мероприятиях Количество мероприятий Минобрнауки

Экспонаты, представленные на международных выставках и в России Количество экспонатов Рослесхоз

Источник: составлено автором на основе нормативно-правовых актов указанных в таблице ФОИВ.

Ряд организаций (Росстат, Минкультуры, Минтруд) имеет балльную систему оценки и формы отчетности, которая ранжируется в зависимости от полученного значения, большинство методических указаний содержат набор показателей, и не дается методика их оценки и порядок ранжирования. По нашему мнению, развитие научно-исследовательских учреждений и выполнение ими стратегических задач должно напрямую увязываться с целевыми индикаторами и показателями, заложенными в государственных программах. Таким образом, у ряда ФОИВ наблюдается система показателей, отличающихся от целевых индикаторов и показателей, заложенных в государственные программы и ФЦП.

Кроме того, в системе показателей результативности ряда НИИ предусмотрены такие блоки, как «кадровый потенциал» (укомплектованность научными кадрами, возраст и квалификация сотрудников и т. д.), «финансы» (объем финансирования, зарплата), «инфраструктура учреждения» (наличие аспирантуры и докторантуры, деятельность Ученого совета). Представляется, что большинство таких показателей не имеет прямого отношения к оценке результативности. Так, по мнению проректора по науке и международному сотрудничеству Сибирского федерального университета С. В. Верховца, показатели кадрового потенциала, а именно наличие штатных научных сотрудников

в вузе, — архаичный критерий9, и штат научных сотрудников за счет бюджета или вне его университетом создается только тогда, когда четко понятно, что определенная работа будет выполняться в течение нескольких лет.

Важно отметить, что с 2012 г. в основу рейтинга вузов России, по методике «Эксперт-РА», входят следующие научные достижения:

— количество публикаций на научно-педагогического работника с 2009 г. (расчеты на основании наукометрических показателей);

— количество цитирований за 2005-2012 гг. на одну статью с 2009 г. (расчеты на основании наукометрических показателей);

— количество цитирований за 2005-2012 гг. на научно-педагогических работников с 2009 г. (расчеты на основании наукометрических показателей);

— оценка представителями академического, научного и инновационного сообщества популярности научных публикаций сотрудников университета и успешности коммерциализации разработок университетов (данные опроса академических кругов и научного сообщества)10.

Если первые три показателя подразумевают количественную оценку (табл. 4), то последний носит субъективный характер и зависит от уровня компетентности экспертов.

Таблица 4

Рейтинг вузов по уровню научно-исследовательской активности от «РА-Эксперт», сентябрь 2013 г.

Вузы Данные РИНЦ

Коли- чество публи- каций Количество публикаций на одного автора* Коли- чество цитиро- ваний Количество цитирований на одного автора** Индекс Хирша

МГУ им. М. В. Ломоносова 114 145 6,82 410 719 24,52 156

Санкт-Петербургский государственный университет 39 703 5,49 113 921 15,75 95

Национальный исследовательский ядерный университет МИФИ 11 334 5,46 45 649 21,98 72

Национальный исследовательский Томский политехнический университет 17 128 7,59 16 441 7,28 33

Московский физико-технический институт (национальный исследовательский университет) 6149 4,51 21 986 16,12 59

Южный федеральный университет 21 537 7,32 22 620 7,69 45

Санкт-Петербургский государственный политехнический университет 13 345 4,44 27 287 9,07 57

Новосибирский национальный исследовательский государственный университет 10 104 3,68 29 925 10,90 52

Казанский (Приволжский) федеральный университет 21 474 6,16 29 074 8,35 51

Сибирский федеральный университет 19 326 8,66 28 424 12,74 51

Уральский федеральный университет им. первого Президента России Б. Н. Ельцина 19 395 6,86 25 640 9,07 42

Национальный исследовательский технологический университет «МИСиС» 8363 7,83 15 289 14,32 40

Новосибирский государственный технический университет 6217 5,69 4931 4,52 18

Московский государственный технический университет им. Н. Э. Баумана 12 914 5,57 7682 3,32 21

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики 7724 6,01 9502 7,39 34

9 См.: Экспресс-форум: научно-исследовательская работа вузов/ Аккредитация в образовании (http:// www.akvobr. ru/ekspress_forum_nir_vuzov.html).

10 См.: Методологические подходы составления рейтинга вузов России/ Эксперт РА (http://raexpert.ru/ rankings/vuz/vuz_rus_2013/method/).

Вузы Данные РИНЦ

Коли- чество публи- каций Количество публикаций на одного автора* Коли- чество цитиро- ваний Количество цитирований на одного автора** Индекс Хирша

Национальный исследовательский Томский государственный университет 17 499 5,80 23 426 7,76 45

Национальный исследовательский университет «МЭИ» 8386 6,08 8064 5,84 30

Нижегородский государственный университет им. Н. И. Лобачевского (национальный исследовательский университет) 15 165 6,57 19 113 8,28 40

Национальный исследовательский университет «Высшая школа экономики» 14 613 9,21 13 194 8,32 30

Томский государственный университет систем управления и радиоэлектроники (ТУСУР) 2858 5,31 2553 4,75 18

* Определяется как отношение количества публикаций к количеству авторов, приведенных в карточке организации, что расходится с показателем РИНЦ — среднее число публикаций в расчете на одного автора за последние пять лет

** Определяется как отношение количества цитирований к количеству авторов, приведенных в карточке организации, что расходится с показателем РИНЦ — среднее число цитирований в расчете на одного автора за последние пять лет

Примечание: Индекс Хирша вычисляется на основе распределения цитирований работ автора и имеет значение N, если автор имеет N статей, на каждую из которых сослались как минимум N раз, а остальные его статьи имеют число цитирований не более N.

Источник: составлено автором по материалам РИНЦ (http://elibrary.ru/project_risc.asp).

Следовательно, в зависимости от выбора того или иного показателя, рейтинг может меняться в ту или иную сторону, т. к. количество авторов в РИНЦ указывается, а количество научно-педагогических работников при этом не отражается, что снижает открытость данных и корректность выборки в рейтингах.

РЕЗУЛЬТАТИВНОСТЬ НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ

В условиях значительного роста расходов федерального бюджета на науку существенной становится оценка качества научно-исследовательских работ, выполняемых в рамках субсидии на государственное задание НИИ и образовательными организациями, а также создание открытой и прозрачной системы экспертной оценки.

Рассмотренные выше методики не включают показатели конкурентоспособности. В то же время некоторые авторы выделяют критерии конкурентоспособности научно-исследовательской работы, а под научной продукцией понимают монографии, сборники научных трудов, учебные пособия; статьи в зарубежных изданиях, ведущих рецензируемых научных журналах, сборниках и других изданиях; тезисы, патенты, зарегистрированные программы для ЭВМ, базы данных.

В качестве основных блоков эффективности научных организаций РАН выделены ключевые блоки, соответствующие Постановлению Правительства РФ № 312: научный потенциал, международный потенциал, экспертная деятельность, коммерциализация результатов исследований и разработок, кадровый потенциал, инфраструктура и ресурсная обеспеченность, финансовая деятельность11.

Основная дискуссия ведется вокруг измерения результата научной и (или) научнотехнической деятельности, особенно в финансовой науке. Результат научной деятельности — объективированная и зафиксированная на любых носителях информация, содержащая новые научные знания (открытия), новые решения прикладных задач

11 См.: Постановление Президиума РАН от 12.10.2010 № 201 «Обутверждении Положения о комиссии по оценке результативности деятельности научных организаций Российской академии наук и Методики оценки результативности деятельности научных организаций Российской академии наук»/ РАН (http:// www.ras.ru/presidium/documents/directions.aspx?ID=9767952e-4821-4510-89d6-5f678677066d).

в области науки и техники, обладающая новизной, практической целесообразностью и ценностью применения.

Некоторые авторы при разработке подходов к оценке эффективности научной деятельности исходят из теоретических положений праксеологии, применительно к обозначенной проблеме: эффективность науки — это степень реализации научных целей по сравнению с заданными или возможными; цели научной деятельности сами выполняют роль критериев эффективности исследовательского процесса, они являются тем эталоном, по которому измеряется эффективность12.

Методический инструментарий экспертной оценки научно-исследовательских работ как результата деятельности на основе скоринга нами предлагался в рамках НИР для Минобрнауки России13. Он включал в себя следующие направления: обобщение и анализ международного опыта, обобщение и анализ российской практики, концептуальное предложение новых подходов и систем, разработка методики внедрения предлагаемых нововведений; организационная, методическая оценка экспериментов; подготовка концепции или проекта нормативного правового акта и подготовка стандартов и типовой документации. Данный подход коррелирует с рядом целевых показателей эффективности подведомственных НИИ, но требует уточнения в рамках фундаментальных и прикладных научных исследований.

Для оценки научно-исследовательских работ (в т. ч. их результативности) принципиально, чтобы они имели новизну, а также концептуальные предложения новых подходов:

— все разделы НИР, концепции, содержащие новации, должны содержать в тексте указание на взаимосвязь с другими подобными разделами;

— содержание должно иметь четкую и логичную структуру, содержательные разделы и подразделы для каждой новации и указания на механизм их реализации;

— раздел «Анализ» должен содержать короткую информацию об известном опыте реализации близких по смыслу концепций;

— содержательные разделы должны сопровождаться визуальными средствами представления предлагаемых новаций (рисунки, диаграммы, таблицы) — не менее одного на каждую плюс одно с указанием общей картины изменений;

— степень готовности к реализации предложений в качестве методики определяется на основе наличия главных направлений и мероприятий реализации концепции, а также детального плана;

— новизна исследования, применительно к гуманитарным наукам, не может содержаться только в результатах анализа российского и зарубежного опыта — они как минимум должны быть адаптированы к российским условиям (правовым, экономическим, социальным).

Необходимо отметить повышение интереса к цитируемости российских ученых и введение данного показателя в ключевые критерии оценки результативности и эффективности научной деятельности14. Оценка на основе индекса цитируемости появляется и в федеральных ведомствах, агентствах и других организациях, например для научных организаций Минтруда, Роспотребнадзора, Рослесхоза, Ростехнадзора, Роснедр и ряда других (табл. 5).

12 См.: Шаршов И. А., Макарова Л. Н. Научная деятельность в контексте модернизации исследовательской инфраструктуры университета: проблема оценивания // Социально-экономические явления и процессы. — 2012. — № 7-8. — С. 225-230.

13 См.: Научно-методическое и правовое обеспечение системы аттестации научных кадров высшей квалификации в условиях модернизации системы образования и международной образовательной интеграции.

3 этап: «Подготовка проектов нормативных правовых актов, регламентирующих деятельность системы аттестации кадров высшей научной квалификации: проект положения о советах по защите докторских и кандидатских диссертаций, положения об экспертных советах Высшей аттестационной комиссии, положения о порядке присуждения ученых степеней и званий»/ Науч. рук. Рыкова И. Н. — М.: Минобрнауки России, 2011.

14 См.: Рыкова И. Н. Публикационная активность образовательных и научных организаций// Экономика: теория и практика. — 2012. — № 4. — С 27-35.

Таблица 5

Целевые показатели публикационной активности НИИ, подведомственных ФОИВ

Показатели Целевые значения/ Способ измерения Организации

Публикации

Количество научных статей, опубликованных в научных журналах и тематических сборниках (по отношению к числу тем в плане НИР) % Минприроды

Публикации статей в научных журналах, получение патентов, монографий Количество Росрезерв, Минобрнауки, Рослесхоз

Количество изданных монографий и сборников научных статей (по отношению к запланированному количеству в плане НИР) % Минприроды

Публикация монографий (в зарубежных и российских издательствах) Количество Рослесхоз

Выпуск учебников и учебных пособий с грифом федеральных органов власти Количество Рослесхоз

Публикация результатов научных исследований отчетного года 100 % результатов Минкультуры

Статьи, опубликованные в журналах, которые рекомендованы ВАК В количестве не менее 10 Минкультуры

Доля публикаций в рецензируемых российских и зарубежных журналах В расчете на одного исследователя — 0,3 публикации в год Минтруд

Доля научных публикаций в изданиях, индексируемых в РИНЦ Не менее 0,3 % Минкультуры

Доля научных публикаций, цитируемых в WoS (Web of Science) Не менее 0,03 % Минкультуры

Источник: составлено автором на основе нормативно-правовых актов указанных в таблице ФОИВ.

Результативность научной деятельности, измеряемая через публикационную активность, отражена также в государственной программе Российской Федерации «Развитие науки и технологий» и включает следующие целевые показатели:

— удельный вес публикаций российских авторов в общем числе публикаций в мировых научных журналах, индексируемых в базе данных Web of Science;

— число публикаций российских авторов в научных журналах, индексируемых в базе данных Scopus в расчете на 100 исследователей;

— число цитирований в расчете на одну публикацию российских исследователей в научных журналах, индексируемых в базе данных Web of Science;

— удельный вес публикаций в соавторстве с зарубежными учеными в общем числе публикаций российских авторов в научных журналах, индексируемых в базе данных Scopus15.

В США и некоторых других странах при приеме ученого на работу или при предоставлении ему финансирования используются показатели цитируемости его работ, в частности индекс Хирша, и импакт-индексы журналов, в которых публиковались эти работы16.

Проведенный анализ публикационной активности научно-исследовательских организаций определяет в целом по стране следующие организации-лидеры: МГУ им. М. В. Ломоносова, Объединенный институт ядерных исследований, Санкт-Петербургский государственный университет, Институт теоретической и экспериментальной физики им. А. И. Алиханова и др.

15 См. : Распоряжение Правительства Российской Федерации от 20.12.2012 № 2433-р «Об утверждении государственной программы Российской Федерации "Развитие науки и технологий'»/ Официальный сайт компании «Консультант Плюс» (http://bвse.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=139536).

16 См.: Иванова Е. А. Использование показателей публикационной активности ученых в практике управления наукой // Социология науки и технологий. — 2011. — Т. 2. — № 4.

ФИНАНСОВАЯ НАУКА НА СОВРЕМЕННОМ ЭТАПЕ: КАК ОЦЕНИТЬ РЕЗУЛЬТАТ?

Финансовая наука — часть общественных наук. Согласно классификатору17, к общественным наукам отнесены экономические науки, кроме экономики сельского хозяйства. Таким образом, возникает сложность с оценкой результативности и эффективности систематизированной российской финансовой науки. По нашему мнению, развитие финансовой науки следует измерять, как и ранее в истории, через труды и публикации, а также продукцию научно-исследовательской деятельности. Существующая система РИНЦ не дает показатели отдельно по финансовой науке. Так, в поисковом запросе по направлению «Экономика. Экономические науки» находится 843 715 публикаций, что составляет 4,73 % российских работ, из которых на запрос термина «Финансы» приходится 11 789 публикаций18.

Таким образом, важный вопрос — как определить публикационную активность и выделить научные и образовательные организации, которые составляют основу финансовой науки, а также научные школы, в рамках которых исследуются данные проблемы. Интерес представляют научно-исследовательские и образовательные организации, проводящие исследования в области экономических наук. Для ранжирования выберем некоторые из них (табл. 6).

Таблица 6

Публикационная активность научно-исследовательских и образовательных организаций, проводящих исследования в области экономики и финансов, в 2013 г.

Вузы и НИИ Число публи- каций в РИНЦ Число публикаций, выполненных в сотрудничестве с другими организациями Число само- цитиро- ваний Общее число цитиро- ваний Среднее число публикаций на одного автора

НИИ

ЦЭМИ РАН 1457 180 (26,4 %) 157 (19,8 %) 3575 4,11

Институт экономики РАН 3077 119 (6,2 %) 102 (8,0 %) 3205 10,07

Институт мировой экономики и международных отношений РАН 1702 45 (5,3 %) 60 (7,7 %) 2481 5,77

Институт экономики и организации промышленного производства СО РАН 1949 321 (28,6 %) 302 (33,1 %) 2396 5,71

Институт экономики УрО РАН 1886 180 (15,3 %) 216 (36,2 %) 1840 5,43

Вузы

Российская академия народного хозяйства и государственной службы при Президенте РФ 17 869 615 (5,3 %) 656 (21,7 %) 7238 7,49

Высшая школа экономики 14 322 986 (11,2 %) 1113 (25,7 %) 12 801 7,15

Финансовый университет при Правительстве РФ 13 301 544 (7,0 %) 325 (20,5 %) 4199 7,00

Санкт-Петербургский государственный экономический университет 11 135 332 (4,6 %) 281 (23,6 %) 3992 6,51

Российский экономический университет им. Г. В. Плеханова 11 600 294 (25,1 %) 408 (6,1 %) 3828 9,40

Государственный университет управления 6167 229 (6,9 %) 61 (10 %) 1643 7,72

Московский государственный университет экономики, статистики и информатики 3627 307 (14,3 %) 125 (29,3 %) 1854 6,75

Примечание: в выборке вузов и НИИ представлены неполные данные.

Источник: составлено автором по материалам РИНЦ (http://elibrary.ru/project_risc.asp).

Если провести ранжирование показателей цитируемости указанных организаций, то мы получим следующий рейтинг (табл. 7).

17 Номенклатура специальностей научных работников, утвержденная приказом Минобрнауки России № 59 от 25.02.2009/ Сайт ВАК (http://vak.ed.gov.ru/ru/help_desk/).

18 Данные на август 2013 г

Таблица 7

Цитируемость публикаций научных и образовательных организаций в 2013 г.

Организации Число цитирований на одну публикацию Организации Число цитирований на одного автора

ЦЭМИ РАН 1,16 Институт экономики РАН 6,67

Институт мировой экономики и международных отношений РАН 0,93 Институт мировой экономики и международных отношений РАН 5,35

Институт экономики и организации промышленного производства СО РАН 0,81 ЦЭМИ РАН 4,77

Институт экономики РАН 0,66 Институт экономики и организации промышленного производства СО РАН 4,63

Институт экономики УрО РАН 0,51 Высшая школа экономики 3,52

Высшая школа экономики 0,49 Институт экономики УрО РАН 2,75

Российская академия народного хозяйства и государственной службы при Президенте РФ 0,26 Российская академия народного хозяйства и государственной службы при Президенте РФ 1,95

Финансовый университет при Правительстве РФ 0,20 Российский экономический университет им. Г. В. Плеханова 1,64

Московский государственный университет экономики, статистики и информатики 0,20 Финансовый университет при Правительстве РФ 1,43

Государственный университет управления 0,18 Государственный университет управления 1,41

Санкт-Петербургский государственный экономический университет 0,17 Московский государственный университет экономики, статистики и информатики 1,34

Российский экономический университет им. Г. В. Плеханова 0,17 Санкт-Петербургский государственный экономический университет 1,08

Источник: составлено автором по материалам РИНЦ (http://elibrary.ru/project_risc.asp).

С целью определения ведущих российских ученых по отдельным направлениям экономической науки, мы попытались выявить авторов — лидеров по цитируемости на одну статью и проанализировать тематику статей-лидеров.

Таблица 8

Публикационная активность по области знаний «Общественные науки: экономика» научных и образовательных организаций в 2013 г.

Наименование организации Доля публикаций по общественным наукам, % Доля публикаций по тематике «Экономика», % Лидер организации, имеющий максимальную цитируемость на одну статью

2010 2011 2013

НИИ

Центральный экономико-математический институт РАН 75,0 67,44 68,11 Черкасский В. Б.*

Институт экономики РАН 84,97 84,62 71,81 Дерябина М.**

Институт мировой экономики и международных отношений РАН 87,01 87,93 42,07 Холодковский К. Г***

Институт экономики и организации промышленного производства СО РАН 80,57 82,5 75,13 Ларина Н. И., Макаев А. И.

Институт экономики УрО РАН 90,96 91,71 84,48 Попов Е., Симонова В.

Вузы

Российская академия народного хозяйства и государственной службы при Президенте РФ 91,54 89,53 28,74 Мау В.

Высшая школа экономики 68,77 68,80 35,11 Королева Н.

Финансовый университет при Правительстве РФ 83,13 83,38 62,99 Гельман В. Я.

Наименование организации Доля публикаций по общественным наукам, % Доля публикаций по тематике «Экономика», % Лидер организации, имеющий максимальную цитируемость на одну статью

2010 2011 2013

Санкт-Петербургский государственный экономический университет 83,44 82,61 68,74 Свободина Л.

Российский экономический университет им. Г. В. Плеханова 75,46 70,71 63,06 Сахаров И. Ю.

Государственный университет управления 82,74 76,16 35,45 Леонтьев Б. Б.

Московский государственный университет экономики, статистики и информатики 79,59 72,12 54,01 Семенов И. Н.

* Статья в соавторстве с зарубежными коллегами на английском языке. При разработке методов автоматического дифференцирования функций многих переменных, заданных формулами, был получен результат, опубликованный в Докладах АН СССР (К. В. Ким, Ю. Е. Нестеров, Б. В. Черкасский «О трудоемкости вычисления градиента») и показывающий, что трудоемкость вычисления всех частных производных равна трудоемкости вычисления функции.

** Тематика «Государственно-частное партнерство».

*** Тематика «Политическая система современной России».

Источник: составлено автором по материалам РИНЦ (http://elibrary.ru/project_risc.asp).

Анализ лидеров организаций по цитируемости не позволил выделить ключевых ученых в области экономической науки и финансов, а дает лишь высокую долю публикаций в области общественных наук: Институт экономики УрО РАН (91,71 %), РАНХиГС (89,53 %), ИМЭМО РАН (87,93 %). Это характеризует специализацию указанных организаций именно в области общественных наук, а также их научный задел в области экономики. Цитируемость работ, связанных с понятием «финансы», показывает следующие результаты (табл. 9).

Таблица 9

Максимальная цитируемость в РИНЦ работ, имеющих ключевое слово «финансы», в 2013 г.

Наименование публикации Количество цитирований в РИНЦ Год издания Организация

Мандельброт Б. Фракталы, случай и финансы (1959-1997). Пер. с фр. В. В. Шуликовской, под ред. А. Р. Логунова. Монография 47 2004

Петров И. В. Торговые правоотношения и формы расчетов древней Руси. Монография 42 2011 Санкт-Петербургский университет управления и экономики

Зелизер В. Социальное значение денег. Монография. Пер. с англ., под науч. ред. В. В. Радаева 39 2004 —

Буторина О. В. Международные валюты. Монография 31 2003 Московский государственный институт международных отношений

Барулин С. В., Ковалева Т. М. Сущность финансов: новые реалии («Финансы и кредит») 30 2004 Саратовский социальноэкономический университет Самарская государственная экономическая академия

Недосекин А. О. Методологические основы моделирования финансовой деятельности с использованием нечетко-множественных описаний. Дис. д-ра экон. наук 29 2003 Санкт-Петербург

Гамукин В. Новации бюджетного процесса: бюджетирование, ориентированное на результат («Вопросы экономики») 22 2005 Тюменский государственный университет

Юлдашев Р. Т., Тронин Ю. Н. Российское страхование. Монография 21 2000 Московский государственный институт международных отношений

Катасонов В. Ю., Морозов Д. С., Петров М. В. Проектное финансирование: мировой опыт и перспективы для России. Монография 20 2001 Московский государственный институт международных отношений

Источник: составлено автором по материалам РИНЦ (http://elibrary.ru/project_risc.asp).

На основе такого ранжирования достаточно сложно сделать выводы и определить наличие научного задела. Требуется создание системы публикационной активности и выделение критериев научной школы в области финансов. При этом только один вуз попал в данный рейтинг три раза. Особо следует отметить, что переводная литература также попадает в показатели цитируемости, в результате высокая цитируемость не отражает действительной важности темы и научной квалификации автора.

Кроме того, в Научной электронной библиотеке недостаточно представлены многие ведущие ученые-финансисты советского периода. Так, об одном из основателей научной школы финансов Н. Н. Ровинском19 всего две публикации.

Таким образом, анализ ситуации с цитируемостью в России позволяет предположить, что оценка качества научно-исследовательских работ и цитируемости находится в ограниченном временном интервале периода развития РИНЦ и не способствует глубокому исследованию работ ученых-финансистов прошлых периодов. Это значительно снижает уровень научно-исследовательских работ и не позволяет дать оценку научным школам в области финансов.

Из этого следует, что на современном этапе организации, имеющие научные школы в области финансов, должны уделять повышенное внимание созданию системы цитируемости работ ученых-финансистов. Определенную положительную роль в становлении финансовой науки играет Минфин России, имеющий высокую публикационную активность (Индекс Хирша — 7).

Ключевой фактор для научной школы — наличие лидера идей, которые должны быть реализованы в научно-исследовательской и экспертно-аналитической деятельности, формировать имидж школы, а также могут быть востребованы не только в России, но и за рубежом. Одним из таких показателей может стать цитирование по ключевым словам в результатах научной деятельности. Анализ авторов российских публикаций по направлению «Экономика. Экономические науки», по нашему мнению, лишь фрагментарно показывает наличие таких лидеров в финансовой науке (табл. 10).

Таблица 10

Авторы, имеющие высокие показатели публикационной активности (Индекс Хирша), в том числе и в области финансовой науки

Количество цитирований по ключевым словам

Ф. И. О. автора Организация Индекс Хирша Межбюд- жетные отношения Инвес- тиции Бюджет Налоги Пенси- онная система

Радыгин А. Д. Институт экономической политики им. Е. Т. Гайдара 15 — 18 — —

Хрусталев Е. Ю. ЦЭМИ РАН 12 — 30 — —

Швецов А. Н. Институт системного анализа РАН 11 23 — — —

Узяков М. Н. Институт народнохозяйственного прогнозирования РАН 10 — 6 — —

Гурвич Е. Т. Экономическая экспертная группа 10 — 7 7 13 53

Петров Ю. А. ЦЭМИ РАН 9 — — 12 11 —

Григорьев Л. М. Высшая школа экономики 9 — 30 — — —

Сенчагов В. К. Институт экономики РАН 9 — 10 — — —

Дадашев А. З. Финансовый университет при Правительстве РФ 9 — 12 — 122 —

Источник: составлено автором по материалам РИНЦ (http://elibrary.ru/project_risc.asp).

Для продвижения идей научных школ в области финансов следует ввести в РИНЦ тематический рубрикатор и в публикациях указывать направления научной школы. Определенную логику построения в финансовой науке можно вывести, исходя из формулировки специальностей научных работников, где содержание научной специальности «Финансы, денежное обращение и кредит» — фундаментальные и прикладные

19 См.: Родионова В. М. Становление и развитие научной школы финансов // Вестник Финансового университета. — 2009. — № 1. — С. 9-17.

научные исследования, научно-исследовательские разработки и процессы внедрения научных результатов в области финансов, денежного обращения и кредитных отношений20. В табл. 11 представлена ситуация в РИНЦ по объектам данной научной специальности.

Таблица 11

Показатели РИНЦ по объектам научной специальности 08.00.10 «Финансы, денежное обращение и кредит» в 2013 г.

Объекты научной специаль- ности Количество публикаций по поисковому запросу Данные публикации, имеющей максимальное цитирование Количество цитирований в РИНЦ Организация автора, отраженная в публикации

Финан- совая система 14 666 Захаров В. Н., Петров Ю. А., Шацилло М. К. История налогов в России. Монография. 2006 52 Институт российской истории РАН

Государст- венные финансы 1333 Гамукин В. Новации бюджетного процесса: бюджетирование, ориентированное на результат // Вопросы экономики. — 2005. — № 2 22 Тюменский государственный университет

Муници- пальные финансы 519 Пронина Л. И. Финансы муниципальных образований в условиях кризиса // Финансы. — 2009. — № 7 ' 12 Комитет Государственной Думы РФ по вопросам местного самоуправления

Корпора- тивные финансы 322 Емельянов А. М., Шакина Е. А. Основные этапы эволюции концепций управления стоимостью компаний // Корпоративные финансы. — 2008. — № 4 12 ГУ-ВШЭ

Финансы домо- хозяйств 40 Разумовская Е. А. Влияние факторов неопределенности на эффективность принятия финансовых решений домохозяйствами // Наука и экономика. — 2011. — № 4 9 Уральский федеральный университет имени первого Президента России Б. Н. Ельцина

Рынок ценных бумаг 3091 Буренин А. Н. Рынок ценных бумаг и производных финансовых инструментов: Учебное пособие. 1998. 38 Московский государственный институт международных отношений

Валютный рынок 902 Буторина О. В. Международные валюты: интеграция и конкуренция. Монография. 2004 31 Московский государственный институт международных отношений

Денежное обра- щение 13 027 Ситник А. А. Финансово-правовое регулирование денежного обращения в Российской Федерации. Дис. канд. юрид. наук. 2010. 12 Московская государственная юридическая академия

Банков- ская система 5428 Ефимова Л. Г. Понятие и структура банковской системы РФ // Банковское право. — 2007. — № 2 21 Государственная юридическая академия

Источник: составлено автором по материалам РИНЦ (http://elibrary.ru/project_risc.asp).

Как видно из полученных данных, отмечается расхождение между поисковым запросом и публикациями, отраженными по цитируемости в тематическом направлении. Это требует детального анализа библиометрических показателей и выявления факторов, определяющих формирование такого распределения публикаций в финансовой науке, как научными организациями, так и вузами.

Данная статья носит дискуссионный характер и направлена на поиск критериев оценки научно-исследовательской деятельности организаций, а также подбор ключевых показателей результативности, которые представляют собой некие измерители достижимости целей, и тогда научные организации получат сбалансированную картину кратко- и среднесрочных целей, финансовых и нефинансовых показателей деятельности, прямых индикаторов или индикаторов-симптомов.

20 См.: Паспорта научных специальностей, разработанные экспертными советами Высшей аттестационной комиссии Министерства в связи с утверждением приказом Минобрнауки России от 25 февраля 2009 г № 59 Номенклатуры специальностей научных работников (редакция от 11 ноября 2011 г).

Исходя из известных функций экономической теории показателем эффективности любой науки должны быть успехи деятельности людей в той сфере, которая служит объектом научного исследования. Критерии определения эффективности деятельности научного работника будут рассмотрены в дальнейших публикациях.

Формирование общественных и публичных обсуждений по отраслям наук по вопросам результативности и эффективности может привести к формированию единых и четких показателей оценки научных и образовательных организаций, например через создание единого независимого портала. Безусловно, разработка критериев оценки результатов финансовой науки, как и любой другой научной (и ненаучной) деятельности, важна. Однако по большому счету конечным показателем результативности финансовой науки должна стать эффективно выстроенная финансовая система страны.

Библиография

1. Постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312 «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские.

опытно-конструкторские и технологические работы гражданского назначения» [Электронный ресурс] / Официальный сайт компании «Консультант Плюс». — Режим доступа: http://base.consultant.ru/cons/ cgi/onNne.cgi?req=doc;base = LAW;n=86670.

2. Распоряжение Правительства РФ от 22.07.2013 № 1287-р «Об утверждении плана реализации государственной программы Российской Федерации "Развитие науки и технологий" на 2013 год и на плановый

период 2014 и 2015 годов» [Электронный ресурс] / Официальный сайт компании «Консультант Плюс». — Режим доступа: http://base.consultant.ru/cons/cgi/online.cgi?req=doc;base=l_AW;n=149677.

3. Распоряжение Правительства РФ от 26.08.2013 № 1500-р «О распределении субсидий ведущим университетам России в целях повышения их конкурентоспособности среди ведущих вузов мира» [Электронный ресурс] / Официальный сайт компании «Консультант Плюс». — Режим доступа: http:// base.consultant.ru/cons/cgi/online.cgi?req=doc;base = LAW;n=151280.

4. Приказ Рособрнадзора от 25.10.2011 № 2267 «Об утверждении критериев показателей, необходимых для определения типа и вида образовательного учреждения высшего профессионального и среднего образования» [Электронный ресурс] / Официальный сайт компании «Консультант Плюс». — Режим доступа: http://base.consultant.ru/cons/cgi/onNne.cgi?req=doc;base=LAW;n=124734.

5. Приказ Росстата от 06.09.2012 № 481 «Об утверждении статистического инструментария для организации федерального статистического наблюдения за деятельностью в сфере дошкольного обра-

зования, научной и инновационной деятельностью, занятостью населения» [Электронный ресурс] / Официальный сайт компании «Консультант Плюс». — Режим доступа: http://base.consultant.ru/cons/ cgi/onNne.cgi?req=doc;base = LAW;n=136073.

6. Научно-методическое и правовое обеспечение системы аттестации научных кадров высшей квалификации в условиях модернизации системы образования и международной образовательной интеграции. 3 этап: «Подготовка проектов нормативных правовых актов, регламентирующих деятельность системы аттестации кадров высшей научной квалификации: проект положения о советах по защите докторских и кандидатских диссертаций, положения об экспертных советах Высшей аттестационной комиссии, положения о порядке присуждения ученых степеней и званий» / Науч. рук. Рыкова И. Н. — М.: Минобрнауки России, 2011.

7. Иванова, Е. А. Использование показателей публикационной активности ученых в практике управления наукой // Социология науки и технологий. — 2011. — Т. 2. — № 4.

8. Предоставление сведений об итогах оценки результативности деятельности научных организаций [Электронный ресурс] / Портал государственных услуг Российской Федерации. — Режим доступа: http://www.gosuslugi.ru/pgu/service/10001764147_.html#_description.

9. Растворцева, С. Н. Управление эффективностью в развитых странах мира: новые тенденции // Вестник Российского университета дружбы народов. Серия «Экономика». — 2009. — № 2. — С. 50-57.

10. Родионова, В. М. Становление и развитие научной школы финансов // Вестник Финансового университета. — 2009. — № 1. — С. 9-17.

11. Рыкова, И. Н. Публикационная активность образовательных и научных организаций // Экономика: теория и практика. — 2012. — № 4. — С. 27-35.

12. Шаршов, И. А., Макарова, Л. Н. Научная деятельность в контексте модернизации исследовательской инфраструктуры университета: проблема оценивания // Социально-экономические явления и процессы. — 2012. — № 7-8. — С. 225-230.

13. Щучинов, О. С., Ладыжец, Н. С. Современные концептуальные подходы к проблеме повышения эффективности управления наукой в западных университетах // Вестник Удмуртского университета. — 2008. — № 3-1. — С. 3-12.

14. Экспресс-форум: научно-исследовательская работа вузов [Электронный ресурс] / Аккредитация в образовании. — Режим доступа: http://www.akvobr.ru/ekspress_forum_nir_vuzov.html.