Системная акмеологическая модель и технология оценки инновационной активности сотрудников газотранспортной отрасли

[3]. Кочешкова Л.О. Развитие инновационной компетентности руководителя сельской средней общеобразовательной школы. - Дис.... канд. пед. наук - Ярославль, 2007

[4]. Позняков В.В. Инновационная компетентность управленческих кадров: основные приоритеты формирования.//Материалы международной научно-практической конференции «Инновации и подготовка научных кадров высшей квалификации в Республике Беларусь и за рубежом» / Под ред. И.В. Войтова. - Минск: ГУ «БелИСА», 2008.

Гребнева Е.М., Севрук А.И.

СИСТЕМНАЯ АКМЕОЛОГИЧЕСКАЯ МОДЕЛЬ И ТЕХНОЛОГИЯ ОЦЕНКИ ИННОВАЦИОННОЙ АКТИВНОСТИ СОТРУДНИКОВ ГАЗОТРАНСПОРТНОЙ ОТРАСЛИ

Акмеологическая модель развития инновационной активности предусматривает совершенствование систем оценки инновационной деятельности как поля для проявления активности, предмета для раскрытия инновационного потенциала и профессионализма личности. Конкурс инновационных разработок, организованный на крупном газотранспортном предприятии, может служить одним из вариантов стимулирования инновационной деятельности работников, пробуждения в них мотивации на достижение высокой эффективности в работе и мотивации осуществления личностно-профессионального развития. Традиционно IV конкурс инновационных проектов был организован в 2 этапа : 1 этап - оценка представленных на конкурсную комиссию описаний идей разработок с определением ресурсов, ограничений, возможного эффекта; 2 этап состоял в представлении докладов с компьютерной презентацией, ответов на вопросы. Разработка проекта допускалась как индивидуально, так и в командном режиме. Командный способ разработки и представления проекта нередко является наиболее обоснованным в силу сложности систем и процесса транспорта природного газа по магистральным газопроводам высокого давления: в команде участвуют специалисты различных направлений деятельности - в зависимости от темы разработки.

В конкурсах инновационных разработок (проектов, технологий) с большим количеством участников (в 2012 году более 100 человек представили 41 проект) и широким содержательным разнообразием тем разработок на экспертов конкурсной комиссии (далее -экспертов), осуществляющих оценивание проектов, возлагается высокая ответственность за справедливое определение победителей, сопровождающаяся высокой психологической нагрузкой. Значительная часть нагрузки выпадает также на членов организационного комитета, которые отвечают за подготовку документов мероприятия, обеспечивают комфортность его проведения, готовят итоговые справки и отчеты. Как и оценочная деятельность, подготовка опросных листов, сбор информации, ее обработка, подготовка итоговых документов требует высокого физического и умственного напряжения, что делает актуальным разработку технологии работы с большими массивами экспертной информации. Необходимо оптимизировать трудозатраты экспертов и служб, отвечающих за сбор и обработку данных при обеспечении высокой релевантности и точности оценки разработок.

Наиболее распространенной конкурсной практикой является применение наборов критериев, проявление которых по каждой разработке (докладу, презентации, пояснительной записки к проекту) выражают в баллах по выбранной шкале чаще всего - по пятибалльной шкале. В этом случае балльная система соответствует порядковой шкале измерений, в которой числа позволяют сопоставлять оцениваемые параметры по принципу «больше - меньше», лучше - хуже» и т.п. Однако присвоение балла какому-либо оцениваемому параметру, есть только метка, не обладающая оценочным суждением. При отсутствии эффективных инструментов оценивая трудно обеспечить объективность экспертизы представленных материалов. Нередко применяемые усреднения балльных меток, строго говоря, некорректны в порядковой шкале измерений: в конкурсах с большим количеством участников проявляются погрешности оценки, связанные с психологией восприятия - эффект «усреднения» или «завышения» оценок, «гало» - эффект и другие. В этих случаях наибольшее впечатление производят не только действительно достойные проекты, а и те, что были первыми или, наоборот, последними. При увеличении количества сравниваемых объектов начинают действовать психологические факторы, связанные с длительностью конкурсных процедур и последовательным представлением докладов, снижающим объективное ранжирование. Схожая проблема возникает при оценках персонала, когда оценщик должен дифференцировать претендентов с «тонкими оттенками поведения» (Денисов, 2006).

Еще один проблемный вопрос - о возможности сопоставления разнородных по содержанию и форме разработок. Можно ли, например, корректно сравнивать ценность технического устройства, повышающего рабочие характеристики оборудования, и ценность какого -либо проекта, имеющего социальную направленность. Ведь в первом случае ведущими становятся критерии экономической эффективности, технической безопасности, а во втором случае - критерии социальной полезности. Использование в таких случаях любых обобщенных критериев (полезность, эффективность, затраты и т.п.) не позволяет надежно аргументировать выбор в пользу того или иного участника конкурса.

Преодолеть указанные трудности можно исходя из общих системных свойств любого проекта технической или социальной направленности. Рассмотрим далее системную модель оценки инновационных разработок на конкурсе молодежных проектов, разработанную в ООО «Газпром трансгаз Чайковский».

Системная акмеологическая (онтологическая) модель конкурса молодежных проектов. Онтологическое моделирование реализует системный подход к построению информационных иерархий в любых областях знаний. Онтологии позволяют структурировать элементный состав системы, ее функциональные связи, создают возможность численной интерпретации системных построений.

Моделирование на основе онтологий постепенно проникает в бизнес-инжиниринг, в методологии организационного менеджмента17 и способствует синтезу различных точек зрения на организационное устройство, дает возможность согласовать системные требования между собой.

Для выработки критериев экспертной оценки конкурса проектов воспользуемся системным подходом. Представим конкурс в виде сетевой иерархической модели, построенной на семантическом принципе «общее - частное». Сеть может содержать различное количество уровней. Стремление к большей детализации проблемы вынуждает нас увеличивать количество уровней и количество элементов сети, но усложняет ее анализ и, как правило, практическую ценность. В малых сетях возникает угроза потери важных свойств проблемы. Ограничимся 4-х уровневой сетевой моделью конкурса, общая схема которой представлена на рис. 1.

На первом уровне сети (фокус) поместим цель конкурса -создание публичной площадки для представления и оценки молодежных проектов. Второй уровень графа содержит регуляторы или условия деятельности, к которым относятся внешние ограничения, корпоративные принципы и ресурсы. Они действуют как фильтры, вычленяя истинные, а не только желаемые средства достижения цели. Существенным ограничением являются рамки существующей в организации корпоративной культуры. Это ограничение носит глобальный характер, интегрируя ценности мероприятия с ценностями предприятия, определяя нормы поведения участников конкурса и критериальные требования к оценке. По сути, корпоративная культура задает систему приоритетов, в которой действуют все субъекты конкурсных отношений - участники, оргкомитет, службы обеспечения, эксперты конкурсной комиссии.

Важнейшими корпоративными принципами выступают принцип тотальности и принцип эффективности конкурса. Принцип тотальности означает, что предприятие заинтересовано в широком участии молодежи в инновационной деятельности, во всеобъемлющем развитии систем информирования персонала и руководителей о конкурсе, о потенциальных и реализуемых в подразделениях новшествах. Участие в инновационной деятельности способствует развитию кадров - главного ресурса предприятия. Принцип эффективности означает, что предприятие заинтересовано в получении экономического и (или) социального эффекта, в повышении имиджа предприятия. Данные принципы можно также рассматривать как внутренние рамки или внутренние ограничения конкурса.

17 Международный стандарт ИСО 15704-2000 и созданный на его основе российский стандарт ГОСТ Р ИСО 15704-2008.

В отличие от ограничений и принципов ресурсы помогают достижению цели. С учетом сформулированной цели целесообразно выделить три типа ресурсов: человеческие, разделяющиеся на организаторские и экспертные, а также материально-финансовые ресурсы. Финансовые средства обеспечивают подготовку помещений, техники, денежное вознаграждение победителей, расходы на организационные и информационные мероприятия. Человеческие ресурсы обеспечивают подготовку, проведение конкурса, оценку проектов, определение его победителей.

Третий уровень иерархии граф представляет средства достижения цели. Выделим из числа средств три наиболее общие: организационная деятельность (разработка документов, критериев оценки, процедур, формирование оргкомитета и конкурсной комиссии - экспертов); создание благоприятной среды конкурса (творческая атмосфера, комфортность условий деятельности участников и экспертов); оценочная деятельность (работа экспертов).

Ожидаемые результаты молодежного конкурса инновационных разработок представляют четвертый уровень графа; их можно выразить тремя составляющими: усиление мотивации молодых работников к инновационной деятельности; появление эффективных проектов для внедрения; выявление перспективных кадров на руководящие должности: инновационная активность специалистов является системообразующим фактором для ускорения их личностно-профессионального развития, а в том числе и развития лидерского потенциала личности.

Построенная модель универсальна по отношению к размаху конкурса, открыта к корректировкам и дополнениям ее элементного состава. Одним из преимуществ сетевой модели является возможность установления численных весов-приоритетов всех ее элементов. Для этого можно воспользоваться методом парных сравнений с использованием шкалы относительной важности Т.Саати [8аа1у, 1986; Саати, 1991]. Поскольку ресурсы помогают движению к цели, а ограничения и корпоративные принципы выдвигаю рамочные тормозящие условия, то при проведении парных сравнений можно воспользоваться специальным приемом. Разделим исходный граф на два графа: первый их них не содержит ресурсы, а второй, наоборот, не содержит ограничений и корпоративных принципов. Каждый граф можно подвергнуть процедуре парных сравнений. В результате получим два ряда численных приоритетов на уровне средств: по критериям ограничений и по критериям ресурсов. Численные значения приоритетов есть не что иное, как компоненты векторов планируемых действий по достижению цели. Косинус угла между векторами можно определить по обычной формуле с использованием скалярного произведения.

Приведем численные значения важности элементов сетевой модели качества, полученные авторами с помощью процедуры парных сравнений. Сумма приоритетов на каждом уровне равна единице (ресурсы выделены в отдельный уровень): На уровне ограничений и ресурсов: корпоративная культура (0,55), принцип эффективности (0,33), принцип тотальности (0,12). На уровне ресурсов: организационный ресурс (0,19), материально-технический ресурс (0,19), экспертный ресурс (0,62). На уровне средств: организационная деятельность (0,26), создание благоприятной среды конкурса (0,19), оценочная деятельность (0,55). Результаты: усиление мотивации к инновационной деятельности (0,33), появление эффективных проектов для внедрения (0,33),выявление перспективных кадров на руководящие должности (0,34).

Системное структурирование конкурсной деятельности может быть продолжено построением внутренних для каждого понятия графов. В этом случае каждое из средств может быть представлено собственной сетью того же вида, что и головной граф. Мы можем представить системную модель деятельности организации: построенный граф конкурса также может являться внутренней сетевой моделью одной из политик более общей деятельности предприятия. Если, например, мы моделируем организацию проектно-инновационной деятельности на предприятии, или систему развития инновационной активности работников, то конкурс инновационных проектов является их составляющей частью. Если строится модель кадровой политики, то построенная нами модель конкурса является одной из политик работы с молодежью предприятия. Системное моделирование с использованием внутренних графов позволяет осуществлять анализ любой сложной проблемы на разных уровнях ее представления, сохраняя приоритеты головной модели.

Построенная системная модель может использоваться при подготовке отчетов о конкурсе и результатах качественных оценок, в которых необходимо показать реализацию всех элементов модели. Источники информации для отчетов показаны в табл. 1.

Таблица 1

Источники информации для оценки реализации элементов сетевой модели

Элемент сетевой модели Источник информации

Принцип тотальности Справка оргкомитета, технического отдела

Принцип эффективности Оценки экспертов

Корпоративная культура Оценки участников

Человеческие ресурсы (организаторы) Отзывы участников, экспертов

Материально-технические ресурсы Отзывы участников, организаторов

Человеческие ресурсы (эксперты) Отзывы участников

Организационная деятельность Отзывы участников

Создание благоприятной среды конкурса Отзывы участников, организаторов, экспертов

Оценочная деятельность Отзывы участников

Усиление мотивации молодых работников к инновационной деятельности Отчеты отделов администрации

Появление эффективных проектов для внедрения в производство Оценки экспертов

Выявление креативных управленческих кадров, обладающих инновационной активностью Оценки экспертов, кадровой службы

При построении отчета о конкурсе элементы левой колонки могут служить заголовками разделов, а фактическое содержание создается на основе информации от субъектов, перечисленных в правой колонке.

Индикаторы модели

Для построения информационной системы мониторинга конкурса необходимо определиться с индикаторами состояния системы. Именно с их помощью создается массив первичной информации, которая далее обрабатывается и обобщается. Индикаторы могут быть количественными или качественными. Качественные индикаторы должны быть сформулированы предельно точно, исключая разное их толкование со стороны разных экспертов. Рассмотрим вариант индикаторов, использованных в конкурсе молодёжных проектов ООО «Газпром трансгаз Чайковский».

Все индикаторы можно разделить на три группы. В первую группу отнесем индикаторы бланка оценки проекта и доклада, который заполняет каждый эксперт. Эта группа индикаторов существенно формализована, поскольку используется для получения сопоставительных рейтинговых оценок проектов. Вторую группу образуют данные опросных листов участников конкурсов и экспертов, в которых в свободной форме могут быть представлены индивидуальные мнения о качестве различных сторон мероприятия. Третью группу образуют справочные данные - частотные характеристики о количестве участников, распределении проектов по тематике и т.п. Рассмотрим эти группы индикаторов подробнее.

В бланке оценки проекта и доклада использован 21 индикатор качественного типа. Их формулировки обладают высокой конкретностью, отражая явно наблюдаемые признаки качества проекта или доклада участника, что повышает объективность экспертной оценки. Количество отмеченных индикаторов дает интегральную оценку (рейтинг) проекта и доклада. В скобках приведены веса индикаторов (способ весовой параметризации обсуждается ниже).

Бланк оценки проектов и доклада

Инструкция: отметьте характеристики оцениваемого проекта, с которыми Вы согласны, в поле  крестиком:

Глубина проработки проекта

1. Проблема, идея, цель сформулирована ясно, понятно

2. Представлены новизна и преимущества по сравнению с аналогами

3. Указаны силы и средства, необходимые для внедрения

4. Указаны возможные сроки длительности внедрения проекта

5. Проведена опытная проверка разработки

6. Представлен убедительный расчет экономической эффективности проекта

7. Приведены сведения о социальной значимости проекта

8. Имеется

9. Имеется положительная внешняя экспертная оценка проекта или его существенной составляющей

Поле внедрения проекта

10. Конкретное рабочее место

11. Некоторые филиалы

12. Предприятие или шире

Низкий (приемлемый) уровень рисков внедрения проекта

13. Нехватки финансовых или материально-технических ресурсов

14. Нехватки интеллектуального потенциала

15. Наступления событий, отменяющих внедрение

Доклад-презентация проекта

16. Использованы динамические презентационные материалы (3D графика, видеоролики, сложные анимации и др.), помогающие понять суть проекта (0,57) Личностный потенциал докладчиков.

17. Внешний вид докладчиков и поведение соответствуют норме корпоративной культуры

18. Речь докладчиков яркая, точная, правильная, соответствует этикету данного мероприятия

19. Ответы на вопросы свидетельствуют о высоком профессионализме разработчиков

20. Культура представления доклада свидетельствует о владении собой

20. Выдержан временной регламент

21. Проявлены целеустремленность и настойчивость, другие лидерские качества докладчиков

Примечание: при выполнении условий п.11 автоматически выполняется п.10; при выполнении условий п.12 автоматически выполняются п.10 и п.11.

Индикаторы, входящие в анкету экспертов, были известны участникам конкурса, поэтому проект и доклад содержали сведения, соответствующие индикаторам. Вместе с тем эксперты имели возможность уточнять свою оценку в процессе ответов докладчиков на вопросы.

Поскольку оценку проекта и доклада производят несколько экспертов, возможны несколько вариантов усреднения. В первом, наиболее распространенном варианте, производится усреднение по каждой индикации в отдельности, а затем подсчитывается индивидуальный рейтинг. Тот же результат мы получим, если сначала подсчитываются экспертные интегральные рейтинги, а затем производится усреднение. Во втором варианте определяется значение каждого индикатора по большинству отметок экспертов, а затем подсчитывается значение интегрального рейтинга. Очевидное отличие этого варианта от первого состоит в том, что возрастет дифференциация результатов конкурса: лидеры повысят свой рейтинг, а аутсайдеры его понизят. Наконец, третий вариант состоит в том, что по каждому индикатору отбрасывается один максимальный экспертный балл (в нашем случае 1) и один минимальный балл (т.е. 0). Затем производится усреднение по оставшимся индикациям как в первом случае. Если отметки экспертов одинаковы (все 1 или все 0), отбрасывание теряет смысл. Отбрасывание лучшей и худшей оценки используется в судействе на спортивных мероприятиях для того, чтобы избежать искусственного повышения рейтинга «своего» участника или занижения главного противника «своего» участника. В нашем случае дихотомической оценки по каждому индикатору последний способ оценки не столь выразителен. Если мнения экспертов по каждому индикатору единодушны, то все три способа дают один и тот же результат усреднения.

В результате усреднения экспертных отметок получаем матрицу результатов размером 21 (количество индикаторов) на N где N - количество участников конкурса. Например, при сорока участниках матрица содержит 840 чисел, отражающих итоги конкурса. Большой массив данных позволяет не только подсчитывать интегральный рейтинг участников, но дает возможность других обобщенных оценок как индивидуальных, так и статистических, вычисляемых на совокупности всех докладов. Некоторые из этих оценок обсуждаются ниже.

Очевидно, все индикаторы могут иметь свой собственный вес. Однако в условиях мно-гокритериальности (действует множество конкурсных критериев) непосредственная экспертная весовая параметризация представляется весьма затруднительной. Поэтому воспользуемся бинарными связями индикаторов с элементами сетевой модели, для которых численные приоритеты уже определены. Вектор бинарных отношений имеет компонентами 1 (семантическая связь есть) или 0 (нет связи). Тогда вес любого индикатора можно вычислить как скалярное произведение вектора бинарных отношений данного индикатора на век-

тор численных приоритетов элементов построенной нами сети. Поскольку индикаторы связаны с 4 элементами сетевой модели (см. табл.1), то перемножаемые векторы имеют по 4 компонента. Далее веса индикаторов нормируются. В нашем варианте вес индикатора есть не что иное, как показатель интенсивности связей этого индикатора с системной сетевой моделью конкурса с учетом весов элементов сетевой модели. Если индикатор имеет семантические связи со всеми четырьмя элементами сетевой модели, то его вес максимален и равен 1.

Отзывы участников, экспертов позволяют оценить эффективность подготовительного этапа конкурса и эффективность конкурсных процедур. Опросы являются общепринятым способом получения обратной связи. Однако для того, чтобы информация опросных листов обеспечивала объективность, надежность и валидность оценок, необходимо взвешенно подойти к формулировкам вопросов. Наиболее общая рекомендация состоит в том, что опросник должен обеспечить оценки тех элементов сетевой системной модели, которые не охвачены оценочным бланком жюри (см. табл.1). В этом случае можно оптимизировать перечень вопросов, избавляясь от менее важной для экспертов информации, но, возможно, полезной информации с позиций корпоративной культуры и политики УЧР. Рефлексия общего характера, например, об удовлетворенности участников каким-либо этапом или мероприятием конкурса еще не гарантируют достижения запланированных результатов. В этой связи упомянем работу (Трусь, Лепешинский, 2011), в которой на примере оценки тренинга обсуждается вопросник и его эффективность для заказчика и тренера. В нашем случае заказчиком выступает руководство предприятия, а тренером команда организаторов конкурса, для которой обратная связь дает возможность повысить эффективность и качества следующих конкурсов. Отметим также, что вопросы эффективности опросника к конкурсу молодых руководителей рассматривались в нашей работе (Гребнева, 2011).

Численные оценки системных показателей. Большой массив экспертной информации целесообразно использовать для получения различных обобщенных показателей конкурса. Разделим их на 2 части. В первую группу войдут индивидуальные показатели участников, а во вторую группу - корпоративные статистические показатели на всей совокупности участников. Первая группа показателей характеризует индивидуальные достижения и может быть использована для выявления перспективных кадров. Вряд ли имеет смысл усреднять эти показатели на выборке всех участников. Вторая группа показателей в определенном смысле характеризует состояние корпоративной системы в части инновационной деятельности.

К группе индивидуальных показателей, в частности, могут быть отнесены: Креативность мышления (на совокупности индикаторов 1 - 7, 18, 19); Индивидуальный управленческий (лидерский) потенциал (13 - 21); Уровень проработки проекта (1 - 7, 9 - 12,); Инновационная активность (1-9, 13-16, 18-21).

К группе статистических показателей отнесем: Уровень внедрения проектов (частотные характеристики по полям внедрения); Экономическая эффективность проектов (доля проектов с реальным, а не условным экономическим эффектом); Социальная значимость проектов (доля проектов, имеющих социальный положительный эффект по отдельным направлениям - безопасность труда, охрана природы и др.); Риски проектов (распределение частот рисков разного типа).

Списки обобщенных показателей могут быть продолжены в пределах семантических связей с индикаторами. Некоторые из обобщенных характеристик сформулированы как качественные. Например, уровень проработки проектов - типично качественная характеристика. Однако на базе упомянутой выше матрицы результатов имеется возможность их численной оценки. Для этого необходимо выстроить кортежи (векторы) бинарных связей индикаторов с показателями. Наличие связи будем обозначать цифрой 1, а ее отсутствие цифрой 0. Все кортежи интересующих нас связей образуют матрицу бинарных отношений, состоящую из единиц и нулей. Столбец этой матрицы показывает нам бинарные отношения любого из выбранных показателей со всеми индикаторами. Тогда численная оценка показателя вычисляется как произведение вектора усредненных экспертных отметок на соответствующий вектор-столбец бинарных связей. Для удобства численного анализа целесообразно использовать нормированный вектор экспертных отметок. В этом случае результат произведения будет числом из диапазона от 0 до 1. Результаты весовой параметризации приведены выше, в бланке оценки проектов и доклада.

Практическая реализация технологии конкурсной оценки. Представленная здесь технология конкурсной оценки была реализована в опытном режиме 2-мя экспертами - авторами статьи, наряду с традиционной 5-балльной оценкой, на массиве данных конкурса молодежных проектов ООО «Газпром трансгаз Чайковский» в 2012 году. В конкурсе приняло участие 35 команд, представлявшие различные линейно-производственные управления предприятия и 6 команд других родственных предприятий. В состав экспертной комиссии

входило 7 человек, представлявших руководящий состав предприятия. Конкурс проводился в течение 2-х дней. Эксперты имели возможность не только прослушать доклады, но и ознакомиться с пояснительными записками к проектам. Поскольку положение о конкурсе содержало сведения о критериях оценки, то это облегчало подготовку доклада участниками.

Заключение. Предложена системная акмеологическая модель конкурса проектов и соответствующая ей технология численной оценки индивидуальных и общих корпоративных показателей инновационной активности. Инструментарий экспертной оценки представляет собой совокупность специальных формулировок индикаторов, что позволяет компенсировать несогласованность суждений экспертов, тем самым снижая погрешность итоговой оценки. Другие преимущества новой формы и процедуры оценки:

1. Меньшая психологическая нагрузка на эксперта (используется наиболее простая дихотомическая оценка 1 или 0).

2. Экономия времени заполнения бланка (отметки делаются в процессе доклада, легко организовать автоматизацию ввода информации в базу данных, заполняя оценочный бланк непосредственно на компьютере).

3. Повышение точности оценок (использование весов ответов с учетом их системной важности).

4. Возможность численной оценки личностного (инновационного, креативного, лидерского) потенциала участников, выстраивание определенного параметрами рейтинга.

5. Определение общих корпоративных оценок инновационной активности (экономическая и социальная значимость предложений, риски, кадровый потенциал и др.).

6. Интеграция (совмещение ) систем оценки проектной инновационной деятельности и личностных компетенций участников, их проявленности, при помощи раскрытия своего потенциала на предмете деятельности. Прежде было необходимо привлекать дополнительных экспертов для целенаправленной организации оценки деловых и личностных компетенций участников конкурса.

7. Возможность всестороннего рассмотрения результатов инновационной активности участников конкурса через призму определения их лидерского потенциала и включения в систему развития кадрового резерва.

8. Возможность оценки влияния политики управления человеческими ресурсами, корпоративной культуры на развитие персонала как в филиалах, так и в целом по предприятию.

Литература:

[1]. Акмеология: методология, методы и технологии / Под ред. А.А.Деркача. - М.: РАГС, 1998.

[2]. Деркач А.А., ЗазыкинВ.Г., Маркова А.К. Психология развития профессионала. - М.: РАГС, 2000.

[3]. Денисов А. Ф. Компетенция эксперта как ключевой фактор оценки персонала. // Вестник СПбУ. Серия 8, 2006. Вып.1. С.139-150.

[4]. Саати Т.Л., КернсК.П. Аналитическое планирование. Организация систем. /Пер. с англ. М.: Радио и связь, 1991.

[5]. ГребневаЕ.М. Оценка потенциала молодых руководителей // Акмеология. 2012 №1 (41). С. 58-63.

[6]. Трусь А.А., Лепешинский Н.Н. Оценка результатов корпоративного тренинга: подходы, уровни, апробация опросника обратной связи // Акмеология. 2011 №4 (40). С 74-83.

[7]. Saaty T. L., Kearns K.P. Analytical planning : the organization of systems. - Oxford ; New York: Pergamon press, 1985.

[8]. Asch, S.E. Forming impressions of personality. The Journal of Abnormal and Social Psychology, Vol 41(3), Jul 1946, 258-290.