Статистика результатов тестирования с использованием заданий многократного ранжирования (на примере оценки компетентности государственных служащих в области управления проектами)

Бирюков О.В. Статистика результатов тестирования с использованием заданий многократного ранжирования (на примере оценки компететности гоударственных служащих в области управления проектами) / О.В. Бирюков, М.М. Зварич // Управління проектами та розвиток виробництва: Зб.наук.пр. - Луганськ: вид-во СНУ ім. В.Даля, 2013 - №2(46). - С. 57-62. - Режим доступу: http://www.pmdp.org.ua/__________

УДК 311:37:35

О.В. Бирюков, М.М. Зварич

СТАТИСТИКА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ С ИСПОЛЬЗОВАНИЕМ ЗАДАНИЙ МНОГОКРАТНОГО РАНЖИРОВАНИЯ

Рассмотрены инструменты и результаты тестирования государственных служащих в области управления на основе национальных требований к компетентности проектных менеджеров. Рис. 1, ист. 22.

Ключевые слова: компетентность, управление проектами, оценка,

тестирование, ранжирование.

О.В. Бірюков, М.М. Зварич

СТАТИСТИКА РЕЗУЛЬТАТІВ ТЕСТУВАННЯ З ВИКОРИСТАННЯМ ЗАВДАНЬ БАГАТОКРАТНОГО РАНЖУВАННЯ

Розглянуті інструменти та результати випробувань державних службовців в галузі управління на основі національних вимог до компетентності менеджерів проектів. Рис. 1, дж. 22.

O.V. Biryukov, M.M. Zvarych

STATISTICS OF TESTING RESULTS USING MULTIPLE RANKING TASKS

Tools and test results of public servants in the field of management on the basis of national requirements to competence of project managers are considered.

Постановка проблемы в общем виде и анализ последних публикаций направленных на её решение. Становление Украины как демократического, социального, правового государство не возможно без подготовки критической массы высококвалифицированных государственных служащих. Проводимые правительством реформы требуют создания новых эффективных систем управления развитием страны, регионов, отраслей хозяйствования и формирования нового поколения, специально подготовленных специалистов, в первую очередь, в сфере управления проектами [1].

Качество государственного управления напрямую зависит от кадрового состава государственной службы и профессионализма государственных

служащих. Поэтому вопросам подготовки и оценки персонала органов управления посвящено много научных трудов. Так в работах [2-3] уделено внимание разработке профилей компетентностей в системе государственной службы, в [4] автор обращается к проблемам понятийного аппарата в практике использования терминов «компетенция» и «компетентность», в [5-9] изложены подходы и методики к оценке профессиональной пригодности и компетентности государственных служащих. Однако, темы касающиеся выбора эффективных методов и инструментов оценки компетентности государственных служащих, дающих статистически надежные результаты, в данных публикациях не исследовались. Отдельно можно выделить ряд работ посвященных проблемам внедрения проектного подхода в деятельность органов государственного управления [10-15]. Но они в основном посвящены методологическим подходам и специфике управления проектами и программами в системе государственного управления и не рассматривают вопросы оценки компетентности государственных служащих в сфере управления проектами. Исключением является стандарт Министерства финансов Украины [16] в котором указаны критерии оценки менеджеров принимающих участие в управлении инновационными проектами и программами.

Целью данной статьи является рассмотрение существующих систем и инструментов, применяемых для оценки компетентности в сфере управления проектами, и обоснования их эффективности на основе статистического анализа результатов проведенного тестирования среди государственных служащих.

Изложение основного материала исследования. На территории Украины широко используется система оценки компетенций проектных менеджеров по требованиям международной ассоциации управления проектами

- 1РМА. Согласно национальным требованиям NCB иА 3.1 [17] под

компетентностью понимается набор знаний, личного отношения, навыков и соответствующего опыта, необходимых для успешного выполнения определенных функций (компетенций). В качестве инструментов оценки используются составление резюме, проведение самооценки, выполнение письменного экзамена, моделирование ситуаций, компьютерное тестирование, составление отчета по проекту и интервью. Преимуществом использования письменного экзамена и компьютерного тестирования с целью оценки компетентности государственных служащих в области управления проектами, является необязательное присутствие при их выполнении экспертов. Недостатком - составление объемной базы заданий разработаных с учетом специфики управления проектами в государственном секторе, а также широкое использование тестов с закрытыми вопросами, при анализе ответов на которые возникает проблема корректировки так называемого «сырого балла» [18, 19].

Рассмотрим различные виды тестовых заданий с закрытыми вопросами и соответствующие им формулы для расчета вероятностей угадывания правильных ответов. В работе [20] показано, что в тестах с закрытым типом вопросов, из которых только один правильный, вероятность угадывания правильного ответа равна Р = 1/ т, где т - количество вариантов ответа. В тестах с множеством правильных ответов без учета указания их последовательности вероятность угадывания правильной комбинации равна

Р = 1/Скт , С^ = т! к!(т - к)!, где к - количество правильных вариантов

ответа. В тестах с множеством правильных ответов с учетом указания их последовательности (упорядоченности) вероятность угадывания правильной

комбинации равна Р = 1/Лкт , Лкт = т!/(т - к)!.

В работе [21] предложен метод определения компетентности проектных менеджеров на основе процедур выявления устойчивости их личной профессиональной позиции. Указанные процедуры базируются на механизме многократного ранжирования различного количества предложенных вариантов ответов для заданных деловых ситуаций. При этом правильность выполнения задания может оцениваться с двух позиций: первая - на основе анализа соблюдения последовательности ранее проранжированных показателей; вторая

- на основе сравнения с эталонной последовательностью (в случае если она задана). Произведем расчет вероятности угадывания правильного ответа на следующем примере: при тестировании необходимо проранжировать на первом этапе совокупность Б из трех вариантов ответов, на втором из четырех (к заданной совокупности добавляется еще один вариант ответа) и на третьем из пяти. Эталонная последовательность не задана. В этом случае количество возможных комбинаций ответов на каждом из этапов будет равняться т!, соответственно щ = 3! = 6, щ = 4! = 24, щ = 5! = 120. Любая из выбранных комбинаций на первом этапе будет считаться верной Скт = т!/к!(т — к)! = 3!/3!(3!—3!) = 1, вероятность угадывания

Р = 1/Скт = 1/1 = 1 (в случае указания эталонной последовательности

вероятность угадывания на первом этапе будет равняться

Р = 1/Ат = 1/12 = 0,083 , так как Акт = 3!/(3 —1)! = 12). На втором этапе

правильность проведенного ранжирования определяется относительно установленной последовательности на первом этапе, соответственно

угадывания правильной На третьем этапе

Ат = т!/(т - к)! = 4!/(4 - 3)! = 24, вероятность последовательности Р = 1/ Ат = 1/24 = 0,041.

Р = 1/Акт = 1/120 = 0,0083 .

Для оценки ответов в заданиях на многократное ранжирование применяется система бальных отметок. Наибольшей считается отметка в 1 балл. Система определения бальных отметок г2, для восьми возможных комбинаций сочетания вариантов ответов имеет вид (1):

1 апёё III 3 іл III 3 5 III 4 1 апёё III 3 5. III 3 4 15

2 апёё III 4 іл III 3 3 = 4 1 апёё 4 | 5. 5. III 3 3; 4 1 уС. 4 ш 3

3 апёё іл III 4 III 3 5 /II 3 1 апёё III 4 4. III 3 3; 5 5 ш 3 -

4 апёё 4 III 3 = 5. 3 II? 4 1=)г, =• 2 апёё 4 і 5. 3 ;! 5. 3 ; 4 і

5 апёё іл III 43 5, 4, III 33 45 /II 34 2 апёё 5. 5. III I 43 3 I 4. 4; 5 ! (1) і

6 апёё іл III 3 4, ?|| 3 4 5 3 апёё 1 3 ні ; 5. ^ і 3 = 4. 4; 5 1 1

7 апёё III 3 5, /II 3 5 /II 4 3 апёё 4. ні! 3 1 і 5 ж; 3 4 ; 5 1 і

8 апёё /II 3 5, ?|| 3 4 = 5 4 апёё 3 = 4. 3 ; 5. 4; 5

Таким образом, знак = обозначает сохранение ранее определенной последовательности показателей в новой последовательности, полученной с добавлением новых показателей. Напротив, использование знака = свидетельствует о нарушении первоначально определенной последовательности показателей в последующих ответах.

Анализ условий определения бальных отметок г2 показал, что предложенные восемь комбинаций могут быть оценены отметками от 1 до 4

г = <

2

баллов. Это вызвано тем, что во второй и третьей комбинациях существует противоречие, которое заключается в невозможности выполнения третьего условия при соблюдении первых двух. То есть ответы за этими комбинациями могут быть признаны логично правильными и оцененные отметкой в один балл. По мнению опрошенных экспертов, степень логических ошибок, которые наблюдаются в комбинациях за номерами четыре и пять, а также шесть и семь значительно не отличается, что дает возможность их оценивания одинаковой отметкой в 2 и 3 балла соответственно. И, как следствие, восьмая комбинация, которая характеризуется отсутствием какой-либо логики при выполнении заданий на ранжирование, оценивается наименьшей отметкой в 4 балла.

На рис.1 приведены графические примеры, которые поясняют условия, обозначенные в выражении 1. Жирными линиями (как сплошными, так и прерывистыми) показанные варианты наличия логических ошибок на разных этапах ранжирования.

О

О

Ь3 Ь3

Ь4

Ь4 Ь1

Ь1 Ь2

к Ь2 Ь5

—

У Ь3 ✓

Ь4

* \ Ь1

Ь2

1/1#

1/1/

г2 = 1

2

3

4

Рис. 1. Присвоение величины бальной отметки в зависимости от степени логических ошибок, допущенных при выполнении многоразового ранжирования

Для реализации предложенного метода определения компетентности был разработан программный продукт. База данных вопросов формировалась по 52 элементам компетенций, согласно требованиям обозначенным в NCB иА 3.1 [17]. При этом для каждого элемента компетенций использовались как обычные тестовые задания с закрытыми вопросами (выполнение которых оценивалось

бальной отметкой г , которая принимает значение 1 в случае правильного ответа и 0 в случае неправильного), так и задания на многократное ранжирование.

Проведение пробного тестирования 23 госслужащих из Луганска, Днепропетровска, Киева, Львова без их предварительной подготовки дало следующие результаты. Существенных отличий в полученных отметках в зависимости от территориального расположения респондентов не наблюдалось. Доля правильных ответов (получивших отметку в 1 балл) на обычные тесты изменялась от 28% до 40%, а на задания ранжирования от 23% до 30%. Распределение суммарных отметок респондентов для каждого из типов заданий близко к нормальному. Проверка гипотезы о равенстве средних позволила сделать вывод о том, что при уровне значимости 0,05 наблюдаемые отличия в значениях средних для разных типов заданий является статистически значимыми. То есть для большинства респондентов правильно выполнить

ь 1

задания на многократное ранжирование оказалось сложнее, чем выполнить тесты с множеством правильных ответов и учетом указания их последовательности. Однако, согласно [22] применение вопросов дублеров при тестировании, а в нашем случае заданий на многократное ранжирование, позволяет снять проблему необходимости корректировки полученных результатов.

Следует так же отметить, что от 70 до 80% респондентов проявили свою компетентность в таких элементах компетенций как лидерство, коммуникации, уверенность в себе, этика. И только около 20% респондентов дали правильные ответы на задания связанные с успешностью выполнения проектами, замыслом и итоговым продуктом проекта. По 2 элементам дополнительных компетенций не было получено ни одного правильного ответа.

Выводы и перспективы дальнейших исследований

1. Национальные требования к основам профессиональных знаний и системе оценки проектных менеджеров содержат четкие критерии и процедуры определения компетентности, в связи с чем, их целесообразно использовать как основу для разработки эффективных процедур оценки государственных служащих работающих в области управления проектами.

2. Применение компьютерного тестирования базирующегося на тестах с закрытыми вопросами и заданиях на многократное ранжирование показателей позволяет оперативно определять уровень профессиональных знаний, их устойчивость и личную позицию (видение) респондентов, отслеживать логику принятия решений на отдельных этапах ранжирования без привлечения в процесс оценивания внешних экспертов.

3. Анализ результатов тестирования показал, что вероятность угадывания правильного ответа в заданиях на многократное ранжирование с увеличением количества ранжируемых показателей и этапов выполнения ранжирования с возрастанием их сложности стремится к нулю. Это дает возможность убрать проблему корректировки полученных результатов подобного тестирования и, например, использовать данное свойство для назначения более важным элементам компетенций, с позиции таксономии, более сложных заданий.

4. Достаточно низкие статистические показатели успешного прохождения пробного тестирования показали, с одной стороны, возможность использования подобной процедуры для государственных служащих в области управления проектами, с другой стороны, необходимость разработки базы вопросов и заданий исходя более глубокого описания профессионального профиля респондентов. Это и будет определять направление дальнейших исследований.

ЛИТЕРАТУРА

1. Пілюшенко В.Л. Проблеми впровадження проектного підходу в діяльність органів державного управління [Электронный ресурс] / В.Л. Пілюшенко. - Режим доступа: http://archive.nbuv.gov.ua/portal/soc_gum/znpdduu/Tn/2011_176/14.pdf.

2. Вишневський А. Застосування моделі та профілів компетентності для управління персоналом в системі державної служби [Электронный ресурс] / А. Вишневський, О. Хмельницька. - Режим доступа: п а С Б.д ov.Ua/d о с и т е п У41831/4_2004_8^ о с.

3. Ткаченко Т.М. Профілі професійної компетентності посад державної служби [Электронный ресурс] / Т.М. Ткаченко. - Режим доступа: http://www.kbuapa.kharkov.ua/e-book/conf/2012-2/doc/4/05.pdf.

4. Гогина Л.Н. Компетенции и компетентности в государственной службе Украины: к проблеме понятийного аппарата [Электронный ресурс] / Л.Н. Гогина. - Режим доступа: www.center.gov.ua/attachments/article/14doc.

5. Козак І. Оцінка компетенції державних службовців [Электронный ресурс] / І. Козак, О. Сидорчук. - Режим доступа: http://www.Mva са Се ту.со тЛ/і б п ік2ЛаіІ/К^ак.р С Г

6. Сидоренко Н. Оцінка професійної культури державного службовця:компетентнісний підхід [Электронный ресурс] / Н. Сидоренко. - Режим доступа: http://archive.nbuv.gov.ua/portal/soc_gum/Dums/2009-02/Sidorenko.pdf.

7. Височина О.В. Рейтингова оцінка як показник професійної придатності займаній посаді державного службовця [Электронный ресурс] / О.В. Височина. - Режим доступа: http://archive.nbuv.gov.ua/e-journals/FP/2008-3/08vevpds.pdf.

8. Левицька І.В. Методика оцінки ефективності діяльності державних службовців [Электронный ресурс] / І.В. Левицька., Є.І. Ніколаєнко. - Режим доступа: http://intkonf.org/ken-levitska-iv-nikolaenko-ei-metodika-otsinki-efektivnosti-diyalnosti-derzhavnih-sluzhbovtsiv/.

9. Проскура В.О. Оцінка персоналу у сфері державного управління [Электронный ресурс] / В.О. Проскура. - Режим доступа: http://www.kbuapa.kharkov.ua/e-book/conf/2013-

10. Безверхнюк Т.М. Проектно-орієнтований підхід як нова філософія організації

управління державними програмами і проектами [Электронный ресурс] / Т.М. Безверхнюк. - Режим доступа: http://archive.nbuv.gov.ua/portal/soc_gum/

Nvamu_upravl/2011_3Z2.pdf.

11. Федорчак О. В. Проектний підхід як інноваційний механізм державного управління / О.В. Федорчак [Електронний ресурс] // Державне управління : теорія та практика : електрон. наук. фах. журн. - Вип. 1. - К.: НАДУ, 2006. - Режим доступу: http://www.nbuv.gov.ua.

12. Цегольник П.А. Технологія управління проектами в державному управлінні : потенціал застосування та шляхи підготовки фахівців [Текст] / П. Цегольник // Вісн. УАДУ. -Вип. 3. - К: УАДУ, 2001. - С. 346-353.

13. Бабаєв В.М. Проектний підхід в механізмі державного управління [Электронный ресурс] / В.М. Бабаєв, В.І. Торкатюк. - Режим доступа: http://eprints.kname.edu.ua/29745/1/50.pdf.

14. Перфілова Н.М. Проектний підхід до управління державними фінансами [Электронный

ресурс] / Н.М. Перфілова. - Режим доступа: http://archive.nbuv.gov.ua/portal/

natural/MMS/2009_2/02_2009_Perfilova.pdf.

15. Яскевич А. Вітчизняна практика застосування проектного підходу в державному управлінні [Электронный ресурс] / А. Яскевич. - Режим доступа: http://cstei.lviv.ua/upload/pub/Polska%20Pomoc/1320356696_48.pdf.

16. Управління інноваційними проектами та програмами. Методологія: МФУ 75.1 -00013480 - 29.12:2010. - [Чинний від 2010-12-29]. - К.: Міністерство фінансів України, 2010. - 44 с. - (Міністерський стандарт України).

17. Бушуев С.Д. Управление проектами: Основы профессиональных знаний и система оценки компетентности проектных менеджеров ^а^о п а1 Со mpеtе п се В а б еіі п е, NCB иА Vеrsi о п 3.1) / С.Д. Бушуев, Н.С. Бушуева. - К.: ІРІДІУМ, 2010. - 208 с.

18. Раков С.А. Алгоритм корректировки тестовых баллов на основе анализа сложности заданий [Электронный ресурс] / Раков С.А., Мазорчук М.С., Бондаренко Е.О. - Режим доступа: http://ite.kspu.edu/ru/webfm_send/447.

19. Соколов А.Ю. Методы повышения точности шкалирования результатов тестирования [Электронный ресурс] / А.Ю. Соколов, О.Г. Молчанова, В.Г. Иванов. - Режим доступа: http://archive.nbuv.gov.ua/portal/natural/Rks/2011_2/Sokolov.pdf.

20. Ильюков В.Д. Вероятность угадывания правильного ответа в педагогических тестах [Электронный ресурс] / В.Д. Ильюков. - Режим доступа: http://www.sicpro.org/sicpro08/doc.

21. Россошанская О.В. Метод определения компетентности проектных менеджеров на основе процедур выявления личной профессиональной позиции / О.В. Россошанская, О.В. Бирюков // Управління розвитком складних систем. Зб.наук.пр. - К.: КНУБА, 2010. - № 4. - С. 114-121.

22. Кириличев Б.В. К вопросу о коррекции угадывания при ответе на задания закрытой

формы [Электронный ресурс] / Б.В. Кириличев, А.Е. Рабинович, П.Д. Рабинович. -Режим доступа: http://www.rabinovitch.ru/public1/Kirilichev_Rabinovich_Rabinovich-

CorUgad-1999.pdf.

Рецензент статті Стаття надійшла до редакції

д.е.н., проф. Ахромкін Є.М. 23.05.2013 р.

“Управління проектами та розвиток виробництва”, 2013, № 2(46) 7