Метод Дельфи как инструмент выявления согласованного мнения в современной студенческой среде при решении задач проектирования будущего

УДК 338.27

Ю.И. Рягин, М.И. Глушков, Л.А. Остроухова

МЕТОД ДЕЛЬФИ КАК ИНСТРУМЕНТ ВЫЯВЛЕНИЯ СОГЛАСОВАННОГО МНЕНИЯ В СОВРЕМЕННОЙ СТУДЕНЧЕСКОЙ СРЕДЕ ПРИ РЕШЕНИИ ЗАДАЧ ПРОЕКТИРОВАНИЯ БУДУЩЕГО

Yu.I. Ryagin, M.I. Glushkov, L.A. Ostroukhova

THE DELPHI TECHNIQUE AS A TOOL FOR IDENTIFYING CONSENSUS IN STUDENTS IN TODAY'S SOCIETY FOR SOLUTIONS PROBLEMS DESIGN OF THE FUTURE

В ходе опытного форсайт-исследования в студенческой среде Уральского федерального университета была проверена возможность применения метода Дельфи для выявления согласованной позиции при решении насущных междисциплинарных задач. Показано, что выпускники ведущих институтов федерального университета способны выработать мнение, совпадающее с позицией признанных экспертов в обсуждаемой сфере.

МЕТОД ДЕЛЬФИ, ФОРСАЙТ, УРАЛЬСКИЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ, УРФУ, ЭКСПЕРТНАЯ ОЦЕНКА, ТАМОЖЕННЫЙ СОЮЗ, ЕВРАЗЭС.

During the pilot foresight study among the students of the Ural Federal University held iterative algorithm is verified by the interview using the Delphi method to identify an agreed position to address modern interdisciplinary problems. It is shown that graduates of the leading institutions of the Federal University are able to develop an similar opinion with the position of the leading experts in the discussed field.

DELPHI TECHNIQUE, FORESIGHT, URAL FEDERAL UNIVERSITY, UrFU, EXPERT EVALUATION, CUSTOMS UNION, EURASEC.

Форсайт (от англ. Foresight - предвидение, взгляд в будущее) есть совокупность методов экспертной оценки, которые способны существенно повлиять на развитие общества в средне-и долгосрочной перспективе. Здесь не только рассматриваются всевозможные альтернативные варианты будущего и выбираются наиболее перспективные из них, но и формируются стратегии по достижению желаемого результата в развитии приоритетных областей экономики и промышленности. Фактически речь идет о проектировании будущего.

Одним из наиболее востребованных методов, используемых в форсайт-проектах, стал метод групповых экспертных оценок, известный как метод Дельфи. Метод был разработан в 50-е годы прошлого века корпорацией RAND (США) для решения задач глобального противостояния двух сверхдержав того времени и впервые опубликован в 1964 году в работе 228

О. Хелмера и Т. Гордона [1]. Он позволяет получить максимальную согласованность позиций большого количества экспертов. Анонимный характер опроса исключает влияние авторитетов и шаблонов мышления при коллективном решении проблемы, а учет особого мнения отдельных экспертов дает возможность «зацепить» в интеллектуальную сеть парадоксальную, но перспективную ветвь развития.

Метод Дельфи концептуально прост и может использоваться при разработке проектов с близким горизонтом прогнозирования. К недостаткам метода можно отнести то, что изучаемая проблема должна быть представлена в виде набора конкретных вопросов к экспертам, а количество туров опроса существенно зависит от мотивированности участников, их гражданской позиции. По мере развития метод становился все более разнообразным, но сохранил основные признаки - анонимность, многоэтап-

ный характер опроса и внимание к парадоксальным путям реализации будущего [2].

В апреле - мае 2013 года на базе Уральского федерального университета имени первого Президента России Б.Н. Ельцина было проведено опытное форсайт-исследование с помощью метода Дельфи. В качестве экспертов выступали студенты старших курсов бакалавриата и магистранты трех институтов УрФУ: института естественных наук, института математики и компьютерных наук, а также института гуманитарных наук и искусств. Цель эксперимента - определить, насколько эффективен выбранный метод при решении важной междисциплинарной проблемы, которая была выбрана таким образом, чтобы студенты ни одного из институтов не занимались нею вплотную. Ставилась задача выявить мнение продвинутой университетской молодежи о том, как создание расширенного Таможенного союза в рамках Евразийского экономического сообщества отразится на экономике стран, входящих в ЕврА-зЭС (сегодня это Россия, Белоруссия, Казахстан, Кыргызстан, Таджикистан).

Респондентам было предложено ответить на пять вопросов:

1. Насколько важно для России членство в ЕврАзЭС?

2. Возможно ли создание расширенного Таможенного союза в рамках ЕврАзЭС?

3. Есть ли преимущества вступления новых членов в ЕврАзЭС?

4. Как вы относитесь к тому, что в состав ЕврАзЭС войдут только страны бывшего СССР?

5. Реальна ли перспектива объединения Ев-рАзЭС и ЕС?

На этапе подготовки организаторы переформулировали обращения к респондентам таким образом, чтобы с вопросами можно было работать в рамках метода Дельфи. В качестве ответа планировалось получить некоторую числовую оценку, затем обработать ее средствами метода. Большая роль уделялась корректности вопросов. К примеру, некорректно спросить: «Как скажется объединение ЕврАзЭС и ЕС?» Правильно сформулированный вопрос звучит так: «Оцените объединение ЕврАзЭС и ЕС (0 - объединение скажется отрицательно, 10 - от этого выиграют все страны, входящие в

ЕврАзЭС и ЕС)».

Следующая важная задача - формирование состава экспертной группы. Сумма оценок и, следовательно, количество респондентов должно быть статистически значимым. Нижняя граница численности экспертной группы, опрашиваемой в рамках метода Дельфи, известна из литературных данных. Это 7-9 человек. В то же время метод не имеет ограничений на верхнюю границу, так как отсутствует необходимость собирать экспертов в одном месте. Практика использования метода Дельфи содержит примеры, когда в опросе участвовали сотни и даже тысячи квалифицированных специалистов. Их число определяется характером рассматриваемой проблемы, а также количеством доступных для опроса экспертов.

Математическое обоснование метода

Согласно практике использования метода Дельфи вопрос является решенным, когда длина доверительного интервала оказывается не больше двух единиц по десятибалльной шкале [3]. Почему этого достаточно? Оценки, которые ставят эксперты, можно считать случайной величиной, принимающей значение от нуля до десяти. Ее распределение не имеет конкретного вида, поэтому подобные распределения принято описывать с помощью математических понятий медианы, квантили и интерквартильного размаха. Три понятия вместе могут быть использованы вместо математического ожидания и дисперсии в случае невозможности вычисления последних [4].

Длину интерквартильного размаха в методе Дельфи часто называют доверительным интервалом, хотя это не вполне корректно с точки зрения классической теории вероятности. Чем меньше длина доверительного интервала, тем более согласованно ответили эксперты. Если длина доверительного интервала равна нулю, эксперты ответили единогласно.

Чтобы считать вопрос решенным, можно взять любую длину доверительного интервала в диапазоне от нуля до пяти, где ноль значит, что все эксперты поставили одинаковую оценку, а пять - один из экспертов поставил минимальную, а другой - максимальную оценку. В нашем

исследовании было выбрано значение доверительного интервала, равное двум, что согласуется с позицией авторов метода Дельфи [5-7].

Для повышения уверенности в результате можно использовать меньшие значения указанного интервала. Если после трех-четырех туров опроса ширина доверительного интервала остается больше двух, то проблему рационально считать в данный момент неразрешимой.

Методика проведения исследования

На подготовительном этапе определялись каналы связи с респондентами. Раньше это была в основном почта. Сегодня преимущественно - электронная почта. Метод предполагает оценку компетентности эксперта в обсуждаемой предметной области. Коэффициент компетентности вычислялся по формуле:

С/ = 2 * (Ки + Ка),

где Ки - коэффициент информированности по проблеме, фиксируемый на основе самооценки эксперта по десятибалльной шкале; Ка - коэффициент аргументации, получаемый в результате суммирования баллов по принятой в научной литературе эталонной таблице [8] (см. таблицу).

Респонденту предлагалась таблица аргументации без цифр. Он отмечал условным знаком (крестиком, галочкой и т. д.) роль каждого источника своей аргументации в одной из трех возможных градаций (В, С, Н). После наложения заполненной таблицы на эталонную таблицу коэффициентов аргументации подсчитыва-лось количество баллов по всем обозначенным шести источникам.

Далее респонденты отвечали на поставленные вопросы, заполняя заранее подготовленную анкету. Перед каждой графой анкеты был приведен уточняющий текст: «Ответьте, пожалуйста, на вопросы, используя цифры от нуля до десяти, где ноль ставится при ответе «Категорически не согласен», десять - при ответе «Полностью согласен». Прокомментируйте свой ответ. Ваши комментарии будут доступны другим экспертам, поэтому опишите их подробно».

Эталонная таблица коэффициентов аргументации

Источник аргументации Степень влияния источника на мнение эксперта

В

Теоретический анализ 3 2 1

Обобщение работ зарубежных авторов 0,5 0,5 0,5

Учет работ отечественных авторов 0,5 0,5 0,5

Личное знакомство с состоянием дел за рубежом 0,5 0,5 0,5

Производственный опыт 5 4 2

Интуиция эксперта 0,5 0,5 0,5

После того как все респонденты заполнили анкету, координирующая группа провела анализ результатов. Для этого вычислялись:

Средний коэффициент компетентности МеГ по формуле

мс/ =

где С/[ - коэффициент компетентности / - го эксперта, п - количество экспертов.

Средняя оценка Мг

Мг = ^х,

где Х( - оценка, поставленная / - ым экспертом, п - количество экспертов.

Средневзвешенная оценка Штг

Фиксировалась медиана. Для вычисления медианы оценки респондентов упорядочивались по возрастанию и выбирались две средние по величине оценки, затем определялась их среднеарифметическое значение.

Определялся доверительный интервал. Считались квартили, 1/4 от разницы между максимальной и минимальной оценкой респондентов. Нижней границей доверительного интервала была принята минимальная оценка общей группы респондентов плюс один квартиль, верхней - максимальная оценка минус один квартиль.

Вычислялся интерквартильный размах. Ин-терквартильный размах - это разность между верхним и нижним квартилем, то есть длина доверительного интервала.

Итоги опроса по методу Дельфи

В первом туре опроса определялся коэффициент компетентности каждого респондента в выбранной предметной области. Респондент получал пакет справочно-информационных материалов по обсуждаемой теме и анкету с условным числовым номером на основе соблюдения принципа анонимности в группе. Особое внимание уделялось наличию развернутых комментариев на предлагаемые вопросы.

Второй тур начался с того, что респонденты получили отчет по первому туру, где был указаны: средний коэффициент компетентности, средняя оценка, средневзвешенная оценка, медиана, доверительный интервал и интерквар-тильный размах, а также комментарии респондентов, чьи оценки вышли за пределы доверительного интервала. Участники опроса знакомились с результатами первого тура и вновь заполнили анкету, имея возможность изменить свое мнение после ознакомления с чужими оценками и прочтения комментариев, либо оставить его прежним.

Третий и последующий туры проводились аналогично. Вопрос считался решенным, если длина доверительного интервала оказывалась не больше двух. В противном случае решение вопроса откладывалось до получения новой уточняющей информации.

Для анализа результатов было отобраны ответы 14 респондентов из ответов 25 участников эксперимента. Часть анкет пришлось забраковать ввиду низкой корректности ответов (пропуски в графах анкеты, текст, не несущий

смысловой нагрузки, и т. д.). Ниже приведены ответы каждого из 14 респондентов на пять поставленных вопросов.

Обработка результатов показала, что проблемы, оглашенные в вопросах 2 и 4, имеют согласованные решения. В частности, возможность создания расширенного Таможенного союза в рамках ЕврАзЭС респонденты оценили значением 6,91 по десятибалльной шкале.

Выгоду от вступления в состав ЕврАзЭС всех стран бывшего СССР респонденты также оценили согласованно, сойдясь на значении 5,17 по десятибалльной шкале. Однако перевес в положительную сторону оказался незначительным, что можно объяснить недостаточной информированностью респондентов в реалиях мировой экономики.

На основе метода Дельфи можно с уверенностью сказать, что создание расширенного Таможенного союза в рамках ЕврАзЭС студенты старших курсов ведущих институтов УрФУ считают возможным и желательным. Это совпадает с позицией признанных российских экспертов в обсуждаемой сфере. Однако вопросы 1, 3 и 5 остались неразрешенными. А именно, необходимость для России нахождения в ЕврАзЭС, оценка преимуществ вступления новых членов в ЕврАзЭС и характеристика перспективы объединения ЕврАзЭС и ЕС не нашла согласованной позиции. По всей видимости, это связано с краткостью информационно-справочных материалов, предложенных респондентам, их сложившимися шаблонами восприятия [9].

Для повышения уверенности в надежности результатов желательно предоставить возможность участникам дополнительно изучить рассматриваемую проблему и затем провести еще один, четвертый тур опроса. В то же время практика использования метода Дельфи подразумевает два-три раунда опроса. При проведении большего количества туров согласованность позиций экспертов не улучшалась, хотя затраты на проведение опросов росли. Также отмечалась эмоциональная усталость экспертов [10].

Ниже представлено графическое распределение оценок респондентов на протяжении трех туров опросов.

Вопрос 1 Оцените необходимость для России нахождения в ЕврАзЭС (0 - Россия должна выйти из состава ЕврАзЭС, 10 - Россия ни в коем случае не должна выходить из ЕврАзЭС).

Номер эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Тур 1 7 7 6 7 4 9 8 5 9 9 10 8 7 10

Тур 2 6 8 6 5 6 5 5 7 9 9 10 4 8 9

Тур 3 7 7 7 8 7 8 7 5 8 9 9 4 8 9

Вопрос 2 Оцените возможность создания расширенного Таможенного союза в рамках ЕврАзЭС (0 - создание союза невозможно, 10 - вполне реально).

Номер эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Тур 1 2 5 9 6 8 2 4 2 9 5 5 4 5 7

Тур 2 5 5 5 7 8 7 5 6 8 5 7 9 7 7

Тур 3 6 7 7 8 5 6 6 8 7 5 9 8 8 7

Вопрос 3 Оцените преимущества вступления новых членов в ЕврАзЭС (0 - преимуществ нет вообще, 10 - вступление в ЕврАзЭС скажется положительно на экономике и социальной стабильности всего сообщества).

Номер эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Тур 1 8 6 6 4 5 5 5 6 7 8 7 4 10 7

Тур 2 7 5 6 8 5 5 7 8 4 7 8 8 10 7

Тур 3 4 8 7 5 6 5 6 8 5 7 8 8 10 7

Вопрос 4 Как вы отнесетесь к тому, что в состав ЕврАзЭС войдут те же страны, которые входили в состав СССР

Номер эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Тур 1 4 4 4 5 6 6 9 9 6 6 8 3 9 5

Тур 2 5 4 8 3 5 2 5 5 8 6 7 2 7 5

Тур 3 5 6 6 3 7 3 5 5 4 6 6 5 7 5

Вопрос 5 Оцените перспективу объединения ЕврАзЭС и ЕС

Номер эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Тур 1 4 8 6 8 8 7 5 5 5 4 0 9 0 6

Тур 2 2 5 7 6 7 5 5 8 6 4 0 4 0 6

Тур 3 3 8 3 6 5 6 5 4 5 4 3 4 0 6

1 Эксперт

2 Эксперт

3 Эксперт •4 Эксперт

5 Эксперт

6 Эксперт

7 Эксперт

8 Эксперт

9 Эксперт

10 Эксперт И Эксперт

12 Эксперт

13 Эксперт

14 Эксперт

Рис. 1. Оценка возможности создания расширенного Таможенного союза в рамках ЕврАзЭС

• * •

1 Тур

2 Тур

3 Тур

Эксперт 1 Эксперт 2 Эксперт 3 Эксперт 4 Эксперт 5 Эксперт 6 Эксперт 7 Эксперт 8 Эксперт 9 Эксперт 10 Эксперт 11 Эксперт 12 Эксперт 13 Эксперт 14

Рис. 2. Оценка перспективы объединения ЕврАзЭС и ЕС

Рис. 1 демонстрирует сходимость результатов опроса для решенной проблемы возможности создания расширенного Таможенного союза в рамках ЕврАзЭС. Видно, что интервал мнений последовательно сужается. На рис. 2 также видна сходимость результатов от первого к третьему туру, но она недостаточна для принятия решения о согласованной позиции участников опроса.

Ясно видна сходимость мнений респондентов по второму вопросу и неизменность их позиций по пятому вопросу анкеты, что характеризует применимость рассматриваемого метода для выявления согласованного мнения при решении масштабных задач развития общества. Также

подтверждается известное из литературных источников оптимальное количество туров опроса, которое находится в промежутке от двух до четырех.

Выводы

В отличие от общепринятых методов социологических опросов метод Дельфи имеет ряд преимуществ. Заочный характер взаимодействия респондентов, анонимность их мнений, индивидуальность оценок и комментариев, итеративность экспертизы, простота статистической обработки опросных характеристик дают возмож-

233

ность получить объективные количественные параметры экспертной оценки. Это немаловажно для предметных областей, которые сложно описывать с помощью числовых характеристик.

Результаты опроса по методу Дельфи подтвердили, что выпускники ведущих институтов федерального университета могут быть выбраны

в качестве экспертов при решении сложных междисциплинарных задач. Они способны за короткий срок разобраться в злободневной социально-экономической проблематике, не имеющей прямого отношения к профилю полученного образования. Их мнение близко к позиции признанных экспертов в обсуждаемой сфере.

СПИСОК ЛИТЕРАТУРЫ

1. Gordon T., Helmer O. Report on a Long Range Forecasting Study. RAND Paper P-2982. RAND Corporation, Santa Monica, California, 1964.

2. Форсайт. 2007. № 1 [электронный ресурс] -Режим доступа: URL:http://ecsocman.hse.ru/ data/ 2011/ 11/11/1270180222/6-7.pdf - Дата обращения : 10.08.2013.

3. Ахременко А.С. Политический анализ и прогнозирование : учеб. пособие /- М.: Гардарики, 2006

4. Статистический портал StstSoft [электронный ресурс] - Режим доступа: http://www.statistica.ru -Дата обращения: 11.09.2013.

5. Harold A. Linstone, Murray Turoff, Olaf Helmer. The Delphi Method Techniques and Applica-

tions. University of Southern California, 2002.

6. The Use of the Delphi Technique in Problems of Educational Innovations, The RAND Corporation, P -3499, December 1966.

7. Analysis of the Future: The Delphi Method, The RAND Corporation, P - 3558, March1967.

8. Малин А.С., Мухин В.И. Исследование систем управления : учебник для ВУЗов. 3-е издание -М. Изд. дом - ГУ-ВШЭ, 2005.

9. Рягин Ю.И. Ты - аналитик : учеб. пособие . 2-е изд. - Екатеринбург : УрФУ, 2010. - 228 с.

10. Brown, Bernice. «Delphi Process: A Methodology Used For Elicitation of Opinions of Experts» ASTME Vectors, Vol. 3, No. 1, 1968, P. 4 - 8.

REFERENCES

1. Gordon T., Helmer O. Report on a Long Range Forecasting Study. RAND Paper P-2982. RAND Corporation, Santa Monica, California, 1964.

2. Forsait. 2007. № 1 [elektronnyi resurs] - Rezhim dostupa: URL:http://ecsocman.hse.ru/ data/2011/1 1/11/1270180222/6-7.pdf

3. Akhremenko A.S. Politicheskii analiz i prognozirovanie : ucheb. posobie /. - M.: Gardarki, 2006.

4. Statisticheskii portal StstSoft [elektronnyi resurs] - Rezhim dostupa: http://www.statistica.ru - Data obrashcheniiya: 11.09.2013.

5. Harold A. Linstone, Murray Turoff, Olaf Helmer. The Delphi Method Techniques and Applica-

tions. University of Southern California, 2002.

6. The Use of the Delphi Technique in Problems of Educational Innovations, The RAND Corporation, P -3499, December 1966.

7. Analysis of the Future: The Delphi Method, The RAND Corporation, P - 3558, March1967.

8. Malinin A.S., Mukhin V.I. Issledovanie sistem upravleniiya. Uchebnik dlya VUZov. 3-e izdanie - M. Izd. dom - GU-VSHE', 2005.

9. Ryagin Yu.I. Ty - analytic. Ucheb. posobie . 2-e izdanie. Ekaterinburg : ypy, 2010. - 228 c.

10. Brown, Bernice, «Delphi Process: A Methodology Used For Elicitation of Opinions of Experts» ASTME Vectors, Vol. 3, No. 1, 1968, P. 4 - 8.

СВЕДЕНИЯ ОБ АВТОРАХ/AUTHORS

РЯГИН Юрий Игнатьевич - доцент института естественных наук УрФУ, направление «Ин-новатика»; Уральский федеральный университет имени первого Президента России Б.Н. Ельцина (УрФУ); 620000, пр. Ленина, 51, департамент «Физический факультет», Екатеринбург, Россия; e-mail: yuryagin@yahoo.com

RYAGIN Yury I. - Associate Professor of the Institute of Natural Sciences UrFU, direction «Innovations»; Ural Federal University named after the first President of Russia B. N. Yeltsin (UrFU), 620000, 51 Lenin ave., Department of Physics, Ekaterinburg, Russia; e-mail: yuryagin@yahoo.com

ГЛУШКОВ Михаил Игоревич - бакалавр математики, студент магистратуры института математики и компьютерных наук Уральский федеральный университет, Россия; e-mail: miglushkov@gmail.com

GLUSHKOV Mikhail I. - bachelor of mathematics, master student of the Institute of mathematics and computer science UrFU, Russia; e-mail: miglushkov@gmail.com

ОСТРОУХОВА Лидия Александровна - бакалавр техники и технологии, студентка магистратуры института естественных наук Уральский федеральный университет, Россия; e-mail: Lidusya92@mail.ru

OSTROUKHOVA Lidiya A. - bachelor of engineering and technology, master student of the Institute of natural science UrFU, Russia;e-mail: Lidusya92@mail.ru

© Санкт-Петербургский государственный политехнический университет, 2013