Механизмы активной экспертизы в задачах комплексного оценивания

УДК 514

МЕХАНИЗМЫ АКТИВНОЙ ЭКСПЕРТИЗЫ В ЗАДАЧАХ КОМПЛЕКСНОГО

ОЦЕНИВАНИЯ

С. А. Баркалов, В.Н. Бурков, В. Л. Порядина

В статье рассматривается постановка задачи определения оптимального механизма принятия коллективного экспертного решения в условиях активного поведения экспертов для случая, когда каждый эксперт дает скалярную оценку в балльной шкале

Ключевые слова: механизм, решение, шкала

Введение

При разработке процедур комплексного оценивания результатов деятельности широко используются экспертные оценки, в том числе при выборе системы показателей, процедур агрегирования, определении вида и параметров функций оценки. В качестве экспертов часто привлекаются специалисты, являющиеся членами оцениваемых коллективов и поэтому, заинтересованные в результатах экспертизы. Такие эксперты могут влиять на итоги экспертизы, манипулируя своими оценками, поэтому процедура экспертизы в этих условиях является «активной экспертизой».

Постановка задачи

При исследовании процедур обработки экспертных оценок и принятия решения важно учитывать то обстоятельство, что эксперты могут быть заинтересованы в результатах экспертизы и стремятся повлиять на эти результаты с целью получения наиболее выгодного для них коллективного решения. Влияние на итоговое решение «активные» эксперты оказывают путём манипулирования своими оценками (представляя искажённые данные).

Задача анализа активных процедур состоит в оценке возможного субъективного искажения представляемой экспертами информации, задача синтезе - в построении экспертных процедур, минимизирующих искажения.

Рассмотрим общую постановку задачи «активной экспертизы» [1].

Пусть экспертиза осуществляется группой из п экспертов, Sг фактор оценок, сообщаемых ,- м экспертом, Л,- множество возможных оценок эксперта^ = {8,},, = 1, п - совокупность оценок экспертов - результат принятого решения, отображение я(!$) - процедура отработки экспертных оценок и принятия решения (экспертная процедура). Заинтересованность экспертов в принятом решении К можно выразить в виде целевой функции эксперта

Баркалов Сергей Алексеевич - ВГАСУ, д-р техн. наук, профессор, тел. (4732) 76-40-07

Бурков Владимир Николаевич - ИПУ РАН, д-р техн. наук, профессор, тел. (495) 334-79-00

Порядина Вера Леонидовна - ВГАСУ, канд. техн. наук, тел. (4732) 76-40-07

fi (п) • Совокупность целевых функций экспертов назовём системой стимулирования W = \fi (п)} . Механизм экспертизы Е определяется парой (W,n(S)), задача лица, организующего экспертизу, состоит в построении механизма экспертизы, эффективного с точки зрения некоторого критерия эффективности ф(п) (для определённости примем, что более эффективным процедурам соответствуют большие значения критерия ф).

При фиксированном механизме экспертизы процесс экспертизы можно рассмотреть как бескоалиционную игру n лиц (экспертов) стратегиями

Si е Лi и функциями выигрыша (fi,n(S')). Если определено множество К0 решений игры экспертов, то эффективность механизма экспертизы

K(S) = min Ф(п(S)). Можно оценить как гаранти-

SeR0

рованное значение критерия эффективности на множестве решений игры экспертов и поставить задачу определения экспертного механизма, имеющего максимальную эффективность.

Рассмотрим следующую постановку задачи.

Группа экспертов из n человек оценивает какой-либо объект.

Каждый эксперт дает оценку объекта в балльной шкале (d,D), где d- минимальная, а D-максимальная оценка. В задачах комплексного оценивания результатов деятельности таким образом могут формироваться итоговые оценки, оценки по

направлениям деятельности ........ по определенным

показателям, а также параметры функций оценки по показателям.

Коллективное экспертное решение принимается в соответствии с установкой процедурой где к(а) = (o1,.,oi,.,on)- вектор сообщаемых экспертами оценок, x = п(а) - принятое коллективное решение (итоговая оценка). Примем, что п(о) - непрерывная, возрастающая функция

п(d)=d,п(D)=D(этого можно добиться линейным преобразованием шкалы).

Пусть r=(r1,...,ri....,rn)- вектор истинных (субъективных) оценок экспертов. Эксперты заинтересованы в результатах экспертизы, а именно в том, чтобы итоговая оценка была как можно ближе к его истинной оценке rt . Поэтому при заданной процедуре к(а) эксперт будет сообщать такую оцен-

ку а,, чтобы минимизировать отклонение х от г,, что можно представить в виде стремления к минимизации целевой функции /,(х, г) = \х-г,\.

Процесс экспертизы будем рассматривать как бескоалиционную игру п лиц, стратегиями которых являются сообщаемые оценки а, .

В качестве решения игры примем ситуацию равновесия Нэша а (г) такую, что

п(а*)-r, 1= min

I 1 z^\d ,D

я(а*_і, Z)-Z |, і = 1,

Примем сначала, что процедура п(а) удовлетворяет следующим требованиям: существует ситуация равновесия Нэша, причем итоговая оценка X = п(а) Единственная, хотя самих точек Нэша .... Может быть много.

Рассмотрим некоторую базовую процедуру п(г). Итоговая оценка считается наиболее объективным отображением мнений экспертов при условии [2,3], что они сообщают свои истинные оценки Г,.

В качестве примера наиболее распространенных базовых процедур можно привести процедуру усреднения:

1 п

П (г) = - Z Гі

п і=1

Или взвешенного среднего:

п (г) = jr а х г,,

і=1

где ai - вес i-го эксперта, отражающий его компетентность, ai>0 .

В качестве оценки эффективности процедуры п(а) рассмотрим максимальную абсолютную погрешность Дп процедуры п(а) в ситуации равновесия а (г)относительно базовой процедуры п (r):

Ап = max\п\ст *

ze[d ,.d] I

Постановка задачи - определить оптимальную процедуру формирования итоговой оценки nopf(a), имеющую минимальную абсолютную погрешность Ап.

Аналогичная задача может быть поставлена для случая, когда качество процедуры оценивается величиной максимальной относительной ошибки дп:

(г)]

5. = max

Для решения указанных задач необходимо определить свойства ситуации равновесия а (г) (1) для п(а), таких, что п(а) - возрастающая функция

а,, / = 1, п, а, е [, б\п№) = d, п(Б) = Б, причем ситуация равновесия Нэша существует и итоговая оценка X =п(а) Единственная, хотя самих точек Нэша а может быть много.

Предположим сначала, что п(а) - строго

возрастающая функция где, все эксперты пронумерованы в порядке возрастания г, и все г, величины, то есть Г1<Г2<..<Гп.

Пусть X = п(а). В силу определения ситуации равновесия предположений относительно п(а),

ж * * *

если х >г,, то аi =а, если х <г,, то а, =и. Неравенство а<а, <Б справедливо только в том случае, когда Х*= г. Тогда, если х*=гд, то для I = I, , -1

* -ш * Ж

а = и,, для I = q +1, п а і = D и aq определяется

из уравнения:

(

п

d,..., d ,а„, D,...., D

= R.

q

V «-1 п-« У

Следовательно, для определения ситуации равновесия достаточно найти д.

Для этого вычислим (п-1) чисел таких,

что

( \

W; =П

і = 1, n -1

V I N-1 /

Поскольку

п(Б) = Б,п(d) = d, тоБ > к1 > к2 > ...кп-1 > d при этом, если W¡ < < W¡-1, тоХ * = ,, то есть

на отрезке к к- ] эксперт, имеющий ,-ую по величине оценку Я,, определяет итоговую оценку.

Покажем, что существует единственный эксперт д такой, что

к-1 > Я'-1

к, < Я,

если д=1, тоЖ0,=В, Я0 =й, а если д=п, то Жп,=й по определению. Действительно, при д=1 Ж0,=а>а=Я0 а при =п, Жп =а<гп . Поэтому найдётся д, такой, что впервые Жд<Яд .Очевидно, такое д единство, так как для всех &'<д Ж>Жд-1>Яд-1>Ях для всех 8>д

Ж<Жд<Яд<Я„

Заметим, что если Жд-1<Яд, то эксперт q будет сообщать ему ад=Б ,а итоговая оценка будет равна Жд_1 . Если же Wq-1< Итоговая оценка будет равна Яд .

Окончательно, когда q Определено, итоговая оценка X в ситуации равновесия определяется следующим образом:

Х*=т,п

Следовательно, ситуация равновесия для любой процедуры п(а) оказывается набором (п-1) чисел

Ж, (определённых условиями.........)) и процедурой

итоговой оценки X, представленной условиями (8), (9).

Если упорядоченность оценок Я, по возрастанию сохраняется, выбор чисел {Ж} не зависит от Я, . Если упорядоченность измениться, то числа {Ж} в общем случае также изменяются.

Из (7) следует, что Ж, определяется множеством Qi, состоящих из , экспертов, которые имеют наименьшие оценки Я1 . Количество таких множеств

равно ]ГСП = 2п .

¡=0

Таким образом, для описания всех возможных ситуаций равновесия для всех сложных значе-ний{Я} необходимо определять 2п чисел W(Q) которых, что

к

п

\d, еслш е О

а (О) = \Б *О

[Б, еслш £ О

0- любое подмножество экспертов, включая пустое Q = 0 и полное Б(по определению,

Ж(0)=В,Ж(1)=ф.

При анализе ситуации равновесия были сделаны предположения относительно того, что п(а) строго возрастает по аi и все г, величины.

Отметим, что первое предположение не является существенным, поскольку отказавшись от него, тем не менее придем к управлению (6) и все дальнейшие рассуждения остаются в силе.

Отказ от предложения, что все Я, различны, приводит к тому, что д- не единственно, существует несколько ситуаций равновесия, несколько точек Нэша), однако и в этом случае итоговая оценка единственна.

Пусть, например, в упорядоченном ряду значений г, есть одинаковые значения, г,=г,+1. Тогда ,

о * * *

если х >г,=г,+1, то а, =..=а, если х <г,=г,+1, то а, = а+1 =Б,и й< а, <Б или й< а,+1 <Б только и только, ** когда х =г,=г,+1. Тогда, если х =гд=гд+1 , для = I,, -1 аi =а для , + 2, п а, =Б и ад, ад+1 определяются из уравнения:

(

п

dd ,ai,ai+l, D,., D

, , -i

п-

= ГЧ = Г+1

Заключение

Необходимо отметить, что при решении задачи практически неважно, каким образом получается ситуация равновесия, поскольку далее будет указано, что оптимальный механизм следует искать в классе механизма открытого управления, при этом эксперты сообщают свои истинные оценки г,

Литература

1. Алферов В.Н., Баркалов С.А., Бурков В.Н., Курочка П.Н., Хорохордина Н.В., Шипилов В.Н. Прикладные задачи управления строительными проектами. - Воронеж: Центрально - Черноземное книжное издательство, 2008. - 765 с.

2. Андронникова Н.Г., Баркалов С.А., Бурков В.Н., Котенко А.М. Модели и методы оптимизации региональных программ развития. (Препринт) - М.: Институт проблем управления им. В.А. Трапезникова РАН, 2001.

3. Андронникова Н.Г., Бурков В.Н., Леонтьев СВ. Комплексное оценивание в задачах регионального управления - М. 2002 (Научное издание / Институт проблем управления им. В.А. Трапезникова РАН).

Воронежский государственный архитектурно-строительный университет,

Институт проблем управления им. В.А. Трапезникова РАН

MECHANISMS OF ACTIVE EXAMINATION IN PROBLEMS COMPLEX ESTIMATION

S.A. Barkalov, V.N. Burkov, V.L. Porjadina

In clause statement of a problem of definition of the optimum mechanism of acceptance of the collective expert decision in conditions of active behaviour of experts for a case when each expert states a scalar estimation in a mark scale is considered

Keywords: the mechanism, the decision, a scale