Прогнозирование рисков

2.4.1. Прогнозирование рисков



 Методы социально-экономического прогнозирования. Кратко рассмотрим различные методы эконометрического прогнозирования (предсказания, экстраполяции), используемые в социально-экономической области. По вопросам прогнозирования имеется большое число публикаций (см., например, книги [1-9]). Как часть теории принятия решений существует научная дисциплина "Математические методы прогнозирования". Ее целью является разработка, изучение и применение современных математических методов эконометрического (в частности, статистического, экспертного, комбинированного) прогнозирования социально-экономических явлений и процессов, причем методы должны быть проработаны до уровня, позволяющего их использовать в практической деятельности экономиста, инженера и менеджера. К основным задачам этой дисциплины относятся разработка, изучение и применение современных математико-статистических методов прогнозирования. Наиболее перспективными являются непараметрические методы. Они включают метод наименьших квадратов с оцениванием точности прогноза, адаптивные методы, методы авторегрессии и др. Не менее необходимо развитие теории и практики экспертных методов прогнозирования. В том числе методов анализа экспертных оценок на основе статистики нечисловых данных. Особенно актуальна разработка методов прогнозирования в условиях риска, а также комбинированных методов прогнозирования с использованием совместно экономико-математических и эконометрических (как статистических, так и экспертных) моделей. 



 Теоретической основой методов прогнозирования являются математические дисциплины (прежде всего, теория вероятностей и математическая статистика, дискретная математика, исследование операций), а также экономическая теория, экономическая статистика, менеджмент, социология, политология и другие социально-экономические науки. 



 Как общепринято со времен основоположника научного менеджмента Анри Файоля, прогнозирование и планирование - основа работы менеджера (см. главу 1.2). Сущность эконометрического прогнозирования состоит в описании и анализе будущего развития, в отличие от планирования, при котором директивным образом задается будущее движение. 



 Часто оказывается полезным промежуточный путь между прогнозированием и планированием – так называемое нормативное прогнозирование. При его применении сначала задается цель (т.е. «норма», которой необходимо следовать). Затем разрабатывается система мероприятий, обеспечивающая достижение этой цели, и изучаются характеристики этой системы (объем необходимых ресурсов, в том числе материальных, кадровых, финансовых, временных, возникающие риски и т.п.). 



 Роль прогнозирования в управлении страной, отраслью, регионом, предприятием очевидна. Необходимо учитывать СТЭЭП-факторы (т.е. социальные, технологические, экономические, экологические, политические), факторы конкурентного окружения и научно-технического прогресса. А также прогнозирование расходов и доходов предприятий, населения и общества в целом. Проблемы внедрения и практического использования математических методов эконометрического прогнозирования для управления рисками и принятия решений связаны прежде всего с отсутствием в нашей стране достаточно обширного опыта подобных исследований.



 Статистические методы прогнозирования. Наиболее часто используется метод наименьших квадратов при небольшом числе факторов (1-5). Метод наименьших модулей и другие методы экстраполяции применяются реже, хотя их статистические свойства зачастую лучше.  



 Оценивание точности прогноза - необходимая часть процедуры квалифицированного прогнозирования. При этом обычно используют вероятностно-статистические модели восстановления зависимости, например, строят наилучший прогноз по методу максимального правдоподобия (при использовании параметрических моделей). Разработаны параметрические (обычно на основе модели нормальных ошибок) и непараметрические оценки точности прогноза и доверительные границы для него (на основе Центральной Предельной Теоремы теории вероятностей). Так, в Институте высоких статистических технологий и эконометрики предложены и изучены методы доверительного оценивания точки наложения (встречи) двух временных рядов и их применения для оценки динамики технического уровня собственной продукции и продукции конкурентов, представленной на мировом рынке. 



 Применяются также эвристические приемы, не основанные на какой-либо теории: метод скользящих средних, метод экспоненциального сглаживания. Адаптивные методы прогнозирования позволяют оперативно корректировать прогнозы при появлении новых точек 



 Многомерная регрессия - основной на настоящий момент эконометрический аппарат прогнозирования. Подчеркнем, что нереалистическое предположение о нормальности погрешностей измерений и отклонений от линии (поверхности) регрессии использовать не обязательно. Однако для отказа от предположения нормальности необходимо опереться на иной математический аппарат, основанный на многомерной центральной предельной теореме теории вероятностей и эконометрической технологии линеаризации. Он позволяет проводить точечное и интервальное оценивание параметров, проверять значимость их отличия от 0 в непараметрической постановке, строить доверительные границы для прогноза.



 Весьма важна проблема проверки адекватности модели, а также проблема отбора факторов. Дело в том, что априорный список факторов, оказывающих влияние на отклик, обычно весьма обширен, желательно его сократить. Крупное направление современных эконометрических исследований посвящено методам отбора "информативного множества признаков". Однако эта проблема пока еще окончательно не решена. Проявляются необычные эффекты. Так, установлено [10], что обычно используемые статистические оценки степени полинома при росте объемы выборки имеют геометрическое распределение. 



 Перспективны непараметрические методы оценивания плотности вероятности и их применения для восстановления регрессионной зависимости произвольного вида. Наиболее сильные результаты в этой области получены с помощью подходов статистики нечисловых данных [10].



 К современным статистическим методам прогнозирования относятся также модели авторегрессии, модель Бокса-Дженкинса, системы эконометрических уравнений, основанные как на параметрических, так и на непараметрических подходах. 



 Для установления возможности применения асимптотических результатов при конечных (т.н. "малых") объемах выборок полезны компьютерные статистические технологии. Они позволяют также строить различные имитационные модели. Отметим полезность методов размножения данных (бутстреп-методов). Системы прогнозирования с интенсивным использованием компьютеров объединяют различные методы прогнозирования в рамках единого автоматизированного рабочего места прогнозиста. 



 Прогнозирование на основе данных, имеющих нечисловую природу, в частности, прогнозирование качественных признаков основано на результатах статистики нечисловых данных. Весьма перспективными для прогнозирования представляются регрессионный анализ на основе интервальных данных, включающий, а также регрессионный анализ нечетких данных, разработанный в монографии [11] – первой книге российского автора по нечетким множествам. Общая постановка регрессионного анализа в рамках статистики нечисловых данных и ее частные случаи - дисперсионный анализ и дискриминантный анализ (распознавание образов с учителем) дает единый подход к формально различным методам, традиционно рассматриваемым как принципиально различные. Она полезна при программной реализации современных статистических методов прогнозирования.



 Экспертные методы прогнозирования. Необходимость и общее представление о применении экспертных методов прогнозирования при принятии решений на различных уровнях управления - на уровне страны, отрасли, региона, предприятия - вытекают из рассмотрений главы 3.4. Отметим большое практическое значение экспертиз при сравнении и выборе инвестиционных и инновационных проектов, при управлении проектами, экологических экспертиз. Роли лиц, принимающих решения (ЛПР), и специалистов (экспертов) в процедурах принятия решений, критерии принятия решений и место экспертных оценок в процедурах принятия решений рассматриваются в экспертологии – научно-практической дисциплине, посвященной методам экспертных оценок. На ее основе формируются конкретные процедуры подготовки и принятия решений с использованием методов экспертных оценок, например, процедуры распределения финансирования научно-исследовательских работ (на основе балльных оценок или парных сравнений), технико-экономического анализа, кабинетных маркетинговых исследований (противопоставляемых "полевым" выборочным исследованиям), оценки, сравнения и выбора инвестиционных проектов. В качестве примеров конкретных экспертных процедур, широко используемых при прогнозировании, укажем метод Дельфи и метод сценариев.



  Экспертные оценки могут быть получены в различных математических формах. Наиболее часто используются количественные или качественные (порядковые, номинальные) признаки, бинарные отношения (ранжировки, разбиения, толерантности), интервалы, нечеткие множества, результаты парных сравнений, тексты и др. Основные понятия (репрезентативной) теории измерений: основные типы шкал, допустимые преобразования, адекватные выводы и др. - важны применительно к экспертному оцениванию. Необходимо использовать средние величины, соответствующие основным шкалам измерения. Применительно к различным видам рейтингов репрезентативная теория измерений позволяет выяснить степень их адекватности прогностической ситуации, предложить наиболее полезные для целей прогнозирования. 



 Например, анализ рейтингов политиков по степени их влиятельности, публиковавшийся одной из известных центральных газет, показал, что из-за неадекватности используемого математического аппарата лишь первые 10 мест, возможно, имеют некоторое отношение к реальности (они не меняются при переходе к другому способу анализа данных, т.е. не зависят от субъективизма членов Рабочей группы), остальные - "информационный шум", попытки опираться на них при прогностическом анализе могут привести лишь к ошибкам. Что же касается начального участка рейтинга этой газеты, то он также может быть подвергнут сомнению, но по более глубоким причинам, например, связанным с составом экспертной комиссии.



 Проблемы применения методов прогнозирования в условиях риска. Многочисленны примеры ситуаций, связанных с социальными, технологическими, экономическими, политическими, экологическими и другими рисками. Именно в таких ситуациях обычно и необходимо прогнозирование. Известны различные виды критериев, используемых в теории принятия решений в условиях неопределенности (риска). Из-за противоречивости решений, получаемых по различным критериям, очевидна необходимость применения оценок экспертов.



 В конкретных задачах прогнозирования необходимо провести классификацию рисков, поставить задачу оценивания конкретного риска, провести структуризацию риска, в частности, построить деревья причин (в другой терминологии, деревья отказов) и деревья последствий (деревья событий). Центральной задачей является построение групповых и обобщенных показателей, например, показателей конкурентоспособности и качества. Риски необходимо учитывать при прогнозировании экономических последствий принимаемых решений, поведения потребителей и конкурентного окружения, внешнеэкономических условий и макроэкономического развития России, экологического состояния окружающей среды, безопасности технологий, экологической опасности промышленных и иных объектов. Метод сценариев незаменим применительно к анализу технических, экономических и социальных последствий аварий.



 Имеется некоторая специфика применения методов прогнозирования в ситуациях, связанных с риском. Велика роль функции потерь и методов ее оценивания, в том числе в экономических терминах. В конкретных областях используют вероятностный анализ безопасности (для атомной энергетики) и другие специальные методы.



 Принятие решений и современные компьютерные технологии прогнозирования. Перспективны интерактивные (человеко-машинные) методы прогнозирования с использованием баз эконометрических данных, имитационных (в том числе на основе применения метода Монте-Карло, т.е. метода статистических испытаний) и экономико-математических динамических моделей, сочетающих экспертные, статистические и моделирующие блоки. Обратим внимание на сходство и различие методов экспертных оценок и экспертных систем. Можно сказать, что экспертная система моделирует поведение эксперта путем формализации его знаний по специальной технологии. Но интуицию "живого эксперта" нельзя заложить в ЭВМ, а при формализации мнений эксперта (фактически - при его допросе) наряду с уточнением одних его представлений происходит огрубление других. Другими словами, при использовании экспертных оценок непосредственно обращаются к опыту и интуиции высококвалифицированных специалистов, а при применении экспертных систем имеют дело с компьютерными алгоритмами расчетов и выводов, при создании которых когда-то давно привлекались эксперты как источник данных и типовых заключений.



 Обратим внимание на возможность использования в прогнозировании производственных функций, статистически описывающих связь выпуска с факторами производства, на различные способы учета научно-технического прогресса, в частности, на основе анализа трендов и с помощью экспертного выявления точек роста. Примеры экономических прогнозов всех видов имеются в литературе. К настоящему времени разработаны компьютерные системы и программные средства комбинированных методов прогнозирования. 



 Основные идеи технологии сценарных экспертных прогнозов. Как уже отмечалось, социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Объективно имеются точки выбора (фуркации), после которых рассматриваемое прогнозистами развитие может пойти по одному из нескольких возможных путей (эти пути и называют обычно сценариями). Выбор может делаться на разных уровнях - конкретной личностью (перейти на другую работу или остаться), менеджером (выпускать ту или иную марку продукции), конкурентами (сотрудничество или борьба), властными структурами (выбор той или иной системы налогообложения), населением страны (выбор президента), "международным сообществом" (вводить или нет санкции против России). 



 Рассмотрим примеры. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии социально-экономических событий можно было говорить лишь в терминах сценариев: если победит Б.Н. Ельцин, то будет то-то и то-то, если победит Г.А. Зюганов, то события пойдут так-то и так-то.



 Работа [12] имела целью прогноз динамики валового внутреннего продукта (ВВП) на 9 лет (1999-2007). При ее проведении было ясно, что за это время произойдут различные политические события, в частности, по крайней мере два цикла парламентских и президентских выборов (при условии сохранения нынешней политической структуры), результаты которых нельзя предсказать однозначно. Поэтому прогноз динамики ВВП мог быть сделан лишь по отдельности для каждого сценария из некоторой гаммы, охватывающей возможные пути социально-экономической динамики России. 



 Метод сценариев необходим не только при социально-экономическом прогнозировании. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить полный каталог сценариев аварий, связанных с утечками и выбросами токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, техническими, экономическими, медицинскими и социальными последствиями, возможностями предупреждения [13]. 



  Для построения исчерпывающего, но обозримого набора сценариев необходимо предварительно проанализировать динамику социально-экономического развития рассматриваемого экономического агента и его окружения. Корни будущего - в настоящем и прошлом, причем зачастую - в весьма далеком прошлом. Кроме макроэкономических и микроэкономических характеристик, известных лишь с погрешностями, необходимо учитывать состояние и динамику отечественного массового сознания, политических, в то числе внешнеполитических реалий, поскольку на обычно рассматриваемом интервале времени (до 10 лет) экономика зачастую следует за политикой, а не наоборот.



 Так, к началу 1985 г. экономика СССР находилась в достаточно стабильном состоянии с ежегодным ростом в среднем на 3-5%. Если бы не было «перестройки» и «реформ», то развитие продолжалось бы в прежних условиях. Тогда к концу тысячелетия ВВП СССР увеличился бы на 50% и составил 150 % от уровня 1985 г. Из-за «перестройки» и «реформ» ВВП России за эти 15 лет упал примерно в 2 раза, т.е. составил около 50 % по сравнению с 1985 г. Следовательно, в 3 раза меньше, чем можно было бы ожидать из чисто экономических причин при сохранении стабильных условий 1985 г. 



 Часто используют упрощенный подход к прогнозированию методом сценариев. А именно, формулируют три сценария - оптимистический, вероятный и пессимистический. При этом для каждого из сценариев достаточно произвольно выбирают значения параметров, описывающих производственно-экономическую ситуацию (по-английски - case). Цель такого подхода - рассчитать интервалы разброса для характеристик и "коридоры" для временных рядов, интересующих исследователя (и заказчика исследования). Например, прогнозируют финансовый поток (по-английски - cash flow) и чистую текущую стоимость (по-английски - net present value или NPV) инвестиционного проекта.



 Ясно, что такой упрощенный подход не может дать максимального или минимального значения характеристики, он дает лишь представление о порядке количественной меры разброса. Однако его развитие приводит к байесовской постановке в теории принятия решений. Например, если сценарий описывается элементом конечномерного евклидова пространства, то любое вероятностное распределение на множестве исходных параметров преобразуется в распределение интересующих исследователя характеристик. Расчеты могут быть проведены с помощью современных информационных технологий метода статистических испытаний. Надо в соответствии с заданным распределением на множестве параметров выбирать с помощью датчика псевдослучайных чисел конкретный вектор параметров и рассчитывать для него итоговые характеристики. В результате получится эмпирическое распределение на множестве итоговых характеристик, которое можно разными способами анализировать, находить оценку математического ожидания, разброса и др. Остается только неясным, как задавать распределение на множестве параметров. Естественно, для этого можно использовать экспертов. 



 Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому обычно предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения. 



 Как известно, при принятии решений на основе анализа ситуации, в том числе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д. 



2.4.2. Различные виды рисков



 Будущее нам неизвестно. А потому неизвестны и будущие доходы и расходы, мы можем лишь прогнозировать их с той или иной степенью уверенности. Как описывать неопределенность будущего? Чем мы рискуем и что вообще понимать под "риском"? Как отражается неопределенность будущего на финансовых потоках (потоках платежей и поступлений), их характеристиках и выводах об эффективности управляющих воздействий на те или иные экономические процессы и других решениях? Как уменьшить возможные потери и защититься от рисков? 



 Риск – это нежелательная возможность. Эта возможность может реализоваться в будущем. Поэтому методы анализа и управления рисками базируются на методах прогнозирования будущего развития.



 Чтобы управлять рисками, надо сначала знать о существующих рисках. Поскольку на деятельность любой организации непосредственно либо потенциально влияют риски различной природы, необходима классификация рисков. Возможно, для различных целей понадобятся различные классификации, основанные на различных методологических принципах. 



 Для построения такой классификации необходимо какой-либо упорядочивающий принцип. Возьмем за основу движение от частного к общему. Тогда естественно выделить:

- личные и семейные риски, относящиеся к судьбе отдельного человека и его семьи;

- производственные риски (внутренние риски), связанные непосредственно с деятельностью предприятия;

- коммерческие риски, вызванные неполной предсказуемостью динамики рынка, т.е. действий потребителей и конкурентов;

- финансовые риски, определяемые макроэкономической ситуацией;

- риски, возникающие на уровне государства и Земли в целом.



Затем необходимо изучить степень их влияния на показатели эффективности деятельности организации с целью выделения наиболее значимых. 



  После этого целесообразно провести изучение различных способов оценки финансовых и иных рисков в случаях, когда они моделируются с помощью тех или иных математических структур. В частности, распространено моделирование рисков с помощью вероятностей и случайных величин. Перспективной представляется разработка методов описания рисков с помощью теории нечетких множеств, лингвистических переменных, качественных признаков, интервальных математических и эконометрических моделей и др. Существенно, что описание может быть многомерным. Например, каждая координата может соответствовать своему виду воздействия (нарушения, происшествия) и описываться количественным либо качественным признаком. Тогда дополнительно возникает задача агрегирования (сведения вместе) показателей риска. Для агрегирования могут быть использованы различные методы, разработанные в теории оценки технического уровня и в теории экспертных оценок.



  Следующий этап - разработка методологии применения различных методов управления рисками с использованием экспертных оценок, современных методов прогнозирования, эконометрических и экономико-математических моделей с целью повышения эффективности деятельности организации в условиях риска. При этом необходимо научиться практически решать проблему многокритериальности (согласования оценок рисков, полученных по различным основаниям, с целью эффективного управления риском).



  К настоящему времени накоплена огромная литература по вопросам риска, как общая, например, теория статистического риска, так и по отдельным вопросам – по экологическим рискам, статистическим методам обеспечения качества, финансовым рискам и др. 



  Производственные риски. К ним прежде всего относятся риски, связанные с выпуском дефектной продукции. Хорошо известно, что при массовом производстве невозможно обеспечить выпуск продукции без дефектов. Поэтому действуют отделы технического контроля (ОТК), службы (бюро) качества и другие подразделения, осуществляющие контроль качества продукции. Известно, что в машиностроении стоимость контрольных операций составляет в среднем около 10% от стоимости продукции. Часть потерь от риска компенсируется службами технического обслуживания продукции, уже находящейся у потребителей. Постоянно используемыми терминами в этой области являются «риск поставщика» и «риск потребителя». Вопросам управления качеством посвящена обширная литература. Одна из важных групп показателей качества – характеристики надежности.



 Другой вид рисков связан с осуществлением действующих технологических процессов. Речь идет об авариях различной степени тяжести, от незначительных нарушений технологических процессов до катастроф с человеческими жертвами. Здесь целесообразно обратить внимание на экологические риски, в частности, связанные с аварийными сбросами в реки технологических жидкостей, выбросами в атмосферу газов и взвешенных частиц и др. За подобные действия предприятия обязаны платить штрафы согласно предписаниям экологических органов.



 Отметим риски, относящиеся к проектируемым продукции или технологическим процессам. Они могут быть связаны с ошибками разработчиков или физической невозможностью осуществления того или иного процесса. Так, в течение всей второй половины ХХ века физики постоянно говорили о появлении в ближайшее время неиссякаемого источника энергии на основе преобразования управляемого термоядерного синтеза. Эта пропаганда, несомненно, сдерживала финансирование и развитие ресурсосберегающих технологий. Еще в начале ХХ в. Д.И. Менделеев писал, что сжигать нефть – это то же самое, что топить печь ассигнациями. Тем не менее и сейчас нефть используют как топливо, разведанных запасов остается все меньше. Излишний оптимизм физиков нам всем еще дорого обойдется.



 Среди производственных рисков есть и социальные, связанные с теми или иными конфликтами. Здесь надо выделить конфликты между службами (отделами, цехами), с которыми можно бороться, оптимизируя организационную структуру предприятия. Далее - различного происхождения конфликты между менеджерами высшего звена; конфликты между профсоюзами и администрацией по поводу заработной платы или условий труда, и др. Современные методы управления персоналом позволяют заранее спрогнозировать многие из таких конфликтов и предложить пути их разрешения.



 Коммерческие риски. Речь идет о рисках, связанных с неопределенностью будущей рыночной ситуации в стране. В частности, о будущих действий поставщиков в связи с меняющимися предпочтениями потребителей. Напомним, например, о быстрых изменениях на рынке вычислительной техники в связи с появлением персональных компьютеров. Мода в той или иной степени отражается на поведении потребителей во многих областях.



 Весьма существенны риски, связанные с деятельностью партнеров организации - участников экономической жизни, в частности, с их деловой активностью, финансовым положением, отношением к соблюдению обязательств (в том числе их законопослушностью как налогоплательщиков). Особенно надо отметить роль конкурентного окружения, от действий которого зависит многое в судьбе конкретного предприятия. В частности, важны информационные риски, связанные с промышленным шпионажем и возможностями проникновения конкурентов в коммерческие тайны и иного воздействия на внутренние дела организации, в частности, через компьютерные сети типа Интернет. 



 К этому же типу можно отнести риски, связанные с социальными и административными факторами в конкретных регионах, с взаимоотношениями рассматриваемой организации с органами местной и региональной власти, как официальными, так и криминальными. 



 Финансовые риски. Отметим прежде всего риски, связанные с колебаниями цен на товары и услуги (динамикой инфляции), ставки рефинансирования Центрального банка, норм банковских процентов по кредитам и депозитам, валютных курсов и других макроэкономических показателей, в том числе котировок государственных и частных (корпоративных) ценных бумаг. Часть этих рисков носит объективный, а часть – число спекулятивный характер. К этому же типу можно отнести риски, связанные с нестабильностью законодательства и текущей экономической политики (т.е. с деятельностью руководства страны, министерств и ведомств). Дополнительные проблемы создает множественность нормативно-правовых актов, регулирующих хозяйственно-экономическую деятельность организации (порядка 104 , если считать не только федеральные нормативно-правовые акты, но и нормативно-правовые акты субъектов федерации, например, г. Москвы), зачастую противоречащих друг другу, что вызывает необходимость в участии в работе организации юристов, в том числе в судебных процессах. 



  Риски, возникающие на уровне государства и Земли в целом. К этому типу отнесем риски, связанные с политической ситуацией, действиями партий, профсоюзов, экологических и других организаций в масштабе страны. Типичным примером являются риски, связанные с заметным изменением курса страны в результате тех или иных выборов. Другой пример – российский «дефолт» (отказ государства от ряда финансовых обязательств), начавшийся в августе 1998 г. и непосредственно вызванный решением трех чиновников. Большое значение имеют риски, связанные с социальной борьбой («рельсовая война», забастовки, массовые столкновения, терроризм, и др.)…



 Внешнеэкономические риски, например, связанные с динамикой цены на нефть, крупномасштабными зарубежными финансовыми (в Юго-Восточной Азии) или военными (Югославия, Ирак) кризисами и т.д., могут оказать существенное воздействие на рассматриваемую организацию (предприятие).



 Большое число рисков связано с природными явлениями. Их можно объединить под именем «экологические». К ним относятся, в частности, риски, связанные с неопределенностью ряда природных явлений. Типичным примером является погода, от которой зависят урожайность (а потому и цены на сельскохозяйственные товары), расходы на отопление и уборку улиц, доходы от туризма и др. 



 Обратим внимание на риски, связанные с недостаточными знаниями о природе (например, нам неизвестен точный объем полезных ископаемых в том или ином месторождении, а потому мы не можем точно предсказать развитие добывающей промышленности и объем налоговых поступлений от ее предприятий). Нельзя забывать о рисках экологических бедствий и катастроф, типа ураганов, смерчей, землетрясений, цунами, селей и др.



 Каждый из перечисленных видов рисков может быть структурирован далее. Так, имеются крупные развернутые разработки по анализу рисков технологических аварий, в частности, на химических производствах и на атомных электростанциях [13]. Ясно, что аварии типа Чернобыльской существенно влияют на значения СТЭЭП-факторов (принятое сокращение для комплекса социальных, технологических, экономических, экологических и политических факторов, действующих на организацию) и тем самым на поступления и выплаты из бюджета как на местном, так и на федеральном уровне (что существенно, если «организация» – это муниципальный или государственный орган власти или его подразделение типа налоговой инспекции). 



2.4.3. Управление рисками



 Подходы к учету неопределенности при описании рисков. В теории принятия решений в настоящее время при компьютерном и математическом моделировании для описания неопределенностей чаще всего используют вероятностно-статистические методы (прежде всего методы статистики нечисловых данных, в том числе интервальной статистики и интервальной математики). Полезны методы теории нечеткости и методы теории конфликтов (теории игр). Математический инструментарий применяются в имитационных, эконометрических, экономико-математических моделях, реализованных обычно в виде программных продуктов.



 Некоторые виды неопределенностей связаны с безразличными к организации силами - природными (погодные условия) или общественными (смена правительства). Если явление достаточно часто повторяется, то его естественно описывать в вероятностных терминах. Так, прогноз урожайности зерновых вполне естественно вести в вероятностных терминах. Если же событие единично, то вероятностное описание вызывает внутренний протест, поскольку частотная интерпретация вероятности невозможна. Так, для описания неопределенности, связанной с исходами выборов или со сменой правительства, лучше использовать методы теории нечеткости и интервальной математики (интервал – удобный частный случай описания нечеткого множества). Наконец, если неопределенность связана с активными действиями соперников или партнеров, целесообразно применять методы анализа конфликтных ситуаций, т.е. методы теории игр, прежде всего антагонистических игр, но иногда полезны и более новые методы кооперативных игр, нацеленных на получение устойчивого компромисса.



 Подходы к оцениванию рисков. Понятие "риск", как уже отмечалось, многогранно. Например, при использовании статистических методов управления качеством продукции риски (точнее, оценки рисков) - это вероятности некоторых событий. В статистическом приемочном контроле «риск поставщика» - это вероятность забракования партии продукции хорошего качества, а «риск потребителя» - приемки «плохой» партии. При статистическом регулировании технологических процессов рассматривают риск незамеченной разладки и риск излишней наладки. 



 Тогда оценка риска – это оценка вероятности, точечная или интервальная, по статистическим данным или экспертная. В таком случае для управления риском задают ограничения на вероятности нежелательных событий. 



 Иногда под уменьшением риска понимают уменьшение дисперсии случайной величины, поскольку при этом уменьшается неопределенность. В теории принятия решений риск - это плата за принятие решения, отличного от оптимального, он обычно выражается как математическое ожидание. В экономике плата измеряется обычно в денежных единицах, т.е. в виде финансового потока (потока платежей и поступлений) в условиях неопределенности.



 Методы математического моделирования позволяют предложить и изучить разнообразные методы оценки риска. Широко применяются два вида методов - статистические, основанные на использовании эмпирических данных, и экспертные, опирающиеся на мнения и интуицию специалистов.  



 Чтобы продемонстрировать сложность проблемы оценивания риска и различные существующие подходы, рассмотрим простейший случай. Пусть неопределенность носит вероятностный характер, а потери описываются одномерной случайной величиной (а не случайным вектором и не случайным процессом). Другими словами, ущерб адекватно описывается одним числом, а величина этого числа зависит от случая.



 Итак, пусть величина порожденного риском ущерба моделируется случайной величиной Х (в смысле теории вероятностей). Как известно, случайная величина описывается функцией распределения



F(x) = P (X < x),



где x – действительное число (т.е., как говорят и пишут математики, любой элемент действительной прямой, традиционно обозначаемой R1). Поскольку Х обычно интерпретируется как величина ущерба, то Х - неотрицательная случайная величина.



 В зависимости от предположений о свойствах функции распределения F(x) вероятностные модели риска делятся на параметрические и непараметрические. В первом случае предполагается, что функция распределения входит в одно из известных семейств распределений – нормальных (т.е. гауссовских), экспоненциальных или иных. Однако обычно подобное предположение является мало обоснованным - реальные данные не хотят "втискиваться" в заранее заданное семейство. Тогда необходимо применять непараметрические статистические методы, не предполагающие, что распределение ущерба взято из того или иного популярного среди математиков семейства. При использовании непараметрических статистических методов обычно принимают лишь, что функция распределения F(x) является непрерывной функцией числового аргумента х.



 Обсудим два распространенных заблуждения. Во-первых, часто говорят, что поскольку величина ущерба зависит от многих причин, то она должна иметь т.н. нормальное распределение. Это неверно. Все зависит от способа взаимодействия причин. Если причины действуют аддитивно, то, действительно, в силу Центральной Предельной Теоремы теории вероятностей  есть основания использовать нормальное (гауссово) распределение. Если же причины действуют мультипликативно, то в силу той же Центральной Предельной Теоремы теории вероятностей следует приближать распределение величины ущерба Х с помощью логарифмически нормального распределения. Если же основное влияние оказывает "слабое звено" (где тонко, там и рвется), то согласно теоремам, доказанным академиком Б.В.Гнеденко, следует приближать распределение величины ущерба Х с помощью распределения из семейства Вейбулла-Гнеденко. К сожалению, в конкретных практических случаях различить эти варианта обычно не удается.



 Во-вторых, неверно традиционное представление о том, что реальные погрешности измерения нормально распределены. Проведенный многими специалистами тщательный анализ погрешностей реальных наблюдений показал, что их распределение в подавляющем большинстве случаев отличается от гауссова. Сводка этих исследований приведена в работе [10]. Среди специалистов распространено такое шуточное утверждение: «Прикладники обычно думают, что математики доказали, что погрешности распределены нормально, а математики считают, что прикладники установили это экспериментально». И те, и другие ошибаются. К сожалению, в настоящее время в экологической и экономической литературе имеется масса ошибочных утверждений. Существенная часть ошибок относится к использованию математических методов. Особенно это касается статистики и эконометрики. Причины появления ошибок разнообразны. Некоторые из них подробно обсуждаются в учебном пособии [10] и статье [14].



 Итак, рассмотрим ситуацию, когда возможная величина ущерба, связанного с риском, описывается функцией распределения F(x)=P(Х<x). Обычно стараются перейти от функции, описываемой (с точки зрения математики) бесконечно большим числом параметров, к небольшому числу числовых параметров, лучше всего к одному. Для положительной случайной величины (величины ущерба) часто рассматривают такие ее характеристики, как

- математическое ожидание;

- медиана и, более общо, квантили, т.е. значения х = х(а), при которых функция распределения достигает определенного значения а; другими словами, значение квантили х = х(а) находится из уравнения F(x) = а ;

- дисперсия (часто обозначаемая как σ2 – «сигма-квадрат»);

- среднее квадратическое отклонение (квадратный корень из дисперсии, т.е. σ – «сигма»);

- коэффициент вариации (среднее квадратическое отклонение, деленное на математическое ожидание);

-линейная комбинация математического ожидания и среднего квадратического отклонения (например, типично желание считать, что возможные значения ущерба расположены в таком интервале: математическое ожидание плюс-минус три сигма); 

- математическое ожидание функции потерь, и т.д.



Этот перечень, очевидно, может быть продолжен.



  Тогда задача оценки ущерба может пониматься как задача оценки той или иной из перечисленных характеристик. Чаще всего оценку проводят по эмпирическим данным (по выборке величин ущербов, соответствующим происшедшим ранее аналогичным случаям). При отсутствии эмпирического материала остается опираться на экспертные оценки, которым посвящена значительная часть следующей главы. Наиболее обоснованным является модельно-расчетный метод, опирающийся на модели управленческой, экономической, социально-психологической, эколого-экономической ситуации, позволяющие рассчитать характеристик ущерба. 



  Подчеркнем здесь, что характеристик случайного ущерба имеется много. Выше перечислено 7 видов, причем некоторые из них - второй, шестой и седьмой - содержат бесконечно много конкретных характеристик. Нельзя ограничиваться только средним ущербом, под которым обычно понимают математическое ожидание, хотя медиана ущерба не меньше соответствует этому термину. Весьма важны верхние границы для ущерба, т.е. квантили порядка а, где а близко к 1, например, а = 0,999999. При этом с вероятностью, не превосходящей 0,000001, реальный ущерб будет меньше х(0,999999). Сложные проблемы состоят в обоснованном вычислении границы х(0,999999), их мы не будем здесь касаться. 



 Что это такое – минимизация риска? Из предыдущих рассуждений следует, что минимизация риска может, например, состоять:



 1) в минимизации математического ожидания (ожидаемых потерь), 



 2) в минимизации квантиля распределения (например, медианы функции распределения потерь или квантиля порядка 0,99, выше которого располагаются большие потери, встречающиеся крайне редко - в 1 случае из 100),



 3) в минимизации дисперсии (т.е. показателя разброса возможных значений потерь),



 4) в минимизации суммы математического ожидания и утроенного среднего квадратического отклонения (на основе известного "правила трех сигм"), или иной линейной комбинации математического ожидания и среднего квадратического отклонения. Этот подход используют в случае близости распределения потерь к нормальному как комбинацию подходов, нацеленных на минимизацию средних потерь и разброса возможных значений потерь;



 5) в максимизации математического ожидания функции полезности (в случае, когда полезность денежной единицы меняется в зависимости от общей располагаемой суммы, как предполагается в микроэкономике [15], в частности, когда необходимо исключить возможность разорения экономического агента), и т.д.



 Перечень может быть продолжен. Например, не использована такая характеристика случайного ущерба, как коэффициент вариации. Однако целью изложения не является построение всеобъемлющей системы постановок задач минимизации риска, поэтому ограничимся сказанным. 



 Обсудим пять перечисленных постановок. Первая из них – минимизация средних потерь – представляется вполне естественной, если все возможные потери малы по сравнению с ресурсами предприятия. В противном случае первый подход неразумен. Рассмотрим условный пример. У человека имеется 10000 рублей. Ему предлагается подбросить монету. Если выпадает «орел», то он получает 50000 рублей. Если же выпадает «цифра», он должен уплатить 20000 рублей. Стоит ли данному человеку участвовать в описанном пари? Если подсчитать математическое ожидание дохода, то, поскольку каждая сторона монеты имеет одну и ту же вероятность выпасть, равную 0,5, оно равно 50000 х 0,5 + (-20000) х 0,5 = 15000. Казалось бы, пари весьма выгодно. Однако большинство людей на него не пойдет, поскольку с вероятностью 0,5 они лишатся всего своего достояния и останутся должны 10000 рублей, другими словами, разорятся. Здесь проявляется психологическая оценка ценности рубля, зависящая от общей имеющейся суммы – 10000 рублей для человека с обычным доходом значит гораздо больше, чем те же 10000 руб. для миллиардера.



 Второй подход нацелен как раз на минимизацию больших потерь, на защиту от разорения. Другое его применение – исключение катастрофических аварий, например, типа Чернобыльской. При втором подходе средние потери могут увеличиться (по сравнению с первым), зато максимальные будут контролироваться.



 Третий подход нацелен на минимизацию разброса окончательных результатов. Средние потери при этом могут быть выше, чем при первом, но того, кто принимает решение, это не волнует – ему нужна максимальная определенность будущего, пусть даже ценой повышенных затраит. 



 Четвертый подход сочетает в себе первый и третий, хотя и довольно примитивным образом. Проблема ведь в том, что задача управления риском в рассматриваемом случае – это по крайней мере двухкритериальная задача. Желательно средние потери снизить (другими словами, математическое ожидание доходов повысить), и одновременно уменьшить показатель неопределенности – дисперсию. Хорошо известны проблемы, возникающие при многокритериальной оптимизации (см. главу 1.3).



 Наиболее продвинутый подход – пятый. Но для его применения необходимо построить функцию полезности. Это – большая самостоятельная задача. Обычно ее решают с помощью специально организованного эконометрического исследования. 



 Если неопределенность носит интервальный характер, т.е. описывается интервалами, то естественно применить методы статистики интервальных данных (как части интервальной математики), рассчитать минимальный и максимальный возможный доходы и потери, и т.д.



  Разработаны различные способы уменьшения экономических рисков, связанные с выбором стратегий поведения, в частности, диверсификацией, страхованием и др. Причем эти подходы относятся не только к отдельным организациям. Так, применительно к системам налогообложения диверсификация означает использование не одного, а системы налогов, чтобы нейтрализовать действия налогоплательщиков, нацеленные на уменьшение своих налоговых платежей. Однако динамика реальных экономических систем такова, что любые формальные модели дают в лучшем случае только качественную картину. Например, не существует математических моделей, позволяющих достаточно точно спрогнозировать инфляцию вообще и даже реакцию экономики на одноразовое решение типа либерализации цен.



 Необходимость применения экспертных оценок при оценке и управлении рисками. Из сказанного выше вытекает, что разнообразные формальные методы оценки рисков и управления ими во многих случаях (реально во всех нетривиальных ситуациях) не могут дать однозначных рекомендаций. В конце процесса принятия решения - всегда человек, менеджер, на котором лежит ответственность за принятое решение. Поэтому процедуры экспертного оценивания естественно применять на всех этапах анализа рисков рассматриваемого организацией проекта. При этом нецелесообразно полностью отказываться от использования формально-экономических методов, например, основанных на вычислении чистых текущих потерь и других характеристик. Использование соответствующих программных продуктов полезно для принятия обоснованных решений. Однако на основные вопросы типа: достаточно ли высоки доходы, чтобы оправдать риск, или: что лучше - быстро, но мало, или долго, но много - ответить могут только менеджеры с помощью экспертов. Поэтому система поддержки принятия решений в организации должна сочетать формально-экономические и экспертные процедуры. 



 Разработка системы поддержки принятия решений, нацеленной на оценивание рисков и управление ими – не простое дело. Укажем несколько проблем, связанных с подобной работой. Совершенно ясно, что система должна быть насыщена конкретными численными данными об экономическом состоянии региона, страны, возможно и мира в целом. Добыть такие данные нелегко, в частности, потому, что сводки Российского статистического агентства (ранее – Госкомстата РФ) искажены (подробнее о состоянии теории и практики статистики в России см. главу 1 в учебном пособии [10] и статью [14]). В частности, Институт высоких статистических технологий и эконометрики занялся изучением инфляции именно потому, что наши данные по этому показателю превышали данные Госкомстата РФ примерно в 2 раза (см. главу 7 в [10]). Зарубежные источники также содержат неточности. Так, при составлении балансовых соотношений для макроэкономических показателей по данным [16] выяснилось, что государство должно иметь дополнительный источник доходов в несколько сотен миллиардов долларов, а доходы бизнеса имеют излишек в 30 миллиардов долларов. Другими словами, популярное учебное пособие [16] содержит данные, не согласующиеся друг с другом. 



  Подходы к управлению рисками. При оценке, анализе и управлении рисками могут оказаться полезными известные публикации по методам учета финансового риска [17-21]. При использовании широкого арсенала статистических методов необходимо учитывать особенности их развития в России и СССР, наложившие свой отпечаток на современное состояние в области кадров и литературных источников. 



  Чтобы управлять, надо знать цель управления и иметь возможность влиять на те характеристики риска, которые определяют степень достижения цели. 



  Обычно можно выделить множество допустимых управляющих воздействий, описываемое с помощью соответствующего множества параметров управления. Тогда указанная выше возможность влиять на те характеристики риска, которые определяют степень достижения цели, формализуется как выбор значения управляющего параметра. При этом управляющий параметр может быть числом, вектором, быть элементом конечного множества или иметь более сложную математическую природу.



  Основная проблема – корректная формулировка цели управления рисками. Поскольку существует целый спектр различных характеристик риска (например, если потери от риска моделируются случайной величиной), то оптимизация управления риском сводится к решению задачи многокритериальной оптимизации. Например, естественной является задача одновременной минимизации среднего ущерба (математического ожидания ущерба) и разброса ущерба (дисперсии ущерба). 



 Страхование и диверсификация – распространенные методы уменьшения неопределенности, присущей рискам, за счет повышения среднего уровня затрат. Выплата страховых взносов повышает затраты, но уменьшает неопределенность будущего. Если страховая компания полностью возмещает ущерб при осуществлении страхового случая, то неопределенность будущего полностью исчезает. При диверсификации хозяйственной деятельности упущенная выгода возникает из-за того, что средства вкладываются не только в самый выгодный (и самый рисковый) проект, но и в другие проекты. Если же нежелательные возможности осуществляются, «самый выгодный» проект приносит убытки, то другие проекты позволяют организации «остаться на плаву».



  Как известно, для любой многокритериальной задачи целесообразно рассмотреть множество решений (т.е. значений параметра управления), оптимальных по Парето. Эти решения оптимальны в том смысле, что не существует возможных решений, которые бы превосходили бы Парето-оптимальные решения одновременно по всем критериям. Точнее, превосходили бы хотя бы по одному критерию, а по остальным были бы столь же хорошими. Теория Парето - оптимальных решений хорошо развита (см., например, монографию [22]).



  Ясно, что для практической реализации надо выбирать одно из Парето - оптимальных решений. Как выбирать? Разработан целый спектр подходов, из которых выбор может быть сделан только субъективным образом. Таким образом, снова возникает необходимость применения методов экспертных оценок.



  Эксперты могут выбирать непосредственно из множества Парето - оптимальных решений, если оно состоит лишь из нескольких элементов. Или же они могут выбирать ту или иную процедуру сведения многокритериальной задачи к однокритериальной (см. также главу 1.3). Один из подходов – выбрать т.н. «главный критерий», по которому проводить оптимизацию, превратив остальные критерии в ограничения. Например, минимизировать средний ущерб, потребовав, чтобы дисперсия ущерба не превосходила заданной величины. 



  Иногда задача многокритериальной оптимизации допускает декомпозицию. Найдя оптимальное значение для главного критерия, можно рассмотреть область возможных значений для остальных критериев, выбрать из них второй по важности и оптимизировать по нему, и т.д. 



  Что же делают эксперты? Они выбирают главный критерий (или упорядочивают критерии по степени важности), задают численные значения ограничений, иногда точность или время вычислений.



  Второй основной подход – это свертка многих критериев в один интегральный и переход к оптимизации по одному критерию. Например, рассматривают линейную комбинацию критериев. Строго говоря, метод «главного критерия» – один из вариантов свертки. При этом вес главного критерия равен 1, а веса остальных – 0. Построение свертки, в частности, задание весов, целесообразно осуществлять экспертными методами.



  Используют также методы, основанные на соображениях устойчивости (наиболее общий подход к изучению устойчивости разработан в монографии [23]). При этом рассматривают область значений управляющих параметров, в которых значение оптимизируемого одномерного критерия (главного параметра или свертки) отличается от оптимального не более чем на некоторую заданную малую величину. Такая область может быть достаточно обширной. Например, если в линейном программировании (см. главу 3.2) одна из граней многогранника, выделенного ограничениями, почти параллельна плоскости равных значений оптимизируемого критерия, то вся эта грань войдет в рассматриваемую область. В выделенной области можно провести оптимизацию другого параметра, и т.д. При таком подходе эксперты выбирают допустимое отклонение для основного критерия, выделяют второй критерий, задают ограничения и т.д.



  Отметим, что рассмотренные выше вероятностно-статистические подходы к оцениванию рисков предполагают использование в качестве критериев таких характеристик случайной величины, как математическое ожидание, медиана, квантили, дисперсия и др. Эти характеристики определяются функцией распределения случайного ущерба, соответствующего рассматриваемому риску. При практическом использовании этого подхода перечисленные характеристики оцениваются по статистическим данным. Они оцениваются по выборке, состоящей из наблюденных величин ущерба. При этом необходимо вычислять доверительные интервалы, содержащие оцениваемые теоретические характеристики с заданной доверительной вероятностью [10]. Таким образом, критерий, на использовании которого основана оптимизация, всегда определен лишь с некоторой точностью, а именно, лишь с точностью до полудлины доверительного интервала. Таким образом, мы приходим к постановке, рассмотренной в предыдущем абзаце. 



  Необходимо обратить внимание на существенное изменение ситуации в области вычислительной оптимизации за последние 60 лет. Если в 1960-е годы из-за маломощности тогдашних компьютеров большое значение имела разработка быстрых методов счета, то в настоящее время внимание переносится на постановки задач и интерпретацию результатов. Это объясняется не только наличием различных программных продуктов по оптимизации, но и тем, что почти любую практическую задачу оптимизации можно решить простейшими методами типа переборных (перебирая возможные значения управляющих параметров с маленьким шагом), либо методом случайного поиска, поскольку быстродействие современных компьютеров позволяет это сделать.



  В риск-менеджменте (т.е. управлении рисками) компании целесообразно выделить оперативное управление рисками и стратегическое управление рисками. Первый вид деятельности – постоянно проводящаяся работа, связанная с обеспечением качества продукции, плановым снижением экологических рисков [24], работой с покупателями, поставщиками, персоналом, связанная с повышением лояльности, и т.д. 



  Стратегический риск-менеджмент – составная часть стратегического планирования и управления. Надо оценивать риски высокого уровня, например, прогнозировать наличие в продаже и цену тех или иных товаров через 10-20 лет, например, нефти и «больших» компьютеров. Большое значение на этом уровне имеют теория прогнозирования и экспертные оценки. 



Литература



1. Бестужев-Лада И.В. Окно в будущее: Современные проблемы социального прогнозирования. - М.: Мысль, 1970. - 269 с.

2. Гаврилец Ю.Н. Социально-экономическое планирование: Системы и модели. - М.: Экономика, 1974. - 174 с.

3. Загоруйко Н.Г. Эмпирическое предсказание. - Новосибирск: Наука, 1979. - 124 с. 

4. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. 

5. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с. 

6. Тейл Г. Эконометрические прогнозы и принятие решений. - М.: Статистика, 1971. - 488 с.

7. Френкель А.А. Математические методы анализа динамики и прогнозирования производительности труда. - М.: Экономика, 1972. - 190 с.

8. Четыркин Е.М. Статистические методы прогнозирования. - М.: Статистика, 1977.

9. Янч Э. Прогнозирование научно-технического прогресса. - М.: Прогресс, 1990. - 568 с.

10. Орлов А.И. Эконометрика. – М.: Экзамен, 2003. -576 с.

11. Орлов А. И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980.- 64 с.

12. Орлов А.И. Сценарии социально-экономического развития России до 2007 г. – Журнал «Обозреватель - Observer». 1999. No.10 (117). С.47-50.

13. Научно-методические аспекты анализа аварийного риска / Горский В.Г., Моткин Г.А., Швецова-Шиловская Т.Н. и др. – М.: Экономика и информатика, 2002. – 260 с.

14. Орлов А.И. О перестройке статистической науки и ее применений // Вестник статистики, 1990, № 1, с.65-71.

15. Пиндайк Р., Рубинфельд Д. Микроэкономика. - М.: "Экономика" - "Дело", 1992.

16. Макконнелл К.Р., Брю С.Л. Экономикс: Принципы, проблемы и политика. В 2 т.: Пер. с англ. 11-го изд. - М.: Республика, 1992.

17. Балабанов И.Т. Риск-менеджмент. – М.: Финансы и статистика, 1996. – 192 с.

18. Гвозденко А.А. Основы страхования. – М.: Финансы и статистика, 1998. – 304 с.

19. Первозванский А.А., Первозванская А.Н. Финансовый рынок: расчет и риск. – М.: Инфра-М, 1994

20. Чернов В.А. Анализ коммерческого риска. – М.: Финансы и статистика, 1998. – 128 с.

21. Четыркин Е.М. Методы экономических расчетов. - М.: Гамма, 1992.

22. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. - М.: Наука, 1982. 

23. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

24. Орлов А.И., Федосеев В.Н. Менеджмент в техносфере. – М.: Академия, 2003. – 384 с.