Анализ мониторинговых данных в распределенных информационно-аналитических системах МЧС и органов власти субъектов РФ

Инновации в информационно-аналитических системах: сб. научн. трудов. Вып. 2 - Курск:

Науком, 2011. - 93 с., ил. ISBN 978-5-4297-0003-8

ИСПОЛЬЗОВАНИЕ

ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИХ СИСТЕМ

ПРИ ПРОГНОЗИРОВАНИИ

ЧРЕЗВЫЧАЙНЫХ СИТУАЦИЙ

УДК 004.8

Работа выполнена в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы», государственный контракт № 07.514.11.4115.

Миргалеев А. Т., Соколов А. В.

АНАЛИЗ МОНИТОРИНГОВЫХ ДАННЫХ В РАСПРЕДЕЛЕННЫХ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИХ СИСТЕМАХ МЧС И ОРГАНОВ

ВЛАСТИ СУБЪЕКТОВ РФ

Предложен подход к анализу данных мониторинга в информационно-аналитических системах органов власти субъектов РФ. Подход основан на применении одного из методов интеллектуального анализа данных - поиска и формирования ассоциативных правил - для определения наиболее часто встречающихся наборов в данных мониторинга. На основе этого определяются возможные последствия чрезвычайной ситуации, что, в свою очередь, является исходными данными для корректировки деятельности подразделений органов власти субъектов РФ с учетом возможных последствий чрезвычайной ситуации.

В информационно-аналитических системах (ИАС) органов власти (ОВ) субъектов РФ, предназначенных для мониторинга обстановки, прогнозирования возникновения природных и техногенных катастроф, а также ликвидации их последствий, решаются задачи сбора и обработки данных мониторинга территорий (территориально-распределенных организационно-технических систем).

25

Инновации в информационно-аналитических системах: сб. научн. трудов. Вып. 2 - Курск:

Науком, 2011. - 93 с., ил. ISBN 978-5-4297-0003-8

При этом задача прогнозирования возникновения природных и техногенных катастроф, а также ликвидации их последствий с использованием ИАС может решаться как с точки зрения МЧС (Главных управлений МЧС субъектов РФ), так и с точки зрения ОВ субъектов РФ (Администраций краев и областей). В первом случае органами МЧС используется комплекс методов и средств для определения масштаба катастроф, времени их наступления и перечня мероприятий по их предупреждению и ликвидации. Второй случай предполагает использование данных МЧС о прогнозе наступления и последствиях катастроф (то есть, фактически, описаний ситуаций) органами власти субъектов РФ для планирования собственной деятельности с учетом динамики развития ЧС.

Для определения масштаба катастроф, времени их наступления и перечня мероприятий по предупреждению и ликвидации силами МЧС в настоящее время используются ресурсы Российской системы предупреждения чрезвычайных ситуаций (РСЧС), которая должна обеспечивать взаимодействие ведомственных структур в ходе предупреждения и ликвидации ЧС.

Использование описаний ситуаций, сформированных МЧС, органами власти субъектов РФ для планирования собственной деятельности является основным предназначением создающихся ИАС ОВ субъектов РФ. Решение указанной задачи предполагает корректировку планов деятельности структур ОВ субъектов РФ (комитетов, министерств, ведомств) с учетом описания ситуации (динамики развития ЧС), предоставленного МЧС. Корректировка для конкретного подразделения органов власти субъектов РФ предполагает определение влияния возможной (произошедшей) ЧС на перечень и последовательность этапов его функционирования. «Влияние» может быть выражено как последствие произошедшей ЧС и как новая задача (например, для какого-либо комитета или ведомства), возникшая в силу необходимости ликвидации последствий ЧС.

В этой связи в ИАС субъектов РФ необходимо решение задачи автоматизации оценки влияния ЧС (прогнозируемых или произошедших) на деятельность комитетов администраций субъектов РФ.

Одним из путей решения этой задачи является реализация в ИАС этапов:

1) сбора и анализа данных от источников;

2) формирования описаний ЧС и определение их последствий;

3) корректировка деятельности подразделений ОВ.

Сбор данных в ИАС в настоящее время осуществляется средствами мониторинга МЧС. Далее будут рассмотрены вопросы реализации анализа данных, поступающих в ИАС от средств мониторинга.

Одним из путей реализации анализа данных для оценки влияния ЧС (прогнозируемых или произошедших) на деятельность комитетов администраций субъектов РФ является использование методов интеллектуального анализа данных, а наиболее перспективным из них - поиск ассоциативных правил. Это предполагает выявление наиболее часто встречающихся наборов данных, описывающих чрезвычайные ситуации, в множестве данных, описывающих все

26

Инновации в информационно-аналитических системах: сб. научн. трудов. Вып. 2 - Курск:

Науком, 2011. - 93 с., ил. ISBN 978-5-4297-0003-8

возможные ситуации в субъекте РФ, а также заблаговременное прогнозирование конкретной ЧС и ее последствий.

Следует отметить, что для прогнозирования ЧС природного характера в МЧС и Росгидромете существуют специализированные методики. Вместе с тем, для большинства видов ЧС техногенного и социального характера вычислительные методики отсутствуют. Поэтому поиск ассоциативных правил при анализе данных, описывающих ЧС указанных видов, позволит МЧС в ИАС реализовать заблаговременное формирование описаний ЧС и предупреждение подразделений ОВ о факте наступления ЧС и их последствиях. Подход к формированию описаний ситуаций рассмотрен в [1].

С целью поиска путей описания ЧС и их последствий в ИАС рассмотрим задачу формирования ассоциативных правил.

Пусть факторы, описывающие ЧС, составляют множество данных мониторинга 1 i2,^^^,inI, причем iJ - факторы, входящие в анализируемые набо-

ры; п - общее количество факторов.

Пример набора факторов приведен в таблице 1.

Таблица 1 - Пример набора факторов и значений, описывающих ЧС

Идентификатор Наименование Значение

0 Радиоактивный элемент Йод

1 Район обнаружения радиоактивного элемента г.Курск

2 Направление ветра Северный

3 Эвакуация Промышленный округ г.Курск

Набор, приведенный в таблице, соответствует следующему множеству факторов 1={Радиоактивный элемент, Район обнаружения радиоактивного элемента, Направление ветра, Эвакуация}.

В соответствии с работой [2] наборы объектов из множества I, хранящиеся в хранилище данных (ХД) ИАС ОВ и подвергаемые анализу, называются транзакциями T =\ij \ijG11. Тогда набор транзакций, информация о которых доступна для анализа в ИАС ОВ будет задаваться множеством D —\T1,T2,...,Tm| , где т — количество доступных для анализа транзакций в ХД ИАС ОВ.

Например, с учетом данных, представленных в таблице, набором транзакций будет являться множество D={{Радиоактивный элемент, Направление ветра}, {Район обнаружения радиоактивного элемента, Направление ветра}, {Радиоактивный элемент, Район обнаружения радиоактивного элемента}, {Радиоактивный элемент, Эвакуация}, {Радиоактивный элемент, Эвакуация, Район обнаружения радиоактивного элемента}}.

Множество транзакций, в которые входит фактор ij, описывающий некоторую ЧС, может быть представлено в следующем виде

27

Инновации в информационно-аналитических системах: сб. научн. трудов. Вып. 2 - Курск:

Науком, 2011. - 93 с., ил. ISBN 978-5-4297-0003-8

D =\Т |i ЕT; j =1...n;r =1...m| QD

i, r I j ? J ?

С учетом того, что мониторинговые данные поступают в ХД ИАС ОВ непрерывно во времени и в произвольном порядке, то произвольный набор факторов может быть представлен как F =\1, \1,Е1; j —1- - n|. Тогда множество транзакций Df , в которые входит набор F, определяется DF =\Tr \ F я T; r =1. m| я D.

Например, с учетом данных, приведенных в табл. 1, если ^{Направление ветра, Эвакуация}, то ^{Направление ветра, Эвакуация}={{Радиоактив-ный элемент, Направление ветра}, {Район обнаружения радиоактивного элемента, Направление ветра}, {Радиоактивный элемент, Эвакуация}, {Радиоактивный элемент, Эвакуация, Район обнаружения радиоактивного элемента}}.

В соответствии с работой [2] отношение количества транзакций, в которое входит набор F, к общему количеству транзакций называется поддержкой (sup-

port) набора F и обозначается Supp

D

\d\

Например, для набора Др={Направление ветра, Эвакуация} поддержка Supp(F)=4/5=0,8, так как данный набор входит в 4 транзакции, а всего количество транзакций в D равно 5. Это означает, что в 80% случаев при описании ЧС конкретного вида в мониторинговых данных I должны встречаться факторы «Направление ветра» и «Эвакуация».

С целью обеспечения заданного уровня точности данных при формировании описаний ЧС конкретного вида в ИАС необходимо использование минимального значения поддержки наборов Suppmin, а, следовательно, реализация поиска всех частых наборов F, удовлетворяющих условию L = {F\Supp(F)>Supp.

min}.

При прогнозировании наступлений ЧС и их возможных последствий для подразделений ОВ субъектов РФ необходимо учитывать последовательность поступления мониторинговых данных в хранилище данных ИАС. В соответствии с [2] последовательностью называется упорядоченное множество факторов, описывающих ЧС, вида S = {...,ip,...,iq...}, где p<q. При этом транзакция T содержит последовательность S если S->4 T и факторы, входящие в S, входят и в множество Т с сохранением отношения порядка. При этом допускается, что в множестве T между факторами из последовательности S могут находиться другие факторы. Поддержкой последовательности S в хранилище данных ИАС называют отношение количества транзакций, в которое входит последовательность S, к общему количеству транзакций. По аналогии с наборами F последовательность является частой, если ее поддержка превышает минимальную поддержку, заданную пользователем Supp(S)>Suppmm.

Для заблаговременного формирования описаний возможных ЧС, а также их возможных последствий для подразделений ОВ субъектов РФ в ИАС ОВ необходима реализация поиска всех частых последовательностей L={S\ Supp(S)>Suppmm} в данных мониторинга 1,.

В соответствии с подходом к формированию описаний ситуаций, предложенном в [1] факторы множества I объединяются в группы, описывающие кон-

28

Инновации в информационно-аналитических системах: сб. научн. трудов. Вып. 2 - Курск:

Науком, 2011. - 93 с., ил. ISBN 978-5-4297-0003-8

кретный тип ЧС, например, в каком-либо районе субъекта РФ. Указанные группы могут объединяться в более общие группы и составлять описание ЧС на территории муниципального образования, субъекта РФ в целом и т.д. (рисунок 1).

С учетом сведений, представленных в работе [2] показано, что решение задачи поиска ассоциативных правил в ИАС ОВ должно состоять из двух этапов:

1) поиска всех частых наборов объектов;

2) генерации ассоциативных правил вида если (условие) то (результат) из найденных частых наборов объектов.

При этом условие является не логическим выражением (как в классификационных правилах), а набором объектов из множества I, с которыми связаны (ассоциированы) объекты, включенные в результат данного правила.

Рис. 1 - Схема формирования описаний ЧС в ИАС ОВ

Формально ассоциативное правило можно представить как импликацию над множеством X^ Y, где Xs I, Yж I. С учетом того, что ассоциативные правила строятся на основе частых наборов, правила, построенные на основании набора F (т.е. Xw Y=F), являются всеми возможными комбинациями объектов, входящих в него.

Одним из путей автоматизации поиска ассоциативных правил в ИАС ОВ является использование алгоритма Apriori, рассмотренного в [2]. Указанный алгоритм использует свойство поддержки, по которому для любого набора объектов она не может превышать минимальной поддержки любого из его подмножеств SupPf —SuPPe , при E^ F. Согласно данному алгоритму часто встречающи-

29

Инновации в информационно-аналитических системах: сб. научн. трудов. Вып. 2 - Курск:

Науком, 2011. - 93 с., ил. ISBN 978-5-4297-0003-8

еся наборы определяются в ходе ряда этапов. На каждом i-м этапе определяются все часто встречающиеся i-элементные наборы мониторинговых данных.

При этом на каждом этапе обеспечивается:

1) формирование так называемых кандидатов (candidate generation) в наиболее часто встречающиеся наборы;

2) подсчет поддержки кандидатов (candidate counting).

Рассмотрим i-й этап. На шаге формирования кандидатов алгоритм создает множество кандидатов из i-элементных наборов мониторинговых данных. На шаге подсчета кандидатов алгоритм сканирует множество транзакций, вычисляя поддержку наборов-кандидатов. После сканирования отбрасываются кандидаты, поддержка которых меньше определенного пользователем минимума, и сохраняются только часто встречающиеся i-элементные наборы.

На рисунке 2 приведена схема подхода на основе алгоритма Apriori для формирования ассоциативных правил в ИАС.

Рассмотрим существо разработанного подхода поэтапно.

Этап 1. При первой итерации присваивается k=1 и выполняется отбор всех одноэлементных наборов Li мониторинговых данных D, у которых поддержка Suppii больше минимально заданной пользователем Suppmm, далее выполняется k=k+1. Если не удается создавать k-элементные наборы, то процедура завершается, иначе осуществляется переход к следующему этапу.

Этап 2. Создается множество k-элементных наборов кандидатов в частые наборы. Для этого (k- 1)-элементные частые наборы объединяются в k-элементные наборы кандидатов Сь Каждый кандидат сж Ck будет формироваться путем добавления к (^-1)-элементному частому набору р элемента из другого (^^-элементного частого набора — q. При этом добавляется последний элемент набора q, который по порядку больше, чем последний элемент набора р. Следует отметить, что первые все (k-2) элемента обоих наборов одинаковы.

Этап 3. Для каждой транзакции Т из множества D осуществляется выбор кандидатов С из множества С^ присутствующих в транзакции Т.

30

Инновации в информационно-аналитических системах: сб. научн. трудов. Вып. 2 - Курск:

Науком, 2011. - 93 с., ил. ISBN 978-5-4297-0003-8

Рис. 2 - Схема подхода на основе алгоритма Apriori формирования ассоциативных правил в ИАС ОВ

Этап 4. Для каждого набора кандидатов С из построенного множества Ck удаляется набор, если хотя бы одно из его (k-1) подмножеств не является часто встречающимся, то есть отсутствует во множестве Lk-\.

Этап 5. Для каждого кандидата из множества Ск увеличивается значение поддержки на единицу. Осуществляется выбор только кандидатов Lk из множества Ck, у которых значение поддержки SuppmmLk больше заданной пользователем Suppmm, то есть SuppmmLk>Suppmm. Осуществляется возврат к операции k=k+1 этапа 1.

Этап 6. Сформированные наборы UkLk (где Ц - объединение по k) представляются в виде отчетного документа (на практике - справки, доклада, отчета или др.) и передаются лицу принимающему решения в ОВ субъекта РФ.

31

Инновации в информационно-аналитических системах: сб. научн. трудов. Вып. 2 - Курск:

Науком, 2011. - 93 с., ил. ISBN 978-5-4297-0003-8

В результате, объединение множеств UkLk будет содержать наиболее часто встречающиеся подмножества мониторинговых данных D.

В ходе применения подхода, основанного на алгоритме Apriori, формируются ассоциативные правила вида D=> UkLk («если D то UkLk»), означающие, что при поступлении в ИАС ОВ данных D на территории субъекта РФ возможны ситуации, описываемые Lk.

Этап 7. С учетом этого в каждом комитете ОВ субъектов РФ принимаются решения об изменении порядка выполнения своих задач Zt и определяется множество новых задач ZhtL, связанных с последствиями, описываемыми данными LK.

Пути формирования наборов задач ZhtL с использованием ИАС будут рассмотрены в дальнейших работах по данному направлению.

Таким образом, разработан подход, обеспечивающий возможность учета влияния сформированных в ИАС ОВ описаний ЧС на деятельность подразделений ОВ субъектов РФ, основанный на поиске ассоциативных правил в данных мониторинга путем выявления наиболее часто встречающихся наборов данных. Подход позволяет осуществлять автоматизированный анализ мониторинговых данных в ИАС ОВ и использовать его результаты для корректировки деятельности подразделений ОВ субъектов РФ, а также для поддержки принятия решений в ОВ субъектов РФ.

Библиографический список

1. Миргалеев А.Т., Потапов А.В., Ющенко С.П. Многоагентный способ организации формирования описаний угроз локальной безопасности // Телекоммуникации - М.: Машиностроение, 2003. №11.

2. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных: DataMining, VisualMining, TextMining, OLAP. 2-е изд. пере-раб и доп. - СПб.: БХВ-Петербург, 2007.

32