Кластеризация технических объектов на основе нейронной LVQ-сети

С.В. Бухарин,

доктор технических наук, профессор, Воронежский государственн ый университет инженерных технологий

А.В. Мельников,

доктор технических наук, доцент

Д.Н. Черников

КЛАСТЕРИЗАЦИЯ ТЕХНИЧЕСКИХ ОБЪЕКТОВ НА ОСНОВЕ НЕЙРОННОЙ LVQ-СЕТИ

CLUSTERING OF TECHNICAL OBJECTS ON THE BASIS OF NEURAL LVQ-SET

Предлагается двухэтапная процедура классификации и кластеризации технических объектов на основе методов теории нейронных сетей. Последовательно применяются однослойный персептрон с визуализацией полученных результатов и двухслойная LVQ-сеть. В качестве объектов экспертизы рассмотрено множество видеокамер, доступных на отечественном рынке.

The two-stage procedure of classification and clustering of technical objects on the basis of neural networks theory is offered. Single-layer perceptron with visualization of the received results and two-layer LVQ=network are consistently applied. As objects of examination the set of the video cameras available in the domestic market is considered.

Введение. Современное развитие систем проектирования сложных технических объектов характеризуется новой тенденцией — переходом от конструирования отдельного объекта к выбору из многочисленных вариантов реализации технических решений, представленных на рынке. Последнее касается и проблемы оснащения различных систем охраны и сигнализации, в частности оснащения охраняемых объектов видеокамерами и видеорегистраторами.

Для научно обоснованного выбора среди множества предлагаемых приборов необходимо использование методов теории экспертных систем. В последней предполагается, что каждый из сравниваемых объектов отождествляется с характеристическим

вектором его характеристик (признаков). Признаки разделяются на группы и объединяются в обобщенные показатели качества, стоимости, комплексные показатели «качество — цена». Следующей задачей является классификация исследуемых технических объектов (образцов) и их кластеризация [1].

Эффективным средством решения задач классификации и кластеризации является применение методов теории нейронных сетей [2, 3]. В данной работе предлагается методика двухэтапной кластеризации множества объектов на основе последовательного применения однослойного персептрона с визуализацией результатов и современной теории LVQ (Learning Vector Quantization) сетей.

В качестве технических объектов далее будут рассматриваться представленные на доступных рынках модели видеокамер.

Пространство признаков. В теории экспертных систем принято использовать принцип разделения признаков [4], согласно которому характеристики (свойства) объекта экспертизы делятся на количественные и качественные признаки, признаки наличия или отсутствия некоторого свойства, стоимостные и т.д. При сравнительном анализе нескольких объектов принято называть отдельные объекты образцами.

В работе [4] для оценки технических объектов был введен комплексный показатель «качество — цена», который мы перепишем в сокращенном виде:

J camp = Vj + VprP)/

где J , P — обобщенные показатели качества и цены образца, Vqw ,V pr — весовые коэффициенты, позволяющие сделать выбор о требуемом соотношении «качество — цена». В частности, обобщенный показатель качества

VV),кол x j V V,Hm X YVl

J - 1

Vv

V гр

' 1,кач Xl

V* ,1 -+ V*,2 "W-+ V^

Vv гр'2 Vv VV,

/ . j,кол / , i,нал / , l

1,кач

где X^ , хI, Х[ — нормированные признаки количества, наличия и качества, соответственно; Vj кол ,У1 нал, VI кач — парциальные весовые коэффициенты в каждой группе признаков; Vгp1,Vгp2,Vгp3 — весовые коэффициенты по группам признаков; ^ Vгр —

сумма групповых коэффициентов.

В качестве примера технических объектов выберем видеокамеры для наружного и внутреннего наблюдения. Приведем далее технические характеристики шести видеокамер, доступных на отечественном рынке (табл. 1).

Выберем основные признаки объектов экспертизы из перечня параметров и ч

^м. табл.1). Количественные признаки в порядке убывания их значимости: х1 = и8 (максимальное разрешение), х2 = из (число пикселей матрицы), х3 = и7 (дальность ИК-подсветки). В качестве признаков наличия выберем в порядке убывания значимости х4 = ип (наличие системы обнаружения движения) и х5 = и10 (наличие слота для карты памяти). Качественными признаками выберем в порядке убывания значимости х6 = и (тип подключения), х7 = и2 ( возможность установки камеры вне/внутри помещения), х8 = и1 (цвет прибора).

Для того чтобы обеспечить однородный вклад различных слагаемых во взвешенную сумму (2), необходимо привести их значения к единому диапазону. Различа-

66

ют признаки положительного эффекта (ППЭ) и отрицательного эффекта (ПОЭ) в зависимости от влияния роста значения признака на величину обобщенного показателя J . Для этих двух групп признаков нормировка осуществляется по-разному.

Таблица 1

Технические характеристики и параметры и видеокамер

Образец 1. Fe-ipc- 2. Ezviz 3. Falcon 4. Orient 5. Fe- 6. Fe-

(номер, модель) bl100p c3c wi-fi eye fe- ip-33- ipc- ipc-

otr1300 sh24cpsd bl200p dl200p

q Технические характеристики

1 Цвет черный белый белый белый черный белый

2 Установка камеры (вне/в) помещении вне вне вне вне / в вне вне

3 Число пикселей матрицы 1.3 мп 1 мп 1.3 мп 2.4 мп 2.43 мп 2.43 мп

4 Минимальная степень освещенности 0 Lux 0.02 Lux 0.1 Lux 0.01 Lux 0 Lux 0 Lux

5 Фокусное расстояние 3.6 мм 2.8 мм 3.6 мм 6 мм 3.6 мм 3.6 мм

6 Угол обзора (горизонт.) 70° 70° 70° 47° 70° 70°

7 Дальность ИК подсветки 15 м 30 м 30 м 30 м 30 м 15 м

8 Максимальное 1280х 1280х 1280x 1920х 1920х 1920х

разрешение 720 720 960 1080 1080 1080

9 Тип подключе- провод- беспро- провод- провод- про- провод-

ния ной водной ной/беспр оводной ной водной ной

10 Слот для карты памяти нет есть есть есть нет нет

11 Система обнаружения движения нет есть есть есть нет нет

12 Цена 3650 3890 3950 4290 4390 4650

Для количественных и качественных признаков ППЭ введем следующую нормировку:

х

= , j = 1,2,...,m,

x

j, base

где х^Ъа8е — базовое (максимальное) значение признака по всем к объектам Нормированные таким образом значения признаков X | е[0,1], V/.

*/, base = max X j), I = 1,2,..., k .

Факт наличия или отсутствия j-го признака у объекта экспертизы обычно описывается характеристической функцией x  ), принимающей значения 1 или 0 соответственно. При выборе всех весовых коэффициентов Vj нал, Угр,2 в формуле (2) равными единице второе слагаемое этой формулы даст просто относительную величину наблюдения признаков наличия.

Для признаков отрицательного эффекта (ПОЭ) в отличие от формулы (4) выберем в качестве базового объекта для сравнения с другими объектами экспертизы объект с минимальным значением признака по группе сравниваемых объектов:

xj, ъшв = min xj}, 1 = lA-,k •

i

Тогда превышение значения j-го признака ПОЭ для l-го объекта над базовым (минимальным) значением будет характеризоваться нормированным признаком

~ X j,base , x j =—- •

В частности, цена l -го объекта является признаком отрицательного эффекта, и для нее формула (6) принимает вид

P

P

и называется признаком обратной цены.

Расширим множество исследуемых образцов до 12, анализируя характеристики новых видеокамер: 7) Zorq zq-ipc2-bhs-28fo; 8) Falcon eye fe-ipc-bl200pv; 9) Hikvision ds-2cd2t42wd-i8; 10) Ginzzu hab-20v2p; 11) Orient ip-33-sh24bpsd; 12) Ginzzu hwb-2031s аналогично тому, как это было сделано для 1-6 образцов (см. табл. 1). Однако для краткости изложения соответствующую таблицу для них приводить не будем.

Выполнив нормировку признаков различных образцов в соответствии с изложенными выше правилами, получим нормированные значения признаков для 12 образцов (табл. 2).

Следующим этапом является определение взвешенных сумм количественных, наличия и качественных признаков. Для этого нужно предварительно определить соответствующие векторы весовых коэффициентов.

Для количественных признаков определим вектор VRm, пользуясь методом анализа иерархий, методика применения которого подробно описана в [4]. Выберем матрицу парных сравнений в виде

( 1 3

W = 0,33 1 3

v 0,2 0,33 1,

и для нее получим наибольшее собственное число X max = 0,033, а индекс согласованности ИС = 0,017. Т.е. матрица (8) является хорошо согласованной. Определив матрицу собственных векторов для матрицы (8), найдем вектор приоритетов

Гкол =

и определим взвешенную сумму количественных признаков. Аналогично определим взвешенную сумму качественных признаков, воспользовавшись тем же вектором при-

оритетов (9). Выберем соотношение признаков наличия = (0,7 0,3) и рассчитаем вектор обобщенного показателя качества

3 =

Вектор нормированного стоимостного признака (функция обратной цены) I получается делением минимальной стоимости 3350 руб. (для 10 образца) на стоимость конкретных образцов на и равен

II =

Таблица 2

Нормированные значения признаков объектов экспертизы

Номера объектов экспертизы

№№ 1 2 3 4 5 6 7 8 9 10 11 12

Количественные признаки

*1 0,47 6 0,47 6 0,47 6 0,71 4 0,71 4 0,71 4 0,71 4 0,71 4 1,00 0 0,71 4 0,71 4 0,71 4

*2 0,32 5 0,25 0 0,32 5 0,60 0 0,60 7 0,60 7 0,50 0 0,60 7 1,00 0 0,50 0 0,60 0 0,50 0

*3 0,18 7 0,37 5 0,37 5 0,37 5 0,37 5 0,18 7 0,25 0 0,62 5 1,00 0 0.37 5 0,37 5 0,37 5

0,40 7 0,40 7 0,42 6 0,64 9 0,65 1 0,63 1 0,61 0 0,67 7 1,00 0 0,62 3 0,64 9 0,62 3

Признаки наличия

*4 0 1 1 1 0 0 0 1 1 0 1 0

*5 0 1 1 1 0 0 0 0 0 0 1 0

0 1 1 1 0 0 0 0,7 0,7 0 1 0

Качественные признаки

*6 0,51 0,72 1,00 0,51 0,51 0,51 0,51 0,51 0,51 0,51 0,51 1,00

*7 0,72 0,72 0,72 1,00 0,72 0,72 0,72 1,00 1,00 1,00 1,00 1,00

*8 0,72 0,31 0,31 0,31 0,72 0,31 0,31 0,31 0,31 0,31 0,31 0,31

№ 0,58 6 0,67 7 0,85 5 0,61 5 0,58 6 0,54 3 0,54 3 0,61 5 0,61 5 0,61 5 0,61 5 0,92 8

Обобщенный показатель качества

J 0.32 1 0.58 8 0.61 9 0.73 6 0.47 6 0.45 9 0.44 6 0.67 6 0.88 2 0.46 1 0.73 6 0.49 4

П ризнак обратной цены

P 0,91 7 0,86 1 0,84 8 0,78 0 0,76 3 0,72 0 0,55 9 0,53 2 0,22 3 1,00 0 0,82 7 0,78 1

Комплексный показатель «качество — цена»

J comp 0,52 0 0,67 9 0,69 5 0,75 1 0,57 2 0,54 6 0,48 4 0,62 8 0,66 2 0,64 1 0,76 6 0,59 0

Вектор комплексного показателя качество-цена Jcomp, учитывающий как влияние количественных, наличия, качественных признаков, так и функцию обратной цены Р, рассчитывается по формуле (1) и равен

при выборе соотношения между качеством и ценой 1 : 0,5.

Классификация объектов экспертизы. Удобным средством классификации образцов на два класса: fij (множество предпочтительных объектов) и fi2 (множество рискованных объектов) — является однослойный персептрон [2, 3].

Сформируем нейронную модель персептрона с помощью пакета nntool графического интерфейса GUI языка MATLAB (рис. 1).

Z =

Подадим на вход персептрона массив данных для 12 образцов (0,321 0,588 0,619 0,736 0,476 0,459 0,446 0,676 0,882 0,461 0,736 0,494^ 0,917 0,861 0,848 0,780 0,763 0,720 0,559 0,532 0,223 1,000 0,827 0,781

сформированный из вектора J обобщенного показателя качества (10) и вектора P обратной цены (11).

При моделировании применяется функция активации с жесткими ограничениями hardlim, которая возвращает выход нейрона равным 1, если вход достигнет порогового значения, в иных случаях — равным 0. Поэтому выберем желаемый вектор целей T, исходя из значений комплексного показателя «качество-цена» Jcomp (12):

T =

При использовании графического интерфейса GUI вначале референтные данные Z , T формируются в рабочей области WorkSpace, а затем импортируются в nntool с обучающей функцией LEARNP и с указанием числа циклов обучения (обычно достаточно 3 циклов).

В нашем случае обучение персептрона произошло за 28 циклов с нулевым вектором ошибок. При этом вектор весов и смещение нейрона примут вид

w

Итак, результаты классификации с помощью персептрона оказались правильными, а поверхность раздела согласно (14) является разделяющей прямой в двумерном пространстве J, P :

4,396J + 2,713 P - 5 = 0.

Графическое изображение (визуализация) множества векторов, подлежащих классификации, и разделяющей поверхности важно для характеристики исследуемого множества объектов экспертизы. В нашем случае необходимо выяснить, почему для обучения персептрона понадобилось целых 28 циклов (обычно это происходит

за 2—5 циклов). Поэтому кроме использования графического интерфейса GUI применим другой способ построения персептрона — на основе разработанного М-файла, включающего команды

plotpv(X,T); net=newp(X,T); hold on

linehandle=plotpc(net.IW{1},net.b{1});

В результате представим графически координаты образцов и разделительную линию между множествами fij (квадратные маркеры) и fi2 (круглые маркеры) (рис. 2).

0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Обобщенный показатель качества J

Рис. 2. Классификация объектов экспертизы

Из анализа расположения точек на рисунке становится понятным, почему для обучения персептрона понадобилось столь много циклов: 2-й образец лежит фактически на разделительной линии, а 2-й и 3-й образцы слишком близки между собой, хотя принадлежат к различным множествам fi, fi2. В целом, процесс обучения персептрона в условиях близости к границе линейной разделимости множеств fi, fi2 затруднен и носит «импульсивный» характер (рис. 3).

Упомянутая проблема характерна для однослойного персептрона, поскольку он эффективно классифицирует только линейно разделимые множества. Для повышения надежности классификации и кластеризации предложим использовать метод LVQ Learning Vector Quantization), который позволяет работать и с линейно неразделимыми множествами объектов.

Кластеризация объектов с помощью метода LVQ. Алгоритм на основе самоорганизующейся карты признаков (SOM) обеспечивает приближенный метод вычисления векторов Вороного (опорных векторов) без учителя [2]. Расчет карты признаков, таким образом, можно рассматривать как первый из двух этапов адаптивного решения задачи классификации. На втором этапе в качестве механизма точной подстройки карты признаков проводится квантование вектора обучения.

Циклы обучения

Рис. 3. Процесс обучения однослойного персептрона

Квантование вектора обучения (LVQ) — это прием обучения с учителем, который использует информацию о классе для небольшого смещения опорного вектора и, таким образом, для улучшения качества областей решений классификатора.

Идея квантования вектора обучения принадлежит Кохонену [6]. Три версии этого алгоритма были описаны в ero работах. Версия, предлaгaемая далее, является первой из них и в работах Кохонена обозначается как LVQI.

Пусть \wj } _1 — множество опорных векторов, а \zi }k=1 — множество входных векторов (наблюдений). Алгоритм квантования векторов обучения можно описать следующим образом.

Предположим, что опорный вектор wc является самым близким к входному вектору zi. Обозначим символом Cwc класс, ассоциируемый с вектором wc, а символом Сzi — метку класса входного вектора zi. Вектор wc корректируется следующим образом: 1. Если = C,, то

Wc (п + !) = Wc (n) + Vn [zi - Wc (n)] . где 0 <Vn < 1 .

2. Если Ф Ci, то

wc (n + 1) = Wc (n) - Vn [zi - Wc (n)].

3. Остальные опорные векторы не изменяются.

Согласно двум упомянутым ранее этапам, LVQ-сеть имеет 2 слоя: конкурирующий и линейный. Конкурирующий слой выполняет кластеризацию векторов, а линейный слой соотносит кластеры с целевыми классами, заданными пользователем (рис. 4).

На рисунке и в пояснениях к нему используется специальная система обозначений, принятая в теории нейронных сетей [3].

Как в конкурирующем, так и в линейном слое приходится 1 нейрон на кластер

или целевой класс. Таким образом, конкурирующий слой способен поддержать до £1 кластеров; эти кластеры, в свою очередь, могут быть соотнесены с £2 целевыми классами, причем £2 не превышает £1. Поскольку заранее известно, как кластеры первого

слоя соотносятся с целевыми классами второго слоя, то это позволяет заранее задать элементы матрицы весов ЬЖ21. Однако, чтобы найти правильный кластер для каждого вектора обучающего множества, необходимо выполнить процедуру обучения сети.

В ППП пп1;оо1 программы МайаЬ для создания LVQ-сетей предусмотрена М-функция пвн'Ьд, обращение к которой имеет следующий вид:

пег = печ'^

где РЯ — массив размера Я х 2 минимальных и максимальных значений для Я элементов вектора входа; £1 — количество нейронов конкурирующего слоя; РС — вектор с Я2 элементами, определяющими процентную долю принадлежности входных векторов к определенному классу; ЬЯ — параметр скорости настройки (по умолчанию 0.01); ЬР — имя функции настройки (по умолчанию — «/еат/у 1»).

Вход (

Конкурирующий слой

Линейный слой

ГШ

11

Л г

Л

7

Rх 1

Я1х

С

а

Я1Х

ГШ

21

п

Б2хБ1

/

lvq

Я1

Я

Я2

J

п = -1

Рис. 4. Упрощенная архитектура LVQ-сети

Воспользуемся средством графического интерфейса ОИ1 пакета пп1;оо1 и выберем в качестве входа нейронной сети ту же матрицу 7 , сформированную из вектора J

обобщенного показателя качества (10) и вектора Р обратной ц ены (11). Кроме того, выберем следующие параметры:

51 = 15; РС =

Сформированная LVQ-сеть имеет следующую структуру (рис. 5).

Рис. 5. Символическая схема LVQ-сети

Потребуем разделения входных данных на 3 кластера: ^ — перспективные образцы, О 2 — нормальные образцы, О 3 — неудовлетворительные образцы — по кри-

73

1

п

терию величины комплексного показателя «качество — цена» 7сотр (12) и составим соответствующую матрицу целей

(001 10000001 0^

T =

010011011100 100000100001

У

После 100 циклов обучения получим следующий выход сети: (00010000001 0^

Tlvq =

111011011101

000000100000

\ У

Воспользуемся встроенной в пакет nntool процедурой vec2ind преобразования матрицы связности Tlvq в вектор индексов классов и получим

T^c =

Как видим, результаты кластеризации с помощью LVQ-сети (21) отличаются от наших предположений (20): в область fij перспективных образцов попали только 4, 11-й объекты, а в область fi3 неудовлетворительных образцов только 7-й объект. Таким образом, LVQ-сеть обеспечивает более строгую и надежную кластеризацию, поскольку учитывает два показателя (обобщенный показатель качества J, показатель обратной цены I), а не один показатель Jcomp.

Заключение. В целом предложенная двухэтапная методика (персептрон, LVQ-сеть) классификации и кластеризации объектов экспертизы дала положительные результаты и представляется эффективной.

ЛИТЕРАТУРА

1. Jain A. K. Data clustering: 50 years beyond K-means // Pattern Recognition Letters. — 2010. — № 31. — P. 651—666.

2. Хайкин С. Нейронные сети: полный курс. — М. — СПб. — Киев : Вильямс, 2006. — 1104 с.

3. Медведев В. С., Потемкин В. Г. Нейронные сети. Matlab 6. — М. : ДИАЛОГ — МИФИ, 2002. — 496 с.

4. Бухарин С. В., Мельников А. В. Кластерно-иерархические методы экспертизы экономических объектов : монография. — Воронеж: Научная книга, 2012. — 276 с.

5. Бухарин С. В., Мальцев С. А., Мельников А. В. Методы нейронных сетей в экспертизе технических средств охраны : монография. — Воронеж : Воронежский институт МВД России, 2016. — 177 с.

6. Kohonen Т. Learning vector q^ntization for pattem recognition. — Technical Report TKKPA601. — Finland : Helsinki University of Technology, 1986.

REFERENCES

1. Jain A. K. Data clustering: 50 years beyond K-means // Pattern Recognition Letters. — 2010. — # 31. — P. 651—666.

2. Haykin S. Neyronnyie seti: polnyiy kurs. — M. — SPb. — Kiev : Vilyams, 2006. — 1104 s.

3. Medvedev V. S. Neyronnyie seti. Matlab 6 / V. S. Medvedev, V. G. Potemkin. — M. : DIALOG—MIFI, 2002. — 496 s.

4. Buharin S. V., Melnikov A. V. Klasterno-ierarhicheskie metodyi ekspertizyi ekonomicheskih ob'ektov : monografiya. — Voronezh : Nauchnaya kniga, 2012. — 276 s.

5. Buharin S. V., Maltsev S. A., Melnikov A. V. Metodyi neyronnyih setey v ekspert-ize tehnicheskih sredstv ohranyi : monografiya. — Voronezh : Voronezhskiy institut MVD Rossii, 2016. — 177 s.

6. Kohonen Т. Leaming vector q^ntization for pattem recognition. — Technical Report TKKPA601. — Finland : Helsinki University of Technology, 1986.

СВЕДЕНИЯ ОБ АВТОРАХ

Бухарин Сергей Васильевич. Профессор кафедры экономической безопасности и финансового мониторинга. Доктор технических наук, профессор.

Воронежский государственный университет инженерных технологий.

E-mail: svbuharin@mail.ru

Россия, 394036, г. Воронеж, проспект Революции, д. 19. Тел. +7-910-247-44-84.

Мельников Александр Владимирович. Профессор кафедры математики и моделирования систем. Доктор технических наук, доцент.

Воронежский институт МВД России.

E-mail: meln78@mail.ru

Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. +7-910-342-74-27.

Черников Дмитрий Николаевич. Преподаватель кафедры тактико-специальной подготовки.

Воронежский институт МВД России.

E-mail: nadezhda31.12@mail.ru

Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. +7-920-434-52-08.

Bukharin Sergey Vasilievich. Professor of the chair of Economic Security and Financial Monitoring. Doctor of Technical Sciences, Professor.

Voronezh State University of Engineering Technologies.

E-mail: svbuharin@mail.ru

Russia, 394036, Voronezh, Prospect Revolutsii, 19. Tel. + 7-910-247-44-84.

Melnikov Alexander Vladimirovich. Professor of the chair of Mathematics and System Modeling. Doctor of Technical Sciences, Associate Professor.

Voronezh Institute of Ministry of Interior of Russia.

E-mail: meln78@mail.ru

Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. +7-910-342-74-27.

Chernikov Dmitry Nikolaevich. Teacher of the chair of Tactical and Special Preparation.

Voronezh Institute of Ministry of Interior of Russia.

E-mail: nadezhda31. 12@mail.ru

Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. +7-920-434-52-08.

Ключевые слова: теория нейронных сетей; классификация и кластеризация технических объектов.

Key words: theory of neural networks; classification and clustering of technical objects.

УДК 519.684