МОДЕЛИРОВАНИЕ И РЕАЛИЗАЦИЯ МОДУЛЯ ОПРЕДЕЛЕНИЯ ДОРОЖНОГО ПОКРЫТИЯ ДЛЯ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ U-NET

Моделирование и реализация модуля определения дорожного покрытия для автоматического управления транспортным средством с использованием нейронной сети U-NET

В.А. Евсин, С.Н. Широбокова, С.П. Воробьев, В.А. Евсина

Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, Новочеркасск

Аннотация: В данной статье рассматривается проблематика определения дорожного покрытия для автоматического управления транспортным средством с использованием искусственной нейронной сети. Описано состояние отрасли на текущий момент времени, а также актуальность данных исследований. Представлены входные данные для определения дорожного покрытия. Обосновывается идея применимости метода сегментации изображений для определения дорожного покрытия. Производится формирование структуры искусственной нейронной сети на базе архитектуры U-NET. В частности, визуализируется строение последовательности слоев. Особое внимание уделяется математическому моделированию процесса свертки и максимального пула. Приводится математическая модель процесса обучения искусственной нейронной сети, а так же функций активации: линейной функции и сигмоиды. Предложен алгоритм формирования модели искусственной нейронной сети. Визуализирован на графике процесс обучения данной функции. Представлен результат обучения.

Ключевые слова: искусственные нейронные сети, U-NET, анализ данных, машинное обучение, deep lerning, сверточные нейронные сети, свертка, максимальный пул, сегментация изображений, моделирование.

В настоящий момент большое развитие и распространение получают технологии автоматического управления транспортным средством, данной технологией заинтересованы ведущие технологические компании мира, к числу которых относятся: Яндекс, Тесла, Cognitive Pilot, Nvidia, Alphabet (Google) и многие другие. Данная проблема является актуальной, поскольку позволяет повысить качество вождения, что даёт возможность снизить риски аварийных ситуаций. При этом, данная область включает в себя множество различных задач и способов их решения. Основной задачей для реализации автоматического управления транспортным средством является распознавание дорожных объектов, в том числе - дорожного покрытия.

Данная задача относится к классу слабоформализуемых, для решения подобного типа задач наилучшим образом подходит аппарат искусственных

нейронных сетей (далее ИНС). Примеры слабоформализуемых проблематик, в которых уместно решение с использованием ИНС, представлены в [1,2], подробнее об ИНС в [3,4].

Входными данными для определения дорожного покрытия является поток фреймов (изображений) дорожной ситуации перед транспортным средством. Для выделения из полученного изображения дорожного покрытия необходимо сформировать сверточную нейронную сеть (далее СНС), подробнее о данном типе ИНС в [5,6], которая будет выделять маску дорожного покрытия. Для решения поставленной задачи использована архитектура сети П-ИЕТ, представленная в следующих работах [7,8]. Общая концепция работы данной архитектуры СНС сводится к сегментации изображений, то есть разбиению изображения на отдельные покрывающие его области. Для решения поставленной задачи будет достаточно двух областей: дорожного покрытия и остального изображения. Архитектура сети представляет собой последовательность слоев свертки и максимального пула, подробнее о которых в [9], она пошагово уменьшают размерность изображения, после пытается восстановить маску из сжатого изображения. Архитектура сети П-ИЕТ представлена на рисунке 1. Данная архитектура состоит из сужающегося и расширяющегося пути. Сужающийся путь представляет собой архитектуру СНС, состоящую из двух слоев свертки с ядром 3x3, далее следуют активационная функция и операция максимального пула для понижения размерности изображения. Каждый шаг в расширяющемся пути состоит из:

— операции свертки с ядром 2x2;

— конкатенации тензора маски дороги и тензора слоя свертки на соответствующем уровне;

— операции двух сверток с ядром 3x3, за которыми следует активационная функция.

и

СТ1

Рис. 1. - Архитектура сети Ц-ИЕТ Формальное определение операции свертки состоит в том, что это процесс, который на входе принимает тензор А размерности па х па и ядро свертки К, размерности щ х щ дает на выходе тензор В размерности пв х пв, причем:

пВ =

пА - пк , 1

где — шаг сдвига тензора исходного изображения. С учетом того, что

основной размерностью ядра для решения данной задачи является ядро 3x3, каждый элемент рассчитывается следующим образом:

^11 ^12 ^13 ^21 ^22 ^23 ^31 ^32 ^33

а11 а12 а13

а21 а22 а23

а31 а32 а33

= 1 *к, 1 •

'=1 1=1

£

M

Размерность тензора входных сигналов для RGS-изображения, следующая:

PH * PW * 3,

где РН — количество пикселей изображения в высоту, PW— количество

пикселей изображения в ширину. Для полученной свертки необходимо провести нелинейное преобразование функцией активации ReLU, которая имеет следующую форму:

Г z, если z > 0

RELU

[ 0, иначе

где z - выходное значение нейрона. Данная функция делает значения каждого нейрона выходного тензора операции свертки неотрицательными. Полученный выходной тензор именуется картой признаков. В ходе проведения операции максимального пула из субтензора размерности ядра выбирается максимальное значение. Для обучения нейронной сети используется метод адаптивной оценки момента (ADAM):

St = V wtJ (w ),

mt = Pxmt , + (1 -ft)*St,

v

v *

w+,=wt-1 * mt

ylvt

где ôt - градиент функции ошибки, J(wt ) - функция ошибки, mt - момент расчета, wt - веса модели, 77 - темп обучения, Д Д - параметры обучения. В качестве функции ошибки данной модели используется бинарная кроссэнтропия, которая подробно описана в [10], и имеет форму:

Loss = -

где p - это предсказанное значение на выходе модели, y - это соответствующе истинное значение. В качестве функции активации модели используется функция sigmoid, которая используется для предсказания

вероятности того, относится ли данный пиксель к дороге или нет. Общая формула данной функции имеет следующую форму:

1

SIGM ( z ) = -

+ e

где г - выходное значение нейрона. Итоговый алгоритм формирования нейронной сети представлен на рисунке 2.

Формирование модели

Внесение данных по обучению нейронной сети

ГЧ ^ у

Создание слоя C[i+1] : Слой свертки с 2A(i)*16 нейронами Активационная функция relu. Слой отключения 10% нейронов. Слой свертки с 2A(i)* 16 нейронами. Активационная функция relu. Слой максимального пула.

Создание слоя C[4]: Слой свертки с 256 нейронами. Активационная функция relu. Слой свертки с 256 нейронами. Активационная функция relu.

i=0,3

>

Создание слоя U[6+i]: Слой свертки с 2A(4-i)*16 нейронами и ядром свертки 2х2. Активационная функция relu. Слой отключения 10% нейронов. Слой свертки с 2A(4-i)*16 нейронами. Активационная функция relu. Слой максимального пула Конкатенация слоев U[6+i];C[4-i] Активационная функция sigmoid

^ Конец ^

Рис. 2. - Алгоритмизация построения архитектуры сети U-NET для

определения дорожного покрытия Для реализации модуля использован фреймворк Tensorflow языка программирования Python. Модель была обучена на обучающей выборке, включающей различные погодные эффекты, а также различную степень изношенности трассы. Динамика изменения функции ошибки в процессе обучения представлена на рисунке 3.

и

Рис. 3. - Динамика изменения функции ошибки нейронной сети П-ИЕТ Тестовое изображение определения маски дорожного покрытия представлено на рисунке 4.

о 20 40 60 80 100

FV

/ \

Рис. 4. - Тестовое определение маски дорожного покрытия Таким образом, получено изображение маски дорожного покрытия. Дальнейшие исследования будут направлены на уточнение данной модели, а также на разработку модуля определения дорожных объектов.

Литература

1. Параскевопуло К.М., Наркевич А.Н. Применение классических нейронных сетей для распознавания злокачественных новообразований на цифровых изображениях кожи // Инженерный вестник Дона, 2021, №5. URL: ivdon.ru/uploads/article/pdf/IVD_31_5_Paraskevopulo.pdf_70f8c97ba7.pdf.

2. Евсин В.А., Евсина В.А., Широбокова С.Н., Продан Е.А. Математическое моделирование процесса оценки стоимости аренды

недвижимости с использованием искусственных нейронных сетей // Инженерный вестник Дона, 2019, №1. URL:

ivdon.ru/ru/magazine/archive/n1y2019/5456

3. Хайкин С. Нейронные сети. Полный курс. 2 изд. М.: Издательский дом "Вильямс", 2006. 1104 с.

4. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия. Телеком, 2002. 382 с.

5. Dean J. Big Data, Data Mining, and Machine Learning. Value Creation for Business Leaders and Practitioners. New Jersey: John Wiley & Sons Limited, 2014. 208 p.

6. Аггарвал, Ч. Нейронные сети и глубокое обучение. М.: Диалектика, 2020. 752 c.

7. Albishri A.A., Shah S.J.H., Kang S.S. AM-UNet: automated mini 3D end-to-end U-net based network for brain claustrum segmentation // Multimed Tools Appl, 2022. DOI: doi.org/10.1007/s11042-021-11568-7.

8. Liu S., Ye H., Jin K. CT-UNet: Context-Transfer-UNet for Building Segmentation in Remote Sensing Images // Neural Process Lett, 2021, № 53. DOI: doi.org/10.1007/s11063-021-10592-w.

9. Микеллучи, У. Прикладное глубокое обучение. Подход к пониманию глубоких нейронных сетей на основе метода кейсов. СПб.: БХВ-Петербург, 2020. 368 c.

10. Kline D.M., Berardi V.L. Revisiting squared-error and cross-entropy functions for training neural network classifiers // Neural Comput and Applic, 2005, № 14. DOI: doi.org/10.1007/s00521-005-0467-y.

References

1. Paraskevopulo K.M., Narkevich A.N. Inzhenernyj vestnik Dona, 2021, №5 URL:ivdon.ru/uploads/article/pdf/IVD_31_5_Paraskevopulo.pdf_70f8c97ba7.pdf

2. Evsin V.A., Evsina V.A., SHirobokova S.N., Prodan E.A. Inzhenernyj vestnik Dona, 2019, №1. URL: ivdon.ru/ru/magazine/archive/n1y2019/5456.

3. Hajkin S. Nejronnye seti. Polnyj kurs. [Neural networks. A Comprehensive Foundation]. 2 vol. M.: Williams Publishing House, 2006. 1104p.

4. Kruglov V.V., Borisov V.V. Iskusstvennye nejronnye seti. Teorija i praktika. [Artificial neural network. Theory and practice.] M.: Hotline. Telekom, 2002. 382p.

5. Dean J. Big Data, Data Mining, and Machine Learning. Value Creation for Business Leaders and Practitioners. New Jersey: John Wiley & Sons Limited, 2014. 208 p.

6. Aggarval, CH. Nejronnye seti i glubokoe obuchenie [Neural networks and deep learning]. M.: Dialektika, 2020. 752p.

7. Albishri A.A., Shah S.J.H., Kang S.S. Multimed Tools Appl, 2022. DOI: doi.org/10.1007/s11042-021-11568-7.

8. Liu S., Ye H., Jin K. Neural Process Lett, 2021, № 53. DOI: doi.org/10.1007/s11063-021-10592-w.

9. Mikelluchi, U. Prikladnoe glubokoe obuchenie. Podhod k ponimaniyu glubokih nejronnyh setej na osnove metoda kejsov [Applied deep learning. An approach to understanding deep neural networks based on the case method]. SPb.: BHV-Peterburg, 2020. 368p.

10. Kline D.M., Berardi V.L. Neural Comput and Applic, 2005, № 14. DOI: doi.org/10.1007/s00521-005-0467-y.