УСТРОЙСТВО ПРЕДОБРАБОТКИ ДАННЫХ И ГЕНЕРАЦИИ ПРИЗНАКОВ В ЗАДАЧЕ ПРОГНОЗИРОВАНИЯ ПАРАМЕТРОВ И ОЦЕНКИ СОСТОЯНИЯ ДОРОЖНОГО ПОКРЫТИЯ

ОБЛАСТЬ ТЕХНИКИ
Заявленное решение относится к области обработки данных показателей Автоматических Дорожных Метеостанций (АДМС), в частности к устройству предобработки данных и формирования признаков показателей АДМС.
УРОВЕНЬ ТЕХНИКИ
Одной из ключевых проблем в развитии автотранспортной инфраструктуры является обеспечение безопасного дорожного движения. Обеспечение безопасности движения на автомобильных дорогах требует решения широкого круга проблем. Часть из них находится в области поведения участников дорожного движения, другая часть имеет технический характер и связана с обеспечением развития и функционирования современной автомобильной транспортной системы. В условиях России требования по нормальному функционированию дорожной системы в зимний период приводят к необходимости удаления снега и борьбы с обледенением дорог. Существенно увеличивается вероятность возникновения дорожно-транспортных происшествий при гололеде и при снежном накате по сравнению с сухой проезжей частью. Одновременно это приводит к снижению скорости движения транспортных средств и производительности с соответствующим увеличением себестоимости перевозок. В общей сложности, доля затрат на борьбу с зимней скользкостью составляет в настоящее время около 40% от общих затрат на зимнее содержание дорог (общедоступные данные по г. Москва).
Зарубежный опыт по содержанию автомобильных дорог в зимнее время показывает, что наиболее эффективна предварительная обработка дороги перед образованием гололеда или обработка во время появления льда и выпадения снега для предотвращения возникновения скользкости. Такая технология отличается от традиционной технологии «по факту» (после образования льда) тем, что предотвращает образование корки льда или снежного наката.
Таким образом, создание условий безопасного движения транспортных средств требует заблаговременных и точных прогнозов ухудшения состояния дорожного покрытия в режиме реального времени. Построение моделей, методов и алгоритмов прогнозирования возможно при наличии соответствующих данных о состоянии дорожного покрытия за продолжительный временной период, которые получены от датчиков, находящихся в непосредственной близости от дороги.
Одними из важнейших задач, возникающей на первой стадии при практической реализации систем прогнозирования, является предобработка входных данных и генерация репрезентабельных признаков, способствующих построению более качественных моделей.
Наиболее близким аналогом к заявленному решению является решение, описанное в документе CN 104318780 A, опубл. 31.10.2014. В данном решении раскрывается метод предобработки данных метеорологических показателей и состояния дороги.
Однако в данном решении не обеспечивается формирование признаков показателей АДМС на основе данных отрезка многомерного временного ряда, азимута и угла подъема солнца в месте расположении АДМС и временных признаков отрезка многомерного временного ряда.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Технической задачей, на решение которой направлено заявленное решение, является создание простого и надежного устройства предобработки данных и формирования признаков показателей АДМС.
Техническим результатом является обеспечение возможности формирование исторических признаков показателей АДМС, характеризующих динамику изменения показателей внутри отрезка многомерного временного ряда, на основе данных отрезка многомерного временного ряда, азимута и угла подъема Солнца в месте расположении АДМС и временных признаков отрезка многомерного временного ряда.
Для обеспечения достижения указанного технического результата разработано устройство предобработки данных и формирования признаков показателей АДМС, содержащее устройство предобработки данных и устройство формирования признаков, причем устройство предобработки данных содержит:
устройство разделения данных на отрезки, выполненное с возможностью:
- приема по меньшей мере одного многомерного временного ряда показателей АДМС от по меньшей одной базы данных, причем показатели АДМС включают показатели: температуры воздуха, влажности воздуха, атмосферного давления, направления, скорости и величины порывов ветра, температуры точки росы, типа и интенсивности осадков, температуры поверхности дороги, температуры в глубине дорожной одежды, количества отложений на поверхности дороги и количества реагентов на поверхности дороги;
- разделения многомерного временного ряда показателей АДМС на отрезки многомерного временного ряда на основе временных интервалов между двумя ближайшими записями показателей АДМС;
устройство фильтрации данных, выполненное с возможностью:
- получения отрезков многомерного временного ряда от устройства разделения данных на отрезки;
- удаления по меньшей мере одного отрезка многомерного временного ряда, длина временного ряда которого меньше заранее заданной пороговой длины временного ряда;
блок линейной интерполяции, выполненный с возможностью:
- получения по меньшей мере одного отрезка многомерного временного ряда, длина временного ряда которого больше заранее заданной пороговой длины временного ряда, от устройства фильтрации данных;
- линейной интерполяции отрезка многомерного временного ряда;
при этом устройство формирования признаков выполнено с возможностью:
- приема отрезка многомерного временного ряда от блока линейной интерполяции;
- определения азимута и угла подъема Солнца в месте расположения АДМС, на основе показателей которой был сформирован многомерный временной ряд показателей АДМС, причем определение азимута и угла подъема Солнца осуществляется с учетом значения времени, в момент которого был произведён сбор упомянутых показателей АДМС;
- определения временных признаков отрезка многомерного временного ряда;
- формирования исторических признаков показателей АДМС на основе данных отрезка многомерного временного ряда, азимута и угла подъема Солнца в месте расположении АДМС и временных признаков отрезка многомерного временного ряда.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Для лучшего понимания сущности решения, и чтобы более ясно показать, каким образом оно может быть осуществлено, далее будет сделана ссылка, лишь в качестве примера, на прилагаемый чертеж, на котором изображено:
фиг. 1 – общая схема обработки данных с АДМС;
фиг. 2 - общая схема системы обработки данных.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Сеть АДМС включает в себя более 1147 станций и покрывает основные федеральные трассы России. В зависимости от своей комплектации, метеостанции измеряют и передают часть показателей, применимых для модельных расчетов и эффективной работы специализированных служб: температура воздуха, влажность воздуха, направление, скорость и порывы ветра, атмосферное давление, температура точки росы, тип и интенсивность осадков, температура поверхности дороги, температура в глубине дорожной одежды (4 − 7 см), количество отложений на поверхности дороги, наличие реагентов на поверхности дороги. Комплектации разных станций довольно сильно варьируются между собой, однако базовый комплект датчиков АДМС, установленный на каждой станции, включает в себя датчик температуры и влажности воздуха, датчик осадков, датчик направления и скорости воздушного потока, датчик температуры поверхности и грунта, датчик состояния поверхности, датчик атмосферного давления.
Архивные данные с АДМС содержат записи за временной интервал с января 2007 г. по январь 2017 г. Частота передачи данных с АДМС на сервер и записи их в БД приблизительно равняется 30 минутам. Однако в данных встречается большое число пропусков — по несколько суток и более.
Соответственно, выборка для анализа и экспериментов была сформирована следующим образом: в качестве компонент анализируемого временного ряда были выбраны температура воздуха, температура поверхности дороги, температура под поверхностью дороги (температура грунта), атмосферное давление и влажность. Основной причиной такого выбора параметров послужил тот факт, что датчики, измеряющие данные показатели, входят в базовый комплект АДМС, то есть установлены на каждой станции, а также являются наиболее надежными согласно экспертной оценке операторов АДМС. Из временного интервала с 2007 г. по 2017 г., нами был выбран период с января 2012 г. по январь 2017 г., так как более ранние записи содержат большое количество некорректных данных, а также частично были измерены с помощью моделей датчиков, не применяющихся на данный момент. Затем из 1147 станций распределенной сети была сформирована экспериментальная выборка из 75 станций, исходя из следующих факторов: географическое положение АДМС — данная выборка состоит из станций, равномерно покрывающих основные дороги страны и захватывает большинство климатических зон, качество работы — станции в экспериментальной выборке работали практически непрерывно на протяжении всего анализируемого временного периода. И наконец, с помощью ручной разметки были получены данные с 15 станций с временным
рядом температуры дороги, очищенные от аномалий, при этом в ходе разметки
аномальные измерения удалялись из выборки вместе с небольшой окрестностью.
Данные, приходящие с АДМС, являются уникальными, однако неструктурированная природа этих данных затрудняет корректную работу алгоритмов машинного обучения. Заявленное решение обеспечивает предобработку архивных данных АДМС, преобразуя входные показатели в структурированные данные, а также разделение данных на соответствующие паттерны (отрезки временных рядов), фильтрацию и интерполяцию данных, и генерацию признаков, необходимых для эффективного использования при построении моделей и систем прогнозирования параметров и оценки состояния дорожного покрытия.
Предварительная обработка данных и формирование признаков является частью комплексной системы прогнозирования параметров и оценки состояния дорожного покрытия. На фигуре 1 изображено взаимодействие компонент системы обработки данных с АДМС. Более детально, распределённая система обработки данных с АДМС (101) агрегирует и отправляет по меньшей мере в одну локальную базу данных (102) через интервалы приблизительно в 30 минут следующие показатели (всего 13 показателей):
значения температуры и влажности воздуха;
атмосферное давление;
направление, скорость и величину порывов ветра;
температуру точки росы;
тип и интенсивность осадков;
температуру поверхности дороги;
температуру в глубине дорожной одежды (4 − 7 см);
количество отложений на поверхности дороги;
количество реагентов на поверхности дороги.
Далее, из локальной базы данных (102) показатели предварительно обрабатываются и формируются признаки, необходимые для прогнозирования состояния дорожного покрытия (ниже будет представлено более детальное описание устройств (103) и (104)).
Сформированные признаки, полученные в результате работы устройства (104), отправляются на вход устройству (105) для удаления записей, содержащие аномальные значения признаков. Важность данного этапа обуславливается наличием перебоев в работе АДМС, при которых передаваемые сенсором данные не соответствуют состоянию дороги.
После удаления аномальных записей в результате работы устройства (105) оставшиеся данные записываются в базу данных (106). Используя данные из базы (106) модель окружающей среды и температуры дорог (Model of the Environment and Temperature of Roads (METRo)) (107) предоставляет предсказание метеорологических показателей с горизонтом в несколько часов. В итоге, принимая на вход предсказания модели METRo (107) и соответствующие показатели из базы данных (106), устройство уточнения прогноза (108) предоставляет уточненные прогнозы модели METRo (107) аналогичных метеорологических показателей.
Предварительная обработка входных данных.
В контексте рассматриваемой задачи под предварительная обработка подразумевается преобразование данных с различных станций в единое представление, удобное для последующего анализа. В локальной базе данных (102) хранятся все исторические метеорологические показатели и показатели количества реагентов на поверхности дороги, приходящие из распределенной системы АДМС (101). История каждого показателя от каждой АДМС представляет из себя временной ряд.
Соответственно, при сборе исторических значений всех показателей рассматриваемой АДМС получается многомерный временной ряд с размерностью, равной количеству показателей, приходящих с АДМС (13 показателей). Стоит отметить, что рассматриваемые многомерные временные ряды также хранят моменты времени, в которые производились соответствующие записи показателей АДМС в локальную базу данных.
Однако в работе АДМС случаются перебои, в результате которых в рассматриваемых рядах наблюдаются пропуски. Для качественной обработки и анализа таких данных необходимо произвести процедуру предварительной обработки данных. Данная процедура выполняется устройством предобработки данных (103) и проводится в три этапа, причем в состав упомянутого устройства (103) входят следующие элементы (см. фиг. 2):
1. Устройство разделения данных на отрезки (201);
2. Устройство фильтрации данных (202);
3. Блок линейной интерполяции (203).
Устройство разделения данных на отрезки (201) принимает на вход от по меньшей мере одной базы данных (102) многомерные временные ряды, сформированные на основе показателей, поступающих от всех АДМС. Данный этап проводится для каждой АДМС независимо от других, как показано на фиг. 2 в устройстве (201) присутствует определенное количество идентичных друг другу блоков разделения данных (201.1),... ,(201.N), по одному на каждую АДМС. Каждый блок выполняет “нарезку” входящего многомерного временного ряда на несколько временных непрерывных промежутков. Более детально, если в многомерном временном ряде между двумя ближайшими записями АДМС проходит больше 2 часов, то рассматриваемый многомерный временной ряд делится на две части (так называемые отрезки многомерного временного ряда или просто отрезки), которые анализируются независимо. Таким образом, обеспечивается разделение многомерного временного ряда показателей АДМС на отрезки многомерного временного ряда на основе временных интервалов между двумя ближайшими записями показателей АДМС.
После разделения данных на несколько отрезков многомерных временных рядов все отрезки отправляются на вход устройству фильтрации данных (202). Данное устройство (202) удаляет те отрезки временного ряда, длина временного ряда которого меньше заранее заданной пороговой длины временного ряда, например, длина которого менее 12 часов. Таким образом, данный этап позволяет исключить из рассмотрения краткосрочные всплески активности. Пороговая длина временного ряда может быть заранее заложена в устройстве фильтрации данных (202) при его программировании.
Блок линейной интерполяции (203) для каждого отрезка многомерного временного ряда, прошедшего фильтрацию, производит линейную интерполяцию, в частности, осуществляет преобразование из неравноотстоящего отрезка многомерного временного ряда в строго равноотстоящий. Как уже упоминалось выше, рассматриваемые многомерные временные ряды имеют приблизительную частоту - 2 записи в час. В этом случае «приблизительный» означает, что некоторая запись может быть получена в 15:32 или в 15:27. Поскольку большинство алгоритмов машинного обучения, применимых к многомерным временным рядам, работают в предположении постоянной частоты записей, интерполяция в 30-минутных временных тактах является важным шагом в процедуре предварительной обработки. В данном случае тип интерполяции рассматривается линейным ввиду высокой скорости вычислений и достаточно хорошей аппроксимации реальных значений.
Генерация признаков
На выходе из устройства предобработки данных (103) каждый отрезок многомерного временного ряда, прошедший линейную интерполяцию, поступает на вход устройству формирования признаков (104). Для каждой записи рассматриваемого отрезка формирование признаков состоит из трех этапов:
1. Формирование географических признаков (204);
2. Формирование временных признаков (205).
3. Формирование исторических признаков (206);
Первые два этапа ((204) и (205)) выполняются независимо друг от друга, и поэтому могут выполняться параллельно, как показано на фиг. 2.
Формирование географических признаков (204) предполагает запись азимута и угла подъема солнца в месте расположении станции (два признака), рассчитанные по положению рассматриваемой АДМС и во время записи в локальной базе данных.
После работы блока линейной интерполяции (203) мы имеем набор отрезков многомерных временных рядов. Каждый отрезок многомерного временного ряда рассматривается независимо. Каждая запись отрезка многомерного временного ряда представляет себя набор показателей соответствующей АДМС в определенный момент времени. Значение момента времени определяется структурой многомерного временного ряда.
Информация о местоположении соответствующей АДМС и данные о значении времени, в момент которого был произведён сбор упомянутых показателей АДМС, извлекается устройством хранения географических координат (207) из локальной базы данных (202) во время извлечения многомерного временного ряда при подаче на вход устройству предобработки данных (103) и направляется на устройство формирования признаков (104). Угол высоты подъема Солнца – это угол в вертикальной плоскости между солнечным лучом и его проекцией на горизонтальную плоскость. Азимут Солнца – это угол в горизонтальной плоскости между проекцией солнечного луча и направлением на юг. Азимут и угол подъема косвенным образом отражают поток солнечной радиации на единицу поверхности дороги, и как следствие являются важными параметрами для анализа архивных данных, и анализа температуры поверхности дороги в особенности.
1
1
Угол подъема солнца над горизонтом (β) и азимут (α) рассчитываются устройством формирования признаков (104) по следующим формулам [1], дающим ошибку менее 0.5° от реальных значений углов:
где L – широта, H – часовой угол солнца, N – порядковый номер дня в году. Часовой угол солнца (H) и порядковый номер дня в году (N) определяются с учетом данных о значении времени, в момент которого был произведён сбор упомянутых показателей АДМС, широко известными из уровня техники методами.
Также устройство формирования признаков (104) осуществляет формирование временных признаков (205). Целесообразно учитывать рассматриваемое время записи данных АДМС, а также периодичность времени. Для каждой записи каждого отрезка многомерного временного ряда мы рассматриваем преобразование независимо от других записей. Время записи отрезка многомерного временного ряда представимо в виде следующих параметров АДМС:
minute – минута записи (от 0 до 59)
hour – час записи (от 0 до 23)
weekday – день недели записи (от 0 до 6)
day – день месяца записи (от 0 до 30)
month – месяц записи (от 0 до 11)
Например, если запись была сделана 24.12.2013 в 15:23, то minute = 23, hour = 15, weekday = 1 (это был вторник), day = 23, month = 11 .
Далее, существует периодичность минут относительно часа, часов относительно суток, дней относительно недели, дней относительно месяца, месяцев относительно года. Одним из наиболее известных представлений периодичности времени в машинном обучении является Преобразование Фурье. Например, имея 5 показателей времени записи устройство формирования признаков (104) формирует 10 временных признаков отрезка многомерного временного ряда по следующим формулам:
Компоненты синуса (SinOfMinuteOfDay) и косинуса (CosOfMinuteOfDay) минуты относительно суток:
Компоненты синуса (SinOfHourOfDay) и косинуса (CosOfHourOfDay) часа относительно суток:
Компоненты синуса (SinOfDayOfWeek) и косинуса (CosOfDayOfWeek) дня относительно недели:
Компоненты синуса (SinOfDayOfYear) и косинуса (CosOfDayOfYear) дня относительно года:
Компоненты синуса (SinOfMonthOfYear) и косинуса (CosOfMonthOfYear) месяца относительно года:
Таким образом, обеспечивается формирование временные признаки отрезка многомерного временного ряда на основе информации о: минуте записи показателей АДМС в базу данных; часе записи показателей АДМС в базу данных; дне недели записи показателей АДМС в базу данных; дне месяца записи показателей АДМС в базу данных; месяце записи показателей АДМС в базу данных.
Далее устройство формирования признаков (104) переходит к этапу формирования исторических признаков (206). Исторические признаки позволяют учесть динамику изменения показателей внутри каждого отрезка многомерного временного ряда. В данном случае в качестве признаков рассматривается 8 предшествующих значений отрезка многомерного временного ряда и 8 динамических значений.
Рассмотрим формирование исторических признаков упомянутым устройство (104) более детально:
1. На вход устройству (104) поступает отрезок многомерного временного ряда (206), а также данные об азимуте и угле подъема Солнца в месте расположения АДМС и о временных признаках. Например, поступивший отрезок (длина которого N) можно представить в видe:
В определённый момент времени i рассматриваемого отрезка многомерного временного ряда мы имеем 25-мерный вектор показателей (13 показателей с АДМС + 2 географических и 10 временных признаков):
2. Восемь предшествующих наборов признаков для каждого момента времени рассматриваемого отрезка многомерного временного ряда формируется, как конкатенация всех показателей с данной АДМС за предыдущие четыре часа (4 часа × 2 раза в час запись = 8 наборов показателей). Суммарная размерность предшествующих значений составляет 200 показателей (25 показателей × 8 наборов). Более детально, для определённого момента времени i рассматриваемого отрезка многомерного временного ряда устройство формирования признаков (104) формирует следующий набор показателей,  где функция concat возвращает один многомерный вектор, являющийся конкатенацией входных многомерных векторов.
3. Восемь динамических наборов признаков для каждого момента времени рассматриваемого отрезка многомерного временного ряда формируется аналогично предшествующим наборам признаков, с той лишь разницей, что вместо показателей с данной АДМС рассматривается получасовое изменение значений показателей. Суммарная размерность динамических значений составляет 200 показателей (25 показателей × 8 наборов). Более детально, для определённого момента времени i рассматриваемого отрезка многомерного временного ряда мы имеем следующий набор показателей:
4. В результате, для момента времени i рассматриваемого отрезка многомерного временного ряда устройство формирования признаков (104) формирует 425-мерный вектор значений (25 текущих показателей + 200 предшествующих + 200 динамических признаков)
Полученный 425-мерный вектор значений может быть сохранен в устройство формирования признаков (104) и передан на другие внешние устройства для их работы с полученным вектором, например, на устройство (105) для удаления записей, содержащие аномальные значения признаков.
Таким образом, обеспечивается возможность формирования исторических признаков показателей АДМС, характеризующих динамику изменения показателей внутри отрезка многомерного временного ряда, на основе данных отрезка многомерного временного ряда, азимута и угла подъема Солнца в месте расположения АДМС и временных признаков отрезка многомерного временного ряда.
Устройство предобработки данных (103) и устройство формирования признаков (104) могут быть реализованы на базе по меньшей мере одного вычислительного устройства, такого как процессор или микроконтроллер, и выполнены в программно-аппаратной части таким образом, чтобы обеспечивать выполнение приписанных им выше функций.  Также упомянутые устройства (103) и (104) могут быть связаны конструктивными связями, например, путем размещения их на единой печатной плате и образуя единое устройство (200) предобработки данных и формирования признаков. Упомянутое устройство (200), например, может быть выполнено на базе по меньшей мере одного персонального компьютера с процессором Intel или AMD, поддерживающим архитектуру x86 и минимальными требования к аппаратной конфигурации: частота процессора 1 ГГц или выше, объем оперативной памяти 1 Гб или больше, объем свободного дискового пространства 100 Мб или больше. Программное обеспечение устройства обработки информации для выполнения приписанных ниже ему функций может быть спроектировано и изготовлено на языке программирования Python версии 3.6.4 с использованием сторонних библиотек, которые находятся в открытом доступе: Numpy версии 1.14.1; Pandas версии 0.22.0; PyTorch версии 0.4.0; Matplotlib версии 2.2.0; Scikit-Learn версии 0.19.1; nginx версии 1.10.3; gunicorn версии 19.9.0; flask версии 1.0.2; SciPy версии 1.0.0; Docker версии 18.06.1-ce.