Во всем мире активно развивается направление по мониторингу критических инфраструктурных объектов за счет использования видеоаналитики на основе нейросетей. На одном из внутренних совещаний в компании на стыке умений и опыта команды в работе с видеоаналитикой и моих познаний в транспортной тематике родилась интересная идея – о возможности создания продукта в сфере ИТС по детектированию объектов, установленных на дорогах, который бы позволил упростить и автоматизировать получение данных о состоянии всех объектов и сделать дороги безопаснее и комфортнее. О том и расскажу в этой статье. Автомобильные дороги, по которым мы ежедневно передвигаемся на личном или общественном транспорте, не так просты, как кажется на первый взгляд. Они состоят из множества элементов – дорожные знаки, бортовой камень, разметка, светофорные объекты, дорожное покрытие, пешеходное и транспортное ограждение и др. И чтобы было безопасно и комфортно передвигаться по дорогам, каждый из них важно поддерживать в идеальном состоянии, получая, в свою очередь, точную и оперативную информацию об их состоянии. Сегодня основной объем работ по сбору информации о состоянии всех вышеназванных объектов ведется в «ручном формате», а ежедневно на получение информации тратится колоссальный объем человеческих ресурсов. Регулярные выезды инженеров по всем участкам многокилометровых дорожных сетей для получения своевременной информации по текущему состоянию объектов дорожной инфраструктуры – совсем не та картина, что хотелось бы наблюдать в 2022, в зените развития высоких технологий. Так мы решили создать продукт, которому было показано переложить монотонную работу по обнаружению дефектов объектов транспортной инфраструктуры на программно-аппаратный комплекс (ПАК) с использованием машинного зрения и ИИ, простое и недорогое решение – компактный и лёгкий в установке ПАК, который позволит обеспечить регулярный мониторинг дорог и своевременно сообщит об обнаруженном дефекте заказчику или обслуживающему подрядчику.  Комплекс состоит из аппаратной части и локального ПО.  В аппаратную часть входит видеокамера, портативный промышленный компьютер, модуль LTE-связи, модуль GPS/GLONASS и комплект крепежа для установки в автомобиль. ПО состоит из: модулей сбора, хранения и передачи данных; модулей нейросетей обработки данных; сервиса хранения медиа данных; сервиса хранения мета данных; сервиса матчинга данных, трекинг данных и верификации дублей; сервиса настройки ПАК.  Также вдобавок к основному решению мы планируем разработать веб-платформу для сбора, хранения информации и отображения информации, поступающей со всей ПАК, предоставления доступа к информации, разграничения прав доступа к данным, отображения данных в виде таблиц или на картографической подложке и формирования аналитических отчетов всей информации. Комплекс устанавливается на любой автомобиль, подключается к бортовой сети автомобиля штатными методами. Может быть установлен на любой автомобиль заказчика или подрядчика, так и на подвижной состав общественного транспорта, спецтранспорт, патрульные машины. Автомобиль курсирует по выбранному маршруту и производит фото\видео фиксацию состояния элементов дорожного покрытия, люков, дорожных знаков и искусственного освещения. Модуль компьютерного зрения производит онлайн обработку входящей информации и при выявлении несоответствия полученных данных эталонным значениям, формирует событие и передает на Сервис приема сообщений веб-приложения по каналу LTE. При отсутствии связи LTE, Система производит накопление данных на внутренней памяти и отправку при возобновлении канала связи. Детектирование объекта записывается в локальную базу данных и включает в себя дату и время фиксации, координаты объекта, фотоснимок или фрагмент видео, тип события, метаданные. Серверная часть Решения выполняет агрегацию событий со всех ПАК и на основании этих данных создает общую базу данных состояния всех объектов и историю изменений по каждому из них. Также на Серверной части разворачивается программное обеспечение веб-приложения. Веб-приложение предназначено для отображения информации о полученных дефектах элементов дорожного покрытия, люков, дорожных знаков и искусственного освещения, и их расположения на географической карте региона или в виде отчетов. Также оно позволяет разграничить права доступа к разному типу информации путем введения различных типов пользователей. В ходе работы над проектом проверили гипотезы возможности решения задач выбранным методом и разработали четыре модуля детектирования объектов. Сейчас система умеет: детектировать тип, расположение и состояние дорожных знаков; расположение и состояние (открытый/закрытый) люков на дорожном полотне; расположение и состояние (горит/не горит) фонарей искусственного освещения; расположение и тип дефектов дорожного полотна (трещины, ямы), критичность дефекта. В дальнейшем мы планируем постепенно дообучать нейронную сеть детектированию новых типов объектов, которые могут потребоваться пользователям. В целом, на 2022 ряд компаний уже занялись разработкой аналогичных продуктов, но у всех продукты находятся лишь на этапе зарождения – и сделать качественное сравнение продуктов по существу невозможно из-за отсутствия информации. Мы же готовимся к скорому пилотированию продукта с несколькими заказчиками, включая госструктуры, уже получив фрагменты видео для анализа и приступив к их обработке. В начале работы над продуктом проверили гипотезу о том, что задача, которую мы себе поставили, может быть решена выбранным методом и для этого реализовали четыре модуля видеоаналитики. В ходе общения с отраслевыми экспертами, потенциальными заказчиками, и демонстрации реализованных функций, мы собрали большое количество положительных отзывов о перспективности нашей идеи. Использование такой технологии сделает процесс проще и удобнее, позволит сократить трудозатраты, оптимизировать процесс мониторинга, содержания и обслуживания объектов транспортной инфраструктуры, автоматизировать и цифровизировать ручной труд, благодаря использованию видеоаналитики на основе нейросетей. Если статья покажется интересной, то в продолжение наши ребята, специалисты по ML, более подробно расскажут о технической стороне реализации продукта.