Всем привет! Сегодня расскажем и покажем, как машинное обучение и компьютерное зрение в очередной раз помогают в решении различных задач. В этот раз наша команда приняла участие в кейсе от ООО «Финкейс» в рамках конкурса «Цифровой прорыв» Северо-Кавказского IT-хаба.  Нам предложили разработать прототип интеллектуальной системы по определению качества ремонта квартир на основе алгоритмов компьютерного зрения с использованием инструментария Intel – OpenVINO (Open Visual Inference & Neural Network Optimization). Кейс: При оценке любого объекта недвижимости мы сталкиваемся с задачей определения качества ремонта квартир. Качество отделки является одним из важных параметров ценообразования, который, к сожалению, часто не указывают в информации об объекте. Требуется разработать алгоритм оценки, позволяющий по фотографии определить наличие ремонта и качество отделки для последующего использования результата при оценке стоимости объектов. Для решения задачи было реализовано два классификатора: первый для определения типа ремонта (без отделки, косметический ремонт, стандартный ремонт и ремонт класса люкс), второй – для определения типа помещения. Для обучения классификатора по типу ремонта использовалась модель нейронной сети Resnet50. Для ее обучения мы собрали датасет из 50 тысяч изображений, по 12500 изображений для каждой категории. Обучили и сконвертировали её в ONNX, а из ONNX уже в OpenVINO.  Для конвертации нашей ONNX модели в формат OpenVINO при помощи инструмента Model Optimizer использовалась следующая команда: Затем реализовали код для запуска модели в фреймворке OpenVINO. По итогу точность распознавания составила 93%. Исследования продолжаются, поэтому на данный момент собираемся для классификаций помещений по типу ремонта взять модель Resnet152 (если хотите узнать результат, напишите в комментариях, поделимся).  Для второго классификатора, то есть для определения типа помещения использовался инструментарий Monk. Они имеют огромную базу предобученных моделей. Искренне советуем заглянуть и познакомиться! Для более детальной оценки стоимости недвижимости было решено проводить дополнительно оценку стоимости мебели и предметов декора в квартире. Для этого была использована предобученная модель на наборе данных для анализа сцен MIT ADE20K.  В результате в качестве функционала был реализованы 2 классификатора, определяющие с точностью 93% тип помещения (спальня, кухня, ванная комната, гостиная) и тип ремонта (люкс, стандартный ремонт, косметический ремонт, без отделки). А для более детальной скоринговой оценки недвижимости реализована автоматическая оценка стоимости мебели и предметов декора в квартире. Для начала сегментируются все объекты на изображении и выделяются их контуры, можно рассмотреть это на представленном выше изображении. После чего формируется список найденных объектов для оценки. Стоимость каждого найденного объекта интерьера определяется с помощью API Яндекса, суммируя их, получается общая стоимость интерьера помещения. По завершении выполнения алгоритма система выдает типы комнаты и ремонта, найденные объекты и их суммарная стоимость. Проект на данный момент дорабатывается: проводятся исследования в области применения и использования других нейросетевых алгоритмов для классификации объектов, дополняется интерфейс и его функциональность. Но система и сейчас имеет рабочую версию для демонстрации результатов. В результате защиты проекта наша команда ISUvision (Божко Мария, Сторожева Ксения, Рязановский Владимир, Данилов Руслан, группа 19-ИСТ-1, ИРИТ) с руководителем команды – Багировым Мираббасом Бахтияровичем была признана достойной участия в финале Всероссийского конкурса «Цифровой прорыв».   Спасибо за внимание! Советуем заглянуть в другую  нашу статью и познакомиться с нашим опытом использования инструментария Intel – OpenVINO не только на хакатонах, но и для решения настоящих бизнес задач.