СПОСОБ И СИСТЕМА УБОРКИ ПОМЕЩЕНИЯ С ПОМОЩЬЮ АВТОМАТИЗИРОВАННЫХ УСТРОЙСТВ
METHOD AND SYSTEM FOR INDOOR CLEANING USING AUTOMATED APPARATUS

ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее техническое решение относится к области компьютерной техники, в частности управлению автоматизированными устройствами для уборки помещения.
УРОВЕНЬ ТЕХНИКИ
[0002] Существующие решения в области уборки помещения с помощью автоматизированных устройств, как правило, направлены на различные способы построения маршрута перемещения такого рода устройств, например, роботизированных устройств.
[0003] Известны устройство и способ отслеживания выполненных работ по уборке (патент RU 2727215 С2), которые представляют собой систему программного управления работ по уборке для упрощения уборки поверхностей и записи выполняемых работ по уборке. Данная система содержит сенсорное средство, позволяющее регистрировать различные параметры проводимой уборки (контактное давление и т.п.) для отслеживания выполненных работ по уборке.
[0004] В другом решении раскрывается система автоматической уборки, робот-уборщик и способ управления роботом-уборщиком (патент RU 2620236 С1), которая представляет собой средство управления роботом-уборщиком, получающее инструкции движения (включая зоны концентрированной уборки, входные инструкции ограниченной зоны и т.п.) от пользователя в процессе выполнения операций по уборке.
[0005] Общей проблемой известных решений является недостаточная скорость обновления информации об области контроля уборки, а также отсутствие анализа плотности клиентопотока, что критично для своевременного планирования маршрута уборки в помещениях с одновременным нахождением людей внутри.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0006] Заявленное изобретение направлено на решение технической проблемы, заключающейся в недостаточной эффективности управления автоматизированными устройствами для уборки помещения за счет несвоевременного обновления информации о внутренней обстановке помещения.
[0007] Технический результат заключается в повышении эффективности уборки помещения с помощью автоматизированных устройств, за счет динамического построения карты загрязнения помещения и данных о клиентопотоке, используемых при формировании маршрута перемещения автоматизированных устройств для уборки.
[0008] Заявленный технический результат достигается за счет осуществления способа уборки помещения с помощью автоматизированных устройств для уборки, содержащий этапы, на которых:
с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения;
формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений;
осуществляют анализ клиентопотока в момент формирования карты загрязнения;
передают сформированную карту загрязнения и данные клиентопотока на по меньшей мере одно автоматизированное устройство для уборки; с помощью по меньшей мере одного автоматизированного устройства для уборки получают данные от вычислительного устройства;
формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока;
осуществляют уборку помещения.
[0009] В одном из частных примеров реализации способа дополнительно с камеры видеонаблюдения получают данные загрязнения объектов в помещении.
[0010] В другом частном примере реализации способа при построении карты загрязнения полученное изображение сегментируется и обрабатывается моделью машинного обучения для определения для каждого сегмента наличия и степени загрязнения.
[0011] В другом частном примере реализации способа для сегментов определяется по меньшей мере одно из: приоритетность сегмента уборки, интенсивность уборки, применение моющего состава, метод использования моющего или чистящего средства.
[0012] В другом частном примере реализации способа маршрут движения автоматизированного устройства для уборки формируется на основании приоритетности уборки сегментов.
[0013] В другом частном примере реализации способа начало уборки помещения начинается при заданном пороговом значении клиентопотока и/или уровня загрязнения одного или нескольких сегментов.
[0014] В другом частном примере реализации способа для автоматизированного устройства для уборки предварительно дополнительно формируется карта помещения.
[0015] В другом частном примере реализации способа карта помещения формируется на основании данных с по меньшей мере одного оптического сенсора, установленного на автоматизированном устройстве.
[0016] В другом частном примере реализации способа карта загрязнения динамически обновляется в течение заданного временного диапазона.
[0017] В другом частном примере реализации способа для уборки помещения одновременно применяется несколько автоматизированных устройств для уборки.
[0018] В другом частном примере реализации способа каждое автоматизированное средство рассчитывает маршрут уборки с учетом движения других автоматизированных устройств.
[0019] Заявленный технический результат достигается также с помощью системы уборки помещения с помощью автоматизированных устройства для уборки, которая содержит:
вычислительное устройство, содержащее по меньшей мере один процессор и связанное с по меньшей мере одной камерой видеонаблюдения;
по меньшей мере одно устройство для уборки, для управления которым используется канал передачи данных с вычислительным устройством;
причем
с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения;
формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений;
осуществляют анализ клиентопотока в момент формирования карты загрязнения;
передают сформированную карту загрязнения и данные клиентопотока для управления по меньшей мере одним автоматизированным устройством для уборки;
с помощью по меньшей мере одного автоматизированного устройства для уборки получают данные от вычислительного устройства;
формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока;
осуществляют уборку помещения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0020] Фиг. 1 иллюстрирует общий вид заявленной системы.
[0021] Фиг. 2А иллюстрирует пример формирования карты загрязнения.
[0022] Фиг. 2Б иллюстрирует пример архитектуры модели машинного обучения.
[0023] Фиг. 3 иллюстрирует блок-схему заявленного способа.
[0024] Фиг. 4 иллюстрирует схему вычислительного устйроства.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[0025] На Фиг. 1 представлен общий вид заявленного решения. Решение базируется на технологии анализа изображений, получаемых с одной или нескольких камер видеонаблюдения (110), установленных в зоне уборки (10). В качестве зоны уборки (10) следует понимать открытое или закрытое помещение, например, банковское отделение, магазин, ресторан и т.п. Информация, получаемая с камер видеонаблюдения (ПО) передается по каналу передачи данных (120), например, TCP/IP, на вычислительное устройство (130), которое выполняет последующую обработку получаемых данных в части анализа изображений поверхностей, в частности, пола (102) для последующего формирования данных о степени его загрязнения.
[0026] В качестве камер видеонаблюдения (110) может применяться любой пригодный тип камер, обеспечивающих съемку видео, например, IP камеры, PTZ камеры, и прочие. В части канала передачи данных (120) может применяться любой пригодный тип связи, в частности, протокол передачи данных, поддерживаемый камерами (110), обеспечивающий передачу с них информации на вычислительное устройство (130). Примерами такого рода типа связи может быть: TCP/IP, LAN, WLAN, WAN, PAN, Wi-Fi, Ethernet и т.п.
[0027] В качестве вычислительного устройства (130) может применяться, например, персональный компьютер, ноутбук, сервер, планшет и т.п.
[0028] На основании информации с камер (110), обработанной устройством (130), формируется карта загрязнения зоны уборки (10), которая строится по полученным изображениям, характеризующих степень загрязнения пола (102). Также учитывается информация о количестве и плотности клиентопотока, рассчитываемой по распознаванию наличия людей (101) в зоне уборки (10).
[0029] Полученная карта загрязнений и данные клиентопотока предаются на автоматизированное устройство для уборки (140), например, робот-пылесос, робот-мойщик, автоматизированная поломоечная машина и т.п., который формирует маршрут передвижения для обеспечения процесса уборки зоны (10), в частности, поверхности пола (102). Автоматизированное устройство (140) для уборки может являться как полностью автономным (робот-пылесос) устройством, так и управляемым оператором, например, поломойная машина. В этом случае оператору может выводиться информация о предпочтительном маршруте перемещения для осуществления эффективной уборки пола (102), например, с помощью изображения о маршруте перемещения на дисплее устройства (140).
[0030] На Фиг. 2А представлен принцип формирования карты загрязнения (200). Карта загрязнения (200) создается с помощью обработки изображений пола (102) с помощью модели машинного обучения (210). Модель (210) состоит из нескольких модулей, которые включают специализированные детекторы, которые являются частью системы видеоаналитики и используются для определения объектов (и/или изменения объектов - движения объектов и т.п.) на изображении и нахождения границ этих объектов за счет использования алгоритмов обработки изображений. В частности, модуль детектора в рамках работы модели (210) используется для определения людей и обучен на открытом датасете с людьми (COCO Dataset), обогащенном изображениями людей с камер видеонаблюдения в различных помещениях и на транспорте. Модуль, отвечающий за классификацию человека на изображении, определение наличия пола под ним и характеристику чистоты этого пола, обучался на изображениях людей, вырезанных из изображений с камер наблюдения с расширением границ человека на 10% от длинной стороны (как правило, высоты). Каждому из этих изображений был назначен класс для задачи классификации, установлен признак наличия пола и степень загрязнения пола от О до 1 с шагом 0.2.
[0031] Модель (210) в одном из частных примеров реализации может представлять собой одну или несколько нейронных сетей, например, сверточную нейронную сеть (СНС), которая получает на вход изображение с камеры видеонаблюдения (110). На Фиг. 2Б приведен один из примеров реализации архитектуры модели машинного обучения (210). Входное изображение (211) обрабатывается с помощью модуля детектора (новое изображение), и последующую обработку результатов детекции в модуле сверточной нейронной сети (210), состоящей из сверточных слоев (212, 213), и полносвязных модулей, отвечающих за формирование ответов модели (214) - (216). Модуль (214) классифицирует текущее действие человека, модуль (215) выполняет бинарную классификацию по признаку наличия пола в кадре, и модуль (216) выполняет задачу регрессии для определения уровня загрязнения пола от 0 до 1.
[0032] Общая карта загрязнений (200) формируется динамически при постоянном сканировании степени загрязнения пола (102) с помощью обработки изображений с камер (110) моделью (210). Карта загрязнения (200) разбивает область изображения пола (102) на сегменты (201), для которых определяется степень загрязнения от 0 до 1 с помощью модели (210). Результатом исполнения модели (210) является оценка уровня загрязнения пола (102) под человеком (11) и вокруг него в каждом сегменте (201).
[0033] Полученные на выходе модели (210) данные о чистоте пола (102) добавляются на общую карту загрязнений (200). Для этого исходное изображение с полом (102) разделяется на m*n одинаковых сегментов (201). Каждому сегменту (201) соответствует список из k последних значений загрязнения пола для этой области (k>=1). Текущим уровнем загрязнения конкретного сегмента (201) является среднее всех к значений. Общим текущим уровнем загрязнения пола (102) считается среднее значение q самых загрязненных сегментов (1 <=q <=m*n).
[0034] Изображение человека и области пола под ним формируется по результатам обработки кадра детектором и обрабатывается следующим модулем модели. К полученному изображению применяется следующая последовательность действий:
1. Его изображение подается на модуль определения наличия и степени загрязнения пола модели (210);
2. Если на изображении нет пола, то карта не обновляется. Дальнейшие шаги указаны для случая, когда пол на изображении найден;
3. Определяется область карты, в которую попадает центр изображения, полученного от детектора;
4. В список значений загрязнения для найденной области карты добавляется новое значение;
5. Если количество элементов в списке больше к, то удаляется самое старое значение загрязнения из списка;
6. Текущим значением загрязнения области является среднее значение элементов списка.
[0035] В предложенном подходе предлагается сканирование с заданной частотой уровня загрязнения пола (102) всеми людьми (101) в кадре, и использование полученных данных для составления/обновления текущей карты загрязнений (200). Также подход позволяет эффективно оценивать уровень загрязнения пола по видеоданным с различным масштабом зоны уборки (10) на кадре, так как работает с результатами работы детектора, которые имеют уже одинаковый масштаб. Обновление карты загрязнения (200) осуществляется с помощью изменения значений загрязнения областей и может быть представлено в виде цветов пикселей карты (200) на соответствующих сегментах (201) в зависимости от степени их загрязнения.
[0036] Применение карты загрязнений позволяет настроить правила обновления сегментов (201) пола (102) для оперативного обновления информации о чистоте в зоне уборки (10), а также получать несколько значений, характеризующих чистоту (например, значение максимально грязного сегмента, среднее значение пяти максимально загрязненных сегментов, среднее значение всех сегментов и т.п., что позволяет приоритезировать места уборки при последующем построении маршрута перемещения автоматизированного устройства (140).
[0037] На Фиг. 3 представлена блок-схема выполнения способа (300) уборки помещения. На первом этапе (301) данные с камеры (110), в частности, изображение области ее контроля в виде видео передается на вычислительное устройство (130), на котором впоследствии осуществляется обработка данных с помощью модели (210) и формируется текущая карта загрязнения (200) пола (102) в зоне уборки (10).
[0038] Далее на этапе (302) по полученным изображениям с камеры (110) рассчитывается плотность клиентопотока как количество распознанных людей (101) на кадрах зоны уборки в текущий момент времени. Плотность клиентопотока используется для планирования уборки (включая время начала уборки, маршрут и режимы уборки и т.п.) используя правила на основании пороговых значений (клиентопотока, уровней загрязнения и т.п.) или других методов. Полученные планы уборки передаются по каналу передачи (120) совместно с рассчитанной картой загрязнения (200) на автоматизированное устройство (140) для уборки.
[0039] На этапе (303) программная логика устройства (140) на основании сформированной карты загрязнения (200) и данных о плотности клиентопотока формирует маршрут перемещения устройства (140). Маршрут может формироваться на основании сегментов (201) карты загрязнения (200), для которых определяется приоритетность их уборки с учетом наличия возможности свободного перемещения по зоне уборки (10) при наличии людей (11). Маршрут перемещения устройства (140) может также формироваться непосредственно на вычислительном устройстве (130) с последующей передачей по каналу передачи данных (120) готового маршрута на автоматизированное устройство (140) для уборки.
[0040] Автоматизированное устройство (140) также может оснащаться сенсорами, например, LIDAR, оптическим сенсором, звуковым сенсором и прочими, которые дополнительно обеспечивают получение информации об окружающей обстановке, на основании которой выполняется корректировка перемещения устройства (140). С помощью сенсоров устройства (140) карта зоны уборки (10), т.е. помещения передвижения устройства (140), может предварительно формироваться в части получения информации об окружающем пространстве в помещении и его геометрических характеристиках. Сегменты пола (102), соответствующие сегментам (201) карты загрязнения (200), могут характеризоваться пространственными координатами, обеспечивающими определение маршрута передвижения устройства (140).
[0041] Дополнительно для сегментов (201) может определяться интенсивность уборки, применение моющего состава для указанного сегмента, или метод использования моющего или чистящего средства. Расчет концентрации и состава используемых средств осуществляется на основе плотности клиентопотока и полученного уровня загрязнения пола (102) в соответствующем сегменте (201). Например, для удаления несильных загрязнений и поддерживающей уборки сегментов (201) с низким клиентопотоком может использоваться роботизированная уборка со слабощелочными моющими средствами. А для сильно загрязненных сегментов (201) - ручная уборка сильнощелочными моющими средствами.
[0042] На этапе (304) по сформированному маршруту перемещения устройство (140) выдвигается для обеспечения уборки зоны (10). Как правило, с помощью роботизированных средств выполняется уборка непосредственно пола (102), в частности, влажная и/или сухая уборка. Дополнительно на основании данных с камеры (110) могут определяться поверхности элементов окружения, например, банкоматы (103) в отделении банка, которые также подвергаются загрязнению. Такие данные могут также использоваться при формировании карты загрязнения (200) и передаваться как устройствам (140), выполняющим уборку в автономном режиме, так и средствам дополненной реальности (AR-очки), носимые обслуживающим персоналом. В этом случае такие поверхности будут выделяться с помощью их пиксельной обработки и позволят более оперативно реагировать на необходимость проведения уборки.
[0043] При выдвижении автоматизированных устройств (140) в зону уборки (10) проверяется текущая плотность клиентопотока и, в случае, если количество людей (11) выше заданного порогового значения, то устройство (140) будет ожидать снижения данного показателя, которое будет фиксировать при итеративной обработке вычислительным устройством (130) данных с камеры (110).
[0044] В одном из частных примеров реализации заявленного решения может применяться несколько автоматизированных устройств (140), например, робот мойщик и робот пылесос. В этом случае при формировании маршрута их перемещения принимается во внимание как плотность клиентопотока, на основании чего будет определяться фактическая возможность их перемещения одновременно с людьми (101) в зоне уборки (10), так и очередность их обработки пола (102) на основании сегментов (201). Как пример, более загрязненные сегменты (201) вначале будут подлежать влажной уборке, а потом сухой уборке, что позволяет сформировать маршрут движения нескольких устройств (140) последовательно.
[0045] На Фиг. 4 представлен общий вид вычислительного устройства (400), пригодного для выполнения заявленного способа и на базе которого может быть реализовано вычислительное устройство (130). Устройство (400) может представлять собой, например, сервер или иной тип вычислительного устройства, который может применяться для реализации заявленного технического решения. В том числе входить в состав облачной вычислительной платформы.
[0046] В общем случае вычислительное устройство (400) содержит объединенные общей шиной информационного обмена один или несколько процессоров (401), средства памяти, такие как ОЗУ (402) и ПЗУ (403), интерфейсы ввода/вывода (404), устройства ввода/вывода (405), и устройство для сетевого взаимодействия (406).
[0047] Процессор (401) (или несколько процессоров, многоядерный процессор) могут выбираться из ассортимента устройств, широко применяемых в текущее время, например, компаний Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. В качестве процессора (401) может также применяться графический процессор, например, Nvidia, AMD, Graphcore и пр.
[0048] ОЗУ (402) представляет собой оперативную память и предназначено для хранения исполняемых процессором (401) машиночитаемых инструкций для выполнение необходимых операций по логической обработке данных. ОЗУ (402), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.).
[0049] ПЗУ (403) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.
[0050] Для организации работы компонентов устройства (400) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (404). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, Fire Wire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.[0051] Для обеспечения взаимодействия пользователя с вычислительным устройством (400) применяются различные средства (405) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.
[0052] Средство сетевого взаимодействия (406) обеспечивает передачу данных устройством (400) посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (406) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.
[0053] Дополнительно могут применяться также средства спутниковой навигации в составе устройства (400), например, GPS, ГЛОНАСС, BeiDou, Galileo.
[0054] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.