Способ локализации и построения навигационных карт мобильного сервисного робота
METHOD OF LOCALIZING AND CONSTRUCTING NAVIGATION MAPS OF MOBILE SERVICE ROBOT

Изобретение относится к области робототехники, а именно к системам и способам локализации и построения карт препятствий и глобальной карты помещения для мобильного сервисного робота, осуществляющего технологические функции на коммерческих объектах, в частности, операции, связанные с инвентаризацией.
WO
Известен способ работы робота для очистки полов (заявка  № 2019007038А1 от 23.01.2018), включающий в себя следующие этапы: получение от бинокулярной камеры двух изображений объекта, сделанных одновременно с разных углов; получение информации о препятствии на основе информации двух изображений и выбор различных режимов работы на основе информации о препятствиях. Информация о препятствии содержит размер препятствия, форму препятствия и расстояние между препятствием и роботом. Этап одновременного получения двух изображений одного и того же препятствия под разными углами дополнительно содержит ассоциирование системой обработки видеоизображения всей информации о препятствии с соответствующим режимом работы.
RGB
Недостаток данного способа – невысокая точность определения контуров препятствий, обусловленная применением для позиционирования только -камеры.
US
Известен способ составления карт рабочей области для автономного робота (заявка на изобретение  № 2018/0004217А1 от 18.11.2015), включающий: выполнение роботом идентификации граничных линий между смежными отображенными подобластями и не отображенными подобластями рабочей области, которые должны быть отображены на карте, путем сравнения расстояний, пройденных роботом, впервые проезжающим по рабочей области, измеренных с помощью средств определения координат и одометрии; инициирование отображения на карте не отображенной подобласти, примыкающей к граничным линиям, идентифицированным контактным датчиком, во время движения из первой точки на первой граничной линии в ненанесенную на карту подобласть; генерирование карты рабочей области на основе карт подобластей, составленных роботом.
Основным недостатком данного способа является отсутствие метода корректировки расчетной координаты робота, что приводит к нарастанию погрешности определения координаты местоположения робота в процессе движения, так как данные одометрии имеют значительную погрешность.
US
ToF
ICP
Известен способ построения карты роботом (патент  № 8761925В2 от 23.10.2008) оснащенным трехмерным измерительным аппаратом (например, стереокамерой или видеокамерой глубины и расстояния (-камерой)), включающий: последовательное получение первых и вторых данных о поверхности маршрута, по которому движется робот; сопоставление данных первой и второй поверхности для вычисления разности между данными о первой и второй поверхностях; обнаружение динамического препятствия по первым и вторым поверхностным данным в соответствии с разницей между данными о первой и второй поверхностях; генерирование данных третьей поверхности путем удаления данных о динамическом препятствии по меньшей мере из данных о первой или второй поверхностях; сопоставление данных третьей поверхности без динамического препятствия с данными первой и второй поверхностей для построения карты, при этом сопоставление данных выполняется путем итерации ближайшей точки () для регистрации данных первой и второй поверхностей, а данные о трехмерном образе робот получает в процессе движения.
Основным недостатком данного способа является отсутствие метода корректировки расчетной координаты робота, что приводит к нарастанию погрешности локализации в процессе движения, так как данные одометрии имеют значительную погрешность. Также недостатком данного способа является применение только одного типа сенсора - трехмерного измерительного аппарата.
JP
GPS
Известна система и способ навигации транспортного средства с использованием абсолютных и относительных координат (заявка  № 2010519550А от 21.02.2008). Система включает -датчик абсолютного положения в дополнение к одному или нескольким дополнительным датчикам, таким как камера, лазерный сканер или радар.
RFID
В процессе движения датчики обнаруживают присутствие объектов и измеряют относительное положение транспортного средства относительно этих объектов. Эта информация используется вместе с информацией об абсолютном местоположении и дополнительной картографической информацией для определения местоположения транспортного средства и для поддержки функций управления и предотвращения столкновений. Система по одному из вариантов использует относительное позиционирование, не полагаясь на сохранение информации об абсолютном положении. В способе навигации используются -метки для идентификации различных физических объектов на карте, таких как дорожные знаки.
GPS
Описанные система и способ используют  для корректировки текущей координаты, что не позволяет применять их для роботов в закрытых помещениях.
CN
Известен способ генерации и обновления карт помещений (заявка  № 107764270А от 19.10.2017) роботом c лазерным радаром (далее - ЛИДАР), установленным на его верхней части, кодером и чипом центрального процессора, установленными в роботе; сигнальной антенной, связывающей робот с управляющим компьютером, и ЛИДАРом для сканирования окружающего пространства и передачи отсканированной информации о дискретных точках в центральный процессор. Использование ЛИДАР позволяет осуществлять быстрый и точный сбор данных и точно создавать, и обновлять карту помещений.
Данный способ включает следующие этапы: преобразование данных о 361 точке окружения робота, полученных с помощью ЛИДАР, в диапазоне 180 градусов с интервалом 0,5 градуса, представленных полярными координатами в глобальные координаты карты помещения в декартовой системе координат; обработку информации о данных дискретных точек, полученной ЛИДАРом, в сегмент линии, используемый для представления информации об окружении робота (о препятствиях) и генерации локальной карты; перемещение робота в помещении для получения множества локальных карт; генерирование глобальной карты помещения объединением множества локальных карт; обновление глобальной карты помещения для точного позиционирования робота путем вычисления взаимосвязи между соответствующими линейными сегментами для соответствующих линейных сегментов локальной и глобальной карт; представление областей карт одним или несколькими сегментами линий.
Основным недостатком данного способа невозможность обнаружения препятствий, находящихся выше и ниже уровня сканирования ЛИДАРа.
CN
sensor fusion
Известны способ и устройство навигации робота (заявка  № 106681330А от 25.01.2017, прототип), использующие для построения карты мультисенсорное объединение данных (технологию «»).
Способ содержит следующие этапы: создание карты окружающего пространства в соответствии с данными, полученными лазерным радаром и данными одометрии; определение текущего положения робота на глобальной карте окружающего пространства в режиме реального времени в соответствии с данными, полученными с помощью лазерного радара, акселерометра, гироскопа и магнитометра, глобальной карты и данных одометрии;  карта локальной среды строится в соответствии с данными, полученными в режиме реального времени камерой глубины и лазерным радарным датчиком; управление роботом для объезда препятствий осуществляется с помощью локального алгоритма планирования пути, стратегией выбора предварительно установленного направления; картой локальной среды (включающей препятствия), текущим положением и запланированным маршрутом робота; данные, полученные в режиме реального времени, проецируются на двухмерную плоскость для создания двухмерной проекции; если для соответствующего положения робота не существует данных двухмерной проекции, полученных лазерным радаром, данные карты локальной среды соответствующей позиции заполняются соответствующими данными двухмерной проекции; если для соответствующего положения робота имеются данные двухмерной проекции и данные, полученные лазерным радарным датчиком, то данные двухмерной проекции и данные, полученные лазерным радаром, взвешиваются и усредняются для получения данных локальной карты окружающего пространства для соответствующей позиции робота.
Основным недостатком данного способа является отсутствие метода корректировки расчетной координаты робота, что приводит к нарастанию погрешности локализации в процессе движения, так как данные одометрии имеют значительную погрешность.
Техническая задача, решаемая изобретением - повышение точности определения координаты местоположения робота, формы и расположения препятствий на пути мобильного сервисного робота в режиме реального времени.
SLAM,
simultaneous localization and mapping)
RFID
SLAM
SLAM
IMU)
SLAM
SLAM
SLAM
RFID
RGB-D
RGB-D
SLAM
Техническая задача решена в способе локализации и построения навигационных карт мобильного сервисного робота, эксплуатирующегося в помещении коммерческого объекта, включающем: использование в помещении стационарных светоотражающих маяков; построение первоначального маршрута с использованием плана помещения (статической карты); определение текущей координаты робота с помощью модуля одновременной локализации и картирования (далее –  англ.: ; использование -меток для идентификации стационарных светоотражающих маяков в окружающем робота пространстве; детектирование контуров объектов с помощью камеры глубины, ЛИДАРа и ультразвуковых дальномеров; построение модулем  карты  с помощью данных сенсоров ЛИДАР, одометрии и инерционного измерительного устройства (далее - ; определение текущей координаты робота с помощью модуля ; построение модулем  пройденной роботом траектории; построение глобальной карты с использованием данных карты  и статической карты; преобразование данных с камеры глубины в проекцию на плоскость, при этом способ включает: корректировку текущей координаты робота с использованием стационарных светоотражающих маяков с установленной на каждом из маяков -меткой; построение подкарты препятствий в конкретной позиции робота и обновление слоев построенной подкарты препятствий с использованием данных с  камеры, заднего ЛИДАР и ультразвуковых дальномеров соответственно при построении каждого из слоев в произвольной последовательности;  привязка текущей подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; при перемещении робота на заданную пороговую величину построение новой подкарты препятствий робота и обновление слоев построенной подкарты препятствий с использованием данных с  камеры, заднего ЛИДАР и ультразвуковых дальномеров при построении каждого из слоев соответственно в произвольной последовательности; привязка новой подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; объединение подкарт препятствий в карту препятствий после построения каждой новой подкарты препятствий; построение глобальной карты с использованием данных карты , статической карты и карты препятствий.
RFID
RGB-D
RGB-D
SLAM
Решение технической задачи - повышение точности определения текущей координаты местоположения робота, формы и расположения препятствий на пути мобильного сервисного робота в режиме реального времени, - обеспечивается следующей совокупностью отличительных признаков способа локализации и построения карты мобильного сервисного робота, включающего: корректировку текущей координаты робота с использованием стационарных светоотражающих маяков с установленной на каждом из маяков -меткой; построение подкарты препятствий в конкретной позиции робота и обновление слоев построенной подкарты препятствий с использованием данных с  камеры, заднего ЛИДАРа и ультразвуковых дальномеров соответственно при построении каждого из слоев в произвольной последовательности; привязку текущей подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; при перемещении робота на заданную пороговую величину - построение новой подкарты препятствий робота и обновление слоев построенной подкарты препятствий с использованием данных с  камеры, заднего ЛИДАРа и ультразвуковых дальномеров соответственно при построении каждого из слоев в произвольной последовательности; привязку новой подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота; объединение подкарт препятствий в карту препятствий после построения каждой новой подкарты препятствий; построение глобальной карты с использованием данных карты , статической карты и с учетом данных карты препятствий.
Данная совокупность отличительных признаков не обнаружена в ходе патентно-информационного поиска, следовательно, техническое решение соответствует критерию «новизна». Оно также не следует явно из уровня техники, следовательно, оно соответствует критерию «изобретательский уровень».
На фиг. 1 показана схема помещения коммерческого объекта.
На фиг. 2 показана структурная схема мобильного сервисного робота.
На фиг. 3 представлена структурная схема программного обеспечения компьютера мобильного сервисного робота.
На фиг. 4 показана структурная схема комплекса программного модуля формирования глобальной карты помещения.
На фиг. 5 показана функциональная схема формирования глобальной карты помещения коммерческого объекта.
На фиг. 6 показана схема алгоритма корректировки оценки текущей координаты мобильного сервисного робота с использованием стационарных светоотражающих маяков.
На фиг. 7 показана схема алгоритма детектирования стационарных светоотражающих маяков.
На фиг. 8 показана схема алгоритма построения карты препятствий.
RFID
RGB-D
IMU
IMU
RFID
Способ локализации и построения навигационных карт мобильного сервисного робота 1 (фиг. 1-2), оснащенного сенсорами:  2,  передним ЛИДАРом 3, задним ЛИДАРом  4,  видеокамерой 5 и ультразвуковыми дальномерами 6; контроллером 7 обработки сигналов сенсоров 2-6, колесами с двигателями 8 с одометрическим датчиком 9 и  10, контроллером 11 двигателей, обрабатывающим данные, поступающие от одометрического датчика 9 и  10; компьютером 12 мобильного сервисного робота 1, который с помощью блока 13 человеко-машинного интерфейса или с помощью внешнего сервисного устройства 14, соединенного с компьютером 12 через блок 15 коммуникаций. В помещении 17 коммерческого объекта, разделенного на зоны 18, со стеллажами 19 расположены стационарные светоотражающие маяки 16 с установленной на каждом из маяков -меткой (не показана).
Робот 1 с компьютером 12 имеет следующие программные модули (фиг. 3):
- программный модуль 20 формирования статической карты,
- комплекс 21 программных модулей формирования глобальной карты помещения коммерческого объекта,
- программный модуль 22 обработки сигналов сенсоров,
- программный модуль 23 навигации и распознавания стеллажей,
- программный модуль 24 формирования маршрута движения,
- программный модуль 25 управления движением.
Комплекс 21 программных модулей формирования глобальной карты помещения коммерческого объекта состоит из взаимосвязанных модулей:
a
- программного модуля 21 корректировки координат местонахождения робота,
b
SLAM
SLAM
- программного модуля 21, реализующего алгоритмы ,
c
RGB-D
- программного модуля 21создания проекции данных от  камеры на горизонтальную плоскость,
d
- программного модуля 21 построения карты препятствий,
e
- программного модуля 21 формирования глобальной карты.
Способ локализации и построения навигационных карт мобильного сервисного робота, эксплуатирующегося в помещении коммерческого объекта, выполняется в указанной ниже последовательности.
При поступлении команды «старт» программный модуль (далее – ПМ) 21 получает от ПМ 20 статическую карту. Получив исходные данные, ПМ 21 генерирует стартовую глобальную карту помещения 17 с нанесенной стартовой позицией робота 1, включая координату стартовой позиции. Сгенерированные глобальная карта и координаты передаются в ПМ 23, который по полученным данным генерирует путевые точки. Сгенерированные путевые точки передаются в ПМ 24, который, на основе координат полученных путевых точек, генерирует маршрут движения, передаваемый на исполнение в ПМ 25, который, учитывая окружающую динамическую ситуацию, получаемую от сенсоров 2-6 через контроллер 7 (фиг. 2)  и ПМ 22, формирует команды управления двигателями 8 (фиг. 2) и передает команды управления на контроллер 11 (фиг. 2). Контроллер 11 дает команду на начало движения робота 1. Робот 1 начинает движение из стартовой позиции по маршруту, сформированному ПМ 24.
Далее запускается параллельная работа ПМ 21-25 (фиг. 3). ПМ 22 получает данные от сенсоров 2-6 (фиг. 1, 2), сканирующих окружающее пространство, и после первичной обработки данных контроллером 7 (фиг. 2) передает сводную информацию в ПМ 21 и ПМ 25 (фиг. 3). ПМ 21 (фиг. 3) формирует, по мере обследования, глобальную карту помещения 17 и определяет координату местонахождения робота 1.
ПМ 21 (фиг. 3) работает следующим образом.
b
SLAM
IMU
b
SLAM
ПМ 21 (фиг. 4, 5) получает от ПМ 22 (фиг. 3) данные одометрии и . ПМ 21 обрабатывает полученные данные, используя метод
(http://ais.informatik.unifreiburg.de/teaching/ss12/robotics/slides/12-slam.pdf),
а
а
RFID
RFID
а
оценивает пройденную траекторию и абсолютные координаты робота 1 и передает результат в ПМ 21 (фиг. 5). ПМ 21, используя данные от переднего ЛИДАРа, полученные от ПМ 22 (фиг. 3), детектирует наличие стационарных светоотражающих маяков 16 (фиг. 1) с -метками (фиг. 1) в соответствии с алгоритмом (фиг. 7). В случае обнаружения в окружении робота 1 (фиг. 1)  -метки, соответствующей стационарному светоотражающему маяку 16 (фиг. 1), ПМ 21 (фиг. 5), в соответствии с алгоритмом (фиг. 6), производит корректировку координаты местоположения и пройденной траектории робота 1 (фиг. 1) с учетом координаты обнаруженного стационарного светоотражающего маяка 16 (фиг. 1).
b
SLАM
Скорректированный результат возвращается в ПМ 21 (фиг. 5), который формирует текущую карту  и пройденную роботом 1 (фиг. 1) траекторию.
SLAM
е
Текущая карта  передается в программный ПМ 21(фиг. 5) формирования глобальной карты.
d
d
Пройденная траектория передается в ПМ 21(фиг. 5). ПМ 21 работает следующим образом (фиг. 8):
d
d
с
RGB-D
- ПМ 21 (фиг. 5) получает от ПМ 22 (фиг. 3) данные от заднего ЛИДАРа 4 (фиг. 1) и ультразвуковых дальномеров 6 (фиг. 1); затем ПМ 21 получает от ПМ 22 (фиг. 3) через ПМ 21 от  видеокамеры 5 (фиг. 1) проекцию на горизонтальную плоскость;
RGB-D
- строится подкарта препятствий в конкретном местоположении робота и обновляются слои построенной подкарты препятствий с использованием данных с  видеокамеры 5 (фиг. 1), заднего ЛИДАРа 4 (фиг. 1) и ультразвуковых дальномеров 6 (фиг. 1) соответственно при построении каждого из слоев в произвольной последовательности;
- осуществляется привязка текущей подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота;
RGB-D
-  при перемещении робота на заданную пороговую величину строится  новая подкарта препятствий робота и обновляются слои построенной подкарты препятствий с использованием данных с  видеокамеры 5 (фиг. 1), заднего ЛИДАРа 4 (фиг. 1) и ультразвуковых дальномеров 6 (фиг. 1) соответственно при построении каждого из слоев в произвольной последовательности;
- осуществляется привязка новой подкарты препятствий к системе координат помещения в соответствии с пройденной траекторией робота.
d
По полученным данным ПМ 21 (фиг. 5), объединяя подкарты препятствий, формирует карту препятствий, содержащую информацию о контурах препятствий, обнаруженных по маршруту движения робота 1 (фиг. 1).
е
е
b
SLAM
d
Сформированная карта препятствий передается в ПМ 21 (фиг. 5). ПМ 21 объединяет в одну глобальную карту полученные карты: от ПМ 21 - карту ; от ПМ 21 - карту препятствий; от ПМ 20 (фиг. 3) - статическую карту.
Работа всех ПМ завершается по возвращении робота 1 (фиг. 1) на стартовую позицию.
Построение подкарт и карты препятствий позволяет повысить точность определения формы и расположения препятствий на пути робота в режиме реального времени. Корректировка текущей координаты робота с помощью стационарных светоотражающих маяков позволяет повысить точность определения текущей координаты местоположения робота при выполнении складских операций.