СИСТЕМА И СПОСОБ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ПОЛОЖЕНИЯ МОСТОВОГО КРАНА ВДОЛЬ ПУТИ ДВИЖЕНИЯ
SYSTEM AND METHOD FOR AUTOMATIC DETERMINATION OF POSITION OF BRIDGE CRANE ALONG PATH OF MOVEMENT

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к мостовым кранам, перемещающимся по рельсовому пути, в частности, к системе и способу автоматического определения положения мостового крана вдоль пути движения.
Представленное решение может быть использовано в различных отраслях промышленности для измерения положения мостовых кранов, по меньшей мере, на производственных предприятиях, например, предприятиях металлургии и тяжелого машиностроения, складах, грузовых терминалах, строительных площадках и т.д.
УРОВЕНЬ ТЕХНИКИ
В патентном документе CN110869306A, дата публикации 06.03.2020, описаны устройство и способ дистанционного управления краном, причем устройство содержит: память для хранения инструкций; и блок обработки, сконфигурированный для выполнения инструкций, хранящихся в памяти, для управления устройством, чтобы: принимать одно или несколько изображений, содержащих вид места, на которое должен приземлиться кран-спредер; отображать одно или несколько изображений на дисплее; принимать вводимые пользователем данные для отметки одного или нескольких маркеров на одном или нескольких полученных изображениях для облегчения посадки крана-спредера; и передать данные положения одного или нескольких маркеров в одном или нескольких полученных изображениях в процессор для определения значений, определяющих позиционирование кранового спредера относительно данных положения одного или нескольких маркеров для смещения, так что крановый спредер переходит на посадку на основе определенных значений.
В патентном документе EP1946243A2, дата публикации 23.07.2008, раскрыт способ, содержащий вычисление пространственного положения и азимута объекта с помощью маркеров. Пространственное положение и азимут объекта вычисляются из положений на изображении с одной камеры ровно двух точек на объекте и информации об ориентации объекта. Одна или несколько групп из четырех или более коллинеарных маркеров расположены на изображении, и для каждой группы определяются внешние маркеры, сравниваются расстояния от каждого внешнего маркера до ближайшего маркера в той же группе, а внешний маркер с более близким ближайший маркер идентифицируется как первый внешний маркер. На основе известных расстояний между внешними маркерами и маркером, ближайшим к первому внешнему маркеру, оценивается величина перспективного искажения группы маркеров на изображении. На основе перспективного искажения определяются относительные расстояния от каждой другой точки в группе до одного из внешних маркеров. Группа идентифицируется на основе относительных расстояний.
В патенте RU2209762C1, дата публикации 10.08.2003, описана автоматизированная система позиционирования грузоподъемного крана и контейнеров на контейнерной площадке. По осям Х и Y между основными датчиками местоположения установлены дополнительные датчики местоположения для обеспечения плавного выхода крана и его грузозахватного органа на заданную координату. Грузозахватный орган снабжен датчиком наличия груза, который подключен к бортовому компьютеру для расчета кривой разгона и торможения крана при условии обеспечения минимального раскачивания контейнера. Считывающие устройства выполнены с возможностью считывания информации с кодовых бортовых датчиков и пломб запорно-пломбировочных устройств, которыми снабжены контейнеры, и передачи этой информации в бортовой компьютер, откуда эта информация при необходимости передается в Центр управления. Каждый датчик местоположения включает последовательно соединенные задающий генератор, кодер, модулятор. Каждое считывающее устройство выполнено с возможностью излучения высокочастотного зондирующего сигнала через радиомодем или по проводам в бортовой компьютер.
Мостовой кран является одним из ключевых механизмов транспорта в тяжелой промышленности. С его помощью выполняется перемещение материалов, сырья, полуфабрикатов, готовой продукции и т.д. Несмотря на то, что на производствах используются современные системы планирования, фактически выполняемые операции зачастую могут отличаться от плана. Информация о работе механизмов и установок может быть получена из АСУ ТП, однако, чтобы осуществить прослеживание продукции на всем жизненном цикле производства этого недостаточно и нужно также получать актуальную информацию о перемещениях, выполняемых с использованием мостовых кранов. Это позволит проследить весь жизненный цикл создания конечного продукта и в случае выявления дефектов или отклонений в нем, проследить путь его создания и выявить те отклонения, которые могли стать причиной несоответствующего качества. Также внедрение систем слежения за кранами позволяет получать актуальную информацию о производимых операциях и на раннем этапе выявлять отклонения от плана работ и вносить заблаговременные корректировки в него, что также позволяет повысить эффективность производства.
Техническая проблема, на решение которой направлено заявляемое изобретение, заключается в разработке технического решения для автоматического определения актуальной информации о перемещениях мостового крана вдоль пути движения во время работы с помощью уникальных идентификаторов.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Техническим результатом заявляемого изобретения является обеспечение автоматического определения актуального положения мостового крана вдоль пути движения во время работы с помощью уникальных идентификаторов. Такая информация позволяет оцифровать выполняемые кранами операции, найти узкие места в технологических процессах и иметь объективную информацию о перемещении мостового крана в режиме реального времени. Данная информация далее может использоваться для отслеживания жизненного цикла производства, организации и планирования производства, что позволит повысить качество, точность планирования и эффективность производства.
Указанный технический результат достигается за счёт того, что:
Система автоматического определения положения мостового крана вдоль пути движения, включает, по меньшей мере, следующее:
- уникальные идентификаторы, причем уникальные идентификаторы размещают вдоль пути движения мостового крана;
- одно или более устройств захвата изображения;
- модуль распознавания уникальных идентификаторов;
- модуль определения позиции мостового крана;
причем одно или более устройств захвата изображения размещают на мостовом кране, уникальные идентификаторы размещают вдоль пути движения мостового крана; с помощью одного или более устройств захвата изображения получают изображения уникальных идентификаторов во время движения мостового крана вдоль пути и передают полученные изображения в модуль распознавания; с помощью модуля распознавания осуществляют распознавание уникальных идентификаторов на полученных изображениях и для каждого распознанного уникального идентификатора в текущем кадре получают информацию о позиции каждого уникального идентификатора на изображении и передают указанную информацию в модуль определения позиции мостового крана; с помощью модуля определения позиции мостового крана определяют текущую позицию мостового крана во внешней системе отсчета на основе полученной информации о позиции каждого уникального идентификатора на текущем кадре, информации о фактических позициях уникальных идентификаторов во внешней системе отсчета и привязки координат одного или более устройств захвата изображения к внешней системе отсчета.
В системе уникальными идентификаторами могут являться цифры, символы алфавита, 1-D и 2-D коды, и их комбинации.
В системе уникальные идентификаторы могут быть нанесены на металлические пластины.
В системе модуль определения позиции мостового крана может быть расположен на мостовом кране или в центре обработки данных (ЦОД).
Система дополнительно может включать:
- модуль взаимодействия с одним или более устройствами захвата изображения для передачи полученных изображений в модуль распознавания, контроля работоспособности одного или более устройств захвата изображения и стабильность передачи данных;
- модуль взаимодействия с внешними системами для осуществления передачи информации о позиции мостового крана в информационные системы предприятия;
- модуль визуализации работы системы для оперативного мониторинга;
- модуль оповещений для рассылки уведомлений в случае возникновения сбоев в работе системы;
- модуль диагностики работоспособности системы для контроля работоспособности отдельных элементов системы;
- модуль протоколирования работы системы для ведения журнала событий, ошибок отдельных элементов системы и действий пользователя.
Способ автоматического определения положения мостового крана вдоль пути движения, включающий следующие шаги:
размещение вдоль пути движения мостового крана уникальных идентификаторов;
размещение на мостовом кране одного или более устройств захвата изображения;
с помощью одного или более устройств захвата изображения получение изображений уникальных идентификаторов во время движения мостового крана вдоль пути;
привязка координат одного или более устройств захвата изображения к внешней системе отсчета;
получение информации о фактических позициях уникальных идентификаторов во внешней системе отсчета;
распознавание уникальных идентификаторов на полученных изображениях и для каждого распознанного уникального идентификатора на текущем кадре получение информации о позиции каждого уникального идентификатора на изображении;
определение текущей позиции мостового крана во внешней системе отсчета на основе полученной информации о позиции каждого уникального идентификатора на текущем кадре, информации о фактических позициях уникальных идентификаторов во внешней системе отсчета и привязки координат одного или более устройств захвата изображения к внешней системе отсчета.
В способе уникальными идентификаторами могут являться цифры, символы алфавита, 1-D и 2-D коды, и их комбинации.
В способе уникальные идентификаторы могут быть нанесены на металлические пластины.
В способе могут осуществлять распознавание уникальных идентификаторов на полученных изображениях с помощью модуля распознавания.
В способе могут осуществлять определение текущей позиции мостового крана во внешней системе отсчета с помощью модуля определения позиции мостового крана.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения.
Заявляемое изобретение проиллюстрировано фигурами 1-6, на которых изображены:
Фиг. 1 – иллюстрирует пример системы автоматического определения положения мостового крана вдоль пути движения;
Фиг. 2 – иллюстрирует пример маркера для позиционирования мостового крана;
Фиг. 3 – иллюстрирует пример архитектуры системы автоматического определения положения мостового крана вдоль пути движения;
Фиг. 4 – иллюстрирует блок-схему способа автоматического определения положения мостового крана вдоль пути движения;
Фиг.5 - иллюстрирует пример входного изображения модуля оценки позиции крана;
Фиг. 6 – общая схема вычислительного устройства для реализации заявленного решения.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
С помощью настоящего решения в режиме реального времени получают информацию о текущей позиции мостового крана в системе координат цеха. По своей сути заявленное решение является системой технического зрения (СТЗ). Определение положения мостового крана основано на использовании СТЗ и специальных маркеров, размещаемых вдоль пути движения крана. С помощью СТЗ задается позиция каждого маркера во внешней системе отсчета (в той, в которой выполняется оценка позиции крана). На основе позиции, сопоставленной каждому маркеру во внешней системе отсчета, и положении этого маркера на изображении осуществляется расчет положения крана во внешней системе отсчета. Для осуществления позиционирования крана необходимо установить одну или несколько видеокамер на мостовой кран, а также установить сетевое оборудование для передачи данных от видеокамеры. Напротив видеокамеры необходимо разместить маркеры позиционирования так, чтобы при движении крана и выполнении им технологических операций хотя бы один из маркеров в любой момент времени попадал в поле зрения видеокамеры. При этом обработка данных для определения позиции крана может быть осуществлена как непосредственно на кране, так и в удаленном ЦОД в зависимости от возможности организовать высокоскоростную передачу данных от видеокамеры до места обработки данных. Информация о позиции крана может быть передана во внешнюю информационную систему.
На Фиг. 1 представлен пример системы автоматического определения положения мостового крана вдоль пути движения. Она включает в себя видеокамеру (101), направленную на маркеры позиционирования (103), размещенные вдоль пути движения крана (поз. 102), сетевое оборудование для беспроводной передачи видеосигнала с крана (поз. 105), автоматизированное рабочее место (АРМ) (104), центр обработки данных (ЦОД) (106). Система технического зрения с помощью одной или нескольких видеокамер (101), размещенных на мостовом кране, наблюдает маркеры позиционирования (103) и выполняет их идентификацию. Маркеры (103) представляют собой уникальные идентификаторы, нанесенные на листы металлические пластины.
В качестве идентификаторов могут выступать цифры, символы алфавита, 1-D и 2-D коды, например, Data Matrix, QR-code, Aztec Code, PDF417 и др., а также их комбинации. Пример маркера, сочетающего Datamatrix код и цифровой код приведен на Фиг. 2.
На Фиг. 3 приведен пример архитектуры системы автоматического определения положения мостового крана вдоль пути движения (300):
- модуль считывания кодов (301) осуществляет анализ входного изображения с целью обнаружения и распознавания кода маркера, возвращает на выходе информацию обо всех распознанных маркерах - декодированную строку, позицию маркера на изображении и другие параметры, характеризующие уверенность распознавания. Этот модуль может обрабатывать как кадр целиком, так и заданную область кадра;
- модуль расчета позиции крана (302) выполняет оценку текущей позиции крана на основе информации о распознанных на текущем кадре маркерах и информации о фактических позициях маркеров в системе координат цеха и привязки координат видеокамеры;
- модуль взаимодействия с видеокамерой (видеокамерами) (303), осуществляет получение видеоданных с видеокамеры (304) и контролирует работоспособность и корректность параметров видеокамеры, стабильность передачи данных;
- модуль взаимодействия с внешними системами (305) осуществляет передачу информации о позиции крана в информационные системы предприятия;
- модуль визуализации работы подсистем (306) служит для оперативного мониторинга работы системы позиционирования, может быть выполнен с использованием веб-технологий и доступен через обычный веб-браузер, также с помощью модуля визуализации отображают статус работоспособности отдельных элементов системы, входной видеопоток, распознанные маркеры, текущую позицию крана и др.;
- модуль оповещений (307) выполняет рассылку уведомлений в случае возникновения сбоев в работе системы или оборудования;
- модуль диагностики работоспособности подсистем (308) осуществляет контроль работоспособности отдельных элементов системы;
- модуль протоколирования работы подсистем (309) служит для ведения журнала событий, ошибок отдельных подсистем и действий пользователя. Имеет возможность сохранения дампов работы системы для возможности последующего воспроизведения поведения системы и ее настройки;
- модуль автоматического запуска подсистем (310) осуществляет корректный запуск всех элементов системы при старте и перезапуск отказавших подсистем на основе информации от ядра и модуля диагностики работоспособности подсистем;
- модуль настройки системы (311) отвечает за конфигурирование всех модулей, входящих в систему позиционирования, в том числе параметры подключения к видеокамерам и внешним системам для передачи данных;
- ядро системы (312) отвечает за взаимодействие отдельных модулей, и реализует заданную последовательность обработки и передачи данных между модулями системы.
При этом подсистема позиционирования (Фиг. 3) может быть размещена как непосредственно на кране, так и в удаленном ЦОД в зависимости от возможности организовать высокоскоростную передачу данных от видеокамеры до подсистемы позиционирования.
В качестве примера маркеров позиционирования предлагается использовать комбинированный маркер, содержащий datamatrix-код для машинного чтения и дублирующий цифровой код для визуальной ориентации крановщика и для исключения путаницы при монтаже и настройке системы (Фиг. 2).
Для надежного чтения datamatrix-кода на несжатых изображениях размер его модуля должен составлять от 3 пикселей. С учетом возможного использования IP-камер, сжимающих изображение при передаче, рекомендуется ориентироваться на разрешение 5 пикселей на модуль. В приведенном в качестве примера маркере используются datamatrix коды размером 10х10 модулей. Соответственно размер кода на изображении должен составлять не менее 50х50 пикселей. Цифровой код используется для крановщика, оператора (чтобы удостовериться в корректности оценки положения крана) и для настройки системы, поэтому его размер может быть меньше. Для хорошей визуальной различимости цифрового кода на изображении с камеры высота кода должна составлять от 20 пикселей. Нумерация маркеров последовательность сток от «001» до «999». Datamatrix код имеет минимальный размер 10х10 модулей и позволяет кодировать числа от 000000 до 999999.
В зависимости от ширины поля зрения видеокамеры в плоскости размещения маркеров и разрешения формируемых ей изображений выбирается размер маркеров и расстояние между ними.
Маркер должен быть размещен на плоском твердом носителе, исключающем изломы и искажения кода, например, напечатан матовой краской на металлическом листе.
При размещении маркеров можно опираться на два подхода:
- надежное позиционирование кранов на всем маршруте движения;
- надежное позиционирование кранов в точках основных технологических операций подъема/опускания.
Для надежного позиционирования крана на всем маршруте движения необходимо обеспечить попадание в поле зрения камеры хотя бы трех кодов в каждый момент времени. Соответственно, в зависимости от размеров поля зрения видеокамеры и ее разрешения выбирается размер и расстояние между маркерами.
Для надежного позиционирования в точках подъема/опускания необходимо обеспечить наличие и хорошую видимость маркеров в поле зрения. Если исходя из логики работы крана можно выделить основные дискретные участки, на которых происходит подъем/опускание объектов контроля, то удачное размещение маркеров в этих участках позволит решить вопрос с позиционированием кранов в этих точках.
Маркеры должны быть размещены вдоль пути движения крана на одной высоте (чтобы линия, проходящая через их центры была горизонтальной, насколько это возможно) и лежать в вертикальной плоскости параллельной пути движения крана. После установки маркеров измеряются расстояния между их центрами, и информация о фактическом расположении маркеров в пролете крана записывается в таблицу для фиксации фактического расположения установленных маркеров (Таблица 1).
Таблица 1
Рассмотрим более детально способ оценки положения крана (Фиг. 4). Сначала с помощью модуля взаимодействия с видеокамерой происходит получение текущего кадра с видеокамеры (401), текущий кадр в виде цифрового изображения (402) поступает в модуль распознавания маркеров на кадре (403). Модуль распознавания маркеров осуществляет детектирование и распознавание маркеров на входном изображении и для каждого маркера возвращает его распознанный идентификатор и положение маркера на изображении. Для ускорения обработки и снижения вычислительной нагрузки на модуль распознавания маркеров может быть подан фрагмент кадра, в который попадают маркеры в процессе движения крана (пунктирная линия на Фиг. 5). Если на входном изображении ни один маркер не распознан, происходит запрос следующего кадра с видеокамеры. Если на кадре был распознан один или более маркеров, то выполняется определение мгновенной позиции крана на основе распознанных маркеров (404, 405). Для оценки позиции крана используется информация о фактическом расположении маркеров в системе координат цеха (Таблица 1) и информация о положении распознанных маркеров на кадре.
Для привязки координат видеокамеры к внешней системе отсчета необходимо задать отображение пиксельных координат на изображении в соответствующие им координаты во внешней системе отсчета (в плоскости размещения маркеров). Для этого можно использовать один из известных способов калибровки видеокамер [1] или оценить параметры гомографии [2], устанавливающей связь между плоскостью изображения и плоскостью размещения маркеров.
В качестве приближенного, но легкого в использовании способа выполнения привязки координат видеокамеры к внешней системе отсчета предлагается использовать функцию, задающую для каждого столбца изображения его отклонение от фактического положения крана:
Dx = f(c)
(1),
c
где  – номер столбца изображения,
Dx
c
с
– разница координат наблюдаемой в столбце  точки на линии установки маркеров (например, с центром маркера в столбце ) и координат крана.
Данная функция может быть задана таблично, что позволяет учесть неточности при установке видеокамеры и радиальные искажения оптики, неизбежно возникающие при широких углах обзора объектива видеокамеры. Достаточно задать 6-8 точек при табличном задании функции для хорошего приближения искомого отображения.
M
с
Dx
x(M
)
M
i
i
i
i
i
Вернемся к этапу оценки позиции крана на основе информации о положении на изображении распознанных маркеров. Для каждого из распознанных маркеров  на основе информации о номере столбца , в котором расположен центр этого маркера и функции (1) определяется отклонение позиции крана от позиции маркера . Далее используя данные из Таблицы 1 о фактическом расположении  распознанного маркера  вычисляется положение крана на основе информации только о рассматриваемом маркере:
x
= x(M
) – Dx
i
i
i
(2).
x
Выполнив такую оценку позиции крана для каждого распознанного на текущем кадре маркера и усреднив их значения получим среднюю мгновенную оценку позиции крана .
Затем выполняется обновление позиции крана на основе мгновенной позиции и истории (406). В простейшем случае это может быть реализовано на базе экспоненциального сглаживания по рекуррентной формуле:
(3),
x
t
t
где – мгновенная оценка позиции крана в отсчет времени ,
S
t
S
=x
t
0
0
– сглаженное значение позиции крана в отсчет времени , ,
α
– коэффициент сглаживания.
α
Чем меньше , тем в большей степени фильтруются, подавляются колебания исходного ряда и шума.
После вычисления сглаженного значения позиции информация о ней и мгновенных позициях передается в ядро системы, где эта информация дополняется временем актуализации данных (407) и передается во внешнюю информационную систему (408) с помощью модуля взаимодействия с внешними системами. Дополнительно, в случае соответствующей настройки, эта информация записывается в лог–файлы и дампы с использованием модуля протоколирования работы подсистем и отображается с использованием модуля визуализации работы подсистем, если он запущен в настоящее время.
На Фиг. 6 представлена общая схема вычислительного устройства (600), обеспечивающего обработку данных, необходимую для реализации заявленного решения.
В общем случае устройство (600) содержит такие компоненты, как: один или более процессоров (601), по меньшей мере одну память (602), средство хранения данных (603), интерфейсы ввода/вывода (604), средство В/В (605), средства сетевого взаимодействия (606).
Процессор (601) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (600) или функциональности одного или более его компонентов. Процессор (601) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (602).
Память (602), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.
Средство хранения данных (603) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (603) позволяет выполнять долгосрочное хранение различного вида информации.
Интерфейсы (604) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.
Выбор интерфейсов (604) зависит от конкретного исполнения устройства (600), которое может представлять собой персональный компьютер, промышленный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
В качестве средств В/В данных (605) может использоваться клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
Средства сетевого взаимодействия (606) выбираются из устройств, обеспечивающих сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (605) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM, 3G, 4G, 5G.
Компоненты устройства (600) сопряжены посредством общей шины передачи данных (607).
В настоящих материалах заявки представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.
Специалисту в данной области техники должно быть понятно, что различные вариации заявляемого способа и системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения и применения.
Источники
[1] Д.А. Форсайт и др. «Компьютерное зрение. Современный подход», Издательство Вильямс, 2004, с. 87-107.
[2] А. Криминиси и др. «Устройство для измерения плоскости», Visual Geometry Group, Департамент инженерных наук, Оксфордский университет, 1997, §3 Вычисление гомографии плоскости в плоскость.