СПОСОБ И УСТРОЙСТВО ДЛЯ ПОДЪЕМА И ПЕРЕМЕЩЕНИЯ ГРУЗА
METHOD AND DEVICE FOR CARGO LIFTING AND MOVING

Предпосылки создания изобретения
Настоящее изобретение относится к подъему и перемещению груза посредством грузозахватного устройства, и в частности к способу и системе для подъема и перемещения груза посредством грузозахватного устройства, которое присоединяется к одной или более точкам крепления груза.
В настоящее время большинство международных морских операций перевозки товаров осуществляются в контейнерах. Такие контейнеры представляют собой тару коробчатой формы стандартных размеров, длиной 6,058 м (20-ти футовый контейнер), 12,192 м (40-футовый контейнер) или 13,716 м (45-футовый контейнер). Контейнер имеет ширину приблизительно 2,5 м, при этом самая типичная высота контейнера составляет приблизительно 2,6 м и 2,9 м.
Контейнеры оснащены стандартными угловыми литыми элементами - фитингами, которые позволяют поднимать и перемещать контейнер различными грузоподъемными механизмами. Контейнерный грузоподъемный механизм обычно бывает оснащен раздвижным грузозахватным устройством - спредером, который подвешивается на грузоподъемных тросах (канатах) или цепях, причем длину спредера можно регулировать посредством телескопического механизма в соответствии с длиной контейнера, который требуется поднимать, например, длиной 6,058 м (20-ти футовый контейнер) или 12,192 м (40-футовый контейнер). Углы спредера оборудованы специальными поворотными замками, которые позволяют захватывать контейнер. Угловые фитинги контейнера снабжены отверстиями стандартной формы, в которые встают поворотные замки спредера. Когда контейнерный грузоподъемный механизм опустит спредер на верх контейнера, так что все четыре поворотных замка спредера войдут в отверстия угловых фитингов, фиксаторы поворотных замков могут быть повернуты на 90°, что приведет к запиранию фиксаторов в фитингах. Затем контейнер может быть поднят в воздух, т.е. подвешен на спредере.
Обычно контейнеры можно ставить в штабели один поверх другого, например, пять контейнеров друг на друге. Это позволяет накапливать большое число контейнеров на территории небольшой площади, например, на территории контейнерного порта. Штабелирование контейнеров необходимо производить тщательным образом, так чтобы угловые фитинги на днище контейнера, который необходимо ставить на штабель, были совмещены с угловыми фитингами на крыше нижнего контейнера с точностью по меньшей мере около 5 см. В противном случае есть опасность разваливания штабеля.
Типичный контейнерный грузоподъемный механизм, который используют для подъема и штабелирования контейнеров, называется козловым краном (фиг. 1). Козловой кран может двигаться либо по рельсам (Козловой кран на рельсовом ходу, ККРХ) либо на резиновых шинах (Козловой кран на резиновых шинах, ККРШ). При использовании козлового крана подлежащие складированию контейнеры (1) располагают рядами а, b, с, d, е между опорами козлового крана (14), так что между опорами козлового крана образуются 6-8 рядов установленных параллельно друг другу контейнеров, причем ряды обычно содержат, например, пять поставленных друг на друга контейнеров. Тогда между контейнерами и рядами контейнеров оставляют промежуток, обычно 30-50 см, чтобы можно было легче перегружать контейнеры. Обычно между опорами козлового крана оставляют проезд (f), чтобы можно было штабелировать в ряды (а, b, с, d, е) контейнеры, которые перевозят под козловым краном.
В козловом кране спредер (2) посредством грузоподъемных тросов (16) подвешен к специальной тележке (15), которую можно перемещать в боковом направлении контейнерного грузоподъемного механизма и устанавливать в различные положения, позволяя таким образом поднимать и перемещать контейнеры в разных рядах. Длина контейнерных рядов может доходить до сотен метров, т.е. друг за другом могут стоять несколько дюжин 20-ти футовых или 40-футовых контейнеров. Причальный кран-перегружатель конкретно предназначен для подъема контейнеров и погрузки их на судно или выгрузки с судна. В таком случае тележка крана также может перемещаться вдоль консольного моста, чтобы занимать положение над судном, на котором производятся погрузочные операции.
Другой типовой контейнерный грузоподъемный механизм называется «контейнеровоз-погрузчик», который перемещается на резиновых шинах и который значительно более узкий, чем козловой кран. Контейнеровоз-погрузчик может работать только с одним рядом контейнеров между своими опорами, который обычно составлен из 3-4 контейнеров, поставленных друг на друга. В данном случае между рядами контейнеров оставляют значительно большие промежутки, до 1,5 м, чтобы обеспечить достаточно свободного пространства для колес контейнеровоза-погрузчика, чтобы дать возможность последнему перемещаться между рядами.
Спредер (2) контейнерного грузоподъемного механизма также часто оснащают специальным механизмом точного перемещения, и в этом случае, например, при помощи оттяжных тросов (17) подвески спредера или при помощи различных гидравлических цилиндров можно управлять горизонтальным положением и перекосом спредера, при этом нет необходимости приводить в движение или перемещать тележку (15) или весь контейнерный грузоподъемный механизм. Назначение данной функции заключается в том, чтобы облегчить и ускорить захват контейнеров и их постановку в штабель друг на друга.
Если реализован механизм точного перемещения спредера, например, посредством оттяжных тросов (17), число которых обычно равно четырем, т.е. по одному на каждый угол контейнера (фиг. 7), то требуемое усилие или разность усилий в оттяжных тросах тогда создается, например, при помощи электромоторов, так чтобы перемещать спредер горизонтально (х, y) в требуемом направлении или перекашивать спредер в требуемом направлении. Механизм точного перемещения спредера контейнеровоза-погрузчика обычно реализуется при помощи различных гидравлических цилиндров.
Когда машина для работы с контейнерами, такая как вышеупомянутый контейнерный грузоподъемный механизм, используется для подъема и перемещения контейнеров, от водителя требуется высокая точность на нескольких этапах работы. Примерами таких этапов работы являются захват контейнера и постановка контейнера сверху другого контейнера.
Чтобы произвести захват контейнера, спредером приходится управлять в горизонтальном направлении, так чтобы точно расположить спредер сверху контейнера, который предстоит захватить, либо, используя механизм точного перемещения, либо перемещая тележку, либо контейнерный грузоподъемный механизм целиком, так чтобы, когда спредер будет опущен на верх контейнера, все четыре поворотных замка спредера точно вошли в отверстия угловых фитингов контейнера. Этот этап работы для водителя контейнерного крана является трудоемким. В некоторых случаях процесс захвата облегчается механическими направляющими, установленными на спредере. Однако, указанные направляющие делают работу в узких промежутках между контейнерами более трудной.
Чтобы ставить контейнеры поверх друг друга, спредером и подвешенным к нему контейнером необходимо точно управлять, чтобы позиционировать спредер с контейнером сверху нижнего контейнера, либо используя механизм точного перемещения, либо же перемещая тележку или целиком контейнерный грузоподъемный механизм, так чтобы все время в ходе опускания верхнего контейнера на нижний контейнер угловые фитинги на днище верхнего контейнера как можно точно были совмещены с угловыми фитингами нижнего контейнера. Точность при штабелировании, к которой надо стремиться, обычно составляет около 3 см. Специалистам в данной области должно быть понятно, что данный этап работы требует от водителя машины для подъема и перемещения контейнеров большего времени и большей точности, чем при захвате контейнера, поскольку в данном случае процедуру выравнивания контейнера сверху нижнего контейнера нельзя облегчить, например, при помощи простых механических направляющих, таких, о которых говорилось выше.
Действие контейнерных грузоподъемных механизмов становится все более автоматизированным, и работа водителя контейнерного грузоподъемного механизма ускоряется и становится проще за счет применения, например, компьютерного управления. В процессе дальнейшей автоматизации становится возможным вообще убрать водителя из машины для подъема и перемещения контейнеров. При этом такая машина работает или посредством дистанционного управления, и/или совершенно независимо под управлением компьютера. Часто также возможно выполнение этапов работы гибким образом, так что, если в каких-то случаях с этапом автоматической работы система не справляется, то оператор дистанционного управления в порядке исключения может выполнить данный этап работы при помощи дистанционного управления. Например, в такой ситуации было бы полезным, чтобы применяемая технология могла гибко адаптироваться и к работе в качестве помощника водителя, и к автоматической работе под управлением от компьютера.
В существующем известном техническом решении для помощи водителю при захвате контейнера используются камеры на приборах с зарядовой связью (ПЗС-камеры), установленные на спредере и ориентированные в нижнем направлении для передачи видеоизображения, которое дает возможность водителю выставлять спредер сверху контейнера. Однако данный способ не подходит для автоматизации работы, поскольку алгоритмы обработки изображения, которые могли бы позволить контролировать положение контейнера по изображениям от камер, действуют ненадежно при различных погодных условиях и условиях освещения. Данный способ также непригоден для штабелирования контейнеров, поскольку при штабелировании датчик камеры располагается весьма далеко от нижнего контейнера (3 м), и кроме того верхний контейнер загораживает обзор водителю либо в большей части, либо полностью. Помимо этого, верхний контейнер отбрасывает тень на нижний контейнер, что делает промежуток между контейнерами очень темным. В таким случае очень трудно различать нижний контейнер на видеоизображении.
Раскрытие изобретения
Таким образом, задача настоящего изобретения заключается в создании способа и устройства, реализующего предлагаемый способ, которые позволяли бы решить вышеупомянутые проблемы. Задача изобретения решается посредством способа, устройства и компьютерной программы, отличительные признаки которых изложены в независимых пунктах формулы изобретения. Предпочтительные варианты осуществления изобретения раскрыты в зависимых пунктах формулы изобретения.
В соответствии с первым аспектом изобретения, предлагается способ для подъема и перемещения груза посредством грузоподъемного устройства, содержащего средства захвата для удержания по меньшей мере одной точки крепления груза, при этом способ содержит формирование в средствах захвата карты расстояний для области, в которой изображается часть поверхности груза, к которому прикрепляются средства захвата и/или на который ставится другой груз, а также изображаются окружающие груз объекты.
В соответствии со вторым аспектом изобретения, предлагается устройство, содержащее средства для осуществления способа, соответствующего первому аспекту.
В соответствии с третьим аспектом изобретения, предлагается компьютерный программный продукт, содержащий программные инструкции, которые, будучи загруженными в устройство, могут обеспечить осуществление устройством, например, грузоподъемным механизмом, способа, соответствующего первому аспекту изобретения.
Согласно еще одному аспекту изобретения, предлагается способ модернизации грузоподъемного механизма, содержащий сборку в грузоподъемном механизме устройства, соответствующего второму аспекту изобретения, или инсталляцию в грузоподъемный механизм компьютерного программного продукта, соответствующего третьему аспекту изобретения.
В основе изобретения лежит идея формирования карты расстояний для части поверхности груза, подлежащего подъему и перемещению - части, к которой производится присоединение или сверху которой ставится другой груз. Карта расстояний определяет множество точек, которым соответствуют значения дистанции. Предпочтительно, чтобы дистанция представляла расстояние в одном направлении перемещения груза, например, в вертикальном направлении, чтобы можно было управлять грузом на основе карты расстояний, например, в вертикальном направлении и/или в других направлениях движения, которые могут быть перпендикулярны вертикальному направлению. Кроме того, карта расстояний может определять область поверхности груза, подлежащего перемещению, давая возможность перемещать груз путем контроля области карты расстояний, которая лежит снаружи от области груза, который подлежит перемещению.
Преимущество способа и устройства, соответствующих изобретению, заключается в том, что оказывается возможным точно контролировать значимые части груза, который необходимо перемещать. Кроме того, указанный контроль может легко и гибко осуществлять, либо человек, либо компьютер. Когда область, подлежащая контролю, ограничена только частью груза, который необходимо перемещать, обработку информации, относящейся к контролю, можно поддерживать на простом уровне, при этом также можно поддерживать на низком уровне и количество ошибок, совершаемых в ходе контроля. Другие преимущества и/или полезные качества будут раскрыты в последующем описании, в котором будут рассмотрены более подробно различные варианты осуществления изобретения.
Краткое описание чертежей
Далее изобретение будет рассмотрено более подробно на примерах предпочтительных вариантов осуществления со ссылками на прилагаемые чертежи, на которых:
фиг. 1 изображает козловой кран, устанавливающий контейнер на верх нижнего контейнера,
фиг. 2 изображает датчик изображения 3D-камеры,
фиг. 3 изображает соответствующее изобретению устройство,
фиг. 4 изображает соответствующее изобретению устройство и его работу при захвате груза,
фиг. 5 изображает соответствующее изобретению устройство и его работу после того, как груз прикреплен к устройству захвата,
фиг. 6 изображает соответствующее изобретению устройство и его работу в процессе штабелирования груза,
фиг. 7 изображает способ реализации автоматического управления спредером (2) на основе областей карт расстояний,
фиг. 8 изображает блок-схему алгоритма осуществления способа штабелирования груза, соответствующего варианту осуществления изобретения,
фиг. 9 изображает блок-схему алгоритма осуществления способа подъема и перемещения груза, когда управление грузом осуществляется на основе карты расстояний, сформированной в системе координат крана, и в системе координат спредера, в соответствии с вариантом осуществления изобретения, и
фиг. 10 изображает блок для реализации устройств, соответствующих вариантам осуществления настоящего изобретения.
Осуществление изобретения
В основе варианта осуществления настоящего изобретения лежит определение карты расстояний. Карта расстояний содержит совокупность точек положения в двумерной (2D) плоскости. 2D-плоскость можно определить, например, на основе системы координат, которая используется средствами захвата груза. Системой координат может служить, например, декартова система координат с осями х и y, что позволяет назначить 2D-плоскость, как плоскость, определяемую осями х и y. В таком случае, любую точку положения в такой 2D-плоскости можно определить значениями (x, y) по осям координат.
В предпочтительном случае информация о расстояниях представляет собой данные дистанций в направлении перпендикулярном указанной 2D-плоскости. Когда 2D-плоскость определена осями х и y декартовой системы координат, информация о расстояниях может содержать значения по оси z этой системы координат.
В вариантах осуществления настоящего изобретения подъем и перемещение груза осуществляется при помощи средств захвата, которые предназначены для присоединения к грузу. Примеры таких средств захвата включают спредер и/или крюк. Операции подъема и перемещения груза могут содержать захват груза - в этом случае средства захвата используют для присоединения к грузу, и/или штабелирование груза - в этом случае груз, перемещаемый при помощи средств захвата, укладывают сверху другого груза.
Варианты осуществления настоящего изобретения пригодны для применения при подъеме и перемещении грузов, таких как контейнеры, например, при захвате контейнера и/или при штабелировании контейнеров. Следует отметить, что варианты осуществления настоящего изобретения могут также быть применены для подъема и перемещения других грузов, у которых имеется одна или более точек крепления, которые позволяют осуществлять подъем и перемещение груза. Точки крепления могут быть предусмотрены на грузе фиксированным образом, или они могут быть образованы ремнями бандажного крепления, например, такими, какие используются для связывания пакетов деревянных досок.
Вариант осуществления настоящего изобретения основан на использовании времяпролетных камер (Time-of-flight, TOF-камер). TOF-камера это пример трехмерной (3D) камеры. 3D-камеры дают информацию о расстояниях, связанную с двумерным (2D) изображением, и о точках 2D-изображения. Точки 2D-изображения могут быть определены как элементы изображения (пиксели), при этом с каждым пикселем можно связывать не только значение яркости (I) света, но и информацию о цвете (RGB). 3D-камера, такая как времяпролетная камера, привязывает данные расстояния (D), измеренного от датчика изображения камеры до объекта, который виден определенному пикселю, к точкам 2D-изображения. Ниже, принцип работы TOF-камеры будет рассмотрен достаточно подробно для понимания изобретения.
Стандартная ПЗС-камера содержит фоточувствительную матрицу, изготовленную по полупроводниковой технологии, и содержащую чувствительные фотодиоды, расположенные в виде регулярного растра (7) фиг. 2. Такой растр, например, в современной 6-мегапиксельной камере может содержать, например, до 2816 рядов и 2112 столбцов. Один такой чувствительный фотодиод называют пикселем (13). Когда такой фотодиод подвергается действию света, который обычно проходит через объектив, указанный фотодиод измеряет интенсивность (I) светового излучения, которое он принимает. Таким образом, стандартная ПЗС-камера измеряет интенсивность света на каждом пикселе (13) растра (7).
Обычно одиночный фоточувствительный диод не воспринимает цвета, но перед фоточувствительным диодом можно располагать фильтры различных цветов, чтобы ПЗС-камера могла также измерять цвета на изображении. Цветными фильтрами обычно являются красный, зеленый и синий (R, G, В) фильтры. В общем, стандартная ПЗС-камера измеряет следующие величины для каждого пикселя (13) растра: (I, R, G, В), хотя из этого набора часто опускают цветовую информацию, как ненужную.
В настоящее время ПЗС-матрицы все чаще заменяют матрицами с комплементарной структурой «металл-оксид-полупроводник» (Complementary Metal-Oxide-Semiconductor, CMOS), работа которых в своей основе аналогична работе ПЗС-матриц, но, что касается измерения интенсивности света, то наряду с прочим аналого-цифровое преобразование выполняется в схеме самой матрицы, в то время как при использовании ПЗС-матриц указанное преобразование выполняется вне схемы матрицы.
Времяпролетная (TOF) камера отличается от стандартной ПЗС (или CMOS) камеры тем, что стандартная камера измеряет свет, приходящий от окружающих предметов, а TOF-камера независимым образом формирует свет, который затем измеряет, и с этой целью освещает объект собственным источником света. Кроме этого, TOF-камера измеряет время, которое требуется свету, который камера излучает, чтобы распространиться до объекта, видимого на изображении, и после отражения вернуться к датчику изображения камеры. Такое измерение времени распространения света TOF-камера производит отдельно для каждого пикселя (13) растра (7) (n, m). Дополнительно к стандартному изображению, т.е. карте интенсивностей l(n, m) и возможной карте цветов R(n, m), G(n, m), B(n, m), TOF-камера также формирует карту расстояний D(n, m) в поле (7) изображения.
В вариантах осуществления, соответствующих настоящему изобретению, измерение времени распространения света может быть реализовано, например, в TOF-камере следующим образом. Свет, излучаемый в направлении объекта, подвергается модуляции несущей радиочастотой (RF, Radio Frequency), и производится сравнение фазы отраженного света, который возвращается от объекта, с фазой исходной несущей радиочастоты, что позволяет определить сдвиг фазы между излучаемым и отраженным светом. Указанный сдвиг фазы можно определить для каждого пикселя изображения независимо. На основе сдвига фазы можно определить время распространения света от камеры до объекта и обратно для каждого пикселя изображения. Наконец, используя известное значение скорости распространения света, можно вычислить расстояние (D) от объекта до каждого пикселя изображения. TOF-камера может выполнять описанный процесс измерения расстояния с частотой до 100 раз в секунду. В настоящее время TOF-камеры способны измерять расстояния, обычно, до дистанции приблизительно 6 м. Следует отметить, что вышеописанным способом расстояния можно также измерять для группы точек изображения, например, путем усреднения сдвигов фазы для группы пикселей, или путем выбора одного пикселя в группе пикселей, объединенных вместе, чтобы представлять площадку, образованную группой пикселей.
Дополнительно к информации о расстоянии (D) TOF-камера в типичном случае также измеряет нормальное черно-белое или цветное изображение. В общем, TOF-камера измеряет следующие величины для каждого пикселя (13) растра (7): (I, R, G, В, D), где D - расстояние (в пространстве) от датчика изображения камеры до объекта, который является видимым для пикселя (13) изображения.
Разрешение современных TOF-камер сравнительно умеренное, обычно 320×240 пикселей, но данное разрешение уже позволяет решать ряд технических задач. При использовании типового объектива размер одного пикселя соответствует размеру, приблизительно 0,1-1 см на объекте измерения. Рассмотренная TOF-камера в частности пригодна для применения в передвижных рабочих машинах, поскольку камера не содержит никаких движущихся механических узлов, и, таким образом, является очень стойкой, например, в отношении ударов, направленных на спредер (2).
Для специалистов в данной области должно быть понятно, что соответствующие изобретению способ и устройство могут осуществлены посредством 3D-камеры, которая построена на технологии, отличающейся от TOF, и которая с высокой частотой, например, 10 Гц или более, формирует по меньшей мере информацию о дистанции (D) для пикселей изображения объекта подлежащего записи, и в каких-то вариантах осуществления - по меньшей мере информацию об интенсивности и дистанции (l, D) для пикселей изображения объекта подлежащего записи.
Примерами подходящих технологий построения 3D-камеры среди прочих могут служить пленоптическая камера и стереокамера. В пленоптической камере перед датчиком изображения установлен специальный растр из микролинз. Пленоптическая камера после съемки позволяет, например, производить фокусирование на любое требуемое расстояние. Аналогично, можно полагать, что стереокамера может формировать информацию об интенсивности и дистанции (l, D). Однако, следует отметить, что поскольку требуются стереоизображения, то физический размер стереокамеры (которая состоит из двух камер) велик для применения в настоящем изобретении, и получение информации о дистанции (D) для каждого пикселя изображения является менее надежным в силу ограниченной производительности алгоритмов согласования изображений стереопары.
На фиг. 1 изображен козловой кран (14), устанавливающий контейнер (1′) на верх нижнего контейнера (1). Обычно, контейнеры (1) складируют в виде длинных рядов между опорами козлового крана (14). Между штабелями контейнеров оставляют промежуток, обычно 30-50 см. Козловой кран (14) захватывает контейнер специальным спредером (2), свисающим от тележки (15) козлового крана, и подвешенным на грузоподъемных тросах (16). Путем укорачивания или удлинения грузоподъемных тросов (16) осуществляют подъем или опускание контейнера (1′) подлежащего перемещению. Подлежащий перемещению контейнер (1′) можно перемещать в горизонтальных направлениях либо путем передвижения тележки (15) или самого козлового крана (14), либо посредством специального механизма точного перемещения, который может быть реализован, например, на основе оттяжных тросов (17). Оттяжные тросы (17) позволяют прикладывать к спредеру (2) боковые силы, чтобы перемещать спредер (2) и/или задавать перекос спредеру.
На фиг. 2 изображен датчик (матрица) (7) изображения и 3D-камера (3), например, времяпролетная камера (TOF-камера). Датчик изображения содержит массив пикселей (13), которые принимают свет от объекта, который подлежит записи. Пиксели датчика изображения образуют соответствующее поле (область) изображения камеры. В датчике изображения падающий свет, принимаемый пикселем, преобразуется в электрический сигнал. Электрический сигнал может содержать информацию о расстоянии до записываемого объекта, информацию об измеренной интенсивности света и цветовую информацию (например, R, G, В), или же комбинацию упомянутых величин. Обычно пиксели в матрице (7) расположены в виде регулярных рядов и столбцов. 3D-камера обычно для каждого одиночного пикселя (13) производит измерение следующих величин: интенсивности (l) освещения, обнаруженной фотодиодом, соответствующим данному пикселю, и в некоторых случаях - цветовые компоненты (R, G, В), измеренные посредством различных цветных фильтров. 3D-камера дополнительно, на основе времени распространения света, излучаемого камерой, измеряет расстояние (D) до объекта, который виден на изображении, для каждого отдельного пикселя (13) n, m. Таким образом, дополнительно к стандартному неподвижному и/или видеоизображению 3D-камера также посредством ее датчика (7) изображения формирует карту расстояний D(n, m).
Согласно варианту осуществления изобретения, для формирования карты расстояний используется датчик изображения 3D-камеры, такой как TOF-камера. Пиксели датчика изображения в своем положении измеряют информацию о расстоянии, и тем самым пиксели (n, m) датчика изображения формируют карту расстояний. Карта расстояний может быть сохранена в памяти, например, в памяти компьютера (20) фиг. 7. Посредством множества 3D-камер может быть сформировано множество карт расстояний. Указанные карты расстояний можно сохранять в виде неподвижных изображений или в виде видеоизображений.
Положение контейнеров, показанных на фиг. 3, 4, 5, 6, 7, описывается в системе координат x, y, причем ось х системы координат расположена в направлении ширины спредера, а ось у расположена в направлении длины спредера, что позволяет определять положение контейнера значением координаты х, значением координаты у и углом поворота системы координат, например, в градусах. Кроме того, информация о положении контейнера может содержать данные вертикального положения контейнера в направлении оси z, что позволяет поворот контейнера определять, как поворот вокруг оси z.
На фиг. 3 изображено соответствующее изобретению устройство, в котором 3D-камеры (3) установлены на наружных углах спредера (2). Указанные 3D-камеры могут быть установлены на одном, двух, трех или четырех наружных углах. Чем больше число 3D-камер, тем выше точность подъема и перемещения контейнера, и тем проще управление.
Спредер присоединяется к контейнерам посредством их угловых фитингов. В таком случае, поле зрения 3D-камеры, установленной на наружном углу спредера, охватывает боковые стороны контейнера (1′), который требуется перенести, и угол этого контейнера, что показано заштрихованной областью (11). Область (9, 10) остается под контейнером, который висит на спредере, и она не изображается 3D-камерой (3). Таким образом, поле изображения 3D-камеры на содержит никакой информации об объектах, расположенных под контейнером, который требуется перенести, например, на крыше другого контейнера.
Согласно одному варианту осуществления изобретения, 3D-камера установлена немного снаружи периметра спредера, как в направлении ширины (х), так и в направлении длины (y). Подходящая точка установки находится на расстоянии, например, 5-10 см снаружи от линии периметра. Предпочтительно, чтобы 3D-камера была направлена вниз, в направлении контейнера, с которым требуется работать. Таким образом, направлением визирования установленной 3D-камеры является направление, в котором производится прием и доставка контейнеров, присоединяемых к спредеру.
На фиг. 3 изображен пример установки такой камеры (3) на спредер (2) и изображения (7) расстояний, которое видит датчик камеры, когда производится установка контейнера (1′) на верх другого контейнера (1). Область (4) изображения, охватываемая датчиком, тогда частично совпадает с контейнером (1′), который требуется перенести, поскольку датчик (3) установлен очень близко к наружному углу контейнера (1′). В таком случае, часть (10) области изображения датчика камеры содержит изображение контейнера (1′), подлежащий переноске. Данная область изображения содержит точки изображения боковой части контейнера (1′), лежащие внутри треугольной области (11). Датчик камеры измеряет величины расстояний (D1) для точек изображения, соответствующих точкам, попадающим в указанную треугольную область, причем область этих расстояний простирается от нуля до высоты контейнера. Аналогично, зона (9) области (4) изображения, которая соответствует области тени под контейнером (1′), подлежащим переноске, остается полностью невидимой для датчика (3). Размер области (10) изображения изменяется в соответствии с тем, насколько высоко находится контейнер (1′), подлежащий переноске, а также немного в соответствии с тем, как сел указанный контейнер в поворотных замках спредера. Между тем от зоны, лежащей за пределами области (9), от верхней поверхности (8) нижнего контейнера (1) датчик (3) измеряет величины расстояний (D2), указывающие на дистанцию между нижним контейнером (1) и датчиком (3). От внешних точек, расположенных внутри области (4, 7) изображения, которые не соответствуют нижнему контейнеру (1), но все-таки возможно соответствуют земле или контейнерам на более низких уровнях (в части области 7 изображения, которая не включена в области 8 или 10), датчик (3) измеряет величины расстояний (D3), которые явно больше величин расстояний (D2). В зависимости от взаимного положения верхнего и нижнего контейнеров область (8) может быть прямоугольной, может иметь форму буквы L или может полностью исчезать, когда угол нижнего контейнера полностью прячется под верхним контейнером. Если другие контейнеры расположены рядом с контейнером (1), то датчик (3) может давать показания расстояний сравнимые с расстоянием D2 также от внешних краев области (4, 7) изображения, но поскольку между контейнерами, подлежащими штабелированию, оставляют промежуток 30-50 см, эти показания, полученные от внешних краев, могут быть отделены от области (8) и отброшены, как ошибочные.
Нижний контейнер, возможно попадая в область (4, 7) изображения камеры, может быть частично (8) видимым под верхним контейнером в изображении, которое выдает камера. В области (10) изображения, которая остается в теневой зоне (9), 3D-камера измеряет расстояния D1, при этом для пикселей камеры объектами служат стороны переносимого контейнера в области (11). В таком случае, расстояния D1, измеряемые 3D-камерой в области (10), которая остается в теневой зоне, ограничены высотой переносимого контейнера, а расстояния, подлежащие измерению, ограничены нижним краем указанного контейнера. К примеру, расстояния D1 по прямой короче или приблизительно равны высоте h контейнера (1′). Аналогично, 3D-камера от области (8) изображения измеряет расстояния D2, которые больше высоты контейнера (1′). Эти расстояния измеряются от той части области изображения, которая расположена снаружи (8) теневой зоны. Область, которая остается снаружи теневой зоны, может содержать контейнер и/или другие объекты, которые остаются под переносимым контейнером.
Когда переносимый контейнер находится в воздухе, граница между теневой зоной и зоной, которая лежит снаружи теневой зоны, может быть определена, например, на основе изменения расстояний, измеренных от области изображения. Изменение можно обнаружить, как изменение величин расстояний для двух соседних пикселей, которое больше определенной пороговой величины. Когда один пиксель в качестве информации о расстоянии D(n, m) содержит информацию о расстоянии, измеренном от боковой стороны (11) верхнего контейнера, следующий пиксель соответствует области, которая лежит снаружи теневой зоны в области изображения 3D-камеры, и выдает сигнал расстояния, которое на пороговую величину превышает расстояние, измеренное от боковой стороны контейнера. Указанная пороговая величина может быть выбрана в соответствии с требуемым разрешением.
Пороговую величину для определения границы между теневой зоной и зоной, которая лежит снаружи теневой зоны, можно также выбирать на основе высоты контейнера. Высоты контейнеров стандартизованы, что дает возможность границу теневой зоны определять путем сравнения расстояний, измеренных от боковой стороны контейнера, с известной высотой контейнера.
Кроме того, следует отметить, что дополнительно помочь определению границы может изменение информации, содержащейся в соседних пикселях, по сравнению с некоторой пороговой величиной. Информацию, содержащуюся в пикселях, например, расстояние, интенсивность и/или цветовую информацию, можно сравнивать с соответствующими пороговыми величинами, которые были установлены для указанных видов информации.
К тому же, границу между теневой зоной и зоной, которая лежит снаружи теневой зоны, можно определять путем обработки информации, измеренной 3D-камерой для определенного пикселя. Данные о расстоянии, данные об интенсивности и/или цветовые данные соседних пикселей можно, например, дифференцировать, а величину производной можно сравнивать с пороговой величиной производной.
Область (7) изображения 3D-камеры может содержать теневую зону (10), область (9) под данной теневой зоной, которая не входит в поле (4) зрения 3D-камеры, и область (12, 8), которая лежит снаружи теневой зоны, и которая может содержать точки объектов, окружающих теневую зону, например, поверхности контейнеров, пол или землю.
Согласно фиг. 3, белая зона области (7) изображения соответствует части поля (4) зрения 3D-камеры, которая лежит снаружи теневой зоны, и еще далее снаружи теневой зоны за пределами контейнера (1), который расположен в поле зрения 3D-камеры. От этой области 3D-камера измеряет расстояния D3, которые больше, чем расстояния D2 и еще больше, чем расстояния D1, которые измеряются от переносимого контейнера (1′), образуя теневую зону.
На фиг. 4, 5 и 6 груз представляет собой контейнер (1, 1′) который поднимают и переносят посредством спредера (2). Фиг. 4 изображает соответствующее изобретению устройство и его работу, когда производится захват груза. Фиг. 5 изображает соответствующее изобретению устройство и его работу, после того как груз был прикреплен к спредеру, а фиг. 6 изображает соответствующее изобретению устройство и его работу, когда производится штабелирование груза.
На фиг. 4, 5 и 6 на наружных углах спредера (2) установлены 3D-камеры (3). Поле (4) зрения каждой камеры показано как область (4) изображения. Области изображения 3D-камер образуют семейство (6). В указанном семействе, части карт расстояний, образованные областями изображения, которые содержат грузы, подлежащие подъему и перемещению, отделены друг от друга и от своего окружения. Семейство изображений образует композицию, в которой части карт расстояний, содержащие подлежащий подъему и перемещению груз, помещены в середину, в то время как части карт расстояний, которые расположены снаружи частей, представляющих указанный груз, помещены на края композиции.
Семейство изображений формируется, когда 3D-камеры видят углы контейнера (1, 1′), поскольку интерес представляет часть (5, 11), попадающая в поле (4) зрения камеры. Части контейнера, не прикрепленного к спредеру, попадающие в поле зрения 3D-камеры, показаны в области (7) изображения камеры в виде заштрихованных зон (8). 3D-камеры измеряют расстояния (D) до объектов (5, 11) в поле зрения 3D-камер. Измеренные расстояния показаны в области (7) изображения каждой 3D-камеры, как зоны (8, 10), соответствующие объектам (5, 11) в поле зрения.
Композиция дает возможность водителю контейнерного грузоподъемного механизма ясно видеть положение углов контейнера друг относительно друга, также, например, в сложных условиях освещения в темных промежутках, образованных штабелями контейнеров. Водителю может быть предъявлена, например, стандартная картина распределения интенсивностей, получаемая от камеры, и содержащая, например, области (пиксели изображения) полей, в которых расположены (8, 10) подлежащие подъему и перемещению контейнеры, окрашенные различными цветами. Окрашенные части указанных полей изображения могли бы быть частично прозрачными, как если бы стандартная картина интенсивностей, получаемая от камеры, была видна из-под окраски, или же окрашенные части (8, 10) полей изображения могут быть совершенно непрозрачными. Относительный размер и различимость областей, которые представляют важность для водителя, например, (8), могут также быть графически усилены компьютером (20), так чтобы водителю было легче обнаруживать даже небольшие отклонения положения, например, между верхним и нижним контейнером. TOF-камера является особенно подходящим инструментом для реализации описанной функции, поскольку один и тот же датчик (3) камеры формирует и обычное изображение (т.е. карту интенсивностей l(n, m)), и карту расстояний D(n, m). В предпочтительном варианте 3D-камеры установлены на спредере так, что создаваемое ими изображение каждого из углов контейнера, после того как контейнер присоединен к спредеру, симметрично изображениям от других камер. Это облегчает работу, особенно, когда интерес представляет функция помощи водителю, поскольку облегчает водителю обнаружение симметричной ситуации. Симметрия может быть достигнута, например, когда области (8) контейнера в области изображения 3D-камеры будет иметь одинаковый размер и форму для всех 3D-камер спредера. Различными видами симметрии являются, например, математическое отражение картины относительно прямой линии, а также отражение или поворот картины относительно точки. Такая конфигурация может быть получена путем установки каждой 3D-камеры в одном и том же месте относительно наружного угла спредера, к которому 3D-камера прикреплена, а также, если необходимо - путем масштабирования изображений, создаваемых 3D-камерами. Симметрия областей изображения 3D-камер, после того, как контейнер присоединен к спредеру, и композиция, составленная из областей изображений от нескольких 3D-камер, позволяет управлять спредером, когда производится захват контейнера. Таким образом при выполнении захвата контейнера спредером можно управлять с целью получения взаимно симметричных областей изображения от 3D-камер.
Согласно варианту осуществления настоящего изобретения, из изображений, создаваемых 3D-камерами, формируется семейство (6) изображений, в котором части областей изображения, создаваемых 3D-камерами, которые содержат подлежащий захвату контейнер, помещаются в середину, в то время как части областей изображения, лежащие снаружи частей, которые представляют подлежащий захвату и переносу контейнер, помещаются на краях композиции. Существует возможность, чтобы в композиции были оставлены некоторые промежутки между областями изображений от различных 3D-камер, и в этом случае сетка, образованная областями изображений, образует решетку, которая отделяет изображения друг от друга. Следует отметить, что наличие такой решетки не является необходимым, напротив, изображения могут быть представлены в композиции без промежутков между ними. Композиция позволяет осуществлять взаимное сравнение областей изображения, которые представляют подлежащий захвату контейнер, и управлять спредером так, чтобы получить взаимно симметричные области изображений. Особенно, что касается функции помощи водителю, то на основе такой симметрии водителю легче обнаруживать и корректировать смещение спредера от требуемого положения. Кроме того, при использовании автоматического управления, когда вместо водителя спредером управляет, например, компьютер (20), данный принцип позволяет уменьшить сложность ресурсов, которые необходимы для обработки сигналов изображений 3D-камер, и понизить сложность алгоритмов, поскольку обработка сигналов изображений может быть сосредоточена на определенной области изображения 3D-камеры, и более того - в середине композиции.
На фиг. 5 и 6 контейнер, который подлежит перемещению, уже присоединен к спредеру, и в этом случае на представленных композициях (6) вместо вышеописанного контейнера, который требуется захватить, в середине композиции теперь видны части областей изображений, которые представляют контейнер (10), присоединенный к спредеру, в то время как части областей изображений, которые находятся снаружи частей, представляющих присоединенный контейнер, расположены на краях композиции.
От объектов в поле зрения 3D-камеры, например, контейнера (1), который подлежит захвату, контейнера (1′), который подлежит переносу и/или от контейнера (1), находящегося под контейнером, который подлежит переносу, в области изображения 3D-камеры формируются зоны (10, 8), соответствующие указанным объектам. Может быть выполнено распознавание различных зон, например, на основе расстояния (D), измеренного 3D-камерами (3).
Согласно варианту осуществления настоящего изобретения, например, при захвате контейнера, как показано на фиг. 4, когда спредер (2) опускают в направлении контейнера (1), производится распознавание пикселей зоны (8) изображения из области изображения 3D-камеры, измеренное расстояние (D) до которой меньше установленной предельной величины, например, 1 м. Как говорилось выше, данные измерений, поступающие от контейнеров, которые возможно расположены рядом с контейнером (1), например, контейнеров соседнего ряда, могут быть отброшены, как ошибочные, благодаря наличию промежутка (30-50 см) между контейнерами. Далее, водителю контейнерной грузоподъемной машины может быть показана сетка (6), образованная, например, четырьмя изображениями (7) с камер, формируемыми в масштабе реального времени, в которых присутствуют, например, окрашенные зоны (пиксели) (8) области изображения, при этом обнаруженный объект (контейнер, который необходимо захватить) находится ближе определенного расстояния. Специалистам в данной области должно быть понятно, что измеренные значения расстояний, поступающие от объектов, окружающих контейнер, который необходимо захватить, и, например, от земли, значительно больше из-за наличия высоты контейнера (1), который необходимо захватить. Когда углы (8) контейнера, видимые на сетке (6) образуют симметричную картину, спредер (2) находится в правильном положении относительно контейнера (1), который подлежит захвату.
Данный способ одинаково хорош и при работе с 20-футовыми, и при работе с 40-футовыми контейнерами, поскольку, когда спредер раздвигают или сдвигают до требуемого размера в соответствии с контейнером, с которым предстоит работать, 3D-камеры остаются в одном и том же положении по отношению к контейнеру. Если рассматривать исключительно только процесс захвата контейнера, то число 3D-камер может быть сокращено до двух, поскольку этого будет достаточно для управления позицией спредера по отношению к двум углам контейнера: оставшиеся два угла тогда автоматически займут свое правильное положение. Чтобы водитель имел возможность при управлении процессом использовать симметрию изображений, наиболее выгодно располагать 3D-камеры в диагональных углах спредера. Согласно одному варианту, например, при захвате контейнера, как на фиг. 4, можно на основе пикселей (8) изображения, распознанных в поле (7) изображения, рассчитать численные значения бокового смещения (x, y) и перекоса спредера относительно контейнера, который необходимо захватить. Это может быть выполнено, например, путем определения компьютером (20) ширины (w) и высоты (h) прямоугольной зоны (8) в пикселях изображения. Когда производится постоянное определение таких численных значений, предпочтительно с частотой по меньшей мере 10 Гц, то оказывается возможным управление посредством компьютера (20) спредером (2), и постановки спредера в правильное положение, и таким образом - автоматическое управление боковым смещением (x, y) и перекосом спредера. Большим преимуществом данного способа является то, что один и тот же датчик системы может быть использован, как для полностью автоматической работы без участия человека, так и для помощи водителю.
Согласно варианту осуществления изобретения, карта расстояний используется для управления спредером при операциях с одним или более контейнерами. Примеры операций с контейнерами включают захват контейнера и установку контейнера, который подлежит перемещению, на верх контейнера, расположенного ниже. Может быть реализовано автоматическое управление, и в этом случае спредером можно управлять без участия человека, например, посредством компьютера (20), который предусмотрен в контейнерном грузоподъемном устройстве, или путем дистанционного управления.
Управление контейнером может заключаться, например, в управлении подлежащим перемещению контейнером (1′) так, чтобы расположить последний сверху другого контейнера посредством спредера и/или в захвате контейнера (1) посредством спредера. Спредер можно перемещать в выбранной системе координат, например, в системе координат контейнерного грузоподъемного устройства (14, 15), такого как кран. Когда спредер перемещают без подвешенного на нем груза, то груз, с которым предстоит работать (например, контейнер, который необходимо захватить), движется относительно карты расстояний. Когда спредер переносит груз, то груз, с которым необходимо работать (например, контейнер, который необходимо переместить), остается по существу неподвижным относительно карты расстояний. Когда осуществляется управление спредером, соответствующие карты расстояний формируются посредством одной или более 3D-камер, установленных на спредере.
Спредер перемещают в плоскости изображения 3D-камеры, в направлении глубины относительно плоскости изображения или в сочетании указанных направлений. Когда производится формирование множества карт расстояний, то предпочтительно, чтобы плоскости изображения 3D-камер были параллельны друг другу. Однако, из-за раскачивания спредера перемещение спредера может быть обнаружено другим способом в каждой карте расстояний.
Согласно одному варианту осуществления изобретения, карту расстояний определяют в системе координат средств захвата. В таком случае расстояния измеряют относительно средств захвата, причем оси системы координат, которая должна использоваться, неподвижны относительно средств захвата. Информация о расстояниях, которую предоставляет карта расстояний, сформированная таким образом, может быть преобразована для новой системы координат с другими осями, нежели оси системы координат средств захвата. Это может быть полезным, когда, например, на спредере используется только одна или две 3D-камеры. В этом случае на карте расстояний не получается картина, соответствующая всем углам контейнера. Управление средствами захвата может производиться в новой системе координат путем использования информации о расстояниях, измеренных посредством карт расстояний на контейнере, подлежащем захвату и переносу, и/или на нижнем контейнере. Следует отметить, что необязательно, чтобы карты расстояний всех 3D-камер одновременно обнаруживали контейнер, с которым необходимо работать, когда производится преобразование информации, предоставляемой картами расстояний, для новой системы координат. Информация о расстояниях, предоставляемая картой расстояний, которая получена посредством одной 3D-камеры, может быть преобразована для новой системы координат, при этом положение зоны (8, 10), обнаруженной на карте расстояний, будет известно в новой системе координат. Когда на карте расстояний другой 3D-камеры обнаружен груз (10), с которым необходимо работать, или объект (8) вне указанного груза, то информация о расстояниях, предоставленная этой другой картой, может быть преобразована для новой системы координат. Когда используются две 3D-камеры, указанные камеры можно установить на наружных углах спредера, как говорилось выше. Предпочтительно, чтобы это были углы диагонали или противоположные углы в продольном направлении спредера. Продольное направление на спредере можно определить, как направление вдоль длины спредера. Следовательно, благодаря использованию двух 3D-камер оказывается возможным определять положения углов контейнера и управлять спредером, например, для захвата и штабелирования контейнеров.
Аналогично, когда контейнер, подлежащий перемещению, находится в воздухе, вне контейнеров, которые расположены ниже, зона, соответствующая контейнеру, подлежащему перемещению, может быть распознана, когда расстояние меньше установленного нижнего предела. Как говорилось ранее, нижний предел может представлять собой пороговую величину, которая ограничена высотой контейнера, подлежащего перемещению. Кроме того, когда происходит превышение этой пороговой величины, могут быть распознаны объекты, расположенные ниже контейнера, подлежащего перемещению, например, другие контейнеры или другой контейнер.
Фиг. 5 изображает соответствующее изобретению устройство и его работу, после того как груз (1′) присоединен к средствам (2) захвата. В примере фиг. 5 грузом является контейнер (1′), а средствами захвата является спредер (2), что является типичным, когда производится захват и перемещение контейнеров. Наружные углы спредера оснащены 3D-камерами. Поле (4) зрения 3D-камер включает в себя область (10), соответствующую теневой зоне (9), при этом расстояния, измеряемые 3D-камерой, ограничены высотой контейнера. Расстояния, которые необходимо измерять от теневой зоны, таким образом измеряются от поверхности контейнера, подлежащего перемещению, например, от его сторон (11). Подлежащий перемещению контейнер не дает 3D-камере видеть зону (9), расположенную под контейнером. 3D-камера формирует область (7) изображения, в которой теневая область (10) может быть отделена от свободных областей (12) поля зрения 3D-камеры, которые лежат снаружи теневой области. Теневая область и другие области, принадлежащие области изображения могут быть распознаны так, как это было рассмотрено выше.
Устройство, представленное на фиг. 5, позволяет, после того как груз присоединен к средствам захвата, определить на карте расстояний область контейнера. Данная область образует теневую зону, внутри которой расстояния, измеряемые 3D-камерой, ограничены высотой контейнера. Следовательно, положение контейнера, подлежащего перемещению, может быть определено в областях изображений 3D-камер, что дает возможность при работе с контейнером, например, при установке сверху другого контейнера, перемещать данный контейнер, используя распознанную теневую зону. Определение теневых зон предпочтительно осуществлять так, чтобы в поле зрения 3D-камеры находился только контейнер, который подлежит перемещению, при том же интервале высот, как на фиг. 5. Согласно одному примеру, 3D-камеру настраивают на обнаружение объектов, расположенных на расстоянии 3 м или менее. Для такой 3D-камеры теневые зоны могут быть определены путем подъема контейнера на достаточную высоту, чтобы расстояние от 3D-камеры до контейнеров иных, нежели контейнер, подлежащий перемещению, составляло более 3 м. Теневая зона, которая определена таким образом (например, группа пикселей изображения), теперь может быть сохранена, например, в памяти компьютера (20), чтобы дать возможность, например, при штабелировании контейнеров, для нижнего контейнера производить поиск только свободной зоны (12) поля зрения.
Согласно варианту осуществления изобретения, управление контейнером, подлежащим перемещению, осуществляют так, чтобы в определенном интервале высот области изображения каждой 3D-камеры была видна только область (10), соответствующая теневой зоне (9), которая была определена. Если в области изображения, в определенном интервале высот видны объекты иные, нежели теневая область, движение можно остановить. Движение останавливают, в частности, когда расстояние (D) до объекта, обнаруженного в области изображения, меньше высоты контейнера, при этом перемещение контейнера в плоскости области изображения могло бы привести к столкновению с обнаруженным объектом.
Согласно другому примеру, теневая зона, которая была определена для 3D-камеры, может быть использована для управления контейнером, подлежащим перемещению, при штабелировании контейнеров. В таком случае контейнером (1′), который необходимо переместить, управляют, чтобы расположить сверху другого контейнера, и опустить на этот контейнер. При штабелировании контейнеров важным является то, чтобы при приближении к нижнему контейнеру (1) значения расстояния (D1), измеряемого от верхнего контейнера, и значения расстояния (D2), получаемые от нижнего контейнера, могли различаться друг от друга. Когда контейнер (1′), устанавливаемый в штабель, и нижний контейнер (1) сближаются, разность указанных значений расстояний уменьшается до нуля, что и требует задача. Когда в области изображения 3D-камеры была определена теневая зона (10), и данная теневая зона (10) была сохранена, например, в памяти компьютера (20), при определении положения нижнего контейнера (1) можно контролировать только область (12) снаружи теневой зоны (10), и не беспокоиться, что перемещаемый контейнер будет перепутан с нижним контейнером.
Согласно варианту осуществления изобретения, теневая зона (10), которая была ранее определена, используется для захвата контейнера в дальнейшем. Теневая зона (10) может быть определена и сохранена, например, в памяти компьютера (20), когда контейнер (1) помещают в штабель контейнеров. Когда позднее снова требуется выполнить захват контейнера (1), сохраненная карта (10) расстояний может быть использована при управлении спредером (2) и его постановке в правильное положение для захвата контейнера (1). Это позволяет измеренную датчиком (3) карту расстояний сравнивать в реальном времени с картой (10) расстояний, сохраненной в памяти, и осуществлять управление (либо со стороны водителя, либо от компьютера (20)) указанными картами расстояний так, чтобы они совпали. Данный способ можно применять, пользуясь минимум лишь одной 3D-камерой (3), когда по карте расстояний производится определение не только положения угла (21), видимого на карте, но также направлений сторон контейнера, видимых на карте, чтобы сравнивать перекос контейнера (1) с картой (10) расстояний, хранящейся в памяти.
Штабелирование контейнеров показано на фиг. 6. Фиг. 6 изображает соответствующее изобретению устройство и его работу при штабелировании груза (1′). В примере фиг. 6 грузом является контейнер, а средствами захвата - спредер (2), что является типичным при работе со стандартными контейнерами. На внешних углах спредера установлены 3D-камеры. Эта установка может быть произведена так, как было описано выше. Тогда 3D-камеры (3) возможно видят углы (5) нижнего контейнера (1), если и когда эти углы не закрыты тенью (9), отбрасываемой верхним контейнером (1′). Зона (8) области изображения, соответствующая нижнему контейнеру (1), может быть распознана, например, на основе расстояния (D), измеренного 3D-камерой, как было описано выше. Согласно одному примеру, зона, принадлежащая нижнему контейнеру, может быть распознана, когда, например, измеренное расстояние D меньше заданного нижнего предела, который в данном случае больше высоты контейнера (1′), который необходимо перемещать.
В таком случае теневую зону (10) можно игнорировать, а контейнером можно управлять по взаимному соотношению зон (8), соответствующих нижним контейнерам, и/или по соотношению зоны (8), соответствующей нижнему контейнеру, и теневой зоны. О соотношении указанных зон можно судить, сравнивая зоны друг с другом, например, сравнивая их положение, размер и/или один или более размеров в области изображения 3D-камеры. Таким образом, при штабелировании контейнеров, контейнером, который необходимо переносить, можно управлять так, чтобы зоны (8) сделать симметричными, и чтобы зона (10) как можно лучше покрывала зону (8), соответствующую нижнему контейнеру. В таком случае, зона, соответствующая нижнему контейнеру, в конце концов почти исчезает в теневой зоне, когда контейнеры оказываются совмещенными друг с другом. Как говорилось выше, относительный размер зон (8) может также быть искусственно увеличен графически посредством компьютера (20), так чтобы водителю было легче обнаруживать даже небольшие отклонения положения между верхним и нижним контейнерами.
Данный способ одинаково хорош и при работе с 20-футовыми, и при работе с 40-футовыми контейнерами, поскольку, когда спредер раздвигают или сдвигают до требуемого размера в соответствии с контейнером, с которым предстоит работать, 3D-камеры остаются в одном и том же положении по отношению к контейнеру.
Согласно одному варианту осуществления изобретения, на основе распознанных зон (8) можно также рассчитать численные значения бокового смещения (x, y) и перекоса верхнего контейнера относительно нижнего контейнера. Это может быть выполнено, например, путем определения посредством компьютера (20) ширины (w) и высоты (h) сторон прямоугольника или сторон L-образного участка (8) в пикселях изображения. Когда производится непрерывное определение этих численных значений, предпочтительно с частотой по меньшей мере 10 Гц, то можно посредством компьютера (20) управлять спредером (2), устанавливая его в правильное положение, и таким образом осуществляя автоматическое управление боковым смещением (x, y) и перекосом спредера при штабелировании контейнеров. Большим преимуществом данного способа является то, что одна и та же система датчиков может быть использована и для полностью автоматической работы без участия человека, и также для помощи водителю.
Согласно одному варианту осуществления изобретения, при штабелировании контейнеров определение перекоса между нижним контейнером и контейнером, который необходимо перемещать, осуществляется на основе зоны, соответствующей нижнему контейнеру, которую обнаруживает 3D-камера, и теневой зоны. Перекос можно определять, измеряя угол между сторонами теневой зоны и зоны, соответствующей нижнему контейнеру. На основе измеренного угла можно управлять контейнером, который необходимо перемещать, так чтобы угол между зонами стал равным нулю, после чего и перекос станет нулевым. В таком случае указанные зоны становятся взаимно симметричными.
На фиг. 6 изображена дополнительная система датчиков (18, 19), соответствующая варианту осуществления изобретения, которая позволяет при работе с грузом использовать другую систему координат для управления спредером дополнительно к системе координат 3D-камер. За счет использования более, чем одной системы координат, особенно, при штабелировании контейнеров, число 3D-камер, устанавливаемых на спредер, может быть сокращено, например, от четырех 3D-камер, устанавливаемых на каждом внешнем углу спредера, до двух камер. Другие системы координат могут быть образованы путем использования помимо 3D-камер дополнительных датчиков, которые работают в системе координат, отличающейся от системы координат 3D-камер. Например, системы координат дополнительной системы датчиков и 3D-камер могут иметь различные оси. Эти различные оси могут быть обеспечены путем выбора различных начальных точек отсчета для каждой системы координат.
На фиг. 6 дополнительная система датчиков (18, 19) образует измерительное устройство, которое измеряет положение x, y и перекос спредера (2) относительно тележки (15). Вследствие этого, спредер служит в качестве начальных точек отсчета систем координат 3D-камер, в то время как в качестве начальной точки отсчета системы координат измерительного устройства, реализованного в виде дополнительной системы датчиков, задано, например, место крепления измерительного устройства, которым может служить тележка (15). Измерительное устройство может быть реализовано, например, посредством двух инфракрасных (ИК) источников (18) света, установленных на спредере, при этом места их установки определяются камерой (19), которая установлена на тележке (15). Благодаря измерительному устройству, число 3D-камер (3) может быть сокращено, в частности, при штабелировании контейнеров, от четырех до двух, поскольку, когда две 3D-камеры (3) видят два угла нижнего контейнера (1), информация о положении по нижнему контейнеру и перекосу теперь может быть определена в системе координат тележки (15), сохранена в памяти компьютера (20), и верхний контейнер можно опускать на верх нижнего контейнера посредством системы датчиков (18, 19) и записанного в память положения нижнего контейнера. Кроме того, не требуется видеть два угла нижнего контейнера (1) одновременно.
Фиг. 7 изображает способ реализации управления спредером (2) на основе областей карт расстояний. Можно прикрепить к спредеру механизм точного перемещения, содержащий одну или более 3D-камер (3) и оттяжные тросы. Механизм точного перемещения, изображенный на фиг. 4, содержит четыре оттяжных троса (оттяжной трос 1, оттяжной трос 2, оттяжной трос 3 и оттяжной трос 4), и 3D-камеры (3), установленные на наружных углах спредера (2). 3D-камеры (3) могут быть установлены так, как было описано выше. На основе карт расстояний, сформированных 3D-камерами (3), производится управление оттяжными тросами (17) для перемещения контейнера (1).
В конструкции механизма точного перемещения, представленной на фиг. 7, отдельные оттяжные тросы (17) установлены в четырех углах в средней части спредера (2) рядом со шкивами (16) грузоподъемных тросов. Верхние концы оттяжных тросов прикреплены к тележке (15), откуда можно управлять усилиями, прикладываемыми к оттяжным тросам, например, посредством электромоторов. Если теперь необходимо переместить спредер (2) в направлении х, то увеличивают усилия на оттяжных тросах 1 и 2, и одновременно уменьшают усилия на оттяжных тросах 3 и 4. Если необходимо переместить спредер (2) в направлении у, то увеличивают усилия на оттяжных тросах 2 и 3, и одновременно уменьшают усилия на оттяжных тросах 1 и 4. Если необходимо создать перекос спредера (2), к примеру, если в системе координат спредера необходимо создать перекос в направлении против часовой стрелки, то увеличивают усилия на оттяжных тросах 2 и 4, и одновременно уменьшают усилия на оттяжных тросах 1 и 3. Согласно фиг. 7, управлять оттяжными тросами (17) можно автоматически посредством компьютера (20), например, одним или более способами, которые были описаны для вариантов осуществления изобретения, рассмотренных выше. Компьютер может быть соединен с одной или более 3D-камерами (3) для приема данных измерений, например, посредством электрических и/или оптических сигналов. Кроме того, компьютер может быть соединен с дополнительной системой датчиков (18, 19), которая измеряет смещение одной системы координат относительно другой.
Фиг. 8 изображает блок-схему алгоритма осуществления способа штабелирования груза, соответствующего варианту осуществления изобретения. Далее способ будет разъяснен на примере, в котором производится захват и перемещение контейнера спредером, и который одновременно относится к вариантам осуществления изобретения, показанным на фиг. 1-7, причем ссылочные (позиционные) номера в примере используются те же, что и на фиг. 1-7.
Алгоритм начинает работу на шаге 802, как только контейнер оказывается присоединенным к спредеру. Данная ситуация изображена на фиг. 5. Тогда на спредере установлены одна или более 3D-камер, чтобы сформировать соответствующие карты расстояний. На шаге 804 производится определение теневой зоны карт расстояний 3D-камер. Карты расстояний можно определять для каждой из 3D-камер по-отдельности или для всех камер одновременно. Далее, работа алгоритма будет рассмотрена в отношении одной карты расстояний. Определение карты расстояний может содержать в себе распознавание области, которую закрывает собой контейнер, который необходимо перемещать. В этой области, расстояния, соответствующие точкам изображения карты расстояний, ограничены высотой контейнера, подлежащего перемещению, например, предел ограничения немного превышает высоту контейнера, подлежащего перемещению. Следовательно, видимость объектов (9), расположенных под контейнером в пределах области (10) заблокирована, и данная область образует, таким образом, теневую зону (10).
Согласно варианту осуществления изобретения, определение теневой зоны производится, когда контейнер поднят в воздух, предпочтительно на высоту, при которой расстояние между перемещаемым контейнером и нижерасположенными объектами больше, чем заданная дистанция обнаружения 3D-камеры. Следовательно, зоны (12), расположенные снаружи теневой зоны 3D-камеры, являются пустыми, и теневая зона может быть легко определена.
Согласно варианту осуществления изобретения, определение теневой зоны производится в соответствии с характеристиками контейнера, подлежащего перемещению. Характеристики контейнера, который необходимо перемещать, могут представлять собой заранее определенные характеристики, когда известен, к примеру, размер этого контейнера, например, высота. В таком случае, теневая зона может быть определена на карте расстояний, как зона, образованная точками карты, соответствующие расстояния для которых ограничены высотой контейнера, подлежащего перемещению. Следовательно, область, которая остается снаружи теневой зоны, может быть определена, как область, образованная точками карты, соответствующие расстояния для которых превосходят высоту контейнера, подлежащего перемещению.
Подлежащий перемещению контейнер на шаге 806 устанавливают на верх другого контейнера (1). Это может быть выполнено так, как показано на фиг. 6. При такой установке контейнера (1′) предпочтительно контролировать только часть карты расстояний снаружи теневой зоны. Поскольку при переносе контейнера теневая зона остается по существу неизменной, то, если сосредоточиться на контроле нижнего контейнера по области, которая лежит снаружи теневой зоны, то можно избежать опасности спутать результаты контроля с перемещаемым контейнером (1′), при этом можно задействовать располагаемую вычислительную мощность для обработки информации, получаемой от карт расстояний, чтобы использовать эту информацию для контроля меняющейся части карты.
Алгоритм завершает работу на шаге 808, и контейнер теперь готов к установке на штабель. После установки контейнера на штабель, спредер можно отсоединить, и процесс переходит дальше - к работе со следующим контейнером, например, к захвату контейнера, в силу чего алгоритм может начать работу заново.
Фиг. 9 изображает блок-схему алгоритма осуществления способа работы с грузом, когда управление грузом осуществляется на основе карты расстояний, созданной в системе координат крана (14, 15) и в системе координат спредера в соответствии с вариантом осуществления настоящего изобретения. Далее способ будет рассмотрен на примере, в котором производится захват и перемещение контейнера спредером, и который одновременно относится к вариантам осуществления изобретения, показанным на фиг. 1-7, причем ссылочные (позиционные) номера в примере используются те же, что и на фиг. 1-7. Спредер может являться частью контейнерного грузоподъемного устройства, например, козлового крана. Преимущество использования системы дополнительных датчиков (18, 19) заключается в том, что число 3D-камер, необходимых на спредере для контроля контейнеров, с которыми необходимо работать, может быть сокращено, в частности, когда производится штабелирование контейнеров. Способ содержит захват контейнера и/или установку захваченного контейнера на верх другого контейнера путем использования двух 3D-камер, установленных в продольном направлении на разных сторонах спредера, например, в противоположных наружных углах спредера по длине или по диагонали, а также использования дополнительной системы датчиков для определения положения спредера, как показано на фиг. 6.
Алгоритм начинает работу на шаге 902, когда спредер (2) определяет карты расстояний посредством 3D-камер. На шагах 904 и 906 3D-камеры (3) спредера обнаруживают углы (21) контейнера, расположенного под спредером. Процессы обнаружения могут происходить по-отдельности или одновременно. Информация, содержащаяся в точках карты расстояний, преобразуется посредством системы дополнительных датчиков (18, 19) для другой системы координат, например, для системы координат крана (14, 15), и сохраняется в памяти. Таким образом, местоположения обнаруженных углов (21) нижестоящего контейнера представляются в системе координат крана, за счет чего положение контейнера под спредером становится доступным для управления спредером.
На шаге 908 может быть осуществлено управление спредером и/или спредером с подвешенным на нем контейнером с целью перемещения последних в место расположения углов нижестоящего контейнера в системе координат крана. Когда используется система дополнительных датчиков (18, 19), горизонтальные координаты (x, y) любой выбранной точки спредера (2) могут быть определены относительно крана (14, 15). Можно, например, определить положения датчиков (3) или положения углов (22) контейнера (1′), который подлежит перемещению, или положение наружного угла (22) спредера, которое обычно соответствует положению угла контейнера, подлежащего перемещению. Алгоритм завершает работу на шаге 910, когда завершено управление спредером с целью помещения спредера на верх нижестоящего контейнера, что позволяет произвести захват контейнера, и/или завершено управление контейнером, подлежащим перемещению, с целью постановки последнего на верх нижестоящего контейнера, что позволяет произвести штабелирование контейнеров.
Когда используется система дополнительных датчиков (18, 19), горизонтальные координаты (x, y) любой точки карты расстояний спредера (2) могут быть определены (на шагах 904, 906) относительно крана (14, 15). В таком случае, например, при штабелировании контейнеров, координаты (x_corner, y_corner) положения угла (21) нижнего контейнера (1), обнаруженного датчиком (3), преобразуются в координаты (x_corner_lower container, y_corner_lower container) для системы координат крана (14, 15), например, посредством следующих формул:
где (x_sensor, y_sensor) - координаты горизонтального положения датчика (3), которые определены измерительными устройствами (18, 19) относительно крана (14, 15), а переменная (skew) - перекос спредера (2), который определен измерительными устройствами (18, 19) относительно крана (14, 15).
Координаты (x_corner_lower container, y_corner_lower container) сохраняются в памяти компьютера (20). После того, как координаты по меньшей мере двух разных углов будут сохранены в памяти компьютера (2), верхний контейнер (1′) может быть затем на шаге 908 совмещен с верхом нижнего контейнера (1). Боковым положением спредера (2) можно целенаправленно управлять посредством компьютера (20), так чтобы можно было гарантированно обнаружить любые два требуемых угла нижнего контейнера (1). Другими словами, компьютерное управление необходимо для обеспечения, чтобы требуемые два угла нижнего контейнера (1) не были закрыты сплошь верхним контейнером (1′). Совмещение может быть выполнено так, чтобы верхний контейнер (1′), например, посредством управления от компьютера (20) был наложен на указанные по меньшей мере два угла контейнера (1):
где (x_corner_spr, y_corner_spr) - координаты горизонтального положения угла (22) контейнера (1′), подлежащего перемещению, которые определены измерительными устройствами (18, 19) относительно крана (14, 15), а переменная (skew) - перекос спредера (2), который определен измерительными устройствами (18, 19) относительно крана (14, 15). В таком случае, угол спредера (и верхнего контейнера) точно накладывается поверх нижнего контейнера. С другой стороны, при захвате контейнера координаты (x_corner_spr, y_corner_spr) представляют горизонтальное положение наружного угла (22) спредера, которое определено измерительными устройствами (18, 19) относительно крана (14, 15).
На фиг. 10 изображен блок для осуществления устройств, соответствующих вариантам настоящего изобретения. Блок 1000 на фиг. 10 содержит процессорное устройство 1008, память 1010 и средства 1002 соединения. Средства 1002 соединения служат для присоединения одного или более датчиков, например, 3D-камер, к блоку. Средства соединения могут содержать устройство 1004 приема данных и устройство 1006 передачи данных. Через устройство приема данных может быть принята информация от 3D-камеры, например, пиксели изображения, измеренные посредством 3D-камеры. Через устройство передачи данных могут быть переданы данные карты или карт расстояний, которые сформированы в блоке, например, переданы устройству, которое отвечает за управление краном или средствами захвата.
Все устройства блока электрически соединены друг с другом. Память может содержать одну или более программ, которые могут быть исполнены процессорным устройством. Процессорное устройство может работать под управлением программных инструкций, хранящихся в памяти, и строить карту расстояний на основе информации, получаемой от 3D-камеры.
Согласно варианту осуществления изобретения, блок 1000 может использовать сформированные карты расстояний для управления краном и/или его средствами захвата. В таком случае, блок 1000 может представлять собой, например, управляющее устройство грузоподъемного механизма, например, крана, которое соединено с датчиками, такими как одна или более 3D-камер и/или с дополнительными датчиками.
Согласно варианту осуществления изобретения, блок 1000 может передавать сформированные в нем карты расстояний другому устройству, которое отвечает за управления средствами захвата, например, управляющему устройству грузоподъемного механизма, такого как кран. Тогда указанный блок легко реализовать, и его можно устанавливать вместе с одним или более датчиками, например, 3D-камерами и/или дополнительными датчиками в краны, которые уже находится в эксплуатации. Это позволяет модернизировать уже существующие краны, внедряя в них технические решения, соответствующие настоящему изобретению.
Согласно варианту осуществления изобретения, указанные средства соединения содержат дисплей. Дисплей позволяет контролировать работу одного или более грузоподъемных механизмов. На дисплее могут быть отображены одна или более карт расстояний, например, семейство (6), образованное картами расстояний. Дисплей, например, жидкокристаллический (ЖК) дисплей, может служить в качестве передающего устройства, принадлежащего средствам соединения, при этом дисплей используется для передачи сигнала изображения, чтобы продемонстрировать карты расстояний, например, водителю, оператору, который осуществляет дистанционное управление грузоподъемными механизмами, или оператору, который контролирует автоматизированную обработку грузов. Дисплей может также служить и в качестве передающего устройства, и в качестве приемного устройства, принадлежащего средствам соединения, при этом дополнительно к вышеупомянутым функциям имеется возможность принимать информацию и/или инструкции, например, инструкции для управления грузоподъемным механизмом и/или инструкции по обработке изображений для их модификации, например, увеличения или уменьшения семейства карт расстояний. Такой дисплей может содержать, например, сенсорный экран. Процессорное устройство может управлять дисплеем в соответствии с инструкциями и/или командами, хранящимися в памяти, чтобы реализовать вышеописанные функции.
Процессорное устройство может содержать набор регистров, арифметико-логическое устройство и устройство управления. Устройство управления управляется посредством последовательности программных инструкций, которые передаются в процессорное устройство из памяти. Устройство управления может содержать многочисленные микроинструкции для реализации базовых функций. Исполнение микроинструкций может изменяться в зависимости от конфигурации процессорного устройства. Программные инструкции могут представлять собой код на языке программирования, причем это может быть язык программирования высокого уровня, такой как С, Java и т.п., или язык программирования низкого уровня, такой как машинный язык или ассемблер. Память может быть энергозависимой или энергонезависимой, например, это может быть EEPROM, ROM, PROM, RAM, DRAM, SRAM, микропрограммная память, программируемая логика и т.п.
Компьютерная программа может быть в формате исходного кода, объектного кода или в каком-либо промежуточном формате, и она может храниться в передающей среде, которая может представлять собой любую структуру или устройство, способное хранить программу. К такой передающей среде можно, например, отнести среду хранения, память компьютера, ПЗУ, электрическую волну передачи радиосигнала, сигнал обмена данными, программный дистрибутивный пакет.
Блок 1000 и его компоненты могут быть реализованы в виде одной или более интегральных схем, таких как специализированные интегральные микросхемы ASIC (Application Specific Integrated Circuit). Возможны также и другие способы реализации, например, в виде схемы, выполненной на отдельных логических элементах. Возможны также и сочетания различных способов реализации. Примером схемы, выполненной на логических элементах может служить программируемая пользователем вентильная матрица FPGA (Field Programmable Gate Array).
Согласно варианту осуществления изобретения, грузоподъемный механизм, такой как кран или контейнерное грузоподъемное устройство, например, козловой кран или контейнеровоз-погрузчик, может быть подвергнут модернизации, в соответствии с которой в системе координат крана и средств захвата может быть определена карта расстояний, в области которой изображается часть поверхности груза, к которому прикрепляются средства захвата и/или на который ставится другой груз, а также изображаются окружающие груз объекты. Модернизация может быть осуществлена путем оснащения средств захвата одной или более 3D-камерами, как это было рассмотрено выше. С другой стороны, если требуется использовать меньшее число 3D-камер, то на грузоподъемный механизм можно установить 3D-камеры и дополнительные датчики, как показано на фиг. 6. Дополнительно к установке упомянутых устройств, модернизация также может включать обновление программного обеспечения. Программное обеспечение может включать в себя, например, компьютерную программу, которая может храниться в памяти грузоподъемного механизма, и которая может исполняться при работе с грузом. Модернизация может также заключаться только в инсталляции программного обеспечения, если грузоподъемный механизм уже оснащен средствами для формирования карт расстояний.
Настоящее изобретение применимо к любым устройствам для работы с грузами: к грузоподъемным механизмам, кранам, контейнерным грузоподъемным устройствам, козловым кранам, контейнеровозам-погрузчикам, мостовым кранам, портовым кранам или к любому сочетанию различных устройств, оснащенных средствами захвата для прикрепления к грузу.
Устройства для работы с грузами, такие как грузоподъемные механизмы, краны, контейнерные грузоподъемные устройства, козловые краны, контейнеровозы-погрузчики, мостовые краны, портовые краны, в которых реализуется функциональность в соответствии с рассмотренными выше вариантами осуществления изобретения, содержат не только средства, отвечающие существующему уровню техники, но также и средства формирования для средств захвата карты расстояний, в области которой изображается часть поверхности груза, к которому прикрепляются средства захвата и/или на который ставится другой груз, а также изображаются окружающие груз объекты.
Более конкретно, указанные устройства могут содержать средства для реализации функциональности устройства, рассмотренной в вышеописанном варианте осуществления изобретения; при этом они могут содержать отдельные средства для каждой отдельной функции, или же указанные средства могут быть организованы так, чтобы выполнять две или более функций. Известные устройства содержат процессоры и память, которые могут быть использованы для осуществления одной или более функций, рассмотренных в вышеописанных вариантах осуществления изобретения.
Для специалистов в данной области должно быть понятно, что устройства, представленные в рассмотренных выше вариантах осуществления, могут также содержать части иные, нежели те, что были описаны выше, которые не имеют отношения к изобретению, и которые были опущены для большей ясности изложения.
Для специалистов в данной области должно быть понятно, что по мере развития технологии основную идею изобретения можно будет реализовать многими другими способами. Таким образом, изобретение и варианты его осуществления не ограничены рассмотренными выше примерами, и могут изменяться в рамках объема изобретения, который установлен пунктами формулы изобретения.