СИСТЕМА АВТОМАТИЧЕСКОГО ВОЖДЕНИЯ ДЛЯ ПЕРЕРАБОТКИ ЗЕРНА, СПОСОБ АВТОМАТИЧЕСКОГО ВОЖДЕНИЯ И СПОСОБ АВТОМАТИЧЕСКОЙ ИДЕНТИФИКАЦИИ
AUTOMATIC DRIVING SYSTEM FOR GRAIN PROCESSING, AUTOMATIC DRIVING METHOD AND AUTOMATIC IDENTIFICATION METHOD

Область техники, к которой относится изобретение
Настоящее изобретение относится к сельскому хозяйству, к автономному вождению сельскохозяйственных машин и, в частности, относится к системе автоматического вождения для переработки зерна и способу автоматического вождения и способу автоматической идентификации.
Предпосылки изобретения
Термин «сельскохозяйственная машина» относится к различным машинам, используемым в процессе первичной переработки сельскохозяйственной продукции и продукции животноводства, а также в производстве сельскохозяйственных культур и животноводстве. Существуют различные типы сельскохозяйственных машин, такие как посевное оборудование, пахотное оборудование, оборудование для боронования, почвофрезы, оборудование для защиты растений, уборочное оборудование и т.д. В процессе эксплуатации сельскохозяйственных машин требуется учитывать наличие системы перемещения и системы эксплуатации механического оборудования. Когда сельскохозяйственная машина движется по обрабатываемой земле, рабочий маршрут этой сельскохозяйственной машины необходимо корректировать согласно условиям эксплуатации обрабатываемой земли.
Когда сельскохозяйственная машина эксплуатируется на обрабатываемой земле, условия эксплуатации этой обрабатываемой земли и выращиваемых сельскохозяйственных культур необходимо определять в реальном времени и эксплуатировать сельскохозяйственные машины и систему эксплуатации согласно этим условиям эксплуатации обрабатываемой земли и выращиваемым сельскохозяйственным культурам на этой обрабатываемой земле. В известном уровне техники эксплуатация сельскохозяйственных машин может выполняться водителем или другим сельскохозяйственным работником. Сельскохозяйственные машины должны учитывать обработанную зону обрабатываемой земли, необработанную зону обрабатываемой земли, а также границы и множество других факторов, и в процессе эксплуатации сельскохозяйственных машин работу транспортного средства и эксплуатационные параметры необходимо корректировать в реальном времени согласно состоянию сельскохозяйственной культуры. Так как во время движения необходимо учитывать сложные условия эксплуатации, сельскохозяйственное оборудование согласно существующей технологии требует от оператора/водителя корректировки работы сельскохозяйственной машины, исходя из информации в реальном времени о сельскохозяйственной культуре на обрабатываемой земле. Вероятность ошибки при эксплуатации сельскохозяйственной машины повышается при использовании ручного управления, что приводит к повышению вероятности отказа механического оборудования в ходе эксплуатации.
Сельскохозяйственные машины согласно существующей технологии не являются интеллектуальными, и исключение операции вождения сельскохозяйственного оборудования, выполняемой водителем, является невозможным. Исходя из способа спутниковой навигации PTK можно получать высокоточную информацию спутниковой навигации, но для беспилотной сельскохозяйственной машины, в частности уборочного оборудования, при работе более важным для точной работы или корректировки работы сельскохозяйственной машины являются определение убранной зоны и неубранной зоны сельскохозяйственной культуры текущей обрабатываемой земли, а также граничной зоны обрабатываемой земли и другой информации. Сельскохозяйственные машины согласно существующей технологии не способны определять точность зон обрабатываемой земли, и курс эксплуатации сельскохозяйственной машины обычно находится в соответствии с установленной траекторией. При возникновении отклонения от маршрута его трудно своевременно скорректировать и изменить. Следовательно, из-за того, что маршрут эксплуатации является неточным, эксплуатация сельскохозяйственной машины согласно существующей технологии обычно приводит к эксплуатационным ошибкам и даже серьезным механическим повреждениям. Дополнительно, при использовании способа спутниковой навигации РТК сельскохозяйственное оборудование имеет высокие эксплуатационные требования, и необходимые издержки производства и эксплуатационные расходы этого сельскохозяйственного оборудования являются высокими, поэтому беспилотная навигация согласно существующей технологии неприменима к беспилотному режиму современных сельскохозяйственных машин.
Сущность изобретения
Целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, при этом система автоматического вождения для переработки зерна делит изображения зон обрабатываемой земли с целью предоставления технической поддержки системе автоматического вождения.
Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, причем система автоматического вождения делит зону обрабатываемой земли на необработанную зону, обработанную зону и граничную зону обрабатываемой земли для того, чтобы система автоматического вождения выбирала маршрут согласно разделенной зоне.
Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, причем система автоматического вождения для переработки зерна представляет собой оборудование для управления уборочной техникой, причем оборудование для управления уборочной техникой делит зону обрабатываемой земли на неубранную зону, убранную зону и граничную зону обрабатываемой земли, так что оборудование для управления уборочной техникой может планировать рабочий маршрут уборочной техники согласно типу разделенной зоны.
Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, причем система обработки изображений системы автоматического вождения использует технологию идентификации сегментации изображения для идентификации зоны полученного изображения и разделяет необработанную зону, обработанную зону и граничную зону обрабатываемой земли, а также границу между двумя смежными зонами.
Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, причем система автоматического вождения получает информацию об окружающей обстановке в виде изображений в реальном времени и передает полученную информацию в виде изображений в систему обработки изображений с целью регулировки границ зон, идентифицированных системой автоматического вождения в процессе вождения.
Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, причем система автоматического вождения получает информацию в виде изображений вокруг транспортного средства в реальном времени и обновляет зону и границы обрабатываемой земли, идентифицированные системой идентификации изображений, исходя из полученной информации в виде изображений с целью предоставления технической поддержки для точного движения транспортного средства.
Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, причем система обработки изображений системы автоматического вождения использует технологию сегментации изображений для идентификации необработанной зоны, обработанной зоны и граничной зоны обрабатываемой земли, и делит границы двух смежных зон,, исходя из визуальной графической информации, полученной из изображения.
Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, причем система автоматического вождения не требует высокоточной спутниковой навигации, что, таким образом, снижает сложность изготовления оборудования для автоматического вождения, а также снижает эксплуатационные расходы оборудования для автоматического вождения.
Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, а также способа автоматического вождения и способа автоматической идентификации, причем система автоматического вождения осуществляет планирование траектории, исходя из информации о разделении зон, выводимой системой обработки изображений, с целью реализации автоматического вождения и эксплуатации с применением автоматического вождения.
Согласно одному аспекту настоящего изобретения, настоящее изобретение предоставляет способ автоматической идентификации, применяемый к системе автоматического вождения для переработки зерна, а также разделения и идентификации зоны обрабатываемой земли, причем способ автоматической идентификации включает:
этап (a): получение по меньшей мере одного изображения обрабатываемой земли в окрестности зерноперерабатывающей машины; и
этап (b): сегментацию изображения на множество пиксельных областей и идентификацию зоны изображения с помощью технологии идентификации сегментов изображения.
Согласно одному варианту осуществления настоящего изобретения, способ автоматической идентификации дополнительно включает этап (a), дополнительно включающий фотографирование в реальном времени изображения окрестности системы автоматического вождения для переработки зерна, исходя из положения системы автоматического вождения для переработки зерна.
Согласно одному варианту осуществления настоящего изобретения, способ автоматической идентификации дополнительно включает этап (b), дополнительно включающий сегментацию изображения с использованием технологии сегментации изображений, а также идентификацию и разделение зоны изображения на необработанную зону, обработанную зону и граничную зону обрабатываемой земли.
Согласно одному варианту осуществления настоящего изобретения, этап (b) дополнительно включает:
этап (b.1): разделение изображения на множество пиксельных областей и нормализацию значений пикселей пиксельных областей в массив;
этап (b.2): извлечение признаков пиксельных областей каждого массива; и
этап (b.3): вывод метки классификации изображения, исходя из признаков пиксельных областей.
Согласно одному варианту осуществления настоящего изобретения, на этапе (b.3) метки классификации соответствуют необработанной зоне, обработанной зоне и граничной зоне обрабатываемой земли.
Согласно одному варианту осуществления настоящего изобретения, этап (b) дополнительно включает: сегментацию изображений системой обработки изображений с помощью алгоритма глубокого обучения, а также идентификацию и разделение зоны изображения.
Согласно одному варианту осуществления настоящего изобретения способ автоматической идентификации дополнительно включает:
этап (c): сравнение согласованности между разделенной зоной, идентифицированной системой обработки изображений, и граничным диапазоном зоны, идентифицированным системой обработки изображений; корректировку разделенной зоны и граничного диапазона зоны соответственно изображению, если разделенная зона не согласуется с граничным диапазоном зоны; и сохранение разделенной зоны и граничного диапазона зоны без изменений, если разделенная зона согласуется с граничным диапазоном зоны.
Согласно другому аспекту настоящего изобретения, настоящее изобретение предоставляет способ автоматического вождения для системы автоматического вождения для переработки зерна, который включает:
этап (I): получение по меньшей мере одного изображения и идентификацию зоны обрабатываемой земли и границ обрабатываемой земли на изображении;
этап (II): управление движением зерноперерабатывающей машины согласно зоне и границам зоны обрабатываемой земли.
Согласно одному варианту осуществления настоящего изобретения, этап (I) дополнительно включает: сегментацию изображения с помощью технологии сегментации и идентификации изображений; и разделение зоны изображения на необработанную зону, обработанную зону и граничную зону обрабатываемой земли.
Согласно одному варианту осуществления настоящего изобретения, этап (II) дополнительно включает:
получение информации о положении зерноперерабатывающей машины; и
обновление навигационной информации навигационной системы, исходя из информации о положении и идентификационной информации обрабатываемой земли.
Согласно одному варианту осуществления настоящего изобретения, этап (II) дополнительно включает управление движением транспортного средства зерноперерабатывающей машины с помощью системы управления движением согласно информации о положении зерноперерабатывающей машины, информации о планировании зон обрабатываемой земли и навигационной информации.
Согласно одному варианту осуществления настоящего изобретения, этап (II) дополнительно включает управление транспортным средством с помощью системы управления движением для движения в необработанной зоне с целью выполнения рабочей задачи.
Согласно еще одному аспекту настоящего изобретения, настоящее изобретение предоставляет систему автоматического вождения для переработки зерна, которая содержит:
зерноперерабатывающую машину;
устройство получения изображений, при этом устройство получения изображений расположено на зерноперерабатывающей машине, и устройство получения изображений получает по меньшей мере одно изображение окрестности зерноперерабатывающей машины;
систему обработки изображений, при этом система обработки изображений идентифицирует зону в изображении, полученном устройством получения изображений, исходя из способа распознавания и сегментации изображений, и зерноперерабатывающая машина управляет автоматическим вождением согласно зоне в изображении, идентифицированной системой обработки изображений.
Согласно одному варианту осуществления настоящего изобретения, устройство получения изображений представляет собой съемочное устройство, съемочное устройство установлено в передней части зерноперерабатывающей машины и устройство получения изображений получает изображение обстановки спереди от зерноперерабатывающей машины путем фотографирования.
Согласно одному варианту осуществления настоящего изобретения, система обработки изображений идентифицирует из изображения по меньшей мере одну обработанную зону, по меньшей мере одну необработанную зону и по меньшей мере одну граничную зону обрабатываемой земли.
Согласно одному варианту осуществления настоящего изобретения, система обработки изображений дополнительно включает:
модуль сегментации изображений, при этом модуль сегментации изображений сегментирует изображение на множество пиксельных областей, и каждая пиксельная область содержит по меньшей мере один пиксельный элемент;
модуль признаков, при этом модуль признаков извлекает признаки каждой пиксельной области, исходя из пиксельного элемента этой пиксельной области; и
модуль разделения области, при этом модуль разделения области идентифицирует и разделяет зону изображения согласно признакам пиксельной области.
Согласно одному варианту осуществления настоящего изобретения, модуль признаков дополнительно включает модуль обработки пикселей, и модуль обработки пикселей нормализует пиксельные элементы пиксельной области в массив.
Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит устройство определения положения и навигационную систему, при этом устройство определения положения и навигационная система расположены на зерноперерабатывающей машине, устройство определения положения получает информацию о положении зерноперерабатывающей машины, и навигационная система предоставляет навигационную информацию для зерноперерабатывающей машины.
Согласно одному варианту осуществления настоящего изобретения, зерноперерабатывающая машина дополнительно содержит:
кузов транспортного средства, при этом транспортное средство предоставляет энергию для движения и эксплуатации;
систему эксплуатации, при этом система эксплуатации расположена на транспортном средстве, и система эксплуатации приводится в действие транспортным средством; и
систему управления движением, при этом система управления движением управляет автоматическими движением и работой транспортного средства, исходя из информации о положении, полученной от устройства определения положения, навигационной информации и информации, полученной распознаванием изображений.
Дальнейшие цели и преимущества настоящего изобретения будут подробно описаны в следующем описании и графических материалах.
Краткое описание графических материалов
На фиг. 1 представлена принципиальная схема одного варианта осуществления системы автоматического вождения для переработки зерна.
На фиг. 2 представлена принципиальная схема варианта осуществления получения изображения в системе автоматического вождения, показанной на фиг. 1.
На фиг. 3А представлена принципиальная схема варианта осуществления получения одного изображения системой автоматического вождения для переработки зерна, показанной на фиг. 1.
На фиг. 3В представлена принципиальная схема варианта осуществления получения другого изображения системой автоматического вождения, показанной на фиг. 1.
На фиг. 3С представлена принципиальная схема варианта осуществления получения другого изображения системой автоматического вождения для переработки зерна, показанной на фиг. 1.
На фиг. 4 представлена принципиальная схема одного варианта осуществления разделения и идентификации зоны изображения системой обработки изображений системы автоматического вождения для переработки зерна.
На фиг. 5А представлена принципиальная схема одного варианта осуществления сегментации зоны изображения системой обработки изображений системы автоматического вождения для переработки зерна.
На фиг. 5В представлена блок-схема одного варианта осуществления системы обработки изображений системы автоматического вождения для переработки зерна.
На фиг. 6 представлена принципиальная схема одного варианта осуществления извлечения и идентификации признака зоны изображения системой обработки изображений системы автоматического вождения.
На фиг. 7 представлена принципиальная схема одного варианта осуществления вывода разделенной зоны изображения системой обработки изображений системы автоматического вождения.
На фиг. 8 представлена принципиальная схема одного варианта осуществления вывода изменения разделения границ разделенной зоны изображения системой обработки изображений системы автоматического вождения.
На фиг. 9 представлена принципиальная схема одного варианта осуществления сценария автоматического вождения системы автоматического вождения для переработки зерна.
Подробное описание
Следующее описание используется для раскрытия настоящего изобретения, для того чтобы специалисты в данной области техники могли реализовывать настоящее изобретение. Описанные ниже предпочтительные варианты осуществления являются лишь примерами, и специалисты в данной области техники могут придумать другие очевидные варианты осуществления. Основные принципы настоящего изобретения, определенные в следующем описании, применимы к другим вариантам осуществления, вариантам осуществления с измененной формой, схемам усовершенствования, эквивалентным схемам и другим техническим схемам, которые не отклоняются от сущности и объема настоящего изобретения.
Технические специалисты в данной области техники должны понимать, что в раскрытии настоящего изобретения термин «вертикальное направление», «горизонтальное направление», «верхний», «нижний», «передний», «задний», «левый», «правый», «вертикальный», «горизонтальный», «верхний», «нижний», «внутренний», «наружный» и другие указатели ориентации или взаимного расположения основаны на ориентации или взаимном расположении, показанном на графических материалах, и предназначены только для содействия описанию настоящего изобретения и упрощения описания, а не для указания или предположения того, что устройство или компонент должен иметь конкретную ориентацию в конкретном направлении и в ходе конкретной операции, поэтому приведенные выше термины не следует понимать как ограничения настоящего изобретения.
Можно понять, что термин «один» следует понимать как «по меньшей мере один» или «один или более», т.е. в одном варианте осуществления количество одного компонента может составлять один, тогда как в другом варианте осуществления количество компонентов может являться множественным, и поэтому термин «один» нельзя понимать как ограничение в отношении количества.
Со ссылкой на фиг. 1-9 описания настоящего изобретения изображены система автоматического вождения для переработки зерна и способ автоматического вождения, а также способ планирования траектории согласно первому варианту осуществления настоящего изобретения. Система автоматического вождения для переработки зерна может быть реализована в виде оборудования для уборки сельскохозяйственной культуры с функцией переработки зерна, оборудования для посева сельскохозяйственной культуры, оборудования для плужной обработки почвы для сельскохозяйственной культуры и оборудования для защиты растений сельскохозяйственной культуры. Можно понять, что тип системы автоматического вождения для зерноперерабатывающего устройства описан в настоящем изобретении лишь в качестве примера, а не в качестве ограничения. Поэтому здесь также можно использовать оборудование для сельскохозяйственных культур других типов. Система автоматического вождения получает по меньшей мере одно изображение окружающей обстановки и визуально идентифицирует тип зоны обрабатываемой земли на изображении после обработки изображения и разделяет различные типы и границы зон обрабатываемой земли на изображении.
Система автоматического вождения для переработки зерна должна разделять типы зон обрабатываемой земли согласно типам и границам каждой разделенной зоны, при этом тип зоны, разделенной системой автоматического вождения, включает по меньшей мере одну обработанную зону 100, по меньшей мере одну необработанную зону 200 и по меньшей мере одну граничную зону 300 поля. Система автоматического вождения для переработки зерна определяет маршрут транспортного средства с помощью навигационной системы согласно типу разделенной зоны с целью достижения автоматического выполнения задачи.
Следует упомянуть, что беспилотному транспортному средству в беспилотном режиме необходимо получать точную информацию о положении транспортного средства, в частности высокоточную информацию спутниковой навигации, для идентификации маршрута, и для достижения функции беспилотного вождения на высокой скорости беспилотному транспортному средству необходимо обновлять информацию о препятствиях на дороге, информацию о других транспортных средствах на дороге, а также информацию о пешеходах на дороге и другую информацию. Изображение, получаемое системой автоматического вождения согласно настоящему изобретению, представляет собой изображение, соответствующее зерну сельскохозяйственной культуры в обрабатываемой земле, и данное изображение относится к обстановке в окрестности транспортного средства, и данное изображение получено, исходя из текущего положения транспортного средства. Система автоматического вождения не требует высокоточной информации спутниковой навигации, а нуждается лишь в обычной спутниковой навигации с точностью в масштабе нескольких метров (навигация GPS, навигация Beidou и т.д.). Дополнительно, изображение, получаемое и обрабатываемое системой автоматического вождения, отличается от изображения, получаемого беспилотным транспортным средством. Поэтому планирование траектории и режим движения, определяемые системой автоматического вождения, не являются такими же, как планирование траектории и режим движения, определяемые беспилотным транспортным средством. Следует понимать, что режим идентификации системы автоматического вождения согласно настоящему изобретению, которая идентифицирует зоны обрабатываемой земли, и функция автоматического вождения, основанная на визуальной идентификации, отличается от режима идентификации беспилотного транспортного средства.
Со ссылкой на фиг. 1 и 2, система автоматического вождения получает по меньшей мере одно изображение окружающей обстановки и идентифицирует из изображений типы зон обрабатываемой земли и границу между зонами обрабатываемой земли. Система автоматического вождения получает изображение с помощью режима фотографирования с неподвижным фокусом, режима видеозаписи, режима фотографирования в движении и т.д. Следует понимать, что способ, которым система автоматического вождения получает изображения, представлен здесь лишь в качестве примера, а не в качестве ограничения. Система автоматического вождения содержит зерноперерабатывающую машину 10 и по меньшей мере одно устройство 20 получения изображений, при этом устройство 20 получения изображений получает по меньшей мере одно изображение обстановки в окрестности зерноперерабатывающей машины 10.
Предпочтительно, устройство 20 получения изображений установлено в зерноперерабатывающей машине 10. В одном варианте осуществления устройство 20 получения изображений получает неподвижные или движущиеся изображения окрестности зерноперерабатывающей машины 10. Более предпочтительно, устройство 20 получения изображений установлено в передней части зерноперерабатывающей машины 10. В одном варианте осуществления устройство 20 получения изображений может получать изображения в реальном времени спереди от зерноперерабатывающей машины 10. Зерноперерабатывающая машина 10 идентифицирует разделенную зону обрабатываемой земли, исходя из изображений, полученных устройством 20 получения изображений, и устанавливает маршрут движения согласно разделенной зоне обрабатываемой земли. В одном варианте осуществления содержимое изображения, получаемого устройством 20 получения изображений, находится в пределах зоны видимости зерноперерабатывающей машины 10. Иначе говоря, устройство 20 получения изображений получает изображения обстановки в пределах зоны видимости зерноперерабатывающей машины 10 и корректирует направление перемещения зерноперерабатывающей машины 10 согласно положению ведущего устройства зерноперерабатывающей машины 10, установленного на зерноперерабатывающей машине 10.
В одном варианте осуществления устройство 20 получения изображений получает изображения в направлении перемещения зерноперерабатывающей машины 10. В одном варианте осуществления изображение может представлять собой двумерное плоское изображение или трехмерное изображение. Можно понять, что тип изображения, получаемого устройством 20 получения изображений, описан здесь лишь в качестве примера, а не в качестве ограничения.
В одном варианте осуществления зерноперерабатывающая машина 10 выполнена с возможностью выполнения переработки зерна сельскохозяйственной культуры во время процесса движения, например переработка зерна сельскохозяйственной культуры включает уборку, возделывание, плужную обработку, операции по защите растений и т.д. Например, в первом варианте осуществления настоящего изобретения зерноперерабатывающая машина 10 представляет собой уборочное оборудование, и управление движением зерноперерабатывающей машины 10 осуществляется в направлении необработанной зоны 200 обрабатываемой земли для выполнения уборочной операции с целью уборки сельскохозяйственной культуры в пределах необработанной зоны 200 обрабатываемой земли. Сельскохозяйственные культуры могут представлять собой рис, пшеницу, кукурузу и т.д. Зерноперерабатывающая машина 10 выполняет автоматическое вождение по обрабатываемой земле согласно разделению, исходя из изображения, полученного устройством 20 получения изображений, и осуществляет беспилотное вождение в поле без водителя. Можно понять, что тип зерноперерабатывающей машины 10 приведен здесь лишь в качестве примера, а не в качестве ограничения.
Как показано на фиг. 3A-фиг. 3C, устройство 20 получения изображений получает изображения окрестности зерноперерабатывающей машины 10 в реальном времени во время процесса движения зерноперерабатывающей машины 10. На фиг. 3А показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 представляет собой зерноуборочную машину. На основании того, убрано ли зерно, зона обрабатываемой земли делится на по меньшей мере одну неубранную зону 100а, по меньшей мере одну убранную зону 200а и по меньшей мере одну граничную зону 300а обрабатываемой земли. В одном варианте осуществления убранная зона 200a представляет собой зону, в которой сельскохозяйственная культура была убрана. Неубранная зона 100a представляет собой зону, в которой сельскохозяйственная культура по-прежнему растет, и в неубранной зоне 100а выращиваемая сельскохозяйственная культура по-прежнему присутствует. Граничная зона 300а обрабатываемой земли представляет собой гребень, разделяющий сельскохозяйственные культуры на обрабатываемой земле, наружную границу вокруг обрабатываемой земли или зону или признак, образующие препятствие на обрабатываемой земле. В одном варианте осуществления в граничной зоне 300а обрабатываемой земли сельскохозяйственные культуры отсутствуют.
На фиг. 3В показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 представляет собой машину для возделывания зерновых культур. В зависимости от того, возделывается зерновая культура или нет, зона обрабатываемой земли делится на по меньшей мере одну невозделанную зону 100b, по меньшей мере одну возделанную зону 200b и по меньшей мере одну граничную зону 300b обрабатываемой земли, при этом невозделанная зона 100b представляет собой зону, в которой сельскохозяйственная культура не была возделана, а возделанная зона 200b представляет собой зону, в которой сельскохозяйственная культура была возделана. Граничная зона обрабатываемой земли 300b представляет собой гребень, разделяющий сельскохозяйственную культуру на обрабатываемой земле, наружную границу вокруг обрабатываемой земли или зону препятствия на обрабатываемой земле.
На фиг. 3C показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 используется в качестве устройства защиты растений зерновой культуры, такого как устройство для опрыскивания пестицидами. Зона на обрабатываемой земле делится на по меньшей мере одну неопрысканную зону 100с, по меньшей мере одну опрысканную зону 200с и по меньшей мере одну граничную зону 300с обрабатываемой земли. Неопрысканная зона 100с представляет собой зону, в которой сельскохозяйственные культуры не были опрысканы пестицидом, опрысканная зона 200с представляет собой зону, в которой сельскохозяйственные культуры были опрысканы пестицидом, и граница 300b обрабатываемой земли представляет собой гребень, разделяющий сельскохозяйственные культуры на обрабатываемой земле, наружную границу обрабатываемой земли или зону, в которой на обрабатываемой земле имеются препятствия.
Как показано на фиг. 1 и фиг. 4, с помощью способа распознавания и сегментации изображений из изображения, полученного устройством 20 получения изображений, идентифицируются необработанная зона 100, обработанная зона 200 и граничная зона 300 обрабатываемой земли, и распознаются границы между зонами (необработанной зоной 100, обработанной зоной 200 и граничной зоной 300 обрабатываемой земли). Система автоматического вождения для переработки зерна дополнительно содержит систему 30 обработки изображений, при этом система 30 обработки изображений идентифицирует необработанную зону 100, обработанную зону 200 и граничную зону 300 обрабатываемой земли, исходя из изображения, полученного устройством 20 получения изображений. Следует отметить, что система 30 обработки изображений использует способ распознавания и сегментации изображений для идентификации зон и границ, исходя из изображения, и зоны представляют собой зоны обрабатываемой земли спереди от зерноперерабатывающей машины 10, и границы представляют собой границы обрабатываемой земли спереди от зерноперерабатывающей машины 10. Исходя из зон и границ, идентифицированных системой 30 обработки изображений, с использованием технологии распознавания и сегментации изображений осуществляется управление зерноперерабатывающей машиной 10 с целью ее передвижения и эксплуатации в необработанной зоне на обрабатываемой земле. Например, устройство 20 получения изображений, установленное на переднем конце уборочного устройства получает изображение обрабатываемой земли спереди от уборочного устройства, при этом изображение, захваченное устройством 20 получения изображений, сегментируется и идентифицируется системой 30 обработки изображений с целью идентификации необработанной зоны 100, обработанной зоны 200, рабочей зоны 200 и граничной зоны 300 обрабатываемой земли. Зерноперерабатывающая машина 10, то есть машина уборочного устройства, планирует траекторию движения транспортного средства и операцию уборки, исходя из зон и границ, идентифицированных системой 30 обработки изображений.
В одном варианте осуществления система 30 обработки изображений идентифицирует и сегментирует изображение, полученное устройством 20 получения изображений, на зоны и границы изображения, руководствуясь одним из способов сегментации, исходя из порогового значения, способа сегментации исходя из области, способа сегментации исходя из края и способа сегментации исходя из конкретной теории. В одном варианте осуществления система 30 обработки изображений использует алгоритм глубокого обучения для сегментации и идентификации изображения и выполнения разделения зон и определения границ на изображении. Иначе говоря, система 30 обработки изображений использует алгоритм глубокого обучения для идентификации из изображения соответствующих зон обрабатываемой земли и границы обрабатываемой земли, и зерноперерабатывающая машина передвигается и эксплуатируется согласно идентифицированным зонам обрабатываемой земли и границе обрабатываемой земли. Более предпочтительно, система 30 обработки изображений в качестве алгоритма глубокого обучения использует для идентификации из изображения необработанной зоны 100, обработанной зоны 200 и граничной зоны 300 обрабатываемой земли технологию сегментации и идентификации изображений алгоритма сверточной нейросети.
Следует упомянуть, что алгоритм обработки, используемый системой 30 обработки изображений, представляет собой лишь пример, а не ограничение. Поэтому система 30 обработки изображений также может использовать для идентификации из изображения зоны обрабатываемой земли и границы обрабатываемой земли и другие алгоритмы сегментации и идентификации полученного изображения.
Со ссылкой на фиг. 5A и фиг. 6, система 30 обработки изображений сегментирует изображение, полученное устройством 20 получения изображений, на множество пиксельных областей 301, при этом каждая из пиксельных областей 301 содержит по меньшей мере один пиксельный элемент. Следует отметить, что изображение соответствует зоне в окрестности зерноперерабатывающей машины 10, и, соответственно, пиксельная зона 301 изображения соответствует обрабатываемой земле в конкретной зоне или информации изображения о сельскохозяйственной культуре. Каждая пиксельная область 301, образованная путем сегментации, нормализуется таким образом, что пиксельный элемент пиксельной области 301 нормализуется до некоторого значения или до некоторого массива, соответствующего величине значения пикселя. Иначе говоря, система 30 обработки изображений нормализует сегментированную пиксельную область 301 в соответствующие значения или массивы для того, чтобы система обработки изображений извлекала признаки изображений и разделяла зоны.
Система 30 обработки изображений извлекает признаки изображений, соответствующие пиксельной области 301, исходя из массива, который соответствует каждой пиксельной области 301. Система 30 обработки изображений получает признаки изображения, соответствующие пиксельной области 301, согласно массиву, который соответствует пиксельной области 301. В одном варианте осуществления, когда система 30 обработки изображений использует алгоритм сверточной нейросети, такой как двумерная сверточная нейросеть, входной слой сверточной нейросети соответствует двумерному массиву или трехмерному массиву в пиксельной зоне 301. Скрытый слой сверточной нейросети извлекает признаки из массива входного слоя, выбирает признаки и фильтрует выбранные признаки. Сверточная нейросеть выводит метку классификации пиксельной зоны 301, исходя из признаков, соответствующих массиву, и эти метки классификации соответствуют необработанной зоне 100, обработанной зоне 200 или граничной зоне 300 обрабатываемой земли соответственно.
Со ссылкой на фиг. 6 и фиг. 7, система 30 обработки изображений идентифицирует признаки области, соответствующие пиксельной области 301, путем извлечения признаков массива пиксельной области 301. В одном варианте осуществления признаки, соответствующие пиксельной области 301, включают признак высоты растений сельскохозяйственной культуры, расстояние между растениями сельскохозяйственной культуры на обрабатываемой земле, цвет сельскохозяйственной культуры, цвет почвы обрабатываемой земли, признаки типа сельскохозяйственной культуры, признаки высоты сельскохозяйственной культуры, расстояние между единицами сельскохозяйственной культуры на обрабатываемой земле, признаки цвета сельскохозяйственной культуры, признаки цвета обрабатываемой земли, признаки типа сельскохозяйственной культуры, признаки обрабатываемой земли, налив зерен сельскохозяйственной культуры, количество зерен сельскохозяйственной культуры и т.д. Система 30 обработки изображений выводит метку классификации, соответствующую пиксельной области 301, согласно извлеченным признакам. В одном варианте осуществления метка классификации соответствующим образом идентифицирует тип зоны и границу, соответствующие пиксельной области 301, исходя из извлеченных признаков.
Со ссылкой на фиг. 5B, система 30 обработки изображений содержит модуль 31 сегментации изображений, модуль 32 признаков и модуль 33 разделения зон. Модуль 31 сегментации изображений получает изображение, захваченное устройством 20 получения изображений, и генерирует множество пиксельных областей 301 путем сегментации и обработки изображения. В одном варианте осуществления каждая пиксельная область 301 содержит по меньшей мере один пиксельный элемент. Модуль 32 признаков использует алгоритм глубокого обучения для извлечения типа признака пиксельной зоны 301, выбирает признак и фильтрует этот выбранный признак. Модуль 33 разделения зон разделяет изображение, исходя из признаков пиксельной области 301, извлеченных модулем 32 признаков, для генерирования метки классификации, соответствующей необработанной зоне 100, обработанной зоне 200 или граничной зоне 300 обрабатываемой земли.
В одном варианте осуществления модуль 31 сегментации изображений разделяет изображение на множество пиксельных областей 301, причем каждая пиксельная область 301 имеет одни и те же размер, форму и диапазон. Следует отметить, что модуль 31 сегментации изображений может сегментировать изображение согласно пороговому значению пикселя изображения. То есть размеры, формы и диапазоны пиксельных областей 301, сегментированных модулем 31 сегментации изображений, могут отличаться. В одном варианте осуществления, когда в модуле 32 признаков системы 30 обработки изображений принят для сегментации изображения алгоритм сверточной нейросети, пиксельная зона 301, разделенная модулем 31 сегментации изображений, представляет собой один пиксельный элемент.
В одном варианте осуществления модуль 32 признаков содержит модуль 321 обработки пикселей, модуль 322 извлечения признаков и модуль 323 вывода признаков. Модуль 321 обработки пикселей обрабатывает массив пиксельного элемента в пиксельной зоне 301. В одном варианте осуществления модуль 321 обработки пикселей нормализует пиксельную зону 301 в массив, подходящий для обработки. Модуль 322 извлечения признаков вводит массив пиксельной зоны 301, обработанный модулем 321 обработки пикселей, извлекает тип признаков, соответствующих этому массиву, выбирает признаки и фильтрует эти выбранные признаки с целью накопления доступных данных и устранения данных помех с тем, чтобы сделать признаки более подготовленными. Модуль 323 вывода признаков выводит признаки, извлеченные модулем 322 извлечения признаков, и модуль 33 разделения зон генерирует метку классификации соответствующей зоны в комбинации с признаками, выводимыми модулем 323 вывода признаков.
Модуль 33 разделения зон разделяет зоны изображения и устанавливает границы зон, исходя из признаков пиксельной области 301, извлеченных модулем 32 признаков. Соответственно, модуль 33 разделения зон дополнительно включает модуль 331 разделения зон и модуль 332 разделения границ. Модуль 331 разделения зон разделяет разные зоны согласно признакам пиксельной области 301, а модуль 332 разделения границ разделяет граничный диапазон зон с целью определения диапазона каждой зоны.
В процессе вождения зерноперерабатывающей машины 10 системой автоматического вождения для переработки зерна устройство 20 получения изображений получает изображения вида спереди от зерноперерабатывающей машины 10 в реальном времени. Соответственно, система 30 обработки изображений получает изображение, захваченное устройством 20 получения изображений в реальном времени, и использует технологию сегментации и идентификации изображений для идентификации разделенной зоны и граничного диапазона зоны, соответствующего обрабатываемой земле на изображении. Когда разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, не согласуются с предыдущим граничным диапазоном зоны, идентифицированная зона и граничный диапазон зоны, соответствующие изображению, корректируются.
Как показано на фиг. 8, на зерноперерабатывающую машину 10 могут влиять вибрация и незначительные отклонения и толчки при движении. Когда направление движения зерноперерабатывающей машины 10 отклоняется, или разделенная зона изменяется вследствие вибрации транспортного средства, система 30 обработки изображений в реальном времени обновляет разделенную зону и граничный диапазон зоны изображения.
Со ссылкой на фиг. 1, система автоматического вождения дополнительно содержит устройство 40 определения положения и навигационную систему 50. В одном варианте осуществления устройство 40 определения положения расположено на зерноперерабатывающей машине 10. Устройство 40 определения положения получает информацию о положении зерноперерабатывающей машины 10. В одном варианте осуществления устройство 40 определения положения использует информацию о положении спутника для получения информации о положении зерноперерабатывающей машины 10. Устройство 40 определения положения может представлять собой устройство GPS или навигационное устройство Beidou. Навигационная система 50 расположена на зерноперерабатывающей машине 10. Навигационная система 50 обеспечивает навигацию для зерноперерабатывающей машины 10. Зерноперерабатывающая машина 10 выполняет автоматическое вождение и эксплуатацию, исходя из информации о положении устройства 40 определения положения и информации о планировании зон (такой как разделенные зоны и граничный диапазон зон), полученной системой 30 обработки изображений, а также навигационной информации навигационной системы 50.
Следует отметить, что разделенные зоны и граничный диапазон обрабатываемой земли, полученные системой 30 обработки изображений, обрабатывающей изображение, обновляются согласно навигационной системе 50 в реальном времени для обновления навигационной информации навигационной системы 50. В одном варианте осуществления навигационная система 50 может представлять собой встроенную инерционную навигационную систему. Понятно, что типы навигационной системы 50 по существу являются здесь лишь примером, а не ограничением, и, таким образом, навигационная система 50 также может представлять собой навигационные устройства других типов.
Соответственно, зерноперерабатывающая машина 10 системы автоматического вождения для переработки зерна содержит транспортное средство 11, систему 12 эксплуатации, расположенную на транспортном средстве 11, и систему 13 управления движением. В одном варианте осуществления система 12 эксплуатации приводится в движение транспортным средством 11 и выполняет операцию переработки зерна, такую как уборочная операция. Система 13 управления движением управляет движением транспортного средства 11 и работой системы 12 эксплуатации. Следует упомянуть, что система 13 управления движением имеет беспилотный режим и режим управления оператором. Когда система автоматического вождения для переработки зерна находится в беспилотном режиме, система 13 управления движением автоматически управляет работой транспортного средства 11 и системы 12 эксплуатации. В режиме управления оператором система 13 управления движением позволяет водителю вручную управлять транспортным средством 11 и работой системы эксплуатации.
На фиг. 9 настоящего описания показана реализация системы автоматического вождения в области беспилотной работы и уборочной операции. Когда система 13 управления движением зерноперерабатывающей машины 10 находится в беспилотном режиме, система 13 управления движением получает информацию о положении транспортного средства 11, предоставляемую устройством 40 определения положения, навигационную информацию, предоставляемую навигационной системой 50, и идентификационную информацию зоны, предоставляемую системой 30 обработки изображений, и осуществляется управление перемещением транспортного средства 11 в необработанной зоне 100 обрабатываемой земли с целью выполнения операции уборки зерна. Во время операции движения устройство 20 получения изображений получает изображения обстановки спереди от транспортного средства 11 в реальном времени, при этом изображение идентифицируется системой 30 обработки изображений с использованием технологии распознавания и сегментации изображений с целью идентификации зоны и граничного диапазона зоны. Когда разделенная зона и граничный диапазон зоны, полученные системой 30 обработки изображений, не согласуются с предыдущей зоной и граничным диапазоном, система 30 обработки изображений заменяет исходную зону и граничный диапазон зоны, и обновляет навигационные данные навигационной системы 50 так, что система 13 управления движением получает новую навигационную информацию для корректировки движения и рабочего маршрута транспортного средства 11.
Согласно одному аспекту настоящего изобретения в настоящем изобретении предоставлен способ автоматической идентификации зоны обрабатываемой земли и границы обрабатываемой земли, применяемый в системе автоматического вождения для переработки зерна с целью разделения и идентификации зоны обрабатываемой земли, что является удобным для системы автоматического вождения, выполняющей операцию уборки сельскохозяйственной культуры и операцию беспилотного вождения, при этом способ автоматической идентификации зоны обрабатываемой земли и границы обрабатываемой земли включает:
этап (a): получение по меньшей мере одного изображения обрабатываемой земли в окрестности зерноперерабатывающей машины 10; и
этап (b): сегментацию изображения с использованием технологии сегментации изображений, идентификацию и разделение зоны изображения.
Этап (a) дополнительно включает получение фотографического изображения окрестности зерноперерабатывающей машины 10 в реальном времени, исходя из положения и направления движения зерноперерабатывающей машины 10. Этап (b) дополнительно включает сегментацию изображения с использованием технологии сегментации изображений, а также идентификацию и разделение зоны изображения на необработанную зону 100, обработанную зону 200 и граничную зону 300 обрабатываемой земли. Этап (b) дополнительно включает:
этап (b.1): разделение изображения на множество пиксельных областей 301 и нормализацию значений пикселей пиксельных областей 301 в массив;
этап (b.2): извлечение признаков пиксельной области 301 каждого массива; и
этап (b.3): вывод метки классификации изображения, исходя из признаков пиксельной области 301.
На этапе (b.3) способа автоматической идентификации метка классификации соответствует необработанной зоне 100, обработанной зоне 200 и граничной зоне 300 обрабатываемой земли.
На этапе (b) способа автоматической идентификации система 30 обработки изображений использует алгоритм сверточной нейросети глубокого обучения для сегментации изображения, идентификации и разделения зоны изображения.
Способ автоматической идентификации дополнительно включает: этап (c): сравнение согласованности между разделенной зоной, идентифицированной системой 30 обработки изображений, и граничным диапазоном зоны, идентифицированным системой 30 обработки изображений; корректировку разделенных зон и граничного диапазона зон соответственно изображению, если разделенная зона не согласуется с граничным диапазоном зоны; и сохранение разделенной зоны и граничного диапазона зоны без изменений, если разделенная зона согласуется с граничным диапазоном зоны.
Согласно еще одному аспекту настоящего изобретения, настоящее изобретение дополнительно предоставляет способ автоматического вождения, применяемый в системе автоматического вождения для переработки зерна, и способ автоматического вождения включает:
этап (I): получение по меньшей мере одного изображения и идентификация зоны обрабатываемой земли и границы зоны обрабатываемой земли на изображении;
этап (II): управление движением зерноперерабатывающей машины 10 согласно зоне и границам зоны обрабатываемой земли.
Этап (I) включает способ автоматической идентификации зоны обрабатываемой земли и границы обрабатываемой земли, предоставляемый настоящим изобретением. Система 13 управления движением управляет движением и работой зерноперерабатывающей машины 10, исходя из зоны обрабатываемой земли и границы обрабатываемой земли, идентифицированных системой 30 обработки изображений.
Этап (II) способа автоматического вождения дополнительно включает:
получение информации о положении зерноперерабатывающей машины 10;
обновление навигационной информации навигационной системы, исходя из информации о положении и идентификационной информации обрабатываемой земли.
Соответственно, на этапе (II) система 13 управления движением управляет движением транспортного средства 11 зерноперерабатывающей машины 10 согласно информации о положении зерноперерабатывающей машины 10, информации о планировании зон обрабатываемой земли, полученной системой 30 обработки изображений, и навигационной информации.
Предпочтительно, система 13 управления движением управляет движением транспортного средства 11 в необработанной зоне 100 с целью выполнения рабочей задачи.
Специалисты в данной области техники должны понимать, что приведенное выше описание и варианты осуществления настоящего изобретения, показанные на графических материалах, являются лишь примерами и не ограничивают настоящее изобретение. Цель настоящего изобретения была полностью и эффективно достигнута. Функция и конструктивный принцип настоящего изобретения были показаны и объяснены в вариантах осуществления. Без отступления от принципа реализация настоящего изобретения может иметь любое изменение формы или модификацию.