ОПРЕДЕЛЕНИЕ СТЕПЕНИ ОДНОРОДНОСТИ В ИЗОБРАЖЕНИЯХ
DETERMINING DEGREE OF HOMOGENEITY IN IMAGES

Область техники
Настоящее изобретение относится к способам и системам для определения степени однородности в изображениях, а более конкретно, к способам и системам для определения степени однородности в инспектируемых изображениях.
Предпосылки создания изобретения
Пользователю может быть трудно обнаружить неоднородность в изображениях, например в инспектируемых изображениях, особенно когда пользователю приходится просматривать большое количество изображений. Кроме того, может быть трудно обнаружить неоднородность в изображениях, имеющих заданный уровень контрастности. Эти трудности могут представить угрозу безопасности, поскольку неоднородность в изображениях может соответствовать скрытым объектам, таким как оружие или опасное вещество.
Описание чертежей
Ниже описаны лишь примеры вариантов выполнения настоящего изобретения со ссылками на сопровождающие чертежи, где:
на фиг. 1 показана последовательность операций, иллюстрирующая пример способа согласно настоящему изобретению;
на фиг. 2 показана последовательность операций, иллюстрирующая некую деталь способа согласно настоящему изобретению;
на фиг. 3 показана последовательность операций, иллюстрирующая еще одну деталь способа согласно настоящему изобретению;
на фиг. 4 схематично показан пример устройства согласно настоящему изобретению;
на фиг. 5 показан вид сзади, поясняющий пример мобильной инспектирующей системы согласно настоящему изобретению в режиме инспектирования;
на фиг. 6 показан вид сзади, поясняющий пример стационарной инспектирующей системы согласно настоящему изобретению в режиме инспектирования;
на фиг. 7 показан пример классификации изображений согласно настоящему изобретению на две категории, при этом однородность вдоль оси увеличивается;
на фиг. 8 показан пример классификации изображений согласно настоящему изобретению на три категории, при этом однородность вдоль оси увеличивается;
на фиг. 9 схематично показан пример классификации представляющих интерес зон в изображениях, на три категории;
на фиг. 10 схематично показано определение модели и идентификация вариации согласно настоящему изобретению; и
на фиг. 11А-11С схематично показаны примеры обработки изображений согласно настоящему изобретению.
На чертежах одинаковыми позициями обозначены одинаковые элементы.
Описание примеров вариантов выполнения настоящего изобретения
Краткий обзор
Варианты выполнения настоящего изобретения относятся к способу определения степени однородности в изображениях груза в контейнерах. В вариантах выполнения настоящего изобретения степень однородности определяют в связи с вариациями в одной или более моделей, определенных в изображении. В некоторых вариантах выполнения настоящего изобретения определение степени однородности позволяет классифицировать изображение на категории на основе порога однородности. В вариантах выполнения настоящего изобретения может быть множество степеней однородности. В вариантах выполнения настоящего изобретения может быть больше двух категорий изображений. Определение и/или классификация могут позволить запустить действие, такое как обнаружение неоднородности в изображении. Определение и/или классификация могут быть полезны для обнаружения неоднородности в остальных отношениях однородном грузе. Определение и/или классификация могут, таким образом, быть полезными для выявления странностей и/или несоответствий в адекватном в остальных отношениях грузе. В вариантах выполнения настоящего изобретения способ выполняют на множестве уровней контраста в изображениях, так что, даже если изображение кажется полностью однородным на данном уровне контраста, неоднородность может быть обнаружена на другом уровне контраста изображения. Указанные определение и/или классификация в рамках вариантов выполнения настоящего изобретения могут позволить принять решение о выбранной категории изображений, таких как классификация на подозрительное или неподозрительное. Указанные определение и/или классификация в рамках вариантов выполнения настоящего изобретения могут помочь пользователю визуализировать выбранную категорию изображений среди большого количества изображений. Варианты выполнения настоящего изобретения повышают безопасность, поскольку указанные определение и/или классификация позволяют обнаружить спрятанные объекты, такие как оружие или опасное вещество.
Подробное описание примеров выполнения настоящего изобретения
В одном своем аспекте настоящее изобретение относится к способу определения степени однородности в одном или более инспектируемых изображений груза, находящегося в одном или более контейнеров, включающему:
определение, содержит ли представляющая интерес зона одного или более обработанных инспектируемых изображений одну или более моделей, при этом указанное одно или более обработанных инспектируемых изображений получено обработкой из одного или более инспектируемых изображений, генерируемых инспектирующей системой, предназначенной для инспектирования одного или более контейнеров;
в случае, когда определена одна или более моделей и идентифицирована вариация в определенной одной или более моделей, классификацию этого одного или более инспектируемых изображений как имеющих степень однородности ниже заранее заданного порога однородности.
В вариантах выполнения настоящего изобретения способ может дополнительно включать в случае, когда определено множество моделей: извлечение одной или более областей в представляющей интерес зоне, определение, содержит ли извлеченная одна или более областей по меньшей мере две идентичные области, и, если никаких идентичных областей не определено, классификацию указанной одной или более инспектируемых изображений как имеющих степень однородности ниже по меньшей мере одного заранее заданного порога неоднородности.
В вариантах выполнения настоящего изобретения заранее заданный порог неоднородности может быть равным заранее заданному порогу однородности. Заранее заданный порог однородности может быть строго больше, чем заранее заданный порог неоднородности.
В вариантах выполнения настоящего изобретения, когда определены по меньшей мере две идентичные области и вариация идентифицирована, указанная классификация может дополнительно включать: классификацию одного или более изображений как имеющих промежуточную степень однородности, лежащую выше заранее заданного порога неоднородности и ниже заранее заданного порога однородности.
В вариантах выполнения настоящего изобретения одно или более инспектируемых изображений могут быть обработаны с получением одного или более обработанных инспектируемых изображений со множеством уровней контраста, при этом указанный способ может дополнительно включать: повторение определения степени однородности для множества уровней контраста на основе указанной классификации. Это повторение может выполняться для последовательности уровней контраста из множества уровней контраста, пока эта классификация включает классификацию одного или более инспектируемых изображений как имеющих степень однородности выше заранее заданного порога однородности. Способ может дополнительно включать: остановку указанного повторения, когда классификация включает классификацию одного или более инспектируемых изображений как имеющих степень однородности ниже заранее заданного порога однородности.
В вариантах выполнения настоящего изобретения указанное повторение может выполняться для последовательности уровней контраста из множества уровней контраста, пока классификация включает классификацию одного или более инспектируемых изображений как имеющих степень однородности выше заранее заданного порога неоднородности. Способ может дополнительно включать: остановку указанного повторения, когда классификация включает классификацию одного или более инспектируемых изображений как имеющих степень однородности ниже заранее заданного порога неоднородности.
В вариантах выполнения настоящего изобретения способ может дополнительно включать запуск некоторого действия на основе указанной классификации, при этом это действие выбрано из группы, содержащей: отображение одного или более инспектируемых изображений; не отображение одного или более инспектируемых изображений; выдачу сигнала тревоги пользователю; определение состава части груза в одном или более инспектируемых изображениях; посылку одного или более инспектируемых изображений контроллеру; выдачу команды контроллеру; любую комбинацию перечисленного.
В вариантах выполнения настоящего изобретения указанный способ может дополнительно включать получение результата выбора представляющей интерес зоны, выбранной пользователем и/или контроллером.
В вариантах выполнения настоящего изобретения указанный способ может дополнительно включать получение результата выбора оси, пересекающей представляющую интерес зону, при этом указанную одну или более моделей и вариацию можно идентифицировать вдоль этой выбранной оси. В вариантах выполнения настоящего изобретения выбранная ось может соответствовать направлению загрузки груза в один или более контейнеров.
В вариантах выполнения настоящего изобретения указанное определение, содержит ли представляющая интерес зона одну или более моделей, может включать: выполнение анализа по меньшей мере части представляющей интерес зоны; и определение, содержит ли проанализированная часть одну или более моделей.
В вариантах выполнения настоящего изобретения выполненный анализ может включать частотный анализ.
В вариантах выполнения настоящего изобретения указанный способ может включать идентификацию множества моделей, когда вдоль выбранной оси можно идентифицировать множество периодических моделей.
В вариантах выполнения настоящего изобретения извлечение одной или более областей в представляющей интерес зоне может включать: извлечение каждой области путем создания блока, имеющего размер вдоль выбранной оси, соответствующий по существу периоду идентифицированных периодических моделей.
В вариантах выполнения настоящего изобретения указанное определение, содержит ли извлеченная одна или более областей по меньшей мере две идентичные области, может включать: выполнение поблочного сравнения созданных блоков; и определение различия между блоками с использованием одного или более классификаторов. Указанный один или более классификаторов может быть выбран из группы, содержащей: метод опорных векторов (SVM), метод k ближайших соседей (k NN), любую их комбинацию.
В вариантах выполнения настоящего изобретения выполняемый анализ может включать сегментацию анализируемой части.
Эта сегментация может быть выполнена алгоритмом по водоразделу (watershed). Этот способ может включать идентификацию единственной непрерывной модели, когда сегментированная анализируемая часть содержит только одну область. Способ может включить: идентификацию непрерывной модели вдоль выбранной оси.
В вариантах выполнения настоящего изобретения указанная обработка инспектируемых изображений может включать: идентификацию груза в инспектируемых изображениях; отделение зоны, соответствующей грузу, от зоны, соответствующей контейнеру; отбрасывание части инспектируемого изображения; любую комбинацию перечисленного. Обработка может быть выполнена до определения.
В вариантах выполнения настоящего изобретения указанное инспектирование может быть выполнено путем передачи инспектирующего излучения из источника инспектирующего излучения в детектор инспектирующего излучения через один или более контейнеров.
В другом своем аспекте настоящее изобретение относится к анализатору, предназначенному для определения степени однородности в одном или более инспектируемых изображений груза, находящегося в одном или более контейнеров, и предназначенному для:
определения, содержит ли представляющая интерес зона в одном или большем количества обработанных инспектируемых изображений одну или более моделей, при этом указанные одно или более обработанных инспектируемых изображений получено обработкой из одного или более инспектируемых изображений, генерируемых инспектирующей системой, предназначенной для инспектирования одного или более контейнеров;
в случае, когда определена одна или более моделей и вариация в определенной одной или более моделей, классификация этого одного или более инспектируемых изображений как имеющих степень однородности ниже заранее заданного порога однородности.
В еще одном аспекте настоящего изобретения описано устройство, содержащее: инспектирующую систему, предназначенную для инспектирования контейнера, и анализатор согласно любому из аспектов настоящего изобретения.
В еще одном своем аспекте настоящее изобретение относится к компьютерному программному продукту, содержащему программные инструкции для программирования процессора на выполнение обработки данных в рамках способа согласно любому из аспектов настоящего изобретения, или для программирования процессора на формирование анализатора согласно любому из аспектов настоящего изобретения, или на формирование устройства согласно любому из аспектов настоящего изобретения.
На фиг. 4 показано устройство, содержащее анализатор 5, предназначенный для классификации одного или более инспектируемых изображений 10 груза 101 в одном или более контейнеров 100.
Каждое из изображений 10 может генерироваться инспектирующей системой 1.
В примерах, показанных на чертежах, каждое изображение 10 соответствует контейнеру 100, инспектируемому системой 1. В некоторых примерах количество изображений 10 и/или контейнеров 100, полученных и/или инспектированных системой 1 в единицу времени определяет пропускную способность системы 1.
Как будет подробно описано ниже, анализатор 5 может принимать одно или более изображений 10 из системы 1, например по сети 6 связи, которые могут быть переданы беспроводным способом и/или по проводам. Анализатор 5 традиционно содержит по меньшей мере процессор и память для выполнения способа согласно настоящему изобретению.
В вариантах выполнения настоящего изобретения одно или более инспектируемых изображений 10 обработаны так, чтобы генерировалось обработанное инспектируемое изображение 110, например системой 1, и/или анализатором 5, и/или контроллером (более подробно описанным ниже). В некоторых вариантах выполнения настоящего изобретения в результате указанной обработки могут генерироваться обработанные инспектируемые изображения 10, которые может быть цифровыми или переведенными в цифровую форму.
Как более подробно описано ниже в связи с описанием фиг. 5 и 6, инспектирующая система 1 предназначена для инспектирования контейнера 100. В некоторых неограничивающих примерах инспектирование может быть выполнено путем передачи инспектирующего излучения 3 из источника 31 инспектирующего излучения в детектор 32 инспектирующего излучения через контейнер 100. Альтернативно или дополнительно излучение 3 может быть передано через контейнер 100 (материал контейнера 100 является, таким образом, прозрачным для излучения), в то время как излучение, по меньшей мере частично, может быть отражено грузом 101, расположенным в контейнере 100 (материал и/или состав груза, расположенного в контейнере 100, является, таким образом, только частично прозрачным для излучения 3, а частично отражающим излучение 3 - в этом случае можно установить детекторы для приема излучения, отраженного грузом 101).
На фиг. 5 и 6 показано, что контейнер 100 может быть любым типом контейнера, таким как держатель, сосуд или коробка и т.д. Таким образом, контейнер 100 в качестве неограничивающего примера может быть трейлером и/или поддоном (например поддоном европейского стандарта, американского стандарта или любого другого стандарта), фургоном и/или железнодорожным вагоном, и/или резервуаром и/или багажником транспортного средства, такого как грузовик, фургон, и/или автомобиль, и/или поезд, и/или же контейнер 100 может быть «транспортировочным контейнером» (таким, как резервуар или контейнер стандарта ISO (Международной организации по стандартизации) или контейнер не стандарта ISO или ULD-контейнером (Unit load device= Универсальный грузовой контейнер). Таким образом, понятно, что контейнер 100 может быть любым типом контейнера, и таким образом, в некоторых примерах может быть чемоданом. Источник 31 излучения предназначен обеспечить инспектирование груза 101 сквозь материал (обычно сталь) стенок контейнера 100, например для обнаружения и/или идентификации груза 101.
Система 1 в режиме инспектирования инспектирует контейнер 100 целиком (то есть, инспектируется весь контейнер 100), или частично (то есть инспектируется только выбранная часть контейнера, например, как правило, при осмотре транспортного средства салон транспортного средства можно не инспектировать, тогда как тыльную часть транспортного средства осматривают).
В примере, показанном на фиг. 5, инспектирующая система 1 может быть мобильной и может быть перенесена из одного места в другое (система 1 может содержать автомобильное транспортное средство), а в примере, показанном на фиг. 6, инспектирующая система 1 может быть статичной относительно основания и не может перемещаться.
В примерах, показанных на чертежах, источник 31 инспектирующего излучения содержит генератор рентгеновских лучей. Энергия рентгеновских лучей может лежать между 10О кэВ и 15 МэВ, а доза облучения может лежать 2 мГр и 20 Гр (Грей). В примере, показанном на фиг. 5, мощность источника 31 рентгеновских лучей может лежать, например, между 100 кэВ и 9,0 МэВ, как правило например, 2 МэВ, 3,5 МэВ, 4 МэВ, или 6 МэВ, для проникновения через стальную емкость, например, между 40 мм к 400 мм, как правило например, 300 мм (12 дюймов). В примере, показанном на фиг. 5, доза может быть например, между 20 мГр и 120 мГр. В примере, показанном на фиг. 6, мощность источника 31 рентгеновского излучения может составлять, например, между 4 МэВ и 10 МэВ, как правило, например, 9 МэВ, для проникновения через стальную емкость, например, между 300 мм к 450 мм, как правило, например, 410 мм (16,1 дюйма). В примере, показанном на фиг. 6, доза может составлять 17 Гр.
В примерах, показанных на чертежах, детектор 32 инспектирующего излучения содержит, помимо других обычных электрических элементов, линии 321 обнаружения излучения, такие как линии обнаружения рентгеновского излучения. Детектор 32 инспектирующего излучения может дополнительно содержать другие типы детекторов, такие как дополнительные детекторы гамма-излучения и/или нейтронов, например, приспособленные для обнаружения присутствия в пределах контейнера 100 радиоактивных материалов, излучающих гамма-излучение и/или нейтроны, например, одновременно с инспектированием с использованием рентгеновских лучей. В примере, показанном на фиг. 5, детектор 32 инспектирующего излучения может также содержать электрогидравлическую стрелу 7, которая может работать во втянутом положении в режиме транспортировки (на чертеже не показано) и в положении инспектирования (фиг. 5). Стрелой 7 могут управлять гидравлические приводные устройства (такие, как гидравлические цилиндры). В примере, показанном на фиг. 6, детектор 32 инспектирующего излучения может также содержать конструкцию и/или раму 7. Линии 321 обнаружения могут быть установлены на стреле 7 (фиг. 5) или конструкции и/или раме 7 (фиг. 6), будучи обращенными к источнику 31 с другой стороны контейнера 100.
Для инспектирования контейнера 100 в примере, показанном на фиг. 5, система 1 может содержать устройство генерации движения, чтобы система 1 могла перемещаться, при том, что контейнер 100 остается неподвижным (этот режим иногда называется режимом сканирования). Альтернативно или дополнительно, устройство генерации движения может заставлять перемещаться контейнер 100, а система 1 остается неподвижной относительно основания (фиг. 6). В некоторых вариантах выполнения настоящего изобретения пропускная способность, то есть количества контейнеров 100 и/или изображений 10 за единицу времени могут составлять 20-30 изображений/час. Альтернативно или дополнительно, в режиме сквозного прохождения система 1 не содержит устройства генерации движения, и контейнер перемещается относительно системы 1, а система 1 остается неподвижной относительно основания. В вариантах выполнения настоящего изобретения пропускная способность в режиме сквозного прохождения может быть выше, чем пропускная способность в режиме сканирования, и может составлять, например 50-200 изображений/час. или даже от 50 до нескольких тысяч изображений/час. в случае инспектирования проходящего поезда (например пропускная способность достигает более 1000 изображений/час).
В примере, показанном на фиг. 4, устройство может дополнительно содержать контроллер 4, предназначенный для связи через сеть 7 связи с системой 1, и/или контейнером 100, и/или анализатором 5. Контроллер 4 обычно содержит по меньшей мере процессор и память для реализации способа согласно настоящему изобретению.
В примере, показанном на фиг. 4, устройство может дополнительно содержать сервер 8 связи, предназначенный для связи через сеть 7 связи с системой 1 и/или анализатором 5. В некоторых примерах сервер 8 связи может выполнять роль удаленной системы управления данными. В некоторых примерах сервер 8 может содержать базу данных.
Пример способа, показанный на фиг. 1, может включать на шаге S1 определение, содержит ли представляющая интерес зона 12 в обработанном инспектируемом изображении 110 одну или более моделей 14.
Примеры обработанных инспектируемых изображений 110 показаны на фиг. 7.
В некоторых вариантах выполнения настоящего изобретения представляющую интерес зону 12 выбирает пользователь системы 1, например с использованием интерфейса системы 1, и/или контроллер 4 или анализатор 5, например автоматически. Результат выбора может затем быть принят, например анализатором 5. Выбор зоны 12 может позволить анализатору 5 (и таким образом пользователю) сфокусировать анализ только на части изображения 110. Подразумевается, что в некоторых примерах представляющая интерес зона может соответствовать всему изображению 110.
Как показано в примере на фиг. 9, классификация изображения 110 может зависеть от представляющей интерес зоны 12. Как можно видеть в примере на фиг. 9, для одного и того же изображения 110, представляющая интерес зона 12 с правой стороны может быть классифицирована как неоднородная, представляющая интерес зона 12 слева может быть классифицирована как почти однородная, а представляющая интерес зона 12 в зоне слева может быть классифицирована как однородная.
Как показано на фиг. 10, модель 14 в изображении 110 может иметь распознаваемую форму, интенсивность или структуру, имеющие макроскопические визуальные характеристики, например определяющие распознаваемый объект или материал в изображении 110. Примеры моделей 14 включают геометрические формы и уровни контраста.
Как подробно описано ниже, модель 14 может быть извлечена анализатором 5 по значениям пикселей (таких как уровень серого) в изображении 110 и/или по пространственным взаимоотношением между пикселями изображения 110, соответствующим структуре изображения 110.
Как показано в примере на фиг. 10, модель 14 может быть непрерывной (см. модель 14(a) с однородной интенсивностью по всей протяженности), периодической или квазипериодической (см. модель 14(b) в представляющей интерес зоне 12(b)), или может иметь случайное повторение интенсивности и размеров (см. отдельную модель 14(d)).
Подразумевается, что модель 14 может быть определена в любом месте в изображении 110 или в зоне 12.
В некоторых примерах может быть выбрана ось (О-О), пересекающая представляющую интерес зону.
В некоторых примерах ось (О-О) может быть выбрана или пользователем системы 1, и/или автоматически контроллером 4 или анализатором 5. Затем анализатор 5 принимает результат выбора оси (О-О).
Таким образом, в вариантах выполнения настоящего изобретения одну или более моделей 14 можно предпочтительно определить вдоль отобранной оси (О-О). В некоторых примерах может быть предпочтительно, чтобы выбранная ось (О-О) соответствовала направлению загрузки груза в одном или более контейнеров 100, поскольку это улучшает определение моделей 14. В примере на фиг. 10 выбранная ось (О-О) лежит в горизонтальном направлении, поскольку загрузка иллюстрируемого прицепа грузовика производится в горизонтальном направлении, а следовательно, модель, такая как периодическая модель, может быть определена вдоль горизонтального направления. Подразумевается, что для выбираемой оси (О-О) может быть выбрано другое направление, такое как вертикальное направление, например когда объекты уложены в штабель друг на друге в вертикальном направлении. Можно предусмотреть и другие направления.
В примере, показанном на фиг. 1, когда на шаге S1 определена одна или более моделей 14, на шаге S2 определяют, идентифицирована ли или нет вариация V в определенной одной или более моделей 14.
Как более подробно описано ниже и показано на фиг. 10, вариация V может быть идентифицирована анализатором 5 по значению пикселей (таких как значения уровней серого) в изображении 110.
В варианте выполнения настоящего изобретения в примере, показанном на фиг. 10, вариация V может быть идентифицирована, когда есть изменение интенсивности (например вариация V(b) между моделью 14(b) и новой моделью 14(c) в зоне 12(c)), и/или в размере, и/или в периоде модели (например вариация V(c) между двумя моделями 14(d) в зоне 12(d)).
В некоторых вариантах выполнения настоящего изобретения вариация V может быть идентифицирована вдоль выбранной оси (О-О).
Если на шаге S2 идентифицирована вариация V в определенной одной или более моделей 14, способ, иллюстрируемый на фиг. 1, может включать классификацию на шаге S3 инспектируемого изображения 10 как имеющего степени однородности ниже заранее заданного порога однородности, например обозначенного Т1 на фиг. 7, например на оси X показано увеличение однородности. Таким образом, изображение 10 ниже Т1 классифицируют как неоднородное.
Если на шаге S2 не идентифицировано никакой вариации в определенной одной или более моделей 14, способ, показанный на фиг. 1, может включать на шаге S4 классификацию инспектируемого изображения 10 как имеющего степени однородности выше заранее заданного порога Т1 однородности. Таким образом, изображение 10 выше Т1 классифицируют как однородное.
Подразумевается, что уровень порога Т1 на оси X можно менять относительно уровня вариации V, необходимого, чтобы вариацию V можно было обнаружить анализатором 5. Порог Т1 может быть установлен высоко по оси X, если даже малый уровень вариации V обнаруживается анализатором 5 и приводит к выдаче классификации ниже порога Т1. В этом примере категория выше порога Т1 может включать только очень однородные изображения 10 (как показано на фиг. 7), а как только в модели в изображении обнаружена малая вариация V, соответствующее изображение может быть классифицировано ниже порога Т1 и поэтому классифицировано как неоднородное (и поэтому в некоторых примерах, классифицировано анализатором 5 как потенциально подозрительное).
Напротив, порог Т1 можно поместить на оси X низко, если требуется относительно высокий уровень вариаций V, обнаруженных анализатором 5, чтобы генерировать классификацию ниже порога Т1, то есть как неоднородную. В этом примере категория выше порога Т1 может, таким образом, включать однородные и почти однородные изображения 10. В этом примере только разнородные изображения могут быть классифицированы как неоднородные (и поэтому в некоторых примерах классифицированы анализатором 5 как подозрительные).
Таким образом, подразумевается, что определение уровня вариации V необходимого для классификации, путем расположения порога Т1 позволяет определить порог, при котором изображение 10 будет обработано анализатором 5 как подозрительное или неподозрительное. Поэтому подразумевается, что преимущество способа состоит в том, что он может обеспечить автоматическое ранжирование инспектируемого изображения 10, при этом указанное ранжирование выполняется относительно порога Т1. Преимущество способа в том, что он обеспечивает автоматическое решение анализатором 5 относительно изображений. Это удобно, поскольку помогает пользователю системы 1, который, таким образом, сможет сосредоточиться только на выбранной категории изображений и/или инспектировать ее. В некоторых примерах пользователь системы 1 может выделять и/или инспектировать изображения в одной или более категорий ниже Т1, например когда ожидается однородный груз, или выделять и/или инспектировать изображения в категории выше Т1, например когда ожидается разнородный груз. Пользователю не нужно визуализировать и/или инспектировать изображения, чтобы принять решение, является ли изображение подозрительным или нет.
В примерах, показанных на фиг. 2, на шаге S1 определение, содержит ли зона 12 одну или более моделей 14, включает: на шаге S11 выполнение анализа по меньшей мере части 121 представляющей интерес зоны 12 и определение, содержит ли анализируемая часть 121 одну или более моделей 14. Как подробно описано ниже (например в связи с фиг. 11С), часть 121 может соответствовать выбору в зоне 12, например полученному в результате обработки зоны 12, например в результате отбрасывания зон, которые могли бы затруднить анализ. Подразумевается, что в некоторых примерах часть 121 может быть всей зоной 12.
Если на шаге S12 определено, что на шаге S11 определено множество моделей, способ продолжается на шаге S13.
На шаге S13 могут быть извлечены одна или более областей 11 в представляющей интерес зоне 12.
На шаге S14 может быть определено, включают ли извлеченные одна или более областей 11 по меньшей мере две идентичные области 11.
В примере способа, показанном на фиг. 2, когда на шаге S1 определено множество моделей 14 и когда на шаге S14 не определены никакие идентичные области, инспектируемое изображение 10 классифицируют (шаг S15) как имеющее степень однородности ниже заранее заданного порога неоднородности, например называемого Т2 на фиг. 8, при этом по оси X однородность увеличивается.
В примере, показанном на фиг. 8, заранее заданный порог Т1 однородности строго больше, чем заранее заданный порог Т2 неоднородности, при этом по оси X однородность увеличивается.. Изображения 10, классифицированные ниже Т2, анализатор 5 классифицирует как разнородные.
В примере способа, показанного на фиг. 2, когда на шаге S1 определено множество моделей 14 и когда на шаге S14 определены по меньшей мере две идентичные области, на шаге S2 определяют, идентифицирована или нет вариация V в определенной одной или более моделей 14.
Как может иметь место в примере, показанном на фиг. 1, в примере на фиг. 2, когда на шаге S2 в определенной одной или более моделей 14 идентифицирована вариация V, способ может включать на шаге S3 классификацию инспектируемого изображения 10 как имеющего степень однородности ниже заранее заданного порога Т1 однородности на фиг. 8. Однако в способе, показанном на фиг. 2, когда на шаге S14 определены по меньшей мере две идентичные области и на шаге S2 идентифицирована вариация V, классификация на шаге S3 дополнительно включает классификацию на шаге S31 изображения 10 как имеющего промежуточную степень однородности выше заранее заданного порога Т2 неоднородности и ниже заранее заданного порога Т1 однородности, при этом вдоль оси X однородность увеличивается. Таким образом, анализатор 5 классифицирует изображение 10, например, как неоднородное (ниже Т1), но не классифицируют его как разнородное (выше Т2).
Когда на шаге S2 в определенной одной или более моделей 14 никакая вариация не идентифицирована, способ, показанный на фиг. 2, может включать на шаге S4 классификацию инспектируемого изображения 10 как имеющего степень однородности выше заранее заданного порога Т1 однородности. Таким образом, анализатор 5 классифицирует изображение 10 как, например, однородное.
В примерах, показанных на фиг. 8 и 9, имеется по меньшей мере три категории изображений 10, то есть:
категория, соответствующая, например, неоднородной загрузке или грузу, например, ниже заранее заданного порога Т2 неоднородности на оси X;
категория, соответствующая однородной загрузке или грузу, например выше заранее заданного порога Т1 однородности на оси X; и
категория, соответствующая квазиоднородной (иногда называемой «почти однородной») загрузке или грузу, например, выше заранее заданного порога Т2 неоднородности и ниже заранее заданного порога Т1 однородности на оси X.
В некоторых примерах изображение 10 может, таким образом, быть классифицировано анализатором 5 в категорию, соответствующую разнородной загрузке, когда значительная часть загрузки в представляющей интерес зоне 12 разнородна, например, когда значительная часть загрузки включает разнородный сыпучий материал или компоненты, отличающиеся друг от друга.
В некоторых примерах изображение 10 может, таким образом, быть классифицировано анализатором 5 в категорию, соответствующую однородной загрузке, например, когда весь груз в представляющей интерес зоне 12 однороден, например, когда загрузка включает только один тип груза, такого как яблоки или бобы, жидкость, заданный материал и т.д.
В некоторых примерах изображение 10 может, таким образом, быть классифицировано анализатором 5 в категорию, соответствующую квазиоднородной загрузке, когда весь груз в зоне 12 почти однороден, но имеется вариация, такая как разрыв в моделях или небольшая область, сильно отличающейся по сравнению с соседними областями, например, контейнер полон яблоками в зоне 12, и среди яблок лежит один шар для боулинга. Категория, соответствующая квазиоднородному грузу, соответствует таким образом промежуточной степени однородности.
Подразумевается, что в примере, показанном на в фиг. 7, заранее заданный порог неоднородности Т2 равен заранее заданному порогу однородности Т1, и есть только две категории: однородная и неоднородная. Кроме того, подразумевается, что может иметься больше трех категорий, соответствующих больше, чем трем степеням однородности, и больше, чем с двумя порогами.
В примере способа, показанном на фиг. 1, способ дополнительно включает на шаге S5 запуск некоторого действия на основе указанной классификации.
В некоторых примерах инспектируемое изображение 10, может быть отображено пользователю на интерфейсе анализатора 5. Указанное действие может быть отображением одного или более инспектируемых изображений, например, отображение изображений 10, классифицированных как разнородные или квазиоднородные. Альтернативно или дополнительно, указанное отображение может отображать только изображения 10, классифицированные как разнородные, или только изображения 10, классифицированные как квазиоднородные.
Альтернативно или дополнительно, указанное действие может не выделять одно или более инспектируемых изображений, например не выделять изображения 10, классифицированные как однородные. Этот вариант выполнения настоящего изобретения может быть предпочтительным в случае, когда пользователь должен инспектировать большое количество инспектируемых изображений, например, десятки или сотни изображений в час, например в случае осмотра прицепов грузовиков или вагонов проходящего поезда, но при этом пользователь не хочет подробно инспектировать данную категорию изображений, таких как изображения, классифицированные как однородные.
Альтернативно или дополнительно, указанное действие может представлять собой выдачу сигнала тревоги пользователю, например выдачу визуального или звукового сигнала тревоги, когда изображения 10 классифицированы как разнородные или квазиоднородные. В некоторых примерах зона неоднородности или разнородности может быть выделена на изображении 10.
Альтернативно или дополнительно, это действие может быть принятием решения о составе части груза в одном или более инспектируемых изображений 10, например, автоматическое определение состава разнородной части в остальном однородного груза.
Альтернативно или дополнительно, указанное действие может быть посылкой одного или более инспектируемых изображений в контроллер 4, например, посылкой изображений 10, классифицированных как разнородные или квазиоднородные, для дальнейшей обработки.
Альтернативно или дополнительно, указанное действие может представлять собой вывод команды в контроллер 4, например на остановку устройства генерации движения, которое заставляет перемещаться соответствующий контейнер 100, или, например, открытие соответствующего контейнера 100 для дальнейшей инспекции пользователем.
Очевидно, что указанное действие может позволить пользователю сосредоточиться только на изображениях 10, которые были, например, классифицированы или ранжированы анализатором 5 как подозрительные изображения.
В некоторых вариантах выполнения настоящего изобретения инспектируемое изображение 10 может быть обработано с получением одного или более обработанных инспектируемых отображений 110 со множеством уровней контраста.
Определение на шаге S1 степени однородности может, таким образом, быть повторено для множества уровней контраста на основе указанной классификации. В некоторых примерах это повторение выполняют для последовательности уровней контраста из множества уровней контраста, пока классификация включает классификацию одного или более инспектируемых изображений, имеющих степень однородности выше заранее заданного порога Т1 однородности или заранее заданного порога Т2 неоднородности. Подразумевается, что этот пример варианта выполнения настоящего изобретения учитывает, что из того, что изображение кажется однородным или квазиоднородным для некоторого уровня контраста, не значит, что оно будет однородным для всех уровней контраста.
В некоторых вариантах выполнения настоящего изобретения указанное повторение останавливают, когда классификация включает классификацию одного или более инспектируемых изображений как имеющих степени однородности ниже заранее заданного порога Т1 однородности или ниже заранее заданного порога Т2 неоднородности.
В примере, показанном на фиг. 3, определение на шаге S1, содержит ли представляющая интерес зона 12 одну или более моделей, включает:
выполнение анализа в по меньшей мере части представляющей интерес зоны; и
определение, включает ли анализируемая часть одну или более моделей.
В примере, показанном на фиг. 3, выбранная ось (0-0) является горизонтальной осью.
В примере, показанном на фиг. 3, выполняемый анализ включает частотный анализ, выполняемый на шаге S11, такой как Фурье-анализ части представляющей интерес зоны 12.
Затем на шаге S12 определяют, можно ли идентифицировать множество периодических моделей 14 вдоль выбранной оси (0-0).
Если на шаге S12 определено, что вдоль выбранной оси (0-0) может быть идентифицировано множество периодических моделей 14, то способ продолжается на шаге S13, где извлечение областей 11 в представляющей интерес зоне 12 включает извлечение каждой области 11 путем создания блока, имеющего вдоль выбранной оси (0-0) размер, соответствующий по существу периоду Т идентифицированных периодических моделей 14.
Как пояснено ниже, этот пример варианта выполнения настоящего изобретения позволяет сравнивать области 11 без возмущающего эффекта от разделения между периодическими моделями 14.
На шаге S14 определение, содержат ли извлеченные области 11 по меньшей мере две идентичные области, включает проверку на соответствие созданных блоков 11.
На шаге S2 определяют, имеется ли различие между блоками 11, с использованием одного или более классификаторов.
В некоторых вариантах выполнения настоящего изобретения классификатор может использовать метод опорных векторов (SVM), или метод k ближайших соседей (k NN).
В некоторых примерах алгоритм SVM может быть основан на алгоритме обучения (машинный алгоритм обучения), в котором используются обучающие базы данных. В некоторых примерах обучающие базы данных могут содержать существующую базу данных SVM с 2 классами (такими как однородный или квазиоднородный). В некоторых примерах база данных может содержать математические атрибуты (например трехмерные векторные атрибуты, но подразумевается, что могут извлекаться и другие признаки), извлеченные из существующих изображений груза (предпочтительно из большого количества изображений груза) путем маркировки вручную, например, как однородный или квазиоднородный, пользователем или оператором системы 1 во время шага инициализации. Например, база данных может быть основана на 42 изображениях, помеченных как «однородные» и 62 изображениях, помеченных как «почти однородные».
Например, в примере на фиг. 3 на шаге S2 математические признаки (например трехмерные векторные признаки) могут быть извлечены из изображения, которое будет классифицировано, и классификатор SVM анализатора 5 определяет, есть ли разница между блоками 11 с использованием двух - «однородной» или «почти однородной» - обучающих баз данных. В некоторых примерах база данных SVM может храниться в сервере 8.
Если на шаге S2 определено, что есть различие между блоками 11, то способ продолжается на шаге S3, где изображение классифицируют как квазиоднородное.
Если на шаге S2 определено, что между блоками 11 нет никакой разности, то способ продолжается на шаге S4, где изображение классифицируют как однородное.
Если на шаге S12 определено, что множество периодических моделей не может быть идентифицировано вдоль отобранной оси (О-О), то способ продолжается на шаге S16, где выполненный анализ включает сегментацию анализируемой части.
В некоторых неограничивающих примерах сегментацию выполняют алгоритмом по водоразделу.
Затем на шаге S17 определяют, содержит ли сегментированная анализируемая часть больше, чем одну область.
Если сегментированная анализируемая часть содержит только одну область, изображение 10 на шаге S4 классифицируют как однородное, поскольку шаг S4 соответствует идентификации единственной непрерывной модели 14, например вдоль выбранной оси (О-О).
Если сегментированная анализируемая часть содержит больше, чем одну область, изображение на шаге S3 классифицируют как разнородное.
В примере, показанном на фиг. 11А, обработка инспектируемых изображений 10, может включать идентификацию груза в инспектируемых изображениях. Идентификация груза предпочтительно может быть выполнена при выборе зоны 12 из полного или усеченного изображения контейнера 100.
В примере, показанном на фиг. 11В, обработка инспектируемых изображений 10 может включать отделение зоны 121, соответствующей грузу, от зоны 122, соответствующей контейнеру 100.
В примере, показанном на в фиг. 11С, обработка инспектируемых изображений 10 может включать отбрасывание части 122 инспектируемого изображения 10. В примере на фиг. 11С указанная обработка может включать, например, отбрасывание части груза, который снизил бы точность анализа. В примере на фиг. 11С указанная обработка может включать, например, отбрасывание последнего столбца с правой стороны, поскольку последний столбец может интерпретироваться как вариация, тогда как там имеет место только различие высоты в штабелях. Альтернативно или дополнительно, указанное отбрасывание может позволить отбросить часть контейнера 100, которая могла бы анализатором 5 неправильно рассматриваться как часть груза.
Альтернативно или дополнительно, указанная обработка может, таким образом, позволить отбросить часть 122 изображения, соответствующую следующему:
охлаждающей части охлаждающего контейнера в стандарте ISO (Международная организация по стандартизации),
части контейнера не в стандарте ISO,
части специфического контейнера (такого, как резервуар);
части шасси, например грузовика или трейлера.
В некоторых вариантах выполнения настоящего изобретения указанную обработку выполняют до шага S1 определения.
Способ и устройство согласно настоящему изобретению могут быть скомбинированы с другими существующими и полезными для пользователя признаками /инструментами системы 1 и/или анализатора 5 и другим существующим автоматическим программным обеспечением, например, для обнаружения подозрительных объектов.
Специалистам очевидны другие вариации и изменения системы или анализатора в контексте настоящего описания, и у различных признаков, описанных выше, могут иметься преимущества как совместно с другими признаками, описанными выше, так и без них.
Например, анализатор 5 может, по меньшей мере частично, являться частью инспектирующей системы 1. Например, сервер 8 и/или контроллер 4 может, по меньшей мере частично, быть частью анализатора 5.
В описанных выше вариантах выполнения настоящего изобретения модели 14 и вариацию V определяют или идентифицируют в изображении. Подразумевается, что в некоторых вариантах выполнения настоящего изобретения модели могли быть идентифицированы во множестве изображений, и что вариация может быть идентифицирована из сравнения множества изображений друг с другом (таких как изображений, соответствующих вагону поезда).
Очевидно, что источник инспектирующего излучения может содержать источники другого излучения, такого как, в качестве неограничивающего примера, источники ионизирующего излучения, например гамма-лучей или нейтронов.
Источник инспектирующего излучения может также содержать источники, которые не рассчитаны на работу от источника питания, например такие радиоактивные источники, как использующие Со60 или Cs137.
Еще одной возможностью является создание компьютерной программы, компьютерного программного продукта или машиночитаемого носителя, содержащего машинные инструкции, заставляющие программируемый компьютер выполнять один или более способов, описанных здесь. При реализации по меньшей мере некоторая часть действий, связанных с анализатором 5 и/или сетью 6 и/или 7 связи, может быть осуществлена в программном обеспечении. Очевидно, что компоненты программного обеспечения согласно настоящему изобретению могут, при желании, быть осуществлены в виде постоянного запоминающего устройства (ROM). Компоненты программного обеспечения могут в общем случае быть осуществлены в технических средствах, при желании с использованием обычных способов.
В некоторых примерах компоненты анализатора 5 и/или сети 6 и/или 7 связи могут использовать специализированные приложения и технические средства.
Как очевидно специалистам в данной области техники, сервер 8 и/или контроллер 4 не следует воспринимать как единый объект, а скорее как физическое и/или виртуальное устройство, содержащее по меньшей мере процессор и память, при этом память может располагаться в одном или большем количеством серверов, которые могут быть расположены в одном месте или могут быть удалены друг от друга с формированием распределенной сети (такой как в группа серверов, например, с использованием проводной или беспроводной технологии).
В некоторых примерах один или более запоминающих элементов (например, база данных и/или память процессора) могут хранить данные, используемые для операций, описанных выше. Это позволяет запоминающему элементу хранить программное обеспечение, логические команды, код или инструкции для процессора, при исполнении которых выполняются действия, описанные в настоящем документе.
Процессор может выполнять инструкции любого типа, ассоциированные с данными, для выполнения операций, подробно описанных в настоящем документе. В одном примере процессор может преобразовать элемент или предмет (например, данные) из одного состояния или объекта в другое состояние или объект. В другом примере действия, описанные здесь, могут быть осуществлены в фиксированных логических или программируемых элементах (например, в виде программного обеспечения/компьютерных команд, выполняемых процессором), и элементы, описанные здесь, могут быть некоторым типом программируемого процессора, программируемой цифровой логики (например, программируемая вентильная матрица (FPGA), стираемая программируемая постоянная память (EPROM), электрически стираемая программируемая постоянная память (EEPROM)), специализированная интегральная схема (ASIC), которая содержит цифровую логику, программное обеспечение, кодовые, электронные инструкции, флэш-память, оптические диски, CD-ROM, DVD ROM, магнитные или оптические карты, другие типы машиночитаемых сред, подходящих для хранения электронных инструкций, или любая подходящая комбинация перечисленного.
Сеть 6 связи и сеть 7 связи могут формировать только одну сеть.
Данные, принятые анализатором 5, могут, как правило, приниматься в диапазоне возможных сетей 6 и/или 7 связи по меньшей мере таких как: спутниковая сеть связи; кабельная сеть связи; телефонная сеть связи; мобильная сеть связи; сеть на основе протокола Интернет(IP); и/или компьютерная сеть связи.
В некоторых примерах сети 6 и/или 7 связи и/или анализатор 5 могут содержать одну или более сетей. Сети могут быть любого типа, включая, но этим не ограничиваясь, локальные сети (LAN), беспроводные локальные сети (WLAN), виртуальные локальные сети (VLAN), городские компьютерные сети (MAN), глобальные сети (WAN), виртуальные частные сети (VPN), Intranet, Extranet, сети любой другой подходящей архитектуры или системы, или любая комбинация перечисленного, которая облегчает связь в сети.
Вышеуказанные варианты выполнения настоящего изобретения следует рассматривать как иллюстративные примеры, и возможны дополнительные варианты выполнения настоящего изобретения. Подразумевается, что любая функция, описанная в рамках любого варианта выполнения настоящего изобретения, может быть использована как одна или в комбинации с другими описанными признаками, и может также использоваться в комбинации с одной или большим количеством признаков для любых других вариантов выполнения настоящего изобретения или любой комбинации любых других вариантов выполнения настоящего изобретения. Кроме того, эквиваленты и модификации, не описанные выше, также могут использоваться без отхода от объема настоящего изобретения, которое определено пунктами формулы изобретения.