СПОСОБ И СИСТЕМА ГЕНЕРИРОВАНИЯ СИГНАТУРЫ ПОВЕРХНОСТИ
METHOD AND SYSTEM FOR SURFACE SIGNATURE GENERATING

Настоящее изобретение относится к общей области генерирования цифровой сигнатуры поверхности материального элемента, например, с целью аутентификации этой поверхности или этого материального элемента.
Цифровая сигнатура поверхности соответствует коду (например, последовательности цифр и букв), генерированному при помощи алгоритма на основании структурных характеристик этой поверхности.
Более конкретно, изобретение относится к коррекции перспективы между изображением поверхности материального элемента и эталонным изображением контрольной поверхности с целью выделения цифровой сигнатуры этого материального элемента.
В настоящее время можно выделить из поверхности цифровую сигнатуру на основании структурных характеристик этой поверхности. Эти структурные характеристики определяют, например, посредством отслеживания на изображении этой поверхности взаимодействия этой поверхности с источником света. Такой способ описан, например, в документе ЕР1716520.
Кроме того, согласно технологии, описанной в документе ЕР2084886В1, предложено объединить мобильную систему, содержащую датчик, например, умный телефон (“Smartphone” на английском языке), содержащий камеру, с оптическим модулем, например, встроенным в корпус телефона.
Эта технология позволяет получить контролируемое изображение поверхности (поверхность расположена на изображении определенным образом) и выделить на основании этого изображения цифровую сигнатуру этой поверхности.
Изображение поверхности получают, располагая комплекс, состоящий из телефона и корпуса, в контакте с этой поверхностью таким образом, чтобы контролировать оптическое расстояние между поверхностью и датчиком камеры.
Во время съемки поверхность освещают при помощи источника света, предпочтительно наклоненного относительно нормали к этой поверхности.
В конечном итоге структурные характеристики получают, отслеживая взаимодействие поверхности с источником света на снятом изображении.
Недостатком этой системы является необходимость использования оптического модуля для контроля расстояния между поверхностью и датчиком, который снимает изображение, чтобы эта поверхность была расположена на изображении заранее определенным образом.
Изобретением предусмотрено решение, лишенное этого недостатка и позволяющее выделить цифровую сигнатуру поверхности на основании изображения этой поверхности, которую располагают и наклоняют любым образом относительно плоскости съемки изображения.
Раскрытие сущности изобретения
Первым объектом изобретения является способ генерирования цифровой сигнатуры поверхности материального элемента, называемой «исследуемой» поверхностью, при этом способ осуществляют при помощи системы обработки данных, при этом для каждой исследуемой поверхности способ содержит:
- этап получения так называемого «смещенного» изображения, по меньшей мере часть которого отображает исследуемую поверхность;
- этап получения интересующих зон на смещенном изображении при помощи метода согласования (на английском языке “Template Matching”) смещенного изображения с так называемыми заранее определенными эквивалентными зонами, при этом эквивалентные зоны включены в эталонное изображение, по меньшей мере часть которого отображает так называемую «контрольную» поверхность;
- этап получения так называемого «скорректированного» изображения путем коррекции смещенного изображения по эталонному изображению, причем эту коррекцию осуществляют путем применения первой гомографии к смещенному изображению, причем эту первую гомографию получают на основании интересующих зон и эквивалентных зон; и
- этап генерирования цифровой сигнатуры на основании скорректированного изображения, причем эта цифровая сигнатура характеризует структуру исследуемой поверхности.
В рамках изобретения поверхность соответствует видимой части (то есть ограниченной зоне) материального элемента (то есть предмета). Этот материальный элемент/предмет может представлять собой, например, изделие, например, предназначенное для продажи, или его упаковку. Он может также соответствовать защищенному документу, например, удостоверению личности, паспорту, банкноте и т.д.
Так называемая «исследуемая» поверхность соответствует поверхности материального элемента/предмета. Она соответствует поверхности, используемой в рамках способа, и, следовательно, поверхности, видимой на смещенном изображении. Она может быть заключена внутри более обширной поверхности материального элемента.
Так называемая «контрольная» поверхность соответствует поверхности заранее определенного материального элемента/предмета. Например, контрольная поверхность соответствует поверхности, из которой выделили цифровую сигнатуру и которая была записана в памяти.
Цифровая сигнатура поверхности соответствует коду (например, последовательности цифр и букв), генерированному при помощи алгоритма на основании структурных характеристик этой поверхности.
Цифровая сигнатура поверхности учитывает (то есть характеризует) структуру этой поверхности. Следовательно, она может характеризовать геометрию поверхности, ее внутреннюю и/или внешнюю морфологию, ее химический и физико-химический состав, ее цвет и даже изменение любой комбинации этих характеристик в зависимости от их пространственного расположения на поверхности.
В дальнейшем выражение «цифровая сигнатура» можно эквивалентно заменить термином «сигнатура».
Цифровую сигнатуру можно квалифицировать как «генерированную» при помощи способа или, альтернативно, как «выделенную» при помощи способа.
В рамках способа сначала получают так называемое «смещенное» изображение исследуемой поверхности. Часть этого изображения может отображать исследуемую поверхность. Альтернативно, все изображение отображает исследуемую поверхность.
Изображение называют смещенным, поскольку предпочтительно его корректируют, чтобы получить возможность генерировать/выделить сигнатуру отображаемой им поверхности.
Смещенное изображение, отображающее поверхность, может, например, соответствовать изображению плоской поверхности, причем эта плоская поверхность заключена в плоскости, наклоненной относительно плоскости съемки изображения. Например, если изображение плоской поверхности получают при помощи датчика, его называют смещенным, если оптическая ось этого датчика образует не равный нулю угол с нормалью к этой поверхности.
После получения смещенного изображения на этом изображении получают одну или несколько интересующих зон. Интересующая зона изображения может соответствовать совокупности близких и даже смежных точек на этом изображении. Например, интересующая зона может включать в себя совокупность точек, образующих отдельный четырехугольник на изображении, или совокупность точек, содержащихся в таком четырехугольнике.
Эти интересующие зоны получают на основании заранее определенных так называемых эквивалентных зон внутри так называемого эталонного изображения, по меньшей мере часть которого отображает так называемую контрольную поверхность.
Каждую интересующую зону получают при помощи метода согласования эквивалентной зоны со смещенным изображением. Согласование соответствует на английском языке “Image Matching” или “Template Matching” и может быть осуществлено различными методами анализа изображений, например, методом наименьших квадратов или методом взаимной корреляции. В целом, согласование эквивалентной зоны со смещенным изображением позволяет определить на смещенном изображении зону, имеющую аналогичные или близкие характеристики эквивалентной зоны. Как правило, интересующая зона и ее эквивалентная зона могут отображать один и тот же предмет или одну и ту же часть предмета на двух изображениях, снятых под разными углами съемки.
На основании интересующих зон смещенного изображения и эквивалентных зон эталонного изображения рассчитывают первую гомографию, позволяющую скорректировать полученное изображение по эталонному изображению.
Эта коррекция соответствует коррекции перспективы между этими двумя изображениями и позволяет путем моделирования поместить исследуемую поверхность в ту же плоскость и в той же ориентации, что и плоскость, в которой находится контрольная поверхность эталонного изображения.
Посредством применения этой первой гомографии к смещенному изображению получают так называемое «скорректированное» изображение исследуемой поверхности, на основании которого можно выделить сигнатуру этой поверхности.
Предпочтительно, на основании изображения, отображающего расположенную любым образом наклонную поверхность, можно генерировать сигнатуру этой поверхности, моделируя ориентацию этой поверхности в соответствующей плоскости.
В частном варианте осуществления этап получения смещенного изображения включает в себя этап съемки так называемого «снятого» изображения, при этом смещенное изображение получают на основании снятого изображения.
Это снятое изображение тоже отображает всю или часть исследуемой поверхности.
В частном варианте осуществления, называемом в дальнейшем первым основным вариантом осуществления, смещенное изображение соответствует снятому изображению, и сигнатуру генерируют на этапе генерирования посредством анализа скорректированного изображения.
Предпочтительно коррекцию смещенного изображения, соответствующего снятому изображению, производят путем обработки изображения (коррекция перспективы путем применения гомографии), и, следовательно, она не требует использования специальной оптической системы, связанной со съемочным модулем, снимающим так называемое «снятое» изображение (первый съемочный модуль в рамках изобретения), чтобы совместить плоскость исследуемой поверхности с необходимой плоскостью с целью выделения из нее сигнатуры. Следовательно, изображение исследуемой поверхности можно получить при помощи первого съемочного модуля, расположенного на любом расстоянии и с любой ориентацией относительно исследуемой поверхности.
В частном варианте осуществления способ содержит предварительный этап определения эквивалентных зона на эталонном изображении.
В частном варианте осуществления, называемом в дальнейшем вторым основным вариантом осуществления, способ содержит предварительный этап съемки так называемого «ориентированного» изображения контрольной поверхности при помощи второго съемочного модуля, расположенного по существу вдоль нормали к контрольной поверхности, при этом эталонное изображение получают путем применения второй заранее определенной гомографии к ориентированному изображению.
В этом варианте осуществления так называемое «ориентированное» изображение снимают при помощи второго съемочного модуля, оптическую ось которого располагают вдоль нормали к контрольной поверхности.
Как правило, на производственной линии съемку по существу вдоль нормали к поверхностям изделий или упаковок изделий применяют многократно.
После этого ориентированное изображение преобразуют, чтобы моделировать съемку контрольной поверхности в условиях, отличных от съемки ориентированного изображения, например, под другим углом, с другой ориентацией и/или на другом расстоянии.
Это преобразование соответствует применению второй гомографии к ориентированному изображению. Таком образом, получают эталонное изображение, по которому будет скорректировано смещенное изображение.
Предпочтительно, применение этой второй гомографии позволяет получить эталонное изображение, на котором контрольная поверхность имеет наклон и положение, близкие к наклону и положению исследуемой поверхности на смещенном изображении.
Этот этап позволяет оптимизировать этап коррекции смещенного изображения по эталонному изображению, например, позволяет получить лучшую оценку первой гомографии или позволяет избежать получения ошибочной оценки этой гомографии.
Например, ориентированное изображение контрольной поверхности, снятое на производственной линии, можно преобразовать таким образом, чтобы моделировать съемку изображения этой контрольной поверхности при помощи мобильной системы, такой как телефон или планшет. Так, если смещенное изображение тоже снято при помощи этой мобильной системы, то есть в условиях ориентации и положения исследуемой поверхности, аналогичных или близких к условиям ориентации и положения эталонного изображения, полученного после преобразования, можно улучшить исправление или коррекцию перспективы между этим смещенным изображением и этим эталонным изображением.
В частной версии второго общего варианта осуществления (в котором эталонное изображение получают путем применения второй гомографии к ориентированному изображению) этап генерирования цифровой сигнатуры включает в себя этап получения так называемого «преобразованного» изображения посредством преобразования скорректированного изображения путем применения к нему обратной версии второй гомографии, и сигнатуру генерируют на этапе генерирования посредством анализа преобразованного изображения.
В этом варианте осуществления эталонное изображение получают путем применения второй гомографии к ориентированному изображению, затем смещенное изображение корректируют по эталонному изображению, чтобы получить скорректированное изображение. Наконец, к скорректированному изображению применяют обратную версию второй гомографии, чтобы получить преобразованное изображение. Таким образом, преобразованное изображение согласуют с ориентированным изображением.
Таким образом, сигнатуру исследуемой поверхности выделяют на основании преобразованного изображения в условиях положения и ориентации этой поверхности, аналогичным условиям, в которых контрольную поверхность расположена на ориентированном изображении.
В этом варианте осуществления коррекцию смещенного изображения (коррекцию перспективы) осуществляют до применения обратной версии второй гомографии для согласования скорректированного изображения с ориентированным изображением.
Альтернативно и в рамках этого же второго основного варианта осуществления, скорректированное изображение получают путем применения гомографии, обратной относительно второй гомографии, к снятому изображению, и сигнатуру генерируют на этапе генерирования посредством анализа скорректированного изображения.
В этом варианте осуществления вторую гомографию применяют также к ориентированному изображению, что позволяет получить эталонное изображение, но сначала к снятому изображению применяют обратную версию этой второй гомографии, чтобы получить смещенное изображение, которое затем корректируют по эталонному изображению, чтобы получить скорректированное изображение.
Таким образом, в данном случае сигнатуру исследуемой поверхности выделяют на основании скорректированного изображения, но тоже в условиях положения и ориентации этой поверхности, аналогичным условиям, в которых контрольная поверхность расположена на ориентированном изображении.
В этом варианте осуществления обратную версию второй гомографии применяют к снятому изображению до коррекции этого изображения (коррекции перспективы) по эталонному изображению.
В частном варианте осуществления для каждой исследуемой поверхности способ содержит этап аутентификации исследуемой поверхности, причем эту аутентификацию производят путем сравнения генерированной сигнатуры с аутентичной цифровой сигнатурой, при этом аутентичная сигнатура характеризуют структуру контрольной поверхности.
Эта аутентификация может соответствовать методу, описанному в документе ЕР1747540В1 или в документе ЕР1971960В1.
Сравнивая генерированную сигнатуру с аутентичной сигнатурой, можно определить, имеют ли исследуемая поверхность и контрольная поверхность одинаковые структурные характеристики.
Таким образом, можно, например, оценить, получено ли конкретное изделие, содержащее исследуемую поверхность, на производственной линии, на которой предварительно была выделена аутентичная сигнатура одной или нескольких поверхностей, содержащихся в одном или нескольких изделиях.
В частном варианте осуществления способ содержит:
- в первом основном варианте осуществления - предварительный этап генерирования аутентичной сигнатуры на основании эталонного изображения, называемый генерированием первого типа; или
- во втором основном варианте осуществления - предварительный этап генерирования аутентичной сигнатуры на основании ориентированного изображения, называемый генерированием второго типа.
В случае первого основного варианта осуществления сигнатуру исследуемой поверхности генерируют на основании скорректированного изображения и сравнивают с сигнатурами контрольных поверхностей, выделенными на основании записанных в памяти изображений изделий.
В случае второго основного варианта осуществления сигнатуру исследуемой поверхности генерируют на основании преобразованного изображения или скорректированного изображения, если смещенное изображение получено путем применения обратной версии второй гомографии к снятому изображению, и сравнивают с сигнатурами контрольных поверхностей, выделенными на основании записанных в памяти ориентированных изображений изделий.
В этих обоих случаях сигнатуры выделяют из изображений, отображающих поверхности, расположенные в одной плоскости и с одной ориентацией, что гарантирует достоверность этапа аутентификации.
В частном варианте осуществления этап генерирования аутентичной сигнатуры включает в себя:
- этап съемки контрольной поверхности при помощи третьего съемочного модуля; и
- этап освещения по меньшей мере во время этапа съемки контрольной поверхности при помощи первого источника света,
причем этот этап съемки соответствует:
- съемке эталонного изображения, если осуществляют генерирование первого типа; или
- съемке ориентированного изображения, если осуществляют генерирование второго типа.
Если генерирование является генерированием второго типа, то третий съемочный модуль соответствует второму съемочному модулю.
Если освещения недостаточно с точки зрения освещаемой площади для исследуемой поверхности, предусмотрено увеличение реальной площади исследуемой поверхности и/или интересующей зоны с осуществлением нескольких этапов получения так называемых «смещенных» изображений. При этом различные этапы получения смещенных изображений осуществляют с перемещением (например, поступательным) съемочного модуля и источника света таким образом, чтобы воспроизвести исследуемую поверхность и/или интересующую зону с большей площадью.
В частном варианте осуществления оптическую ось третьего модуля ориентируют по существу вдоль нормали к контрольной поверхности и контрольную поверхность освещают первым источником с углом освещения относительно контрольной поверхности, который соответствует касательному падению.
В частном варианте осуществления этот угол освещения предпочтительно составляет от 16° до 45°.
В частном варианте осуществления способ содержит этап освещения исследуемой поверхности по меньшей мере во время этапа съемки, осуществляемого первым модулем, при помощи второго источника света, и этап генерирования сигнатуры включает в себя этап получения структурной характеристики исследуемой поверхности посредством отслеживания взаимодействия исследуемой поверхности с вторым источником света, причем это отслеживание взаимодействия осуществляют:
- посредством анализа скорректированного изображения, если производят генерирование первого типа; или
- посредством анализа преобразованного изображения, полученного на основании скорректированного изображения, если производят генерирование второго типа.
В частном варианте осуществления способ содержит предварительный этап генерирования аутентичной сигнатуры, называемый генерированием третьего типа, причем этот этап генерирования третьего типа включает в себя:
- этап съемки эталонного изображения при помощи съемочного модуля;
- этап освещения во время этапа съемки контрольной поверхности источником света, при этом оптическая ось модуля и источник имеют по существу одинаковую ориентацию относительно контрольной поверхности S_REF, например, одинаковый угол наклона β; и
- этап анализа так называемого «переориентированного» изображения, причем это переориентированное изображение получают путем применения гомографии, компенсирующей ориентацию съемочного модуля и источника света, например, первый поворот на угол -β, на эталонное изображение;
в котором смещенное изображение соответствует снятому изображению,
при этом способ содержит этап освещения, по меньшей мере во время этапа съемки, осуществляемого первым модулем, исследуемой поверхности источником света, и в котором этап генерирования сигнатуры включает в себя этап получения структурной характеристики исследуемой поверхности посредством отслеживания взаимодействия исследуемой поверхности с источником света, при этом оптическая ось модуля и источник имеют по существу одинаковую ориентацию относительно указанной исследуемой поверхности S_1, например, одинаковый угол наклона β,
при этом отслеживание взаимодействия осуществляют посредством анализа изображения, называемого «плоско выравненным» изображением, причем это плоско выравненное изображение получают путем применения голографии, компенсирующей ориентацию съемочного модуля и источника света, например, первый поворот на угол -β, к скорректированному изображению.
В этом варианте осуществления изображение контрольной поверхности получают при помощи съемочного модуля и источника света, ориентированных, например, под углом β относительно контрольной поверхности. При этом получают эталонное изображение.
Затем, согласно этому примеру, осуществляют поворот эталонного изображения на угол -β, чтобы получить переориентированное изображение, которое выглядит как снятое при помощи съемочного модуля, расположенного под 90° к контрольной поверхности.
Затем на основании этого переориентированного изображения выделяют сигнатуру контрольной поверхности. Эту сигнатуру называют аутентичной сигнатурой.
После этого получают изображение исследуемой поверхности при помощи съемочного модуля и источника света, ориентированных под углом, по существу равным β, относительно исследуемой поверхности. При этом получают снятое изображение.
Это снятое изображение соответствует смещенному изображению, и его затем корректируют по эталонному изображению, чтобы получить скорректированное изображение.
После этого осуществляют поворот скорректированного изображения на угол -β, чтобы получить плоско выравненное изображение, которое выглядит как снятое при помощи съемочного модуля, расположенного под 90° к исследуемой поверхности.
Наконец, на основании этого плоско выравненного изображения выделяют цифровую сигнатуру контрольной поверхности.
В частном варианте осуществления для съемки по меньшей мере двух изображений при помощи первого модуля для каждого из этих снятых изображений второй источник располагают в таком же относительном положении и с такой же относительной ориентацией по отношению к первому модулю.
В этом варианте осуществления способ можно применять многократно для разных исследуемых поверхностей при помощи одной мобильной системы, содержащей первый съемочный модуль и второй источник света, положения и ориентации которых являются на этой системе фиксированными.
Например, способ можно применять с телефоном или планшетом, содержащим, например, камеру, выполняющую функцию первого съемочного модуля, и лампу-вспышку, выполняющую функцию второго источника света.
В этом варианте осуществления облегчена повторяемость способа с одной и той же мобильной системой.
В частном варианте осуществления способ содержит этап считывания защищенных данных, причем эти защищенные данные подвергаются в цифровом виде цифровой обработке, обратной относительно обработки, использованной для их защиты, при этом для обработки применяют генерированную сигнатуру.
В этом варианте осуществления генерированная сигнатура необходима для обеспечения считывания защищенных данных, и, следовательно, ее используют как ключ защиты этих данных, как описано в документе ЕР1716520В1.
В частном варианте осуществления защищенные данные содержатся в визуальном коде, расположенном на исследуемой поверхности или на изделии или упаковке, содержащих исследуемую поверхность.
В частном варианте осуществления визуальный код соответствует одномерному или двухмерному штрих-коду.
Таким образом, эти защищенные данные могут содержаться в одномерном или двухмерном штрих-коде, считываемом датчиком, и использование генерированной сигнатуры для считывания этих данных гарантирует их защиту.
В частном варианте осуществления способ содержит этап определения так называемых зон «поиска» на смещенном изображении, причем эти зоны поиска включают в себя интересующие зоны, и метод согласования осуществляют на основании этих зон поиска.
Эти зоны поиска можно, например, рассматривать как:
- зоны, расположенные на смещенном изображении в положениях, близких к положениям эквивалентных зон на эталонном изображении; и
- зоны, имеющие больший размер на смещенном изображении, чем интересующие зоны.
Эти зоны поиска соответствуют зонам, в которых при помощи метода согласования будут локализованы интересующие зоны. Они позволяют определить конкретный периметр на смещенном изображении, в котором могут с большей вероятностью оказаться интересующие зоны, чтобы более эффективно осуществлять метод согласования.
В частном варианте осуществления метод согласования позволяет получить на основании зоны поиска первую оценку параметров аффинного приложения, преобразующего заранее определенные точки интересующей зоны в соответствующие заранее определенные точки эквивалентной зоны.
Этот метод согласования осуществляют для каждой интересующей зоны, определенной на смещенном изображении.
Эти параметры, характерные для каждой пары интересующая зона/ эквивалентная зона, позволят в дальнейшем оценить параметры первой гомографии, позволяющей преобразовать смещенное изображение в эталонное изображение.
В частном варианте осуществления первую оценку получают, используя метод наименьших квадратов между координатами точек эквивалентной зоны и координатами точек зоны поиска, включающей в себя интересующую зону.
В альтернативном варианте первую оценку получают, используя метод взаимной корреляции между координатами точек эквивалентной зоны и координатами точек зоны поиска.
Эти два метода соответствуют методам, широко известным под названием “Template Matching”, и могут быть заменены другими аналогичными методами.
В частном варианте осуществления метод согласования содержит этап получения второй оценки параметров, причем эту вторую оценку получают путем оптимизации первой оценки при помощи итеративного алгоритма, предназначенного для максимизации первого улучшенного коэффициента корреляции между эквивалентной зоной и зоной поиска.
Эта оптимизация соответствует методу, описанному в документе “Parametric Image Alignment Using Enhanced Correlation Coefficient Maximization” (Georgios D. Evangelidis and Emmanouil Z. Psarakis), опубликованном в октябре 2006 года в журнале “IEEE Transactions on pattern analysis and machine intelligence”, Vol. 30, NO. 10.
Она позволяет получить более точную оценку гомографии, позволяющей скорректировать смещенное изображение по эталонному изображению. В частности, она позволяет корректировать возможные последствия дисторсии изображения, возникающей во время коррекции.
В частном варианте осуществления контрольная поверхность представляет собой поверхность, наклон и положение которой относительно плоскости съемки указанного эталонного изображения известны.
В частном варианте осуществления получение первой гомографии включает в себя использование алгоритма, называемого “RANSAC” (Random Sample Consensus). Этот алгоритм описан, например, в документе “M.A. Fischler and R.C. Bolles, Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography. Communications of the ACM, 24(6), 381-395, 1981”.
Этот алгоритм позволяет исключить ошибочные точки из совокупности точек, используемой в рамках способа для оценки параметров этой первой гомографии.
Таким образом, получают лучшую оценку параметров первой гомографии.
В частном варианте осуществления получение первой гомографии включает в себя использование итеративного алгоритма оптимизации, предназначенного для оптимизации второго улучшенного коэффициента корреляции между смещенным изображением и эталонным изображением.
Этот алгоритм, использующий второй улучшенный коэффициент корреляции аналогичен алгоритму, использующему описанный выше первый коэффициент корреляции, но его применяют только в рамках коррекции смещенного изображения по эталонному изображению, а не во время согласования интересующей зоны с эквивалентной зоной.
Он позволяет получить лучшую оценку параметров первой гомографии.
В частном варианте осуществления первую гомографию получают на основании координат пар точек, при этом каждая пара включает в себя одну точку, содержащуюся в эквивалентной зоне, и другую точку, содержащуюся в интересующей зоне, определенной при помощи метода согласования этой эквивалентной зоны со смещенным изображением.
В частном варианте осуществления эти точки содержат центры интересующих зон и эквивалентных зон.
Таким образом, в этом варианте осуществления определение первой гомографии осуществляют на основании совокупности пар точек, при этом каждая пара содержит центр интересующей зоны и центр эквивалентной зоны, определенной посредством согласования этой интересующей зоны с эталонным изображением.
Например, возможным методом для определения этой гомографии может быть метод, применяемый в части 4.2 документа “Image Registration For Perspective Deformation Recovery” (Geaorge Wolberg et Siavash Zokai).
В частном варианте осуществления интересующие зоны определяют вокруг и/или относительно одного или нескольких графических элементов, присутствующих на исследуемой поверхности, причем этот графический элемент или эти графические элементы присутствуют также на контрольной поверхности.
Присутствие графических элементов облегчает, с одной стороны, определение интересующих зон, например, с использованием метода распознавания этих символов для определения этих зон, и, с другой стороны, облегчает осуществление этапа коррекции смещенного изображения по эталонному изображению. Действительно, чтобы применить метод согласования или метод “Image Matching”, предпочтительно в качестве входных данных используют изображения с резкими изменениями (например, порядка десятка пикселей) цветов и/или яркости.
Предпочтительно, эти графические элементы проявляются контрастно на исследуемой поверхности и на контрольной поверхности, что еще больше облегчает осуществление метода согласования.
В частном варианте осуществления цифровую сигнатуру генерируют на основании структурных характеристик исследуемой поверхности, причем эта исследуемая поверхность принадлежит к материальному элементу, выбранному полностью или частично среди волокнистого материала, пластика, металла, кожи, дерева, композиционного материала, стекла или минерала, в частности, с кристаллической структурой.
В частном варианте осуществления заявленный способ содержит предварительный этап определения эквивалентных зон на эталонном изображении.
В частном варианте осуществления исследуемая поверхность содержит символ, при этом этап съемки снятого изображения запускается автоматически в зависимости от определения ориентации указанного первого съемочного модуля относительно исследуемой поверхности, при этом указанное определение осуществляют на основании изображения указанного символа.
Предпочтительно способ содержит этап выведения на экран терминала, содержащего указанный первый съемочный модуль, изображения поля съемки указанного первого модуля, на которое накладывается виртуальный символ, при этом этап съемки снятого изображения запускается автоматически в зависимости от относительного положения изображения указанного символа в указанном поле съемки и от положения указанного виртуального символа.
Предпочтительно, этап съемки снятого изображения запускается автоматически, когда изображение указанного символа в указанном поле съемки совпадает с указанным виртуальным символом.
Предпочтительно, в этом варианте осуществления наложение друг на друга этих двух символов требует определенным образом ориентировать второй или третий съемочный модуль, то есть ориентация этого съемочного модуля является контролируемой.
Например, этот символ можно выбрать таким образом, чтобы оптическую ось съемочного модуля необходимо было ориентировать под углом 45° или 90° по отношению к исследуемой поверхности.
Вторым объектом изобретения является система генерирования цифровой сигнатуры исследуемой поверхности, причем эта система содержит:
- модуль получения, позволяющий получать для каждой исследуемой поверхности так называемое «смещенное» изображение, по меньшей мере часть которого отображает поверхность;
- модуль получения, позволяющий получать для каждой исследуемой поверхности интересующие зоны на смещенном изображении при помощи метода согласования (на английском языке “Template Matching”) указанного смещенного изображения (IM_1) по меньшей мере с одной так называемой заранее определенной эквивалентной зоной (ZEQ_1, ZEQ_2, ZEQ_3, ZEQ_4), при этом указанная по меньшей мере одна эквивалентная зона включена по меньшей мере в одно эталонное изображение (IM_M), по меньшей мере часть которого отображает контрольную поверхность (S_REF);
- модуль коррекции, позволяющий корректировать для каждой исследуемой поверхности смещенное изображение по указанному по меньшей мере одному эталонному изображению, причем эту коррекцию осуществляют путем применения первой гомографии к смещенному изображению, причем эту первую гомографию получают на основании интересующих зон и эквивалентных зон; и
- модуль генерирования, позволяющий генерировать для каждой исследуемой поверхности цифровую сигнатуру на основании скорректированного изображения, при этом цифровая сигнатура характеризует структуру исследуемой поверхности.
В частном варианте выполнения система содержит:
- первый модуль, содержащий первую камеру и первый источник света, образующий угол освещения относительно контрольной поверхности, соответствующий касательному падению, причем этот угол освещения предпочтительно составляет от 16° до 45°, еще предпочтительнее от 16° до 25° и еще предпочтительнее - от 16° до 20°; и/или
- второй модуль, содержащий терминал связи, вторую камеру и второй источник света.
В частном варианте выполнения терминал связи является мобильным телефоном или планшетом, вторая камера является камерой этого мобильного телефона или этого планшета, и второй источник света является лампой-вспышкой этого мобильного телефона или этого планшета.
Третьим объектом изобретения является второй способ генерирования цифровой сигнатуры исследуемой поверхности, причем этот способ содержит для каждой исследуемой поверхности:
- этап получения совокупности смещенных изображений, при этом по меньшей мере часть каждого из изображений отображает исследуемую поверхность;
- для каждого смещенного изображения:
- этап получения интересующих зон на этом изображении при помощи метода согласования (на английском языке “Template Matching”) этого изображения с так называемыми заранее определенными эквивалентными зонами, причем эти эквивалентные зоны включены в эталонное изображение, по меньшей мере часть которого отображает контрольную поверхность;
- этап получения скорректированного изображения путем коррекции смещенного изображения по эталонному изображению, причем эту коррекцию осуществляют путем применения гомографии к смещенному изображению, причем эту гомографию получают на основании интересующих зон и эквивалентных зон;
- этап объединения полученных скорректированных изображений в так называемое «комбинированное» изображение; и
- этап генерирования цифровой сигнатуры на основании скорректированного изображения, причем эта цифровая сигнатура характеризует структуру исследуемой поверхности.
В частном варианте осуществления различные этапы способа генерирования цифровой сигнатуры исследуемой поверхности определены командами компьютерных программ.
Следовательно, объектом изобретения является также компьютерная программа на носителе информации, причем эту программу может исполнять компьютер, причем эта программа содержит команды, разработанные для осуществления вышеупомянутого способа генерирования цифровой сигнатуры исследуемой поверхности.
Эта программа может использовать любой язык программирования и может быть в виде исходного кода, объектного кода или промежуточного кода между исходным кодом и объектным кодом, в частично компилированном виде или в любом другом необходимом виде.
Объектом изобретения является также носитель информации, считываемый компьютером и содержащий команды вышеупомянутой компьютерной программы.
Носитель информации может быть любым устройством или системой, выполненной с возможностью хранения программы. Например, носитель может содержать средство хранения, такое как ROM, например, CD ROM или ROM микроэлектронной схемы, или магнитное средство записи, например, жесткий диск.
С другой стороны, носитель информации может быть передаваемым носителем, таким как электрический или оптический сигнал, который может доставляться через электрический или оптический кабель, по радио или при помощи других средств. В частности, заявленную программу можно загружать дистанционно через сеть типа Интернет.
В альтернативном варианте носитель информации может быть интегральной схемой, в которую включена программа, при этом схема выполнена с возможностью своего исполнения или применения при исполнении рассматриваемого способа.
Краткое описание чертежей
Другие отличительные признаки и преимущества изобретения будут более очевидны из нижеследующего описания, представленного со ссылками на прилагаемые чертежи, на которых:
Фиг. 1 - система генерирования цифровой сигнатуры исследуемой поверхности в соответствии с изобретением.
Фиг. 2 - терминал, включенный в систему генерирования цифровой сигнатуры исследуемой поверхности в соответствии с изобретением.
Фиг. 3 и 4 - системы генерирования цифровой сигнатуры исследуемой поверхности в соответствии с изобретением.
Фиг. 5-14 - этапы способа генерирования цифровой сигнатуры исследуемой поверхности согласно первому основному варианту осуществления изобретения.
Фиг. 15 - пример так называемого «смещенного» изображения контрольной поверхности в соответствии с изобретением.
Фиг. 16 - пример так называемого «скорректированного» изображения контрольной поверхности в соответствии с изобретением.
Фиг. 17 - схема различных преобразований, применяемых к изображениям, используемым в первом общем варианте осуществления изобретения.
Фиг. 18 и 19 - этапы способа генерирования цифровой сигнатуры исследуемой поверхности согласно второму основному варианту осуществления изобретения.
Фиг. 20 и 21 - схемы, представляющие две версии различных преобразований, применяемых к изображениям, используемым во втором основном варианте осуществления изобретения.
Фиг. 22-24 - системы генерирования цифровой сигнатуры исследуемой поверхности в соответствии с изобретением.
Фиг. 25 - терминал, включенный в систему генерирования цифровой сигнатуры исследуемой поверхности в соответствии с изобретением.
Фиг. 26 - этапы способа генерирования цифровой сигнатуры исследуемой поверхности согласно четвертому варианту осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
На фиг. 1, фиг. 3 и фиг. 4 показана система SYS генерирования цифровой сигнатуры исследуемой поверхности S_1, при этом система SYS выполнена в соответствии с изобретением.
В этом варианте выполнения система SYS может содержать два терминала Т1 и Т2, осуществляющие этапы способа генерирования цифровой сигнатуры исследуемой поверхности в соответствии с изобретением, описанные со ссылками на фиг. 5-14, 18 и 19.
В этом варианте выполнения, как показано на фиг. 1, терминал Т1 расположен вдоль или вблизи производственной линии изготовления так называемого «конформного» изделия, например, изделия, предназначенного для продажи.
Как показано на фиг. 3 и 4, терминал Т1 может представлять собой мобильный терминал, например, смартфон, телефон или планшет.
Этот терминал Т1 содержит первый источник света LUM_1, позволяющий освещать видимую контрольную поверхность S_REF конформного изделия или упаковки этого изделия. Эта контрольная поверхность S_REF может быть образована материальным элементом, выбранным полностью или частично среди волокнистого материала, пластика, металла, кожи, дерева, композиционного материала, стекла или минерала, в частности, с кристаллической структурой.
Этот первый источник LUM_1 может представлять собой белый свет и/или лампу-вспышку (например, телефона или планшета). Эта лампа-вспышка показана на фиг. 4.
Как показано на фиг. 1, угол освещения контрольной поверхности S_REF этим первым источником света LUM_1 обозначен α.
В частном варианте осуществления этот угол освещения α соответствует касательному падению и предпочтительно составляет от 16° до 45°, еще предпочтительнее составляет от 16° до 25° и еще предпочтительнее составляет от 16° до 20°.
В варианте терминал Т1 не содержит источника света. В этом случае контрольную поверхность S_REF можно осветить источником света, внешним по отношению к терминалу Т1 и даже внешним по отношению к системе SYS.
Терминал Т1 содержит также съемочный модуль, называемый в дальнейшем «третьим съемочным модулем САМ_3» и позволяющий снять изображение, по меньшей мере часть которого отображает контрольную поверхность S_REF.
Съемку этого изображения производят, когда поверхность S_REF освещена первым источником LUM_1 или любым другим источником света.
Этот третий съемочный модуль САМ_3 может представлять собой камеру, фотоаппарат или любой датчик.
В частном варианте осуществления, как показано на фиг. 1, третий съемочный модуль САМ_3 располагают по существу вдоль нормали к контрольной поверхности S_REF.
В частном варианте осуществления, как показано на фиг. 3, третий съемочный модуль САМ_3 находится в одном и том же относительном положении и имеет одну и ту же относительную ориентацию по отношению к первому источнику света LUM_1
Как правило, этот вариант осуществления соответствует случаю, когда терминал Т1 представляет собой телефон или планшет, содержащий лампу-вспышку и фотоаппарат, как показано на фиг. 4.
Терминал Т1 может также содержать не показанный модуль, позволяющий выделить на основании изображения, снятого третьим съемочным модулем САМ_3 (и отображающего контрольную поверхность S_REF), так называемую «аутентичную» сигнатуру, характеризующую структуру контрольной поверхности S_REF.
В частном варианте осуществления этот модуль позволяет получить одну или несколько структурных характеристик контрольной поверхности S_REF посредством отслеживания взаимодействия этой контрольной поверхности S_REF с первым источником света LUM_1.
Эта контрольная поверхность S_REF может быть образована материальным элементом, выбранным полностью или частично среди волокнистого материала, пластика, металла, кожи, дерева, композиционного материала, стекла или минерала, в частности, с кристаллической структурой.
Выделение этой аутентичной сигнатуры детально показано на фиг. 5-14, 18 и 19.
Аутентичная сигнатура этой контрольной поверхности S_REF позволяет в более общем плане характеризовать конформное изделие или упаковку этого конформного изделия, частью которой является эта поверхность S_REF.
В альтернативном варианте, этот модуль, включенный в систему SYS, отделен от терминала Т1.
Система SYS содержит также второй терминал Т2, который может отличаться от первого терминала Т1, как показано на фиг. 1-4.
Этот терминал Т2 может представлять собой мобильную систему, например, смартфон, телефон, планшет.
Этот второй терминал Т2 содержит первый съемочный модуль САМ_1, который можно использовать для получения изображения так называемой «исследуемой» поверхности S_1, причем эта поверхность S_1 принадлежит к изделию, называемому «изделием-кандидатом», или к упаковке этого изделия-кандидата.
Как и контрольная поверхность S_REF, эта исследуемая поверхность S_1 может быть образована материальным элементом, выбранным полностью или частично среди волокнистого материала, пластика, металла, кожи, дерева, композиционного материала, стекла или минерала, в частности, с кристаллической структурой.
Первый съемочный модуль САМ_1 может представлять собой камеру, фотоаппарат или любой датчик и показан на фиг. 2 и 4.
Второй терминал Т2 может также содержать второй источник света LUM_2, показанный на фиг. 2 и 4.
Этот второй источник LUM_2 может представлять собой белый свет и/или лампу-вспышку (например, телефона или планшета).
Терминал Т2 может также содержать экран, как показано на фиг. 25, причем этот экран позволяет вывести изображение поля съемки первого съемочного модуля САМ_1, на которое накладывают виртуальный символ SYM_V, который соответствует, например, контуру символа.
В частном варианте осуществления терминал Т2 содержит также не показанный модуль, позволяющий выделить на основании изображения, снятого первым съемочным модулем САМ_1 (отображающего исследуемую поверхность S_1), так называемую «генерированную» сигнатуру, характеризующую структуру исследуемой поверхности S_1.
В частном варианте осуществления этот модуль позволяет получить одну или несколько структурных характеристик исследуемой поверхности S_1F посредством отслеживания взаимодействия этой исследуемой поверхности S_1 с вторым источником света LUM_2.
Генерирование этой сигнатуры детально описано со ссылками на фиг. 5-14, 18 и 19.
Генерированная сигнатура этой исследуемой поверхности S_1 позволяет в более общем плане характеризовать изделие-кандидат или упаковку этого изделия-кандидата, частью которой является эта поверхность S_1.
В альтернативном варианте этот модуль, включенный в систему SYS, отделен от терминала Т2.
В частном варианте осуществления генерированную сигнатуру исследуемой поверхности S_1 изделия-кандидата сравнивают с аутентичной сигнатурой контрольной поверхности S_REF конформного изделия во время этапа аутентификации.
Это сравнение может, например, производить модуль, включенный в терминал Т1, модуль, включенный в терминал Т2, или внешний модуль, отделенный от этих двух терминалов.
В этом последнем случае внешний модуль может, например, содержать подмодуль связи, позволяющий ему сообщаться с терминалами Т1 и Т2, чтобы получать генерированную сигнатуру и аутентичную сигнатуру.
Благодаря этому сравнению, можно, например, определить, что изделие-кандидат было изготовлено на конкретной производственной линии, если генерированная сигнатура исследуемой поверхности S_1 изделия-кандидата по существу идентична аутентичной сигнатуре контрольной поверхности S_REF конформного изделия.
В частном варианте выполнения система SYS содержит только терминал Т2.
Первый основной вариант осуществления
На фиг. 5 представлены основные этапы способа генерирования цифровой сигнатуры исследуемой поверхности S_1, причем этот способ соответствует первому основному варианту осуществления изобретения.
Этот способ содержит четыре этапа Е30, Е50, Е70 и Е90 и может быть осуществлен системой, показанной на фиг. 1, 3, 4, 22-24.
Во время этапа Е30 при помощи модуля MOD_OBT1 системы SYS, показанной на фиг. 22, получают так называемое «смещенное» изображение IM_1.
Этот модуль MOD_OBT1 может быть включен в терминал Т2 системы SYS, как показано на фиг. 23.
В частном варианте осуществления часть этого смещенного изображения IM_1 отображает исследуемую поверхность S_1. В варианте все смещенное изображение IM_1 отображает исследуемую поверхность S_1.
Это изображение IM_1 показано на фиг. 15.
В частном варианте осуществления, как показано на фиг. 6, этап Е30 получения смещенного изображения IM_1 включает в себя этап Е20 съемки так называемого «снятого» изображения IM_0 при помощи первого съемочного модуля САМ_1, показанного на фиг. 1-4.
В этом случае модуль получения MOD_OBT1 содержит первый съемочный модуль САМ_1, как показано на фиг. 23.
В этом первом основном варианте осуществления снятое изображение IM_0 соответствует смещенному изображению IM_1 (которое в дальнейшем будет называться «смещенным изображением IM_1»).
Как было указано выше, терминал Т2 может содержать экран, показанный на фиг.25, позволяющий вывести изображение поля съемки первого съемочного модуля САМ_1, на которое накладывают виртуальный символ SYM_V.
В этом случае поверхность S_1 может содержать символ SYMB, и этап Е20 получения снятого изображения IM_0 запускается автоматически, когда изображение IM_SYMB указанного символа SYMB в поле съемки совпадает с виртуальным символом SYMB_V.
В частном варианте осуществления, как показано на фиг. 7, этап Е30 включает в себя также этап Е15 освещения исследуемой поверхности S_1 вторым источником света LUM_2, причем это освещение производят по меньшей мере во время этапа Е20 съемки.
В этом случае модуль получения MOD_OBT1 содержит второй источник LUM_2, как показано на фиг. 23.
В частном варианте осуществления, как показано на фиг. 8, способ содержит этап Е35 определения эквивалентных зон ZEQ_1, ZEQ_2, ZEQ_3, ZEQ_4 на эталонном изображении IM_М, по меньшей мере часть которого отображает контрольную поверхность S_REF.
За этим этапом следует этап Е50 получения интересующих зон ZI_1, ZI_2, ZI_3 и ZI_4 на этом смещенном изображении IM_1, которые показаны на фиг. 15.
Эти интересующие зоны получают при помощи метода согласования (на английском языке “Template Matching”) смещенного изображения IM_1 с заранее определенными так называемыми эквивалентными зонами ZEQ_1, ZEQ_2, ZEQ_3, ZEQ_4, причем эти эквивалентные зоны включены в эталонное изображение IM_М.
Этот этап Е50 можно осуществить при помощи модуля MOD_DEF системы SYS, показанной на фиг. 22. Этот модуль MOD_DEF может быть включен в терминал Т2, показанный на фиг. 23. В варианте этот этап может осуществлять модуль, внешний по отношению к терминалу Т2.
В частном варианте осуществления эти интересующие зоны ZI_1, ZI_2, ZI_3 и ZI_4 располагают вокруг и/или относительно одного или нескольких графических элементов TAG_1, TAG_2, TAG_3 и TAG_4, присутствующих на исследуемой поверхности S_1, например, показанных на фиг. 15.
Предпочтительно этот графический элемент или эти графические элементы TAG_1, TAG_2, TAG_3 и TAG_4 являются контрастными по отношению к фоновому цвету исследуемой поверхности S_1.
Предпочтительно эти графические элементы TAG_1, TAG_2, TAG_3 и TAG_4 имеют разные формы.
В частном варианте осуществления этапу Е50 предшествует этап определения так называемых зон «поиска» на смещенном изображении IM_1 (не показаны), причем эти зоны поиска содержат интересующие зоны ZI_1, ZI_2, ZI_3, ZI_4, и на основании этих зон поиска осуществляют метод согласования.
Эти зоны поиска определяют, например, как:
- зоны, расположенные на смещенном изображении IM_1 в положениях, близким к положениям интересующих зон ZI_1, ZI_2, ZI_3 и ZI_4, и
- зоны, имеющие больший размер на смещенном изображении IM_1, чем интересующие зоны ZI_1, ZI_2, ZI_3 и ZI_4.
Таким образом, зоны поиска соответствуют зонам, в которых интересующие зоны ZI_1, ZI_2, ZI_3 и ZI_4 будут локализованы при помощи метода согласования. Они позволяют определить конкретный периметр на смещенном изображении IM_1, в котором с наибольшей вероятностью могут оказаться интересующие зоны ZI_1, ZI_2, ZI_3 и ZI_4, чтобы более эффективно осуществить метод согласования.
За этапом Е50 следует этап Е70 получения так называемого «скорректированного» изображения IM_2 посредством коррекции смещенного изображения IM_1 по так называемому «эталонному» изображению IM_М.
Этот этап коррекции Е70 может быть осуществлен модулем MOD_RECAL системы SYS, показанной на фиг. 22.
Он может быть также включен в терминал Т2, как показано на фиг. 23. В варианте этот модуль MOD_RECAL может быть внешним по отношению к терминалу Т2.
В частном варианте осуществления часть этого эталонного изображения IM_М отображает контрольную поверхность S_REF. В варианте контрольную поверхность S_REF отображает все эталонное изображение IM_М.
Это эталонное изображение IM_М может быть изображением, показанным на фиг.16.
В этом первом основном варианте осуществления, представленном со ссылками на фиг. 9, эталонное изображение IM_М соответствует изображению поверхности S_REF, снятому третьим съемочным модулем САМ_3 во время этапа F200.
В предпочтительном варианте осуществления оптическая ось этого третьего съемочного модуля САМ_3 ориентирована по существу вдоль нормали к контрольной поверхности S_REF.
Этот вариант осуществления соответствует, например, возможной съемке контрольной поверхности S_REF изделия или упаковки этого изделия вдоль производственной линии изготовления этого изделия.
В частном варианте осуществления, представленном на той же фиг. 9, во время этапа F400 поверхность S_REF освещают при помощи источника света LUM_1 по меньшей мере во время этапа съемки F200 под углом α освещения относительно контрольной поверхности S_REF.
В частном варианте осуществления этот угол α соответствует касательному падению.
В частном варианте осуществления этот угол α предпочтительно составляет от 16° до 45°, предпочтительнее составляет от 16° до 25°, и еще предпочтительнее составляет от 16° до 20°.
В частном варианте осуществления контрольная поверхность S_REF содержит графические элементы TAG_1, TAG_2, TAG_3 и TAG_4, показанные на фиг. 16.
Коррекция смещенного изображения IM_1 по эталонному изображению IM_М соответствует коррекции перспективы между этими двумя изображениями и позволяет моделировать помещение исследуемой поверхности S_1 смещенного изображения IM_1 в ту же плоскость и с той же ориентацией, что и плоскость, в которой находится контрольная поверхность S_REF эталонного изображения IM_М.
Эту коррекцию или это получение скорректированного изображения IM_2 производят, применяя первую гомографию Н1 к смещенному изображению IM_1.
Первую гомографию Н1 получают на основании интересующих зон ZI_1, ZI_2, ZI_3 и ZI_4, содержащихся в смещенном изображении IM_1, и эквивалентных зон ZEQ_1, ZEQ_2, ZEQ_3 и ZEQ_4 эталонного изображения IM_М, показанного на фиг. 16.
В частном варианте осуществления метод согласования позволяет получить на основании зоны поиска первую оценку параметров аффинного приложения Т, преобразующего заранее определенные точки интересующей зоны ZI_1 в соответствующие заранее определенные точки эквивалентной зоны ZEQ_1.
Эту оценку можно, например, получить, применив метод наименьших квадратов или метод взаимной корреляции между координатами точек эквивалентной зоны ZI_1 и координатами точек зоны поиска.
Метод взаимной корреляции можно определить как метод, преследующий цель максимизации для нескольких точек (х,у), содержащихся в зоне поиска эталонной модели IM_М, нормированного коэффициента взаимной корреляции, определяемого следующим образом:
Avec  ;
;
где:
I - зона поиска на смещенном изображении IM_1 ;
T - интересующая зона ZI_1 на эталонном изображении IM_M ; и
w и h - размеры T.
Эту оценку можно также получить при помощи других известных методов “Image Matching” или “Image Template”.
В частном варианте осуществления, представленном со ссылками на фиг. 10, метод согласования включает в себя этап Е75 получения второй оценки параметров аффинного приложения, причем эту вторую оценку получают посредством оптимизации первой оценки с использованием итеративного алгоритма, предназначенного для максимизации первого улучшенного коэффициента корреляции между эквивалентной зоной ZEQ_1 и зоной поиска, содержащей интересующую зону ZI_1.
Этот первый улучшенный коэффициент корреляции (“enhanced correlation coefficient” на английском языке) можно определить так же, как и в разделе 3.1 ранее упомянутого документа “Parametric Image Alignment Using Enhanced Correlation Coefficient Maximization”.
После оценки параметров каждого из аффинных приложений, преобразующих каждую интересующую зону ZI_1 в эквивалентную зону ZEQ_1, получают совокупность пар точек, при этом каждая пара содержит одну точку, содержащуюся в эквивалентной зоне ZEQ_1, и другую точку, содержащуюся в интересующей зоне ZI_1, определенной при помощи метода согласования эквивалентной зоны ZI_1 с наклонным изображением IM_1.
В частном варианте осуществления эти пары точек содержат центры или соответствуют центрам интересующих зон ZI_1, ZI_2, ZI_3 и ZI_4 и центрам эквивалентных зон ZI_1, ZI_2, ZI_3 и ZI_4.
На основании этих пар точек можно оценить параметры первой гомографии Н1, преобразующей смещенное изображение IM_1 в скорректированное изображение IM_2.
Например, эти параметры можно оценить при помощи метода, описанного в части 4.2 документе “Image Registration For Perspective Deformation Recovery” (Geaorge Wolberg et Siavash Zokai).
В частном варианте осуществления получение первой гомографии Н1 включает в себя использование алгоритма, называемого “RANSAC” (RAndom SAmple Consensus).
Этот алгоритм позволяет исключить ошибочные точки из совокупности точек или пар точек, используемой для оценки параметров этой первой гомографии Н1.
В частном варианте осуществления получение первой гомографии Н1 включает в себя также использование итеративного алгоритма оптимизации, предназначенного для максимизации второго улучшенного коэффициента корреляции между смещенным изображением IM_1 и эталонным изображением IM_М.
Этот алгоритм, использующий этот второй коэффициент корреляции, аналогичен алгоритмe, использующему описанный выше первый коэффициент корреляции, но в данном случае его применяют в рамках коррекции смещенного изображения по эталонному изображению, а не во время согласования эквивалентной зоны ZI_1 с эталонным изображением IM_М.
За этапом Е70 получения скорректированного изображения IM_2 следует этап Е90 генерирования цифровой сигнатуры на основании этого скорректированного изображения IM_2, при этом цифровая сигнатура характеризует структуру исследуемой поверхности S_1.
Этот этап генерирования Е90 осуществляют при помощи модуля MOD_GEN, включенного в терминал Т2, как показано на фиг. 14, или внешнего по отношению к терминалу Т2.
В частном варианте осуществления и согласно фиг. 11, этап Е90 генерирования цифровой сигнатуры включает в себя этап Е95 получения структурной характеристики исследуемой поверхности S_1 посредством отслеживания взаимодействия исследуемой поверхности S_1 с вторым источником света LUM_2.
В этом первом основном варианте осуществления отслеживание взаимодействия осуществляют посредством анализа скорректированного изображения IM_2.
В частном варианте осуществления и согласно фиг. 12 за этапом Е90 генерирования генерированной сигнатуры следует этап Е120 аутентификации исследуемой поверхности S_1 посредством сравнения генерированной сигнатуры с аутентичной цифровой сигнатурой, причем эта аутентичная сигнатура характеризует структуру контрольной поверхности S_REF.
В этом первом основном варианте осуществления эту аутентичную сигнатуру генерируют во время этапа Е5 на основании эталонного изображения IM_М, как показано на фиг. 13.
В частности, генерирование этой аутентичной сигнатуры включает в себя получение структурной характеристики контрольной поверхности S_REF посредством отслеживания взаимодействия контрольной поверхности S_REF с первым источником света LUM_1.
В частном варианте осуществления и согласно фиг. 14, способ содержит также этап Е130 считывания защищенных данных, например, данных, содержащихся в не показанном визуальном коде, расположенном на исследуемой поверхности или на изделии или упаковке, содержащей исследуемую поверхность.
Во время считывания этих защищенных данных их можно подвергать в цифровом виде цифровой обработке, обратной к обработке, использованной для их защиты, причем для этой обработки используют генерированную сигнатуру. Например, эти защищенные данные могут содержаться в одномерном или двухмерном штрих-коде.
На фиг. 17 представлены основные этапы первого основного варианта осуществления: получают смещенное изображение IM_1 исследуемой поверхности S_1, соответствующее изображению IM_0, снятому съемочным модулем САМ_3. Затем изображение IM_1 корректируют по эталонному изображению IM_М, отображающему контрольную поверхность S_REF, чтобы получить скорректированное изображение IM_2. После этого из этого скорректированного изображения выделяют цифровую сигнатуру. В данном случае двойной стрелкой показана связь между двумя изображениями, отображающими одинаково ориентированные и одинаково расположенные поверхности.
Второй основной вариант осуществления
На фиг. 18 и 19 представлены способы генерирования цифровой сигнатуры исследуемой поверхности S_1, причем эти способы соответствуют второму основному варианту осуществления изобретения.
Эта два способа повторяют четыре основных этапа Е30, Е50, Е70 и Е90 первого основного варианта осуществления и тоже могут быть осуществлены системой, показанной на фиг. 1, 3, 4 и 22-24.
Они повторяют также факультативные этапы Е15, Е60, Е75, Е95, Е120 и Е130 первого основного варианта осуществления.
Как и в первом основном варианте осуществления, этап Е30 получения смещенного изображения IM_1 включает в себя этап Е20 съемки так называемого «снятого» изображения IM_0 первым съемочным модулем САМ_1, показанным на фиг. 1-4.
Однако в этом втором основном варианте осуществления эталонное изображение IM_М получают путем применения второй гомографии Н2 к так называемому «ориентированному» изображению IM_M’, отображающему контрольную поверхность S_REF.
Как показано на фиг. 13, это ориентированное изображение IM_M’ генерируют во время этапа Е5’.
Как показано не фиг. 9, это ориентированное изображение IM_M’ снимают во время этапа F200 при помощи второго съемочного модуля САМ_2, расположенного по существу вдоль нормали к контрольной поверхности S_REF. Этап освещения F400, аналогичный первому варианту осуществления, осуществляют по меньшей мере во время этапа F200 съемки.
Предпочтительно вторую гомографию Н2 выбирают таким образом, чтобы преобразовать ориентированное изображение IM_M’ в изображение контрольной поверхности S_REF, моделированное как снятое в особых условиях, например, при помощи телефона или планшета.
Кроме того, это преобразование позволяет «переместить» контрольную поверхность S_REF на эталонном изображении IM_M в положение и с ориентацией, как можно более близкими к положению и ориентации снятого изображения IM_0.
Согласно первой версии этого второго варианта осуществления и как показано на фиг. 18, смещенное изображение IM_1 соответствует снятому изображению IM_0.
После этого во время этапа Е50 получают интересующие зоны на смещенном изображении IM_1, затем смещенное изображение IM_1 преобразуют в ходе этапа Е70 в скорректированное изображение IM_2 на основании эти интересующих зон.
Различные этапы, позволяющие скорректировать изображение IM_1, осуществляют аналогично первому основному варианту осуществления.
После получения скорректированного изображения IM_2 к нему во время этапа Е80 применяют обратную версию второй гомографии Н2, называемую Н2’, чтобы скорректировать его по ориентированному изображению IM_M’. Таким образом, получают так называемое «преобразованное» изображение IM_2’.
Во время этапа Е90 на основании преобразованного изображения IM_2’ генерируют цифровую сигнатуру поверхности S_1.
Согласно второй версии второго варианта осуществления и как показано на фиг. 19, сначала получают смещенное изображение IM_1 путем применения гомографии Н2’ к снятому изображению IM_0, затем его корректируют относительно ориентированного изображения IM_M’.
В этой версии сначала к снятому изображению IM_0 применяют гомографию Н2’, чтобы получить изображение, которое затем корректируют по эталонному изображению IM_М, в отличие от предыдущей версии, в которой сначала корректируют снятое изображение IM_0 = IM_1, чтобы получить изображение, которое затем корректируют относительно ориентированного изображения IM_M’.
Затем в ходе этапа Е90 на основании скорректированного изображения IM_2 генерируют цифровую сигнатуру исследуемой поверхности S_1.
На фиг. 20 представлена первая версия этого второго варианта осуществления: получают смещенное изображение IM_1 исследуемой поверхности S_1, соответствующее изображению IM_0, снятому съемочным модулем САМ_3. Затем изображение IM_1 корректируют относительно эталонного изображения IM_М, отображающего контрольную поверхность S_REF, чтобы получить скорректированное изображение IM_2, при этом эталонное изображение IM_M получают после преобразования ориентированного изображения IM_M’ посредством применения к нему гомографии Н2. Затем к скорректированному изображению IM_2 применяют обратную версию гомографии Н2, называемую Н2’, чтобы получить преобразованное изображение IM_2’, из которого выделяют сигнатуру.
На фиг. 21 представлена вторая версия этого второго варианта осуществления: получают смещенное изображение IM_1 исследуемой поверхности S_1 путем применения гомографии Н2’ к изображению IM_0, снятому съемочным модулем САМ_3. Затем изображение IM_1 корректируют относительно ориентированного изображения IM_М’, отображающего контрольную поверхность S_REF, чтобы получить скорректированное изображение IM_2, при этом эталонное изображение IM_M получают после преобразования ориентированного изображения IM_M’ посредством применения к нему гомографии Н2. После этого выделяют сигнатуру посредством анализа скорректированного изображения IM_2.
Третий вариант осуществления
Способ согласно третьему варианту осуществления повторяет четыре основных этапа Е30, Е50, Е70 и Е90 первого и второго основных вариантов осуществления.
Как и в первом и втором основных вариантах осуществления, этап Е30 получения смещенного изображения IM_1 включает в себя этап Е20 съемки так называемого «снятого» изображения IM_0 при помощи съемочного модуля.
В этом третьем основном варианте осуществления снятое изображение IM_0 соответствует смещенному изображению IM_1 (которое в дальнейшем будет называться «смещенным изображением IM_1»).
Во время этапа Е50 на смещенном изображении IM_1 получают интересующие зоны, затем смещенное изображение IM_1 преобразуют в ходе этапа Е70 в скорректированное изображение IM_2 на основании этих интересующих зон.
Различные этапы, позволяющие скорректировать изображение IM_1, осуществляют аналогично первому основному варианту осуществления: получают скорректированное изображение IM_2 путем применения первой гомографии Н1 к смещенному изображению IM_1 при помощи описанного ранее метода согласования заранее определенных точек интересующих зон смещенного изображения IM_1 относительно заранее определенных точек эталонной модели IM_М.
Однако этот третий вариант осуществления отличается от двух первых расположением съемочных модулей, обеспечивающих съемку эталонного изображения и смещенного изображения, расположением источников света, а также выделением сигнатур.
В этом варианте осуществления эталонное изображение IM_М контрольной поверхности S_REF снимают при помощи съемочного модуля и источника света, имеющих одинаковую ориентацию относительно контрольной поверхности S_REF, например, одинаковый угол наклона β, отличный от 90°, относительно контрольной поверхности. Этот наклон съемочного модуля и источника света позволяет избежать образования светового ореола.
Таким образом, этот третий вариант является предпочтительным для зеркальных или блестящих поверхностей, на которых освещение под углом 90° формирует ореол света, который уменьшает контраст и мешает выделению сигнатуры.
Затем осуществляют гомографию, чтобы компенсировать ориентацию съемочного модуля и источника света, с целью получения переориентированного изображения, которое выглядит как снятое съемочным модулем, расположенным под 90° к контрольной поверхности S_REF. Эта гомография содержит, например, поворот на угол -β эталонного изображения IM_М, возможно в комбинации с первой гомографией Н1, описанной выше для других вариантов осуществления.
Затем на основании этого переориентированного изображения выделяют аутентичную сигнатуру контрольной поверхности S_REF.
Кроме того, смещенное изображение исследуемой поверхности снимают при помощи съемочного модуля и источника света, ориентированных под углом β’ относительно исследуемой поверхности S_1, при этом углы β и β’ предпочтительно могут быть подобными.
Этот угол β’ обеспечивают, например, совмещая символы SYMB_V и SYMB, уже описанные выше со ссылками на фиг. 25, или при помощи любого другого средства, позволяющего гарантировать ориентацию съемочного модуля относительно исследуемой поверхности в момент съемки. Этот механизм, предназначенный для обеспечения ориентации съемочного модуля, можно использовать в других вариантах осуществления изобретения. Как было указано выше, смещенное изображение корректируют по эталонному изображению, чтобы получить скорректированное изображение.
Затем применяют гомографию, чтобы компенсировать ориентацию съемочного модуля и источника света с целью получения плоско выравненного изображения, которое выглядит как снятое съемочным модулем, расположенным под 90° к исследуемой поверхности. Эта гомография содержит, например, поворот на угол -β’ скорректированного изображения, возможно, в комбинации с первой гомографией Н1, описанной выше для других вариантов осуществления.
Наконец, на этапе Е90 на основании плоско выравненного изображения генерируют цифровую сигнатуру поверхности S_1.
Четвертый вариант осуществления
Изобретением предложен четвертый вариант осуществления, описание которого следует ниже со ссылками на фиг. 26. Этапы Е20, Е50, Е70 и Е90 этого четвертого варианта осуществления идентичны этапам второй версии второго варианта осуществления, и для них будут использованы те же обозначения.
Можно напомнить, что во второй версии второго варианта осуществления к снятому изображению применяют гомографию Н2, идеально определенную при помощи эталонного изображения IM_М и «ориентированного» изображения IM_M’. В этом смысле эту гомографию Н2 можно квалифицировать как «статическую», поскольку она все время остается одинаковой при любом снятом изображении IM_0. Отличие четвертого варианта осуществления относительно второй версии второго варианта осуществления состоит в замене фиксированной или статической гомографии Н2 на гомографию Н3, динамически вычисленную после этапа съемки Е20 в зависимости от снятого изображения IM_0 относительно ориентированного изображения IM_M’.
Так, в этом четвертом варианте осуществления путем применения гомографии Н3 к снятому изображению IM_0 получают смещенное изображение IM_1. Затем изображение IM_1 корректируют относительно ориентированного изображения IM_M’, отображающего контрольную поверхность S_REF. После этого выделяют сигнатуру посредством анализа скорректированного изображения IM_2.
В этом четвертом варианте осуществления главным достоинством динамического вычисления Н3 является облегчение позиционирования съемочного модуля, делающее его ориентацию более «толерантной», например, более толерантной к наклону его оптической оси, что позволяет ускорить начало съемки и облегчает опыт пользователя.
Чтобы это пояснить, сначала необходимо уточнить, что гомографию Н3 называют «динамической», так как ее рассчитывают в зависимости от снятого изображения IM_0, и она не зависит от особой ориентации, тогда как гомографию Н2 (или Н2’) рассчитывают на основании эталонного изображения IM_М и ориентированного изображения IM_M’, моделирующего особую ориентацию, наиболее близкую к ориентации снятого изображения IM_0. Таким образом, Н2 является так называемой «фиксированной» гомографией.
Предпочтительно использование «динамической» гомографии Н3 вместо ««фиксированной» гомографии, такой как Н2 (см. вторую версию 2-го варианта осуществления), позволяет динамически скорректировать изображение во время съемки и отказаться от необходимости ориентации эталонного изображения IM_M’ для получения снятого изображения IM_0, близкой к ориентации эталонного изображения IM_M, чтобы правильно корректировать изображение, как это происходит в других вариантах осуществления.
На фиг. 22 показана система SYS генерирования по меньшей мере одной цифровой сигнатуры по меньшей мере одной исследуемой поверхности, применяющая любой из двух основных вариантов осуществления изобретения.
Эта система SYS содержит модуль получения MOD_OBT1, позволяющий получить для каждой исследуемой поверхности S_1 так называемое «смещенное» изображение IM_1, по меньшей мере часть которого отображает исследуемую поверхность S_1.
Система SYS содержит также модуль определения MOD_OBT2, позволяющий получить для каждой исследуемой поверхности S_1 интересующие зоны на смещенном изображении.
Эти интересующие зоны получают при помощи метода согласования смещенного изображения с заранее определенными так называемыми эквивалентными зонами ZEQ_1, ZEQ_2, ZEQ_3, ZEQ_4, причем эти эквивалентные зоны включены в эталонное изображение IM_M, по меньшей мере часть которого отображает контрольную поверхность S_REF.
Система SYS содержит также модуль коррекции MOD_RECAL, позволяющий корректировать для каждой исследуемой поверхности S_1 смещенное изображение IM_1 по эталонному изображению IM_M, причем эту коррекцию осуществляют путем применения первой гомографии Н1 к смещенному изображению IM_1, при этом гомографию Н1 получают на основании интересующих зон ZI_1, ZI_2, ZI_3, ZI_4 и эквивалентных зон ZEQ_1, ZEQ_2, ZEQ_3, ZEQ_4.
Система SYS содержит также модуль генерирования MOD_GEN, позволяющий генерировать для каждой исследуемой поверхности цифровую сигнатуру на основании скорректированного изображения IM_2, причем эта цифровая сигнатура характеризует структуру исследуемой поверхности S_1.
Наконец, система SYS содержит носитель записи SUP, на котором записана программа PG, содержащая команды, позволяющие осуществлять способ.
В частном варианте выполнения и согласно фиг. 23 система SYS содержит:
- первый модуль Т1, содержащий первую камеру САМ_2 и первый световой источник LUM_1, образующие угол освещения относительно контрольной поверхности S_REF, соответствующий касательному падению, при этом угол освещения предпочтительно составляет от 16° до 45°, еще предпочтительнее составляет от 16° до 25° и еще предпочтительнее составляет от 16° до 20°; и
- второй модуль, содержащий терминал связи Т2, вторую камеру САМ_1 и второй световой источник LUM_2.
В описанном варианте выполнения система SYS имеет материальную архитектуру компьютера, схематично показанную на фиг. 24.
Так, система SYS содержит процессор 10, энергонезависимую перезаписываемую память 11, постоянную память типа ROM (от “Read-only memory” на английском языке) 13 и модуль СОМ связи.
Постоянная память 12 системы SYS представляет собой носитель записи в соответствии с изобретением, который может быть считан процессором 10 и на котором записана компьютерная программа в соответствии с изобретением, содержащая команды для осуществления этапов способа генерирования цифровой сигнатуры исследуемой поверхности в соответствии с изобретением, этапы которого описаны подробно со ссылками на фиг. 5-14, 18 и 19.