Способ детектирования голографических элементов в видеопотоке
METHOD OF DETECTING HOLOGRAPHIC ELEMENTS IN VIDEO STREAM

Область техники
Настоящее изобретение относится к области вычислительной техники и может быть использовано для автоматического обнаружения и распознавания голограмм в видеопотоке, состоящем из ряда изображений в цветовом пространстве RGB.
Уровень техники
Известны способы распознавания и поиска изображений (см., например, патент RU 2266565, опубликован 20.12.2005).
Известный метод обладает рядом существенных недостатков, а именно данный метод потенциально неустойчив к бликам.
Раскрытие изобретения
Целью настоящего изобретения является создание надежного и точного способа детектирования (определения) голограмм, присутствующих в документах, выделенных при анализе изображений видеопотока.
Технический результат заключается в повышении точности определения голографических элементов, содержащихся в документе, который представляет собой изображение видеопотока, а именно обеспечивается устойчивость к шумам и ошибкам нахождения углов.
Указанный технический результат достигается тем, что способ определения голограмм в видеопотоке, содержащем изображения в виде документов, заключается в том, что осуществляют обработку видеопотока, при которой выполняют стабилизацию документа, далее осуществляют построение карт насыщенности и цветового тона, после чего проводят анализ цветовых характеристик в областях изображения, далее осуществляют построение гистограмм цветовых характеристик, с учетом полученных данных осуществляют оценку изменения цветовых характеристик путем вычисления разницы между гистограммами на текущем и предыдущем кадрах, с учетом оценки изменения цветовых характеристик осуществляют построение интегральной карты оценок присутствия голограмм путем объединения вычисленных оценок для всех кадров видеопотока, далее осуществляют нахождение итоговых областей голографических элементов с учетом карты оценок присутствия голограмм.
В одном из вариантов выполнения заявленного изобретения стабилизация документа осуществляется путем приведения каждого кадра видеопотока к единой системе координат документа, для чего определяют границы документа, после чего производят проективное исправление изображения к фиксированному размеру, имеющее соответствующее документу отношение сторон.
В другом из вариантов выполнения заявленного изобретения построение гистограмм цветовых характеристик в областях изображения производят путем анализа окна вокруг позиции пикселя при анализе учитывают координаты региона изображения и площадь.
В другом из вариантов выполнения заявленного изобретения для оценки изменения цветовых характеристик вычисляют разницу между гистограммами на текущем и предыдущем кадрах.
В другом из вариантов выполнения заявленного изобретения вычисленные для отдельных кадров оценки объединяют для всех кадров видеопотока для получения интегральной карты оценок присутствия голограмм.
В другом из вариантов выполнения заявленного изобретения для нахождения итоговых областей голографических элементов производят гамма-коррекцию интегральной карты оценок для усиления областей максимумов, а затем проводят ее бинаризацию для получения бинарной карты присутствия голограмм, причем определение непосредственной области нахождения голографического элемента осуществляют с помощью нахождения компонент связности на бинарной карте, и для найденной компоненты связности с наибольшей площадью строится окаймляющий прямоугольник.
Осуществление изобретения
1
к
Рассматривается метод поиска голограмм в видеопотоке V, состоящем из K изображений I…, I в цветовом пространстве RGB. Каждое изображение видеопотока предположительно содержит документ, который, в свою очередь, может содержать один или несколько голографических элементов с фиксированным положением на документе.
Предложенный метод за счет использования окон вместо одиночных пикселей более устойчив к шумам и ошибкам нахождения углов.
Основной идеей метода поиска голографических элементов является анализ изменчивости цветовых характеристик областей изображения документа в видеопотоке. Особое внимание уделяется устойчивости метода к световым отражениям (бликам), приводящим к зашкаливанию или забеливанию регионов изображения, тем самым также изменяя его цветовые характеристики.
Сначала происходит обработка видеопотока, а затем выдается область (области), в которой наблюдалось наиболее сильное проявление голограмм в видеопотоке.
Этап стабилизации документа
Каждый кадр видеопотока должен быть приведен к единой системе координат документа для последующей обработки. Для этого используют метод нахождения границ (углов) документа, после чего производят проективное исправление изображения к фиксированному размеру N×М, имеющий соответствующее документу отношение сторон.
В экспериментах использовались алгоритмы, основанные на сопоставлении особых точек изображения и шаблона. Помимо самих углов документа и требуемого проективного преобразования, данный класс алгоритмов способен возвращать псевдовероятностную оценку confidence уверенности в выданном результате. С целью повышения точности итогового метода к последующей обработке принимаются кадры с результатом нахождения границ, имеющим confidence не ниже экспериментально выбранного порога. В противном случае, кадр отвергается.
Этап построения карт насыщенности и цветового тона
Анализ цветовых характеристик в областях изображения производится после построения карт насыщенности (saturation) и цветового тона (hue), вычисляемых независимо по каждому пикселю (R, G, B) исходного изображения. Предполагается, что R, G, B ∈ [0,255].
Для эффективного вычисления насыщенности S используется формула:
S=S(R, G, B)=max(R, G, B) - min(R, G, B).
Пусть M=max(R, G, В). Тогда показатель цветового тона Н вычисляется следующим образом:
Н=H(R, G, В)=255⋅H'(R, G, В) (mod 256).
С целью повышения производительности используется свойство инвариантности цветового тона при прибавлении к R, G, В компонентам одинаковой величины d:
H(R, G,B)=H(R+d, G+d ,B+d).
2
Таким образом, имеется только 4⋅256 различных выходных значений H(R, G, В), что позволяет построить предвычисленную таблицу значений цветового тона.
Для устойчивого наблюдения изменчивости цветовых характеристик в областях изображения вместо сравнения отдельных пикселей в координатной системе документа производится анализ окна вокруг позиции пикселя, что повышает устойчивость метода к шумам камеры и ошибкам нахождения границ документа.
k
x,y
2
Построим вокруг каждого пикселя на позиции (x, y) кадра видеопотока I окно W с крылом w, получая регион изображения от (x-w, y-w) до (x+w, y+w) и площадью (2⋅w+1).
x,y
х,у
Сопоставим каждому окну W взвешенную гистограмму С цветовых характеристик, в которой интервалами (бинами) являются значения цветового тона, разбиение происходит на U интервалов:
x,y
Рассмотрим пиксель (x, y), принадлежащий окну W с компонентами (R, G, B). Его индекс u интервала в гистограмме определяется как
x,y
При попадании блика на регион изображения гистограмма может подвергнуться нежелательным искажениям. Особенностью воздействия блика на области изображения является понижение значений насыщенности в области. По этой причине положим вес пикселя (R, G, В) на позиции (x, y)∈W при учете его в гистограмме в интервале u равным его насыщенности:
Поскольку цветовой тон является угловой величиной (в данном случае - по модулю 256), желательно выбрать B, делящее 256, чтобы каждому интервалу гистограммы принадлежало равное количество исходных значений без дополнительной обработки краевых случаев.
2
Стоит отметить, что вычисление всех оконных гистограмм наивным способом за O(N⋅M⋅W) крайне неэффективно, поэтому важна реализация за O(N⋅M⋅W) с помощью скользящего перемещения окна и пересчета гистограммы только на границах.
Оценка изменения цветовых характеристик
k-1
k
k-1
k
Рассмотрим два соседних кадра I и I и их гистограммы оконных цветовых характеристик С и С. Оценка присутствия голограмм в фиксированном окне с центром (х, y) проводится независимо от других окон на основании гистограмм  и .
Для оценки изменения цветовых характеристик требуется вычислить разницу между гистограммами на текущем и предыдущем кадрах, например среднеквадратичное отклонение. Однако для его вычисления требуется, с одной стороны, нормировка гистограмм к одинаковой сумме весов, а с другой стороны - учет весов для избежания ложноположительных оценок в областях бликов.
Обозначим за  сумму весов в оконной гистограмме:
Допустим, что  иначе - поменяем их местами. Корректная оценка изменчивости цветовых характеристик должна быть небольшой при маленькой сумме насыщенностей одной из гистограмм, что свидетельствует о наличии блика. Произведем нормировку к гистограмме, имеющей меньший суммарный вес:
k
x,y
k
k-1
Итоговой оценкой P присутствия голограммы в окне (x, y) для кадра I (на основании его разницы с кадром I) является среднеквадратичное отклонение нормированных указанным образом гистограмм:
Построение интегральной карты оценок присутствия голограмм
k
k
k
Вычисленные для отдельных кадров оценки необходимо объединить для всех кадров видеопотока для получения интегральной карты оценок присутствия голограмм Q. Будем поддерживать интегральную карту Q для кадров 1…k, для пересчета которой соответствующие оценки P берутся с весом, равным уверенности с метода нахождения границ документа на соответствующем кадре:
K
Сумму показателей уверенности на предыдущих кадрах также требуется поддерживать для пересчета за O(1). В результате обработки всех K кадров видеопотока имеем интегральную карту оценок Q=Q.
Нахождение итоговых областей голографических элементов
Произведем гамма-коррекцию интегральной карты оценок Q для усиления областей максимумов, а затем проведем ее бинаризацию методом Оцу для получения бинарной карты присутствия голограмм Q*.
Определение непосредственной области нахождения голографического элемента осуществляется с помощью нахождения компонент связности на бинарной карте Q*. Для найденной компоненты связности с наибольшей площадью (одной или нескольких) строится окаймляющий прямоугольник, который является итоговым возвращаемым алгоритма в системе координат документа.
Восстановление окаймляющих четырехугольников найденных голограмм для исходных кадров видеопотока может быть реализовано с помощью обратных проективных преобразований найденного финального прямоугольника как при переходе от системы координат документа к исходному кадру, так и между кадрами.