СПОСОБ ЛОКАЛИЗАЦИИ ДОРОЖНЫХ ЗНАКОВ И РАСПОЗНАВАНИЯ ИХ ГРУПП И ПОДГРУПП
METHOD FOR LOCALISATION OF ROAD SIGNS AND RECOGNITION OF THEIR GROUPS AND SUBGROUPS

Изобретение относится к области цифровой обработки изображений и может найти применение в системах активной безопасности автомобилей для выработки дополнительных сигналов предупреждения водителю.
Известны методы локализации знаков на изображениях, описанные в работах:
Shneier, М. Road sign detection and recognition [Text] / M.Shneier // Proc. IEEE Computer Society Int. Conf. on Computer Vision and Pattern Recognition. - 2005. - P.215-222.
Torresen, J.A Camera Based Speed Limit Sign Recognition System [Text] / J.Torresen, J.W.Bakke, Y.Yang // 13th ITS World Congress and Exhibition. - 2006. - P.115-129.
Saturino Maldonado-Bascon, Sergio Lafuente-Arroyo, Pedro Gil-Jimenez Hi-lario Gomez-Moreno and Francisco Lopez-Ferrers. Road-Sign Detection and Recognition Based on Support Vector Machines // IEEE Transaction on Inteligent Transportation System, vol.8, No.2, June 2007.
Ren, F. General traffic sign recognition by feature matching [Text] / F.Ren, J.Huang, R.Jiang, R.Klette // IEEE 24th Int. Conf. Image and Vision Computing. - 2009. - Issue: Ivcnz. - P.409-414.,
в которых для определения области знака анализируются цветовые компоненты. Подход к детектированию знаков на основе цветовой фильтрации не требователен к вычислительным ресурсам, однако известные методы не всегда могут отличить (например, красный) знак от других объектов такого же цвета, а также не различают типы знаков с окантовкой одинакового цвета (предупреждающие и запрещающие), что приводит к существенному увеличению вычислительных затрат на последующих этапах и, в конечном итоге, к снижению качества распознавания, т.к. текущее изображение приходится сравнивать с большим числом эталонов знаков в базе данных.
Ближайшим прототипом изобретения является «Устройство, метод и компьютерная программа для определения дорожных знаков на изображении» (патент № US 2010/0067805, МПК G06K 9/46, опубликовано 18.03.2010), в котором реализуют эапы детектирования, отслеживания, нормализации и распознавания. Для установления факта наличия знака на каждом текущем изображении (видеокадре) определяют размеры фрагментов эллипсов и прямых линий, являющихся граничными для запрещающих и предупреждающих знаков. При этом в качестве признаков используют цветочувствительные вейвлеты Хаара, построенные в различных (до 9-ти) цветовых представлениях. Для измерения признаков используются цифровые цветовыделяющие фильтры. Окончательное решение принимается по результатам сопоставления результатов распознавания в различных цветовых представлениях изображений на последовательности кадров.
Недостаток указанного способа состоит в большой задержке распознавания и выработки предупреждающих сигналов водителю, связаной с тем, что выделение областей нахождения знаков цифровыми цветовыделяющими фильтрами осуществляется путем определения размеров фрагментов эллипсов и прямых линий, с использованием большого числа представлений на последовательности кадров, что требует больших вычислительных затрат. Кроме того, на этапе детектирования группы предупреждающих, запрещающих и других знаков, а также подгруппы в группах знаков, определяемые по сходству изображений, не классифицируются, поэтому на завершающем этапе собственно распознавания выбор осуществляется из всего множества знаков. Поскольку при этом необходимо осуществлять сопоставление текущего изображения с большим числом эталонов, в конечном итоге, это приводит к большой задержке и снижает надежность распознавания.
Задача, на решение которой направлено заявляемое изобретение, заключается в сокращении времени локализации и повышении надежности распознавания дорожных знаков.
Указанная цель достигается тем, что в способе локализации дорожных знаков и распознавания их групп и подгрупп, заключающемся в выделении областей нахождения знаков на видеокадрах цифровыми цветовыделяющими фильтрами, согласно изобретению выделение области нахождения знака осуществляют в два этапа, на первом этапе для выделения областей нахождения знаков последовательно просматривают строки и столбцы изображения скользящим окном, размер которого задают исходя из максимально возможного при заданном допустимом разрешении, при каждом положении окна определяют порядок чередования цветов и сопоставляют его с установленными заранее порядками чередования цветов на эталонах дорожных знаков, при совпадении порядков чередования цветов соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака, на следующем этапе в найденной подозрительной области выделяют область, ограниченную красной границей знака, и в выделенной области по строкам и столбцам строят две, не зависящие от цвета, гистограммы всех отсчетов, обе гистограммы нормируют таким образом, чтобы их диапазоны и количество отсчетов совпадали с соответствующими характеристиками эталонных гистограмм, далее из построенных нормированных гистограмм путем их присоединения формируют общую гистограмму и соответствующий ей вектор, этот вектор сопоставляют, в смысле заданной меры близости, со сформированными по тому же правилу векторами эталонов заданных групп знаков, решение о принадлежности текущего знака к одной из групп знаков принимают по любому известному критерию минимума меры близости векторов, затем в каждой группе определяют подгруппы знаков по гистограммам точек черного цвета, которые формируются и сопоставляются по тем же правилам, что и общие, не зависящие от цвета, гистограммы, использовавшиеся при определении группы знаков.
Далее приводится раскрывающее существо заявленного предложения описание примера реализации способа локализации и распознавания групп и подгрупп знаков, имеющих красную границу или красный фон: предупреждающие, запрещающие, знак «уступите дорогу», знак «стоп», знак «проезд запрещен» (предписывающие и информационные знаки, обрабатываются отдельно по тому же принципу, но с использованием отсчетов синего цвета).
На фиг.1 приведены примеры чередования цветов знаков: а) «Обгон запрещен»; б) «Уступите дорогу»; в) «Ограничение скорости» (50 км/час), где приняты обозначения для цветов: к - красный, б - белый, ч - черный.
На фиг.2 приведены нормированные общие гистограммы групп знаков: а) предупреждающих; б) «Уступите дорогу»; в) запрещающего «Проезд запрещен»; д) запрещающего «Движение без остановки запрещено».
На фиг.3 приведены нормированные гистограммы отсчетов черного цвета эталонных изображений из группы предупреждающих знаков: а) для подгруппы, включающей знаки 1.20.1-1.20.3 - «Сужение дороги»; б) для подгруппы, включающей знаки 2.3.2-2.3.7 - «Примыкание второстепенной дороги» (ГОСТ Р 52290-2004).
На первом этапе для определения областей, подозрительных на нахождение изображения дорожного знака, последовательно просматривают строки и столбцы изображения скользящим окном, размер которого задают исходя из максимально возможного при заданном допустимом разрешении. Допустимое разрешение определяется требованием надежного распознавания знаков и обеспечивается регистрацией видеокадров на определенном расстоянии. При каждом положении окна определяют и запоминают порядок чередования цветов. Сформировнный кортеж, описывающий порядок чередования цветов, сопоставляют с возможными заранее определенными кортежами цветов для эталонов дорожных знаков. Например, для большинства предупреждающих знаков этот кортеж состоит из чередования «белого» и «черного» цветов, притом кортеж, почти для всех знаков, начинается и завершается признаком, обозначающим «красный» цвет. На фиг.1 приведены примеры кортежей красного, белого и черного цветов для предупреждающего знака «обгон запрещен», «уступите дорогу» и запрещающего знака «ограничение максимальной скорости» (до 50 км/час).
При совпадении сформированного кортежа с одним из кортежей базы эталонных изображений соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака. На пересечении средней строки и среднего столбца выделенной области определяют координаты центральной точки. Далее в выделенной подозрительной области «вырезают» внутреннюю часть знака, ограниченную границей красного цвета, имеющей вид окружности - для запрещающих и треугольника - для предупреждающих знаков.
Выделение внутренней области знака, ограниченной красной границей, осуществляют с использованием алгоритма типа «заливка». Алгоритм «заливки» заключается в просмотре и сохранении координат отсчетов во всех направлениях от центральной точки, которая была определена на пересечении средней строки и среднего столбца выделенной области на предыдущем этапе, к периферии до первого пересечения с красной границей. Далее «вырезанное» изображение просматривают по строкам и столбцам и в каждой строке и каждом столбце подсчитывают общее число пикселей в выделенной области. В результате получают две гистограммы (для строк - i и столбцов - j) всех анализируемых отсчетов в выделенной области.
1
1
n
n
Далее гистограммы нормируют. Для этого определяют координаты начала - i, j и конца - i, j каждой из двух гистограмм, т.е. порядковые номера отсчетов первого и последнего ненулевых значений. Эти координаты задают размеры прямоугольника, в который вписана выделенная область изображения знака. Полученные размеры сравнивают с их минимально возможными значениями, заданными с учетом допустимого разрешения, необходимого для распознавания знака.
э
э
<mrow><mi>i</mi><mo>=</mo><mover accent="true"><mrow><msub><mi>i</mi><mn>1</mn></msub><mo>,</mo><msub><mi>i</mi><mi>n</mi></msub></mrow><mo stretchy="true">¯</mo></mover></mrow>
<mrow><mi>j</mi><mo>=</mo><mover accent="true"><mrow><msub><mi>j</mi><mn>1</mn></msub><mo>,</mo><msub><mi>j</mi><mi>n</mi></msub></mrow><mo stretchy="true">¯</mo></mover></mrow>
Обе полученные гистограммы масштабируют таким образом, чтобы количество отсчетов каждой гистограммы было равно количеству отсчетов i, j эталонных гистограмм групп знаков. Для этого значения отсчетов гистограмм p(i),
, p(j),
перенумеровывают по правилу:
<mrow><mi>p</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mi>p</mi><mrow><mo>(</mo><mrow><mover accent="true"><mi>i</mi><mo stretchy="true">¯</mo></mover></mrow><mo>)</mo></mrow></mrow>
<mrow><mi>i</mi><mo>=</mo><mover accent="true"><mrow><msub><mi>i</mi><mn>1</mn></msub><mo>,</mo><msub><mi>i</mi><mi>э</mi></msub></mrow><mo stretchy="true">¯</mo></mover></mrow>
,
,
<mrow><mi>p</mi><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><mi>p</mi><mrow><mo>(</mo><mrow><mover accent="true"><mi>j</mi><mo stretchy="true">¯</mo></mover></mrow><mo>)</mo></mrow></mrow>
<mrow><mi>j</mi><mo>=</mo><mover accent="true"><mrow><msub><mi>j</mi><mn>1</mn></msub><mo>,</mo><msub><mi>j</mi><mi>э</mi></msub></mrow><mo stretchy="true">¯</mo></mover></mrow>
,
,
где
<mrow><mover accent="true"><mi>i</mi><mo stretchy="true">¯</mo></mover><mo>=</mo><mo stretchy="false">[</mo><msub><mi>a</mi><mi>i</mi></msub><mi>i</mi><mo stretchy="false">]</mo></mrow>
<mrow><mover accent="true"><mi>j</mi><mo stretchy="true">¯</mo></mover><mo>=</mo><mo stretchy="false">[</mo><msub><mi>a</mi><mi>j</mi></msub><mi>j</mi><mo stretchy="false">]</mo></mrow>
,
,
<mrow><msub><mi>a</mi><mi>i</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>L</mi><mi>i</mi></msub></mrow><mrow><mrow><mo>(</mo><mrow><msub><mi>i</mi><mi>n</mi></msub><mo>−</mo><msub><mi>i</mi><mn>1</mn></msub></mrow><mo>)</mo></mrow></mrow></mfrac></mrow>
<mrow><msub><mi>a</mi><mi>j</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>L</mi><mi>j</mi></msub></mrow><mrow><mrow><mo>(</mo><mrow><msub><mi>j</mi><mi>n</mi></msub><mo>−</mo><msub><mi>j</mi><mn>1</mn></msub></mrow><mo>)</mo></mrow></mrow></mfrac></mrow>
i
j
,
- коэффициенты преобразования, a L, L - заданные эталонные длины гистограмм по направлениям изменения индексов i, j соответственно.
Полученные масштабированные гистограммы нормируют по правилу:
<mrow><mover accent="true"><mi>p</mi><mo stretchy="true">¯</mo></mover><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mi>p</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow><mrow><mstyle displaystyle="true"><munder><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mover accent="true"><mrow><msub><mi>i</mi><mn>1</mn></msub><mo>,</mo><msub><mi>i</mi><mi>э</mi></msub></mrow><mo stretchy="true">¯</mo></mover></mrow></munder><mrow><mi>p</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow></mstyle></mrow></mfrac></mrow>
,
<mrow><mover accent="true"><mi>p</mi><mo stretchy="true">¯</mo></mover><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mi>p</mi><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow><mrow><mstyle displaystyle="true"><munder><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mover accent="true"><mrow><msub><mi>j</mi><mrow><mn>1,</mn></mrow></msub><msub><mi>j</mi><mi>э</mi></msub></mrow><mo stretchy="true">¯</mo></mover></mrow></munder><mrow><mi>p</mi><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></mstyle></mrow></mfrac></mrow>
и путем присоединения двух гистограмм формируют общую гистограмму, характеризующую распределение всех отсчетов в выделенной области.
i
j
m
<mrow><mi>m</mi><mo>=</mo><mover accent="true"><mrow><mn>1,</mn><mi>M</mi></mrow><mo stretchy="true">¯</mo></mover></mrow>
<mrow><msub><mover accent="true"><mi>Z</mi><mo>^</mo></mover><mi>m</mi></msub><mo>.</mo></mrow>
Далее нормированную общую гистограмму сопоставляют с заданными при тех же значениях L, L общими гистограммами p(i), p(j) эталонов распознаваемых групп знаков - Z,
и устанавливают принадлежность к одной из них -
В данном случае для установления степени «похожести» гистограмм использовался критерий максимума функции корреляции:
<mrow><msub><mover accent="true"><mi>Z</mi><mo>^</mo></mover><mi>m</mi></msub><mo>:</mo><mi>Q</mi><mrow><mo>(</mo><mrow><msub><mover accent="true"><mi>Z</mi><mo>^</mo></mover><mi>m</mi></msub></mrow><mo>)</mo></mrow><mo>=</mo><munder><mrow><mi>max</mi></mrow><mi>m</mi></munder><mi>Q</mi><mrow><mo>(</mo><mrow><msub><mi>Z</mi><mi>m</mi></msub></mrow><mo>)</mo></mrow></mrow>
<mrow><mi>m</mi><mo>=</mo><mover accent="true"><mrow><mn>1,</mn><mi>M</mi></mrow><mo stretchy="true">¯</mo></mover></mrow>
,
,
<mrow><mi>Q</mi><mrow><mo>(</mo><mrow><msub><mi>Z</mi><mi>m</mi></msub></mrow><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mo>〈</mo><mover accent="true"><mi>p</mi><mo stretchy="true">¯</mo></mover><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>,</mo><mtext> </mtext><mi>P</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>〉</mo></mrow><mrow><mrow><mo>‖</mo><mrow><mover accent="true"><mi>p</mi><mo stretchy="true">¯</mo></mover><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow><mo>‖</mo></mrow><mrow><mo>‖</mo><mrow><mi>P</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow><mo>‖</mo></mrow></mrow></mfrac><mo>.</mo></mrow>
где
На фиг.2 приведены примеры нормированных общих гистограмм групп знаков: а) предупреждающих; б) «Уступите дорогу»; в) запрещающего «Проезд запрещен»; д) запрещающего «Движение без остановки запрещено».
После того как по общим нормированным гистограммам определены группы знаков, в каждой группе определяют подгруппы знаков. Для этого в выделенной области по тем же правилам, описанным выше, строят нормированные гистограммы отсчетов черного цвета, которые сопоставляют по критерию максимума функции корреляции с нормированными гистограммами отсчетов черного цвета эталонных изображений знаков. В результате такого сопоставления определяются подгрупы групп предупреждающих и запрещающих знаков.
На фиг.3 приведены примеры нормированных гистограмм отсчетов черного цвета эталонных изображений из группы предупреждающих знаков: а) для подгруппы, включающей знаки 1.20.1-1.20.3 «Сужение дороги»; б) для подгруппы, включающей знаки 2.3.2-2.3.7 «Примыкание второстепенной дороги» (ГОСТ Р 52290-2004).
Далее с использованием координат граничных точек, определенных по общей гистограмме выделенной области и координатам соответственных точек на эталонных изображениях, осуществляют афинное преобразование выделенной области знака с целью приведения текущего изображения к эталонному по масштабу и углу поворота.
Заключительный этап распознавания конкретного знака может быть реализован любым из известных способов. В настоящем примере выделенную область текущего изображения преобразуют к бинарному, при этом задают порог на уровне 0,75 от значения средней яркости. Все эталонные изображения также представляют в виде бинарных по тому же правилу. Далее выделенные области текущего и эталонного бинарных изображений сопоставляют. Решение принимается по минимуму относительного числа несовпадающих пикселей на множестве знаков, входящих в подгруппу, которая определена на предшествующих этапах.
В данном случае время распознавания существенно сокращается, а надежность возрастает, т.к. число знаков, с которыми сопоставляется текущее бинарное изображение, сравнительно невелико за счет предварительного распознавания группы, которой принадлежит текущий знак, по общим гистограммам и подгруппы по гистограммам «черного» цвета. Например, по форме гистограмм «черного» цвета уверенно распознается подгруппа, включающая следующие знаки: «Пересечение с второстепенной дорогой» и «Примыкание второстепенной дороги». Поэтому для определения конкретного предупреждающего знака в этой подгруппе достаточно решить задачу выбора из 7 знаков (знаки 2.3.1-2.3.7, ГОСТ Р52290-2004).
Существенное снижение общих вычислительных затрат на локализацию и распознавание дорожных знаков, а также повышение надежности распознавания обеспечивается за счет введения процедур распознавания групп знаков по общим нормированным гистограммам, а также подгрупп в группах по нормированным гистограммам «черного» цвета. Таким образом, заявляемый способ соответствует критерию изобретения «новизна». Снижение общих вычислительных затрат обеспечивает сокращение времени формирования предупредительных сигналов водителю, что в конечном итоге обеспечивает повышение безопасности движения на дорогах.