СПОСОБ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ ЛИЦ И СИСТЕМА ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ
METHOD OF RECOGNISING FACIAL IMAGES AND SYSTEM FOR REALISING SAID METHOD

Изобретение относится к автоматике и вычислительной технике и может быть использовано для распознавания изображений лиц в системах машинного зрения, биометрических системах контроля доступа и видеонаблюдений, интерактивных системах человек-компьютер и других системах. Техническим результатом является повышение быстродействия распознавания изображений лиц и повышение его универсальности.
Динамика освещенности сцены остается одной из нерешенных сегодня проблем в практике распознавания изображений с лицами. В этих условиях на области лица появляются изменения трех типов. Первые можно отнести к «локальным ярко выраженным теням», а вторые - к «глобальным теням». Третьи - к бликам. Локальные тени изменяют форму отдельных частей лиц (носа, рта и глаз) и искажают границы области лица, а также границы «волосы/лоб» и «шея/подбородок». Глобальные тени существенно снижают различимость области лиц на общем фоне и/или полностью «закрывают» их. Блики на лицах представляются как «не ярко выраженные, но быстро изменяющиеся пятна яркости и распределенных теней» 00000000, которые возникают, например, при наблюдениях за быстрым перемещением людей в пространстве с различным освещением и/или временными помехами в освещении.
Нестабильность яркости исходной сцены приводит к непредсказуемой динамике значений исходных признаков, представляющих область лица. Очевидно также, что эта нестабильность приводит, в свою очередь, к ухудшению результативности работы систем распознавания лиц (Face Recognition System - FaReS). Именно поэтому интерес к проблеме распознавания изображений лиц с проблемами освещения не ослабевает последние несколько лет.
Известен способ распознавания изображений лиц с проблемами освещения (Wang Ying-Hui et all. A method of illumination compensation for human face image based on quotient image - Information Sciences, 2008, Vol.178), основанный на дополнении базы эталонами, имеющими практически все возможные типы теней с включением их в соответствующие классы базы эталонов, использовании вейвлет-преобразования и анализа главных компонент (РСА - principal component analysis). Недостатком способа являются практическая сложность создания изображений лиц, имеющих все возможные типы теней для всех классов, составляющих базу эталонов и, как следствие этого, - невозможность обеспечения высокого и стабильного качества распознавания в условиях динамики изменения состава баз.
Известен способ (Zhanga et all. Multiscale facial structure representation for face recognition under varying illumination - Pattern Recognition, 42, 2009), основанный на инвариантном (относительно яркости) представлении изображений лиц с использованием локальных бинарных эталонов, использовании вейвлет-преобразования и процедур РСА. Недостатком способа являются большие вычислительные затраты, связанные с получением локальных бинарных эталонов исходных изображений, их вейвлет-преобразованием и последующим выполнением анализа главных компонент и связанного с ним ортогонального преобразования в собственном базисе.
Известен «Способ и система для распознавания лица с учетом списка людей, не подлежащих проверке» (патент RU №2381553 опубликованный 10.02.2010) распознавания изображений лиц с проблемами освещения, основанный на дополнении базы эталонов изображениями лиц незарегистрированных людей и выполнении верификации, основанной не только на мере схожести тестового и зарегистрированного лица, но и на множестве незарегистрированных лиц. Недостатком способа являются сложность выбора изображений лиц «не зарегистрированных людей» для обеспечения репрезентативности такой базы и, как следствие, - невозможность обеспечения высокого качества распознавания, а также сложность реализации используемого в заявленном способе классификатора.
Наиболее близким является способ - «Обработка и распознавание изображений лиц с проблемами освещения» (Известия СПбГЭТУ «ЛЭТИ» /2012/ №5, с.59-67), который заключается в разделении на регистрацию и распознавание, при которых в регистрации вводятся исходные изображения лиц, не содержащие локальных или глобальных теней и бликов на области лица, выполняется для всех изображений одномерный РСА по строкам, выполняется для всех изображений одномерный РСА по столбцам, выполняются для каждого изображения отдельно гамма-коррекция и логарифмирование значений их яркости, преобразуются полученные при этом два новых изображения в спектры с помощью двумерного преобразования Карунена-Лоэва (2DKLT), удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, и записывается полученная пара спектров в базу эталонов, а в распознавании вводятся тестовые изображения лиц с проблемами освещения (бликами, локальными или глобальными тенями и очень низким уровнем яркости), вычисляется среднее значение яркости каждого тестового изображения, выполняются отдельно гамма-коррекция и логарифмирование значений яркости, преобразуются полученные при этом два новых изображения в спектры с помощью 2DKLT, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, сравниваются полученные тестовые спектры со спектрами, хранящимися в базе эталонов, на основе среднего значения яркости тестового изображения: если среднее значение яркости тестового изображения больше некоторого порога, то выполняется сравнение тестового спектра, полученного на основе гамма-коррекции, со спектрами, хранящимися в базе эталонов, полученными на основе гамма-коррекции; если среднее значение яркости тестового изображения меньше порога, то в полученных тестовых спектрах дополнительно удаляются низкочастотные составляющие, выполняется объединение спектров, хранящихся в базе эталонов, выполняется объединение тестовых спектров, не содержащих низкочастотные составляющие, выполняется сравнение полученных объединенных тестовых спектров с объединенными спектрами, хранящимися в базе эталонов, принимается решение о распознавании.
Система для осуществления способа состоит из последовательно соединенных устройства регистрации и устройства распознавания, при этом первый вход системы является входом устройства регистрации, а второй вход системы является входом устройства распознавания, выходом системы является выход устройства распознавания, причем устройство регистрации содержит последовательно соединенные два блока одномерного РСА, блок гамма-коррекции, блок 2DKLT, соединенный с первым входом блока базы эталонов, а также последовательно соединенные первый вход системы, информационный вход сумматора, блок логарифмирования, последовательно соединенные два блока одномерного РСА, блок гамма-коррекции, блок 2DKLT, соединенный со вторым входом блока базы эталонов, два выхода которого соединены с первым и вторым информационными входами классификатора, а устройство распознавания содержит последовательно соединенные второй вход системы, информационный вход сумматора, блок логарифмирования, блок 2DKLT, соединенный с третьим входом классификатора, а также последовательно соединенные второй вход системы, вход блока гамма-коррекции, блок 2DKLT, соединенный с четвертым входом классификатора, а также последовательно соединенные второй вход системы, блок вычисления среднего значения, блок определения способа формирования спектров для сравнения, первый вход которого соединен с выходом блока вычисления среднего значения, управляющий вход является входом установки порога, а управляющий выход которого соединен с управляющим входом блока классификатора, выход которого является выходом системы.
Недостатком решения является его низкая универсальность, связанная с невозможностью его применения в условиях динамики изменения баз эталонов, поскольку дополнение баз новыми эталонами или исключение из баз неактуальных эталонов потребует повторной трансформации исходных изображений в новое пространство признаков на основе метода 2DPCA\2DKLT, что прервет работу системы распознавания. Кроме того, использование методов двумерной проекции на основе 2DPCA, принятое в прототипе, требует выполнения условий равенства размеров всех изображений лиц (как эталонных, так и тестовых), использования трудоемких методов решения задач на собственные значения и соответствующих им процедур регуляризации. Наконец, в данном решении, этап 2DKLT не может быть выполнен по схеме «быстрых алгоритмов», что вместе с затратами на этапе 2DPCA приводит к существенным вычислительным затратам, снижающим уровень быстродействия устройства.
Техническим результатом, на которое направлено изобретение, является повышение быстродействия распознавания изображений лиц (с бликами, локальными и глобальными тенями на лицах и очень низким уровнем яркости изображений лиц) и повышение его универсальности за счет исключения процедур 2DPCA\2DKLT и использования вместо них процедур двумерного косинус-преобразования (2DDCT).
Указанный технический результат достигается за счет того, что распознавание изображений лиц, разбивается на регистрацию и распознавание, причем при регистрации вводятся исходные изображения лиц, не содержащие локальных или глобальных теней и бликов на области лица, выполняются для каждого изображения отдельно гамма-коррекция и логарифмирование значений яркости изображений, преобразуются полученные при этом два новых изображения в спектры, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, и записывается полученная пара спектров в базу эталонов, а в распознавании вводятся тестовые изображения лиц с проблемами освещения (бликами, локальными или глобальными тенями и очень низким уровнем яркости), вычисляется среднее значение яркости каждого тестового изображения, выполняются отдельно гамма-коррекция и логарифмирование значений яркости, преобразуются полученные при этом два новых изображения в спектры, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, сравниваются полученные тестовые спектры со спектрами, хранящимися в базе эталонов, два новых изображения преобразуются в спектры с помощью двумерного косинус-преобразования, а сравнение полученных тестовых спектров со спектрами, хранящимися в базе эталонов, происходит на основе среднего значения яркости тестового изображения: если среднее значение яркости тестового изображения принадлежит диапазону, ограниченному разностью между средним значением и среднеквадратическим отклонением и суммой среднего значения и среднеквадратического отклонения всех исходных изображений, то выполняется сравнение тестового спектра, полученного на основе гамма-коррекции, со спектрами, хранящимися в базе эталонов, полученными на основе гамма-коррекции; если среднее значение яркости тестового изображения меньше, чем разность между средним значением и среднеквадратическим отклонение всех исходных изображений, то в полученных на основе гамма-коррекции и логарифмирования тестовых спектрах дополнительно удаляются низкочастотные составляющие, в противном случае спектры не меняются, выполняется объединение полученных тестовых спектров, выполняется объединение спектров, хранящихся в базе эталонов, полученных на основе гамма-коррекции и логарифмирования, выполняется классификация преобразованных тестовых спектров по критерию минимума расстояния, принимается решение о распознавании, а система для осуществления способа состоит из последовательно соединенных устройства регистрации и устройства распознавания, при этом первый вход системы является входом устройства регистрации, а второй вход системы является входом устройства распознавания, выходом системы является выход устройства распознавания, причем устройство регистрации содержит последовательно соединенные блок гамма-коррекции, вход которого является входом устройства регистрации, соединенный с первым входом блока базы эталонов, а также последовательно соединенные первый вход системы, информационный вход сумматора, блок логарифмирования, второй вход блока базы эталонов, два выхода которого соединены с первым и вторым информационными входами классификатора, а устройство распознавания содержит последовательно соединенные второй вход системы, информационный вход сумматора, блок логарифмирования, третий вход классификатора, а также последовательно соединенные второй вход системы, вход блока гамма-коррекции, четвертый вход классификатора, а также последовательно соединенные второй вход системы, блок вычисления среднего значения, блок классификатора, выход которого является выходом системы, устройство регистрации дополнительно содержит первый и второй блоки двумерного косинус-преобразования, входы которых соединены с выходом блока гамма-коррекции и выходом блока логарифмирования соответственно, а выходы блоков двумерного косинус-преобразования соединены с входами блока базы эталонов, устройство распознавания дополнительно содержит третий и четвертый блоки косинус-преобразования, входы которых соединены с выходом блока гамма-коррекции и выходом блока логарифмирования соответственно, а выходы блоков двумерного косинус-преобразования соединены с входами блока классификации, а также блок формирования спектров, первый вход которого соединен с выходом блока вычисления среднего значения, управляющий вход является входом установки диапазона, а управляющий выход которого соединен с управляющим входом блока классификатора, выход которого является выходом системы.
Указанный результат достигается за счет того, что процедуры 2DDCT, как единственный инструмент трансформации исходных данных в спектральное пространство признаков, не требуют проведения предварительного анализа исходных данных, реализуются на основе быстрых алгоритмов и адаптированы к переменному размеру исходных изображений.
Сущность изобретения поясняется на фиг.1 - где изображена функциональная схема системы, фиг.2 - где представлен пример исходных цифровых изображений, определяющих эталоны, фиг.3 - где представлен пример цифровых тестовых изображений одного и того же человека, предназначенных для распознавания (эти изображения могут содержать на области лиц глобальные и локальные тени, блики и могут иметь очень низкий уровень яркости), фиг.4 - где представлены результаты уменьшения градиентов яркости для лиц, имеющих все виды теней, фиг.5 - где представлена динамика процесса и результат классификации тестовых изображений в рамках предложенного способа, фиг.6 - где представлены результаты классификации тестовых изображений внутри каждого состава базы данных «Yale В».
Способ осуществляется с помощью системы, функциональная схема которой изображена на фиг.1, состоящей из последовательно соединенных устройства регистрации 1 и устройства распознавания 2, при этом первый вход системы является входом устройства регистрации 1, а второй вход системы является входом устройства распознавания 2, выходом системы является выход устройства распознавания 2, причем устройство регистрации 1 содержит последовательно соединенные блок 3 гамма-коррекции, вход которого является входом устройства регистрации, блок 4 двумерного косинус-преобразования, соединенный с первым входом блока 5 базы эталонов, а также последовательно соединенные первый вход системы, информационный вход блока 6 сумматора, блок 7 логарифмирования, блок 8 двумерного косинус-преобразования, второй вход блока 5 базы эталонов, два выхода которого соединены с первым и вторым информационными входами блока 12 классификатора, а устройство распознавания 2 содержит последовательно соединенные второй вход системы, информационный вход блока 9 сумматора, блок 10 логарифмирования, блок 11 двумерного косинус-преобразования, соединенный с третьим входом блока 12 классификатора, а также последовательно соединенные второй вход системы, вход блока 13 гамма-коррекции, блок 14 двумерного косинус-преобразования, соединенный с четвертым входом блока 12 классификатора, а также последовательно соединенные второй вход системы, блок 15 вычисления среднего значения, блок 16 формирования спектров для сравнения, управляющий вход которого является входом установки значений Р1 и Р2, а управляющий выход которого соединен с управляющим входом блока 12 классификатора, выход которого является выходом системы.
Способ осуществляется следующим образом. На вход 1 системы устройства регистрации 1 подаются исходные цифровые изображения, определяющие эталоны. При этом эти изображения не содержат на области лиц каких-либо теней, бликов и имеют нормальное освещение и, таким образом, не имеют проблем с освещением. Пример изображений представлен на фиг.2 для 24 лиц различных людей. Число исходных изображений для формирования базы эталонов определяется параметром K>>1.
В блоке 3 для каждого исходного изображения выполняется гамма-коррекция значений его яркости и сохранение полученного изображения-результата: если I - изображение размера M×N, то гамма-коррекция изображения с целью повышения его яркости, реализуется следующим образом:
<mrow><msub><mi>i</mi><mi>G</mi></msub><mrow><mo>(</mo><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mo>)</mo></mrow><mo>=</mo><mi>i</mi><msup><mrow><mrow><mo>(</mo><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mo>)</mo></mrow></mrow><mi>γ</mi></msup><mo>,</mo><mtext> </mtext><mo>∀</mo><mi>m</mi><mo>=</mo><mn>1</mn><mo>,</mo><mn>2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>M</mi><mtext> </mtext><mi>и</mi><mtext> </mtext><mi>n</mi><mo>=</mo><mn>1</mn><mo>,</mo><mn>2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>N</mi><mo>,</mo><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>
G
где i(m,n) - пиксель откорректированного изображения;
γ - коэффициент степенного преобразования, причем здесь γ<<1.
В блоке 6 для каждого исходного изображения все пиксели, имеющие нулевые значения яркости, заменяются на значения «1» так, что:
<mrow><mi>i</mi><mrow><mo>(</mo><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mo>)</mo></mrow><mo>=</mo><mi>i</mi><mrow><mo>(</mo><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mo>)</mo></mrow><mo>+</mo><mn>1</mn><mo>,</mo><mtext> </mtext><mo>∀</mo><mtext> </mtext><mi>i</mi><mrow><mo>(</mo><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mo>)</mo></mrow><mo>≡</mo><mn>0</mn><mo>.</mo><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mrow><mo>(</mo><mrow><mn>2</mn><mi>a</mi></mrow><mo>)</mo></mrow></mrow>
В блоке 7 для каждого изображения полученного в блоке 6 выполняется логарифмирование значений яркости и сохранение полученного изображения-результата
<mrow><msub><mi>i</mi><mi>l</mi></msub><mrow><mo>(</mo><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mo>)</mo></mrow><mo>=</mo><mi>l</mi><mi>o</mi><mi>g</mi><mrow><mo>(</mo><mrow><mi>i</mi><mrow><mo>(</mo><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mo>)</mo></mrow></mrow><mo>)</mo></mrow><mo>,</mo><mtext> </mtext><mo>∀</mo><mtext> </mtext><mi>m</mi><mo>=</mo><mn>1</mn><mo>,</mo><mn>2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>M</mi><mtext> </mtext><mi>и</mi><mtext> </mtext><mi>n</mi><mo>=</mo><mn>1</mn><mo>,</mo><mn>2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>N</mi><mo>.</mo><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mrow><mo>(</mo><mrow><mn>2</mn><mi>b</mi></mrow><mo>)</mo></mrow></mrow>
В блоках 4 и 8 - выполняется двумерное дискретное косинус-преобразование, преобразующее изображения, полученные в блоках 3 и 7 соответственно в спектр. Здесь же выполняется селекция спектральных компонент с тем, чтобы удалить высокочастотные составляющие, близкие по значениям к нулю. При выполнении селекции учитывается следующий факт: косинус-преобразование достаточно точно представляет исходные изображения с лицами малым числом признаков - спектральных компонент DCT. Это основано на том, что энергетически значимые спектральные компоненты DCT концентрируются в левом верхнем углу матрицы - результата DCT. При этом для относительно точной реконструкции области лица достаточно не более 20 пространственных спектральных компонент, выбранных из верхнего левого угла спектра, если исходные изображения не имеют проблем с освещением.
Определим 2D DCT в следующей матричной форме:
<mrow><mi>Y</mi><mo>=</mo><msub><mi>F</mi><mn>1</mn></msub><mi>I</mi><msub><mi>F</mi><mn>2</mn></msub><mo>,</mo><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mi></mi><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>
1
2
где I - исходное изображение размера M×N; Y - результат преобразования; F1 и F2 - матрицы проекции размером d×M и N×d, причем:
<mrow><msub><mi>F</mi><mn>1</mn></msub><mo>=</mo><mrow><mo>[</mo><mrow><mi>f</mi><mrow><mo>(</mo><mrow><msub><mi>d</mi><mn>1</mn></msub><mo>,</mo><mi>m</mi></mrow><mo>)</mo></mrow></mrow><mo>]</mo></mrow></mrow>
<mrow><mi>f</mi><mrow><mo>(</mo><mrow><msub><mi>d</mi><mn>1</mn></msub><mo>,</mo><mi>m</mi></mrow><mo>)</mo></mrow><mo>=</mo><mrow><mo>{</mo><mtable columnalign="left"><mtr><mtd><mn>1</mn><mo>/</mo><msqrt><mi>M</mi></msqrt></mtd></mtr><mtr><mtd><msqrt><mrow><mfrac><mn>2</mn><mi>M</mi></mfrac></mrow></msqrt><mi>cos</mi><mfrac><mrow><mi>π</mi><mrow><mo>(</mo><mrow><mn>2</mn><mi>m</mi><mo>+</mo><mn>1</mn></mrow><mo>)</mo></mrow><msub><mi>d</mi><mn>1</mn></msub></mrow><mrow><mn>2</mn><mi>M</mi></mrow></mfrac></mtd></mtr></mtable></mrow><mo>,</mo></mrow>
<mrow><mtable><mtr><mtd><mrow><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>d</mi><mn>1</mn></msub><mo>=</mo><mn>0,</mn></mrow></mtd></mtr><mtr><mtd><mrow><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>d</mi><mn>1</mn></msub><mo>=</mo><mn>1,</mn><mo>…</mo><mo>,</mo><mtext> </mtext><msub><mi>D</mi><mn>1</mn></msub><mo>−</mo><mn>1,</mn></mrow></mtd></mtr><mtr><mtd><mrow><mo>∀</mo><mtext> </mtext><mi>m</mi><mo>=</mo><mn>0,1,</mn><mo>…</mo><mo>,</mo><mtext> </mtext><mi>M</mi><mo>−</mo><mn>1.</mn></mrow></mtd></mtr></mtable></mrow>
,
<mrow><msub><mi>F</mi><mn>2</mn></msub><mo>=</mo><mrow><mo>[</mo><mrow><mi>f</mi><mrow><mo>(</mo><mrow><mi>n</mi><mo>,</mo><msub><mi>d</mi><mn>2</mn></msub></mrow><mo>)</mo></mrow></mrow><mo>]</mo></mrow></mrow>
<mrow><mi>f</mi><mrow><mo>(</mo><mrow><mi>n</mi><mo>,</mo><msub><mi>d</mi><mn>2</mn></msub></mrow><mo>)</mo></mrow><mo>=</mo><mrow><mo>{</mo><mtable columnalign="left"><mtr><mtd><mn>1</mn><mo>/</mo><msqrt><mi>N</mi></msqrt></mtd></mtr><mtr><mtd><msqrt><mrow><mfrac><mn>2</mn><mi>N</mi></mfrac></mrow></msqrt><mi>cos</mi><mfrac><mrow><mi>π</mi><mrow><mo>(</mo><mrow><mn>2</mn><mi>n</mi><mo>+</mo><mn>1</mn></mrow><mo>)</mo></mrow><msub><mi>d</mi><mn>2</mn></msub></mrow><mrow><mn>2</mn><mi>N</mi></mrow></mfrac></mtd></mtr></mtable></mrow><mo>,</mo></mrow>
<mrow><mtable><mtr><mtd><mrow><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>d</mi><mn>2</mn></msub><mo>=</mo><mn>0,</mn></mrow></mtd></mtr><mtr><mtd><mrow><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>d</mi><mn>2</mn></msub><mo>=</mo><mn>1,</mn><mo>…</mo><mo>,</mo><mtext> </mtext><msub><mi>D</mi><mn>2</mn></msub><mo>,</mo></mrow></mtd></mtr><mtr><mtd><mrow><mo>∀</mo><mtext> </mtext><mi>n</mi><mo>=</mo><mn>0,1,</mn><mo>…</mo><mo>,</mo><mtext> </mtext><mi>N</mi><mo>−</mo><mn>1</mn></mrow></mtd></mtr></mtable></mrow>
,
Блок 5 сохраняет спектральные признаки в базе эталонов в форме векторов отдельно для каждой пары изображений: как обработанных в канале гамма-коррекции, так и в канале логарифмирования.
На вход 2 системы устройства распознавания 2 подаются цифровые тестовые изображения, предназначенные для распознавания. Эти изображения могут содержать на области лиц глобальные и локальные тени, блики и могут иметь очень низкий уровень яркости. Пример 36 изображений лица одного и того же человека, имеющих разное освещение, представлен на фиг.3.
В блоке 9 для каждого тестового изображения все пиксели, имеющие нулевые значения яркости, заменяются на значения «1» в соответствии с выражением (2а).
В блоке 10 выполняется логарифмирование значений яркости изображений, полученных в блоке 9 в соответствии с выражением (2b).
В блоке 13 для каждого тестового изображения, предназначенного для распознавания, выполняется гамма-коррекция значений его яркости в соответствии с выражением (1)
В блоках 11 и 14 выполняется двумерное дискретное косинус-преобразование, преобразующее каждое изображение, полученное в блоках 10 и 13 соответственно в спектр по формуле (3). Здесь же выполняется селекция спектральных компонент с тем, чтобы удалить высокочастотные составляющие, близкие по значениям к нулю.
В блоке 15 вычисляется среднее значение J яркости тестового изображения.
<mrow><mi>P</mi><mn>1</mn><mo>=</mo><mover accent="true"><mi>X</mi><mo>¯</mo></mover><mo>−</mo><mrow><mo>|</mo><mi>σ</mi><mo>|</mo></mrow></mrow>
<mrow><mi>P</mi><mn>2</mn><mo>=</mo><mover accent="true"><mi>X</mi><mo>¯</mo></mover><mo>+</mo><mrow><mo>|</mo><mi>σ</mi><mo>|</mo></mrow></mrow>
В блоке 16 определяется способ формирования спектра для классификации - для каждого тестового изображения среднее значение J яркости сравнивается с заданными пороговыми значениями яркости
и
,
<mrow><mover accent="true"><mi>X</mi><mo>¯</mo></mover><mo>=</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><mrow><mstyle displaystyle="true"><munderover><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><mrow><msub><mi>I</mi><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mstyle></mrow></mstyle></mrow><mrow><mi>M</mi><mo>×</mo><mi>N</mi></mrow></mfrac></mrow>
где
- среднее значение исходных изображений,
<mrow><mi>σ</mi><mo>=</mo><msqrt><mrow><mfrac><mrow><mstyle displaystyle="true"><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><mrow><mstyle displaystyle="true"><munderover><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><mrow><mrow><mo>(</mo><mrow><msub><mi>I</mi><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>−</mo><mover accent="true"><mi>X</mi><mo>¯</mo></mover></mrow><mo>)</mo></mrow></mrow></mstyle></mrow></mstyle></mrow><mrow><mi>M</mi><mo>×</mo><mi>N</mi></mrow></mfrac></mrow></msqrt></mrow>
- среднеквадратическое отклонение.
Если среднее значение яркости тестового изображения P1<J<P2, то распознавание изображений будет выполняться на основе спектров, полученных в блоках 4 и 14, в противном случае будет выполняться объединение спектров, полученных в блоках 8 и 11, 4 и 14. Если J<P1, то это свидетельствует о том, что распознаваемое изображение имеет очень низкий уровень яркости, поэтому в спектрах, полученных в блоках 11 и 14, перед объединением дополнительно удаляются низкочастотные составляющие.
Это решение позволяет элиминировать все признаки, составляющие информацию о локальных и глобальных тенях на лицах. Таким образом, в дальнейшем распознавании участвуют только составляющие спектра, соответствующие чертам лица человека без теней.
Блок 12 решает задачу классификации распознаваемых изображений (задачу их принадлежности к заданным эталонам) по критерию минимума расстояний. Конкретно, здесь вычисляются расстояния между вектором признаков распознаваемого изображения и всеми K векторами признаков из базы эталонов. Индекс k∈K, соответствующий минимуму расстояния, будет означать соответствие распознаваемого изображения эталону с порядковым номером k.
Основными отличительными признаками заявляемого способа являются:
- использование изображений базы эталонов при условии, что она не содержит изображений с локальными и/или глобальными тенями или бликами;
- использование простой предобработки исходных изображений с целью уменьшения градиента изменений яркости (гамма-коррекция с фиксированным параметром и логарифмирование);
- использование метода двумерного дискретного косинус-преобразования как единственного инструмента трансформации исходных данных в спектральное пространство признаков;
- исключение из состава спектральных признаков тех составляющих, которые связаны с тенями и бликами, а также тех составляющих, которые связаны с шумами на распознаваемых изображениях;
- использование механизма совмещения (фузии) спектральных признаков изображений на этапе их классификации, в случаях низкого уровня яркости распознаваемых изображений.
Результативность распознавания изображений с проблемами освещения по предлагаемому способу доказана компьютерным моделированием и экспериментами, выполненными на базе изображений лиц «Yale В», специально предназначенной для тестирования методов распознавания лиц со всеми типами теней.
Модель экспериментов имеет следующий вид:
<mrow><mi>Y</mi><mi>a</mi><mi>l</mi><mi>e</mi><mi>B</mi><mrow><mo>(</mo><mrow><mn>38</mn><mo>/</mo><mn>1</mn><mo>/</mo><mn>2414</mn></mrow><mo>)</mo></mrow><mrow><mo>{</mo><mrow><mi>G</mi><mo>&</mo><mi>L</mi><mi>o</mi><mi>g</mi><mo>/</mo><mn>2</mn><mi>D</mi><mi>D</mi><mi>C</mi><mi>T</mi><mo>:</mo><mn>192</mn><mo>×</mo><mn>168</mn><mo>→</mo><mi>d</mi><mo>×</mo><mi>d</mi></mrow><mo>}</mo></mrow><mrow><mo>[</mo><mrow><mi>Ф</mi><mo>+</mo><mi>К</mi><mi>М</mi><mi>Р</mi><mo>/</mo><mi>L</mi><mn>1</mn><mo>/</mo><mi>r</mi><mi>a</mi><mi>n</mi><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mo>]</mo></mrow><mtext> </mtext><mtext> </mtext><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>
Здесь приняты следующие обозначения:
Yale(38/l/2414) - использована база изображений, состоящая из 38 эталонов (по одному на класс), а число тестовых образов составило 2414.
G&Log/2DDCT - реализована гамма-коррекция/логарифмирование эталонных данных и двумерное косинус-преобразование (то есть преобразования выполнены только на этапе проекции эталонных и тестовых данных);
192×168→d×d - представлены размеры исходных изображений и размерность матриц-результатов проекции после редукции размерности пространства признаков;
Ф+КМР/L1/rank=1 - использована процедура объединения признаков (фузия) и классификатор по минимуму расстояния с метрикой L1, а результат оценивается по первому месту (rank=1).
На фиг.4 представлены результаты уменьшения градиентов яркости для лиц, имеющих все виды теней. Видно, что уже на этом этапе хорошо выявляются основные черты лиц, что создает предпосылки для распознавания лиц с проблемами освещения.
Динамика процесса и результат классификации тестовых изображений в рамках предложенного способа показан на фиг.5. В эксперименте использована база исходных изображений, состоящая из 38 эталонов (по одному на класс), а число тестовых образов составило 2414. Здесь 130 изображений из 2414 были классифицированы неверно, поэтому результат составил около 94.6%. Вертикальные сплошные линии определяют границы составов данных, соответствующих каждому типу теней.
В таблице 1 на фиг.6 приведены результаты классификации тестовых изображений внутри каждого состава. «Начальная компонента» (НК) определяет номер, с которого начинается отсчет элементов из левого верхнего угла спектральной матрицы. Для параметра НК=14 это соответствует «обнулению» первых 13-ти (низкочастотных) компонент спектра. Значения параметров «d» (d1=d2=d) и НК получены при моделировании и исследовании алгоритма классификации в рамках решения соответствующей вариационной задачи.
Предпочтительным вариантом реализации устройства является его использование для повышения эффективности существующих систем видеонаблюдения и создания нового класса интеллектуальных систем, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение, биометрическая идентификация личности. При этом прибор реализуется в виде платы устройств, в состав которой входит, по крайней мере, один сигнальный процессор.
Таким образом, предложенный способ распознавания изображений лиц обеспечивает приемлемый для практики результат в условиях возникновения проблем с их освещением и появлением бликов, локальных и глобальных теней на лицах и очень низким уровнем их яркости при низких вычислительных затратах и возможной динамике базы эталонов.