СПОСОБ АВТОМАТИЧЕСКОЙ ГЕНЕРАЦИИ СКЕТЧЕЙ И СИСТЕМА ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ
AUTOMATIC SKETCH GENERATION METHOD AND SYSTEM THEREFOR

Изобретение относится к автоматике и вычислительной технике и может быть использовано для создания баз скетчей (фотороботов), предназначенных для решения задач регистрации и поиска изображений лиц по скетчам (фотороботам), поиску лиц в биометрических системах, системах видеонаблюдения и других системах технического зрения.
Динамика развития компьютерных биометрических технологий в последние годы позволила приступить к проблеме поиска оригинального изображения лица в большой базе данных по скетчу, нарисованному по описаниям свидетелей или участников некоторого события (в том числе и криминального характера). Однако стабильное распознавание скетчей и устойчивый поиск соответствующих им фотопортретов в специальных базах является на сегодня практически недостижимым, что показано в Klare В.F. et. al. Matching Forensic Sketches to Mug Shot Photos - IEEE Transactions on PAMI, 2011, Vol.33, №3, pp.639-646 и Нал Hu et. al. Matching Composite Sketches to Face Photos: A Component-Based Approach - IEEE Transactions on Information Forensics and Security, Vol.8, №3, Jan.2013, pp.191-204.
Этот факт является следствием трех основных причин: неприспособленности «старых баз фотопортретов» преступников к современным компьютерным технологиям, используемым в лицевой биометрии; отсутствия необходимых баз скетчей, на которых можно было бы моделировать и исследовать задачи сравнения скетчей и оригинальных фотопортретов; отсутствия опыта решения таких задач.
Именно поэтому интерес к проблеме автоматической генерации скетчей из фотопортретов-оригиналов не ослабевает последние несколько лет, а исследователи обратились к задачам создания баз скетчей в дополнение к известным бенчмарковым базам изображений лиц.
Известен способ (Chang L. et. al. Face Sketch Synthesis via Sparse Representation - International Conference on Pattern Recognition, 2010, pp.2146-2149) генерации скетчей, основанный на использовании библиотеки связанных фрагментов лиц фотопортретов и соответствующих им скетчей и построении оптимальных линейных моделей фото-скетч. При этом необходим анализ известных пар фото-скетч для построения связывающих их моделей, которые потом используются для синтеза скетчей из новых фото, а также средства локализации фрагментов из исходных изображений лиц и соответствующих им скетчей. Недостатком способа является практическая сложность создания полной библиотеки связанных фрагментов изображений лиц, охватывающих возможные варианты локальных областей лиц и, как следствие этого, - невозможность обеспечения высокого качества синтеза скетчей для всех возможных типов лиц. Так, например, в получаемых скетчах не всегда точно отображаются границы и формы исходных лиц, поэтому скетчи представлены в основном только центральными областями лиц.
Известен способ «Sketch generating system and method for generating sketch based on image» (патент US 8300883 B2, опубликованный 30.10.2012), основанный на использовании обучающего состава изображений и его анализа, который включает: детекцию области лица на каждом исходном изображении; построение и использование активной модели форм лица для экстракции локальных областей на лице (глаза, нос, рот); классификацию этих областей и их предобработку с нахождением по ним соответствующих элементов скетчей, из которых составляется финишный портрет скетча. Недостатком способа является большой состав процедур обработки и в том числе использование сложных в реализации алгоритмов для построения активных моделей форм лица.
Общим недостатком перечисленных способов является невозможность создания скетчей в режиме реального времени и непосредственно по заданной базе изображений лиц, а также необходимость использования дополнительных библиотек, составленных из пар фото/скетч или связанных фрагментов лиц из пар фото/скетч. Наконец, существенным недостатком этих способов являются сложные процедуры обработки исходных данных, влияющие на качество получаемых скетчей.
Известен способ (Xuewei Li and Xiaochun Cao. A Simple Framework for Face Photo-Sketch Synthesis - Mathematical Problems in Engineering, 2012, 19 p.), предназначенный для построения скетчей в режиме реального времени по заданной базе изображений лиц. Способ основан на декомпозиции исходного фотопортрета на глобальные и локальные области, их предобработке и трансформации в соответствующий скетч. Здесь глобальная область - это вся область волос (прически) или область открытой кожи. Локальные области - это глаза, брови, нос, рот, линии морщин на лице, тени и блики, позволяющие представить отдельные особенности и детали лиц. Недостатком способа является высокая сложность вычислений, требующая сглаживания исходных изображений (блюр-фильтрация, усреднение соседних пикселей, низкочастотная фильтрация), также вычисление их градиентов яркости на этапе определения положения линий морщин и теней на области лиц. При этом полученные скетчи точно сохраняют все антропометрические параметры исходных изображений и практически являются их точной копией с корреляцией, близкой к единице, между исходным изображением и соответствующим ему скетчем. Такие скетчи могут составить новую базу скетчей в дополнение к известным бенчмарковым базам изображений лиц. Однако ценность такой базы будет невелика, так как данный способ формирования скетчей обуславливает достаточно высокую степень правильных результатов поиска соответствующих им изображений-оригиналов.
Наиболее близким является способ «Методы сравнения фотопортрета-оригинала и скетча» (Кухарев Г.А. и др. Известия СПбГЭТУ «ЛЭТИ», 2013, №6, с.64-78), предназначенный для построения скетчей в режиме реального времени по заданной базе цветных изображений лиц, состоящий из сглаживающей фильтрации исходного цветного изображения, вычисления разности между отфильтрованным изображением и исходным цветным изображением, вычисления негатива полученной разности, вычисления суммы исходного цветного изображения с самим собой и вычисления половины суммы полученного результата и негатива разности между отфильтрованным изображением и исходным цветным изображением, преобразования полученного суммарного цветного изображения в полутоновое изображение исходного скетча, представления исходного скетча в виде матрицы S размером M×N (М - высота, N - ширина скетча в пикселях) и формировании на его основе нового скетча путем простых геометрических преобразований локальной области лица.
Система для осуществления способа состоит из последовательно соединенных устройства генерации исходного скетча из исходного изображения (УГС) и устройства генерации новых скетчей из исходного скетча (УГНС), при этом первый вход системы является входом УГС, а второй вход системы является входом устройства УГНС, выходом системы является выход устройства УГНС, причем УГС содержит последовательно соединенные блок сглаживания усреднением, вход которого соединен с входом устройства УГС, первый вход первого сумматора, второй вход которого соединен с входом УГС, первый блок формирования негатива, а также последовательно соединенные второй блок формирования негатива, второй сумматор, второй вход которого соединен с входом устройства УГС, третий блок формирования негатива, третий сумматор, второй вход которого соединен с выходом первого блока формирования негатива, блоком формирования полутонового изображения, выход которого является выходом УГС, при этом УГНС содержит блок геометрических преобразований области лица, выход которого является выходом устройства УГНС.
Отметим, что преобразования локальной области лица необходимы в моделировании скетчей при неточно заданных, неизвестных или неполных параметрах «исходного изображения» (фото). При этом для формирования скетча в предложенном способе обязательно наличие исходного фотопортрета и основных его антропометрических параметров. Существенными недостатками данного решения является невозможность преобразования локальной области лица в случае отсутствия указанных характеристик, а также невозможность применения этого способа для скетчей, нарисованных по описаниям свидетелей или участников некоторого события (в том числе и криминального характера), поскольку для них также неизвестны истинные антропометрические параметры лица-оригинала.
Техническим результатом, на которое направлено изобретение, является повышение быстродействия формирования исходного скетча на основе исходного изображения (фото) и повышение универсальности его применения за счет реализации автоматической генерации требуемой последовательности скетчей для уже готовых исходных скетчей (фотороботов).
1
2
3
1
1
1
1
2
2
2
2
3
3
3
Указанный технический результат достигается за счет того, что автоматическая генерации скетчей состоит из сглаживающей фильтрации исходного цветного изображения, вычисления разности между отфильтрованным изображением и исходным цветным изображением, вычисления негатива полученной разности, вычисления суммы исходного цветного изображения с самим собой и вычисления половины суммы полученного результата и негатива разности между отфильтрованным изображением и исходным цветным изображением, преобразования полученного суммарного цветного изображения в полутоновое изображение исходного скетча, представления исходного скетча в виде матрицы S размером M×N (М - высота, N - ширина скетча в пикселях), формировании на основе исходного скетча последовательности k=1, 2, …, K (K>2) новых скетчей, для каждого из новых скетчей формируется три параметра изменения лица на исходном скетче: p - длина лица, p - ширина лица, p, - сдвиг линии симметрии изображения, каждый из которых имеет стандартное равномерное распределение, полученные значения параметров масштабируются в диапазоне ±d (d - максимальное значение границ изменения параметров и d≥2), если p>0, то удаляются первые (p-1) строк из матрицы S, если p<0, то сверху матрица S дополняется ее первыми (p-1) строками, выполняется перемасштабирование полученной матрицы до ее первоначального размера M×N, если p>0, то из перемасштабированной матрицы удаляются первые (p-1) столбца, если p<0, то удаляются последние (p-1) столбца, выполняется перемасштабирование полученной матрицы до ее первоначального размера M×N, если p>0, выполняется циклический сдвиг перемасштабированной матрицы влево на (p-1) столбца или вправо, если p<0, а система для осуществления способа состоит из последовательно соединенных устройства генерации исходного скетча из исходного изображения (УГС) и устройства генерации последовательности новых скетчей из исходного скетча (УГНС), при этом первый вход системы является входом УГС, а второй вход системы является входом устройства УГНС, выходом системы является выход устройства УГНС, причем УГС содержит последовательно соединенные блок сглаживания усреднением, вход которого соединен с входом устройства УГС, первый вход первого сумматора, второй вход которого соединен с входом УГС, блок формирования негатива, а также второй сумматор, первый и второй входы которого соединены с входом устройства УГС, третий сумматор, первый вход которого соединен с выходом блока формирования негатива, а выход соединен с блоком формирования полутонового изображения, выход которого соединен с выходом УГС, при этом устройство УГНС содержит последовательно соединенные генератор случайных чисел, блок вычисления параметров изменений, управляющий вход которого соединен с входом устройства УГНС и является управляющим входом установки количества новых генерируемых скетчей и максимального значения границ изменения параметров, а также последовательно соединенные блок изменения длины лица, первый вход которого соединен с выходом УГС, второй вход соединен с входом устройства УГНС, третий вход соединен с первым выходом блока вычисления параметров изменений, блок изменения ширины лица, второй вход которого соединен со вторым выходом блока вычисления параметров изменений, блок сдвига линии симметрии, второй вход которого соединен с третьим выходом блока вычисления параметров изменений, блок записи последовательности скетчей в память, выход которого соединен с выходом устройства УГНС.
Указанный результат достигается за счет того, что формирование последовательности скетчей основано на использовании четырех новых процедур, применяемых K раз к исходному скетчу (K≥2): процедура вычисления трех параметров изменения локальной области лица; процедура изменения высоты лица по значению первого параметра; процедура изменения ширины лица по значению второго параметра и процедура циклического сдвига линии симметрии изображения скетча влево/вправо в соответствии со значением третьего параметра. Параметры «удаления и сдвига» зависят от случайных значений, выбранных датчиком случайных чисел, и заданного значения параметра d, определяющего границы изменения параметров. Перечисленные процедуры позволяют моделировать в последовательности новых скетчей возможные неточности (небольшие искажения пропорций лица и размеров его частей), допущенные при составлении исходного скетча по описаниям свидетелей или участников некоторого события (в том числе и криминального характера). Повышение универсальности обусловлено возможностью независимого использования УГНС для автоматической генерации требуемой последовательности скетчей в случаях, когда имеется уже готовый исходный скетч (фоторобот). Дополнительным техническим результатом изобретения является сокращение сложности вычислений за счет уменьшения состава процедур при формировании исходного скетча на основе исходного изображения (фото) и использованием простых процедур обработки при формировании последовательности новых скетчей, основанных только на манипуляциях с размером исходного изображения.
Сущность изобретения поясняется на фиг.1, где изображена функциональная схема системы, фиг.2, где представлены исходное изображение и результаты его обработки в УГС, фиг.3, где представлены исходные данные и значения индекса SSIM для них, фиг.4, где представлены фоторобот, портрет-оригинал и значения индекса SSIM для них, фиг.5, где представлена динамика изменения значения индекса SSIM, фиг.6, где представлен пример последовательностей скетчей, полученных для базы CUHK, фиг.7, где представлен пример последовательности новых скетчей, полученных на основе скетчей, нарисованных художниками для базы FERET.
Способ осуществляется с помощью системы, функциональная схема которой изображена на фиг.1, состоящей из последовательно соединенных устройства генерации исходного скетча из исходного изображения 1 (УГС) и устройства генерации последовательности новых скетчей из исходного скетча 2 (УГНС), при этом первый вход системы является входом УГС 1, а второй вход системы является входом устройства УГНС 2, выходом системы является выход устройства УГНС 2, причем УГС 1 содержит последовательно соединенные блок 3 сглаживания усреднением, вход которого соединен с входом устройства УГС 1, первый вход первого сумматора 4, второй вход которого соединен с входом УГС 1, блок 5 формирования негатива, а также второй сумматор 6, первый и второй вход которого соединены с входом устройства УГС 1, третий сумматор 7, первый вход которого соединен с выходом блока формирования негатива 5, а выход соединен с блоком 8 формирования полутонового изображения, выход которого соединен с выходом УГС 1, а устройство УГНС 2 содержит последовательно соединенные генератор случайных чисел 13, блок 14 вычисления параметров изменений, управляющий вход которого соединен с входом устройства УГНС 2 и является управляющим входом установки количества новых генерируемых скетчей и максимального значения границ изменения параметров, а также последовательно соединенные блок 9 изменения длины лица, первый вход которого соединен с выходом УГС 1, второй вход соединен с входом устройства УГНС 2, третий вход соединен с первым выходом блока 14 вычисления параметров изменений, блок 10 изменения ширины лица, второй вход которого соединен со вторым выходом блока 14 вычисления параметров изменений, блок 11 сдвига линии симметрии, второй вход которого соединен с третьим выходом блока 14 вычисления параметров изменений, блок 12 записи последовательности скетчей в память, выход которого соединен с выходом устройства УГНС 2.
Способ осуществляется следующим образом.
На первый вход системы УГС 1 подаются исходные цифровые изображения.
В блоке 3 выполняется сглаживающая фильтрация.
В блоке 4 вычисляется разность между отфильтрованным изображением и исходным цветным изображением.
В блоке 5 вычисляется негатив полученной разности.
В блоке 6 вычисляется сумма исходного цветного изображения с самим собой.
В блоке 7 вычисляется половина суммы результатов, полученных в блоках 5 и 6.
В блоке 8 выполняется преобразование полученного суммарного цветного изображения в полутоновое изображение исходного скетча.
На фиг.2. показано исходное изображение и результаты его обработки в блоках УГС1.
На первый вход устройства УГНС 2 подается исходный скетч, сформированный в УГС 1, либо скетч, составленный по описаниям свидетелей или участников некоторого события (в том числе и криминального характера). На основе этого скетча формируются K>2 новых скетчей с геометрическими изменениями области лица.
Пусть нам задана матрица S размером M×N, представляющая исходное полутоновое изображение скетча. При этом примем, что область лица на скетче занимает не менее 80% всего исходного изображения.
1
1
1
1
1
В блоке 9 выполняется изменение длины лица. На третий вход блока подается значение параметра p, связанного с изменением длины лица на исходном изображении и, соответственно, положения линии глаз, если p>0, то удаляются первые (p-1) строк из матрицы S. Если p<0, то сверху матрица S дополняется ее первыми (p-1) строками. Указанные действия можно записать следующим образом:
<mrow><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mi>var</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo><mo>=</mo><mrow><mo>{</mo><mrow><mtable><mtr><mtd><mrow><mi>S</mi><mo stretchy="false">(</mo><msub><mi>p</mi><mn>1</mn></msub><mo>:</mo><mi>M</mi><mo>,</mo><mo>:</mo><mo stretchy="false">)</mo><mo>,</mo><mtext> </mtext><mtext> </mtext><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>p</mi><mn>1</mn></msub><mo>></mo><mn>0</mn></mrow></mtd></mtr><mtr><mtd><mrow><mo stretchy="false">[</mo><mi>S</mi><mo stretchy="false">(</mo><mn>1</mn><mo>:</mo><msub><mi>p</mi><mn>1</mn></msub><mo stretchy="false">)</mo><mo>;</mo><mtext> </mtext><mi>S</mi><mo stretchy="false">]</mo><mo>,</mo><mtext> </mtext><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>p</mi><mn>1</mn></msub><mo><</mo><mn>0</mn></mrow></mtd></mtr></mtable></mrow></mrow><mo>,</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow>
(1)
где S(var×N) - матрица с уменьшенным или увеличенным числом строк, что определяется параметром var.
(1)
(1)
1
1
При этом матрица-результат S в (1) удлиняется, если p>0, или уменьшается, если p<0. Далее выполняется перемасштабирование матрицы S до ее первоначального размера M×N так, что:
<mrow><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mi>var</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo><mo>→</mo><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo><mo>.</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow>
(1)
1
1
При этом длина лица в матрице-результате S в (2) увеличивается, если выполнялось условие p>0, или уменьшается, если выполнялось условие p<0, при этом изменение области лица скетча будет находиться в пределах значений ±d от исходной длины лица.
2
2
2
2
2
(1)
(1)
В блоке 10 выполняется изменение ширины лица. На второй вход блока подается значение параметра p, связанного с изменением ширины лица. Если p>0, то удаляются первые (p-1) столбцов из матрицы S. Если p<0, то удаляются последние (p-1) столбцов матрицы S. Указанные действия можно записать следующим образом:
<mrow><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>var</mi><mo stretchy="false">)</mo><mo>=</mo><mrow><mo>{</mo><mrow><mtable><mtr><mtd><mrow><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mo>:</mo><mo>,</mo><msub><mi>p</mi><mn>2</mn></msub><mo>:</mo><mi>N</mi><mo stretchy="false">)</mo><mo>,</mo></mrow></mtd><mtd><mrow><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>p</mi><mn>2</mn></msub><mo>></mo><mn>0</mn></mrow></mtd></mtr><mtr><mtd><mrow><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mo>:</mo><mo>,</mo><mn>1</mn><mo>:</mo><mi>N</mi><mo>−</mo><mi>a</mi><mi>b</mi><mi>s</mi><mo stretchy="false">(</mo><msub><mi>p</mi><mn>2</mn></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo></mrow></mtd><mtd><mrow><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>p</mi><mn>2</mn></msub><mo>></mo><mn>0</mn></mrow></mtd></mtr></mtable></mrow></mrow><mo>,</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>3</mn><mo stretchy="false">)</mo></mrow>
(2)
2
2
при этом матрица-результат S в (3) становится на abs(p-1) столбцов меньше при любом значении p.
(2)
Выполняется перемасштабирование матрицы S до ее первоначального размера M×N:
<mrow><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>var</mi><mo stretchy="false">)</mo><mo>→</mo><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo><mo>,</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>4</mn><mo stretchy="false">)</mo></mrow>
что неминуемо приведет к расширению области лица в поле скетча. При этом без учета изменения длины области лица в (2) расширение области лица по (4) определится величиной, близкой к значению d.
3
3
3
3
(2)
В блоке 11 выполняется сдвиг линии симметрии изображения. На второй вход блока подается значение параметра p, связанное с изменением положения линии симметрии на области лица. Выполняется циклический сдвиг матрицы S влево на (p-1) столбцов, если p>0, или вправо, если p<0, что можно записать следующим образом:
<mrow><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>3</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo><mo>=</mo><mrow><mo>{</mo><mrow><mtable><mtr><mtd><mtable columnalign="left"><mtr><mtd><mo stretchy="false">[</mo><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mo>:</mo><mo>,</mo><msub><mi>p</mi><mn>3</mn></msub><mo>+</mo><mn>1</mn><mo>:</mo><mi>N</mi><mo stretchy="false">)</mo><mtext> </mtext><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mo>:</mo><mo>,</mo><mn>1</mn><mo>:</mo><msub><mi>p</mi><mn>3</mn></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>,</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>p</mi><mn>2</mn></msub><mo>></mo><mn>0</mn></mtd></mtr><mtr><mtd><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mo>:</mo><mo>,</mo><mn>1</mn><mo>:</mo><mi>N</mi><mo>−</mo><mi>a</mi><mi>b</mi><mi>s</mi><mo stretchy="false">(</mo><msub><mi>p</mi><mn>3</mn></msub><mo stretchy="false">)</mo><mo>+</mo><mn>1</mn><mo>:</mo><mi>N</mi><mo stretchy="false">)</mo><mtext> </mtext><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mo>:</mo><mo>,</mo><mi>N</mi><mo>−</mo><mi>a</mi><mi>b</mi><mi>s</mi><mo stretchy="false">(</mo><msub><mi>p</mi><mn>3</mn></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>,</mo><mtext> </mtext><mtext> </mtext><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mi>p</mi><mn>2</mn></msub><mo>></mo><mn>0</mn></mtd></mtr></mtable></mtd><mtd><mrow><mo>.</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow></mtd></mtr></mtable></mrow></mrow></mrow>
Это приводит к циклическому сдвигу центральной части изображения скетча, нарушающему симметрию всего изображения, и сдвигу линии симметрии лица. Перепишем результат (5) в новой форме:
<mrow><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><msup><mi>S</mi><mrow><mo stretchy="false">(</mo><mn>3</mn><mo stretchy="false">)</mo></mrow></msup><mo>,</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>6</mn><mo stretchy="false">)</mo></mrow>
где матрица-результат (6) представляет собой новый скетч.
В блоке 12 выполняется запись последовательности К новых сформированных скетчей в память.
1
2
3
В блоке 13 генератор равномерно распределенных случайных чисел формирует параметры p, p, p.
В блоке 14 выполняется вычисление параметров изменений скетча. На управляющий вход блока подаются значения d (диапазон изменения параметров скетча) и K (количество новых скетчей).
Для каждого k=1, 2, …, K значения, полученные из блока 13, масштабируются в диапазоне ±d так, что:
<mrow><msub><mi>p</mi><mi>i</mi></msub><mo>=</mo><mi>s</mi><mi>i</mi><mi>g</mi><mi>n</mi><mo stretchy="false">(</mo><msubsup><mi>R</mi><mi>n</mi><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo stretchy="false">)</mo><mi>f</mi><mi>i</mi><mi>x</mi><mo stretchy="false">(</mo><mi>d</mi><msubsup><mi>R</mi><mi>u</mi><mi>i</mi></msubsup><mo stretchy="false">)</mo><mo>,</mo><mtext> </mtext><mi>д</mi><mi>л</mi><mi>я</mi><mtext> </mtext><mi>i</mi><mo>=</mo><mn>1</mn><mo>,</mo><mn>2</mn><mo>,</mo><mn>3</mn><mo>,</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>7</mn><mo stretchy="false">)</mo></mrow>
1
<mrow><msubsup><mi>R</mi><mi>n</mi><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></msubsup></mrow>
<mrow><msubsup><mi>R</mi><mi>u</mi><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></msubsup></mrow>
<mrow><mi>s</mi><mi>i</mi><mi>g</mi><mi>n</mi><mrow><mo>(</mo><mrow><msubsup><mi>R</mi><mi>n</mi><mrow><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></msubsup></mrow><mo>)</mo></mrow></mrow>
где: p - параметр; d - максимальное значение границ изменения параметров и d≥2;
и
нормально и равномерно распределенные случайные числа соответственно;
- знак числа.
1
1
2
3
При этом назначение параметров p, вычисляемых по (7), следующее: параметр p определяет изменение длины лица на исходном скетче и соответственно положения линии глаз; параметр p определяет изменение ширины лица на исходном скетче; параметр p определяет изменение положения линии симметрии лица на исходном скетче.
Следует заметить, что если скетчи получаются непосредственно из исходных фотопортретов без локальных изменений области лица, то они распознаются простыми системами распознавания изображений лиц со 100% результатом. Однако в реальной ситуации при составлении исходного скетча по описаниям свидетелей или участников некоторого события (в том числе и криминального характера) возможны неточности (небольшие искажения пропорций лица и размеров его частей). Поэтому для формирования «правдивого сценария» используется УГНС 2, моделирующее различные искажения при неточно заданных или неполных параметрах «исходного фотопортрета». При этом результативность их распознавания снижается. Отмеченные факты вполне объяснимы, поскольку изменяется локальная структура скетчей, что позволяет приблизить их к реальной ситуации.
Для сформированных новых скетчей сохраняется субъективное внешнее сходство с соответствующими им фотопортретами, но существенно уменьшается значение индекса структурного подобия между ними (Structural SIMilarity - SSIM).
На фиг.3 показаны: 1 - исходный фотопортрет; 2 - скетч, сформированный по предложенному методу в УГС 1; 3 - скетч, нарисованный художником (база CUHK Student Sketch Databse: http://mmlab.ie.cuhk.edu.hk/facesketch.html).
Внизу слева показаны значения индекса SSIM между фотопортретом 1 и скетчем 2, полученными в процессе их формирования в УГС 1 и в УГНС 2. Нижняя кривая показывает значение индексов SSIM для девяти скетчей, сформированных в УГНС 2.
Внизу справа показаны значения индекса SSIM между фотопортретом 1 и новыми скетчами, сформированными из исходного скетча 3 (нижняя кривая).
Как видно из приведенных результатов, значения индекса SSIM для скетчей последовательности, сформированной в УГНС 2, ниже значений индекса SSIM для исходных скетчей. Таким образом, скетчи, сформированные в УГНС 2, менее подобны портретам-оригиналам и, следовательно, качество этих скетчей стало выше, поскольку именно эти скетчи могут быть использованы для составления базы скетчей для моделирования и исследования задач поиска по ним фотопортретов-оригиналов. При этом сформированные на третьем этапе скетчи отвечают требованиям правдивого сценария, поскольку учитывают возможность неполной информации о портретах-оригиналах, - неточно заданных или неполных параметрах «исходного фотопортрета».
Предлагаемый способ формирования скетчей может быть применен также и для фотороботов, используемых в криминалистической практике. На фиг.4 приведены фоторобот и соответствующий ему портрет-оригинал (из работы Klare В.F. et. al. Matching Forensic Sketches to Mug Shot Photos - IEEE Transactions on PAMI, 2011, Vol.33, №3, pp.639-646) и значения индексов SSIM между ними до их обработки и после.
1
2
3
1
3
3
Здесь по порядку слева направо показаны: скетч (фоторобот), полученный композиционным методом по словесному портрету; оригинальное фото, соответствующее скетчу; вариант фоторобота, полученного в УГНС 2 (цифры над ним - значения параметров p, p и p). Эти результаты показывают, что индекс SSIM для исходного скетча и фото оригинала выше, чем индекс SSIM для полного процесса обработки, хотя внешне эти портреты не изменились. На фиг.5 показана динамика изменения индекса SSIM для различных значений текущих параметров p, p и p, для фоторобота (а) и портрета-оригинала (б).
Приведенный пример показывает, что предлагаемый способ обладает характеристикой универсальности за счет возможности независимого использования УГНС 2 для любых доступных баз исходных данных (изображений лиц или скетчей (фотороботов).
На фиг.6а приведены примеры изображений базы фотопортретов CUHK, на фиг.6б приведены последовательности новых скетчей, сформированных для данных изображений при K=5 и d=3.
На фиг.7а показаны 6 изображений базы FERET (Face Sketch FERET Database: http://mmlab.ie.cuhk.edu.hk/cufsf/), на фиг.7б - соответствующие им исходные скетчи, нарисованные художником, на фиг.7в - последовательности сформированных новых скетчей при K=6 и d=4.
Предпочтительным вариантом реализации устройства является его использование для создания баз скетчей (фотороботов), предназначенных для решения задач регистрации и поиска изображений лиц по скетчам (фотороботам), поиска лиц в большой базе данных по скетчу, нарисованному по описаниям свидетелей или участников некоторого события (в том числе и криминального характера), для повышения эффективности существующих систем видеонаблюдения и создания нового класса интеллектуальных систем, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение, биометрическая идентификация личности, системы технического зрения. При этом прибор реализуется в виде платы устройств, в состав которой входит, по крайней мере, один сигнальный процессор.
Таким образом, предложенный способ автоматической генерации скетчей имеет существенно более низкую вычислительную сложность вычислений при формировании исходного скетча на основе исходного изображения (фото) и обладает универсальностью за счет возможности автоматической генерации требуемой последовательности скетчей не только из исходного изображения, но и для готового исходного скетча (фоторобота).