СПОСОБ ФОРМИРОВАНИЯ КОМБИНИРОВАННОГО ИЗОБРАЖЕНИЯ, СИСТЕМА ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ, СПОСОБ ВЫЧИСЛЕНИЯ ЗНАЧЕНИЯ РАССОГЛАСОВАНИЯ И НОСИТЕЛЬ ИНФОРМАЦИИ
METHOD OF FORMING COMPOSITE IMAGE, SYSTEM FOR REALISING SAID METHOD, METHOD OF CALCULATING MISMATCH VALUE AND DATA MEDIUM

Область техники, к которой относится изобретение
Настоящее изобретение относится к обработке видеосигналов, в частном случае к формированию комбинированного изображения.
Уровень техники
Часто возникает необходимость в идентификации личности путем сравнения лица личности с записанным изображением лица. Такие ситуации регулярно возникают в полицейских расследованиях, когда, например, проводится полицейский поиск подозреваемых лиц, на основании изображений камер безопасности.
В том случае, если используемое для сравнения изображение имеет низкое качество, возникают трудности. Освещение в магазине может быть тусклым. Субъект опознавания может не смотреть в камеру или часть лица субъекта может быть скрыта свидетелями. Изображение может быть записано на носитель информации, такой как магнитная лента, подвергшийся повреждению.
Имеются преимущества преобразования записанного изображения в стандартное комбинированное изображение, представленное фронтальным изображением и профилем, сходным с изображением, составленным личностью под руководством полицейского художника. Такое изображение может быть легко использовано в качестве основы для сравнения.
Изображение может сохранять свое качество, несмотря на шум, добавленный при преобразовании и копировании. Изображение может быть преобразовано для добавления черт, связанных с течением времени или для изменений, связанных с отдельной зоной лица, например с формой растительности на лице.
Построение комбинированного изображения - это интерактивный процесс. Очевидец, работающий с полицейским художником, направляет действия, связанные с изменением внешнего вида и мест расположения отличительных особенностей, таких как уши и глаза до тех пор, пока очевидец не станет воспринимать комбинированное изображение сходным с лицом в своей памяти. Человек, работающий с отдельным изображением лица вместо работы со свидетелем, имеет преимущество, заключающееся в том, что он не основывается только на памяти. Тем не менее, человек, работающий с отдельным изображением, не имеет возможности получить от свидетеля указание на прекращение модификации изображения, на основании собственных критериев свидетеля, решающего, что сходство комбинированного изображения и отдельного изображения стало достаточно близким. При неограниченном числе комбинаций отличительных особенностей и приемлемых мест их расположения, человек, работающий с отдельным изображением, может поймать себя на том, что он перебирает одну комбинацию за другой, без возможности остановиться на одной комбинации, связанной с комбинированным изображением, наиболее сходным с отдельным изображением.
Раскрытие изобретения
В соответствии с одним из аспектов изобретения способ формирования комбинированного изображения из отдельного изображения включает в себя, получение отдельного изображения в вычислительной системе и сравнение отдельного изображения с комбинированным изображением, в процессе чего создается значение рассогласования. Комбинированное изображение и/или отдельное изображение изменяется для уменьшения значение рассогласования.
В некоторых вариантах реализации нецифровое изображение может быть оцифровано для формирования отдельного изображения.
В отдельных вариантах реализации способ формирования комбинированного изображения может включать в себя изменение отличительной особенности, такой как рот, нос, глаз, бровь и ухо, прически и контура лица, а также и место расположения отличительной особенности на комбинированном изображении.
В других вариантах реализации способ формирования комбинированного изображения может включать в себя изменение размещения, ориентации, размера, и внешнего вида отдельного изображения. Способ формирования комбинированного изображения может включать в себя отображение панели инструментов для изменения отдельного изображения и может, дополнительно, содержать отображение на панели инструментов кнопок для изменения размещения отдельного изображения, путем смещения отдельного изображения влево, вправо, вверх и вниз, для изменения ориентации отдельного изображения путем вращения по часовой стрелке и против часовой стрелки, для изменения размера отдельного изображения путем увеличения и уменьшения и для изменения внешнего вида отдельного изображения путем выбора возможности отображения изображения в цвете и оттенках серого. Кроме того, панель инструментов может включать в себя кнопки для повышения яркости комбинированного изображения и снижения яркости отдельного изображения и для снижения яркости комбинированного изображения и повышения яркости отдельного изображения.
В иллюстративных вариантах реализации способ формирования комбинированного изображения может включать в себя отображение совмещенного изображения, содержащего измененное комбинированное изображение и измененное отдельное изображение, где измененное комбинированное изображение и измененное отдельное изображение могут быть отображены отдельно.
В дальнейших вариантах реализации способ формирования комбинированного изображения может включать в себя попиксельное сравнение отдельного изображения с комбинированным изображением. Чистые белые области комбинированного изображения могут быть обработаны как чистые черные области. Средний уровень освещенности комбинированного изображения может быть вычислен и вычтен из комбинированного изображения. Средний уровень освещенности отдельного изображения может быть вычислен и вычтен из отдельного изображения. В соответствии с другим аспектом изобретения способ для вычисления значения рассогласования включает в себя вычисление средней яркости пикселей совмещенного комбинированного изображения, а также включает вычисление установленной яркости пикселей совмещенного комбинированного изображения путем вычитания средней яркости пикселей совмещенного комбинированного изображения из яркости каждого пикселя в совмещенном комбинированном изображении, вычисление средней яркости пикселей совмещенного отдельного изображения, вычисление установленной яркости пикселей совмещенного отдельного изображения путем вычитания средней яркости пикселей совмещенного отдельного изображения из яркости каждого пикселя в совмещенном отдельном изображении, вычисление разницы яркости совмещенных пикселей путем вычитания каждой установленной яркости пикселей совмещенного комбинированного изображения из установленной яркости пикселей отдельного изображения для каждого пикселя, вычисление абсолютного значения разности яркости совмещенных пискелей для каждого пикселя, вычисление общей совмещенной разницы яркости путем суммирования для каждого пикселя абсолютного значения разницы яркости совмещенных пикселей, вычисление общей разницы отдельных совмещенных яркостей путем суммирования установленной яркости пикселей совмещенного отдельного изображения для всех пикселей и вычисление значение рассогласования путем деления общей совмещенной разницы яркости на общую разницу яркости совмещенного отдельного изображения.
В соответствии с дополнительным аспектом изобретения система для формирования комбинированного изображения на основе отдельного изображения, включает в себя средство для получения отдельного изображения, средство для сравнения отдельного изображения с комбинированным изображением, создание значения рассогласования и средство для изменения комбинированного изображения и/или отдельного изображения для уменьшения значения рассогласования.
В частных вариантах реализации средство для получения изображения может включать в себя антенну, а средство для сравнение отдельного изображения с комбинированным изображением может включать в себя компьютер и монитор. Компьютер может включать в себя память, хранящую вычислительный код для исполнения компьютером для сравнения отдельного изображения с комбинированным изображением и формирования значения рассогласования. Средство для изменения комбинированного изображения и/или отдельного изображения для уменьшения значения рассогласования может включать в себя устройство для выбора изменения. Устройство выбора может содержать манипулятор мышь.
В соответствии с другим аспектом изобретения компьютерный программный продукт для использования на вычислительной системе для формирования комбинированного изображения на основе отдельного изображения содержит носитель информации, пригодный для использования компьютером, имеющий машиночитаемый программный код, причем машиночитаемый программный код включает в себя программный код для сравнения отдельного изображения с комбинированным изображением, создания значения рассогласования и программный код для изменения комбинированного изображения и/или отдельного изображения для уменьшения значения рассогласования.
В других вариантах реализации программный код для сравнения отдельного изображения с комбинированным изображением может включать в себя программный код для вычисления средней яркости пикселей совмещенного комбинированного изображения, программный код для вычисления установленной яркости пикселей совмещенного комбинированного изображения путем вычитания средней яркости пикселей совмещенного комбинированного изображения из яркости каждого пикселя совмещенного комбинированного изображения, программный код для вычисления средней яркости пикселей совмещенного отдельного изображения, программный код для вычисления установленной яркости пикселей совмещенного отдельного изображения путем вычитания средней яркости пикселей совмещенного отдельного изображения из яркости каждого пикселя на совмещенном отдельном изображении, программный код для вычисления разницы яркости совмещенных пикселей путем вычитания каждой установленной яркости пикселей совмещенного комбинированного изображения из установленной яркости пикселей отдельного изображения, для каждого пикселя, программный код для вычисления абсолютного значения разницы яркости совмещенных пикселей, для каждого пикселя, программный код для вычисления общей разницы совмещенной яркости путем сложения абсолютных значений разниц яркости всех совмещенных пикселей, программный код для вычисления общей отдельной разницы совмещенной яркости путем сложения установленных яркостей всех пикселей совмещенного отдельного изображения и программный код для вычисления значения рассогласования путем деления общей разницы совмещенной яркости на общую разницу яркости совмещенного отдельного изображения.
В других вариантах реализации программный код для изменения комбинированного изображения и/или отдельного изображения для уменьшения значения рассогласования может включать в себя программный код для введения отличительной особенности в комбинированное изображение, программный код для изменения места расположения отличительной особенности в комбинированном изображении, программный код для изменение размещения, и/или ориентации, и/или размера, и/или внешнего вида отдельного изображения, программный код для изменения размещения отдельного изображения путем смещения отдельного изображения влево, вправо, вверх и вниз, программный код для изменения ориентации отдельного изображения путем вращения отдельного изображения по часовой стрелке и против часовой стрелки, программный код для изменения размера отдельного изображения путем увеличения и путем уменьшения, программный код для изменения внешнего вида отдельного изображения путем выбора отображения отдельного изображения в цвете и в оттенках серого и программный код для повышения яркости комбинированного изображения и снижения яркости отдельного изображения и для снижения яркости комбинированного изображения и повышения яркости отдельного изображения.
Краткое описание чертежей
Вышеупомянутые отличительные особенности изобретения будут более понятными при обращении к приведенному ниже подробному описанию, взятому со ссылками на приложенные графические материалы, на которых:
Фиг.1 - является схематической иллюстрацией вычислительной системы для формирования комбинированного изображения;
Фиг.2 - иллюстрирует окно компьютерного дисплея, содержащее комбинированное изображение;
Фиг.3 - иллюстрирует окно компьютерного дисплея, содержащее комбинированное изображение, отдельное изображение, совмещенное изображение, и значение рассогласования;
Фиг.4 - иллюстрирует панель инструментов, содержащую кнопки для изменения отдельного изображения и комбинированного изображения;
Фиг.5 - иллюстрирует процесс вычисления значения рассогласования;
и
Фиг.6 - иллюстрирует процесс формирования комбинированного изображения на основе отдельного изображения.
Осуществление изобретения
Определения
При использовании в настоящем описании и сопутствующих пунктах формулы изобретения, перечисленные ниже термины должны иметь указанное ниже значение, за исключением случаев, когда контекст описания требует другого толкования:
Комбинированное изображение есть цифровое изображение индивидуума, созданное путем выбора индивидуума и сбора отличительных особенностей для представления внешнего вида индивидуума.
Отдельное изображение является цифровым представлением реального изображения индивидуума.
Совмещенное изображение является цифровым изображением комбинированного изображения, наложенного на отдельное изображение. При наложении комбинированного изображения на отдельное изображение, размеры, ориентации, размещения и яркости изображений могут быть изменены перед объединением яркостей в соответствующих пикселях для измененного объединенного изображения и отдельных изображений. Объединение может соответствовать суммированию яркостей в соответствующих пикселях для измененного объединенного изображения и отдельных изображений после усреднения суммы.
В одном из вариантов реализации настоящее изобретение позволяет обеспечить создание комбинированного изображения и сравнение с отдельным изображением. На основе сравнения комбинированное изображение может быть отредактировано для лучшего сходства отдельного изображения путем использования индикатора соответствия между объединенным и отдельным изображениями.
Фиг.1 показывает вычислительную систему 100, содержащую компьютер 105, дисплей 110, и манипулятор мышь 115, на которой работает компьютерная программа для формирования комбинированного изображения. Одним из примеров существующей программы формирования комбинированного изображения является программа Faces, Ultimate, Composite Picture™. С использованием программы формирования комбинированного изображения, оператор 120 отображает и изменяет комбинированное изображение 127.
Фиг.2 показывает окно 125 комбинированного изображения, связанное с программой формирования комбинированного изображения, на дисплее 110. Комбинированное изображение 127, представленное в окне 125 комбинированного изображения, отображает все вставки, удаления и изменения отличительных особенностей. Оператор 120 выбирает отличительную особенность 200 из библиотеки, которая включает в себя отличительные особенности, такие как глаза 210, брови 215, уши 220, носы 225, рты 230, губы 245, зубы 240, прически 235, родимые пятна 250, шрамы 255, и лица 260. Оператор может, в дальнейшем, выбрать отличительные особенности 200 на основе качеств, таких как цвет (например, глаз, волос, и лица), контур (например, глаза, лица, ушей и носа), и ориентации (например, глаза и лица). Оператор может изменить места расположения отличительной особенности путем перемещения отличительной особенности 200 вдоль дисплея 110 комбинированного изображения 127 под управлением манипулятора мыши 115.
Фиг.3 показывает комбинированного изображения на дисплее 110. Окно 130 оценки комбинированного изображения включает в себя три изображения: комбинированное изображение 131, отдельное изображение 132, и совмещенное изображение 133. Слева расположено комбинированное изображение 131, копия комбинированного изображения 127, связанная с окном 125 комбинированного изображения и периодически обновляемое, например, каждые 500 миллисекунд. Посередине расположено отдельное изображение 132. Справа расположено совмещенное изображение 133, которое включает в себя комбинированное изображения 131 наложенное на отдельное изображение 132. Окно 130 оценки комбинированного изображения также содержит значение рассогласования 134. По мере того, как оператор 120 изменяет комбинированное изображение 131 для приведения в соответствие с отдельным изображением 132, значение рассогласования 134 изменяется от значения, примерно равного "1", которое отображает полное несоответствие, к значению, примерно равному "0", которое отображает отличное соответствие.
Отдельное изображение 132, в цифровом виде, хранится в компьютере 105, полученное цифрового источника 140, который может включать в себя цифровую камеру и Интернет, также изображение может быть получено не цифрового источника 142, который может включать в себя пленочную камеру и кассетный видеомагнитофон (VCR). Нецифровое изображение 131 из нецифрового источника 142 сначала оцифровывается устройством ввода графической информации 144 перед хранением в виде отдельного изображения 132. Отдельное изображение 132 может быть представлено в виде файла, например, следующих типов: BMP, JPEG, WMF, GIF, PNG, TIFF, и Exit. Перед сравнением комбинированного изображения 131 с отдельным изображением 132, отдельное изображение 132 может быть изменено для удаления или снижения влияния факторов, не влияющих на отличительные особенности 200. Пример изменения отдельного изображения 132, содержат смещение (вверх, вниз, влево и вправо), вращение (по часовой стрелке и против часовой стрелки), масштабирование (увеличение и уменьшение) и параметры отображения (в цвете и оттенках серого).
Накопительный эффект от указанных выше изменений отдельного изображения 132 отображен на совмещенном изображении 133, где комбинированное изображение 315 совмещено с измененным отдельным изображением 310. Совмещенное комбинированное 315 и отдельное измененное 310 изображения могут быть в дальнейшем изменены относительно друг друга. Яркость совмещенного измененного комбинированного изображения 315 может быть повышена, а яркость совмещенного измененного отдельного изображения 310 понижена, либо яркость совмещенного измененного отдельного изображения 310 может быть понижена и яркость совмещенного измененного комбинированного изображения 315 понижена.
Фиг.4 иллюстрирует вариант выполнения панели инструментов 135, включенной в дисплей 110 для осуществления внесения изменений в совмещенное отдельное 310 и совмещенное объединенное 315 изображения. Панель инструментов 135 может содержать кнопки 400 для эффективного внесения изменений в совмещенное отдельное изображение 310 (смещение вверх 420, вниз 425, влево 410 и вправо 415; вращение по часовой стрелке 430 и против часовой стрелки 435; увеличение 450 и уменьшение 455; отображение в цвете 440 и в оттенках серого 445) и в совмещенное отдельное изображение 310, относительно совмещенного комбинированного изображения 315 (увеличение в совмещенном отдельном изображении яркости и уменьшение в совмещенном комбинированном изображении яркости 465; уменьшение в совмещенном отдельном изображении яркости и увеличение в совмещенном комбинированном изображении яркости 460). Оператор 120 может использовать манипулятор мышь 115 для выбора применяемого изменения путем выбора соответствующей кнопки. Каждый выбор кнопки 400 может применять небольшую разницу указанного изменения, позволяя, таким образом, оператору 120 осуществлять точные установки для совмещения изображений 310 и 315.
Для каждого совмещенного изображения 133, содержащего совмещенное комбинированное изображение 315 и совмещенное отдельное изображение 310, дисплей 110, также содержит значение рассогласования 134. Совмещенное комбинированное изображение 315 и совмещенное отдельное изображение 310 отображены, с одинаковым разрешением, то есть. С одинаковым числом пикселей, например, соответствующими областям 600×800 пикселей. Значение рассогласования 134 определяет степень сходства совмещенного комбинированного изображения 315 с совмещенным отдельным изображением 310 и вычисляется на попиксельной основе, то есть, пиксель за пикселем.
Фиг.5 - иллюстрирует процесс 500 вычисления значения рассогласования 134. На шаге 504, яркости всех пикселей на совмещенном комбинированном изображении 315 суммируются и делятся на общее число пикселей на совмещенном комбинированном изображении 315 для нахождения средней яркости пикселей для совмещенного комбинированного изображения 315, Av(oci). На шаге 506 Av(oci) вычитается из яркости каждого пикселя совмещенного комбинированного изображения 315 для нахождения установленной яркости пикселей совмещенного комбинированного изображения. На шаге 508 яркости всех пикселей на совмещенном отдельном изображении 310 суммируются и делятся на общее число пикселей совмещенного отдельного изображения 310 для нахождения средней яркости пикселей для совмещенного отдельного изображения, Av(osi). На шаге 510 Av(osi) вычитается из яркости каждого пикселя на совмещенном отдельном изображении 310 для нахождения установленной яркости пикселей совмещенного отдельного изображения. На шаге 512 каждая установленная яркость пикселей совмещенного комбинированного изображения вычитается из соответствующей установленной яркости пикселя совмещенного отдельного изображения, для нахождения разниц яркостей совмещенных пикселей, (соответствующие совмещенные пиксели комбинированного и отдельного изображения имеют одинаковые относительные места расположения на изображении, то есть одинаковые вертикальные и горизонтальные размещения, как схематически показано с использованием пикселей 320 и 325 на Фиг.3). Эквивалентным образом каждая установленная яркость пикселя совмещенного отдельного изображения может быть вычтена из соответствующей яркости пикселя установленного совмещенного комбинированного изображения для нахождения разностей яркостей совмещенных пикселей. На шаге 514 берется абсолютное значение каждой разницы яркостей совмещенных пикселей. На шаге 516 абсолютные значения всех разностей яркостей совмещенных пикселей суммируются для нахождения общей разницы яркостей совмещенных пикселей. На шаге 518 суммируются все установленные яркости пикселей совмещенного отдельного изображения для нахождения. На шаге 520 общая разница яркостей совмещенных пикселей делится на общую яркость пикселей совмещенного отдельного изображения для нахождения значение рассогласования 134.
Перед вычислением значения рассогласования 134 яркости пикселей совмещенного комбинированного изображения и отдельного изображения могут быть установлены (заданы) для устранения систематической разницы между совмещенными изображениями. Может быть установлена одинаковая яркость фонов совмещенного комбинированного изображения и совмещенного отдельного изображения. Поскольку фон комбинированного изображения часто бывает белым, а фон отдельного изображения - темным, фон совмещенного комбинированного изображения может быть обработан, как белый, при вычислении значения рассогласования 134, для достижения меньшего значения рассогласования 134 с меньшим перекосом, чем тот, который может быть получен в результате абсолютного сравнения пикселей сравнения.
По мере того, как оператор 120 изменяет комбинированное изображение 127, соответствующим образом изменяется значение рассогласования 134, повышаясь в результате худшего соответствия и снижаясь в результате лучшего соответствия. Комбинированное изображение 127, отвечающее лучшему соответствию, может быть сохранено в компьютере 105. Когда значение рассогласования 134 первоначально достигает предварительно заданного порогового значения или когда значение рассогласования 134 снижается ниже значения рассогласования хранящегося в текущий момент лучшего комбинированного изображения, в процессе предварительно заданного числа изменений в комбинированном изображении, хранящееся в текущий момент лучшее комбинированное изображение может быть объявлено окончательным комбинированным изображением.
Фиг.6 иллюстрирует процесс 600 для формирования комбинированного изображения на основе отдельного изображения 132. На шаге 604 вычислительная система получает отдельное изображение. На шаге 606 отдельное изображение 132 сравнивается с комбинированным изображением 131 в процессе создания значения рассогласования 134. Если значение рассогласования 134 имеет удовлетворительную величину, процесс 600 завершается. Если значение рассогласования 134 неудовлетворительное, процесс 600 продолжается до шага 608, где комбинированное изображение 131 и/или отдельное изображение 132 изменяется для уменьшения значения рассогласования 134. Процесс 600 затем возвращается на шаг 606 для другого сравнения.
Различные варианты реализации изобретения могут быть реализованы, по крайней мере, частично, на любом известном языке вычислительного программирования. Например, некоторые варианты реализации могут быть выполнены на процедурном программном языке (например, "С"), или объектно-ориентированном языке программирования (например, "C++"). Другие варианты реализации изобретения могут быть реализованы как заранее запрограммированные аппаратные элементы (например, специализированные интегральные схемы, программируемые пользователем вентильные матрицы и цифровые процессоры сигналов) или другие сходные компоненты.
В альтернативном варианте исполнения раскрытые способ и устройство могут быть реализованы в виде компьютерного программного продукта для использования с вычислительной системой. Такой вариант реализации может включать в себя последовательности компьютерных инструкций, закрепленных либо на физическом носителе информации, таком как машиночитаемый носитель информации (например, дискета, CD-ROM, ПЗУ или жесткий диск) или могут быть выполнены в виде, пригодном для передачи на вычислительную систему, через модем или другое устройство интерфейса, такое как приемо-передающий адаптер, соединенный с сетью через физическую среду. Физическая среда может представлять собой либо осязаемую среду (например, оптическая или аналоговая линия связи), или может быть средой, реализованной по беспроводной технологии (например, радиочастотой, микроволновой инфракрасной или другой технологии передачи данных). Последовательности компьютерных инструкций могут включать все или часть функциональных возможностей, раскрытых выше в настоящем описании, в отношении к системе.
Лица, сведущие в области техники, должны принять во внимание, что компьютерные инструкции могут быть написаны на нескольких языках программирования для использования совместно с несколькими архитектурами компьютеров или вычислительных систем. Кроме того, такие инструкции могут храниться в любом устройстве памяти, таком как полупроводниковое, магнитное, оптическое или другое устройство памяти. Также инструкции могут быть переданы с использованием любой технологии связи, такой как оптическая, инфракрасная, микроволновая или другая технология связи.
Такой компьютерный программный продукт может быть распространен в виде съемного носителя информации совместно с печатной или электронной документацией (например, упакованного в программную оболочку программного обеспечения), с предварительной загрузкой в вычислительную систему (например, в системное постоянное запоминающее устройство или на жесткий диск), или распределяться с сервера или из электронной доски объявлений по сети (например, через Интернет или Всемирную Паутину). Несомненно, в некоторых вариантах реализации изобретения изобретение может быть выполнено как комбинация программного обеспечения (например, компьютерного программного продукта) и аппаратной части. При этом в других вариантах реализации изобретение может быть реализовано либо полностью в виде аппаратных средств, либо полностью в виде программного обеспечения.
Несмотря на то что выше раскрыты различные примерные варианты реализации изобретения, должно быть очевидно, что лица, сведущие в области техники, могут внести различные изменения и модификации с достижением некоторых преимуществ изобретения с сохранением истинной сущности изобретения.