СПОСОБ И СИСТЕМА ДЛЯ ВЫДЕЛЕНИЯ И КЛАССИФИКАЦИИ ДЕФЕКТОВ ЭКСПОЗИЦИИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ
METHOD AND SYSTEM FOR SEPARATION AND CLASSIFICATION OF DEFECTS IN EXPOSURE OF DIGITAL IMAGES

Изобретение относится к фототехнике и может применяться в процессах автоматизированной цифровой фотопечати для улучшения качества изображений.
Известно, что дефекты цифровых изображений могут быть следствием как низкого качества съемки (т.е. быть недодержанными, передержанными или иметь низкий контраст), так и результатом плохого выбора сюжета сцены. Соответственно, процесс классификации и последующего улучшения цифровых изображений представляет собой сложную задачу, особенно в том случае, когда речь идет о его автоматизации и, как следствие, устранении человеческого вмешательства в такой процесс.
Задача автоматического улучшения изображений имеет принципиальную сложность также и потому, что в настоящее время нет единой теории улучшения изображений. Отсутствие такой теории объясняется, в свою очередь, отсутствием общего стандарта качества изображения, на основе которого могли бы формулироваться критерии корректировки изображений. Большинство процедур улучшения цифровых изображений строится в настоящее время на основе эмпирических или эвристических методов, зависящих от специфики конкретного изображения. Более того, многие процедуры требуют интерактивного контроля для получения удовлетворительных результатов и, следовательно, не применимы для универсального использования.
В дополнение к необходимости вспомогательной экспертной оценки, методы такого типа часто требуют задания внешних параметров, для подбора которых требуется высокий профессионализм пользователя.
Наконец, в основном процедуры улучшения применяются к изображению в целом, в то время как подчас необходимо осуществить трансформацию лишь локальных деталей или отдельных областей изображения.
Автоматическое улучшение цифровых изображений предполагает формирование итогового, т.е. готового к просмотру или печати изображения без экспертного или иного субъективного вмешательства. Оценка качества изображения, равно как обнаружение и классификация дефектов изображения (если таковые имеются) являются необходимыми операциями в автоматизированных системах улучшения изображений.
К наиболее распространенным дефектам цифровых фотографий относятся дефекты экспозиции, размытие снимка, проблемы со вспышкой, шумы, JPEG артефакты, дисбаланс цвета, хроматические аберрации и другие типы дефектов.
Проблемы с экспозицией являются наиболее частым и наиболее заметным типом дефектов. Дефекты экспозиции должны быть скорректированы в первую очередь. Затем следуют различные варианты размытия снимка и проблемы со вспышкой. Каждая десятая фотография повреждена шумом, JPEG артефактами или дисбалансом цвета. Хроматические аберрации проявляются относительно редко.
Существует несколько направлений исследований по определению качества цифровых фотографий, в том числе с точки зрения характеристик экспозиции. Наиболее целесообразной классификацией является присвоение изображению признака недоэкспонированного, переэкспонированного, низкоконтрастного и нормального. Каждому из них соответствует последующий метод коррекции. В простейшем случае процедура улучшения цифрового фото может сводиться к выравниванию гистограммы, положительной или отрицательной гамма-коррекции и т.п. Нормально экспонированное изображение, в этом смысле, не требует коррекции.
В выложенной заявке США №2002/0109854 [1] обнаружение и классификация дефектов изображения рассматривается в качестве основы для коррекции изображения и определения количества требуемых процедур коррекции, степени конкретной процедуры коррекции, ее относительного веса среди других процедур, если таковые имеются, а также любой комбинации перечисленного. Каждому произведенному улучшению присваивается рейтинг, максимальное значение которого равняется единице. Таким образом, если изображение улучшено (преобразовано) по одному классу, например произведена коррекция экспозиции, то ему присваивается рейтинг единица; при двух преобразованиях - рейтинг два и т.д. Соответственно, присваиваемый рейтинг может зависеть от вида коррекции и/или степени улучшения. Если изображение претерпевает существенную корректировку или для его корректировки используются несколько процедур различного вида, то соответствующий рейтинг повышается. Следовательно, каждое изображение получает рейтинг в соответствии со степенью коррекции или улучшения, которое было применено к этому изображению. Большему улучшению соответствует более высокий рейтинг. Изображение, подвергшееся в соответствии с полученным рейтингом достаточной коррекции, признается годным для печати. Наивысший приоритет для печати получает изображение с самым высоким рейтингом.
В выложенной заявке США №2003/0151674 [2] описан метод оценки качества фотографий, формируемых цифровой камерой, нацеленный на получение оценки качества фотографии непосредственно в самой камере. На основании производимой классификации делается заключение о приемлемости качества полученного изображения, а также выдается подсказка фотографу о целесообразности сохранения изображения или дополнительной съемке. Качество фотографии оценивается при этом автоматически на основе трех отличительных признаков - а) резкости снимка; б) качестве изображения лица и заключения с) использовалась или нет фотовспышка (в случае ее необходимости). Показатель качества вычисляется для каждого из трех атрибутов, после чего значение показателя сравнивается с предустановленным пороговым значением. Если суммарное значение показателя качества превышает пороговое значение, пользователь информируется, что полученное изображение имеет приемлемое качество.
В выложенной заявке США №2004/0190789 [3] описывается методика характеризации данных экспозиции, основанная на анализе глобальной гистограммы яркости изображения, подразумевающая, в свою очередь, последующую коррекцию. Автоматический анализ экспозиции и процесс улучшения разделены на два основных этапа: этап анализа и классификации и этап коррекции экспозиции. Во время обработки гистограммы яркости, классификатор выделяет параметры, применяемые для анализа экспозиции изображения: эффективную ширину гистограммы (используется для определения диапазона выравнивания гистограммы), центр и центроид гистограммы (используются для определения того, следует ли увеличить яркость для коррекции недоэкспонированного изображения или уменьшить для переэкспонированного). Таким образом, корректировка погрешностей экспозиции сводится к а) выравниванию гистограммы; б) увеличению или в) уменьшению яркости изображения.
В выложенной заявке США №2004/0120599 [4] раскрывается методика анализа формы гистограммы яркости для оценки присутствия контрового света на изображении. При этом изображения с контровым светом выявляются путем анализа гистограммы яркости для определения того, имеет ли гистограмма форму “перевернутого колокола” или двойной пик, путем сглаживания гистограммы, аппроксимации сглаженной гистограммы кривой, подсчета числа пересечений кривой с осью абсцисс, отнесения изображения к категории “контровых”, если число пересечений больше или равно четырем.
В выложенной заявке США №2004/0258308 [5] описан автоматический модуль для анализа и коррекции цифровых изображений, предназначенный для определения ориентации изображения, обнаружения “красных глаз”, размытия, цветового баланса, шума. Особенности этого модуля следующие.
1. Автоматическая коррекция цифровых изображений, основанная на анализе фотографий. Вмешательства пользователя не требуется, хотя предусмотрена опция, позволяющая отключать как автоматический анализ, так и коррекцию.
2. Автоматическая коррекция цифровых изображений, основанная на анализе фотографий в пакетном режиме, когда обработка выполняется в пакетном режиме.
3. Наращиваемая архитектура, позволяющая конфигурировать и расширять функции анализа и коррекции изображений.
В патенте США №6826310 [6] раскрывается оригинальный метод автоматического контроля параметров цифровых изображений посредством автоматического установления тенденции изменения глобальной гистограммы. Важным элементом данного изобретения является метод определения центрального сдвига гистограммы, который, в конечном счете, представляется в виде функции средней яркости. Изменения сдвига оцениваются параметрически относительно специально задаваемой меры яркости Y цветового пространства YIQ с разрядностью 8 бит. При этом количество параметров равняется 10. В случае использования другой меры яркости параметры изменятся. С точки зрения анализа изображений и оценки качества, определение как вышеуказанных констант, так и сдвига диктуется автоматической коррекцией глобального контраста в терминах баланса между теневыми и яркими участками изображения.
Несмотря на очевидные достоинства описанных решений, они не позволяют добиться однозначного результата в классификации дефектов экспозиции изображения в целом и его отдельных локальных областей для улучшения общего восприятия изображения.
В литературе по обработке изображений можно найти несколько методик как интерактивных, так и автоматических для адекватного воспроизведения тона изображения, т.е. восстановления оптимальной яркости отдельных составных частей изображения и их контраста.
Процедуры, функционирующие в автоматическом режиме, требуют работоспособных алгоритмов анализа изображений, которые могут обеспечить решение о необходимости коррекции изображения, и, если коррекция необходима, определить, какой тип коррекции следует применить и в какой степени.
Хотя дефекты цифровых изображений проявляются как на глобальном, так и на локальном уровнях, большинство методов, упомянутых выше, работают преимущественно с глобальными характеристиками изображения. Причина в том, что получение локальных статистик изображения требует выделения визуально важных областей, т.е. областей интереса, так чтобы необходимое улучшение производилось в этих областях.
Наиболее близким к заявляемому изобретению является способ, описанный в статье S. Bhukhanwala and T. Ramabadran, "Automated global enhancements of digitized photographs", IEEE Transactions on Consumer Electronics, Vol. 40, No. 1 (1994) [7]. Статья касается более простого исполнения локального анализа изображения, который может быть произведен путем разделения изображения на ряд прямоугольных блоков (или областей) приблизительно одинакового размера. Так, например, авторами [7] используется деление изображения на одинаковое число горизонтальных и вертикальных прямоугольных областей, так что результирующий сегмент имеет то же отношение сторон, что и исходное изображение. Показано, что размер сегмента (или эквивалентно, число сегментов внутри изображения) является важным параметром алгоритма. Если размер сегмента слишком велик, то необходимое разрешение для идентификации локальных статистик изображения не будет достигнуто. Если размер слишком мал, каждый сегмент может содержать часть изображения, которая не важна сама по себе, т.е. контраст изображения может быть определен для больших областей, т.е. целого изображения (глобальный контраст) или для небольших областей изображения (локальный контраст). Высококонтрастные области оказывают наибольшее влияние на восприятие изображения. Это происходит из-за того, что высокий глобальный контраст означает лучшее выделение объекта от фонового окружения. Кроме того, высокий локальный контраст проявляет более отчетливо детали в ярких областях. Такое решение выбрано в качестве прототипа заявляемого изобретения.
Задачей, на решение которой направлено настоящее изобретение, является разработка способа автоматизации определения визуально важных областей изображения на основе распознавания объектов или образов. До настоящего времени эта проблема остается открытой для широкого класса задач обработки изображений.
В настоящем изобретении технический результат достигается за счет разработки и применения нового способа классификации дефектов экспозиции цифровых изображений, основанного на блочной сегментации с последующим анализом и классификацией, в частности для определения недоэкспонированных, переэкспонированных, низкоконтрастных и нормальных изображений.
Кроме того, технический результат достигается за счет того, что вышеуказанный способ реализуется с помощью заявляемой автоматической системы анализа экспозиции.
Заявляемая автоматическая компьютерная система анализа экспозиции состоит из входного устройства, предназначенного для получения цифровых изображений (цифровой фотоаппарат, сканер, цифровая видеокамера); носителя в форме присоединяемого или стационарного устройства, позволяющего осуществить запись и/или считывание информации (устройство с магнитными дисками, магнитные ленты или кассеты, CD-ROM, CD-RW, DVD); блока памяти для записи цифровых изображений; программного средства анализа экспозиции для оценки данных экспозиции для цифровых изображений и выбора классификации изображений; процессора для выполнения программы, записанной в память; устройства вывода, куда изображение передается после обработки.
Наиболее существенные отличия, которые обеспечивает заявляемое изобретение:
а. Усовершенствован способ выявления и классификации недоэкспонированных, переэкспонированных, низкоконтрастных и нормальных изображений.
b. Анализ изображений и их оценка производятся в автоматическом режиме, который не требует вмешательства эксперта или иного внешнего участия.
с. Оценка качества изображения, в частности, определение изображений нормального вида, существенно увеличивает производительность соответствующего программного обеспечения для фотопечати устранением процедур улучшения изображений, если таковые в действительности не требуются.
d. Настройка архитектуры программного обеспечения для оценки качества изображений позволяет оптимизировать модуль улучшения изображений посредством добавления, удаления или упорядочивания соответствующих фильтров обработки.
Новизна заявленного изобретения обеспечивается за счет следующего.
а. Анализ изображения и оценка его качества осуществляются автоматически при получении файла, содержащего цифровое изображение.
b. Анализ изображения выполняется как на глобальном, так и на локальном уровнях, что обеспечивает более точное функционирование автоматической процедуры.
с. Метаданные, характеризующие процесс коррекции изображения, могут быть сгенерированы и записаны в файл улучшенного изображения, что позволяет отказаться от многократной оценки качества или коррекции изображения. Данный момент является чрезвычайно важным, поскольку большинство алгоритмов улучшения цифровых изображений не включают предварительный анализ изображения. В автоматическом режиме данное обстоятельство является критическим и в процессе неоднократного применения процедуры коррекции может вести не к улучшению, а к ухудшению конечного изображения.
Существо изобретения поясняется далее на основе следующих графических материалов:
Фиг.1. Схема компонентов согласно изобретению.
Фиг.2. Блок-схема коррекции глобального контраста.
Фиг.3. Деление изображения на 2×2 и 3×3 частей.
Фиг.4. Блок-схема глобального и локального анализа цифровых изображений и классификации дефектов экспозиции.
Фиг.5. Блок-схема процесса выбора возможной техники коррекции изображения.
Фиг.6. Результаты классификации и соответствующие гистограммы.
Фиг.7. Результаты глобальной и локальной классификации недоэкспонированного изображения.
Фиг.8. Результаты глобальной и локальной классификации переэкспонированного изображения.
Фиг.1 показывает схему взаимодействия основных компонентов системы, осуществляющей автоматический анализ и оценку цифровых изображений, полученных от одного или более входных устройств 101 или загруженных с носителя 102. Носитель 102, в свою очередь, выполняют в форме съемного или стационарного устройства, которое включает магнитные диски, магнитные ленты или кассеты, CD-ROM, CD-RW, DVD, или произвольного устройства, которое может хранить изображение, содержащее информацию, или с которого цифровое изображение может быть считано. Носитель 102 может также содержать команды, используемые программным модулем 105 для автоматического анализа и коррекции цифровых изображений. Процесс анализа и оценки изображений осуществляют реальным или виртуальным процессором 106, который выполняет программу, записанную в блоке памяти 103. В мультипроцессорной системе программный код выполняется несколькими процессорами с целью увеличения производительности. Информационный обмен осуществляют через шину 104 данных. После обработки изображение посылают на одно или более выводных устройств 107, либо выгружают на носитель 102. Метаданные, соответствующие коррекции изображения, генерируют и записывают в файл цифрового изображения, содержащий улучшенное изображение, для предотвращения многократной оценки или коррекции изображения.
n
n
На Фиг.2 приведена блок-схема простой автоматической процедуры для определения недостаточного глобального контраста цифрового изображения (если таковой имеется) и последующей коррекции. Прежде всего вычисляют глобальную гистограмму яркости Н исходного изображения I(r, с). Здесь r и с - индексы строки и столбца отдельного пиксела изображения. Если значения гистограммы для двух минимальных и двух максимальных значений яркости равны нулю ((H[0]==0 and Н[1]==0) или (H[2-3]==0 and H[2-2]==0)), тогда выполняют глобальную коррекцию контраста.
Нижнюю границу диапазона для глобальной коррекции контраста определяют с помощью операции 201:
0
где Н пороговое значение гистограммы, полученное в процессе обработки серии изображений и Т - дополнительный порог, введенный с целью избежать чрезмерного потемнения изображения.
Верхнюю границу диапазона для глобальной коррекции контраста определяют с помощью операции 202:
Дальнейшее линейное контрастирование выполняют во всех каналах на шаге 203:
Глобальную гистограмму яркости пересчитывают на шаге 204.
0
Оценку изображения выполняют на основе анализа двух наименьших и двух наибольших байтов глобальной гистограммы. Растяжку гистограммы, т.е. коррекцию глобального контраста выполняют с использованием эмпирически оцененных порогов Н и Т.
th
Помимо оценки качества целого изображения изображение может быть сегментировано на несколько блоков, каждый из которых имеет собственную локальную гистограмму. Фиг.3 демонстрирует процедуру деления изображения, при котором исходное изображение делят на 4 и 9 блоков. Такое разбиение в процедуре оценки качества изображения аналогично многоуровневому представлению изображения, используемому в алгоритмах поиска соответствий на изображениях или нахождению областей интереса изображения для адаптивной коррекции экспозиции (См., например, L. Shu, М. Т. Özsu, V. Oria, R. Ng, "An Extendible Hash for Multi-Precision Similarity Querying of Image Databases". Proceedings of the 27 International Conference on Very Large Database Systems (VLDB), Rome Italy, September 2001, p.221-230[8]; G.Messina, A.Castorina, S.Battiato, A.Bosco, "Image Quality Improvement by Adaptive Exposure Correction Techniques". Proceedings of IEEE ICME*03 International Conference on Multimedia and Expo 2003, Vol.I, p.549-552, Baltimore USA, July 2003 [9]). Разбиение на части является важным этапом в дополнительном определении визуально значимых областей внутри изображения и более точной оценки его качества с точки зрения погрешностей экспозиции, если таковые присутствуют. Так как число разбиений по вертикали и горизонтали одинаково, результирующие прямоугольники имеют такое же отношение сторон, как и в исходном изображении. Размер блока является важным параметром алгоритма.
Если размер блока слишком велик, то необходимое разрешение для классификации значимых областей изображения не будет достигнуто. Если размер слишком мал, блок может содержать лишь однотонную часть изображения, которая будет классифицирована как низкоконтрастная область. На практике деление на 2×2 и 3×3 блоков дает хорошие результаты для изображений высокого разрешения (5 мегапикселов и более).
Фиг.4 демонстрирует блок-схему глобального и локального анализа цифровых изображений и классификации дефектов экспозиции, основанной на многоуровневом анализе изображений. Классификацию выполняют как на основе анализа целого изображения, так и его составных частей, что позволяет включить в процесс оценки локальные характеристики исходного изображения.
Вначале получают цифровое изображение 401 с цифровой камеры или носителя цифровых данных. Затем производят трансформацию 402 изображения из цветового пространства RGB в цветовое пространство YUV и анализируют значения пикселов Y яркостной гистограммы.
Формула преобразования:
Изображение может быть также преобразовано в другие цветовые пространства, например HSI, с отделением компоненты интенсивности (серый) от цветовой информации (цвет и насыщенность).
После выполнения коррекции экспозиции (в случае необходимости), изображение преобразуют обратно в цветовое пространство RGB.
В процессе анализа яркостной гистограммы определяют параметры, полезные для последующей классификации данных экспозиции. Одна из возможных реализаций вычислительного процесса раскрыта в заявке США №2004/0190789 [10]. Другое решение приводится в патентной заявке РФ №2005112311 [11]. В первом методе вычисление стандартного отклонения гистограммы служит основой для выявления глобальных проблем с контрастом и необходимости выравнивания гистограммы. Вычисление среднего значения гистограммы используется для того, чтобы определить, следует ли яркость увеличить для компенсации дефекта недоэкспонирования или уменьшить при наличии переэкспонирования.
Наиболее предпочтительным вариантом, используемым в настоящем изобретении, является разделение всего диапазон яркостей на 3 поддиапазона 403:
Тени:
Промежуточная яркость:
Высокая яркость:
Shadow
Highlight
где T и T - пороговые значения для темных и светлых тонов соответственно.
На этапе 404 производят анализ качества изображения каждого блока изображения и присваивают каждому из блоков соответствующий классификационный признак. После того как данная операция произведена для всех блоков, составляющих изображение, производят присвоение классификационного признака изображению в целом 405. На этапе 406 осуществляют сравнение показателя качества изображения, вычисленного в 405, с соответствующим пороговым значением. Если значение показателя качества изображения не превышает пороговое значение, то выполняют печать изображения 408 (если требуется) или его сохранение. В противном случае производят каталогизацию изображения 407 в отдельную директорию или удаление.
Фиг.5 представляет блок-схему алгоритма классификации изображения на основе параметров, полученных во время анализа яркостной гистограммы изображения, в частности среднего значения  и стандартного отклонения σ, которые определяются как
Хотя конкретные параметры и пороговые значения определены эмпирически, они указаны выше лишь в качестве примера, и в других реализациях для классификатора могут использовать иные пороговые значения или иные параметры классификации изображений. Например, в случае обработки изображения с расширенным динамическим диапазоном (high/whide dynamic range image, HDRI, WDRI) пороговые значения классификатора будут совершенно иными.
Highlight
Highlight
В 501 производят проверку, является ли пересвеченным исходное изображение, поступающее с входного устройства либо загружаемое с носителя. При этом среднее значение  сравнивают с порогом яркости T. Если  превышает Т, то изображение классифицируют как Светлое (Яркое) 502.
Если среднее значение гистограммы не превышает порога яркости, то на этапе 503 выполняют проверку, является ли среднее значение гистограммы меньшим, чем пороговое значение теней изображения. В случае положительного ответа, изображение классифицируют как Темное 504; в случае отрицательного ответа на этапе 505 контролируют, является ли стандартное отклонение меньшим, чем порог стандартного отклонения σ*. Если ответ "Да", то цифровое изображение классифицируют как Низкоконтрастное 506, если ответ "Нет", то изображение классифицируют как Нормальное 507.
В описанном варианте реализации пороговое значение в тенях равняется 64, яркостный порог равняется 192 и стандартное отклонение - 32.
В процессе моделирования на репрезентативной выборке цифровых изображений было установлено, что деление на 9 частей дает приемлемую оценку качества. Дальнейшее деление не ведет к увеличению точности.
Фиг.6 показывает результаты классификации и обработанные с помощью предложенного алгоритма гистограммы изображений, содержащих различные типы дефектов.
Фиг.7 демонстрирует результаты классификации недоэкспонированного изображения (а), произведенной на основе его анализа в целом, а также его соответствующую классификацию по четырем (б) и девяти (в) блокам. Гистограмма исходного изображения и результаты его классификации приведены справа. Темная (недоэкспонированная) область отмечена горизонтальной штриховкой, низкоконтрастная область обозначена черным цветом, а светлая, т.е переэскспонированная - вертикальной штриховкой. Области с корректной экспозицией не окрашены. Можно видеть, как увеличение числа областей проявляет тонкую структуру изображения.
Фиг.8 показывает оценку качества Светлого изображения.
Оценку качества изображения на основе параметра “Нормальное” можно получить из таблицы 1. Значение параметра вычислено на основе оценок каждого отдельного квадранта: если одна часть из 9 оценена как нормальная, то значение параметра 100/9~11, 2 части соответствуют значению 22 и т.д.
Таблица 1.Оценка качества цифрового изображения в целом на основе параметра “Нормальное” для изображения, разделенного на 9 частей
Значение параметра“Нормальное”, %
Качество изображения
89-100
Отличное
78-88
Хорошее
55-77
Удовлетворительное
Ниже 55
Плохое
Предполагается использовать описанный классификатор для обеспечения устойчивой работы процедуры улучшения изображения, функционирующей в автоматическом режиме. В наиболее предпочтительном для данного изобретения варианте в качестве процедуры улучшения может выступать техника коррекции экспозиционных погрешностей, нацеленная на одновременное выравнивание ярких и темных участков, или техника согласования динамического диапазона, основанная на применении Retinex-алгоритмов. При этом модуль анализа и классификации изображений вначале определяет наличие в цифровом изображении соответствующих дефектов (классификация изображений). Затем производят обработку с использованием одного или нескольких фильтров, программно ориентированных на коррекцию дефектов экспозиции.
Для корректной работы системы автоматической корректировки необходимо вносить соответствующую запись в текстовую часть раздела Exif-файла с целью предотвращения повторной обработки, которая может привести к обратному результату.
Заявляемое изобретение следует рассматривать как еще одно из решений на пути создания автоматизированных систем качественной фотопечати. Можно предвидеть, что в будущем подобного рода классификаторы будут также использовать эффективные методы и алгоритмы распознавания сцен и объектов.
Предлагаемый метод может быть реализован в аппаратуре печати изображений или в программных продуктах.
В большинстве реализаций представленного изобретения пользователь может воспользоваться преимуществами автоматического анализа экспозиции и коррекции цифрового изображения без применения дополнительных приложений. Кроме того, реализация классификации на глобальном и локальном уровнях существенно повышает точность выявления дефектов экспозиции при сохранении высокой производительности алгоритма.