Применение расхождения Реньи к анализу и классификации изображений

Н. Б. Ампилова, В. Д. Сергеев, И. П. Соловьев

ПРИМЕНЕНИЕ РАСХОЖДЕНИЯ РЕНЬИ К АНАЛИЗУ И КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ

В работе рассмотрен метод анализа и классификации изображений, основанный на вычислении альфа-расхождений (или расхождений Реньи). С каждым изображением связывается дискретное распределение меры и конечная последовательность ее прямых мультифрактальных преобразований. Для двух сравниваемых изображений вычисляются альфа-расхождения между полученными наборами мер. Полученный вектор расхождений рассматривается как характеристика сходства — различия структур изображений. Численные эксперименты проведены для значений альфа 1 (расхождение Кульбака — Лейбле-ра), 1/2, 1/4, 2.

Ключевые слова: анализ изображений, вероятностная мера, мультифрактальный спектр, расхождение Реньи, прямое мультифрактальное преобразование.

N. Ampilova, V. Sergeev, I. Soloviev

AN APPLICATION OF RENYI DIVERGENCE TO IMAGE ANALYSIS AND CLASSIFICATION

In the paper a method of image analysis and classification based on the calculation of alpha-divergence (or Renyi divergence) is considered. For each image a discrete distribution of measure and finite sequence of its direct multifractal transformations are calculated. For two compared images alpha-divergence is calculated between both initial distributions and their renorma-lizations. The obtained divergence vector is considered as a similarity/difference characteristic of image structures. Numerical experiments have been performed for alpha values 1 (Kullback — Leibler divergence), 1/2, 1/4, 2.

Keywords: image analysis, probability measure, multifractal spectrum, Renyi divergence, direct multifractal transformation.

В задачах анализа и классификации цифровых изображений часто применяются методы, основанные на вычислении различных энтропийных характеристик. Так, многие авторы для описания свойств изображений применяют те или иные варианты энтропии Реньи [1; 4; 6]. В данной работе для решения указанной задачи мы используем метод, основанный на вычислении альфа-расхождений (или расхождений Реньи) [4; 5]. Указанный метод опирается на получение статистических характеристик двух сравниваемых изображений в виде дискретного распределения меры и конечной последовательности ее прямых мультифрактальных преобразований с последующим вычислением расхождения Реньи между полученными наборами мер. Таким образом, мы характеризуем исходное изображение с помощью не только базовой меры, но также и набором ее модификаций.

Распределение меры определяется здесь по заданному разбиению изображения на ячейки, при этом мера ячейки определяется как отношение сумм интенсивностей составляющих ее пикселей к сумме интенсивностей пикселей всего изображения. Под интенсивностью понимается яркость полутонового изображения или значение одной из заданных компонент из пространств HSV или RGB.

Проведенные нами численные эксперименты для различных значений параметра альфа показывают, что для изображений близкой структуры скорость роста вектора полученных расхождений незначительна, в то время как для существенно различных изображений она достаточно велика. Те же эксперименты, однако, показывают заметную зависимость результата применения метода от условий получения изображения. В целом же мы считаем, что вектор расхождений Реньи для начального распределения меры и ее последовательных прямых мультифрактальных преобразований можно рассматривать как релевантную характеристику сходства — различия структур цифровых изображений с тем допущением, что изображения брались с одного аппарата и при одинаковых значениях цветовых характеристик.

В данной работе мы рассматриваем задачу получения характеристик цифровых изображений (текстур), позволяющих выявлять различия между изображениями, априори принадлежащими различным классам, а также между группами таких изображений. Мы характеризуем изображение с помощью некоторой вероятностной меры, определяемой по величине интенсивности пикселей, составляющих изображение. Естественной характеристикой изображения является энтропия этого распределения. В то же время можно отметить, что величина энтропии не зависит от порядка компонент вектора распределения вероятностей. Поэтому у изображений с различной структурой значения энтропии могут оказаться одинаковыми. Также отметим, что изображения с различными структурами могут иметь близкие фрактальные характеристики. Отсюда следует, что, как правило, одной числовой характеристики бывает недостаточно, и для сравнения изображений более предпочтительными оказываются методы, позволяющие получить характеристики изображений в виде набора чисел (векторы). Такие векторы позволяют находить достаточно тонкие различия в структуре изображений.

Рассмотрим метод сравнения изображений, основанный на вычислении величины расхождения Реньи (или а-расхождения). Метод состоит в том, что с каждым изображением связывается некоторая дискретная мера, полученная вычислением вектора распределения интенсивностей пикселей изображения, и конечная последовательность прямых муль-тифрактальных преобразований начального распределения (количество таких преобразований определяется из эмпирических соображений). Для двух сравниваемых изображений вычисляется вектор а-расхождений между полученными наборами мер, который рассматривается нами как характеристика сходства — различия структур изображений.

Для данных распределений р = {р,} и ч = {ч,}, характеризующих два сравниваемых изображения, расхождения Реньи при переменном параметре а > 0, а Ф 1 рассчитываются с помощью формулы [5]:

О - ( Р , Ч ) = -Ц- 1п 2 [р -ч1 а - 1

Так определенное расхождение принимает неотрицательные значения и является неубывающей функцией а.

В частном случае при а = 1 это преобразование определяется по формуле

п р

А( р, ч) = iР,1п—

1 Ч,

и называется расхождением Кульбака — Лейблера [5].

Для данного распределения р = {р,} прямое мультифрактальное преобразование исходного распределения определяется формулой

f ( р) = p'

Т рГ

i

где к — произвольное вещественное число [2]. Это преобразование фактически оказывается перенормировкой исходной меры.

Прямое мультифрактальное преобразование действует на множестве дискретных вероятностных мер, соответствующих исследуемым изображениям. Известно [2], что эти преобразования образуют группу, относительно которой множество мер распадается на непересекающиеся классы транзитивности. Каждый такой класс содержит некоторую начальную меру, соответствующую заданному изображению, и ее последующие преобразования. Фактически полученный класс мер определенным образом характеризует выбранное изображение.

Выбор меры

Исследуемое изображение разбивается на K ячеек (окон) одинакового размера N х N, пересекающихся по границе. Размер ячейки выбирается в зависимости от типа изображения и от решаемой задачи: более мелкая ячейка соответствует более точному представлению изображения и наоборот. В то же время отметим, что при уменьшении размера окна растет длина вектора распределения.

Каждому изображению сопоставляется характеризующее его распределение p = {p}. Мера (нормированная) i-й ячейки pi определяется как отношение суммы интенсивностей пикселей данной ячейки к сумме интенсивностей пикселей всего изображения. При таком определении распределение естественным образом зависит от размера окна.

На рисунке 1 показаны примеры полутоновых изображений биомедицинских препаратов размером 3000 х 2000 пикселей, на которых были произведены эксперименты зависимости расхождения от размера ячеек. Ячейки были выбраны 50 х 50, 100 х 100, 150 х 150 пикселей.

а б

Рис. 1. Полутоновые изображения почек без патологий

На рисунке 2 проиллюстрирована зависимость значений расхождений Кульбака — Лейблера от размера окна для двух полутоновых изображений из одного класса биомедицинских препаратов: почек без патологий. Размер изображения — 3000 х 2000 пикселей.

Рис. 2. График значений расхождения в зависимости от размера окна разбиения

Из графика на рисунке 2 мы видим, что уменьшение размера ячейки приводит к более быстрому росту расхождения, что объясняется увеличением числа слагаемых в формуле для расхождения Реньи.

Для экспериментов выбирались текстуры из альбома Бродатца [7], а также изображения биомедицинских препаратов печени (здоровой и больной) и почек (здоровых и больных).

В качестве а рассматривались значения 1/4, 1/2, 1, 2. Далее приводим результаты в основном для а = 1 (расхождение Кульбака — Лейблера).

Текстуры Бродатца

Для проверки работы алгоритма и исследования его применимости мы рассматривали несколько классов текстур из базы данных Бродатца размером 640 х 640 — как полутоновые изображения, так и цветные. Размер окна разбиения выбирался, исходя из размеров изображения, а именно — 50 х 50 пикселей. На рисунке 3 приведены примеры текстур, которые использовались при тестировании метода.

Выбранные для иллюстрации изображения Б78 и Б79 приведены к полутоновой палитре и имеют визуально близкую структуру. Обозначим распределения их мер соответственно р = {рг} и д = {ф}.

Рис. 3. Текстура Б78 и Б79

Ниже (рис. 4) в графическом виде приведены экспериментальные данные расчетов векторов расхождений Кульбака — Лейблера заданных изображений в полутоновом цветовом режиме.

Приводимый график показывает относительно невысокую скорость роста вектора расхождений сравниваемых изображений, что говорит об их близости. С другой стороны, хорошо видно, что реализуемый нами метод сравнения позволяет выявить достаточно тонкие структурные различия изображений.

Для выявления структурных различий цветных изображений далее мы рассчитываем векторы расхождений в пространствах RGB и HSV по каждой компоненте.

Биомедицинские препараты

В качестве опытных образцов мы используем два класса изображений биомедицинских препаратов: изображения патологии печени и изображения патологии почек, которые были предварительно классифицированы экспертом-медиком (рис. 5). Сравнение проводится внутри каждого класса в различных сочетаниях: здоровый — больной, здоровый — здоровый, причем в двух цветовых пространствах RGB и HSV. Изображения имеют размер 3000 х 2000 пикселей, окно разбиения было выбрано 100 х 100 пикселей.

б в

Рис. 5. Изображения: а, б — нормальных почек и в — почек больного хроническим пиелонефритом

a

Далее приводим (рис. 6) график расхождений Кульбака — Лейблера между изображениями из одного класса и из разных в цветовом пространстве RGB. Данный график наглядно показывает различие значений расхождений Кульбака — Лейблера по компоненте Red для изображений из одного класса (рис. 5 а и б) — обозначается D1(p(x),q(x)), и изображений из разных классов (рис. 5 а и в) — обозначается D1(p(x),t(x)).

Рис. 6. Разница значений расхождений по компоненте Red

Совершенно аналогично выглядят графики расхождения Кульбака — Лейблера и по другим двум компонентам палитры (рис. 7, 8).

Рис. 7. Разница значений расхождений по компоненте Green

Таким образом, мы видим, что значения расхождений, рассчитанных по каждой из компонент пространства RGB, между изображениями из разных классов растут быстрее, чем значения расхождений между изображениями из одного класса, рассчитанных по той же компоненте.

Далее приводим графики расхождений Кульбака — Лейблера между изображениями из одного класса и из разных в цветовом пространстве HSV (рис. 9, 10, 11).

Рис. 10. Разница значений расхождений по компоненте Saturation

На графиках (рис. 9, 10, 11) наглядно показано различие значений расхождений Кульбака — Лейблера по компонентам цветового пространства HSV для изображений из одного класса (рис. 5 а и б), обозначенных D1(p(x),q(x)), и изображений из разных классов (рис. 5 а и в), обозначенных D1(p(x),t(x)). Можно заметить, что по компонентам Saturation и Value значения расхождений из разных классов растут быстрее, чем значения расхождений из одного класса. В то же время по компоненте Hue эффект расхождения графиков возникает позднее, что в данном случае обусловлено не вполне точно выдержанными условиями получения изображений.

Расхождение Реньи для а Ф 1

Для иллюстрации поведения расхождения Реньи для а Ф 1 в качестве опытных образцов для исследования мы рассматриваем изображения биомедицинских препаратов, а именно — изображения патологии почек.

Сравнение проводится внутри каждого класса в различных сочетаниях: здоровый — больной, здоровый — здоровый при а, равных 1/2, 1/4, 1, 2 соответственно. В наших экспериментах рассматривались изображения как полутоновые размером 3000 х 2000, так и цветные. Здесь приведены результаты для полутоновых изображений. Размер окна разбиения выбирался, исходя из размеров изображения: 100 х 100 пикселей.

Оба графика (рис. 12, 13)демонстрируют монотонную зависимость изменения величины расхождения Реньи от а. Также мы видим, что скорость роста значений расхождений по каждому графику значительно отличается для представителей одного класса и разных классов.

Рис. 12. Значения расхождений Реньи при различных а при сравнении изображений из одного класса

Выводы

Проведенные нами исследования показывают, что вектор расхождений Реньи для начального распределения меры и ее последовательных прямых мультифрактальных преобразований можно рассматривать как релевантную векторную характеристику сходства — различия структур цифровых изображений. Численные эксперименты, выполненные для различных значений параметра альфа, наглядно демонстрируют, что для изображений близкой структуры скорость роста вектора полученных расхождений незначительна, в то время как скорость роста вектора расхождений для изображений, принадлежащих разным классам, достаточно велика. Таким образом, данный метод имеет высокую чувствительность к тонким структурным различиям изображений. Также следует отметить, что благодаря несложному алгоритму данный метод обладает невысокими требованиями к вычислительным ресурсам и достаточно высоким быстродействием.

Рис. 13. Значения расхождений Реньи при различных а при сравнении изображений из разных классов

Авторы приносят благодарность коллективу патолого-анатомического отделения Мариинской больницы Санкт-Петербурга за предоставленные образцы биомедицинских препаратов.

СПИСОК ЛИТЕРАТУРЫ

1. Башкиров А. Г. Энтропия Реньи как статистическая энтропия для сложных систем // ТМФ. 149:2 (2006). С. 299-317.

2. Встовский Г. В. Элементы Информационной физики. М.: МГИУ, 2002.

3. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

4. Ampilova N., Soloviev I. On Application of Entropy Characteristics to Texture Analysis // WSEAS Transactions on Biology and Biomedicine. Vol. 11. 2014, Art. № 25. Р. 194-202.

5. Alfred O. Hero, Bing Ma, Olivier Michel, John Gorman. Alpha-Divergence for Classification, Indexing and Retrieval. Communications and Signal Processing Laboratory Technical Report CSPL-328, 2001. Р. 3-16.

6. Jizba P., Arimitsu T. The world according to Renyi: Thermodynamics of multifractal systems // Annals of Physics (Elsevier). 2004. 312. Р. 17-59.

7. http://multibandtexture.recherche.usherbrooke.ca/original_brodatz.html

REFERENCES

1. Bashkirov A. G. Jentropija Ren'i kak statisticheskaja entropija dlja slozhnyh sistem // TMF, 149:2 (2006). S. 299-317.

2. Vstovskij G. V. ylementy Informatsionnoj fiziki. M.: MGIU, 2002/

3.GonsalesR., VudsR. Tsifrovaja obrabotka izobrazhenij. M.: Tehnosfera, 2005. 1072 s.

4. Ampilova N., Soloviev I. On Application of Entropy Characteristics to Texture Analysis // WSEAS Transactions on Biology and Biomedicine. Vol. 11. 2014, Art. № 25. Р. 194-202.

5. Alfred O. Hero, Bing Ma, Olivier Michel, John Gorman. Alpha-Divergence for Classification, Indexing and Retrieval. Communications and Signal Processing Laboratory Technical Report CSPL-328, 2001. Р. 3-16.

6. Jizba P., Arimitsu T. The world according to Renyi: Thermodynamics of multifractal systems // Annals of Physics (Elsevier). 2004. 312. Р. 17-59.

7. http://multibandtexture.recherche.usherbrooke.ca/original_brodatz.html