Распознавание формы поверхности на основе интенсивности и поляризации отраженного света

4

ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ

ПРИБОРЫ И СИСТЕМЫ

РАСПОЗНАВАНИЕ ФОРМЫ ПОВЕРХНОСТИ НА ОСНОВЕ ИНТЕНСИВНОСТИ И ПОЛЯРИЗАЦИИ ОТРАЖЕННОГО СВЕТА

С.А. Алексеев, А.В. Пасяда

Существующие методы распознавания ориентаций поверхности и глубины по единственному изображению, как правило, рассматривают отраженную интенсивность на непрозрачных материалах. Для расширения возможностей (распознавать полупрозрачные объекты и адекватнее определять тени) и повышения точности измерений используются поляризационные характеристики. В статье представлен метод получения карты отражательной способности и поляризации на основе образца -калибровочного объекта из данного материала. Карта несет информацию об отражательной способности и поляризационных параметрах отражения при всех наклонах поверхности, что необходимо для распознавания произвольных форм данного материала.

Введение

Распознавание формы объектов средствами технического зрения - одна из важных проблем при создании интеллектуальных роботов. Распознавание формы по затенению (РФЗ) относится к процессам восстановления трехмерной формы из монокулярного плоского изображения. Успех такого распознавания зависит от подходящей модели представления, которая устанавливает связь между формой поверхности и яркостью изображения, и от хорошего численного алгоритма восстановления формы из данного изображения. Существующие эффективные методы РФЗ опираются на парадигму случайных марковских полей и учет локальной окрестности при исследовании глубины в каждом пикселе. Реализацию таких вычислений выгодно проводить нейросетями с применением модифицированной рекуррентной модели Хоп-филда.

В то же время изменение поляризации при отражении содержит дополнительную информацию об ориентации поверхности и поверхностном слое отражающего объекта, поэтому метод определения наклона поверхности по затенению дополняется учетом поляризации отраженного излучения.

Карта отражательной способности поверхности

Введем модель, связывающую ориентацию поверхности и яркость изображения. Определение ориентации поверхности по данным об отраженной интенсивности является сложной задачей, так как интенсивность света (яркость изображения) зависит от характера освещения поверхности, ее функции отражения и ориентации поверхности. Возьмем некоторый материал, для которого получим карту отражательной способности - тогда функция отражения станет известна. Кроме того, зададимся характером освещения поверхности, связанным с наблюдателем исследуемой сцены.

Отраженная в сторону наблюдателя доля света зависит от структуры поверхности, которая описывается функцией отражательной способности [1]. Эту зависимость описывают функцией трех углов: угла падения 1, угла наблюдения е и фазового угла g, образованного падающим и рассеиваемым лучами. Функция отражательной способности ф(|, е, g) - это отражаемая с единицы площади поверхности в направлении наблюдателя доля падающего света, приходящаяся на единицу телесного угла.

Пусть координаты на изображении (х,у), высота в сторону наблюдателя равна Обычно ориентацию поверхности задают через карту отражательной способности Я(р,Ч), где р=йг/6х и д=дг/йу - это частные производные высоты г по отношению к координатам изображения. Они называются градиентами поверхности на (х,у), а пространство (р,ч) - пространством градиентов.

Карта отражательной способности устанавливает связь яркостей изображения и ориентации поверхности. Допустим, мы работаем с конкретным типом поверхности, и его функция отражательной способности ф известна. Будем считать, что поверхность освещается параллельным пучком, а положение наблюдения является настолько удаленным, что перспективные искажения не будут вносить существенный вклад в эксперимент. Каждая ориентация поверхности будет порождать конкретную картину значений яркости изображения. Ее можно представить соответствующей картой в пространстве градиентов Я(р,ч). На нем строятся значения функции ф при постоянном фазовом угле g (для простоты построим изолинии яркости, нормированной с помощью некоторого масштабного коэффициента, принимающего значения от 0 - нулевая освещенность - до 1- максимальная яркость на изображении). Если в некоторой точке измеренная яркость составляет 0,8, то данной ориентации поверхности (р,ч) на карте отражательной способности соответствует точка на изолинии 0,8, но еще не известно, где именно на ней. Хотя рассчитать ориентацию поверхности в точке по одной яркости нельзя, это можно сделать с учетом значений соседних точек.

Определение формы по затенению с помощью ячеистых нейросетей

С определением карты отражательной способности проблема РФЗ становится проблемой нахождения наилучшего пути восстановления поверхности г(х,у), удовлетворяющего уравнению освещенности изображения

1

л/1 + р2 + ч2Ч 1 + р* + Ч*

р = — , Ч = — где п носит название альбедо (0 < п < 1) и представляет собой отклонение в отражательных свойствах из-за пигментации или отметин на поверхности; 1(х,у) - интенсивность на изображении в точке (х,у), п - нормаль к поверхности, представляющаяся в виде

п = ,

V! + Р +Ч

Ь - вектор падающего света, вычисляемый как

Ь =

а/1+р*2 + Ч*2

Распознавание формы по затенению является полностью обратной задачей по отношению к проблеме тонирования (визуализации): дано изображение 1(х, у), найти поверхность 8, альбедо п и свет Ь , которые удовлетворяют равенству (1).

Равенство освещенности изображения (1) можно рассмотреть как нелинейное уравнение в частных производных для функции поверхности г = ъ(р>,ц). К сожалению, этот подход не очень удобен для реальных объектов. Например, Хорн рассмотрел метод нахождения формы поверхности по единственному изображению [2], исходя из предположения гладкости, его численные решения для х, у, г, р и ч образуют «характеристическую полосу», определяя кривую в пространстве и ориентацию поверхности вдоль нее. Но на практике метод характеристической полосы и другие

стандартные методы численного интегрирования дифференциальных уравнений отказывают. Они слишком чувствительны к шуму и граничным условиям.

Есть альтернативный подход [3] с использованием ячеистых нейронных сетей (ЯНС). Обработка изображений - наиболее популярное применение для ЯНС благодаря тому, что они являются аналоговыми (не бинарными), а также благодаря редким соединениям, которые приводят к обработке в реальном времени.

Распознавание при помощи ЯНС [3] - оптимизационная проблема, в которой необходимо минимизировать среднюю ошибку между интенсивностью и освещенностью на функции энергии, как показано в уравнении (4). Оптимизационный подход, в общем, более гибок к дополнительным влияниям, а также более устойчив к шуму на изображении и ошибкам моделирования. В данном случае энергия равна

Е = ^^

' 1 ' 1 ' }

Здесь первый член соответствует ошибке интенсивности, второй - член регуляризации (мера гладкости поверхности) и третий - член интегрируемости.

Гримсон [4] предложил интерполяционную схему для получения значений высоты из изображения, которая соответствует построению тонкой гибкой пластины через рассматриваемые точки данных. Эту интерполяционную схему можно описать терминами стандартной теории регуляризации [5]. Функция энергии Е^) выводится из обратной задачи

Б.г = I + п,

где данные I (интенсивность) и линейный оператор В известны, п представляет шумовой процесс, а г должно быть вычислено из уравнения

Е

В приведенном уравнении первый член дает меру расстояния между решением к данными, а второй соответствует регуляризации, требуемой для корректной постановки задачи. 8 - это линейный оператор, связанный с оболочкой пластинки и зависящий от вида желательного сглаживания; а - параметр регуляризации; В - диагональная матрица, элементы которой равны 1 в тех местах, где высота известна, и 0 во всех остальных случаях.

Е(г) можно привести к виду

Е

2 г, 1 г

если определить матрицу Т вместо 2-(БтБ + а£т£), V вместо 2, I вместо -2-БТ2 и

т

опустить постоянный член г г.

В случае принципа квадратичной регуляризации Е(У) является положительно определенным квадратным уравнением, тогда система будет всегда сходиться к уникальному минимуму энергии. Тем не менее, член квадратичной гладкости постоянно подавляет изменения формы поверхности, независимо от изменения интенсивно-стей.

Согласно Ю и Цай [6], нейросетевые техники можно использовать для решения многих проблем, которые уже решены релаксационным процессом. Идея Хопфилда должна решать проблемы комбинаторной оптимизации, если использовать не двоичные переменные, а переменные, меняющиеся непрерывно между 0 и 1, а также представить члены в функции энергии, которая влияет на конечное решение, как один из углов гиперкуба [0,1]м. Тогда выходное значение у^) для нейрона г лежит в диапазоне 0 <уг(0 < 1 и является непрерывной и монотонно возрастающей функцией внутреннего состояния переменной х^) нейрона I: уг = Ах) Тогда на выходе (с сиг-моидоподобной функцией):

у = 0,5-

где х0 определяет крутизну роста функции. Хопфилд интерпретирует выражение (7) как функцию Ляпунова в сети.

Как показал Бозе и Лянг [7], ЯНС - это аналог сети Хопфилда, в которой связи ограничиваются локальными соседями отдельного элемента с двунаправленными путями сигнала. Динамика ЯНС описывается системой нелинейных обыкновенных дифференциальных уравнений типа (9) и функцией энергии ассоциативных вычислений (названной функцией Ляпунова), которая минимизируется в процессе вычислений.

Особый класс двумерной ячеистой нейронной сети описывается обыкновенными дифференциальными уравнениями такой формы (см. [8], [9]):

сХ„ (Г) ^

= - аух^+^Тум  у „

ст

Здесь у ,()=/ (х,(г)) - сигмоидальная нелинейность, хц - состояние ячейки Су, щ = 1/ЯС > 0, в которой С и Я соответствуют временной константе интегрирования системы, I - независимое постоянное смещение; 1<!<Ы; 1</<Ы - номера нейронов из

массива; и структура связей ограничена местными соседями в радиусе г.

Поэтому хотя система

В таком случае система становится динамической системой с непрерывным значением, в которой градиент хорошо определен, и можно применить классические оптимизационные алгоритмы. Функцию Ляпунова Е(1;) для ЯНС можно записать в виде [3]:

£

2

Используя подходяще определенную функцию энергии, можно доказать устойчивость ЯНС так же, как для аналоговой или непрерывной сеть Хопфилда.

Так как ЯНС является управляемым интенсивностью процессом, то для случайного поля интенсивности в малой области допускается иметь свойства случайных марковских полей, т.е. распределение Гиббса и соседствующую структуру. Пространственно-временное соседство пикселей нам дано как ЯНС-структура. Возьмем растровое изображение, где s=(ij) дано с помощью замены функции интенсивности в уравнении освещенности изображения функцией

о, = ¡0,]) - Я

Согласно Коху [5] и Лютону [10], единственный путь вычислить г - это минимизация функции стоимости или энергии Е, состоящей из двух членов

Е = Еа

Энергия модели Ей(2) является членом регуляризации, похожим на ограничение гладкости, классически используемое для решения некорректно поставленных задач. А Е^) - энергия ошибки интенсивности. Функцию энергии можно переписать как

Е = Е \ка

i, 1

Минимум энергии можно вычислить, используя или алгоритмы стохастической релаксации типа «имитации отжига» [11], или детерминистическими алгоритмами

наподобие итеративных условных моделей (ИУМ) [12]. Используя метод ИУМ, получаем, что минимум Е, который касается всех гц, соответствует нулевым частным производным

Уу

где

V2 г,} = 4 г,} - ^1+11 - г-ц -

Итоговое дифференциальное уравнение, которое определяет степень изменения г,} , имеет вид

С

ИУМ-релаксация обегает вокруг поля г, которое сканируется пиксель за пикселем. В каждом узле принимается локальное решение

г^1 = ка

Эта релаксация проводит итерации до тех пор, пока не будет достигнуто схождение в каждой из соседних систем, определенных в поле г. Для определения состояния сходимости используется пороговый критерий уменьшения относительной энергии АЕ / Е < у.

Привлечение поляризации к определению формы поверхности

Как было отмечено, в методе РФЗ на основе ЯНС также включена карта отражательной способности. Чтобы повысить точность алгоритма при обработке в местах с тенями от соседних объектов и подойти к возможности распознавания поверхностей на полупрозрачных объектах вместо одной переменной - интенсивности, на вход с соответствующими весовыми коэффициентами подается интенсивность вместе с двумя параметрами поляризации. В случае гиббсовского случайного распределения вероятностей значений в окрестности каждого пикселя мы будем иметь взаимодействие 3 видов сигнала - интенсивности и двух поляризационных параметров. Эти взаимодействия описываются гиббсовскими потенциалами различного типа. Суммирование потенциалов будет проводиться отдельно по их типам. Такие суммы носят названия частичных энергий, а вероятностная модель становится трехуровневой.

Рассматривая зеркальное отражение световой волны, целесообразно разложить амплитуды отраженной и падающей волны на р- и Б-компоненты, которые являются линейными колебаниями, параллельными (р) и перпендикулярными (б) плоскости падения. Коэффициент отражения 5-волны Яц всегда больше коэффициента отражения р-волны Яр (или равен). Подавление колебаний р-типа вектора напряженности электрического поля Е [13] при отражении способно показывать направление наклона поверхности, и коэффициенты отражения Яр и Я8 зависят от углов падения и отражения.

Чтобы использовать зависимость Я^ф) и Яр(ф) для изучения формы поверхностей из некоторого однородного материала, ее (зависимость) предварительно получим экспериментально. Так как Я3 больше Яр (кроме нормального падения), то, даже если падающий свет естественно поляризован, отраженный и преломленный лучи частично поляризованы. С внешними источниками в сцене сложно обработать информацию. В схеме необходим осветитель, равномерно освещающий поле зрения поляризованным светом. Для меньшей деполяризации отраженной волны фазовый угол должен быть малым и постоянным, т. е. осветитель следует закрепить рядом с фотоприемником.

При освещении поверхности поляризованным светом от идеально гладкой поверхности отразится свет с частично подавленной р-составляющей. Азимут эллипса поляризации будет ортогонален направлению наклона поверхности. При диффузном

отражении на шероховатой поверхности будет проявляться та же тенденция. А эллиптичность будет зависеть от наклона поверхности.

Дадим определение формы объектов системой технического зрения.

Пусть на сцене определяется форма объектов из одного непрозрачного материала. Вначале для материала экспериментально получаем карту отражательной способности и поляризации. Поляризация и интенсивность измеряются фотометрическим методом на установке с вращающимся анализатором (рис. 1).

ВРАЩАЮЩИЙСЯ

Рис. 1. Общая схема экспериментальной установки

С помощью калибровочного объекта мы сопоставим наклон поверхности с отраженной яркостью и поляризацией. Преимущества шара в качестве такого объекта - в том, что на нем располагаются все наклоны поверхности, его легко описать геометрически, распознать на изображении и смоделировать.

Сцена освещается светом с заданной поляризацией и интенсивностью. Видеокамера фиксирует картину поляризации на калибровочном объекте, распознаются его границы, находится положение каждой точки относительно этих границ, а затем наклон поверхности в точке. Дальше экспериментальные значения интенсивности и поляризации сглаживаются и сопоставляются с наклоном. Составляется индексированная таблица по калибровочному объекту - таблица ориентации поверхности от яркости и поляризации. На основе полученной карты отражательной способности и поляризации можно найти наклон поверхности по известной яркости пикселя и поляризации.

Поляризация и интенсивность измеряются фотометрическим методом. Перед фотоприемником установлен вращающийся анализатор. Мы ищем интенсивность падающего на анализатор света ¡0 и параметры его поляризации. Интенсивность, прошедшую анализатор, обозначим ¡ФП. Измеряем зависимость интенсивности ¡ФП(а), проходящей линейный анализатор и достигающей фотоприемник, на интер-

к• 2п

вале 0< а < 2 • п в N угловых положениях анализатора ак=-, где к = 0, 1, 2, ...,

N

N-1. Необходимо, чтобы при начальном положении линейного анализатора ось пропускания совпадала с х-поляризацией исследуемой оптической системы.

После ряда преобразований на основе численного гармонического анализа вычисляем коэффициенты Фурье а0, а2 и Ь2 ([13, 14]):

2 N-1

а0 = Т7 -Е ¡ФП

N

к=0

2 г ( ) 4п- к

а2 =— -Е¡ФП

N к=о N

N-1

N Ф- "" N

ь2 = — -Е1 ФП

и получаем два параметры эллипса поляризации - угол эллиптичности

s = ±1 • arcsin 2

1 -

4

2

a0

•

и азимут

0 =1 • arctgЪ^ .

2 a 2

При расчете поляризации фотометрическим методом невозможно определить только знак эллиптичности, т.е. направление обхода поляризационного эллипса. Интенсивность будет равна

Io = ao /

Так как К собственное поглощение анализатора, а тмакс - максимальное пропускание анализатора по интенсивности, т.е. они являются постоянными анализатора, в дальнейшем вместо интенсивности можно использовать нормированную интенсивность

1нОРМ. = Io • K • Тмакс = ao.

Параметры s и 0 - эллиптичность и азимут эллипса отраженного частично поляризованного света, так как вся площадь неровной поверхности, отображаемая на 1 пикселе изображения, отражает лучи с разной поляризацией.

Определение ориентации поверхности на калибровочном объекте

Значения эллиптичности для линейной поляризации s = 0, для круговой s = ± п/4, остальные значения проще сравнивать с крайними случаями. В нашем эксперименте использовалось освещение горизонтальным линейно поляризованным светом. Преимущество такого освещения состоят в том, что деполяризация при отражении увеличивает эллиптичность эллипса, получаемого фотометрическим методом.

Для снижения влияния шумов на изображение видеозахват проводился с усреднением изображения по 10 кадрам подряд. Определение поляризации проводилось фотометрическим методом по четырем угловым положениям анализатора: a1 = 0, a2 = п/4, a3 = п/2, a4 = 3/4 • п. Для повышения точности эксперимента для каждого из четырех кадров получаем кадр при выключенной осветительной установке, т.е. когда работают только внешние источники. Такой кадр вычитается из кадра с освещенной сценой, и из результирующей четверки кадров получаем картину поляризации и интенсивности.

Определим зависимость между ориентацией поверхности и отраженной интенсивностью и поляризацией. Из данных строится индексированная таблица. В качестве калибровочного объекта взят шар из исследуемого материала. Получая изображение с данными об изменении поляризации, распознаем границы шара. В созданном программном обеспечении [15] для выделения границ был использован метод Собе-ла. Первая точка на границе изображения шара задается вручную. Далее выбираются точки с максимальным значением оператора контрастирования Собела gco&C*" i; yj), и с третьей точки дополнительно вводятся ограничения на кривизну контура.

Алгоритм в [15] показывает хорошие результаты на изображениях калибровочных шаров при контрастном фоне. По границе находится вероятный центр шара и радиус. Зададимся полярной системой координат на изображении в области шара -полюс в центре окружности, радиус R и угол S. Направление наклона в точке на поверхности шара определяется углом S,. а наклон - углом

Y = arc sin

Из (Y, S) несложно получить координаты пространства градиентов p и q.

Экспериментальные данные

Для получения зависимости ориентации поверхности от интенсивности и поляризации создана установка, общая схема которой показана на рис. 1.

Поляризатор в осветительной схеме не потребовался, так как излучение Не-№ лазера непрерывного действия ЛГН-208Б горизонтально линейно поляризовано. Осветительной схемой излучение преобразуется в пучок параллельных лучей, обеспечивая равномерное освещение. Получение изображения производится видеокамерой УБС-541 с разрешающей способностью 380 ТВ линий. На вращающейся основе в качестве анализатора установлен линейный поляризатор ПФ-52. Недостаток такой схемы - в том, что освещается слишком узкое поле зрения (рис. 1).

о. 250

ч

о.

I

ш 3

о

ш 100

0

0

<7.<

0,40

о -,-,-,-,-,-,-,-

0 0,20 0,40 0,60 0.00 1.00 1,20 1.40 РДД.

б

в

Рис. 2 - Зависимость после гауссовского сглаживания а) интенсивности от наклона (рад.) поверхности из полиэтилена высокого давления, б) эллиптичности от наклона, рад. и в) азимута поляризации от направления наклона, рад.

Для определения поляризации по 4 кадрам ориентаций анализатора была разработана программа «Поляризация на калибровочном шаре» [15]. Она обрабатывает предварительно оцифрованные кадры с 256 градациями серого, распознавая границы калибровочного шара и рассчитывая ориентацию поверхности в каждой точке. Результаты выводятся в виде индексированных таблиц в формате: интенсивность; эллиптичность; азимут; сглаженная интенсивность; сглаженная эллиптичность; сглаженный азимут; угол наклона; угол направления наклона. Для подавления возмущений на микронеровностях шара и усиления общей тенденции зависимости интенсивности и поляризации от ориентации поверхности проводилось гауссово сглаживание. На рис. 2 представлены данные для полиэтилена высокого давления.

Заключение

Разработан принцип получения карт отражательной способности и поляризации по калибровочным объектам для нейросетевого метода определения ориентации поверхностей на основе получения зависимостей интенсивности и поляризации от параметров наклона. Результаты показывают существование зависимостей между ориентацией поверхности и изменением интенсивности и параметров поляризации отраженного света. По полученным выборкам предстоит обучать ячеистые нейропо-добные сети для определения наклона поверхности из известного материала (покрытия). Что даст возможность, не прибегая к стереоскопическому зрению, определять наклон поверхности и глубину изображения в каждой точке. В дополнении к этому обработка поляризации расширит возможности сегментации изображения в системах технического зрения. А это может быть использовано для различения материалов и определения не обнаруживаемых по другим параметрам излучения изменений в объектах, например, на основе фотоупругости.

Литература

1. Марр Д., Зрение. Информационный подход к изучению представления и обработки зрительных образов / Ред. И.Б.Гуревич М.:: Радио и связь, 1987.

2. Хорн Б.К.П., Зрение роботов / пер. с англ. М.: Мир, 1989.

3. Milanova M., Almeida P. E. M., Okamoto J. and Simoes M. G. Applications of Cellular Neural Networks for Shape from Shading Problem. Lecture Notes in Artificial Intelligence - Machine Learning and Data Mining in Pattern Recognition, 1999, pp. 51-63

4. Grimson, W.E.L. From Images to Surfaces: A Computational Study of the Human Early Visual System, MIT Press, Cambridge, MA,

5. Koch, C., Marroquin, J. and Yuille, A. "Analog Neural Networks in Early Vision", Proc. Natl. Acad. Sci. USA, Vol. 83 (1986), 4263-4267

6. Yu, S.S. and Tsai, W.H. "Relaxation by the Hopfield Neural Network", Pattern Recognition , No. 25(2), (1992), 197-209

7. Bose, N.K. and Liang, P. Neural Network Fundamentals with Graphs, Algorithms and Applications , McGraw-Hill Series in Electrical and Computer Engineering,

8. Chua, L.O. and Roska, T. "The CNN Paradigm. IEEE Transactions on Circuits and Systems (Part I)", CAS-40, 3 (1993), 147-156

9. Liu, D. and Michel,A. "Sparsely Interconnected Neural Networks for Associative Memories with Applications to Cellular Neural Networks". IEEE Transactions on Circuits and Systems Part II Analog and Digital Signal Processing, Vol. 41, No. 4 (1994), 295-307

10. Lithon, F. and Dragomirescu, D."A Cellular Analog Network for MRF-Based Motion Detection", IEEE Trans. Circuits Syst. I, Vol 46 (1999), 281-293

11. Ведерникова О. Г., Разработка и исследование комбинированного алгоритма генетического поиска и имитации отжига для задачи размещения элементов СБИС. 1999.

12. Besag, J. "On the Statistical Analysis of Dirty Pictures", J. R. Statist. Soc. B, Vol. 48, No. 3 (1986), 259-302

13. Аззам Р. Башара Н., Эллипсометрия и поляризованный свет. М., Мир, 1981

14. Бронштейн И.Н, Семендяев К.А. Справочник по математике для инженеров и учащихся вузов, М.: Наука, 1980

15. Пасяда А.В., ПО "Поляризация на калибровочном шаре", 2003 г. http://ralertmod.narod.ru/raspozn.htm