Формирование и обработка изображений электронной микроскопии

ФОРМИРОВАНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИИ ЭЛЕКТРОННОЙ МИКРОСКОПИИ

Нестеренко Д.В.

Учреждение Российской академии наук Институт систем обработки изображений РАН

Аннотация

В работе обсуждаются проблемы получения изображений в электронной микроскопии. Рассматриваются математические модели формирования изображения сканирующих и просвечивающих электронных микроскопов на основе оптической и контрастной передаточных функций соответственно. Кратко описываются методы коррекции размытия и устранения шума изображений, полученных с использованием электронной микроскопии.

Ключевые слова: электронная микроскопия, аберрации, методы обработки изображений.

С = 2-

Введение

Существует два основных варианта электронных микроскопов. Это просвечивающий электронный микроскоп (ПЭМ) и сканирующий электронный микроскоп (СЭМ) [1].

Механизмы формирования изображения в СЭМ отличаются от формирования изображения в оптическом или просвечивающем электронных микроскопах [2]. В оптическом и просвечивающем ЭМ изображение формируется при помощи линз и носит, таким образом, дифракционный характер. Изображение в СЭМ - это результат отображения изменений от точки к точке в характере взаимодействия электронов зонда с поверхностью мишени. Если в точке А1 вторичный сигнал имеет величину 51, а в соседней точке А2 - соответственно 52, то говорят, что существует контрастность между этими точками, характеризуемая коэффициентом контраста

I 1 2 _ _

+ 52 5 '

Контраст между двумя точками на изображении может различаться вследствие различия во взаимодействии электронов зонда с материалом мишени.

Контраст, определяемый атомным составом мишени. Коэффициент отражения электронов зависит от атомного номера и растёт с ростом последнего. Поэтому области, содержащие элементы с высоким атомным номером, будут иметь отличный от нуля контраст по сравнению с более лёгкими элементами. Таким образом, можно проводить качественный анализ атомного состава поверхности, используя полированные и даже нетравлёные образцы. Следует подчеркнуть, что коэффициент истинно вторичной эмиссии слабо зависит от атомного номера и, следовательно, во вторичных электронах такой контраст наблюдаться не будет.

Топографический контраст. Этот тип контраста возникает за счёт влияния рельефа поверхности на отражённые и вторичные электроны и имеет большое сходство с изображением, формируемым в световом микроскопе, поэтому интерпретация его во многом аналогична. Коэффициент вторичной эмиссии существенно зависит от ориентации образца по отношению к падающему пучку, причём с ростом угла падения растёт и коэффициент вторичной эмиссии. С другой стороны, в рассеянии электронов

присутствует ориентационный эффект - наибольшее число отражённых электронов лежит в плоскости падения и направлено в сторону движения первичных электронов (угол падения приблизительно равен углу отражения).

Контраст каналирования электронов. Электроны при определённых углах падения могут захватываться каналами, которые образуются системами кристаллографических плоскостей. Из теории дифракции известно, что для электронов, падающих на кристалл под точным Брегговским углом для данной системы плоскостей, происходит резкое увеличение глубины проникновения электронов в материал мишени (эффект Бормана). Поэтому в этой точке поверхности кристалла происходит резкое уменьшение выхода электронов, что соответствует уменьшению её контраста на изображении. Когда это условие удовлетворяется для нескольких семейств плоскостей, на экране монитора формируется изображение пересекающихся полос, каждая из которых связана со своим определённым семейством кристаллографических плоскостей. Это используется для определения пространственной ориентировки кристалла или отдельных его участков.

Магнитный контраст. Так как на траектории движения электронов влияют магнитные поля, имеющиеся в образце или вблизи его поверхности, растровая микроскопия позволяет исследовать распределение магнитных полей на поверхности магнитных материалов.

Потенциальный (вольтовый) контраст. Аналогичные эффекты должны возникать и под действием неоднородностей электростатических полей на поверхности образца. Этот тип контраста особенно эффективно используется для наблюдения интегральных схем разной степени сложности в процессе их работы и позволяет наблюдать за изменениями потенциального рельефа, происходящими при разнообразных переключениях в схеме.

Когда первичные электроны с высокой энергией (обычно 1-30 кэВ в СЭМ) взаимодействуют с материей, происходят различные процессы, приводящие к выбросу электронов и фотонов, которые могут быть собраны, зарегистрированы и оценены [3, 4]. Схема происходящих процессов иллюстрирована на рис. 1. Размер и форма возбуждённого объёма зависят от энергии электрона и материала образца.

//////

Падающий пучок электронов

поверхность / / / образца

падающий электронный пучок

генерация вторичных электронов

обратно отражённые элетроны

характеристическое рентгеновское излучение

тормозное излучение

флюоресценция

Рис. 1. Схематичное изображение рассеяния падающего пучка

Когда электроны взаимодействуют с материалом, они подвергаются ряду различных упругих и неупругих столкновений [5]. Если электроны рассеяны ядрами, они не теряют энергии (упругие соударения), но рассеиваются под большими углами. Через неупругие столкновения энергия передаётся материалу следующими путями:

• возбуждение электронов во внешних оболочках (вторичные электроны с низкой энергией, обычно 1-50 эВ);

• возбуждение основных электронов (электроны Оже и характеристические рентгеновские лучи);

• первичные электроны, замедляющиеся непрерывно (непрерывные рентгеновские лучи);

• взаимодействие с решёткой (фотонное рассеивание, может быть обнаружено через энергетические потери).

Эти процессы рассеивания являются причиной перемещения первичных электронов в материале зигзагообразным образом и их замедления, пока они не будут рассеяны назад через поверхность или поглощены материалом.

Испускаемые электроны с низкой энергией, известные как вторичные электроны (secondary electrons - SE), формируемые возбуждением элементов поверхности на глубине 5-10 нм с энергией менее 50 эВ, используются в СЭМ для воспроизведения топографии. Генерация вторичных электронов происходит в результате столкновений первичных электронов с внешними электронами атомов (рис. 2). Область генерации вторичных электронов близка к исследуемой поверхности. Число вторичных электронов больше числа первичных электронов.

Упруго рассеянные первичные электроны (рис. 3), часто называемые обратно отражёнными электронами (BSE, backscattered electrons), образующиеся во

электронов поворачивается электромагнитным полем ядра, и, если угол рассеивания больше 180°, электрон может выйти назад через поверхность.

О

Рис. 2. Схематичное Рис. 3. Схематичное

изображение генерации изображение генерации вторичных электронов обратно отражённых

электронов

Также отличают генерацию вторичных электронов обратно отражёнными электронами (8Б2), возвращающимися к поверхности после ряда неупругих столкновений (рис. 4).

Первичные электроны

Поверхность

всём объёме с энергиями 50 эВ < Е < Ее-луча , используются для получения информации о химическом составе и кристаллической структуре. Часть первичных

Рис. 4. Схематичное изображение генерации вторичных электронов БЕ2

8Б2 приходят из области поверхности большей пятна первичных электронов. Поэтому разрешение намного хуже, чем при использовании только вторичных электронов.

Характеристическое рентгеновское излучение может быть использовано для качественного и ко-

личественного анализа элементного состава и распределения в образце.

Оже электроны из области образца размерами менее 5 нм несут элементную и химическую информацию.

Видимый свет (катодолюминесценция) даёт информацию об электронных/оптических характеристиках, запрещённой зоне.

Общее правило для всех видов интерпретации изображения СЭМ - микроскоп показывает образец, как если бы он освещался детектором и наблюдался глазом в апертуре. Различие в яркости между двумя областями может интерпретироваться как различия углов поступающего первичного пучка, направлений к детектору, атомного веса, химических свойств поверхности, кристаллографических свойств, микротопографии.

Хотя электронная микроскопия позволяет увидеть образцы с очень высоким увеличением, она имеет свои побочные эффекты. Во-первых, изображения, особенно полученные в ПЭМ, сильно за-шумлены. Вторая проблема заключается в расфокусировании изображения, что сильно проявляется при высоких увеличениях. Дополнительные проблемы: вибрация и скапливание заряда. Вибрация вызывается перемещением образца в процессе сканирования электронным пучком. В основном этот эффект проявляется на краях образца в виде развевающегося флага. Скапливание заряда можно разделить на четыре типа в соответствии с [6]. К ним относятся: артефакты взаимодействия пучка, загрязнение, артефакты изображения (скапливание положительного и отрицательного заряда) и спонтанное излучение.

Артефакты взаимодействия пучка наблюдаются в виде эффекта «рыбий глаз»: некоторые области имеют большее увеличение, чем остальная часть изображения. Это вызывается зарядами, скапливающимися на поверхности образца из-за плохого заземления. Скапливание положительного заряда означает, что есть положительное электрическое поле на поверхности образца, в результате чего понижается общий контраст изображения. Скапливание отрицательного заряда приводит к противоположному результату, изображение становится более ярким. Загрязнение -это результат осаждения инородных углеродных веществ, возникающих от разложения углеводородов в самом образце. Этот эффект отображается в виде прямоугольной области после её сканирования. Спонтанное излучение представляет собой явление, возникающее как результат случайной эмиссии электронов из образца. Это излучение зависит от длительности разряда и видно на изображении в виде полос в направлении сканирования.

Формирование изображения

В ходе развития электронной микроскопии различные подходы применялись для улучшения качества изображений. Большинство из них было основано на усовершенствовании технических средств. Радиально-

симметричные линзы широко использовались в электронных микроскопах, но хроматические аберрации первого порядка и сферическая аберрация третьего порядка ограничивали разрешение электронных микроскопов. В 1936 Scherzer [7] показал, что хроматические и сферические аберрации статических круглых линз всегда положительны при распространении пучка в незаряженной области. С другой стороны, при отказе от круговой симметрии могут быть получены отрицательные коэффициенты аберрации для компенсации коэффициентов хроматической и сферической аберрации круглой линзы до нуля. В 1948 Gabor [8, 9] предложил использовать голограмму для коррекции изображения при сильной аберрации линз. В этом случае устраняется негативное влияние недостатков оптических элементов на изображение в последующем шаге во сстано вления.

Цифровая обработка изображений вскоре продвинулась далеко за пределы голографического восстановления. В конце 1960-х и в 1970-х годах трёхмерная реконструкция и фазовая проблема были основными задачами обработки изображения [10]. После включения коррекции сферической аберраций в стандартные процедуры появились другие подходы к восстановлению выходной волны [11, 12]; в то же время применение коррекции в электронной томографии представляется трудной задачей [13].

Изображения, полученные с помощью электронного микроскопа, являются аппроксимациями идеальных 2D проекций наблюдаемых 3D структур. Результатом таких факторов, как аберрации линз, рассеяние электронов и дефокусировка, являются изображения, не представляющие истинные математические проекции. Такие изображения напоминают свёртку идеальной проекции с функцией рассеяния точки (ФРТ). Функция рассеяния точки (или размытие) - это отклик изображающей системы на предмет в виде точечного источника.

Упрощённо процесс формирования изображения может быть формально записан как двумерная свёртка истинного изображения с ФРТ изображающей системы в виде:

f = f * h + n ,

где f - полученное изображение, f- истинное изображение, h - ФРТ, n - шум наблюдения, * - дискретный 2D линейный оператор свёртки.

Помимо управляемых геометрических размеров зонда, таких как размер сфокусированного пучка электронов, углов его сходимости и расходимости и глубина фокусировки СЭМ пучка, как уже упоминалось, на ФРТ влияют факторы взаимодействия пучка с материей, меняющиеся со временем: скапливание заряда, вибрация. Поскольку получение изображения в СЭМ предполагает сканирование пучком по образцу с конечной скоростью, ФРТ в каждой точке растра будет разной. В дальнейшем изложении рассматривается случай не меняющейся со временем ФРТ для СЭМ.

Для 2Б некогерентно освещённой изображающей системы с увеличением М функция интенсивности V (х2, у2) в плоскости изображения представляется как интеграл свёртки [14]:

V ( Х2 , У2 ) =

= Ц\к(х -МХ2,У1 -МУ2)|2у(Х1,У1)6x^1,

где V (х1, у1) - функция интенсивности в плоскости

объекта и к(х, у) - комплексная ФРТ. Поскольку в (3) используется функция рассеяния точки по ин-

тенсивности к (х, у) , фазовых множителей в (3) нет. В частотном пространстве можно записать: V(к , к ) = С(к , к )¥(к , к ) и

у7 у7 у7

V

= Л V (кх, ку )ехр [-12я( кхМх2 + куМу2) ] 6кх6ку,

~   2 где V , V и С - 2Б преобразования Фурье V , V и к

соответственно, так что

С ( кх , ку ) =

= Ц\ к(Х1,у1)Г еХР [12р(кхх1 + куу1 )] 6х16у1.

Традиционно С называется оптической передаточной функцией (ОПФ), V - пространственный спектр интенсивности изображения и V - пространственный спектр интенсивности объекта.

Для 2Б когерентно освещённых изображающих систем комплексная функция изображения и (х2, у2) может быть выражена как свёртка комплексной функции объекта и (х1,у1) и комплексной ФРТ [14]:

и ( х2, у 2 ) =

= Я к (х - Мх2, у - Му2) и (х1, у) а^ду.

В Фурье-пространстве это записывается как:

и (к , к ) = с(к , к )П (к , к ) и

4 х' у7 у х' у7 у х' у7

и

= Я и(кх, ку )ехр [-12я( кхМх2 + куМу2) ] дкхдку,

где и , и и с - 2Б Фурье-преобразования м , и и к -соответственно, так что

А кх, ку )=

= Як(х1 , у1)еХР [12р(кхх1 + куу1 )] дх1ду1.

Таким образом, с называется контрастной передаточной функцией (КПФ), и - комплексный спектр изображения и и - комплексный спектр объекта. КПФ часто используется в ПЭМ высокого разрешения для оценки и сравнения разрешения и предела увеличения различных микроскопов. КПФ мо-

дулирует амплитуду и фазу изображения дифракции электронов сформированного в задней фокальной плоскости линзы объектива. КПФ зависит от коэффициента сферической аберрации линзы объектива; длины волны, определяемой ускоряющим напряжением; степенью дефокусировки, пространственной частотой.

Устранение шума В основном устранение шума производится с помощью сглаживающих фильтров, таких как размытие по Гауссу и сглаживание по прямоугольному окну.

В усечённой свёртке инверсной фильтрации для некогерентно освещённых изображающих систем стандартная процедура обращения свёртки заключается в инвертировании (3) [14]:

v (хн у ) = Р

1 ^Му)'

(кх, ку)(9) = Я V (кх, ку) ехр [-/2я (кхх1 + куу1)] дкх дку.

Вместо V (кх, ку) в дроби вводится V' (кх, ку) с

фильтром низкочастотного пропускания для подавления пространственных частот, связанных с шумом, выше максимальной пространственной частоты ктах.

V'(кх,ку )= V(кх,ку)Гкш1х (кх,ку), где

Гт„ (кх, ку ) =

./к2 + к2 < к

ух у s

к

к„„ -Л к2 + к

к„„ - к.

к ¡к2 + к2 < к

^ у х у т

0,

к2 + к 2 > к

Целью является сглаживание границ спектральной маски для подавления эффектов наложения.

Кроме этой усёченной свёртки инверсной фильтрации, существует множество усовершенствованных методов [15].

Для когерентно освещённых изображающих систем, так же, как в (8), комплексная функция объекта находится как:

'(у ) = Р

1 \и' (кх ,ку ) 1

, С

= Я и (кх, ку) ехр [- 2л(кхх + куу1) ] дкхдку.

Инверсная фильтрация может быть выполнена прямым делением двух комплексных полей и и с. Однако так же, как и в случае использования функции интенсивности, метод инверсной фильтрации в комплексной плоскости вызывает усиление шума для ма-

лых величин знаменателя

и '

осо-

1

2

бенно на высоких пространственных частотах. Соответственно, и'

й'

\ У ) \ У ) ктах V У / 4 '

Действительная часть Г. (к ,к ) может быть

ктах \ х у }

равна нулю, аннулируя фазовый вклад в (12). Ширина спектра с соответственно ограничивается так, что отбрасываются только нефизические частоты, связанные с шумом. Однако в свёртке интенсивности требуется применение более сложных методов [15, 16]: малые значения в пределах спектральной ширины также чувствительны к шуму.

Медианная фильтрация также стала популярным инструментом предварительного сглаживания при обработке изображений, поскольку она обладает свойствами сохранения краёв (границ изображения) при удалении шума [17, 18]. Преимуществами медианного фильтра являются его концептуальная простота и минимальное размытие границ изображения. Однако он менее эффективен в удалении Гауссова шума и шума случайной интенсивности, поскольку медианный фильтр может удалять шум при условии заполнения шумовыми пикселями менее половины окрестности области.

В настоящее время более популярны сохраняющие края сглаживающие фильтры, включающие фильтр анизотропной диффузии [19] и двусторонний фильтр [20]. Двусторонний фильтр относительно прост и требует меньших вычислительных ресурсов по сравнению с фильтром анизотропной диффузии. В [21] отмечено, что фильтры анизотропной диффузии и двусторонний тесно связаны друг с другом, несмотря на их отличающееся математическое выражение и оба могут рассматриваться как форма нелинейной диффузной фильтрации. Общие ограничения окрестности этих фильтров - это появление устойчивых областей, вызывающих эффект лестницы [22]. Другим недостатком является невозможность сглаживания импульсного шума [23].

Хороший обзор и сравнение различных фильтров шумоподавления даётся в [24]. В обсуждении отмечается, что Гауссовы фильтры сохраняют только плоские зоны, размывая или удаляя контура и детали изображения. Анизотропная фильтрация сохраняет края прямыми, но вводит артефакты в плоские зоны. Таким образом, они предлагают улучшить оба фактора посредством объединения двух фильтров.

Двусторонняя фильтрация была применена для повышения контрастности и уменьшения шума, что позволило увеличить скорость выбора частиц в различных биологических приложениях электронной микроскопии [20, 25]. Основное отличие двусторонней фильтрации от других фильтров шумоподавления состоит в том, что она учитывает не только область наблюдения изображения, то есть соседство пикселей, но и диапазон значений пикселей, как показано на рис. 5. Фильтр заменяет значение пикселя

средним значением подобных величин и значений близлежащих пикселей. В гладких областях он в основном работает как фильтр стандартной области. На краях множитель нормировки исключает пиксели другой стороны края.

Рис. 5. Работа двусторонней фильтрации: обрабатываемое изображение

Фильтр записывается в следующем виде:

/

с множителем нормировки g(x) вида, показанного на рис. 5б:

g

где /(х) - значение пикселя х в выходном изображении, /х) - значение пикселя х во входном изображении, д(£, х) - геометрическая близость, расстояние между центром окрестности х и соседней точкой X, 5 (/ (X), / (х)) - близость значений пикселей, разброс значений пикселей между центром окрестности х и соседней точкой X

Двусторонняя фильтрация - это Гауссово размытие с сохранением изображения краёв. Этот алгоритм рассматривает только пиксели, близкие в пространстве и по их значениям. Если значения близки, то двусторонний фильтр работает как Гауссово размытие.

Повышение резкости

Один из самых популярных инструментов для повышения резкости изображения в фотографии - нерезкое маскирование [26]. Этот фильтр резкости включает в себя три операции: размытие оригинала ядром сглаживания; вычисление маски вычитанием размытого изображения из оригинала; сложение маски, умноженной на коэффициент, с оригиналом. Хотя нерезкое маскирование не имеет теоретического обо-

снования, на практике оно зарекомендовало свою высокую эффективность в повышении резкости краёв без излишнего увеличения шума.

Если ФРТ известна и шумы незначительны, то восстановить истинное изображение легко. Применение процедуры обратной свёртки основано на теоретической возможности воспроизведения изображения путём удаления эффекта рассеяния точки и шума. Обратная свёртка может быть применена только к размытию, вызванному характерным профилем электронного зонда. В случае электронной микроскопии форма этого профиля известна лишь частично, но иногда и полностью неизвестна.

Процесс определения ФРТ и восстановления неизвестного изображения в условиях отсутствия информации или частичных данных об изображающей системе известен как слепая обратная свёртка [27-30]. Слепая обратная свёртка может быть выполнена итеративно, причём определение изображения и профиля пятна улучшается в каждом шаге, или не итеративно, если профиль пятна получен на основе внешней информации.

Итерационный процесс слепой обратной свёртки может быть описан в соответствии с [27]. Процесс начинается с первоначальной оценки функции рассеяния точки (ФРТ). Далее восстанавливается изображение по рассчитанной ФРТ, и результат сравнивается с зарегистрированным изображением. Оценка ФРТ корректируется поправкой на разницу между двумя изображениями использованием оценки максимального правдоподобия, и процесс начинается с новой оценки. Методы оценки максимального правдоподобия включают обратную свёртку Ричардсона-Люси [31, 32] и ЕМ-алгоритм [33].

Основная идея обратной свёртки Ричардсона-Люси - вычисление в каждой итерации наиболее вероятного изображения по наблюдаемому изображению и определяемой ФРТ и вычисление наиболее вероятной ФРТ по наблюдаемому изображению и определённому изображению. Этот алгоритм является популярным в области астрономии и восстановления медицинских изображений вследствие его надёжности при наличии шума и используется во многих алгоритмах определения ФРТ [34-36]. Основными параметрами являются: форма пятна, размер пятна и число итераций алгоритма. Первые два параметра используются для оценки начальной ФРТ к пятна, определяемой следующим образом:

г м+и ^

h(x, y) = exp

где а - определяет форму, с - размер пятна. Для изображений электронной микроскопии форма пятна а = 1,6, что приводит к более острому пику, чем у Гауссова пятна с а = 2. Размер пятна может меняться в соответствии с обрабатываемым изображением.

После определения начального размера пятна алгоритм проходит заданное число итераций. В каждой

итерации к из начального изображения g и пятна hk - 1 определяется изображение fk:

f * \

f к = fk-iх

f

f * h

\J к-1 "к

*h

Оцениваемое пятно кк корректируется с использованием начального изображения g и к-й оценки изображения /к:

hk = hk-1х

f

f * h

\J к "к

* Л

EM-алгоритм (expectation-maximization) - алгоритм, используемый для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных [37]. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации.

Неитерационные методы включают SeDDaRA [38], использующий информацию о сцене в форме эталонного изображения, и APEX [39], предполагающий, что ФРТ имеет определённую форму, и определяющий ширину формы.

Повышение резкости, однако, имеет свои пределы. Изображения с очень низкой резкостью не могут быть улучшены. Согласно [40], фильтры резкости не могут восстановить подробности, если модуляционная передаточная функция (МПФ) очень мала (менее 10 %). Оценки максимального правдоподобия в итерационных алгоритмах обратной свёртки, как правило, чрезмерно повышают резкость изображения [41]. Это может быть частично скомпенсировано с помощью наложения ограничений на изображение, таких как обеспечение раннего прекращения итерационного алгоритма и выполнение условия неотрицательности изображения. Чрезмерное повышение резкости изображения может привести к возникновению артефактов в виде вибраций по краям. В [42] предлагается метрика оценки вибрации после обратной свёртки.

Согласно [43], целесообразная резкость зависит от величины контраста в прилегающих областях, т.е. можно больше повысить резкость краёв с лучшим воспринимаемым качеством, если окрестные области имеют более высокий контраст.

Заключение

Электронная микроскопия с помощью электронных пучков для сканирования образца позволяет наблюдать объекты с разрешением почти атомного уровня. В работе обсуждаются возможности использования фильтров пост-обработки для улучшения ка-

(

\

а

О

чества получаемых изображений по характеристикам шума и резкости.

Множество подходов разработано для коррекции влияния передаточных функций в процессе восстановления изображений электронной микроскопии. Большинство существующих в настоящее время методов допускают, что весь образец подвергнут размытию одной однородной передаточной функцией. Это предположение приемлемо в случае малости времени получения изображения по сравнению с процессами скапливания заряда, малости разрешения восстановленного изображения, однородности образца по материальному составу и топографии. Изменение размытия в пределах образца становится всё более очевидным с увеличением достижимого разрешения. Поэтому существует необходимость в методах коррекции изображений, учитывающих зависимость передаточных функций от положения в пространстве.

Благодарности Работа выполнена при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» (госконтракты № 02.740.11.0805 и № 14.740.11.0016).

Литература

1. Scanning Electron Microscopy and X-Ray Microanalysis (3rd ed.) / J. Goldstein, D. Newbury, D. Joy, C. Lyman, P. Echlin, E. Lifshin, L. Sawyer and J. Michael. - New York, Boston, Dordrecht, London, Moscow: Kluwer Academic/Plenum Publishers, 2003. - 689 p.

2. Cуворов, Э.В. Физические основы экспериментальных методов исследования реальной структуры кристаллов / Э.В. Суворов. - Черноголовка: Изд-во ИПХВ РАН, 1999. - 232 с.

3. Electron Microscopy Principles and Techniques for Biologists (2rd ed.) / J.J. Bozzola and L.D. Russell. - Boston: Jones and Bartlett, 1998. - 670 p.

4. Manual for the SUPRA (VP) and ULTRA Scanning Electron Microscopes. - Carl Zeiss SMT Ltd, Germany, 2005.

5. Scanning microscopy for nanotechnology / W. Zhou and Z.L. Wang. - New York: Springer, 2006. - 522 p.

6. Tan, Y.Y. A Study on Central Moments of the Histograms from Scanning Electron Microscope Charging Images / Y.Y. Tan, K.S. Sim, and C.P. Tso // Scanning. - 2007. -Vol. 29. - P. 211-218.

7. Scherzer, O. Ueber einige Fehler von Elektronenlinsen / O. Scherzer // Z. Phys. - 1936. - Vol. 101. - P. 593-603.

8. Gabor, D. A new microscope principle / D. Gabor // Nature. - 1948. - Vol. 161. - P. 777-778.

9. Gabor, D. Microscopy by reconstructed wave-fronts / D. Gabor // Proc. R. Soc. Lond. A. - 1949. - Vol. 197. -P. 454-487.

10. Hawkes, P.W. Electron image processing - a survey / P.W. Hawkes // Comput Graph Image Process. - 1978. -Vol. 8. - P. 406-446.

11. Atomic resolution transmission electron microscopy. In Science of microscopy, vol. 1 (eds P.W. Hawkes and J.C.H. Spence) / A.I. Kirkland, S.L.-y. Chang and J.L. Hutchison. - NY: Springer, 2008. - P. 3-64.

12. Petersen, T.C. Quantitative TEM-based phase retieval of MgO nanocubes using the transport of intensity equation / T.C. Petersen, V.J. Keast and D.M. Paganin // Ultramicro-scopy. - 2008. - Vol. 108. - P. 805-815.

13. Hawkes, P.W. Aberration correction past and present / P.W. Hawkes // Phil. Trans. R. Soc. A. - 2009. - Vol. 367. - P. 3637-3664.

14. Advanced Optical Imaging Theory / M. Gu. - Berlin, Heidelberg: Springer-Verlag, 2000. - 214 p.

15. Sarder, P. Deconvolution methods for 3-d fluorescence microscopy images / P. Sarder, A. Nehorai // IEEE Signal Process. Mag. - 2006. - Vol. 23. - P. 32-45.

16. McNally, J.G. Three-dimensional imaging by deconvolution microscopy / J.G. McNally, T. Karpova, J. Cooper and J.A. Conchello // Methods. - 1999. - Vol. 19. - Vol. 373-385.

17. Bovik, A.C. The Effect of Median Filtering on Edge Estimation and Detection / A.C. Bovik, T.S. Huang and D.C. Munson // Pattern Analysis and Machine Intelligence, IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1987. - Vol. 9, Issue 2. - P. 181-194.

18. Sun, T. Center weighted median filters: Some properties and their applications in image processing / T. Sun, M. Gabbouj and Y. Neuvo // Signal Processing. - 1994. -Vol. 35(3). - P. 213-229.

19. Perona, P. Scale-space and edge detection using anisotropic diffusion / P. Perona, J. Malik // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1990. -Vol. 12(7). - P. 629-639.

20. Tomasi, C. Bilateral filtering for gray and color images /

C. Tomasi, R. Manduchi // Proceedings of the IEEE International Conference on Computer Vision, January 1998. - P. 839-846.

21. Barash, D. Fundamental relationship between bilateral filtering, adaptive smoothing, and the nonlinear diffusion equation / D. Barash // Pattern Analysis and Machine Intelligence, IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - Vol. 24(6). - P. 844-847.

22. Buades, A. The staircasing effect in neighborhood filters and its solution / A. Buades, B. Coll and J. Morel // IEEE Transactions on Image Processing. - 2006. - Vol. 15(6). -P. 1499-1505.

23. Pantelic, R.S. The discriminative bilateral filter: An enhanced denoising filter for electron microscopy data / R.S. Pantelic, R. Rothnagel, C.-Y. Huang, D. Muller,

D. Woolford, M.J. Landsberg [et al.] // Journal of Structural Biology. - 2006. - Vol. 155(3). - P. 395-408.

24. Buades, A. A Review of Image Denoising Algorithms, with a New One / A. Buades, B. Coll and J. Morel // Multiscale Modeling & Simulation. - 2005. - Vol. 4(2). - P. 490-530.

25. Jiang, W. Applications of a bilateral denoising filter in biological electron microscopy / W. Jiang, M. Baker, Q. Wu,

C. Bajaj and W. Chiu // Journal of Structural Biology. -2003. - Vol. 144(1-2). - P. 114-122.

26. Sheppard, A.P. Techniques for image enhancement and segmentation of tomographic images of porous materials / A.P. Sheppard, R.M. Sok and H. Averdunk // Conference on New Materials and Complexity, Canberra, Australia, 2003, Nov 03-07.

27. Biggs, D. Accelerated Iterative Blind Deconvolution /

D. Biggs. - PhD Thesis, 1998. - P. 143-144.

28. Jang, K.E. Single channel blind image deconvolution from radially symmetric blur kernels / K.E. Jang and J.C. Ye // Opt. Express. - 2007. - Vol. 15(7). - P. 37913803.

29. Kundur, D. A novel blind deconvolution scheme for image restoration using recursive filtering / D. Kundur and D. Hatzinakos // Signal Processing, IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1998. -Vol. 46(2). - P. 375-390.

30. Deconvolution and Blind Deconvolution in Astronomy. In Blind image deconvolution: theory and applications (eds K. Egiazarian and P. Campisi) / E. Pantin, J.-L. Starck, F. Murtagh. - CRC Press, 2007. - P. 277-317.

31. Lucy, L. An iterative technique for the rectification of observed distributions / L. Lucy // The Astronomical Journal. - 1974. - Vol. 79(6). - P. 745-754.

32. Richardson, W.H Bayesian-Based Iterative Method of Image Restoration / W.H. Richardson // J. Opt Soc. Am. -1972. - Vol. 62(1). - P. 55-59.

33. Dempster, A. Maximum likelihood from incomplete data via the EM algorithm / A. Dempster, N. Laird and D. Rubin // Journal of the Royal Statistical Society. Series B (Methodological). - 1977. - P. 1-38.

34. Fish, D.A. Blind deconvolution by means of the Richardson-Lucy algorithm / D.A. Fish, A.M. Brinicombe and E.R. Pike // J. Opt. Soc. Am. - 1995. - Vol. 12(1).

35. Tsumuraya, F. Iterative blind deconvolution method using Lucy's algorithm / F. Tsumuraya, N. Miura and N. Baba // Astronomy and Astrophysics. - 1994. - Vol. 282(2).

36. White, R.L Image restoration using the damped Richardson-Lucy method / R.L. White // Instrumentation in Astronomy VIII, Kailua, Kona, HI, USA, 1994.

37. Do, C. What is the expectation maximization algorithm? / C. Do, S. Batzoglou // Nat Biotech. - 2008. - Vol. 26(8). -P. 897-899.

38. Caron, J.N. Noniterative blind data restoration by use of an extracted filter function / J.N. Caron, N.M. Namazi and C.J. Rollins // Appl. Opt. - 2002. - Vol. 41(32). - P. 68846889.

39. Carasso, A.S. APEX method and real-time blind decon-volution of scanning electron microscope imagery /

A.S. Carasso, D.S. Bright and A.E. Vladar // Optical Engineering. - 2002. - Vol. 41(10). - P. 2499-2514.

40. Koren, N. Guides: Sharpness 19.08.2009. http://www.ima test.com/guides/image-quality/ sharpnes s.

41. Puetter, R.C. Digital Image Reconstruction: Deblurring and Denoising / R.C. Puetter, T.R. Gosnell and A. Yahil // Annual Review of Astronomy and Astrophysics. - 2005. -Vol. 43(1). - P. 139-194.

42. Zuo, B. Perceptual ringing metric to evaluate the quality of images restored using blind deconvolution algorithms /

B. Zuo, D. Ming and J. Tian // Optical Engineering. -2009. - Vol. 48(3). - P. 037004-037004-9.

43. Lin, W. Perceptual impact of edge sharpness in images / W. Lin, Y. Gai and A. Kassim // IEE Proc.-Vis. Image Signal Process. - 2006. - Vol. 153(2). - P. 215-223

References

1. Scanning Electron Microscopy and X-Ray Microanalysis (3rd ed.) / J. Goldstein, D. Newbury, D. Joy, C. Lyman, P. Echlin, E. Lifshin, L. Sawyer and J. Michael. - New York, Boston, Dordrecht, London, Moscow: Kluwer Academic/Plenum Publishers, 2003. - 689 p.

2. Physical Foundations of experimental methods of crystal real structure research / E.V. Suvorov. - Chernogolovka: "IPHP RAS" Publisher, 1999. - 232 p. - (In Russian).

3. Electron Microscopy Principles and Techniques for Biologists (2rd ed.) / J.J. Bozzola and L.D. Russell. - Boston: Jones and Bartlett, 1998. - 670 p.

4. Manual for the SUPRA (VP) and ULTRA Scanning Electron Microscopes. - Carl Zeiss SMT Ltd, Germany, 2005.

5. Scanning microscopy for nanotechnology / W. Zhou and Z.L. Wang. - New York: Springer, 2006. - 522 p.

6. Tan, Y.Y. A Study on Central Moments of the Histograms from Scanning Electron Microscope Charging Images /

Y.Y. Tan, K.S. Sim, and C.P. Tso // Scanning. - 2007. -Vol. 29. - P. 211-218.

7. Scherzer, O. Ueber einige Fehler von Elektronenlinsen / O. Scherzer // Z. Phys. - 1936. - Vol. 101. - P. 593-603.

8. Gabor, D. A new microscope principle / D. Gabor // Nature. - 1948. - Vol. 161. - P. 777-778.

9. Gabor, D. Microscopy by reconstructed wave-fronts / D. Gabor // Proc. R. Soc. Lond. A. - 1949. - Vol. 197. -P. 454-487.

10. Hawkes, P.W. Electron image processing - a survey / P.W. Hawkes // Comput Graph Image Process. - 1978. -Vol. 8. - P. 406-446.

11. Atomic resolution transmission electron microscopy. In Science of microscopy, vol. 1 (eds P.W. Hawkes and J.C.H. Spence) / A.I. Kirkland, S.L.-y. Chang and J.L. Hutchison - NY: Springer, 2008. - P. 3-64.

12. Petersen, T.C. Quantitative TEM-based phase retieval of MgO nanocubes using the transport of intensity equation / T.C. Petersen, V.J. Keast and D.M. Paganin // Ultramicro-scopy. - 2008. - Vol. 108. - P. 805-815.

13. Hawkes, P.W. Aberration correction past and present / P.W. Hawkes // Phil. Trans. R. Soc. A. - 2009. -Vol. 367. - P. 3637-3664.

14. Advanced Optical Imaging Theory / M. Gu. - Berlin, Heidelberg: Springer-Verlag, 2000. - 214 p.

15. Sarder, P. Deconvolution methods for 3-d fluorescence microscopy images / P. Sarder, A. Nehorai // IEEE Signal Process. Mag. - 2006. - Vol. 23. - P. 32-45.

16. McNally, J.G. Three-dimensional imaging by deconvolution microscopy / J.G. McNally, T. Karpova, J. Cooper and J.A. Conchello // Methods. - 1999. - Vol. 19. - Vol. 373-385.

17. Bovik, A.C. The Effect of Median Filtering on Edge Estimation and Detection / A.C. Bovik, T.S. Huang and D.C. Munson // Pattern Analysis and Machine Intelligence, IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1987. - Vol. 9, Issue 2. - P. 181-194.

18. Sun, T. Center weighted median filters: Some properties and their applications in image processing / T. Sun, M. Gabbouj and Y. Neuvo // Signal Processing. - 1994. -Vol. 35(3). - P. 213-229.

19. Perona, P. Scale-space and edge detection using anisot-ropic diffusion / P. Perona, J. Malik // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1990. -Vol. 12(7). - P. 629-639.

20. Tomasi, C. Bilateral filtering for gray and color images /

C. Tomasi, R. Manduchi // Proceedings of the IEEE International Conference on Computer Vision, January 1998. - P. 839-846.

21. Barash, D. Fundamental relationship between bilateral filtering, adaptive smoothing, and the nonlinear diffusion equation / D. Barash // Pattern Analysis and Machine Intelligence, IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - Vol. 24(6). - P. 844-847.

22. Buades, A. The staircasing effect in neighborhood filters and its solution / A. Buades, B. Coll and J. Morel // IEEE Transactions on Image Processing. - 2006. - Vol. 15(6). -P. 1499-1505.

23. Pantelic, R.S. The discriminative bilateral filter: An enhanced denoising filter for electron microscopy data / R.S. Pantelic, R. Rothnagel, C.-Y. Huang, D. Muller,

D. Woolford, M.J. Landsberg [et al.] // Journal of Structural Biology. - 2006. - Vol. 155(3). - P. 395-408.

24. Buades, A. A Review of Image Denoising Algorithms, with a New One / A. Buades, B. Coll and J. Morel // Multiscale Modeling & Simulation. - 2005. - Vol. 4(2). - P. 490-530.

25. Jiang, W. Applications of a bilateral denoising filter in biological electron microscopy / W. Jiang, M. Baker, Q. Wu,

C. Bajaj and W. Chiu // Journal of Structural Biology. -2003. - Vol. 144(1-2). - P. 114-122.

26. Sheppard, A.P. Techniques for image enhancement and segmentation of tomographic images of porous materials / A.P. Sheppard, R.M. Sok and H. Averdunk // Conference on New Materials and Complexity, Canberra, Australia, 2003, Nov 03-07.

27. Biggs, D. Accelerated Iterative Blind Deconvolution. -PhD Thesis, 1998. - P. 143-144.

28. Jang, K.E. Single channel blind image deconvolution from radially symmetric blur kernels / K.E. Jang and J.C. Ye // Opt. Express. - 2007. - Vol. 15(7). - P. 37913803.

29. Kundur, D. A novel blind deconvolution scheme for image restoration using recursive filtering / D. Kundur and

D. Hatzinakos // Signal Processing, IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1998. -Vol. 46(2). - P. 375-390.

30. Deconvolution and Blind Deconvolution in Astronomy. In Blind image deconvolution: theory and applications (eds K. Egiazarian and P. Campisi) / E. Pantin, J.-L. Starck, F. Murtagh. - CRC Press, 2007. - P. 277-317.

31. Lucy, L. An iterative technique for the rectification of observed distributions / L. Lucy // The Astronomical Journal. - 1974. - Vol. 79(6). - P. 745-754.

32. Richardson, W.H. Bayesian-Based Iterative Method of Image Restoration / W.H. Richardson // J. Opt Soc. Am. -1972. - Vol. 62(1). - P. 55-59.

33. Dempster, A. Maximum likelihood from incomplete data via the EM algorithm / A. Dempster, N. Laird and D. Rubin // Journal of the Royal Statistical Society. Series B (Methodological). - 1977. - P. 1-38.

34. Fish, D.A. Blind deconvolution by means of the Richardson-Lucy algorithm / D.A. Fish, A.M. Brinicombe and E.R. Pike // J. Opt. Soc. Am. - 1995. - Vol. 12(1).

35. Tsumuraya, F. Iterative blind deconvolution method using Lucy's algorithm / F. Tsumuraya, N. Miura and N. Baba // Astronomy and Astrophysics. - 1994. - Vol. 282(2).

36. White, R.L Image restoration using the damped Richardson-Lucy method / R.L. White // Instrumentation in Astronomy VIII, Kailua, Kona, HI, USA, 1994.

37. Do, C. What is the expectation maximization algorithm? / C. Do, S. Batzoglou // Nat Biotech. - 2008. - Vol. 26(8). -P. 897-899.

38. Caron, J.N. Noniterative blind data restoration by use of an extracted filter function / J.N. Caron, N.M. Namazi and C.J. Rollins // Appl. Opt. - 2002. - Vol. 41(32). - P. 68846889.

39. Carasso, A.S. APEX method and real-time blind decon-volution of scanning electron microscope imagery /

A.S. Carasso, D.S. Bright and A.E. Vladar // Optical Engineering. - 2002. - Vol. 41(10). - P. 2499-2514.

40. Koren, N. Guides: Sharpness 19.08.2009. http://www.ima test.com/guides/image-quality/ sharpnes s.

41. Puetter, R.C. Digital Image Reconstruction: Deblurring and Denoising / R.C. Puetter, T.R. Gosnell and A. Yahil // Annual Review of Astronomy and Astrophysics. - 2005. -Vol. 43(1). - P. 139-194.

42. Zuo, B. Perceptual ringing metric to evaluate the quality of images restored using blind deconvolution algorithms /

B. Zuo, D. Ming and J. Tian // Optical Engineering. -2009. - Vol. 48(3). - P. 037004-037004-9.

43. Lin, W. Perceptual impact of edge sharpness in images / W. Lin, Y. Gai and A. Kassim // IEE Proc.-Vis. Image Signal Process. - 2006. - Vol. 153(2). - P. 215-223

FORMATION AND PROCESSING OF ELECTRON MICROSCOPIC IMAGES

D. V. Nesterenko Image Processing Systems Institute of RAS

Abstract

In this review the problems of image acquisition by electron microscopy are discussed. The imaging models obtained by scanning and transmission electron microscopes based on the optical transfer function and contrast transfer functions are considered. The methods applying for blur correction and image denoising are briefly described.

Key words: aberration correction, electron microscopy, image processing methods.

Сведения об авторе

Нестеренко Дмитрий Владимирович, кандидат физико-математических наук (2002), научный сотрудник лаборатории лазерных измерений ИСОИ РАН. В 1999 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва по специальности «Прикладная физика». Область научных интересов: нанофотоника, метаматериалы, электронно-лучевая литография. Публикации: 36 научных трудов, 1 монография, 3 патента. E-mail: nesterenko@smr.ru .

Dmitry V. Nesterenko, is a scientific researcher of Laser Measurements laboratory at the Image Processing Systems Institute of the Russian Academy of Sciences (Samara). He received his MS in physics (1999) and PhD in optics (2002) from Samara State Aerospace University. He is co-author of 36 scientific papers, 1 book and 3 patents. His current interests are diffractive metamaterials, e-beam lithography.

Поступила в редакцию 17 марта 2011 г.

optics, nanophotonics,