Кластерная технология определения восстанавливающих фильтров и обработки больших изображений

КЛАСТЕРНАЯ ТЕХНОЛОГИЯ ОПРЕДЕЛЕНИЯ ВОССТАНАВЛИВАЮЩИХ ФИЛЬТРОВ И ОБРАБОТКИ БОЛЬШИХ ИЗОБРАЖЕНИЙ

М.А. Дроздов, Д.И. Зимин, С.Б. Попов, С.А. Скуратов, В.А. Фурсов

Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет

Введение

Одним из важных этапов формирования изображений подстилающей поверхности Земли по данным аэрокосмического мониторинга является их обработка с целью улучшения качества. При этом возникают, по крайней мере, две проблемы: синтез структуры и параметров восстанавливающего фильтра и организация обработки больших изображений.

Проблема синтеза фильтров хорошо известна [1]. Для построения оптимального в некотором смысле восстанавливающего фильтра, строго говоря, требуется знание структуры и параметров модели искажающей системы. Для их определения необходимо проведение испытаний регистрирующей системы с использованием тестовых изображений. Это требует значительных затрат, связанных с созданием и поддержанием на поверхности Земли тестового изображения (миры). Вторая проблема связана с организацией обработки больших изображений на многопроцессорных вычислительных системах. Известно, что эффективность и достигаемое ускорение при распараллеливании задач обработки в значительной степени зависят от согласования архитектуры и числа используемых процессоров с размерами обрабатываемого изображения.

В настоящей работе указанные две проблемы решаются в рамках разработанной авторами сквозной автоматизированной технологии. Идея, положенная в основу разработки, была опубликована в работе [2]. Затем она была применена к решению задачи оценки разрешающей способности видеотракта по фрагментам регистрируемых изображений [3]. В настоящей работе эта схема применена к решению задачи улучшения качества больших изображений, обрабатываемых на вычислительном кластере.

1. Описание технологии построения фильтров и обработки изображений

Кратко перечислим основные этапы технологии определения параметров фильтров и обработки изображений, описанной в работе [2]:

1. Выбор на искаженном изображении фрагментов, наиболее подходящих для формирования тестовых образцов, на которых должны обучаться алгоритмы обработки.

2. Формирование из отобранных фрагментов тестовых образцов (компьютерное ретуширование).

3. Обучение (определение параметров) алгоритмов обработки на тестовых изображениях.

4. Обработка исходного искаженного (большого) изображения.

Обсудим методы и алгоритмы указанных этапов технологии, следуя работе [3], при этом уделив особое внимание особенностям и отличиям их реализации в контексте настоящей работы.

На первом этапе на исходном изображении отбираются фрагменты, у которых изменение функции яркости р<х,у) имеет вид ступенчатой функции (рис. 1) с размытием вдоль средней линии фрагмента (линия А-В). Подходящими для этого считаются участки изображения, с резким перепадом яркости вдоль некоторой линии (например, граница между освещенной крышей здания и отбрасываемой зданием тенью).

Рис. 1. Вид функции яркости на фрагменте

Отбор информативных фрагментов осуществляется так, как описано в работе [3]. Вначале, для каждого фрагмента изображения определяется перепад яркости. Из полученного множества фрагментов выбираются те, у которых перепады яркости выше заданного. Для каждого отобранного таким способом фрагмента вычисляется СКО функции яркости в «темной» и «светлой» областях и затем отбираются один или несколько фрагментов, для которых полусумма СКО минимальна на множестве допустимых значений.

Подчеркнем, что качество последующего оценивания параметров фильтра по отобранным тестовым фрагментам обычно оказывается выше, если средняя линия (А-Б) на фрагменте точно совпадает с направлением строк или столбцов ПЗС-матрицы регистрирующего устройства.

Цель компьютерного ретуширования (этап 2) -формирование на фрагменте изображения ступенчатой функции яркости (рис. 1). Задача заключается в определении расположения линии перепада яркости. Для этого используется априорная информация о геометрической форме объектов, фрагменты изображений которых отобраны в качестве тестовых.

Для определения расположения линии перепада яркости на фрагменте строится гистограмма отсчетов функции яркости. Обычно она имеет вид, представленный на рис. 2. По гистограмме вычисляется среднее значение яркости фрагмента:

с =Х/г  I, ^0,255,

г

где /г - отношение количества отсчетов с 1-м уровнем яркости к общему числу отсчетов изображения.

A

0,7 0,6

0,5

0,4

0,3

0,2

0,1

т Y т т г

г т т г

/ \ 1 / 1 \ 1 1 / 1 \ 1

т А т г т 1 г / 1 \ / ! \

1 / 1 \ 1 jУ 1 Xi

где N х 1 - векторы у и £ составлены из отсчетов исходного фрагмента и ошибок измерений соответ-

0 50 100 150 200 250 i

Рис. 2. Пример гистограммы отсчетов функции яркости на фрагменте Затем подсчитывается количество отсчетов, значения яркости которых меньше среднего:

n, = N •Е /г • i, i = 0,int c ,

i

где N - общее число отсчетов на фрагменте. По значениям n,, N вычисляется координата границы функции яркости (расстояние от средней линии фрагмента):

' N +1

--n

где X размер стороны фрагмента, перпендикулярной границе.

Подготовленные описанным способом пары тестовых фрагментов используются для определения параметров восстанавливающего фильтра. В работе [4] показано, что эту задачу целесообразно решать в классе линейных фильтров с бесконечной импульсной характеристикой (БИХ-фильтров), для которых связь отсчетов выходного g(п1,п2) и входного /(п1,п2) изображений описывается соотношением

g

+ Е Ьтн,тг /(П1 - П2 -

(т ,т2) еб/

где am1,m2, Ьт1,т2 - коэффиЦиенты фильтра.

Важнейшим доводом в пользу БИХ фильтра является то, что даже при значительных динамических искажениях размеры опорной области могут быть небольшими по сравнению со случаем использования фильтра с конечной импульсной характеристикой (КИХ-фильтра). В данном случае этот факт имеет принципиальное значение, т.к. размеры тестовых фрагментов невелики.

Проведя измерения значений отсчетов яркости для N различных положений опорной области на тестовых фрагментах с использованием модели (4) можно записать матричное уравнение:

у = X • И + о,

ственно,

NхM - матрица X = [,x2,...,x

N J

со-

ставлена из отсчетов обоих тестовых фрагментов, а И=[...а1Г ..,...Ьи...]т - М х1 - вектор искомых параметров фильтра (М<Щ.

Оценка Й- вектора параметров искажающей системы И, фигурирующего в (5), может быть получена по методу наименьших квадратов или с использованием методов, изложенных в работе [2]. В работе [2] показано, что поменяв входное и выходное изображения местами, по этой же схеме можно

получить оценки параметров € = [•.. € •••,••• Ь^.. .]т

восстанавливающего (инверсного) фильтра:

Я ПР п2 )=- Е а€т т €п1 - п2 - т2) +

(га, ,m )eQf Ьга,.га2 g(П1 - П2 - m2)-

Е

(т1 ,т2 )ев1

Поскольку в соответствии с (6) для вычисления отсчетов выходного изображения используются отсчеты как входного, так и выходного изображений, в рассматриваемой технологии применяется итерационная процедура, которая может оказаться неустойчивой, даже если сам БИХ-фильтр устойчив. Для обеспечения вычислительной устойчивости алгоритма в вычислительную схему вводится дополнительный параметр X. При этом итерационная схема реализации БИХ-фильтра (6) принимает вид:

€к

(т1.т2 )Еб/

\ Е €т1,т2 g(nl - т1 >п2 - т2 )>

(т1 ,т2 Ьве

где g (т, п) - функция яркости исходного искаженного изображения, (т, п), -1 (т, п) - функции яркости восстановленного изображения на к-м и (к-1-м шагах итерационной процедуры.

При увеличении параметра X восстановление достигается на меньшем числе итераций, но при этом могут появляться артефакты, которые усиливаются при увеличении числа итераций. Уменьшение параметра X может привести к недостаточному восстановлению изображения.

Для решения задачи выбора параметра X в рассматриваемой технологии предложено использовать имеющиеся исходный и подвергшийся компьютерному ретушированию фрагменты. В частности, параметр X выбирается таким, чтобы в результате обработки искаженного фрагмента получалось изображение, максимально «близкое» к желаемому отретушированному фрагменту.

Для оценки степени близости в рассмотрение вводится функция вида

(*)=ЕЕ| A j (*•)- 4

где fij (X) - отсчеты изображения, восстановленного с использованием алгоритма (7), а f j - отсчеты

неискаженного изображения. Суммирование ведется по всем соответственным отсчетам фрагментов изображений. Ищется

X* : F

v ' ХеЛ 4 7

где Л - область допустимых значений параметра X [1].

В данном случае, учитывая тот факт, что размеры фрагментов изображений и диапазон значений параметра X невелики, задача (9) может быть решена путем непосредственного сравнения значений функции (8).

2. Общая схема распараллеливания

В рассматриваемом случае при построчной организации хранения отсчетов изображения очень естественной представляется одномерная построчная декомпозиция [5], при которой каждая задача обрабатывает фрагмент изображения, содержащий смежные строки. Фрагменты перекрываются между собой на n строк так, чтобы каждая задача на текущей итерации имела все данные для обработки граничных точек. С этой же целью после каждой итерации задачи обмениваются перекрывающимися строками. Для определенности будем полагать, что изображение имеет размеры N х M (N > M), размер фрагментов перекрывающихся полос - (N/k + In) х M, где k -число параллельных процессов, а n - число перекрывающихся строк соседних полос (см. рис. 3), которыми узлы должны обмениваться. ' М

Время рассылки фрагментов изображения определяется следующим образом:

N к

N

+2п

N

Рис. 3. Разбиение на фрагменты

Будем также полагать, что известны константы: тр - время расчета при обработке одного отсчета изображения и тп - среднее время, затрачиваемое на передачу информации, связанной с одним отсчетом изображения.

Время выполнения полной обработки одного изображения складывается из времени рассылки фрагментов по параллельным задачам, времени выполнения I шагов обработки, времени обмена перекрывающимися строками и времени формирования результирующего изображения из обработанных фрагментов.

70 = (-2)N+2n ImТ +| —+n IMТп.

( N

к "7" р7к Время выполнения одного шага обработки составляет

=ЕМ Трг к тр.

Время обмена перекрывающимися строками после выполнения одного шага обработки -

Тт = 2пМтп .

Время формирования результирующего изображения из обработанных фрагментов -

Т1+1 = (( -тп.

к

Полное время обработки по данной технологии составляет

I I-1

Т\В = Т0 + Т1 +1 Тр1 + Х Тпг ,

г=1 г=1

т.к. обмен строками после последнего шага не производится, или окончательно

Тхо = 2к-1 ЕМ тп +(2к - 3) пМ тп +

1ЕМ , ч

+—— тр + 2п ( - 1)М \.

Относительная эффективность данного варианта параллельной обработки определяется по формуле 1ЕМ т р 1

E1D ="

kT

1D

1 + 251 + ( +1 - 2,5)1

где 8 = тп / т - отношение отрезков времени, необходимых для пересылки данных, к времени обработки в расчете на один отсчет изображения. Это отношение тесно связано с вычислительной сложностью алгоритма обработки, чем сложнее алгоритм, тем меньше это отношение.

Локальность обработки на каждом шаге обработки изображения позволяет применить альтернативную стратегию декомпозиции, основанную на функциональном подходе. Тот факт, что определенная часть информации готова значительно ранее полного завершения текущего шага обработки, позволяет использовать схему с параллельным выполнением всех шагов алгоритма и непосредственной передачей по мере готовности строк изображения от одной операции к другой.

В данном случае единицей разбиения служит операция, выполняющая один шаг обработки. Все операции выполняются параллельно. Данные передаются от одной операции к другой по мере готовности, т. е. после завершения обработки строки изображения на г-ом шаге, она передается другой задаче и является исходной для выполнения (г+1)-ого

шага. Фактически формируется поток данных изображения, элементы которого на /-ом процессоре подвергаются преобразованию в соответствии с алгоритмом /-ого шага и передаются последующему процессору для дальнейшей обработки. При этом результаты всего процесса обработки формируются с той же скоростью, с которой производится и ввод, но, после задержки, пропорциональной числу выполняемых шагов обработки.

Время работы одной задачи складывается из времени обработки N строк изображения и пересылки их другой задаче:

Тр = NMт р + NM тп .

Р г п

Начало обработки /-ой задачи задерживается на время

Тмш =

в случае I < к, т.е. число шагов обработки не превышает число процессоров. Если число шагов обработки превышает число процессоров, то задержка /ой задачи составит

Tidle г I г

i - 1

к -l|(n + 1)M(тр +Tn) +

i -1

NM (т р +Tn ),

где [x] - обозначает целую часть числа х.

Общее время обработки по данному варианту параллельной обработки определяется временем завершения обработки на последнем шаге

T = т + T =

pipe idle I p

= (I-yk - 1)(n + 1)M (т p +Tn ) + + (y +1) NM (т p +Tn ),

где y = [i -1/ к ].

Относительная эффективность потокового (конвейерного) варианта параллельной обработки определяется по формуле

INM т p

поскольку разбиение большого изображения на полосы не всегда экономично с точки зрения объема пересылаемых данных. Представляет интерес установить размеры фрагментов, при которых вычислительные ресурсы кластера используются наиболее эффективно.

Для простоты рассмотрим случай, когда исходное изображение квадратное ХхХ, где X - число отсчетов одной стороны изображения. При фиксированных значениях величин тр и т п наименьшая

доля пересылок имеет место при форме фрагмента в виде квадрата.

Разобьем изображение на квадраты одинаковых размеров и обозначим х - сторону квадрата. Потребуем, чтобы величина х удовлетворяла неравенству

где Ддоп - допустимая величина отношения времени пересылок к времени обработки. Эта величина задана для процессоров, обрабатывающих квадратные (не примыкающие к границам) фрагменты, и определяется желаемым уровнем эффективной загрузки процессоров. Для граничных - х0хх (ххх0) и угловых - х0хх0 фрагментов неравенство только усилится. Поэтому есть основания ожидать, что эффективность использования процессоров повысится, если размеры угловых и граничных фрагментов увеличить, не уменьшая размеров внутренних так, как показано на рис. 4.

F =-

pipe

X

кТ„

"

Сравнение относительной эффективности параллельных реализаций рассматриваемой технологии обработки изображения показывает [6], что потоковый вариант предпочтительнее распараллеливания с использованием одномерной декомпозиции по данным только в случае, когда число шагов обработки близко, но не превышает число процессоров параллельной вычислительной системы.

Дополнительные резервы повышения эффективности распараллеливания по данным связаны с применением двумерной декомпозиции, которая более эффективна, по сравнению с одномерной,

Рис. 4. Разбиение на фрагменты

При малых размерах опорных областей БИХ-фильтра объем передаваемых данных можно считать пропорциональным длине границ (сторон). Тогда суммарное время обработки с учетом пересылок: а) для внутренней области:

Твн = Х -тр + 4 • Х-т„ :

б) для граничной:

Тгр = Х • Х0 -т р + 2 • Х0 -т„ + Х •т„:

в) для угловой:

Тугл = x2 ^р + 2 • Х0 •тп .

Положим

1

где

л*о — к • x,

1 < к < 1,5

- коэффициент увеличения угловой (и соответственно граничной) области, который необходимо выбрать из условия балансировки процессоров. Легко проверить, что неравенства (15) устанавливают диапазон, за пределами которого балансировка невозможна.

Точную балансировку, при одновременном сокращении времени обработки, можно осуществить лишь для части процессоров. Если сбалансировать работу процессоров, обрабатывающих внутренние и граничные области, вычислительные затраты на обработку угловых областей возрастут, что приведет к простою остальных процессоров. Поэтому потребуем, чтобы выполнялось равенство времени обработки внутренних и угловых областей:

к • x + 2• к-5 — x + 4-5 .

Для выбора к, удовлетворяющего равенству (16), необходимо исключить величину х. Сделаем это исходя из того, что при увеличении сторон угловых квадратных фрагментов в к раз для предельного значения к = 1,5 , число полос п, на которые может быть разбита сторона исходного (квадратного) изображения со стороной X, определяется равенством

п =

Соотношение для выбора к, полученное из (16) с учетом (17), принимает вид

X(к2 -1) - (4 - 2к)(п +1)5 — 0.

Заметим, что при к, удовлетворяющем равенству (18), неравенство (10) не нарушается.

Для заданного в соответствии с (17) п величина Х стороны квадратного внутреннего фрагмента, уточненная (увеличенная по сравнению с х) с учетом найденного из равенства (18) масштабного коэффициента к, определяется как

X — X /(п + 2 • (к -1)).

Можно показать, что для найденного Х время обработки граничного фрагмента с учетом пересылок не будет превышать время обработки внутренних и угловых областей, если выполняется дополнительное условие

к > 0,5 +yj0,25 + 5/€ .

Для большинства известных итерационных алгоритмов обработки изображений величина 8/Х€ мала, при этом граница (20) почти совпадает с левой границей в (15). Следовательно, практически для всех допустимых к время обработки граничных областей не превышает время обработки внутренних и угловых областей, что обеспечивает достаточно полную загрузку соответствующих процессоров.

Соотношения (17), (18), (19) могут использоваться для выбора начального разбиения обрабатываемого изображения, поскольку для их получения

использовался ряд упрощающих предположении. Для более полного учета влияния всех факторов, которые не принимались во внимание в указанной упрощенной постановке, может использоваться технология итерационного планирования распределения ресурсов, описанная в работе [7]. В данном случае ее применение не вызовет дополнительных усложнений по сравнению с вариантом, описанным в указанной работе, поскольку задача выбора k - однопа-раметрическая.

3. Пример реализации

Описанная технология апробировалась на космических снимках города. В частности, решалась задача восстановления изображения, которое было получено моделированием размытия значений отсчетов гауссианом с радиусом 7 с помощью графического пакета "Gimp". Сильно уменьшенное исходное искаженное изображение показано на рис. 5.

Рис. 5. Искаженное изображение

Рис. 6. Участок изображения с отобранным фрагментом

Увеличенный участок изображения, на котором был отобран тестовый фрагмент для определения фильтра, показан на рис. 6. На рис. 7 показаны

(существенно увеличенные): исходный отобранный фрагмент и тот же фрагмент после компьютерного ретуширования.

Рис. 7. Тестовые фрагменты: а) исходный; б) после компьютерного ретуширования По отсчетам функции яркости указанных фрагментов формировалась система типа (5). Для составления матрицы X и вектора у использовалась опорная область 3x3, показанная на рис. 8.

-1,-1 0,-1 1,-1

-1,0 0,0 1,0

-1,1 0,1 1,1

Рис. 8. Опорная область

Для каждого положения опорной области элементы 1-й строки матрицы X (в предположении радиальной симметрии искажений) вычислялись следующим образом:

X (,0)= / (0,0),

X (,1) = ((1,0) + / (0,1)+ / (-1,0)+ / (0,-1))/ 4, X (,2) = ((1,-1)+ / (1,1)+ / (-1,1)+ / (-1,-1))/4, X (,3) = ( (1,0) + я (0,1) + я (-1,0) + я (0,-1))/4, X (,4) = (я (1,-1)+я (1,1) + Я (-1,1)+я(-1,-1))/ 4, у(0 = Я (0,0),

где /(1,]) - отсчеты опорной области на исходном фрагменте, а я(Ц) - отсчеты опорной области на фрагменте, подвергшемся компьютерному ретушированию.

По полученным матрице X и вектору у вычис-

лялась МНК-оценка £ = [X X] • X у 4*1 - вектора параметров БИХ-фильтра вида (7):

€ = [¿€), 2, Ь0, Ь2] = [1, 1,903919;

-0,927044; 59,011925; -0,921362; -0,045139].

Как указывалось выше, следующий этап технологии должен заключаться в выборе параметра X для заданных структуры и параметров алгоритма по сформированным малым тестовым фрагментам. Для

этого осуществлялось восстановление исходного фрагмента. Затем вычислялась функция (8), в которой в качестве неискаженного изображения использовался фрагмент, подвергшийся компьютерному ретушированию. Для точек, соответствующих минимальным значениям критерия при различном числе итераций, строилась зависимость числа X от числа итераций - т (рис. 9).

X

0,015

0,010

0,005 0

1111

> _1_ г 1 т _1_ г 1

1 1 1 1

8 10 12 Число итераций

Рис. 9. Зависимость X от числа итераций

С использованием полученных зависимостей были приняты следующие характеристики фильтра: число итераций - 6, значение параметра Я - 0,01.

Как указывалось выше, выбор параметров алгоритма должен осуществляться также с учетом вычислительных затрат. Для обоснования решений, обеспечивающих компромисс между качеством восстановления и вычислительной сложностью, было проведено исследование зависимости критерия (8) от числа итераций т при различных значениях параметра X. В частности, для каждого числа итераций устанавливалась величина X, при которой значение критерия (8) минимально. На рис. 10 приведен вид полученной в работе зависимости критерия (8) от числа итераций, при указанных X. Легко заметить, что, начиная с некоторого числа итераций (в данном случае 4) уменьшение ошибки восстановления - незначительно.

Щ)

0,0635 0,0630 0,0625 0,0620 0,0615

X. 1 1 \ 1 г т Г

V п IX 1 X г г~ "

2 4 6 8 10 12 Число итераций

Рис. 10. Зависимость функции (8) от числа итераций

Описанным фильтром была проведена обработка искаженного изображения. На рис. 11а-в представлены для сравнения участок исходного (рис.11а), искаженного, полученного путем моделирования (рис. 11б), и восстановленного (рис. 11в) изображения. Обработка проводилась на многопроцессорной системе (кластере).

а)

Рис. 11. Участок изображения: а) исходного; б) искаженного; в) восстановленного.

Для описанного восстанавливающего фильтра проводилось исследование эффективности его параллельной реализации на кластере. Исследовалась зависимость ускорения к = ^ / 1п от количества процессоров. Здесь tl - время обработки одним процессором, tп - время обработки п процессорами. На рис. 12 приведены графики зависимости ускорения от числа процессоров для изображений разных размеров при числе итераций т = 6 и одномерной декомпозиции данных.

На рис. 13 приведен построенный по этим же данным график зависимости рекомендуемого (с точки зрения эффективности использования вычислительных ресурсов кластера) числа процессоров от размеров изображения ЫхЫ, где N=1024, 2048, 4096, 8192.

Для построения графика использовались точки на рис. 12, в которых производная ускорения меняет знак с плюса на минус.

Нетрудно заметить, что это граничные точки, после которых дальнейшее увеличение числа процессоров не приводит к ускорению.

к

3,0 2,4

1,8 1,2 0,6

— 1024x1024 ...... 4096x4096 — 2048x2048 — 8192x8192

.и****

----- " —— ------ ----- ------

2 4 6 8 10 12 14 16 п

Рис. 12. Зависимость ускорения от количества процессов при одномерной декомпозиции для различных размеров изображений

к

6

4

2

01________

1 2 3 4 5 6 7 ХЮ3 N

Рис. 13. Зависимость числа процессоров от размеров изображения На рис. 14 приведены графики зависимости ускорения от числа процессоров для изображений разных размеров при числе итераций т= 6 и двумерной декомпозиции данных. Из сравнения рис. 12 и 14 видно, что эффективность двумерной декомпозиции превышает эффективность одномерной декомпозиции. к

— 1024x1024 ---2048x2048 ...... 4096x4096 —8192x8192 —16384x16384

_______ _____••"

У

у у*

& /у/

Г -----

п

Рис. 14. Зависимость ускорения от количества процессов при двухмерной декомпозиции

Заключение

Полученные результаты показывают принципиальную возможность оперативного построения восстанавливающего фильтра с использованием только исходного искаженного изображения. Кроме того, в рамках рассматриваемой технологии для заданного класса фильтров установ-

лены рекомендуемые значения числа параллельных процессов для различных размеров изображения. Эти результаты могут использоваться при организации оперативной обработки данных аэрокосмического мониторинга Земли.

Благодарности Работа выполнена при поддержке грантов РФФИ (№ 01-01-00097 и № 03-01-00109), Президента РФ (№ НШ-1007.2003.01) и российско-американской программы «Фундаментальные исследования и высшее образование» («BRHE»).

Литература

1. Методы компьютерной обработки изображений / Под ред. Сойфера В.А., Москва, Физматлит, 2001.

2. Фурсов В.А. Идентификация моделей систем формирования изображений по малому числу наблюдений. Самара 1998.

3. Сергеев В.В., Фурсов В.А., Парфенов С.И. Оценка разрешающей способности видеотракта по фрагментам регистрируемых изображений // Автометрия, 5, 2001. С.25-36.

4. Фурсов В.А., Попов С.Б. Параллельная фильтрация изображений // Труды 2-го международного научно-практического семинара «Высокопроизводительные параллельные вычисления на кластерных системах», Нижний Новгород, 26-29 ноября 2002. С. 307-313.

5. Попов С.Б., Сойфер В.А., Тараканов А.А., Фурсов В.А. Кластерная технология формирования и параллельной фильтрации больших изображений // Компьютерная оптика. N 23, 2002. С. 75-78.

6. Попов С.Б., Скуратов С.А. Пространственное и потоковое распараллеливание в технологиях обработки изображений скользящим окном // Высокопроизводительные параллельные вычисления на кластерных системах. Материалы третьего Международного научно-практического семинара /Под ред. проф. Р.Г. Стронгина. Нижний Новгород: Изд-во Нижегородского госуниверситета, 2003. С.135-140.

7. Фурсов В.А., Шустов В.А., Скуратов С.А. Технология итерационного планирования распределения ресурсов гетерогенного кластера. Труды Всероссийской научной конференции "Высокопроизводительные вычисления и их приложения".- Труды Всероссийской научной конференции г. Черноголовка , 30 октября - 2 ноября 2000 г. с.43-46.