Способ автофокусировки при оцифровке микроскопического препарата
AUTOFOCUS METHOD FOR DIGITIZING A MICROSCOPIC PREPARATION

Изобретение относится к области цифровой микроскопии, а именно к области непрерывной автофокусировки цифровых фотосистем, и может найти применение в медицине для оцифровки микроскопических препаратов.
На данный момент в системах цифровой микроскопии при оцифровке каждого отдельного поля зрения, системы цифровой микроскопии вынуждены проводить фокусировку для получения наиболее резкого изображения для его последующей оцифровки. В контексте устройств для автоматической оцифровки микроскопических препаратов, это процедура также называется автофокусировкой. Так как одно поле зрения, получаемое на большом увеличении (например, 40х), имеет размеры порядка 300 х 200 мкм, и в зависимости от характера цифрового препарата такие поля зрения могут исчисляться сотнями, время необходимое для автофокусировки каждого поля зрения значительно влияет на продолжительность всей процедуры оцифровки микроскопического препарата. В этой связи сокращение времени, необходимого на автофокусировку, представляется одним из способов сокращения времени, необходимого на оцифровку всего микроскопического препарата.
Известен способ автоматической фокусировки (RU2389050, опубл. 10.05.2010 г.), который осуществляется следующим образом:
- фокусирующее устройство перемещают в одно из крайних положений;
- вычисляют параметр резкости для данного положения фокусирующего устройства при помощи проведения вейвлет анализа над множеством изображений;
- принимают вычисленное значение за предварительное максимальное значение резкости;
- перемещают фокусирующее устройство из одного крайнего положения в другое с заданным шагом;
- вычисляют параметр резкости для данного положения фокусирующего устройства;
- вычисленное значение параметра резкости принимается за предварительное максимальное значение параметра резкости снимаемого изображения;
- перемещают фокусирующее устройство из одного крайнего положения в другое пошагово для определения предварительного максимального значения параметра резкости;
- попарно сравнивают текущее значение параметра резкости снимаемого изображения с предварительным максимальным значением резкости;
- определяют максимальное значение параметра резкости за предзаданное количество этапов уточнения для чего перемещают фокусирующее устройство в положение, соответствующее предварительно максимальному значению параметра резкости;
- перемещают фокусирующее устройство на шаг влево и вправо от предварительного максимального значения;
- вычисляют текущее значение параметра резкости снимаемого изображения;
- сравнивают текущее значение параметра резкости с предварительно максимальным.
Недостатком известного способа является необходимость перемещения фокусирующего устройства из одного крайнего положения в другое, что значительно увеличивает время, необходимое для проведения фокусировки. Еще одним недостатком является пошаговый характер выполнения движения, что отрицательно сказывается на скорости проведения фокусировки, а также оказывает дополнительную нагрузку на фокусирующее устройство, так как необходимо останавливать фокусирующее устройство на каждом шаге. Еще одним недостатком является необходимость производить уточняющие перемещение фокусирующего устройства, заключающиеся в передвижении фокусирующего устройства, после передвижения из одного крайнего положения в другое положение с наибольшим значением параметра резкости, и передвижение влево и вправо от него, что также увеличивает время, необходимое для проведения фокусировки.
Известен способ автоматической фокусировки (RU 2528582, опубл.20.09.2014 г.), который осуществляется следующим образом:
- пошагово сканируют зону фокусировки, при этом снимают характеристику изменения контраста  (резкости) изображения;
- перемещают наблюдаемый объект в точку наилучшего контраста, которую определяют по результатам сравнения функции изменения контраста, полученной на первой фазе и текущего значения контраста.
Недостатками данного способа являются необходимость сканирования всей зоны фокусировки, что увеличивает время, необходимое для проведения сканирования, а также пошаговый способ перемещения, что уменьшает ресурс механизма фокусировки и увеличивает время, необходимое для сканирования зоны фокусировки. Еще одним недостатком данного способа является необходимость возвращения объекта наблюдения в точку наилучшего контраста, что также увеличивает время сканирования.
Наиболее близким аналогом к заявляемому изобретению является способ автофокусировки для микроскопа (US7027221B2, опубл.11.04.2006 г.).  Микроскоп выполнен с возможностью обеспечивать относительное непрерывное движение между предметным столом и объективом и выполнять следующую последовательность действий:
a) получение изображения с камеры во время непрерывного движения по оси Z предметного стола относительно объектива;
b) определение положения по оси Z, достигнутого в ходе относительного перемещения по оси Z, в котором было получено изображение с камеры;
c) расчет значения контраста полученного изображения;
d) запись положения по оси Z, достигнутого в ходе относительного перемещения по оси Z, совместно со значением контраста для данного положения;
e) выполнение шагов a) – d) до тех пор, пока не будет достигнуто определенное конечное положение при движении по оси Z;
f) вычисление непрерывной функции контраста в зависимости от положений по оси Z, и присвоение значений контраста соответствующим положениям по оси Z;
g) расчёт, используя непрерывную функцию контраста, максимального значения контраста и соответствующего ему положения по оси Z;
h) перемещение в положение по оси Z, которому соответствует наибольшее значение контраста.
Недостатком известного способа является невысокая скорость автофокусировки при работе с микроскопическими образцами за счет необходимости перемещения предметного стола микроскопа с препаратом в положение, соответствующее наибольшему значению резкости изображения, а также использование многоступенчатых математических преобразований для построения кривой зависимости резкости от положения предметного стола по оси Z.
Так как одно поле зрения, получаемое на большом увеличении (например, 40х), имеет размеры порядка 300 х 200 мкм, и в зависимости от характера микроскопического препарата такие поля зрения могут исчисляться сотнями. Время, необходимое для автофокусировки каждого поля зрения значительно влияет на продолжительность всей процедуры оцифровки микроскопического препарата. В связи с этим сокращение времени, необходимого на автофокусировку, представляется одним из способов сокращения времени, необходимого на оцифровку всего микроскопического препарата.
Техническая задача – сокращение времени, необходимого на автофокусировку и оцифровку микроскопического препарата.
Технический результат – повышение скорости проведения автофокусировки при работе с микроскопическими образцами за счет отсутствия необходимости перемещения предметного стола микроскопа в положение, соответствующее наибольшему значению резкости изображения микроскопического препарата.
S
Технический результат достигается тем, что в способе автофокусировки при оцифровке микроскопического препарата, включающем перемещение предметного стола микроскопа по вертикальной оси Z в положение, соответствующее максимальному значению резкости изображения образца микроскопического препарата, согласно изобретению, автофокусировку осуществляют в два этапа. Первый этап включает  непрерывное перемещение предметного стола с образцом вдоль оси Z в направлении к объективу микроскопа на максимальной скорости  (так называемый «рывок»)  на заданную величину, далее  осуществляют непрерывное перемещение  предметного стола от объектива с заданной скоростью с одновременным  получением изображений, передачей их на персональный компьютер (ПК), расчет резкости  получаемых изображений, присвоение координат предметного стола по оси Z и вычисленных значений резкости полученным изображениям в процессе перемещения предметного стола. При этом полученное изображение в цветовой модели RGB преобразовывают в цветовую модель YUV и производят расчет резкости S каждого изображения по формуле:
где
– порядковый номер текущего пикселя изображения по горизонтали,
– порядковый номер текущего пикселя изображения по вертикали,
Y – значение яркостного компонента пикселя изображения  в цветовой модели YUV;
– разность значений яркостного компонента соседних пикселей по горизонтали,
- разность значение яркостного компонента соседних пикселей по вертикали,
– количество пикселей по горизонтали,
- количество пикселей по вертикали.
В память ПК отправляют значения резкости S и координаты по оси Z для всех изображений, фиксируют сфокусированное изображение посредством выбора координаты предметного стола с образцом на оси Z, удовлетворяющей условию, при котором во время прохождения предметным столом заданного диапазона по оси Z на трех изображениях подряд резкость снижается перед «пиком» резкости и после «пика» резкости. Причем при выполнения указанного условия первый этап автофокусировки считают  завершенным, и перемещение  предметного стола с образцом останавливают, не доезжая до конца заданного диапазона, а при невыполнении указанного условия осуществляют второй  этап с увеличенными  диапазоном фокусировки, скоростью перемещения предметного стола и  заданным расстоянием ( величиной «рывка») до получения  сфокусированного изображения, одновременно выполняя  расчет резкости изображений,  при этом второй этап осуществляют до тех пор, пока  не будет выполнено указанное условие.
Изобретение проиллюстрировано следующими фигурами.
max
Фиг. 1. Схематичное представление «пика» резкости S.
Фиг. 2. Схематичное представление незначительного изменения резкости.
Фиг. 3. Возрастание резкости при прохождении диапазона фокусировки.
Фиг. 4. Схематичное представление уменьшения резкости.
Фиг. 5. График движения предметного стола (а) и график резкости получаемых изображений (б) при проведении первого этапа фокусировки.
Фиг. 6. График движения предметного стола (а) и график резкости получаемых изображений (б) при проведении первого и второго этапов фокусировки.
Способ осуществляется следующим образом.
На предметный стол устанавливают микроскопический препарат и запускают процедуру автофокусировки.
Первый этап
V
S
l
Предметный стол начинает движение вверх, т.е. по направлению к объективу цифровой камеры с максимально возможной скоростью , с которой позволяет передвигаться предметному столу его механизация. Предметный стол «проезжает» вверх на заранее определенное значение «рывка» - . В данный момент цифровая камера, подключенная к микроскопу, не отправляет получаемые изображения на ПК на анализ с целью определения резкости  изображений, соответственно в этот момент отсутствует обратная связь между получаемым изображением и движением предметного стола.
Затем предметный стол начинает движение от объектива, т.е. вниз по оси  на длину заранее выбранного диапазона фокусировки   или до момента получения сфокусированного изображения.
В качестве сфокусированного изображения принимается изображение с наиболее высоким значением резкости.
S
Во время непрерывного движения вниз от объектива камера, соединенная с микроскопом посредством фотографического тубуса, снимает изображение и отправляет их на ПК с целью определения резкости каждого полученного кадра.
Количество получаемых изображений в секунду зависит от характеристик используемой камеры. Скорость обновления кадров камеры и скорость движения предметного стола должны быть таковыми, чтобы обеспечить расстояние между двумя смежными изображениями, не превышающее значения глубины резкости используемой оптической системы.
S
S
Во время непрерывного движения вниз производят анализ получаемых изображений с камеры с целью расчета резкости  изображения. Для расчета резкости изображения  вычисляют сумму квадратов разностей соседних пикселей по вертикали и горизонтали. Для этого применяют цветовую модель YUV (компонента Y). Для преобразования компонентов цветовой модели RGB в цветовую модель YUV используют следующую формулу для каждого изображения:
В полученном цветом пространстве YUV используют компоненту Y, т.е. яркость изображения.
Резкость рассчитывают, как квадратный корень от суммы квадратов разностей соседних пикселей по горизонтали и вертикали:
(1)
где
– порядковый номер текущего пикселя изображения по горизонтали,
– порядковый номер текущего пикселя изображения по вертикали,
Y – значение яркостного компонента пикселя изображения  в цветовой модели YUV;
– разность значений яркостного компонента соседних пикселей по горизонтали,
- разность значение яркостного компонента соседних пикселей по вертикали,
– количество пикселей по горизонтали,
- количество пикселей по вертикали.
В способе- прототипе использован иной, сложный и многоступенчатый алгоритм обработки изображений, согласно которому изображение получают в серых тонах (изображение черно-белое), затем его преобразуют с помощью оператора в так называемое градиентное изображение. Из градиентного изображения получают величину K, которое представляет собой значение контраста каждого изображения. K получают определением низкочастотного распределения в черно-белом изображении, которое сохраняется как массив H[1,2….N] , и считают по формуле ,представленной  в описании прототипа. На основе значений K строят график зависимости величины K от положения по оси Z (фиг.7 прототипа). Для того, чтобы сделать график непрерывным, дополнительно проводят интерполяцию значений по формуле Лагранжа (формула 5 прототипа).
В заявляемом способе обработки изображений преследуют ту же цель, которая заключается в получении зависимости значения резкости для построение кривой резкости от положения по оси Z. Однако, в заявляемом способе количество математических манипуляций с изображением гораздо меньше, что также  позволяет производить расчет в реальном времени. Однако в прототипе используется камера, снимающая 25 кадров в секунду, в то время как в заявляемом способе используется камера, снимающая 75 и более кадров в секунду. Это значит, что количество изображений, поступающих на анализ в три и более раза больше, и расчет необходимо производить гораздо быстрее.
S
Во время процесса автофокусировки для всех полученных изображений память ПК сохраняет их значения резкости  и координаты по оси Z, на которых они были получены, и хранит до завершения автофокусировки.
S
На первых полученных изображениях ожидается, что резкость  будет постоянно увеличиваться, так как был сделан «рывок» на значительное расстояние .  от возможного сфокусированного изображения. После того, как сфокусированное изображение будет достигнуто, резкость дальнейших проанализированных изображений будет уменьшаться. Таким образом, точка фокусировки – это координата по оси Z, при которой достигается сфокусированное изображение, она находится на «пике» резкости, т.е. в точке, после прохождения которой первоначальное увеличение значений резкости  изменится в сторону уменьшения.
Для того, чтобы исключить цифровой шум, при подсчете увеличения или уменьшения резкости в получаемых изображениях, в качестве изменения в большую или меньшую сторону считают изменение, превышающее 0,5% значения резкости текущего кадра от предыдущего. Также в процессе фокусировки могут возникать ложные «пики» резкости, когда резкость увеличивается в связи с попавшей в зону фокуса пылью, разводами на покровном стекле или другими артефактами. При ложных «пиках» резкость будет уменьшаться не более двух раз подряд, так как предметный стол будет приближаться к зоне сфокусированного изображения препарата, и резкость начнет возрастать. Таким образом, за «пик» резкости следует принимать только тот, при котором после увеличения резкости на трех изображениях наблюдалось уменьшение резкости на трех изображениях подряд.
Далее необходимо следить за выполнением следующих условий:
S
Условие 1. Значение резкости  уменьшалось на трех изображениях подряд и во время прохождения диапазона было увеличение резкости в количестве трёх раз (фиг. 1). Условие 1 позволяет определить, что автофокусировка успешно выполнена, если значение резкости уменьшалось более трех раз подряд, и за все время движение предметного стола наблюдалось увеличение резкости три раза, то наиболее резкое изображение берется как сфокусированное изображение. Если данное условие выполняется, то первый этап фокусировки считается выполненным, и предметный стол, не доезжая до конца заданного диапазона фокусировки останавливает движение для завершения процесса автофокусировки.
Условие 2. Значение резкости уменьшалось на трех изображениях подряд и во время прохождения диапазона не наблюдалось увеличения резкости в количестве трёх раз (фиг. 4). Условие 2 позволяет определить, что не был достигнут «пик» резкости, то есть движение предметного стола осуществлялось в направлении, противоположном от самого резкого изображения. При выполнении этого условия первый раз первый этап необходимо повторить в обратную сторону. Если условие 2 выполняется второй раз за процесс автофокусировки, то первый этап считается не выполненным.
Условие 3. Значение резкости не изменялось на двадцати изображениях подряд (фиг. 2). Условие 3 позволяет определить, что предметное стекло с препаратом отсутствует. При выполнении этого условия первый этап считается не выполненным.
Условие 4. Пройден весь указанный диапазон и не выполнено ни одно из вышеприведенных условий 1,2,3 (фиг.3). Условие позволяет определить, что предметное стекло с препаратом находится на расстоянии от объектива, большем чем заданный диапазон. При выполнении этого условия первый, второй или третий раз выполняется повторная фокусировка из точки с наибольшей резкостью. Если за три повторных фокусировки не был выявлен «пик» резкости, то первый этап считается не выполненным.
При необходимости, даже при успешном проведении первого этапа, его можно повторить. Это может потребоваться для исключения ошибок, связанных с внешними факторами, например, с вибрацией основания, на котором стоит микроскопическая система, или непреднамеренным воздействием на предметный стол. Таким образом исключается получение ложно сфокусированного изображения и увеличивается надежность работы способа.
Второй этап
V
J
l
l
Второй этап автофокусировки (далее длинный фокус) характеризуется увеличенным диапазоном фокусировки, повышенной скоростью перемещения предметного стола , а также длиной начального «рывка» . Второй этап фокусировки выполняют в том случае, если не было выполнено условие 1 в рамках прохождения первого этапа и сфокусированное изображение не было получено.
V
l
Второй этап фокусировки начинается с «рывка» по направлению к объективу с максимально возможной скоростью   на заранее определенное расстояние , которое превышает значение «рывка» на первом этапе. Диапазон длинного фокуса  превышает диапазон на первом этапе.  После «рывка» в режиме длинного фокуса предметный стол начинает движение навстречу объективу со скоростью , превышающую скорость движение на 1 этапе, до получения сфокусированного изображения, или на длину, соответствующую диапазону длинного фокуса, и одновременно осуществляют  анализ резкости полученных изображений.
На втором этапе движение предметного стола происходит до тех пор, пока не будет выполнено одно из условий 1-4 прописанных ранее.
При выполнении условий 2, 3, 4 автофокусировка второго этапа считается неуспешной.
При выполнении условия 1 автофокусировка второго этапа считается успешной. Выполнение каждого из вышеприведенных условий определяет дальнейшее проведение автофокусировки.
При проведении второго этапа расстояние между изображениями, которое получает камера во время непрерывного движения, больше, чем при фокусировке в рамках первого этапа в связи с более высокой скоростью движения предметного стола. В таком случае, наиболее сфокусированное изображение может оказаться в позиции по оси Z, находящейся между двумя смежными кадрами. Тогда для повышения качества сфокусированного изображения необходимо выполнить автофокусировку в рамках первого этапа, взяв в качестве отправной точки позицию по оси Z наиболее резкого изображения, полученного в рамках второго этапа.
Если в рамках первого этапа выполнено условие 1, то автофокусировка считается успешной. Если автофокусировка выполнялась для сканирования микроскопического препарата, то при переходе на следующее поле зрение одновременно с движением по осям X и Y, предметный стол перемещают   в положение по оси Z, которому было присвоено максимальное значение резкости на предыдущем поле зрения. Это делается для того, чтобы сэкономить время, так как смежные поля зрения, вероятнее всего, будут иметь сфокусированное изображение на близких по оси Z координатах. При этом изображение, которое обладает наибольшим значением резкости, используют для получение оцифрованного микроскопического препарата или его выдают на монитор для проведения дальнейшего анализа врачом клинической лабораторной диагностики.
Пример 1 осуществления способа.
Для осуществления данного способа был использован коммерчески доступный микроскоп фирмы Zeiss, оснащенный механизированным предметным столом, объективом с кратностью 10х и цифровой камерой Luminera Lt345R, способной снимать 75 кадров в секунду и подключенной к персональному компьютеру (ПК) с установленным программным обеспечением семейства Vision от компании West Medica.
V
J
S
l
l
Предметное стекло с нанесенным на него мазком периферийной крови было помещено на автоматизированный предметный стол микроскопа. Затем была запущена процедура автофокусировки. Осуществлялась запись начальных координат предметного стола. В рамках первого этапа предметный стол совершал «рывок» в направлении к объективу со скоростью    =12 мм/с на расстояние . =20 мкм. После чего предметный стол начинал непрерывное движение от объектива со скоростью 77 мкм/с, одновременно цифровая камера отправляла кадры изображений на анализ на ПК для определения значения резкости каждого кадра, расчет резкости осуществляли по формуле (1). Диапазон фокусировки составил 50 мкм. После прохождения в первом направлении и не выполнив условие 1, то есть, не получив наиболее резкое изображение, предметный стол начинал движение в противоположную сторону в соответствии с условием 2.
S
В противоположную сторону предметный стол двигался до тех пор, пока ПК не получил сфокусированное изображение. Так как резкость  росла достаточно быстро, то есть условие 3 не было выполнено, то переход на длинный фокус не произошел, и в рамках первого этапа было получено сфокусированное изображение. Автофокусировка считалась завершенной. Время автофокусировки на одном поле зрения при использовании первого этапа составило примерно 0,52 секунды.
График движения предметного стола и график резкости представлены на фиг. 5 (а, б) по примеру 1.
Пример 2 осуществления способа.
V
J
l
l
Предметное стекло с нанесенным на него мазком периферийной крови было помещено на автоматизированный предметный стол микроскопа. Затем была запущена процедура автофокусировки. Осуществляли запись начальных координат предметного стола. В рамках первого этапа предметный стол совершал «рывок» в направлении к объективу со скоростью  =12 мм/с на расстояние . = 20 мкм. После чего предметный стол начинал непрерывное движение от объектива со скоростью 77 мкм/с, одновременно цифровая камера отправляла кадры изображений на анализ на ПК для определения значения резкости каждого кадра с использованием формулы (1). Диапазон фокусировки составил 50 мкм.
После прохождения в первом направлении, не получив наиболее резкое изображение, и не выполнив условие 1, предметный стол начал движение в противоположную сторону в соответствии с условием 2. После прохождение диапазона в обратном направлении и также без выполнения условие 1, произошел переход на второй этап фокусировки.
V
J
l
l
Стол возвращался в начальное положение. Затем стол совершал «рывок» по направлению к объективу со скоростью  =12 мм/с на расстояние . = 150 мкм. После чего начинал движение от объектива со скоростью 350 мкм/с. Получив наиболее резкое изображение и тем самым выполнив условие 1, предметный стол перемещался в положение, в котором было получено наиболее резкое изображение для повторения этапа 1. Время автофокусировки на одном поле зрения составило примерно 3,5 с.
На фиг. 6 (а, б) представлены график движения стола и график резкости, полученные при осуществлении вышеуказанного способа по примеру 2.