СПОСОБ ОДНОВРЕМЕННОГО ЗАХВАТА ДАННЫХ ИЗОБРАЖЕНИЙ ПРИ МНОГОЧИСЛЕННЫХ ГЛУБИНАХ ОБРАЗЦА
METHOD FOR SIMULTANEOUS CAPTURE OF IMAGE DATA AT MULTIPLE DEPTHS OF SAMPLE

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к области формирования изображения образца и его предпочтительно применять в области цифровой патологии.
В частности, настоящее изобретение относится к способу одновременного захвата данных изображений при многочисленных глубинах образца и к системе формирования изображений, предназначенной для одновременного захвата данных изображений образца при многочисленных глубинах.
УРОВЕНЬ ТЕХНИКИ
Цифровым сканирующим микроскопом обычно образуют цифровое изображение образца, такого как образец ткани, помещенного на предметное стекло. Изображение обычно образуют сканированием образца по всему предметному стеклу и сшиванием различных участков изображения друг с другом и/или наложением изображений, получаемых при различных длинах волны. На фиг. 1 схематично представлено сечение 100 такого микропрепарата. Он содержит предметное стекло 101, покровное стекло 102 и заливочную среду 103 для фиксации и изоляции образца 104, подобного, например, слою биологической ткани. Например, из заявки WO2001/084209 известно, что цифровые сканирующие микроскопы могут содержать двумерный линейный датчик, также известный как камера с линейным сканированием или как линейный датчик. Такие датчики содержат только одну линию, иначе говоря, одну строку чувствительных пикселей. Кроме того, известно, что по сравнению с датчиками других видов, аналогичными, например, двумерным матричным датчикам, одномерные линейные датчики лучше подходят для операции непрерывного механического сканирования, создают меньше проблем при сшивании и в качестве них можно использовать так называемые линейные датчики с временной задержкой и накоплением (ВЗН).
Кроме того, в конструкциях современных датчиков изображения представлены фоточувствительные пиксели, которые состоят из фоточувствительных элементов, то есть фотодиодов, и также содержат нечувствительные к свету элементы, подобные множеству преобразователей заряда в напряжение (ПЗН), которые встроены в сами пиксели, что приводит к снижению коэффициента заполнения. Это означает, что пиксель обычно имеет три транзистора (строковый затвор) или четыре транзистора (кадровый затвор) для преобразователей заряда в напряжение, а для адресации и считывания необходимы как вертикальные, так и горизонтальные металлические токопроводящие дорожки. Однако такие нечувствительные к свету элементы пикселя снижают коэффициент заполнения пикселя, что особенно неблагоприятно в условиях низкой освещенности. Результирующую низкую светочувствительность пикселей в традиционном датчике обычно преодолевают применением микролинз. Такие микролинзы эффективно фокусируют меньшее количество света на пиксели датчика изображения, так что сопутствующие потери минимизируются. Кроме того, имеющиеся в настоящее время датчики изображения имеют относительно небольшую скорость при считывании представляющей интерес области (ПИО), поскольку только ограниченное количество считывающих электронных компонентов может быть расположено в ограниченном пространстве при заданном размере пикселя. В заявке на патент США № 2014125776 описан сканер, содержащий датчик изображения, наклоненный относительно оптического пути.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Изобретатели настоящего изобретения поняли, что использование микролинз особенно недопустимо, когда датчик изображения наклонен относительно оптического пути, что, между прочим, часто применяется в цифровой патологии. Кроме того, изобретатели настоящего изобретения обнаружили, что сканирование и формирование изображений образца наклонным датчиком приводит к избыточному взятию выборок в направлении Z, так что только конкретные участки датчика изображения приходится использовать для захвата изображений. Следовательно, изобретатели настоящего изобретения обнаружили, что во время формирования изображения можно использовать только пиксельные линии двумерного устройства формирования изображений или датчика изображения, которые отделены друг от друга просветом вдоль направления сканирования. Этот просвет может быть, например, нечувствительным к свету промежутком, показанным на фиг. с 3 по 5, или может быть одной или несколькими деактивированными линиями пикселей, которые в данный момент не используются для образования изображения. Применительно к такому устройству формирования изображений в этом документе предложен новый способ формирования изображений и подробные сведения относительно него будут пояснены в связи с несколькими различными примерами вариантов осуществления. Задачей настоящего изобретения можно считать создание усовершенствованных способа и системы для захвата изображений.
Задача настоящего изобретения решается объектами изобретения, представленными в независимых пунктах формулы изобретения. Дальнейшие варианты осуществления и преимущества изобретения включены в зависимые пункты формулы изобретения.
Аналогично этому, описываемые варианты осуществления относятся к способу захвата изображений и системе формирования изображений.
В соответствии с примером варианта осуществления настоящего изобретения предложен способ одновременного захвата данных изображений при различных глубинах образца. В способе используется устройство формирования изображений, имеющее оптическую ось, и при этом устройство формирования изображений содержит датчик изображения, наклоненный относительно оптической оси. Датчик изображения, который используется в предложенном способе, имеет первую пиксельную линию, содержащую множество пикселей, и вторую пиксельную линию, содержащую множество пикселей. Первая и вторая пиксельные линии имеют отличающуюся длину оптического пути до образца вдоль оптической оси устройства формирования изображений, а первая пиксельная линия и вторая пиксельная линия отделены друг от друга просветом вдоль направления сканирования. Способ содержит этапы сканирования образца вдоль направления (X’) сканирования, которое по существу перпендикулярно оптической оси и перпендикулярно основному направлению (Y) протяженности первой и второй пиксельных линий, захвата первого изображения образца с первой пиксельной линии, и одновременного захвата второго изображения образца с первой пиксельной линии, и захвата третьего изображения образца с второй пиксельной линии. Кроме того, продолжение захвата изображений образца с второй пиксельной линии является дальнейшим этапом способа, как и прекращение захвата изображений образца с первой пиксельной линии.
Следовательно, предложен способ считывания, предназначенный для образования бесшовных двумерных или трехмерных изображений и в то же время изменения глубины захвата во время сканирования. Он обеспечивает быстрое получение изображений неидеально плоских и/или объемных образцов и в частности, может применяться в цифровых сканерах микропрепаратов, например, для цифровой патологии, а также и в других областях техники. При использовании этого способа можно захватывать бесшовное изображение, что невозможно без временного дублирования, то есть одновременного считывания, поскольку изменение линейного датчика приводит не только к изменению глубины регистрации, но также и к перемещению вдоль направления сканирования. Это последнее перемещение приводит либо к промежутку в изображении, либо к повторению данных изображений. Описанный ранее способ является необходимым для исключения промежутка. В случае повторения часть данных изображений может быть отброшена, а двойная регистрация не требуется. Важно подчеркнуть, что этот способ также следует применять при изменении представляющей интерес области в обычном двумерном датчике на основе КМОП-структуры (комплементарной структуры металл-оксид-полупроводник), когда он используется в двумерной системе автоматической фокусировки. Причина состоит в том, что любое изменение представляющей интерес области, которое приводит к эффективному изменению глубины регистрации, будет также приводить к перемещению вдоль направления сканирования, если двумерный датчик на основе КМОП-структуры наклонен относительно оптической оси. Это перемещение вдоль направления сканирования необходимо компенсировать, если должно быть получено неискаженное конечное изображение. В предложенном способе это может осуществляться автоматически устройством формирования изображений, раскрытым в этом документе.
Конечно, большее количество линий пикселей, а не только первую и вторую линию, можно использовать в этом способе для захвата данных изображений. Как можно легко понять из вариантов осуществления, показанных на фиг. с 3 по 5, можно использовать множество пиксельных линий/линейных датчиков, которые все соответствующим образом отделены друг от друга.
Как должно быть понятно из этого раскрытия хорошо подготовленному читателю, каждый пиксель из пиксельной линии захватывает изображение, а при последующей обработке образуется изображение, которое захватывается пиксельной линией.
Обычно две камеры, то есть по меньшей мере две линии пикселей, располагают на различных расстояниях от образца таким образом, чтобы они фокусировались на разную глубину образца.
Между этими двумя камерами располагается «просвет», определенный ниже. Корме того, как будет пояснено более подробно ниже и показано, например, на фиг. 3, можно использовать крупный двумерный датчик.
Термин «просвет» или «промежуток», используемый применительно к настоящему изобретению, следует понимать как пространство или расстояние между двумя соседними линиями пикселей, и это пространство не является светочувствительным. Это пространство можно использовать, например, для размещения считывающих электронных компонентов на таких участках датчика, или оно может содержать одну или несколько линий пикселей, которые в данный момент не активированы и поэтому не являются светочувствительными, поскольку пиксели в промежутке совсем не используются. В данный момент изображение не захватывается в промежутке.
Таким образом, раскрыт новый способ, позволяющий одновременно захватывать данные изображений с многочисленных глубин объемного образца. Способ позволяет получать бесшовное двумерное или трехмерное изображение и в то же время изменять на лету глубину регистрации в образце. Кроме того, этот способ можно использовать для автоматической фокусировки. В дополнение к этому способ захвата данных изображений образца обеспечивает оптимальную эффективность в части, касающейся скорости и светочувствительности, особенно для упомянутой в этом документе задачи формирования двумерных или трехмерных изображений образцов при использовании наклонной конфигурации, показанной на фиг. 2.
Например, как будет пояснено подробно применительно к вариантам осуществления, показанным на фиг. с 3 по 5, этот способ можно применить для датчика изображения устройства формирования изображений, в котором многочисленные линейные датчики с временной задержкой и накоплением объединены на одном кристалле. Эти линейные датчики с временной задержкой и накоплением отделены промежутком. Такой датчик может иметь сдвоенный считывающий (с временной задержкой и накоплением) спецпроцессор, который делает возможным эффективное считывание по меньшей мере двух линейных датчиков при максимальной скорости и чувствительности. По сравнению с обычным двумерным датчиком такого же размера и с таким же разрешением при использовании этих новых конструкции и способа считывания достигается двойное улучшение. Во-первых, промежуток между светочувствительными частями/линиями пикселей (линейными датчиками с временной задержкой и накоплением) можно использовать для размещения логических схем и соединительных цепей датчика. Это позволяет максимизировать светочувствительную часть пикселей на светочувствительном участке датчика, то есть максимизировать коэффициент заполнения. Это делает возможным использование чувствительного датчика без микролинз, которые являются обычными для двумерных датчиков на основе КМОП-структур. Исключение линз является важным моментом при расположении датчика с наклоном к оптическому пути. Во-вторых, промежуток позволяет быстрее выполнять считывание, поскольку большее количество схем датчика может находиться в промежутке, что позволяет реализовывать способ более быстрого считывания и более быстрый датчик.
Как должен без труда понять специалист в данной области техники, изобретение не ограничено конфигурацией системы, в которой датчик должен быть наклонен относительно оптической оси. Очевидно, что изобретение охватывает другие конфигурации, в которых датчик не наклонен и в которых система формирования изображений расположена так, что этот датчик может отображать наклонное сечение образца. Таким образом, при образовании указанных оптических путей от образца до датчика различной длины можно использовать другие способы, хорошо известные в данной области техники, такие как введение оптического элемента, например призмы, на световой путь.
В способе одновременного захвата данных изображений при многочисленных глубинах образца решены две проблемы, которые возникают в обычных способах формирования изображений с использованием традиционного двумерного датчика на основе КМОП-структуры при автоматической фокусировке и формировании трехмерного изображения. С одной стороны, можно повысить низкую светочувствительность, обусловленную небольшим коэффициентом заполнения пикселей в обычном двумерном датчике на основе КМОП-структуры. Обычно для этого используют микролинзы, но микролинзы не подходят для использования, когда датчик наклонен относительно оптического пути, как это показано на фиг. 2. Кроме того, низкую скорость при считывании представляющей интерес области обычных двумерных датчиков на основе КМОП-структур можно повысить при использовании настоящего изобретения, поскольку, как описывается более подробно, например, в связи с фиг. 4 и 5, большее количество считывающих электронных компонентов можно размещать в пространствах между первой пиксельной линией и второй пиксельной линией.
Согласно другому примеру варианта осуществления настоящего изобретения просвет является в первую очередь нечувствительным к свету промежутком между первой и второй пиксельными линиями или является одной или несколькими незахватывающими пиксельными линиями (линией) между первой и второй пиксельными линиями, и эти незахватывающие пиксельные линии (линия) деактивированы.
Согласно еще одному примеру варианта осуществления настоящего изобретения нечувствительный к свету промежуток продолжается параллельно первой и второй пиксельным линиям. Как будет пояснено в связи с фиг. 3, это направление будет именоваться направлением Y. Способ настоящего изобретения можно использовать совместно с датчиком изображения, который содержит двумерный массив пикселей в системе ортогональных координат XY, при этом двумерный массив пикселей датчика содержит множество пикселей, а каждая из пиксельных линий продолжается вдоль направления Y.
Как станет очевидно в результате изучения примеров вариантов осуществления, показываемых и поясняемых в связи с фиг. с 3 по 5, этапы способа одновременного захвата данных изображений при многочисленных глубинах образца выполняют во время сканирования образца сканирующей системой формирования изображений. Такая сканирующая система формирования изображений является еще одним примером варианта осуществления настоящего изобретения.
Согласно еще одному примеру варианта осуществления изобретения настоящего изобретения одновременный захват второго изображения и третьего изображения выполняют пока это требуется для перекрытия просвета между первой пиксельной линией и второй пиксельной линией во время сканирования. Поэтому способ считывания позволяет образовывать бесшовные двумерные и трехмерные изображения и в то же время изменять глубину захвата во время сканирования. Ясно, что это делает возможным быстрое получение изображений неидеально плоских и/или объемных образцов. Вычисление для определения, сколько времени требуется для перекрытия соответствующего просвета, может быть без проблемы выполнено специалистом в данной области техники. Исходя из расстояния между двумя камерами, то есть двумя пиксельными линиями, при проектировании известно, сколько пикселей соответствуют расстоянию. Что касается частоты экспонирования, то есть линейной скорости, то известно, сколько пикселей находятся в просвете/промежутке. Кроме того, в еще одном примере варианта осуществления можно осуществлять обнаружение в реальном времени, если, например, положение образца может изменяться во время сканирования. Одним примером, когда может потребоваться обнаружение в реальном времени, является случай, когда сканирование отсутствует, но имеется поток в жидкости, и это означает, что нет фиксированной величины экспозиции до перекрытия промежутка. В этом случае при обнаружении в реальном времени будет прослеживаться поперечное положение объекта, когда он движется мимо.
Согласно еще одному варианту осуществления настоящего изобретения способ также содержит этапы определения, требуется ли изменение глубины регистрации, и приведения в действие второй пиксельной линии на основании определения, что изменение глубины регистрации требуется. Многие различные технические средства можно использовать для определения, необходимо ли изменение глубины регистрации. Например, обнаружение сигнала фокуса, известное в области формирования изображений, определение на дополнительном оптическом пути, например конфокальным микроскопом, предшествующих сведений о форме и/или ориентации образца или способы прогнозирования оптимального положения фокуса можно использовать для определения этого и также того, какую новую линию или линии необходимо активировать для захвата изображения. Поскольку такие способы уже известны специалисту в данной области техники, они не будут более подробно описываться в этом документе.
Согласно еще одному примеру варианта осуществления настоящего изобретения датчик изображения, который используется для способа, представленного в этом документе, также содержит третью пиксельную линию, содержащую множество пикселей, при этом каждая из первой, второй и третьей пиксельных линий имеет отличающуюся длину оптического пути до образца вдоль оптической оси устройства формирования изображений. Кроме того, первая пиксельная линия и третья пиксельная линия отделены друг от друга просветом вдоль направления (X’) сканирования, а первая пиксельная линия расположена между второй и третьей пиксельными линиями. При использовании этого датчика изображения и в соответствии со способом вторую пиксельную линию активируют в случае определения, что требуется увеличение глубины регистрации, тогда как третью пиксельную линию активируют в случае определения, что требуется уменьшение глубины регистрации.
Иначе говоря, во-первых, захватывают изображение с первого линейного датчика, во-вторых, определяют, что изменение глубины регистрации, то есть изменение регистрации от текущего линейного датчика до линейного датчика, находящегося выше или ниже, необходимо, и в-третьих, захватывают одновременно два изображения с текущего линейного датчика и нового линейного датчика, находящегося выше или ниже, пока это требуется для перекрытия промежутка между двумя линейными датчиками при текущей скорости сканирования. Затем продолжают захват изображений или данных изображений с нового линейного датчика, а захват с исходного линейного датчика прекращают. При такой последовательности действий можно захватывать бесшовное изображение.
Согласно еще одному примеру варианта осуществления настоящего изобретения отбрасывание повторяющихся данных, регистрируемых первой пиксельной линией и/или второй пиксельной линией, является частью способа. В случае перекрытия данных изображений, захватываемых во время этапа одновременного захвата данных изображений, одна часть может быть отброшена или удалена. Такое же вычисление, как указанное ранее, относительно определения, сколько времени требуется для перекрытия просвета или промежутка между двумя пиксельными линиями, может быть выполнено в данном случае. Можно отбрасывать данные, которые были ранее захвачены, пребывать в ожидании пока активированная линия находится во время сканирования в зоне, которая не отображалась, или сочетать эти две альтернативы.
Согласно еще одному примеру варианта осуществления настоящего изобретения образование конечного изображения образца на основании захваченных изображений после отбрасывания повторяющихся данных является частью способа.
Согласно еще одному примеру варианта осуществления настоящего изобретения предложен способ, описанный ранее, который является способом образования трехмерных (3М) изображений образца. Этот способ формирования трехмерных изображений содержит этапы захвата первого изображения образца из первого набора линий пикселей, содержащих первую пиксельную линию, и одновременного захвата второго изображения образца из первого набора линий пикселей, и захвата третьего изображения образца из второго набора линий пикселей, содержащих вторую пиксельную линию. Кроме того, содержатся этапы продолжения захвата изображений образца из второго набора линий пикселей и прекращения захвата изображений образца из первого набора линий пикселей.
Согласно еще одному примеру варианта осуществления настоящего изобретения предложена система формирования изображений с первой и второй пиксельными линиями, каждая из которых содержит множество пикселей. Устройство выполнено с возможностью сканирования образца вдоль направления (X’) сканирования, а первая пиксельная линия и вторая пиксельная линия отделены друг от друга просветом вдоль направления сканирования. Кроме того, система формирования изображений выполнена с возможностью захвата первого изображения образца с первой пиксельной линии и выполнена с возможностью одновременного захвата второго изображения образца с первой пиксельной линией и захвата третьего изображения образца с второй пиксельной линии. Кроме того, система формирования изображений выполнена с возможностью продолжения захвата изображений образца с второй пиксельной линии и выполнена с возможностью прекращения захвата изображений образца с первой линии пикселей. Варианты осуществления системы будут пояснены более подробно в связи с нижеследующими чертежами.
Система формирования изображений имеет датчик изображения, содержащий упомянутые пиксельные линии, при этом датчик изображения наклонен относительно оптической оси системы формирования изображения.
Согласно еще одному примеру варианта осуществления настоящего изобретения первая пиксельная линия системы формирования изображений является частью первого блока, который состоит из нескольких соседних пиксельных линий, продолжающихся вдоль направления Y, и вторая пиксельная линия является частью второго блока, который состоит из нескольких соседних пиксельных линий, продолжающихся вдоль направления Y. Кроме того, первый и второй блоки отделены друг от друга нечувствительным к свету промежутком, продолжающимся вдоль направления Y. Такой вариант осуществления с временной задержкой и накоплением можно понять из фиг. 4 и 5.
Согласно еще одному примеру варианта осуществления настоящего изобретения система формирования изображений не содержит микролинз.
Согласно еще одному примеру варианта осуществления настоящего изобретения каждый просвет или нечувствительный к свету промежуток имеет ширину, равную по меньшей мере одной ширине пикселя используемого датчика изображения.
Согласно еще одному примеру варианта осуществления настоящего изобретения предложена сканирующая система формирования изображений, и эта система представляет собой цифровой сканирующий микроскоп для формирования изображений образца.
Согласно еще одному примеру варианта осуществления настоящего изобретения в сканирующей системе формирования изображения датчик изображения наклонен относительно оси Y как оси вращения. Согласно еще одному примеру варианта осуществления настоящего изобретения способ, представленный в этом документе, используется в цифровом сканирующем микроскопе для образования изображения образца при патологии.
Эти и другие признаки изобретения станут очевидными и понятными при обращении к вариантам осуществления, описанным ниже.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Примеры вариантов осуществления изобретения изображены на чертежах, на которых:
фиг. 1 - схематичное сечение микропрепарата;
фиг. 2 - схематичный вид сканирующего микроскопа согласно примеру варианта осуществления настоящего изобретения;
фиг. 3 - проекция датчика изображения в предметном пространстве согласно примеру варианта осуществления настоящего изобретения;
фиг. 4 - схематичный вид датчика изображения с использованием принципов временной задержки и накопления и иллюстрация способа согласно примеру варианта осуществления настоящего изобретения;
фиг. 5 - схематичный вид установки с датчиком изображения, в которой используется способ согласно примеру варианта осуществления настоящего изобретения; и
фиг. 6 - блок-схема последовательности действий способа согласно примеру варианта осуществления настоящего изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
В соответствии с примером варианта осуществления настоящего изобретения на фиг. 2 показана система формирования изображений в виде сканирующего микроскопа 200. Как описывается в этом документе, при работе системы 200 формирования изображений может выполняться способ одновременного захвата данных изображений при многочисленных глубинах образца. В частности, система 200 формирования изображений выполнена с возможностью выполнения этапов с S1 по S5, раскрытых в связи с фиг. 6. Однако важно отметить, что система 200 формирования изображений позволяет выполнять способ считывания для образования бесшовных двумерных или трехмерных изображений и в то же время изменять глубину захвата во время сканирования. Это делает возможным быстрое получение изображений неидеально плоских и/или объемных образцов. При использовании этого способа и системы 200 формирования изображений можно захватывать бесшовное изображение, что невозможно делать без временного дублирования, то есть одновременного считывания, поскольку изменение линейного датчика приводит не только к изменению глубины регистрации, но также и к перемещению вдоль направления сканирования. Это последнее перемещение является причиной либо возникновения промежутка в изображении, либо повторения данных изображений. В способе согласно настоящему изобретению промежуток исключается. В случае повторения часть данных изображений может быть отброшена, при этом нет необходимости в двойной регистрации.
Конечно, сканирующая система 200 формирования изображений пригодна для формирования изображения образца, например слоя ткани, не показанного на фиг. 2, который можно помещать между предметным стеклом 201 и покровным стеклом 202. Согласно настоящему изобретению на пути Р формирования изображения может находиться объектив 206 микроскопа, который может содержать одну или несколько линз 203, 204 и 205, диафрагму 207 для задержки не рассеиваемого света, отражаемого от образца ткани, тубусную линзу 208 и датчик 209 изображения. Датчик 209 изображения содержит двумерный массив пикселей, который в этом документе также может именоваться матрицей пикселей. Например, датчик представляет собой датчик изображения на основе КМОП-структуры (комплементарной структуры металл-оксид-полупроводник), но в настоящем изобретении также можно использовать датчики других видов. Как можно видеть из фиг. 2, датчик 209 изображения наклонен относительно оптической оси О объектива микроскопа. Как поясняется в этом документе, датчик 209 изображения может быть самофокусирующимся датчиком изображения. Кроме того, система 200 содержит модуль управления, предназначенный для управления рабочим процессом сканера и в частности, процессом сканирования при формировании изображения образца. Модуль управления обычно содержит процессор, такой как, например, вентильная матрица, программируемая пользователем (ВМПП), или цифровой процессор сигналов (ЦПС). Следует отметить, что оптическая ось О может быть параллельна Z-оси 309, которая показана на следующей фиг. 3.
Способ согласно настоящему изобретению может быть выполнен, например, при использовании датчика 300 изображения, показанного на фиг. 3, который будет пояснен более подробно ниже. Согласно примеру варианта осуществления способ содержит этапы захвата изображения с одного линейного датчика/линии 304 пикселей, определения любым средством, что изменение глубины регистрации, то есть, изменение регистрации с текущего линейного датчика/пиксельной линии 304 к линии 310, находящейся выше или ниже, необходимо, и захвата двух изображений одновременно с текущей линии 304 и новой линии 310 пока не будет перекрыт нечувствительный к свету промежуток 305с между двумя линейными датчиками при текущей скорости сканирования. Дальнейший этап содержит продолжение захвата с нового линейного датчика 310 и прекращение захвата с исходного линейного датчика 304. Этим способом можно захватывать бесшовное изображение, что невозможно без временного двойного считывания, поскольку изменение линейного датчика приводит не только к изменению глубины регистрации, но также и к перемещению вдоль направления сканирования. Это последнее перемещение влечет за собой либо возникновение промежутка в изображении, либо повторение. Преимущество этого способа заключается в исключении промежутка в конечном изображении. В случае повторения часть данных изображений может быть отброшена без необходимости в двойной регистрации. Детальные аспекты относительно отбрасывания данных изображений были описаны ранее.
Что касается датчика, используемого для этого способа, то на фиг. 3 показана проекция 300 датчика 311 изображения. Кроме того, датчик 311 изображения может быть самофокусирующимся датчиком изображения. На фиг. 3 показано, что датчик 311 изображения содержит несколько блоков 304, 310 временной задержки и накопления, которые соответственно содержат множество параллельных пиксельных линий, проходящих вдоль направления Y, показанного осью 308. Блоки 304 и 310 временной задержки и накопления отделены нечувствительным к свету промежутком 305с, в котором расположены считывающие электронные компоненты пикселей по меньшей мере одного из указанных блоков. При необходимости считывающие электронные компоненты обоих блоков 304 и 310 временной задержки и накопления могут быть расположены в промежутке 305с. Однако также возможно, чтобы считывающие электронные компоненты пикселей блока 310 были расположены в нечувствительном к свету промежутке 305с и чтобы считывающие электронные компоненты пикселей блока 304 были расположены в нечувствительном к свету промежутке 305а. Очевидно, что блоки 304 и 310 временной задержки и накопления можно располагать, когда пиксельная линия не содержит преобразователей заряда в напряжение, и/или логических схем, и/или соединительных цепей. Последние компоненты полностью содержатся в нечувствительных к свету промежутках датчика 311 изображения, так что достигается максимизация коэффициента заполнения с достижением надлежащей низкой светочувствительности. Следует отметить, что блоки 304 и 310 временной задержки и накопления показаны только схематично, вследствие чего множество соседних пиксельных линий здесь не показаны детально. Такие индивидуальные пиксельные линии, образующие блок временной задержки и накопления, можно видеть на следующей фиг. 4. Кроме того, промежутки 305а, 305b и 305с только схематично изображены на фиг. 3, на которой позицией 301 обозначено предметное стекло и позицией 302 обозначено покровное стекло, а образец ткани показан позицией 303. Кроме того, направление X’ сканирования показано стрелкой 306 и можно легко сделать вывод, что направление X’ сканирования по существу перпендикулярно к Y направлению 308, обозначающему двумерный массив пикселей датчика 311. Кроме того, на фиг. 3 показано X-направление 307.
Датчик изображения из фиг. 3 обладает двумя усовершенствованиями по сравнению с обычным двумерным датчиком с такими же размерами и разрешением. Обеспечивается максимизация светочувствительной части пикселей на светочувствительном участке датчика, так что коэффициент заполнения повышается до максимума. Это позволяет иметь чувствительный датчик без микролинз. Исключение микролинз является существенным при расположении датчика наклонно к оптической части, например, сканирующего, формирующего изображения микроскопа. Кроме того, промежутки 305a, 305b и 305с позволяют быстрее осуществлять считывание, поскольку в промежутках может быть больше электронных компонентов датчика, позволяющих иметь более быстрый датчик.
На фиг. 4 схематично показан датчик изображения 400 согласно примеру варианта осуществления настоящего изобретения. Датчик изображения содержит двумерный массив пикселей 421. Двумерный массив пикселей содержит первую пиксельную линию 410, которая содержит множество пикселей, например пиксели 415, 416, 417. Как можно понять из фиг. 4, первая пиксельная линия 410 продолжается вдоль Y-направления 422 от левого конца массива до правого конца массива, так что она продолжается по всей ширине массива. Y-направление перпендикулярно X-направлению 423. Двумерный массив пикселей также содержит вторую пиксельную линию 411, содержащую множество пикселей, при этом для примера показаны пиксели 418 и 419. Кроме того, вторая линия 411 также продолжается вдоль Y-направления. Кроме того, предусмотрен нечувствительный к свету промежуток 402 между первой и второй пиксельными линиями. Как можно понять из фиг. 4, промежуток также продолжается вдоль Y-направления. Кроме того, считывающие электронные компоненты 412 и 413 пикселей из первой линии и/или пикселей из второй линии расположены в первом нечувствительном к свету промежутке 402. Конечно, компоненты, подобные, например, вентильной матрице, программируемой пользователем, могут содержаться в датчике.
Первый нечувствительный к свету промежуток 402 имеет ширину, составляющую по меньшей мере одну ширину 420 пикселя датчика. В этом варианте осуществления ширина промежутка приблизительно в пять раз больше ширины 420 одного пикселя датчика. Второй нечувствительный к свету промежуток 403 также имеет такую же ширину. Кроме того, как можно понять из фиг. 4, первый блок 405 из нескольких соседних пиксельных линий с 407 по 410 содержится в датчике 400 изображения. Этим первым блоком 405 можно управлять как блоком временной задержки и накопления. Первый нечувствительный к свету промежуток 402 содержит считывающие электронные компоненты 412, 413, такие как преобразователи тока в напряжение пиксельных линий 410 и 411, и может также содержать логические схемы датчика 400 изображения и/или соединительные цепи датчика 400 изображения. Кроме того второй нечувствительный к свету промежуток 403 содержит такие считывающие электронные компоненты 414 пикселей второго блока 404 временной задержки и накопления и третьего блока 406 временной задержки и накопления. Как было описано ранее, также может быть образован датчик 400 изображения, в котором считывающие электронные компоненты блока временной задержки и накопления полностью расположены в соседнем промежутке, ниже или выше указанного блока временной задержки и накопления, вдоль показанного X-направления 423. Поэтому можно образовать блок временной задержки и накопления, который полностью состоит из фотодиодов, но сам не содержит считывающих электронных компонентов, которые перемещены в соседние промежутки. В другом примере варианта осуществления датчик имеет 128 таких блоков 404, 405 и 406 пиксельных линий и имеет 127 или 128 промежутков.
Блок временной задержки и накопления можно представить как двумерный массив пикселей с линиями/строками, продолжающимися вдоль Y-направления, и столбцами, продолжающимися вдоль X-направления. Действие временной задержки и накопления происходит по столбцам. Это действие временной задержки и накопления может быть обычным действием прибора с зарядовой связью по осуществлению временной задержки и накопления, когда заряд передается по столбцам синхронно с перемещением объекта относительно датчика. В ином случае временная задержки и накопление могут выполняться в цифровой области, при этом заряды пикселей сначала преобразуются в цифровое число и затем передаются в цифровую область синхронно с перемещением объекта относительно датчика. Эту цифровую временную задержку и накопление можно выполнять в самом датчике изображения или вне его, в вычислительном блоке, таком как вентильная матрица, программируемая пользователем, или компьютер. Кроме того, система согласно настоящему изобретению может содержать модуль управления, который управляет считыванием с датчика изображения таким образом, что выполняется заданная процедура временной задержки и накопления.
Более конкретный пример использования временной задержки и накопления согласно таким вариантам осуществления будет пояснен в связи с фиг. 4. На фиг. 4 три блока 404, 405 и 406 из четырех каскадов временной задержки и накопления (например, 407, 408, 409, 410) показаны в пиксельной матрице. Отметим, что под блоком временной задержки и накопления подразумевается подмассив всей пиксельной матрицы, который действует как функциональный блок временной задержки и накопления. Специалисту в данной области техники должно быть понятно, каким образом может работать датчик с временной задержкой и накоплением согласно таким вариантам осуществления. Некоторые варианты осуществления будут описаны в этом документе в качестве не ограничивающих примеров. Все они применимы к датчикам изображения обоих основных видов, то есть к датчикам изображения на основе приборов с зарядовой связью и КМОП-структур. В случае датчиков изображения на основе приборов с зарядовой связью операция временной задержки и накопления обычно выполняется в аналоговой области путем копирования заряда из одного набора пикселей в другой набор пикселей. В случае датчиков изображения на основе КМОП-структур операция временной задержки и накопления выполняется в цифровой области путем добавления цифрового значения из одного набора пикселей к цифровому значению из другого набора пикселей. Однако как цифровая, так и аналоговая операция временной задержки и накопления может применяться как в случае приборов с зарядовой связью, так и в случае КМОП-структур.
Ниже операция временной задержки и накопления описывается как передача значения пикселя, под которой понимается аналоговая передача заряда при использовании аналоговых временной задержки и накопления, и как передача значения пикселя при использовании цифровых временной задержки и накопления.
Вернемся к примеру из фиг. 4, где датчик перемещается относительно микропрепарата в положение сканирования и в то же время передается значение пикселя. В примере из фиг. 4 предполагается, что операция временной задержки и накопления осуществляется кверху и перемещение образца относительно датчика также выполняется кверху. Пиксельная линия или каскад 410 (предпочтительно, чтобы каскад включал в себя всю пиксельную линию) начинается с нулевых значений пикселей при каждом экспонировании, а значения пикселей из каскада 407 образуют конечное изображение в блоке 405 после каждого экспонирования. При следовании по одной строке изображения образца во время полного цикла временной задержки и накопления выполняют способ, известный из уровня техники, который заключается в следующем: во время экспонирования в момент t=0 времени изображение образца захватывается датчиком изображения. При следующем экспонировании в t=1 образец перемещают так, чтобы часть изображения образца, проецировавшаяся в t=0 на каскад 410, теперь проецировалась на каскад 409. Между экспонированиями в t=0 и t=1 значения пикселей из каскада 410 копируют в каскад 409. Во время экспонирования в t=1 значения пикселей, полученные в результате экспонирования каскада 409, добавляют к уже имеющимся значениям, полученным в результате экспонирования каскада 410 в t=0. Теперь значения для каскада 409 являются суммой значений пикселей, полученных в результате экспонирования каскада 410 в t=1 и экспонирования каскада 409 в t=1. Между экспонированиями в t=1 и t=2 значения пикселей из каскада 409 копируют в каскад 408. Во время экспонирования в t=2 значения пикселей, полученные в результате экспонирования каскада 408, добавляют к уже имеющимся значениям, которые были получены в результате экспонирования каскада 410 в t=0, с добавлением значений, полученных в результате экспонирования каскада 409 в t=1. Теперь значения из каскада 408 являются суммой значений пикселей, полученных в результате экспонирования каскада 410 в t=0, и экспонирования каскада 409 в t=1, и экспонирования каскада 408 в t=2. Между экспонированиями в t=2 и t=3 значения пикселей из каскада 408 копируют в каскад 407. Во время экспонирования в t=3 значения пикселей, полученные в результате экспонирования каскада 407, добавляют к уже имеющимся значениям, которые были получены в результате экспонирования каскада 410 при t=0, с добавлением значений в результате экспонирования каскада 409 в t=1 и каскада 408 в t=2. Теперь значения из каскада 407 являются суммой значений пикселей, полученных в результате экспонирования каскада 410 в t=0, и экспонировании каскада 409 в t=1, и экспонирования каскада 408 в t=2, и экспонирования каскада 407 в t=3. Поскольку изображение образца перемещают по датчику в том же самом направлении и с той же самой скоростью, в соответствии с которыми выполняют операцию временной задержки и накопления, в этом примере выполняют четыре одинаковых экспонирования одного и того же участка на образце. Это эквивалентно в четыре раза большему периоду экспонирования без замедления перемещения образца и без внесения дополнительной размытости в изображение, обусловленной перемещением. Приведенное выше описание также применимо к любым другим блокам, таким как блоки 404 и 406 или любой дополнительный блок датчика изображения согласно настоящему изобретению.
Следует отметить, что в таких вариантах осуществления четыре каскада блоков временной задержки и накопления могут захватывать изображение одного и того участка при одной и той фокусировке.
В соответствии с этим каскады каждого блока временной задержки и накопления могут находиться на приблизительно одинаковом расстоянии от образца.
Для примера опять обратимся к первой детализированной реализации, описанной выше, в которой четыре каскада могут использоваться для каждого блока. Поэтому каждый из блоков временной задержки и накопления может быть образован четырьмя линиями пикселей, расположенными друг за другом с шагом, имеющим такой же размер, как размер пикселя. В данном случае следует отметить, что шаг может обозначать расстояние между центрами двух соседних пикселей. Благодаря нечувствительному к свету промежутку каждый блок временной задержки и накопления в каждом варианте осуществления настоящего изобретения может находиться на расстоянии от соседнего блока, которое больше, чем шаг. Величина промежутка определяет разрешение Z датчика по глубине. Может быть выгодно иметь относительно большой промежуток и в то же время иметь индивидуальные пиксели каждого блока временной задержки и накопления, находящиеся ближе друг к другу. Таким путем можно получать относительно благоприятную величину Z без использования слишком большого количества пикселей, поскольку индивидуальные каскады каждого блока временной задержки и накопления находятся ближе друг к другу. В результате они осуществляют сбор данных на одинаковой глубине и поэтому снижается размывание изображения, обусловленное дефокусировкой одного или нескольких каскадов.
В соответствии с другим примером варианта осуществления настоящего изобретения на фиг. 5 показана установка 500 с датчиком 501 изображения, который содержит первую пиксельную линию 508 и вторую пиксельную линию 509, которые отделены нечувствительным к свету промежутком 506. Первый блок 502 временной задержки и накопления, второй блок 503 временной задержки и накопления, третий блок 505 временной задержки и накопления и 128-ой блок 504, соответственно, содержат четыре линии пикселей. Разрыв 516 пиксельных линий показан, поскольку в данном случае пиксельные линии намного длиннее, чем показано на фиг. 5. Как было показано ранее, пиксельные линии могут состоять из нескольких тысяч пикселей, например 4000 или большего количества пикселей.
Кроме того, на фиг. 5 показаны два спецпроцессора 510, 513 временной задержки и накопления, которые расположены на датчике изображения и поэтому являются частью датчика изображения. Такой спецпроцессор временной задержки и накопления сконфигурирован для выполнения любой известной и упомянутой в этом документе процедуры временной задержки и накопления. При таком подходе временная задержка и накопление выполняются микросхемой. Кроме того, в настоящем изобретении содержатся другие варианты осуществления, в которых процедура временной задержки и накопления выполняется вне микросхемы, например внешним компьютером. Восемь входных и выходных отводов 511 и 514 представляют собой стандартные штырьки для присоединения датчика к шине данных. В случае, когда для пользователя желательна более широкая полоса частот, при необходимости могут использоваться 24 входных и выходных отвода 512, 515.
На фиг. 6 схематично показана блок-схема последовательности действий способа согласно примеру варианта осуществления настоящего изобретения. На фиг. 6 во всех подробностях представлен способ считывания, предназначенный для образования бесшовных двумерных или трехмерных изображений и в то же время изменения глубины захвата во время сканирования. В способе можно одновременно захватывать данные изображений при многочисленных глубинах образца. В способе используется устройство формирования изображений, аналогичное, например, устройству, описанному в связи с фиг. 2. Используемое устройство формирования изображений имеет оптическую ось и содержит датчик 300, 400 изображения, наклоненный относительно оптической оси. Такой датчик изображения устройства формирования изображений содержит первую пиксельную линию 410, содержащую множество пикселей 415, 416, и по меньшей мере вторую пиксельную линию 411, содержащую множество пикселей 418, 419. Первая и вторая пиксельные линии имеют отличающуюся длину оптического пути до образца вдоль оптической оси устройства формирования изображений и отделены друг от друга промежутком 402 вдоль направления сканирования.
В способе, показанном на фиг. 6, выполняют сканирование образца вдоль направления X’ сканирования, которое по существу перпендикулярно к основному направлению Y протяженности первой и второй пиксельных линий датчика изображения, то есть этап S1. На втором этапе S2 выполняют захват первого изображения образца с первой пиксельной линии перед выполнением этапа S3, на котором необходимо одновременно захватывать второе изображение образца с первой пиксельной линии и захватывать третье изображение образца с второй пиксельной линии. Кроме того, на этапе S4 продолжают захват изображений образца с второй пиксельной линии. На этапе S5 прекращают захват изображений образца с первой линии пикселей.
Следовательно, способ, показанный на фиг. 6 этапами с S1 по S5, можно считать способом считывания, которым можно образовывать бесшовные двумерные или трехмерные изображения и в то же время изменять глубину захвата во время сканирования. Он позволяет быстро получать изображения неидеально плоских и/или объемных образцов. Вычисление для определения, сколько времени требуется во время сканирования для перекрытия соответствующего просвета, то есть промежутка между соседними пиксельными линиями, может быть без проблемы сделано специалистом в данной области техники и может быть реализовано в устройстве формирования изображений, раскрытом в этом документе. Исходя из расстояния между двумя камерами, то есть двумя пиксельными линиями, при проектировании известно, сколько пикселей соответствуют расстоянию. Что касается частоты экспонирования, то есть линейной скорости, то известно, сколько пикселей находятся в просвете/промежутке.
Устройство формирования изображений, выполняющее этот способ, может определять, когда следует начинать одновременный захват изображений. В частности, в примере варианта осуществления настоящего изобретения определяется, требуется ли изменение глубины регистрации, а соответствующее приведение в действие второй пиксельной линии на основании определения, что изменение глубины регистрации требуется, выполняется устройством формирования изображений автоматически. Для определения, необходимо ли изменение глубины регистрации, могут использоваться многочисленные различные технические средства, описанные ранее в этом документе.
Способ, поясненный при обращении к фиг. 6, позволяет быстро получать изображения неидеально плоских и/или объемных образцов, таких как показанный на фиг. 1, и, в частности, может быть применен не только в цифровых сканерах микропрепарата, например, для цифровой патологии, но также и в других областях техники. При использовании этого способа из фиг. 6 можно захватывать бесшовное изображение, что невозможно без временного дублирования, то есть одновременного считывания, поскольку изменение линейного датчика приводит не только к изменению глубины регистрации, но также и к перемещению вдоль оси X’ сканирования. Это последнее перемещение влечет за собой либо возникновение промежутка в изображении, либо повторение данных изображения. Способ, описанный выше, необходим для исключения промежутка. В случае повторения часть данных изображения может быть отброшена, а двойная регистрация не является необходимой.
Другие изменения в раскрытых вариантах осуществления могут быть поняты и выполнены специалистами в данной области техники при применении на практике заявленного изобретения, в результате изучения чертежей, раскрытия и прилагаемой формулы изобретения. Например, как пояснялось ранее, описанное изобретение охватывает другие конфигурации, в которых датчик не наклонен относительно оптической оси и в которых система формирования изображения выполнена так, что этот датчик может отображать наклонное сечение образца. Таким образом, при образовании оптического пути с различной длиной от образца к датчику можно использовать другие технические приемы, хорошо известные в данной области техники, такие как введение оптического элемента, например призмы, на путь света.
В формуле изобретения слово «содержащий» не исключает других элементов или этапов, и употребление элементов или этапов в единственном числе не исключает их множества. Один процессор или другой блок может выполнять функции нескольких средств или этапов, перечисляемых в формуле изобретения. То, что некоторые признаки перечисляются во взаимно различных зависимых пунктах формулы изобретения, не означает, что сочетание этих признаков не может использоваться с успехом. Любые позиции в формуле изобретения не должны толковаться как ограничивающие объем формулы изобретения.