УСТРОЙСТВО ДЛЯ БИОЛОГИЧЕСКИХ НАБЛЮДЕНИЙ
DEVICE FOR BIOLOGICAL OBSERVATIONS

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству для биологических наблюдений, которое формирует квазиполосовой фильтр посредством обработки сигналов с использованием сигнала цветового изображения, получаемого съемкой изображения живого организма, и отображает спектральный сигнал изображения в виде спектрального изображения на мониторе.
Уровень техники
Общеизвестно, что эндоскопическое устройство, которое излучает подсвечивающий свет для получения эндоскопического изображения внутри полости тела, широко применяют в качестве устройства для наблюдения биологических объектов. Эндоскопическое устройство данного типа использует электронный эндоскоп, содержащий средство съемки изображения, которое направляет подсвечивающий свет от источника света в полость тела с использованием световода или подобного ему устройства и которое снимает изображение объекта исследования в свете, отраженном данным объектом, и выполнено так, что обработка сигналов над снятым сигналом изображения из средства съемки изображения выполняется видеопроцессором, для отображения эндоскопического изображения на контрольном мониторе для рассмотрения наблюдаемой области, например болезненной части.
Один способ осуществления нормального наблюдения биологической ткани с использованием эндоскопического устройства заключается в том, что испускают белый свет в видимом диапазоне спектра из источника света, излучают свет чередующимися кадрами на объект исследования через вращающийся светофильтр, например вращающий цветной светофильтр RGB, и получают цветное изображение осуществлением в видеопроцессоре синхронизации и обработки изображения над отраженным светом из света последовательных кадров. Кроме того, другой способ осуществления нормального наблюдения биологической ткани с использованием эндоскопического устройства заключается в том, что устанавливают цветную микросхему с передней стороны плоскости съемки изображения средства съемки изображения эндоскопа, испускают белый свет в видимом диапазоне спектра из источника света, снимают изображения разделением света, отраженного из света последовательных кадров, на цветной микросхеме по каждому цветовому компоненту и получают цветное изображение выполнением в видеопроцессоре обработки изображения.
Для биологической ткани характеристики поглощения и характеристики рассеяния света различаются в зависимости от длины волны излучаемого света. Например, в японском выложенном патенте JP2002-95635 раскрыто эндоскопическое устройство с узкополосным осветителем, которое излучает на биологическую ткань подсвечивающий свет в видимом диапазоне спектра в виде света чередующихся кадров в узкополосных компонентах RGB, обладающих дискретными спектральными характеристиками, для получения целевой информации о ткани на участке биологической ткани на целевой глубине.
Кроме того, в японском выложенном патенте JP2003-93336 предлагается эндоскопическое устройство с узкополосным осветителем, которое осуществляет обработку сигналов над сигналом изображения, получаемым с подсвечивающим светом в видимом диапазоне спектра, для создания изображения с дискретным спектром и получения информации о ткани на участке биологической ткани на целевой глубине.
Однако, например, в устройстве, описанном в вышеупомянутом японском выложенном патенте JP2003-93336, когда получение спектрального изображения посредством обработки сигналов исключает потребность в светофильтре для формирования узкополосного света RGB, полученное спектральное изображение просто выводится на монитор. Поэтому создается риск, что изображение, отображаемое на мониторе, не является изображением, цветовой тон которого является подходящим для наблюдения информации о ткани для биологической ткани на целевой глубине, и что различимость может быть не самой благоприятной.
Кроме того, с устройством, описанным в вышеупомянутом японском выложенном патенте JP2003-93336, связаны дополнительные проблемы, состоящие в том, что конфигурация, в которой системы цепей являются отдельными для нормальных изображений и спектральных изображений, имеет следствием большой объем схемы, и, хотя на нормальных изображениях выполняются регулировка цветов и коррекция контуров, обработка изображений типа регулировки цветов и коррекции контуров не выполняется на спектральных изображениях.
Соответственно, настоящее изобретение создано с учетом вышеизложенных обстоятельств, и его целью является создание устройства для наблюдения биологических объектов, способного к регулировке информации о ткани для биологической ткани на искомой глубине на основании спектрального изображения, полученного посредством обработки изображений, чтобы визуализировать информацию в цветовом тоне, подходящем для наблюдения, и в то же время для повышения качества изображения сигнала, подлежащего отображению/выводу, чтобы обеспечивать благоприятную различимость.
Другой целью является создание устройства для наблюдения биологических объектов, допускающего регулировку информации о ткани для биологической ткани на целевой глубине на основании спектрального изображения, полученного посредством обработки изображений, для визуализирования информации в цветовом тоне, подходящем для наблюдения, и в то же время способного к уменьшению объема схемы и совместному использованию схем для выполнения необходимой обработки сигналов, например баланса белого и γ-коррекции.
Описание изобретения
Средства решения задачи
Устройство для наблюдения биологических объектов в соответствии с аспектом настоящего изобретения содержит: осветительную секцию, которая излучает свет на живой организм, который является объектом, подлежащим исследованию; секцию съемки изображения, которая фотоэлектрическим способом преобразует свет, отраженный от живого организма, на основании излучаемого света и формирует снятый сигнал изображения; и секцию управления обработкой сигналов, которая управляет операциями осветительной секции и/или секции съемки изображения и выдает снятый сигнал изображения в устройство отображения, при этом секция управления обработкой сигналов содержит: секцию формирования спектрального сигнала, которая формирует спектральный сигнал, соответствующий оптическому изображению в узкой полосе длин волн, исходя из снятого сигнала изображения, посредством обработки сигналов; секцию регулировки цвета, которая, при выдаче спектрального сигнала в устройство отображения, назначает отличающийся цветовой тон для каждой из множества полос, формирующих спектральный сигнал; и секцию коррекции качества изображения, которая корректирует качество изображения в сигнале, подлежащем выдаче в устройство отображения.
Кроме того, устройство для наблюдения биологических объектов в соответствии с другим аспектом настоящего изобретения содержит: осветительную секцию, которая излучает свет на живой организм, который является объектом, подлежащим исследованию; секцию съемки изображения, которая фотоэлектрическим способом преобразует свет, отраженный от живого организма, на основании излучаемого света и формирует снятый сигнал изображения; и секцию управления обработкой сигналов, которая управляет операциями осветительной секции и/или секции съемки изображения и выдает снятый сигнал изображения в устройство отображения, при этом секция управления обработкой сигналов содержит: секцию формирования спектрального сигнала, которая формирует спектральный сигнал, соответствующий оптическому изображению в узкой полосе длин волн, исходя из снятого сигнала изображения, посредством обработки сигналов; и секцию регулировки цвета, которая, при выдаче спектрального сигнала в устройство отображения, назначает отличающийся цветовой тон для каждой из множества полос, формирующих спектральный сигнал; и причем, за исключением, по меньшей мере, секции формирования спектрального сигнала и секции регулировки цвета, другие секции обработки сигналов являются совместно используемыми для соответствующей обработки сигналов над снятым сигналом изображения и спектральным сигналом.
Краткое описание фигур чертежей
Фиг.1 - концептуальная схема, представляющая прохождение сигналов при формировании спектрального сигнала изображения из цветового сигнала изображения в соответствии с первым вариантом осуществления настоящего изобретения;
Фиг.2 - концептуальная схема, представляющая вычисление с интегрированием спектрального сигнала изображения в соответствии с первым вариантом осуществления настоящего изобретения;
Фиг.3 - концептуальная схема, представляющая внешний вид устройства для наблюдения биологических объектов в соответствии с первым вариантом осуществления настоящего изобретения;
Фиг.4 - блок-схема, представляющая конфигурацию устройства для наблюдения биологических объектов, показанного на Фиг.3;
Фиг.5 - внешний вид оптического модулятора, показанного на Фиг.4;
Фиг.6 - схема, представляющая матрицу цветных светофильтров, расположенных в плоскости съемки изображения в CCD, показанном на Фиг.4;
Фиг.7 - схема, представляющая характеристики спектральной чувствительности цветных светофильтров, показанных на Фиг.6;
Фиг.8 - схема конфигурации, представляющая конфигурацию секции вычисления матриц, показанной на Фиг.4;
Фиг.9 - спектральная диаграмма, представляющая спектр источника света в соответствии с первым вариантом осуществления настоящего изобретения;
Фиг.10 - спектральная диаграмма, представляющая спектр отражения живого организма в соответствии с первым вариантом осуществления настоящего изобретения;
Фиг.11 - схема, изображающая слоистую структуру биологической ткани, подлежащей наблюдению устройством для наблюдения биологических объектов, показанным на Фиг.4;
Фиг.12 - схема, изображающая послойные уровни в биологической ткани, достигаемые подсвечивающим светом от устройства для наблюдения биологических объектов, показанного на Фиг.4;
Фиг.13 - схема, представляющая спектральные характеристики соответствующих полос белого света;
Фиг.14 - первая схема, представляющая изображения в соответствующих полосах пропускания белого света, показанных на Фиг.13;
Фиг.15 - вторая схема, представляющая изображения в соответствующих полосах пропускания белого света, показанных на Фиг.13;
Фиг.16 - третья схема, представляющая изображения в соответствующих полосах пропускания белого света, показанных на Фиг.13;
Фиг.17 - схема, представляющая спектральные характеристики спектрального изображения, сформированные в секции вычисления матрицы, показанной на Фиг.8;
Фиг.18 - первая схема, представляющая соответствующие спектральные изображения, соответствующие Фиг.17;
Фиг.19 - вторая схема, представляющая соответствующие спектральные изображения, соответствующие Фиг.17;
Фиг.20 - третья схема, представляющая соответствующие спектральные изображения, соответствующие Фиг.17;
Фиг.21 - блок-схема, показывающая конфигурацию секции регулировки цвета, показанной на Фиг.4;
Фиг.22 - схема, описывающая операции секции регулировки цвета, показанной на Фиг.21;
Фиг.23 - блок-схема, представляющая конфигурацию модификации секции регулировки цвета, показанной на Фиг.4;
Фиг.24 - схема, представляющая спектральные характеристики первой модификации спектрального изображения, показанного на Фиг.17;
Фиг.25 - схема, представляющая спектральные характеристики второй модификации спектрального изображения, показанного на Фиг.17;
Фиг.26 - схема, представляющая спектральные характеристики третьей модификации спектрального изображения, показанного на Фиг.17;
Фиг.27 - блок-схема, представляющая другой пример конфигурации секции вычисления матриц в соответствии с первым вариантом осуществления настоящего изобретения;
Фиг.28 - блок-схема, представляющая конфигурацию устройства для наблюдения биологических объектов в соответствии со вторым вариантом осуществления настоящего изобретения;
Фиг.29 - схема, представляющая пример секции регулирования количества света в устройстве для наблюдения биологических объектов в соответствии с третьим вариантом осуществления настоящего изобретения;
Фиг.30 - схема, представляющая другой пример секции регулирования количества света;
Фиг.31 - схема, представляющая еще один пример секции регулирования количества света;
Фиг.32 - блок-схема, представляющая конфигурацию устройства для наблюдения биологических объектов в соответствии с четвертым вариантом осуществления настоящего изобретения;
Фиг.33 - схема, показывающая времена накопления заряда в CCD, показанном на Фиг.32;
Фиг.34 - схема, которая является модификацией Фиг.32 и которая показывает времена накопления заряда в CCD;
Фиг.35 - схема, представляющая пример повышения качества изображения в устройстве для наблюдения биологических объектов в соответствии с восьмым вариантом осуществления настоящего изобретения;
Фиг.36 - схема, представляющая пример повышения качества изображения в устройстве для наблюдения биологических объектов в соответствии с девятым вариантом осуществления настоящего изобретения;
Фиг.37 - схема, представляющая другой пример повышения качества изображения в устройстве для наблюдения биологических объектов в соответствии с девятым вариантом осуществления настоящего изобретения;
Фиг.38 - схема, представляющая пример повышения качества изображения в устройстве для наблюдения биологических объектов в соответствии с десятым вариантом осуществления настоящего изобретения;
Фиг.39 - схема, представляющая пример повышения качества изображения в устройстве для наблюдения биологических объектов в соответствии с двенадцатым вариантом осуществления настоящего изобретения;
Фиг.40 - схема, представляющая другой пример повышения качества изображения в устройстве для наблюдения биологических объектов в соответствии с двенадцатым вариантом осуществления настоящего изобретения;
Фиг.41 - схема, представляющая еще один пример повышения качества изображения в устройстве для наблюдения биологических объектов в соответствии с двенадцатым вариантом осуществления настоящего изобретения;
Фиг.42 - блок-схема, представляющая конфигурацию устройства для наблюдения биологических объектов в соответствии с тринадцатым вариантом осуществления настоящего изобретения;
Фиг.43 - блок-схема, представляющая конфигурацию устройства для наблюдения биологических объектов в соответствии с четырнадцатым вариантом осуществления настоящего изобретения;
Фиг.44 - блок-схема, представляющая конфигурацию устройства для наблюдения биологических объектов в соответствии с пятнадцатым вариантом осуществления настоящего изобретения;
Фиг.45 - схема, представляющая матрицу цветных светофильтров в устройстве для наблюдения биологических объектов в соответствии с шестнадцатым вариантом осуществления настоящего изобретения;
Фиг.46 - схема, представляющая характеристики спектральной чувствительности цветных светофильтров, показанных на Фиг.45; и
Фиг.47 - блок-схема последовательности операций во время вычисления матрицы в устройстве для наблюдения биологических объектов в соответствии с настоящим изобретением.
Предпочтительный вариант осуществления изобретения
Ниже варианты осуществления настоящего изобретения описаны со ссылками на чертежи.
[Первый вариант осуществления изобретения]
Фиг.1-26 относятся к первому варианту осуществления настоящего изобретения, при этом на Фиг.1 приведена концептуальная схема, представляющая прохождение сигналов при формировании спектрального сигнала изображения из цветового сигнала изображения; на Фиг.2 приведена концептуальная схема, представляющая вычисление с интегрированием спектрального сигнала изображения; на Фиг.3 приведено изображение, представляющее общий внешний вид электронного эндоскопического устройства; на Фиг.4 приведена блок-схема, представляющая конфигурацию электронного эндоскопического устройства, показанного на Фиг.3; на Фиг.5 приведен внешний вид оптического модулятора, показанного на Фиг.4; на Фиг.6 приведена схема, представляющая матрицу цветных светофильтров, расположенных в плоскости съемки изображения в CCD, показанном на Фиг.3; на Фиг.7 приведена схема, представляющая характеристики спектральной чувствительности цветных светофильтров, показанных на Фиг.6; на Фиг.8 приведена схема конфигурации, представляющая конфигурацию секции вычисления матриц, показанной на Фиг.4; на Фиг.9 приведена спектральная диаграмма, представляющая спектр источника света; и на Фиг.10 приведена спектральная диаграмма, представляющая спектр отражения живого организма.
На Фиг.11 приведена схема, изображающая слоистую структуру биологической ткани, подлежащей наблюдению посредством электронного эндоскопического устройства, показанного на Фиг.4; на Фиг.12 приведена схема, изображающая послойные уровни в биологической ткани, достигаемые подсвечивающим светом от электронного эндоскопического устройства, показанного на Фиг.4; на Фиг.13 приведена схема, представляющая спектральные характеристики соответствующих полос белого света; на Фиг.14 приведена первая схема, представляющая изображения в соответствующих полосах пропускания белого света, показанных на Фиг.13; на Фиг.15 приведена вторая схема, представляющая изображения в соответствующих полосах пропускания белого света, показанных на Фиг.13; на Фиг.16 приведена третья схема, представляющая изображения в соответствующих полосах пропускания белого света, показанных на Фиг.13; на Фиг.17 приведена схема, представляющая спектральные характеристики спектрального изображения, сформированные в секции вычисления матрицы, показанной на Фиг.8; на Фиг.18 приведена первая схема, представляющая соответствующие спектральные изображения, показанные на Фиг.17; на Фиг.19 приведена вторая схема, представляющая соответствующие спектральные изображения, показанные на Фиг.17; и на Фиг.20 приведена третья схема, представляющая соответствующие спектральные изображения, показанные на Фиг.17.
На Фиг.21 приведена блок-схема, показывающая конфигурацию секции регулировки цвета, показанной на Фиг.4; на Фиг.22 приведена схема, описывающая операции секции регулировки цвета, показанной на Фиг.21; на Фиг.23 приведена блок-схема, представляющая конфигурацию модификации секции регулировки цвета, показанной на Фиг.4; на Фиг.24 приведена схема, представляющая спектральные характеристики первой модификации спектрального изображения, показанного на Фиг.17; на Фиг.25 приведена схема, представляющая спектральные характеристики второй модификации спектрального изображения, показанного на Фиг.17; и на Фиг.26 приведена схема, представляющая спектральные характеристики третьей модификации спектрального изображения, показанного на Фиг.17.
Электронное эндоскопическое устройство в качестве устройства для наблюдения биологических объектов в соответствии с вариантами осуществления настоящего изобретения излучает свет от источника подсвечивающего света на живой организм, который является объектом, подлежащим исследованию, принимает свет, отраженный от живого организма из света излучения, на твердотельное устройство съемки изображения, которое является секцией съемки изображения, и формирует снятый сигнал изображения, который является цветовым сигналом изображения, посредством фотоэлектрического преобразования сигнала и формирует из снятого сигнала изображения, посредством обработки сигналов, спектральный сигнал изображения, который является спектральным изображением, соответствующим оптическому изображению в узкой полосе длин волн.
Перед изложением описания первого варианта осуществления настоящего изобретения ниже приведено описание способа вычисления матриц, который составляет основу настоящего изобретения. В данном случае, термин «матрица» относится к предварительно заданному коэффициенту, используемому при формировании спектрального сигнала изображения из цветового сигнала изображения, получаемого для формирования цветного изображения (именуемого далее нормальным сигналом).
Кроме того, после описания матрицы дано описание способа введения поправок для получения более точного спектрального сигнала изображения и способа повышения S/N (отношения сигнала к шуму), который повышает S/N сформированного спектрального сигнала изображения. Способ введения поправок и способ повышения S/N должны применяться по необходимости. Кроме того, в последующем описании, вектора и матрицы должны обозначаться с использованием полужирных символов или <> (например, матрица A должна обозначаться как «полужирная A» или «<A>»). Другие математические понятия должны обозначаться без выделения символов.
(Способ вычисления матриц)
На Фиг.1 приведена концептуальная схема, представляющая прохождение сигналов при формировании спектрального сигнала изображения для изображения, содержащего длины волн в узкополосном оптическом диапазоне, из цветового сигнала изображения (в данном случае, для простоты будет применен сигнал R/G/B, однако сигнал в комбинации G/Cy/Mg/Ye также можно использовать в случае с твердотельным устройством съемки изображения в дополнительных цветах, как в варианте осуществления изобретения, описанном в последующем).
Во-первых, электронное эндоскопическое устройство преобразует соответствующие характеристики цветочувствительности R/G/B в числовые данные. В данном случае, характеристики цветочувствительности R/G/B относятся к выходным спектральным характеристикам, соответственно получаемым при использовании источника белого света для съемки изображения белого объекта исследования.
Соответствующие характеристики цветочувствительности R/G/B отображаются с правой стороны от каждых данных изображения в виде упрощенного графика. Кроме того, здесь принимается, что соответствующие характеристики цветочувствительности R/G/B являются n-мерными векторами-столбцами <R>/<G>/<B>.
Затем электронное эндоскопическое устройство преобразует в числовые данные характеристики узкополосных фильтров F1/F2/F3 для подлежащих выделению спектральных изображений (в качестве априорной информации, электронное эндоскопическое устройство содержит сведения о характеристиках фильтров, допускающих эффективное выделение структур; что касается характеристик фильтров, предполагается, что полосы пропускания соответствующих фильтров представляют собой диапазоны длин волн приблизительно от 590 нм до 610 нм, приблизительно от 530 нм до 550 нм и приблизительно от 400 нм до 430 нм).
В данном случае, выражение «приблизительно» является понятием, которое содержит допуск около ±10 нм, когда имеют дело с длинами волн. Здесь принимается, что характеристики соответствующих фильтров являются n-мерными векторами-столбцами <F1>/<F2>/<F3>. Исходя из полученных числовых данных определяется оптимальный набор коэффициентов, аппроксимирующих нижеследующую зависимость. Другими словами, достаточно определить элементы матрицы, удовлетворяющей условию:
.
Решение представленной выше задачи оптимизации получают следующим образом. Если <C> обозначает матрицу, представляющую характеристики цветочувствительности R/G/B, <F> обозначает спектральные характеристики узкополосного фильтра, подлежащие получению, и <A> обозначает подлежащую определению матрицу коэффициентов, то следует, что:
.
Поэтому задача, выраженная как формула 1, эквивалентна определению матрицы <A> коэффициентов, которая удовлетворяет следующему выражению:
.
t
В данном случае, поскольку n>3 справедливо для числа n точек в последовательности, например, спектральных данных, представляющих спектральные характеристики, то формулу 3 получают как решение линейным методом наименьших квадратов вместо системы линейных уравнений. Другими словами, достаточно вывести псевдообратную матрицу из формулы 3. Допуская, что транспонированная матрица от матрицы <C> имеет вид <C>, формулу 3 можно выразить в виде:
.
t
Поскольку <CC> является квадратной матрицей n×n, формулу 4 можно рассматривать как систему уравнений на матрице <A>, вследствие чего решение которой можно вычислить из:
.
Преобразованием левой стороны формулы 3 относительно матрицы <A>, определенной формулой 5, электронное эндоскопическое устройство способно аппроксимировать характеристики узкополосных фильтров F1/F2/F3, подлежащих выделению. На этом завершается описание способа вычисления матриц, который составляет основу настоящего изобретения.
С использованием матрицы, вычисленной таким образом, секция 436 вычисления матриц, подлежащая описанию впоследствии, обычно формирует спектральный сигнал изображения по цветовому сигналу изображения.
(Способ введения поправок)
Далее приведено описание способа введения поправок для получения более точного спектрального сигнала изображения.
В представленном выше описании способа вычисления матриц способ безошибочно применим в случае, когда световой поток, принимаемый твердотельным устройством съемки изображения, например CCD (прибором с зарядовой связью), является идеальным белым светом (интенсивности всех длин волн имеют одинаковое значение в видимом диапазоне спектра). Другими словами, оптимальная аппроксимация обеспечивается, когда соответствующие выходные сигналы R (красного), G (зеленого) и B (синего) одинаковы.
Однако, при эндоскопическом наблюдении в реальных условиях, поскольку подсвечивающий световой поток (световой поток от источника света) не является идеальным белым светом и спектр отражения живого организма также не равномерен, то световой поток, принимаемый твердотельным устройством съемки изображения, также не является белым светом (окрашивание предполагает, что значения R, G и B не одинаковы).
Поэтому, при фактической обработке, для более точного решения задачи, выраженной формулой 3, желательно учитывать спектральные характеристики подсвечивающего света и характеристики отражения живого организма в дополнение к характеристикам цветочувствительности RGB.
Предположим теперь, что характеристики цветочувствительности имеют вид, соответственно, R(λ), G(λ) и B(λ), спектральные характеристики подсвечивающего света имеют вид, например, S(λ), и характеристики отражения живого организма имеют вид, например, H(λ). В данном случае, спектральные характеристики подсвечивающего света и характеристики отражения живого организма не обязательно должны быть характеристиками устройства, подлежащего применению для исследования, или объекта, подлежащего исследованию, и вместо них возможно применение, например, предварительно полученных общих характеристик.
С использованием данных коэффициентов можно определить поправочные коэффициенты kR/kG/kB из выражений:
.
Матрицу поправочных коэффициентов чувствительности, обозначаемую <K>, можно определить следующим образом:
.
Поэтому, что касается матрицы <A> коэффициентов, введение поправки, представленной формулой 7, в формулу 5 дает следующий результат:
.
Кроме того, при фактическом выполнении оптимизации, путем использования того факта, что 0 заменяет отрицательные по величине характеристики спектральной чувствительности целевых фильтров (F1/F2/F3 на Фиг.1) во время отображения изображения (другими словами, применяются только участки с положительными значениями чувствительности из характеристик спектральной чувствительности фильтров), вводится поправка для участков оптимизированного распределения чувствительности, становящихся отрицательными. Для формирования характеристик спектральной чувствительности в узких полосах спектра из характеристик спектральной чувствительности в широких полосах спектра электронное эндоскопическое устройство может формировать компоненту, которая аппроксимирует чувствительность в полосе прибавлением отрицательных характеристик чувствительности к целевым характеристикам F1/F2/F3, как показано на Фиг.1.
(Способ повышения S/N)
Ниже приведено описание способа повышения S/N и точности сформированного спектрального сигнала изображения. Благодаря введению вышеописанного способа обработки способ повышения S/N дополнительно решает следующие проблемы.
(i) Когда какой-либо из исходных сигналов (R/G/B) в вышеописанном способе вычисления матриц временно приходит в состояние насыщения, то не исключена возможность, что характеристики фильтров F1-F3 в способе обработки существенно отличаются от характеристик (идеальных характеристик) фильтра, допускающего эффективное выделение структуры (при формировании только по двум сигналам из R/G/B требуется, чтобы ни один из двух исходных сигналов не был насыщенным).
(ii) Поскольку узкополосный фильтр формируется из широкополосного фильтра при преобразовании цветового сигнала изображения в спектральный сигнал изображения, то происходит ухудшение чувствительности, приводящее к формированию более слабой компоненты спектрального сигнала изображения и снижению отношения S/N.
С использованием настоящего способа повышения отношения S/N, как показано на Фиг.2, подсвечивающий свет излучается в нескольких этапов (например, n этапов, где n является целым числом, равным или большим, чем 2) на протяжении 1 поля (1 кадра) нормального изображения (нормального цветного изображения) (интенсивность излучения можно изменять на каждом этапе; на Фиг.2 этапы обозначены позициями I0-In; данную процедуру можно полностью выполнить посредством управления подсвечивающим светом).
Следовательно, электронное эндоскопическое устройство может снижать интенсивность подсветки на каждом этапе и, тем самым, устранять случаи возникновения насыщенных состояний в соответствующих сигналах R, G и B. Кроме того, сигналы изображения, разделенные по нескольким этапам, суммируются n раз после этапов. В результате, электронное эндоскопическое устройство способно усиливать компоненту сигнала для повышения отношения S/N. Как показано на Фиг.2, интегрирующие секции 438a-438c выполняют функцию секций коррекции качества изображения, которые повышают отношение S/N.
На этом завершается описание способа вычисления матриц, который составляет основу настоящего изобретения, а также способа введения поправок для определения точного и исполнимого спектрального сигнала изображения и способа повышения отношения S/N сформированного спектрального сигнала изображения.
Ниже приведено описание модификации вышеописанного способа вычисления матриц.
(Модификация способа вычисления матриц)
Предположим, что цветовые сигналы изображения обозначены как R, G, B, и спектральные сигналы изображения подлежат оценке как F1, F2 и F3. Точнее, хотя цветовые сигналы R, G, B изображения зависят от координат x, y в изображении, и поэтому, например, R следует обозначать как R(x,y), подобные обозначения в данном описании следует опускать.
Цель состоит в оценке 3×3-матрицы <A>, которая вычисляет F1, F2 и F3 из R, G и B. После оценки <A> можно вычислять F1, F2 и F3 из R, G, B с использованием нижеприведенной формулы 9.
.
Ниже определяется система обозначения следующих данных.
t
Спектральные характеристики объекта, подлежащего исследованию: H(λ), <H> = (H(λ1), H(λ2), … H(λn)),
где λ обозначает длину волны и t обозначает транспонирование при вычислении матриц. Аналогичным образом,
t
спектральные характеристики подсвечивающего света: S(λ), <S>=(S(λ1), S(λ2), … S(λn)),
t
характеристики спектральной чувствительности CCD: J(λ), <J>=(J(λ1), J(λ2), … J(λn)),
спектральные характеристики светофильтров, выполняющих цветоделение: в случае основных цветов
t
R(λ), <R>=(R(λ1), R(λ2), … R(λn)),
t
G(λ), <G>=(G(λ1), G(λ2), … G(λn)) и
t
B(λ), <B>=(B(λ1), B(λ2), … B(λn)).
Как показано формулой 10, <R>, <G> и <B> можно объединить в матрицу <C>.
.
Сигналы R, G, B изображения и спектральные сигналы F1, F2 и F3 можно матрично выразить следующим образом:
.
Сигнал <P> изображения можно вычислить с использованием следующей формулы:
.
Далее, в предположении, что цветоделительный светофильтр для получения <Q> обозначен как <F>, то аналогично формуле 12
.
На этой стадии, в качестве первого важного предположения, если принять, что спектральную отражательную способность объекта, подлежащего исследованию, можно выразить в виде линейной суммы трех элементарных спектральных характеристик, то <H> можно выразить в виде:
,
где <D> означает матрицу, содержащую три элементарных спектра D1(λ), D2(λ), D3(λ) в виде векторов-столбцов, и <W> означает весовой коэффициент, представляющий вклад D1(λ), D2(λ), D3(λ) в <H>. Известно, что вышеупомянутая аппроксимация справедлива, когда цветовой тон объекта, подлежащего исследованию, не изменяется в значительной степени.
Подставляя формулу 14 в формулу 12, получаем следующее
,
где 3×3-матрица <M> представляет матрицу, в которой объединены результаты вычисления матриц <CSJD>.
Аналогичным образом, при подстановке формулы 14 в формулу 13 получается:
,
где, аналогично, 3×3-матрица <M'> представляет матрицу, в которой объединены результаты вычисления матриц <FSJD>.
В конечном итоге, при исключении <W> из формул 15 и 16, получается:
,
-1
-1
где <M> представляет матрицу, обратную матрице <M>. В конечном итоге, <M', M> оказывается 3×3-матрицей, которая становится целевой матрицей <A> оценки.
На этой стадии, в качестве второго важного предположения, при выполнении цветоделения с использованием полосового фильтра целесообразно принять, что спектральные характеристики объекта, подлежащего исследованию, в полосе спектра можно аппроксимировать с использованием единственной числовой величины. Другими словами,
.
Если предположение справедливо также при рассмотрении случая, когда полоса пропускания для цветоделения не является идеальной полосой пропускания и может обладать чувствительностью в других спектральных полосах, то, в конечном счете, можно оценить матрицу, аналогичную матрице, выраженной формулой 17, посредством принятия <W> в формулах 15 и 16 в качестве вышеописанной <H>.
Далее, со ссылкой на Фиг.3, приведено описание специальной конфигурации электронного эндоскопического устройства в первом варианте осуществления настоящего изобретения. Между прочим, другие варианты осуществления, описанные позднее, могут иметь сходную конфигурацию.
Как показано на Фиг.3, электронное эндоскопическое устройство 100 содержит эндоскоп 101, основную часть 105 эндоскопического устройства и экранный монитор 106 в качестве устройства отображения. Кроме того, эндоскоп 101, в первую очередь, содержит: вводимый участок 102, подлежащий вводу в тело объекта, подлежащего исследованию; дистальный концевой участок 103, обеспеченный на дистальном конце вводимого участка 102; и секцию 104 углового управления, которая обеспечена на стороне, противоположной стороне дистального конца вводимого участка 102, и которая обеспечена для выполнения или выдачи команд на выполнение таких операций, как операции изгибания дистального концевого участка 103.
Изображение объекта, подлежащего исследованию, снимаемое эндоскопом 101, подвергается предварительно заданной обработке сигналов в основной части 105 эндоскопического устройства, и обработанное изображение отображается на экранном мониторе 106.
Ниже, со ссылкой на Фиг.4, приведено подробное описание основной части 105 эндоскопического устройства. На Фиг.4 представлена блок-схема совместного электронного эндоскопического устройства 100.
Как показано на Фиг.4, основная часть 105 эндоскопического устройства содержит: секцию 41 источника света, которая выполняет, главным образом, функцию осветительной секции; секцию 42 управления и устройство 43 обработки в основной части. Секция 42 управления и устройство 43 обработки в основной части управляют операциями секции 41 источника света и/или CDD 21, как секции съемки изображения, и составляют секцию управления обработкой сигналов, которая выводит снятый сигнал изображения на экранный монитор 106, который является устройством отображения.
В данном случае, применительно к настоящему варианту осуществления изобретения, хотя ниже описание приведено в предположении, что секция 41 источника света и устройство 43 обработки в основной части, которое выполняет обработку изображений, и т.п. оборудованы внутри основной части 105 эндоскопического устройства, которое представляет собой единый блок, секция 41 источника света и устройство 43 обработки в основной части могут иметь альтернативную конфигурацию в виде съемного блока, который является отдельным от основной части 105 эндоскопического устройства.
Секция 41 источника света подсоединена к секции 42 управления и эндоскопу 101. Секция 41 источника света излучает белый свет (включая свет, который не является идеально белым), при количестве света, предварительно заданном по сигналу из секции 42 управления. Кроме того, секция 41 источника света содержит: лампу 15 в качестве источника белого света; оптический модулятор 16 в качестве секции регулировки количества света и секцию 17 привода обтюратора для приведения в движение 16.
Как показано на Фиг.5, оптический модулятор 16 выполнен в виде структуры диска, имеющей заданный радиус r относительно центральной точки 17a и имеющей вырезанные участки с предварительно заданными окружными длинами. Центральная точка 17a присоединена к вращающемуся валику, обеспеченному на секции 17 привода обтюратора. Другими словами, обтюратор 16 совершает вращательное движение вокруг центральной оси 17a. Кроме того, множество вырезанных участков оборудовано с интервалами предварительно заданных радиусов. На схеме, от радиуса r0 до радиуса ra, вырезанный участок имеет максимальную длину 2πr×θ0 градусов/360 градусов и ширину r0-ra. Аналогичным образом, вырезанный участок выполнен так, чтобы обладать от радиуса ra до радиуса rb максимальной длиной 2πra×2θ1 градусов/360 градусов и шириной ra-rb и от радиуса rb до радиуса rc максимальной длиной 2πrb×2θ2 градусов/360 градусов и шириной rb-rc (где соответствующие радиуса связаны соотношением r0>ra>rb>rc).
Значения длины и ширины вырезанных участков оптического модулятора 16 являются всего лишь примерными и не ограничены настоящим вариантом осуществления изобретения.
Кроме того, оптический модулятор 16 имеет выступающий участок 160a, который продолжается радиально от приблизительного центра вырезанного участка. Секция 42 управления выполнена так, чтобы минимизировать интервалы излучения света до и после 1 кадра для сведения к минимуму смазывания, обусловленного движением объекта, подлежащего исследованию, при переключении кадров, когда свет перекрывается выступающим участком 160a.
Кроме того, секция 17 привода обтюратора выполнена так, чтобы допускать перемещение в направлении, обращенном к лампе 15, как указано стрелкой на Фиг.4.
Другими словами, секция 42 управления может изменять расстояние R между центром 17a вращения оптического модулятора 16, изображенного на Фиг.5, и световым потоком (обозначенным пунктирным кругом) от лампы. Например, в состоянии, изображенном на Фиг.5, поскольку расстояние R является очень малым, количество подсвечивающего света является небольшим. Посредством увеличения расстояния R (перемещением секции 17 привода оптического модулятора от лампы 15) вырезанный участок, через который может проходить световой поток, становится длиннее, что продлевает время излучения и дает возможность секции 42 управления увеличить количество подсвечивающего света.
Как описано выше, поскольку при использовании электронного эндоскопического устройства существует возможность, что отношение S/N вновь сформированного спектрального изображения является недостаточным и насыщение любого из необходимых сигналов RGB при формировании спектрального изображения дает ошибочный результат вычисления, то необходимо регулировать количество подсвечивающего света. Оптический модулятор 16 и секция 17 привода оптического модулятора отвечают за регулировку количества света.
Кроме того, эндоскоп 101, соединенный с секцией 41 источника света через соединитель 11, содержит: объектив 19 на дистальном концевом участке 103 и твердотельное устройство 21 съемки изображения, например CCD или тому подобное (далее по тексту именуемое просто CCD). CCD 21 образует секцию съемки изображения, которая фотоэлектрически преобразует свет, отраженный от живого организма, который является объектом, подлежащим исследованию, на основе света излучения от секции 41 источника света, составляющего осветительную секцию, и формирует снятый сигнал изображения. CCD в настоящем варианте осуществления изобретения представляет собой в виде одной платы CCD (CCD, применяемое в синхронном электронном эндоскопе) и относится к типу, работающему с основными цветами. На Фиг.6 показана матрица цветных светофильтров, расположенных в плоскости съемки изображения в конструкции CCD. Кроме того, на Фиг.7 показаны соответствующие характеристики спектральной чувствительности RGB цветных светофильтров, показанных на Фиг.6.
Кроме того, как показано на Фиг.4, вводимый участок 102 содержит: световод 104, который направляет свет, излучаемый из секции 41 источника света к дистальному концевому участку 103; сигнальную линию для передачи изображения, полученного посредством CCD, с объекта, подлежащего исследованию, в устройство 43 обработки в основной части и канал 28 для щипцов или подобного им инструмента для выполнения медицинской процедуры. В данном случае окно 29 под щипцы для введения щипцов в канал 28 для щипцов обеспечено вблизи секции 104 управления.
Кроме того, таким же образом, как секция 41 источника света, устройство 43 обработки в основной части соединено с эндоскопом 101 посредством соединителя 11. Устройство 43 обработки в основной части снабжено схемой 431 управления CCD для управления CCD 21. Кроме того, устройство 43 обработки в основной части снабжено системой обработки сигнала яркости и системой обработки цветового сигнала в качестве системы сигнальных цепей для получения нормального изображения.
Система обработки сигнала яркости содержит: секцию 432 коррекции контуров, которая соединена с CCD 21 и осуществляет коррекцию контуров; и секцию 434 обработки сигнала яркости, которая формирует сигнал яркости по данным, скорректированным секцией 432 коррекции контуров. Кроме того, система обработки цветового сигнала содержит: схемы 433a-433c выборки и хранения (схемы S/H), которые соединены с CCD 21, выполняют выборку и т.п. сигнала, полученного посредством CCD 21, и формируют сигналы RGB; и секцию 435 обработки цветовых сигналов, которая соединена с выводами схем 433a-433c S/H и формирует цветовые сигналы.
Кроме того, обеспечена секция 437 формирования нормального изображения, которая формирует одно нормальное цветное изображение из выходных сигналов системы обработки сигнала яркости и системы обработки цветовых сигналов, и затем сигнал Y (яркости), сигнал R-Y («красный» цветоразностный) и сигнал B-Y («голубой» цветоразностный) передаются из секции 437 формирования нормального изображения на экранный монитор 106 через переключающую секцию 439.
С другой стороны, в качестве системы сигнальных цепей, для получения спектральных изображений предусмотрена секция 436 вычисления матриц, которая получает на входе выходные сигналы (сигналы RGB) из схем 433a-433c S/H и выполняет предварительно заданное вычисление матрицы над сигналами RGB. Вычисление матрицы относится к аддитивной обработке цветовых сигналов изображения и к обработке, состоящей в умножении матрицы, полученной вышеописанным способом вычисления матриц (или его модификацией).
В настоящем варианте осуществления, хотя ниже в качестве способа вычисления матриц описан способ, использующий обработку в электронных схемах (обработку в аппаратуре, использующей электронную схему), вместо него возможно применение способа, использующего цифровую обработку данных (обработку программными средствами с использованием программы), например, в варианте осуществления изобретения, описанном впоследствии. Кроме того, в реализации возможно также применение комбинации упомянутых способов.
На Фиг.8 представлена принципиальная схема секции 436 вычисления матриц. Сигналы RGB соответственно вводятся в усилители 32a-32c через резисторные группы 31-1a-31-1c. Соответствующие резисторные группы содержат множество резисторов, к которым соответственно подведены сигналы RGB, и величины сопротивлений соответствующих резисторов представляют собой величины, соответствующие матричным коэффициентам. Другими словами, коэффициенты усиления сигналов RGB регулируются соответствующими резисторами и суммируются (или вычитаются) усилителями. Соответствующие выходные сигналы усилителей 32a-32c становятся выходными сигналами секции 436 вычисления матриц. Иначе говоря, секция 436 вычисления матриц выполняет так называемую весовую аддитивную обработку. В этой связи величины сопротивления соответствующих резисторов можно в данном случае обеспечивать как допускающие регулирование.
Выходные сигналы секции 436 вычисления матриц соответственно вводятся в интегрирующие секции 438a-438c для осуществления соответствующего интегрирующего вычисления. Впоследствии, в секции 440 регулировки цвета выполняется вычисление для регулировки цвета, описанное в дальнейшем, над соответствующими спектральными сигналами ΣF1-ΣF3 изображения интегрирующих секций, и из спектральных сигналов ΣF1-ΣF3 изображения формируются каналы Rch, Gch и Bch цветности. Сформированные каналы Rch, Gch и Bch цветности пересылаются в экранный монитор 106 через переключающую секцию 439. Конфигурация секции 440 регулировки цвета описана далее.
В данном случае, переключающая секция 439 предусмотрена для переключения из нормального изображения в спектральное изображение и обратно, но допускает также переключение между спектральными изображениями и их отображение. Другими словами, оператор может предписывать селективное отображение на экранном мониторе 106 для изображения из группы из нормального изображения, изображения в спектральном канале Rch, изображения в спектральном канале Gch и изображения в спектральном канале Bch. Кроме того, переключающая секция может также иметь такую конфигурацию, при которой на экранном мониторе 106 можно одновременно отображать любые, два или более изображений. В частности, в случае, когда возможно одновременное отображение нормального изображения и изображения в спектральном канале, можно удобно сравнивать изображение в спектральном канале с традиционно наблюдаемым нормальным изображением. Кроме того, пользователь в состоянии осуществлять наблюдение нормальных изображений и изображений спектральных каналов, с учетом соответствующих особенностей упомянутых изображений (особенность нормальных изображений заключается в том, что их цветовые тона имеют близкое сходство с цветовыми тонами при наблюдении невооруженным глазом для удобства наблюдения; тогда как особенность изображений в спектральных каналах заключается в том, что можно наблюдать предварительно заданные кровеносные сосуды или тому подобное, что нельзя заметить на нормальных изображениях), что очень полезно при диагностике.
Ниже, со ссылкой на Фиг.4, приведено подробное описание операций электронного эндоскопического устройства 100 в соответствии с настоящим вариантом осуществления изобретения.
Далее, сначала описаны операции при наблюдении нормального изображения, после чего приведено описание операций при наблюдении спектрального изображения.
Сначала, в порядке описания операций секции 41 источника света по сигналу управления из секции 42 управления, секция 17 привода обтюратора устанавливается в предварительно заданное положение и вращает обтюратор 16. Световой поток от лампы 15 проходит через вырезанный участок оптического модулятора 16 и собирается линзой на торце световода 14, который представляет собой волоконно-оптический жгут, где упомянутый торец обеспечен внутри соединителя 11, расположенного на участке соединения эндоскопа 101 и секции 41 источника света.
Собранный световой поток проходит по световоду 14 и излучается на тело объекта, подлежащего исследованию, из осветительной оптической системы, обеспеченной на дистальном концевом участке 103. Излучаемый световой поток отражается изнутри объекта, подлежащего исследованию, и сигналы собираются объективом 19 на CCD 21 по каждому цветному светофильтру, показанному на Фиг.6.
Собранные сигналы параллельно вводятся в вышеописанные систему обработки сигнала яркости и систему обработки цветовых сигналов. Сигналы, собранные по цветному светофильтру, суммируются по пикселям и вводятся в секцию 432 коррекции контуров системы сигнала яркости, и, после коррекции контуров, вводятся в секцию 434 обработки сигнала яркости. Сигнал яркости формируется в секции 434 обработки сигнала яркости и вводится в секцию 437 формирования нормального изображения.
При этом сигналы, собранные посредством CCD 21, вводятся согласно цветным светофильтрам в схемы 433a-433c S/H, и, соответственно, формируются сигналы R/G/B. Кроме того, после того как сигналы R/G/B подвергаются обработке сигналов с формированием цветовых сигналов в секции 435 обработки цветовых сигналов, в секции 437 формирования нормального изображения формируются сигнал Y, сигнал R-Y и сигнал B-Y из вышеупомянутых сигналов яркости и цветовых сигналов, и нормальное изображение объекта, подлежащего исследованию, отображается в цвете на экранном мониторе 106 при посредстве переключающей секции 439.
Далее описаны операции при наблюдении спектрального изображения. В данном случае не приводится описание операций, аналогичных тем, которые выполняются при наблюдении нормального изображения.
Оператор выдает команду для наблюдения спектрального изображения из режима нормального изображения манипулированием на клавиатуре, предусмотренной на основной части 105 эндоскопического устройства, переключателем, обеспеченным в секции 104 управления эндоскопа 101, или подобным устройством. В этом момент секция 42 управления изменяет состояние управления секции 41 источника света и устройства 43 обработки в основной части.
В частности, при необходимости, изменяется количество света, излучаемое из секции 41 источника света. Как описано выше, поскольку во время наблюдения спектрального изображения насыщение выходного сигнала из CCD 21 нежелательно, количество подсвечивающего света снижается по сравнению с наблюдением нормального изображения. Кроме того, в дополнение к такому регулированию количества света, при котором выходной сигнал из CCD 21 не достигает насыщения, секция 42 управления также может изменять количество подсвечивающего света в диапазоне, в котором насыщение не достигается.
Кроме того, что касается изменения управления устройством 43 обработки в основной части посредством секции 42 управления, то сигнал, выдаваемый из переключающей секции 439, переключается с выхода секции 437 формирования нормального изображения на выход секции 440 регулировки цвета. Кроме того, выходные сигналы схем 433a-433c S/H подвергаются обработке, включающей в себя усиление/суммирование, в секции 436 вычисления матриц, выводятся, соответственно каждой полосе пропускания, в интегрирующие секции 438a-438c и, после интегрирующей обработки, выводятся в секцию 440 регулировки цвета. Даже когда количество подсвечивающего света уменьшается обтюратором 16, запоминание и интегрирование интегрирующими секциями 438a-438c обеспечивает возможность повышения интенсивности сигнала, как показано на Фиг.2, и можно получать спектральное изображение с повышенным отношением S/N.
Далее приведено описание матричной обработки, выполняемой секцией 436 вычисления матриц в соответствии с настоящим вариантом осуществления изобретения. В настоящем варианте осуществления изобретения при попытке формирования полосовых фильтров (именуемых далее квазиполосовыми фильтрами), имеющих близкое сходство с идеальными узкополосными фильтрами F1-F3 (в данном случае принято, что соответствующие диапазоны пропускания длин волн имеют значения F1: 590 нм - 620 нм, F2: 520 нм - 560 нм и F3: 400 нм - 440 нм), изображенными на Фиг.7, из характеристик спектральной чувствительности цветных светофильтров RGB, показанных сплошными линиями на Фиг.7, согласно информации, содержащейся в представленных выше формулах 1-5, оптимальной оказывается следующая матрица:
.
Кроме того, при выполнении коррекции с использованием информации, содержащейся в формулах 6 и 7, получается следующий коэффициент:
.
В данном случае, в вышеизложенном материале использована априорная информация, что спектр S(λ) источника света, представленный формулой 6, характеризуется графиком на Фиг.9, и спектр H(λ) отражения подлежащего исследованию живого организма, представленный формулой 7, изображен на Фиг.10.
Поэтому обработка, осуществляемая секцией 436 вычисления матриц, математически эквивалентна нижеприведенному вычислению матрицы.
.
При осуществлении вычисления матрицы получают характеристики квазифильтров (обозначенные как характеристики квазифильтров F1-F3 на Фиг.7). Другими словами, вышеупомянутая матричная обработка предназначена для формирования спектрального сигнала изображения посредством применения квазиполосового фильтра (т.е. матрицы), созданного заранее, как описано выше, к цветовому сигналу изображения.
Пример эндоскопического изображения, сформированного с использованием характеристик квазифильтров, описан ниже.
Как показано на Фиг.11, ткань внутри полости 45 тела часто имеет распределенную структуру из поглощающих тел, например кровеносных сосудов, которые различаются в направлении по глубине. Капилляры 46 в основном распределены вблизи поверхностных слоев слизистой оболочки, тогда как вены 47, более крупные, чем капилляры, распределены вместе с капиллярами в промежуточных слоях, которые расположены глубже, чем поверхностные слои, и еще более крупные вены 48 распределены в еще более глубоких слоях.
C другой стороны, глубина, которую необходимо достигнуть с помощью света в направлении по глубине ткани внутри полости 45 тела, зависит от длины волны света. Кроме того, как показано на Фиг.12, в случае со светом с короткой, например, синей (B) длиной волны подсвечивающий свет, содержащий спектр видимого диапазона, проникает лишь неглубоко от поверхностных слоев из-за характеристик поглощения и характеристик рассеяния биологической ткани. Следовательно, свет испытывает поглощение и рассеяние в зоне до данной глубины, и наблюдается свет, выходящий из поверхности. Кроме того, в случае с зеленым (G) светом, длина волны которого больше, чем длина волны синего (B) света, свет распространяется глубже зоны, доступной для синего (B) света. Следовательно, свет испытывает поглощение и рассеяние в его зоне, и наблюдается свет, выходящий из поверхности. Кроме того, красный (R) свет, длина волны которого больше, чем длина волны зеленого (G) света, распространяется до еще большей глубины.
Как показано на Фиг.13, при применении света RGB во время нормального наблюдения ткани внутри полости 45 тела, поскольку соответствующие полосы длин волн перекрываются между собой, то:
(1) снятый сигнал изображения, снятый посредством CCD 21 в свете полосы B, снимает изображение в полосе спектра, содержащее информацию о приповерхностных и промежуточных тканях, включая большое количество информации о приповерхностных тканях, например информацию, представленную на Фиг.14;
(2) снятый сигнал изображения, снятый посредством CCD 21 в свете полосы G, снимает изображение в полосе спектра, содержащее информацию о приповерхностных и промежуточных тканях, включая большое количество информации о промежуточных тканях, например информацию, представленную на Фиг.15; и
(3) снятый сигнал изображения, снятый посредством CCD 21 в свете полосы R, снимает изображение в полосе спектра, содержащее информацию о промежуточных и глубоких тканях, включая большое количество информации о глубоких тканях, например информацию, представленную на Фиг.16.
Кроме того, путем выполнения обработки сигналов над снятыми сигналами RGB изображения в основной части 105 эндоскопического устройства сейчас можно получить искомое эндоскопическое изображение или эндоскопическое изображение с естественным цветовоспроизведением.
Матричная обработка, выполняемая вышеописанной секцией 436 вычисления матриц, предназначена для формирования спектрального сигнала изображения с использованием квазиполосового фильтра (матрицы), предварительно сформированного, как описано выше для цветового сигнала изображения. Например, спектральные сигналы F1-F3 изображения получают при использовании квазиполосовых фильтров F1-F3, которые обладают дискретными узкополосными спектральными характеристиками и допускают выделение информации о ткани на целевой глубине, как показано на Фиг.17. Как показано на Фиг.17, поскольку соответствующие диапазоны длин волн квазиполосовых фильтров F1-F3 не перекрываются между собой, то
(4) изображение в полосе спектра, содержащее информацию о ткани в приповерхностном слое, например изображение, представленное на Фиг.18, снимается в спектральном сигнале F3 изображения посредством квазиполосового фильтра F3;
(5) изображение в полосе спектра, содержащее информацию о ткани промежуточного слоя, например изображение, представленное на Фиг.19, снимается в спектральном сигнале F2 изображения посредством квазиполосового фильтра F2; и
(6) изображение в полосе спектра, содержащее информацию о ткани глубокого слоя, например изображение, представленное на Фиг.20, снимается в спектральном сигнале F1 изображения посредством квазиполосового фильтра F1.
Затем, что касается спектральных сигналов F1-F3 изображения, полученных вышеописанным способом, то, в качестве примера наиболее упрощенного преобразования цвета, секция 440 регулировки цвета соответственно распределяет спектральный сигнал F1 изображения в канал Rch цветности, спектральный сигнал F2 изображения в канал Gch цветности и спектральный сигнал F3 изображения в канал Bch цветности, и выводят упомянутые сигналы через переключающую секцию 439 на экранный монитор 106.
Как показано на Фиг.21, секция 440 регулировки цвета образована схемой 440a обработки преобразования цвета, содержащей: 3×3-матричную схему 61; три группы LUT 62a, 62b, 62c, 63a, 63b и 63c, обеспеченных до и после 3×3-матричной схемы 61; и схему 64 изменения коэффициентов, которая изменяет данные таблиц LUT 62a, 62b, 62c, 63a, 63b и 63c или коэффициент 3×3-матричной схемы 61.
Спектральные сигналы F1-F3 изображения, введенные в схему 440a обработки преобразования цвета, подвергаются обработке, включающей в себя обратную γ-коррекцию, нелинейное преобразование контраста и тому подобное по данным в каждой полосе спектра посредством LUT 62a, 62b и 62c.
Затем, после того как в 3×3-матричной схеме 61 выполнено преобразование цвета, выполняется γ-коррекция или соответствующая обработка по полутоновому преобразованию в последующих LUT 63a, 63b и 63c.
Данные таблиц LUT 62a, 62b, 62c, 63a, 63b и 63c или матричного коэффициента 3×3-матричной схемы 61 могут изменяться схемой 64 изменения коэффициентов.
Изменения схемой 64 изменения коэффициентов выполняются по сигналу управления из (непоказанного) переключателя преобразования обработки, обеспеченного в секции управления эндоскопа 101, или из подобного устройства.
После приема сигнала управления схема 64 изменения коэффициентов считывает соответствующие данные из данных о коэффициентах, предварительно сохраненных в секции 440 регулировки цвета, и записывает данные по текущему коэффициенту схемы.
Далее приведено описание конкретного содержания обработки по преобразованию цветов. Формула 22 представляет пример уравнения преобразования цветов.
.
Обработка, представленная формулой 22, является преобразованием цвета, при котором спектральные сигналы F1-F3 изображения распределяются в изображения Rch, Gch и Bch в спектральных каналах в порядке увеличения длин волн.
В случае наблюдения цветного изображения в каналах Rch, Gch и Bch цветности получают, например, такое изображение, которое показано на Фиг.22. В положении на глубине находится большая вена, от которой отражается спектральный сигнал F3 изображения, и крупная вена изображается рисунком в синем цвете. Поскольку спектральный сигнал F2 изображения испытывает сильное отражение на сосудистой сети вблизи промежуточных слоев, сосудистая сеть изображается рисунком в красном цвете. Из сосудистых сетей сети, находящиеся около поверхности слизистой оболочки, представляются желтым рисунком.
В частности, изменения картины вблизи поверхности слизистой оболочки важны для обнаружения и дифференциального диагноза заболеваний на ранних стадиях. Однако желтая картина обычно имеет слабый контраст относительно фоновой слизистой оболочки и поэтому слабо заметна.
В связи с этим, для воспроизведения картины вблизи поверхности слизистой оболочки с более высокой различимостью, эффективным становится преобразование, выражаемое формулой 23
.
Обработка, представляемая формулой 23, является примером преобразования, при котором спектральный сигнал F1 изображения смешивается со спектральным сигналом F2 изображения в некотором отношении, и сформированные данные вновь применяются как изображение Gch в спектральном канале G и позволяют лучше прояснить тот факт, что поглощающие/рассеивающие тела, например сосудистая сеть, отличаются в зависимости от положений по глубине.
Поэтому с помощью регулировки матричного коэффициента посредством схемы 64 изменения коэффициентов пользователь может регулировать отображаемые цвета. Что касается операций, то в связи с переключателем переключения режимов (не показанным), обеспеченным в секции управления эндоскопа 101, матричный коэффициент устанавливается на значение по умолчанию из проходной операции внутри схемы 440a обработки преобразования цвета.
G
B
Проходной операцией в данном случае именуется состояние, в котором в 3×3-матричной схеме 61 установлена единичная матрица, и в LUT 62a, 62b, 62c, 63a, 63b и 63c установлена непреобразуемая таблица. Это означает, что, например, заданные значения ω=0,2, ω=0,8 должны быть обеспечены в качестве значений по умолчанию матричного коэффициента ωG, ωB.
G
B
Затем посредством манипуляции секцией управления эндоскопа 101 или подобным устройством пользователь выполняет регулировку так, чтобы получить коэффициент, например, ω=0,4, ω=0,6. При необходимости, в отношении LUT 62a, 62b, 62c, 63a, 63b и 63c применяются таблица обратной λ-коррекции и таблица γ-коррекции.
Хотя схема 440a обработки преобразования цвета построена с возможностью выполнения преобразования цветов блоком вычисления матрицы, образованным 3×3-матричной схемой 61, схема построения не является ограничивающей, и, вместо этого, средство обработки преобразования цвета может быть построено с использованием цифрового процессора (CPU) или LUT.
Например, в вышеописанном варианте осуществления, хотя схема 440a обработки преобразования цвета поясняется на примере конфигурации, основой которой является 3×3-матричная схема 61, аналогичные преимущества могут быть реализованы при замене схемы 440a обработки преобразования цвета трехмерными LUT 65, соответствующими каждой полосе пропускания, как показано на Фиг.23. В данном случае схема 64 изменения коэффициентов выполняет операцию по изменению содержимого таблицы по сигналу управления из переключателя (не показанного) преобразования обработки, обеспеченного в секции управления эндоскопа 101 или подобного устройства.
В данном случае, характеристики фильтров квазиполосовых фильтров F1-F3 не ограничены видимым диапазоном спектра. В качестве первой модификации квазиполосовых фильтров F1-F3 характеристики фильтров можно скомпоновать в виде, например, узкополосных дискретных спектральных характеристик, например характеристик, показанных на Фиг.24. Посредством установки F3 в ближнем ультрафиолетовом диапазоне спектра и установки F1 в ближнюю инфракрасную область спектра для наблюдения нерегулярностей на поверхности живого организма и поглощающих тел вблизи очень глубоких слоев характеристики фильтров в первой модификации полезны для получения видеоинформации, не доступной для получения при нормальном наблюдении.
Кроме того, во второй модификации квазиполосовых фильтров F1-F3, как показано на Фиг.25, квазиполосовой фильтр F2 может быть заменен двумя квазиполосовыми фильтрами F3a и F3b, обладающими характеристиками смежных фильтров в коротковолновом диапазоне спектра. Данная модификация использует преимущество, состоящее в том, что волны в диапазоне вблизи упомянутого диапазона спектра достигают глубин только вблизи самых верхних слоев живого организма, и пригодна для визуализации тонких различий характеристик светорассеяния, а не характеристик поглощения. С медицинской точки зрения очевидна возможность использования при отличительной диагностике ранних стадий карциномы и других заболеваний, сопровождаемых нарушениями расположения клеток вблизи поверхности слизистой оболочки.
Кроме того, в третьей модификации квазиполосовых фильтров F1-F3, как показано на Фиг.26, два квазиполосовых фильтра F2 и F3, которые обладают характеристиками сдвоенных узкополосных фильтров с дискретными спектральными характеристиками и которые могут извлекать целевую информацию о слоистой ткани, могут быть построены с возможностью их формирования секцией 436 вычисления матриц.
В случае квазиполосовых фильтров F2 и F3, показанных на Фиг.26, для расцвечивания изображения во время наблюдения узкополосного спектрального изображения секция 440 регулировки цвета формирует цветные изображения в трех каналах RGB так, что изображение Rch в спектральном канале ← спектральный сигнал F2 изображения; изображение Gch в спектральном канале ← спектральный сигнал F3 изображения; и изображение Bch в спектральном канале ← спектральный сигнал F3 изображения.
Другими словами, что касается спектральных сигналов F2 и F3 изображения, секция 440 регулировки цвета формирует цветные изображения (Rch, Gch and Bch) в трех каналах RGB, с использованием нижеследующей формулы 24
.
Предположим, например, что h11=1, h12=0, h21=0, h22=1,2, h31=0 и h32=0,8.
Например, спектральное изображение F3 представляет собой изображение, центральная длина волны которого, в основном, соответствует 415 нм, и спектральное изображение F2 представляет собой изображение, центральная длина волны которого, в основном, соответствует 540 нм.
Кроме того, например, даже когда вычисление выполняется в предположении, что спектральное изображение F3 представляет собой изображение, центральная длина волны которого, в основном, соответствует 415 нм, спектральное изображение F2 представляет собой изображение, центральная длина волны которого, в основном, соответствует 540 нм, и спектральное изображение F1 представляет собой изображение, центральная длина волны которого, в основном, соответствует 600 нм, цветное изображение может быть сформировано секцией 440 регулировки цвета из изображений F2 и F3, использования изображения F1. В данном случае достаточно применить вычисление матрицы, выраженное нижеприведенной формулой 24', вместо формулы 24
.
При вычислении матрицы, выраженной вышеприведенной формулой 24', достаточно установить коэффициентам h11, h13, h21, h22, h31 и h32 значение 0, при установке другим коэффициентам предварительно заданных численных величин.
Как можно видеть, в соответствии с настоящим вариантом осуществления изобретения, при формировании квазиузкополосного фильтра с использованием цветового сигнала изображения для формирования нормального электронно-эндоскопического изображения (нормального изображения), спектральное изображение, содержащее информацию о ткани на целевой глубине, например рисунок сосудов, можно получать без обязательного использования оптического узкополосного светофильтра для спектральных изображений. Кроме того, путем установки параметра схемы 440a обработки преобразования цвета секции 440 регулировки цвета соответственно спектральному изображению можно реализовать способ представления, который целиком использует такую характерную особенность, как информация о глубине, достижимой при наблюдении узкополосного спектрального изображения, и, следовательно, можно реализовать эффективное разделение и визуальное подтверждение информацию о ткани на искомой глубине вблизи поверхности ткани для биологической ткани.
Кроме того, в частности, при использовании секции 440 регулировки цвета:
(1) в случае спектрального изображения в двух полосах длин волн, когда изображение, соответствующее, например, 415 нм, распределяется в каналы Gch и Bch цветности, и изображение, соответствующее, например, 540 нм, распределяется в канал Rch цветности; или
(2) в случае спектрального изображения в трех полосах спектра, когда изображение, соответствующее, например, 415 нм, распределяется в канал Bch цветности, изображение, соответствующее, например, 445 нм, распределяется в канал Gch цветности, и изображение, соответствующее, например, 500 нм, распределяется в канал Rch цветности, получают следующие эффекты в изображении.
Высокая различимость капилляров в самом верхнем слое биологической ткани достигается воспроизведением эпителия или слизистой оболочки в самом верхнем слое в цвете, имеющем низкую цветонасыщенность, и воспроизведением капилляров в самом верхнем слое с низкой яркостью или, другими словами, в виде темных линий.
В то же время, поскольку кровеносные сосуды, расположенные глубже, чем капилляры, воспроизводятся с изменением на синий в направлении цветовых тонов, их еще легче отличать от капилляров в самом верхнем слое.
Кроме того, в соответствии с вышеописанным способом распределения по каналам, остатки и желчь, которые наблюдаются в желтом тоне при нормальном наблюдении во время эндоскопического исследования толстой кишки, воспроизводятся после этого в красном тоне.
На Фиг.27 приведена блок-схема, представляющая другой пример конфигурации секции вычисления матриц.
Компоненты, за исключением секции 436 вычисления матриц, идентичны компонентам, показанным на Фиг.4. Единственное отличие состоит в конфигурации секции 436 вычисления матриц, показанной на Фиг.27, от конфигурации секции 436 вычисления матриц, показанной на Фиг.8. Ниже описаны только отличия, сходные компоненты обозначены аналогичными позициями, и их описания в дальнейшем отсутствуют.
Притом, что применительно к Фиг.8 предполагается, что вычисление матриц выполняется посредством так называемой обработки в аппаратуре с использованием электронной схемы, на Фиг.27 вычисление матриц выполняется посредством цифровой обработки данных (с использованием программы из программного обеспечения).
Секция 436 вычисления матриц, показанная на Фиг.27, содержит память 50 изображений для хранения соответствующих цветовых сигналов R, G и B изображения. Кроме того, обеспечен регистр 151 коэффициентов, в котором в виде цифровых данных хранятся соответствующие значения матрицы <A'>, выражаемой формулой 21.
Регистр 151 коэффициентов и память 50 изображений соединены с умножителями 53a-53i; умножители 53a, 53d и 53g, в свою очередь, соединены с умножителем 54a; и выходной сигнал умножителя 54a вводится в интегрирующую секцию 438a, показанную на Фиг.4. Кроме того, умножители 53b, 53e и 53h соединены с умножителем 54b, и его выходной сигнал вводится в интегрирующую секцию 438b. Кроме того, умножители 53c, 53f и 53i соединены с умножителем 54c, и его выходной сигнал вводится в интегрирующую секцию 438c.
Что касается операций в настоящем варианте осуществления изобретения, вводимые данные изображений RGB временно сохраняются в памяти 50 изображений. Затем вычислительная программа, хранимая в предварительно заданном запоминающем устройстве (не показанном), предписывает, чтобы каждый коэффициент матрицы <A'> из регистра 151 коэффициентов был перемножен в умножителе с данными изображений RGB, хранимыми в памяти 50 изображений.
В данном случае на Фиг.27 представлен пример, в котором сигнал R умножается на соответствующие матричные коэффициенты в умножителях 53a-53c. В дополнение, как показано на той же схеме, сигнал G умножается на соответствующие матричные коэффициенты в умножителях 53d-53f, тогда как сигнал B умножается на соответствующие матричные коэффициенты в умножителях 53g-53i. Что касается данных, соответственно умноженных на матричные коэффициенты, выходные сигналы умножителей 53a, 53d и 53g умножаются в умножителе 54a, выходные сигналы умножителей 53b, 53e и 53h умножаются в умножителе 54d, и выходные сигналы умножителей 53c, 53f и 53i умножаются в умножителе 54c. Выходной сигнал умножителя 54a передается в интегрирующую секцию 438a. Кроме того, выходные сигналы умножителей 54b и 54c соответственно передаются в интегрирующие секции 438b и 438c.
В примере конфигурации, показанном на Фиг.27, спектральное изображение, на котором четко визуализируются рисунки сосудов, можно получать таким же образом, как в конфигурации, показанной на Фиг.8.
Кроме того, в примере конфигурации, показанном на Фиг.27, поскольку матричная обработка выполняется с использованием программного обеспечения, без использования аппаратуры, как в случае примера конфигурации, показанного на Фиг.8, то, например, внесение изменений в каждый матричный коэффициент или подобные изменения можно приспособить надлежащим образом.
Кроме того, в случае, когда матричные коэффициенты сохраняются только в результирующих значениях или, другими словами, не сохраняются в виде матрицы <A'>, а сохраняются, вместо нее, в соответствии с S(λ), H(λ), R(λ), G(λ) и B(λ) и вычисляются, при необходимости, для определения подлежащей использованию матрицы <A'>, изменение можно вносить только в один из элементов, что более удобно. Например, возможно изменение только спектральных характеристик S(λ) подсвечивающего света или подобных характеристик.
[Второй вариант осуществления изобретения]
На Фиг.28 приведена блок-схема, представляющая конфигурацию электронного эндоскопического устройства в соответствии со вторым вариантом осуществления настоящего изобретения.
Поскольку второй вариант осуществления практически идентичен первому варианту осуществления, ниже приведено описание только его отличий от первого варианта осуществления изобретения. Сходные компоненты обозначены аналогичными позициями, и их описание в дальнейшем опущено.
Настоящий вариант осуществления изобретения отличается от первого варианта осуществления изобретения наличием секции 41 источника света, которая выполняет регулирование количества подсвечивающего света. В настоящем варианте осуществления изобретения регулирование количества света, излучаемого из секции 41 источника, осуществляется посредством регулировки тока лампы 15, вместо регулировки обтюратором. В частности, при лампе 15, показанной на Фиг.28, обеспечена секция 18 регулирования тока в качестве секции регулирования количества света.
Что касается операций в настоящем варианте осуществления изобретения, то секция 42 управления регулирует ток, протекающий через лампу 15, таким образом, что ни один из цветовых сигналов RGB изображения не приходит в насыщенное состояние. Следовательно, поскольку ток, потребляемый лампой 15 для излучения, регулируется, то количество света от лампы изменяется в соответствии с амплитудой тока.
В данном случае, поскольку другие операции идентичны операциям первого варианта осуществления изобретения, их описание ниже опущено.
В соответствии с настоящим вариантом осуществления спектральное изображение, на котором четко визуализируются рисунки сосудов, можно получать таким же образом, как в первом варианте осуществления. Кроме того, настоящий вариант полезен тем, что применяемый в нем способ управления проще, чем способ регулирования количества света с использованием обтюратора, как в первом варианте осуществления.
[Третий вариант осуществления изобретения]
Устройство для наблюдения биологических объектов, показанное на Фиг.4, осуществляет управление в течение процесса получения спектрального изображения так, чтобы уменьшать количество света с использованием обтюратора 16, показанного на Фиг.5, который осуществляет регулирование количества света перекрыванием света с предварительно заданными интервалами времени. Другими словами, количество света от источника света уменьшается так, что все цветоделенные сигналы R, G и B снимаются в подходящем динамическом диапазоне.
Ниже приведено описание примера для третьего варианта осуществления изобретения настоящего изобретения, в котором в устройстве для наблюдения биологических объектов, показанном на Фиг.4, вместо обтюратора 16 применяется подвижный перекрывающий элемент, например пружинная диафрагма или затвор, или отсечение фильтра, например сеточный поворотный диск, или ND (нейтральный) светофильтр.
На Фиг.29 представлен пример упругой диафрагмы 66. Пружинная диафрагма 66 осуществляет регулировку количества света перекрыванием света с предварительно заданными интервалами времени с использованием: перекрывающей секции 69, которая поворачивается вокруг центральной оси 67 и которая перекрывает световой поток 68, сходящийся в точку с заданными размерами на дистальном конце части данной диафрагмы; и лопастной секции 71 диафрагмы, содержащей вырезанный участок 70, который регулирует количество исходящего света.
Пружинная диафрагма 66 может одновременно служить как модулирующая упругая диафрагма, которая регулирует количество исходящего света от секции 41 источника света, или в качестве перекрывающего механизма может быть отдельно обеспечен другой блок.
На Фиг.30 представлен пример затвора 66A. Хотя затвор 66A сходен по форме с примерной пружинной диафрагмой 66, он имеет такую конструкцию, что в перекрывающей секции 69 отсутствует вырезанный участок 70 пружинной диафрагмы 66. В процессе работы затвора 66A свет перекрывается с предварительно заданными интервалами времени для осуществления регулирования количества света посредством управления двумя рабочими состояниями, а именно полностью открытым и полностью закрытым.
На Фиг.31 показан пример сеточного поворотного диска 73. Сетка 75 с широким шагом решетки или сетка 76 с меньшим шагом решетки закреплена сваркой или подобным способом в отверстии, обеспеченном в поворотной пластине 74, и поворачивается вокруг центральной оси 77 вращения. В данном случае свет перекрывается с предварительно заданными интервалами времени для осуществления регулирования количества света посредством изменения длины сетки, крупности сетки, ее положения или чего-то подобного.
[Четвертый вариант осуществления изобретения]
Фиг.32 и 33 относятся к четвертому варианту осуществления настоящего изобретения, где на Фиг.32 приведена блок-схема, представляющая конфигурацию электронного эндоскопического устройства; и на Фиг.33 приведена схема, показывающая время накопления заряда в CCD 21, показанном на Фиг.32.
Поскольку четвертый вариант осуществления практически идентичен первому варианту осуществления, ниже приведено описание только его отличий от первого варианта осуществления. Сходные компоненты обозначены аналогичными позициями, и их описание в дальнейшем опущено.
Настоящий вариант осуществления изобретения отличается от первого варианта осуществления изобретения, главным образом, в секции 41 источника света и CCD 21. В первом варианте осуществления изобретения CCD 21 снабжен цветными светофильтрами, показанными на Фиг.6, и представляет собой CCD так называемого синхронного типа, который формирует цветовой сигнал с использованием цветных светофильтров. В противоположность первому варианту, в настоящем четвертом варианте осуществления изобретения применяется тип прибора с так называемыми чередующимися кадрами, который формирует цветовой сигнал при освещении подсвечивающим светом в порядке R, G и B в течение периода времени одного кадра.
Как показано на Фиг.32, секция 41 источника света в соответствии с настоящим вариантом осуществления изобретения снабжена диафрагмой 25, которая осуществляет модуляцию с передней стороны лампы 15, и с передней стороны диафрагмы 25 дополнительно обеспечен вращающийся светофильтр 23 RGB, который выполняет, например, один поворот во время одного кадра, для излучения света чередующихся кадров R, G и B. Кроме того, диафрагма 25 соединена с секцией 24 управления диафрагмой, выполняющей функцию секции регулирования количества света, и выполнена с возможностью выполнения модуляции посредством ограничения светового потока, подлежащего пропусканию из светового потока, излучаемого лампой 15, для изменения количества света в ответ на управляющий сигнал из секции 24 управления диафрагмой. Кроме того, вращающий светофильтр 23 RGB соединен с секцией 26 управления вращающимся светофильтром RGB и вращается с предварительно заданной частотой вращения.
Что касается операций секции источника света в соответствии с настоящим вариантом осуществления изобретения, то световой поток, исходящий из лампы 15, ограничивается до предварительно заданного количества света диафрагмой 25. Световой поток, пропускаемый через диафрагму 25, проходит сквозь вращающийся светофильтр 23 RGB и выводится в виде соответствующих подсвечивающих световых потоков R/G/B с предварительно заданными интервалами времени из секции источника света. Кроме того, соответствующие подсвечивающие световые потоки отражаются внутри объекта, подлежащего исследованию, и принимаются на CCD 21. Сигналы, полученные в CCD 21, разделяются соответственно времени излучения переключающей секцией (не показанной), обеспеченной в основной части 105 эндоскопического устройства, и соответственно подаются в схемы 433a-433c S/H. Другими словами, когда излучается подсвечивающий свет через светофильтр R из секции 41 источника света, сигнал, полученный в CCD 21, вводится в схему 433a S/H. В данном случае, поскольку другие операции являются такими же, как операции в первом варианте осуществления изобретения, их описание далее не приводится.
В соответствии с настоящим четвертым вариантом осуществления, таким же образом, как в первом варианте осуществления изобретения, можно получить спектральное изображение, на котором возможно четкое отображение сосудистого рисунка. Кроме того, в отличие от первого варианта осуществления изобретения, настоящий четвертый вариант осуществления изобретения обеспечивает получение в полном объеме преимуществ так называемого способа чередующихся кадров. Упомянутые преимущества, например, включают в себя преимущества, предлагаемые модификацией, представленной на Фиг.34, описание которой приведено далее.
Кроме того, в вышеописанном первом варианте осуществления изобретения количество подсвечивающего света (количество света от источника света) регулируется/настраивается для исключения насыщения цветовых сигналов R/G/B. В противоположность этому, в настоящем четвертом варианте осуществления изобретения применяется способ, по которому настраивается электронный затвор CCD 21. Заряды в CCD 21 накапливаются пропорционально интенсивности света, падающего в данный период времени, и, тем самым, величина заряда принимается как сигнал, что соответствует времени накопления, и представляет собой так называемый электронный затвор. Посредством регулировки электронного затвора при помощи схемы 431 управления CCD можно регулировать накопленную величину заряда или, иначе говоря, величину сигнала. Как показано на Фиг.33, при получении цветных изображений RGB в состоянии, в котором времена накопления заряда последовательно изменяются за один кадр, можно получать аналогичное спектральное изображение. Другими словами, в каждом из вышеописанных вариантов осуществления регулирование количества подсвечивающего света посредством диафрагмы 25 можно применять для получения нормального изображения, и, при получении спектрального изображения, возможно предотвращение насыщения цветных изображений R/G/B посредством регулирования электронного затвора.
На Фиг.34 приведена схема, показывающая времена накопления заряда в CCD в соответствии с другим примером четвертого варианта осуществления настоящего изобретения. Настоящий пример аналогичен примеру, показанному на Фиг.33, в части использования способа с чередующимися кадрами и использует преимущество характерных особенностей способа чередующихся кадров. Другими словами, введением весовой обработки для, соответственно, R, G и B над значениями времени накопления заряда путем управления электронным затвором в соответствии с примером, показанным на Фиг.33, можно упростить формирование данных спектральных изображений. Это означает, что в примере, показанном на Фиг.34, обеспечена схема 431 управления CCD, которая способна изменять время накопления заряда в CCD 21 для, соответственно, R, G и B в течение периода времени одного кадра. В остальном, настоящий вариант осуществления изобретения является таким же, как пример, показанный на Фиг.33.
Что касается операций в примере, показанном на Фиг.34, когда соответствующие подсвечивающие световые потоки излучаются сквозь вращающийся светофильтр 23 RGB, время накопления заряда изменяется электронным затвором в CCD 21.
Здесь целесообразно принять, что соответствующие периоды накопления заряда в CCD 21 для подсвечивающих световых потоков R/G/B равны tdr, tdg и tdb (в данном случае, так как время накопления для цветового сигнала изображения B не обеспечивается, то tdb в схеме отсутствует). Например, при осуществлении вычисления матрицы, представленной формулой 21, поскольку вычисление, подлежащее выполнению по изображению с квазифильтром F3, можно определить по изображениям RGB, полученным нормальным эндоскопом, в виде:
то установка времени накопления заряда в результате управления электронным затвором соответственно RGB, как показано на Фиг.33, в отношении:
должна быть достаточной. Кроме того, в матричной части добавляются сигнал, в котором инвертированы только компоненты R и G, а также компонента B. В результате можно получить спектральное изображение, аналогичное изображению в вариантах осуществления изобретения от первого по третий.
В соответствии с четвертым вариантом осуществления изобретения, показанным на Фиг.33 и 34, можно получать спектральное изображение, на котором четко отображаются сосудистые рисунки. Кроме того, в примере, показанном на Фиг.34, применяется способ чередующихся кадров для формирования цветовых сигналов изображения таким же образом, и временные периоды накопления зарядов можно изменять с помощью электронного затвора для каждого цветового сигнала изображения. Следовательно, секция вычисления матрицы должна выполнять только суммирующую и вычитающую обработку, что позволяет упростить обработку. Иначе говоря, операции, в соответствии вычислению матриц, могут выполняться посредством выполнения электронным затвором, и возможно упрощение обработки.
Нет необходимости упоминать, что регулирование количества света в вариантах осуществления изобретения от первого по третий и управление электронным затвором (время накопления заряда) в соответствии с четвертым вариантом осуществления изобретения (в примере, показанном на Фиг.33 или 34) можно построить для одновременного выполнения. Кроме того, как описано выше, очевидно, что регулирование подсвечивающего света можно производить с использованием обтюратора или чего-то подобного для нормального изображения для наблюдения, и, при получении спектрального изображения для наблюдения, возможно регулирование электронным затвором.
Ниже, в вариантах осуществления с пятого по седьмой, приведено описание секции усиления сигнала, которая усиливает уровень сигнала снятого сигнала изображения и/или спектрального сигнала спектрального изображения, а также регулирование усиления в данной схеме.
[Пятый вариант осуществления изобретения]
К конфигурации устройства для наблюдения биологических объектов в соответствии с пятым вариантом осуществления настоящего изобретения относятся Фиг.4, 28 или 32. Кроме того, АРУ (AGC - автоматическая регулировка усиления) в конфигурациях во время наблюдения нормального изображения осуществляется в схеме АРУ (не показанной), которая является секцией усиления сигнала для секции 434 обработки сигнала яркости и секции 435 обработки цветового сигнала, соответственно, показанных на Фиг.4, 28 или 32. АРУ во время наблюдения спектрального изображения осуществляется в схеме АРУ (в которой, например, усилители 32a-32c, показанные на Фиг.8, заменены усилителями с регулируемым коэффициентом усиления), которая представляет собой секцию усиления сигнала в секции 436 вычисления матриц в соответствии с Фиг.4, 28 или 32.
Кроме того, управление операциями усиления или, другими словами, управление АРУ различно при наблюдении нормального изображения и наблюдении спектрального изображения. Управление АРУ касается уровня усиления, скорости срабатывания (скорости обратной связи) или активизирования/неприведения в действие (что можно также назвать включением/выключением) функции усиления.
Что касается активизирования/не приведения в действие функции усиления, то, во многих случаях, АРУ не приводят в действие во время наблюдения нормального изображения. Это обусловлено тем, что, при наблюдении при нормальном свете, количество света достаточно. С другой стороны, АРУ приводится в действие во время наблюдения спектрального изображения, поскольку количество света не достаточно.
Что касается скорости срабатывания (скорости обратной связи) функции усиления, например, когда камера отходит от сцены, которая считается объектом исследования, количество света постепенно уменьшается, и сцена становится темнее. Хотя сначала включается функция модуляции и стремится увеличить количество света, когда становится темнее, функция модуляции не способна к отслеживанию. Когда отслеживание перестает действовать, включается АРУ. Скорость работы АРУ имеет большое значение, и слишком высокая скорость обратной связи приводит к появлению шума при затемнении, что может оказывать раздражающее действие. Соответственно, важно обеспечить подходящую скорость, которая является ни слишком высокой, ни слишком низкой. Хотя, во время наблюдения нормального изображения, можно допустить достаточно медленную работу АРУ, работа АРУ во время наблюдения спектрального изображения должна осуществляться с большей скоростью отслеживания вследствие ускорения затенения. Таким образом, можно повысить качество изображения от сигнала, подлежащего отображению/выводу.
[Шестой вариант осуществления изобретения]
К конфигурации устройства для наблюдения биологических объектов в соответствии с шестым вариантом осуществления настоящего изобретения относятся Фиг.4, 28 или 32. Кроме того, АРУ (автоматическая регулировка усиления) в конфигурациях во время наблюдения нормального изображения осуществляется в схеме АРУ (не показанной), которая является секцией усиления сигнала для секции 434 обработки сигнала яркости и секции 435 обработки цветового сигнала, соответственно, показанных на Фиг.4, 28 или 32. АРУ во время наблюдения спектрального изображения осуществляется в схеме АРУ (в которой, например, усилители 32a-32c, показанные на Фиг.8, заменены усилителями с регулируемым коэффициентом усиления), которая представляет собой секцию усиления сигнала в секции 436 вычисления матриц в соответствии с Фиг.4, 28 или 32.
В настоящем шестом варианте осуществления управление схемой АРУ, которая представляет собой секцию усиления сигнала, осуществляется так, чтобы данная схема работала в связи с секцией регулирования количества света, которая содержит обтюратор 16, секцию 18 регулирования тока лампы, секцию 24 управления диафрагмой и т.п. Управление вышеописанной совместной работой осуществляется так, что, например, схема АРУ, которая представляет собой секцию усиления сигнала, функционирует только после того, как количество излучаемого света достигает максимума в секции регулирования количества света. Другими словами, регулирование осуществляется так, что АРУ включается только после того, как секция регулирования количества света доводится управлением до максимального количества света (когда, например, модулирующий нож полностью открыт), и когда экран является темным даже при максимальном количестве света. Следовательно, диапазон регулирования количества света можно расширить.
[Седьмой вариант осуществления изобретения]
К конфигурации устройства для наблюдения биологических объектов в соответствии с седьмым вариантом осуществления настоящего изобретения относятся Фиг.4, 28 или 32. Кроме того, АРУ (автоматическая регулировка усиления) в конфигурациях во время наблюдения нормального изображения осуществляется в схеме АРУ (не показанной), которая является секцией усиления сигнала для секции 434 обработки сигнала яркости и секции 435 обработки цветового сигнала, соответственно, показанных на Фиг.4, 28 или 32. АРУ во время наблюдения спектрального изображения осуществляется в схеме АРУ (в которой, например, усилители 32a-32c, показанные на Фиг.8, заменены усилителями с регулируемым коэффициентом усиления), которая представляет собой секцию усиления сигнала в секции 436 вычисления матриц в соответствии с Фиг.4, 28 или 32.
В случае, когда нормальное изображение и спектральное изображение отображаются одновременно (одновременное отображение возможно также, поскольку спектральное изображение можно оценивать из RGB), имеют место случаи, когда количество света уменьшается из-за насыщения CCD. Например, количество света в нормальном изображении может уменьшаться для исключения насыщения CCD. В данном случае, нормальное изображение является заметно темным. С другой стороны, в отношении спектрального изображения регулировка выполняется в пределах соответствующего динамического диапазона, чтобы допустить наблюдение мелких участков. Поэтому, когда нормальное изображение и спектральное изображение отображаются одновременно без средств модификации, нормальное изображение остается темным, поэтому яркость нормального изображения настраивается в сторону увеличения и выводится для случая одновременного отображения. Усиление выходного сигнала изображения осуществляется электрическим повышением коэффициента усиления в схеме АРУ, которая является секцией усиления сигнала. Следовательно, качество изображения во время одновременного отображения можно повышать.
Ниже приведено описание повышения качества изображения со ссылкой на варианты осуществления изобретения с восьмого по одиннадцатый.
[Восьмой вариант осуществления изобретения]
К конфигурации устройства для наблюдения биологических объектов в соответствии с восьмым вариантом осуществления настоящего изобретения относится Фиг.35. Настоящий восьмой вариант осуществления предназначен для повышения яркости и отношения S/N посредством выполнения весового суммирования широкополосного сигнала яркости с яркостной компонентой спектрального изображения.
Как показано на Фиг.35, электронное эндоскопическое устройство 100 содержит электронный эндоскоп 101, основную часть 105 эндоскопического устройства и экранный монитор 106. Основная часть 105 эндоскопического устройства, в первую очередь, содержит блок 41 источника света, секцию 42 управления и устройство 43 обработки в основной части. Устройство 43 обработки в основной части снабжено схемой 431 управления CCD для управления CCD 21, а также снабжено системой сигнальных цепей для получения нормальных изображений и системой сигнальных цепей для получения спектральных изображений.
Система сигнальных цепей для получения нормальных изображений содержит: схемы 433a-433c S/H, которые выполняют выборку и тому подобное сигналов, полученных посредством CCD 21, и которые формируют сигнал RGB; и секцию 435 обработки цветовых сигналов, которая соединена с выводами схем 433a-433c S/H и формирует цветовые сигналы.
С другой стороны, обеспечена секция 436 вычисления матриц в качестве системы сигнальных цепей для получения спектральных изображений на выходах схем 433a-433c S/H, посредством которой предварительно заданное вычисление матрицы выполняется над сигналами RGB.
Выходной сигнал секции 435 обработки цветового сигнала и выходной сигнал секции 436 вычисления матриц подаются через переключающую секцию 450 в схему 451 обработки баланса белого (именуемую далее WB), схему 452 γ-коррекции и схему (1) 453 преобразования цвета для формирования сигнала Y, сигнала R-Y и сигнала B-Y. Затем дополнительно формируются улучшенные по качеству сигнал YEH яркости, сигнал R-Y и сигнал B-Y, которые будут описаны далее, и подаются в схему (2) 455 преобразования цвета и передаются в виде выходных сигналов R, G и B в экранный монитор 106.
В данном случае, при осуществлении наблюдения спектрального изображения (наблюдения NBI) без использования оптического светофильтра, система обработки в устройстве (процессоре) 43 обработки в основной части нуждается в секции 436 вычисления матриц, которая по отдельности формирует спектральные изображения, раздельно от изображений, которые формируют изображения для нормального наблюдения. Однако такая конфигурация, в которой нормальные изображения для наблюдения формируются отдельно от спектральных изображений, требует двух раздельных систем, которые содержат схемы обработки баланса белого (WB), γ-коррекции и преобразования цвета, что приводит к увеличению объема схем.
Кроме того, поскольку отношение S/N в спектральном изображении снижается при электрическом повышении коэффициента усиления для повышения яркости, то предлагаются способы повышения отношения S/N посредством съемки и интегрирования множества изображений и усиления компонентов сигналов (например, интегрирующие секции 438a-438c в выложенном японском патенте JP2003-93336, относящемся к подобному способу). Однако получение множества изображения требует управления CCD с высокой частотой и потому является технически сложной задачей.
Следовательно, для решения вышеописанной задачи в восьмой вариант осуществления настоящего изобретения введены следующие конфигурации, как показано на Фиг.35.
А именно
(1) следующие схемы a)-c) выполнены с возможностью совместного использования при формировании нормальных изображений для наблюдения и спектральных изображений. Совместно применяются a) WB-схема 451, b) схема 452 γ-коррекции, c) схема 454 повышения качества.
В данном случае, совместное использование схем описано по отдельности в вариантах осуществления изобретения с тринадцатого по пятнадцатый.
(2) Для повышения яркости и отношения S/N обеспечена секция 444 формирования широкополосного сигнала яркости для формирования широкополосного сигнала (YH) яркости, отношение S/N в котором не снижено относительно выходного сигнала CCD, и выполняется весовое суммирование с яркостной компонентой Y спектрального сигнала.
В частности, применительно к вышеупомянутым широкополосному сигналу (YH) яркости и сигналу (Y) яркости спектральных сигналов (F1, F2 и F3), сформированных в схеме (1) 453 преобразования цвета, умножение на весовые коэффициенты, соответственно, выполняется в схемах (445 и 446) весовой обработки сигналов, суммирование выполняется в суммирующей секции 447 и коррекция контуров выполняется над сигналом яркости после суммирования в схеме 454 повышения качества. Другими словами, секция 444 формирования широкополосного сигнала яркости, схемы 445 и 446 весовой обработки сигналов и суммирующая секция 447 образуют секцию коррекции качества изображения. Сигнал YEH яркости со скорректированными контурами подается в схему (2) 455 преобразования цвета и затем, после преобразования снова в сигнал RGB в схеме (2) 455 преобразования цвета, выводится в экранный монитор 106.
Весовые коэффициенты вышеупомянутых схем (445 и 446) весовой обработки сигналов могут переключаться в соответствии с режимом наблюдения или в соответствии с числом пикселей CCD, который должен подключаться к ним, и могут быть произвольно установлены в таком диапазоне, который не создает проблемы снижения контраста в спектральном изображении. Например, когда весовой коэффициент схемы 445 весовой обработки сигналов обозначен как α и весовой коэффициент схемы 446 весовой обработки сигналов обозначен как β, то возможен следующий способ:
A) Во время отображения нормального изображения для наблюдения: α=0, β=1.
B) Во время отображения спектрального изображения, когда подсоединен CCD типа A: α=0,5, β=0,5.
C) Во время отображения спектрального изображения, когда подсоединен CCD типа B: α=1, β=0.
Конфигурация настоящего восьмого варианта осуществления полезна тем, что повышение яркости и отношения S/N в данной конфигурации возможно без обязательного съема множества изображений; и поскольку весовые коэффициенты можно оптимизировать в соответствии с типом подсоединенных CCD, оптимизация в соответствии с числом пикселей или спектральными характеристиками каждого CCD возможна в данной конфигурации в таком диапазоне, который не создает проблемы снижения контраста.
[Девятый вариант осуществления изобретения]
К конфигурации устройства для наблюдения биологических объектов в соответствии с девятым вариантом осуществления настоящего изобретения относятся Фиг.36 или 37. Настоящий восьмой вариант осуществления изобретения выполнен с возможностью повышения отношения S/N.
В соответствии с настоящим способом повышения S/N, как показано на Фиг.2, подсвечивающий свет излучается в нескольких этапов (например, n этапов, где n является целым числом, равным или большим, чем 2) на протяжении 1 поля (1 кадра) нормального изображения (обычного цветного изображения) (интенсивность излучения можно изменять на каждом этапе; на Фиг.2 этапы обозначены позициями I0-In; данную процедуру можно полностью выполнить посредством управления подсвечивающим светом). Следовательно, интенсивность подсветки на каждом этапе можно снижать и, тем самым, устранять случаи возникновения насыщенных состояний в соответствующих сигналах R, G и B. Кроме того, сигналы изображения, разделенные по нескольким этапам (например, n этапам), подвергаются суммированию, соответствующему числу n сигналов изображения после этапов. В результате, компоненты сигналов могут усиливаться для повышения отношения S/N.
Как описано выше, обеспечивается конфигурация, в которой множество (число n) изображений снимается посредством выполнения множества съемок изображения на протяжении периода времени 1 поля для повышения яркости и отношения S/N, при осуществлении наблюдения NBI (спектрального изображения) без применения оптического светофильтра, и, путем суммирования множества изображений в последующей системе обработки, можно усиливать компоненты сигналов для повышения отношения S/N.
Однако при выполнении множества съемок изображения на протяжении периода времени 1 поля, как показано для вышеописанной конфигурации, возникают следующие проблемы.
(1) Поскольку, чем больше число пикселей в CCD, тем выше задающая частота, то в конфигурации, в которой устройство (процессор) обработки в основной части снабжено схемой управления, кабель для подключения CCD следует возбуждать схемой с высокими задающими характеристиками, что представляет сложную техническую проблему.
(2) Чем выше задающая частота, тем выше частота ненужных компонент излучаемого электромагнитного поля, что затрудняет принятие мер EMC (по электромагнитной совместимости) (против электромагнитных помех).
Для решения вышеупомянутых проблем, в девятый вариант осуществления настоящего изобретения введены следующие конфигурации.
А именно, например, что касается конфигурации, показанной на Фиг.4, схема 431 управления CCD перенесена из устройства (процессора) 43 обработки в основной части на сторону эндоскопа 101, как показано на Фиг.36, для реализации конфигурации, в которой соединительный кабель между схемой 431 управления CCD и CCD 21 имеет минимальную длину.
Следовательно, так как длина кабеля сокращена, то можно ослабить искажения задающего сигнала. Ослабляется также ненужное излучение электромагнитных помех (EMC). Кроме того, поскольку схема 431 управления CCD находится в данной конфигурации на стороне эндоскопа 101, то можно снизить требования к задающим характеристикам схемы управления. Другими словами, допустимы низкие задающие характеристики, что обеспечивает также полезное снижение стоимости.
Кроме того, например, что касается конфигурации, показанной на Фиг.4, хотя схема 431 управления CCD содержится в составе устройства (процессора) 43 обработки в основной части, как показано на Фиг.37, задающие импульсы выдаются из устройства 43 обработки в основной части в виде сигнала, похожего на синусоидальный сигнал, для создания конфигурации, в которой формирование сигнала выполняется в схеме 450 формирования сигнала, обеспеченной вблизи CCD на дистальном конце эндоскопа 101, для управления CCD 21.
Следовательно, поскольку задающие импульсы управления CCD из устройства 43 обработки в основной части могут выводиться в виде сигнала, имеющего сходство с синусоидальной волной, то обеспечиваются подходящие характеристики EMC. Другими словами, подавляются ненужные излучаемые электромагнитные поля.
[Десятый вариант осуществления изобретения]
К конфигурации устройства для наблюдения биологических объектов в соответствии с десятым вариантом осуществления настоящего изобретения относятся Фиг.4, 28 или 32. В конфигурациях данного варианта дополнительно обеспечена схема подавления шумов в секции 436 вычисления матриц, необходимое при наблюдении спектрального изображения, или входной секции в предварительном каскаде секции 436 вычисления матриц. Поскольку при наблюдении спектрального изображения производится ограничение полосы длин волн, то может создаться состояние, в котором количество подсвечивающего света ниже, чем во время наблюдения нормального изображения. В данном случае, хотя недостаток яркости, обусловленный небольшим количеством подсвечивающего света, можно скорректировать в электронике посредством усиления снятого изображения, простое увеличение коэффициента усиления посредством схемы АРУ или чего-то подобного имеет следствием получение изображения, в котором на его темных участках заметны сильные шумы. Поэтому при пропускании видеоданных через схему подавления шумов шумы на темных участках подавляются с одновременным ослаблением явления снижения контраста на ярких участках. Схема подавления шумов описана на Фиг.5 заявки на японский патент № 2005-82544.
Схема 36 подавления шумов, показанная на Фиг.38, представляет собой схему, подлежащую применению в устройстве для наблюдения биологических объектов, например устройстве, показанном на Фиг.32, которое работает с чередующимися кадрами R, G и B видеоданных. Чередующиеся кадры R, G и B видеоданных вводятся в схему подавления шумов.
На Фиг.38 схема 36 подавления шумов имеет конфигурацию, содержащую: секцию 81 фильтрации, которая выполняет фильтрацию с использованием множества пространственных фильтров, над видеоданными, снятыми CCD, который представляет собой средство съемки изображения; секцию 82 вычисления среднего значения по пикселям в качестве средства вычисления яркости, которое вычисляет яркость в локализованной области видеоданных; секцию 83 весовой обработки сигналов выполняет весовую обработку над выходными сигналами секции 81 фильтрации в соответствии с выходными сигналами секции 81 фильтрации и/или выходными сигналами секции 82 вычисления среднего значения по пикселям; и секцию 85 обработки обратной фильтрации, которая выполняет обратную фильтрацию для формирования видеоданных, прошедших шумоподавляющую обработку, на выходе секции 83 весовой обработки сигналов.
Число p коэффициентов фильтрации секции 81 фильтрации переключается для каждых входных видеоданных R, G и B и считывается из секции 84 хранения коэффициентов фильтрации и устанавливается в соответствующие фильтры A1-Ap.
Секция 82 вычисления среднего значения по пикселям вычисляет среднее значение Pav из значений пикселей в небольшой области (локализованной области) n×n пикселей видеоданных одного входного изображения, которые используются для пространственной фильтрации секцией 81 фильтрации. Весовой коэффициент W считывается из поисковой таблицы (LUT) 86 в соответствии со средним значением Pav и результирующими значениями фильтрации секцией 81 фильтрации и устанавливается в схемы W1, W2, …, Wp весовой обработки сигналов секции 83 весовой обработки сигналов.
В соответствии со схемой, показанной на Фиг.38, благодаря изменению взвешивания при шумоподавляющей обработке пространственными фильтрами в зависимости от яркости локализованной области в видеоданных, шум подавляется, но при этом исключается ослабление контраста в видеоданных.
[Одиннадцатый вариант осуществления изобретения]
К устройству для наблюдения биологических объектов в соответствии с одиннадцатым вариантом осуществления настоящего изобретения относятся Фиг.4, 28 или 32. В конфигурациях данного варианта, хотя внутри секции 436 вычисления матриц размещен непоказанный пространственно-частотный фильтр (LPF), управление осуществляется так, что его пространственно-частотные характеристики немного изменены для, например, расширения полосы спектра.
Секция 42 управления изменяет настройки характеристик (характеристик LPF) пространственно-частотного фильтра, обеспеченного в секции 436 вычисления матриц в устройстве (процессоре) 43 обработки в основной части. В частности, секция 42 управления осуществляет управление так, что полосовые характеристики LPF изменяются на широкополосные характеристики во время наблюдения спектрального изображения. Подобная управляющая операция описана на Фиг.4 заявки на японский патент № 2004-250978.
Предположим далее, что устройство для наблюдения биологических объектов находится в данный момент в режиме наблюдения нормального изображения.
В данном состоянии оператор в состоянии производить эндоскопию введением вводимого участка 102 эндоскопа 101 в полость тела пациента. При желании наблюдать более детально прохождение сосудов или тому подобное на поверхности исследуемой ткани объекта, например пораженной части или тому подобного в полости тела, оператор манипулирует непоказанным переключателем переключения режимов.
Когда манипулируют переключателем переключения режимов, секция 42 управления изменяет режимы работы секции 41 источника света и устройства 43 обработки в основной части на состояние настройки режима наблюдения спектрального изображения.
В частности, секция 42 управления выполняет изменение/установку, например: выполняет регулировку количества света таким образом, чтобы увеличить количество света из секции 41 источника света; изменяет характеристики полосы пространственных частот LPF в секции 436 вычисления матриц на широкополосные характеристики, что касается устройства 43 обработки в основной части; и управляет переключающей секцией 439 для переключения ее на систему обработки спектрального изображения, которая содержит секцию 436 вычисления матриц и т.п.
При выполнении подобных изменения/установки можно отображать прохождение капилляров вблизи поверхностных слоев биологической ткани в легкораспознаваемом состоянии в продолжение режима наблюдения спектрального изображения.
Кроме того, поскольку полосовые характеристики прохождения сигнала через LPF изменяются на широкополосные характеристики, то разрешение для прохождения капилляров или прохождения сосудов вблизи поверхностных слоев можно повысить так, чтобы оно сравнялось с разрешением в цветовом сигнале конкретного цвета G, который снимается в подсвечивающем свете цвета G, и можно было получить удобно диагностируемое изображение с высоким качеством изображения.
В соответствии с настоящим вариантом осуществления, который работает вышеописанным способом, существующую функцию синхронной съемки цветного изображения можно сохранять в режиме наблюдения нормального изображения, и, в то же самое время, даже в режиме наблюдения спектрального изображения можно гарантировать удовлетворительные функции наблюдения в режиме наблюдения спектрального изображения посредством изменения характеристик обработки, например изменения установок коэффициентов или тому подобного в соответствующих секциях устройства 43 обработки в основной части.
[Двенадцатый вариант осуществления изобретения]
К конфигурации устройства для наблюдения биологических объектов в соответствии с двенадцатым вариантом осуществления настоящего изобретения относятся Фиг.4, 28 или 32. Кроме того, в конфигурациях данного варианта осуществляется отображение обозначения NBI, указывающего, что на данный момент имеет место наблюдение спектрального изображения.
(1) Отображение на экранном мониторе 106.
На экранном мониторе 106 во время наблюдения нормального изображения не отображается никакого обозначения, тогда как во время наблюдения спектрального изображения отображаются буквы «NBI». В альтернативном варианте вместо отображения символов может отображаться обозначение типа “o”, например, в одном из четырех углов монитора.
(2) Отображение на передней панели основной части 105 эндоскопического устройства: смотри Фиг.39, 40 и 41.
На панели просто обеспечен LED (светоизлучающий диод), который выключается во время наблюдения нормального изображения и высвечивается во время наблюдения спектрального изображения. В частности, как показано на Фиг.39, секция 91 высвечивания LED оборудована вблизи букв «NBI» и выключается во время наблюдения нормального изображения и высвечивается во время наблюдения спектрального изображения.
Как показано на Фиг.40, LED оборудован так, что высвечиваются либо сами буквы «NBI» 92, либо краевые участки 93 букв вместо букв «NBI». Высвечивание выключается во время наблюдения нормального изображения и включается во время наблюдения спектрального изображения.
Как показано на Фиг.41, LED оборудован так, что высвечиваются либо сами буквы «NBI» 94, либо краевые участки 95 букв вместо букв «NBI». Высвечивание осуществляется с использованием разных цветов. Например, зеленый свет выключается во время наблюдения нормального изображения и белый включается во время наблюдения спектрального изображения.
(3) Отображение на централизованном контроллере.
Устройство для наблюдения биологических объектов компонуется как система, содержащая множество устройств, при этом отображение осуществляется на экране контроллера, который выполняет централизованное управление устройствами таким же образом, как на Фиг.39, 40 и 41. В альтернативном варианте сам переключатель переключения режима наблюдения спектрального изображения (т.е. переключатель NBI) отображается черными буквами в продолжение режима наблюдения нормального изображения и отображается обратными буквами в продолжение режима наблюдения спектрального изображения.
(4) Места отображения, отличающиеся от вышеописанных, включая клавиатуру и педальный переключатель.
[Тринадцатый вариант осуществления изобретения]
На Фиг.42 приведена блок-схема конфигурации устройства для наблюдения биологических объектов в соответствии с тринадцатым вариантом осуществления настоящего изобретения. Фиг.42 представляет блок-схему синхронного электронного эндоскопического устройства 100.
Как показано на Фиг.42, основная часть 105 эндоскопического устройства, в первую очередь, содержит блок 41 источника света, секцию 42 управления и устройство 43 обработки в основной части. Описания участков, аналогичных участкам в первом варианте осуществления изобретения и показанных на Фиг.4, опущены, и нижеприведенное описание относится, главным образом, к участкам, которые отличаются от Фиг.4.
Как показано на Фиг.42, устройство 43 обработки в основной части, таким же образом, как секция 41 источника света, соединено с эндоскопом 101 посредством соединителя 11. Устройство 43 обработки в основной части снабжено схемой 431 управления CCD для управления CCD 21. Кроме того, система обработки цветовых сигналов обеспечена как система сигнальных цепей для получения нормальных изображений.
Система обработки цветовых сигналов содержит: схемы 433a-433c выборки и хранения (схемы S/H), соединенные с CCD 21, которые выполняют выборку и т.п. над сигналом, полученным посредством CCD 21, и формируют сигналы RGB; и секцию 435 обработки цветовых сигналов, которая соединена с выводами схем 433a-433c S/H и формирует цветовые сигналы R', G' и B'.
Цветовые сигналы R', G' и B' направляются в общие схемные секции (451-455) из секции 435 обработки цветовых сигналов через переключающую секцию 450.
Обработка сигнала в схемах 451-455 является обработкой сигналов для отображения снятого сигнала изображения, который является цветовым сигналом изображения, и спектрального сигнала, сформированного по снятому сигналу изображения, на экранном мониторе 106, и может распределяться между как обработкой снятого сигнала изображения, так и обработкой спектрального сигнала.
Ниже дано описание конфигурации общих схемных секций (451-455), которые задействуют схемы для выполнения необходимой обработки сигналов, включая обработку по регулировке цвета, например обработку баланса белого (именуемую далее WB), обработку полутонового преобразования, например γ-настройку γ, пространственно-частотную обработку для повышения качества, например коррекцию контуров, которые должны применяться совместно в то время, когда сокращается объем схем устройства для наблюдения биологических объектов.
Общие схемные секции (451-455) выполнены таким образом, что обработку WB, γ-обработку и обработку для повышения качества можно совместно применять в нормальных изображениях для наблюдения и спектральных изображениях для наблюдения.
В настоящем тринадцатом варианте осуществления изобретения, как показано на Фиг.42, следующие схемы a)-c) выполнены с возможностью совместного использования при формировании нормальных изображений для наблюдения и спектральных изображений для наблюдения. Совместно применяются a) WB-схема 451, b) схема 452 γ-коррекции, c) схема 454 повышения качества.
Выходные сигналы секции 440 регулировки цвета и выходные сигналы секции 436 вычисления матриц подаются через переключающую секцию 450 в WB-схему 451, схему 452 γ-коррекции и схему (1) 453 преобразования цвета для формирования сигнала Y, сигнала R-Y и сигнала B-Y. Затем дополнительно формируются улучшенные по качеству сигнал YEH яркости, сигнал R-Y и сигнал B-Y, подлежащие описанию в дальнейшем, и подаются в схему (2) 455 преобразования цвета и передаются в виде выходных сигналов R, G и B в экранный монитор 106.
В данном случае, в качестве примера квазиполосовых фильтров F1-F3, спектральные изображения (F1, F2 и F3) из секции 436 вычисления матриц формируются в соответствии со следующей процедурой:
F1: изображение в диапазоне длин волн от 520 нм до 560 нм (соответствующем полосе G длин волн);
F2: изображение в диапазоне длин волн от 400 нм до 440 нм (соответствующем полосе B длин волн);
F3: изображение в диапазоне длин волн от 400 нм до 440 нм (соответствующем полосе B длин волн).
Изображения, получаемые в результате интегрирующей обработки и обработки по регулировке цвета, выполняемых над упомянутыми выше спектральными изображениями (F1-F3), а также нормальными изображениями (R', G' и B') для наблюдения, выбираются в переключающей секции 450 с использованием непоказанного переключателя переключения режимов, обеспеченного на передней панели или клавиатуре.
Выходные сигналы из вышеупомянутой переключающей секции 450 подвергаются обработке в WB-схеме 451 и схеме 452 γ-коррекции и, в дальнейшем, преобразуются в схеме (1) 453 преобразования цвета в сигнал (Y) яркости и цветоразностные сигналы (R-Y/B-Y).
Коррекция контуров выполняется схемой 454 повышения качества над вышеупомянутым сигналом Y яркости, полученным после преобразования.
Затем, снова выполняется преобразование в сигналы RGB в схеме (2) 455 преобразования цвета, и выходные сигналы подаются в экранный монитор 106.
Конфигурация настоящего тринадцатого варианта осуществления полезна тем, что: для нормальных изображений для наблюдения и спектральных изображений для наблюдения в настоящей конфигурации можно совместно использовать обработку WB/γ-коррекции/повышения качества; и так как вывод спектральных изображений (F1, F2, F3) из секции 436 вычисления матрицы сигналов G-B-B является причиной того, что сигнал яркости спектрального изображения, преобразованного схемой (1) 453 преобразования цвета, содержит большую долю компонент B, то тогда можно сосредоточиться на выполнении обработки для повышения качества над приповерхностными сосудистыми изображениями, получаемыми из спектральных изображений B.
Кроме того, в тринадцатом варианте осуществления изобретения, показанном на Фиг.42, хотя конфигурация, в которой между системой наблюдения нормального изображения и системой наблюдения спектрального изображения может быть распределена обработка вида, в первую очередь, WB, γ-коррекции и повышения качества, настоящее изобретение не ограничено данной конфигурацией. В альтернативном варианте возможна конфигурация, в которой, по меньшей мере, какая-то одна обработка из WB, полутонового преобразования и повышения качества по пространственной частоте.
В соответствии с настоящим вариантом осуществления изобретения возможно получение спектрального изображения, на котором четко отображаются рисунки сосудов.
[Четырнадцатый вариант осуществления изобретения]
На Фиг.43 приведена блок-схема, представляющая конфигурацию устройства для наблюдения биологических объектов в соответствии с четырнадцатым вариантом осуществления настоящего изобретения.
Поскольку четырнадцатый вариант осуществления изобретения практически такой же, как тринадцатый вариант осуществления изобретения, ниже приведено описание только различий между ними. Сходные компоненты обозначены аналогичными позициями, и их описания в дальнейшем отсутствуют.
Настоящий вариант осуществления изобретения отличается от тринадцатого варианта осуществления, главным образом, наличием секции 41 источника света, которая выполняет регулирование количества подсвечивающего света. В настоящем варианте осуществления регулирование количества света, излучаемого из секции 41 источника света, выполняется посредством регулирования тока лампы 15 вместо применения обтюратора. В частности, при лампе 15, показанной на Фиг.43, обеспечена секция 18 регулирования тока в качестве секции регулирования количества света.
Что касается операций в настоящем варианте осуществления изобретения, то секция 42 управления регулирует ток, протекающий через лампу 15, таким образом, что ни один из цветовых сигналов RGB изображения не приходит в насыщенное состояние. Следовательно, поскольку ток, потребляемый лампой 15 для излучения, регулируется, то количество света от лампы изменяется в соответствии с амплитудой тока.
В данном случае, поскольку другие операции идентичны операциям первого варианта осуществления изобретения, их описание ниже отсутствует.
В соответствии с настоящим вариантом осуществления изобретения спектральное изображение, на котором четко визуализируются рисунки сосудов, можно получать таким же образом, как в тринадцатом варианте осуществления. Кроме того, настоящий вариант полезен тем, что применяемый в нем способ управления проще, чем способ регулирования количества света с использованием обтюратора, как в случае тринадцатого варианта осуществления.
[Пятнадцатый вариант осуществления изобретения]
На Фиг.44 приведена блок-схема, представляющая конфигурацию устройства для наблюдения биологических объектов в соответствии с пятнадцатым вариантом осуществления настоящего изобретения. Схема, представляющая временные интервалы накопления заряда в CCD, в соответствии с вариантом осуществления изобретения, показанном на Фиг.44, является такой же, как на Фиг.33.
Поскольку пятнадцатый вариант осуществления изобретения практически аналогичен тринадцатому варианту осуществления изобретения, ниже приведено описание только различий между ними. Сходные компоненты обозначены аналогичными позициями, и их описания в дальнейшем отсутствуют.
Настоящий вариант осуществления изобретения отличается от тринадцатого варианта осуществления изобретения, главным образом, в секции 41 источника CCD 21. В первом варианте осуществления изобретения CCD 21 снабжен цветными светофильтрами, показанными на Фиг.6, и представляет собой CCD так называемого синхронного типа, который формирует цветовой сигнал с использованием цветных светофильтров. В противоположность первому варианту, в настоящем пятнадцатом варианте осуществления изобретения применяется тип прибора с так называемыми чередующимися кадрами, который формирует цветовой сигнал при освещении подсвечивающим светом в порядке R, G и B в течение временного периода времени одного кадра.
Как показано на Фиг.44, секция 41 источника света в соответствии с настоящим вариантом осуществления изобретения снабжена диафрагмой 25, которая выполняет модуляцию с передней стороны лампы 15, и с передней стороны диафрагмы 25 дополнительно обеспечен вращающийся светофильтр 23 RGB, который выполняет, например, один поворот во время одного кадра, для излучения света чередующихся кадров R, G и B. Кроме того, диафрагма 25 соединена с секцией 24 управления диафрагмой, выполняющей функцию секции регулирования количества света, и выполнена с возможностью выполнения модуляции посредством ограничения светового потока, подлежащего пропусканию из светового потока, излучаемого лампой 15, для изменения количества света в ответ на управляющий сигнал из секции 24 управления диафрагмой. Кроме того, вращающий светофильтр 23 RGB соединен с секцией 26 управления вращающимся светофильтром RGB и вращается с предварительно заданной частотой вращения.
Что касается операций секции источника света в соответствии с настоящим вариантом осуществления изобретения, то световой поток, исходящий из лампы 15, ограничивается до предварительно заданного количества света диафрагмой 25. Световой поток, пропускаемый через диафрагму 25, проходит сквозь вращающийся светофильтр 23 RGB и выводится в виде соответствующих подсвечивающих световых потоков R/G/B с предварительно заданными интервалами времени из секции источника света. Кроме того, соответствующие подсвечивающие световые потоки отражаются внутри объекта, подлежащего исследованию, и принимаются на CCD 21. Сигналы, полученные в CCD 21, разделяются соответственно времени излучения переключающей секцией (не показанной), обеспеченной в основной части 105 эндоскопического устройства, и соответственно подаются в схемы 433a-433c S/H. Другими словами, когда излучается подсвечивающий свет через светофильтр R из секции 41 источника света, сигнал, полученный в CCD 21, вводится в схему 433a S/H. В данном случае, поскольку другие операции являются такими же, как операции в первом варианте осуществления изобретения, их описание далее не приводится.
В соответствии с настоящим пятнадцатым вариантом осуществления изобретения таким же образом, как в тринадцатом варианте осуществления изобретения, можно получить спектральное изображение, на котором возможно четкое отображение сосудистого рисунка. Кроме того, в отличие от тринадцатого варианта осуществления изобретения настоящий пятнадцатый вариант осуществления допускает получение в полном объеме преимуществ так называемого способа чередующихся кадров. Упомянутые преимущества, например, включают в себя преимущества, предлагаемые модификацией, представленной на Фиг.34.
Кроме того, в вышеописанном тринадцатом варианте осуществления изобретения количество подсвечивающего света (количество света от источника света) регулируется/настраивается для исключения насыщения цветовых сигналов R/G/B. В противоположность этому, в настоящем пятнадцатом варианте осуществления применяется способ, по которому регулируется электронный затвор CCD 21. Заряды в CCD 21 накапливаются пропорционально интенсивности света, падающего в данный период времени, и, тем самым, величина заряда принимается как сигнал. Компонент, согласующий время накопления, представляет собой так называемый электронный затвор CCD 21. Заряды в CCD 21 накапливаются пропорционально интенсивности света, падающего в данный период времени, и, тем самым, величина заряда принимается как сигнал. Компонент, согласующий время накопления, представляет собой так называемый электронный затвор. Посредством регулировки электронного затвора при помощи схемы 431 управления CCD можно регулировать накопленную величину заряда или, иначе говоря, величину сигнала. Поэтому, как показано на Фиг.59, путем получения цветных изображений RGB в состоянии, в котором времена накопления заряда последовательно изменяются в каждом кадре, возможно получение подобного спектрального изображения. Другими словами, в каждом из вышеописанных вариантов осуществления изобретения регулирование количества подсвечивающего света посредством диафрагмы 25 можно применять для получения нормального изображения, и, при получении спектрального изображения, возможно предотвращение насыщения цветных изображений R G и B посредством регулирования электронного затвора.
[Шестнадцатый вариант осуществления изобретения]
Фиг.45 и 46 относятся к устройству для наблюдения биологических объектов в соответствии с шестнадцатым вариантом осуществления настоящего изобретения, при этом: на Фиг.45 приведена схема, представляющая матрицу цветных светофильтров; и на Фиг.46 приведена схема, представляющая характеристики спектральной чувствительности цветных светофильтров, показанных на Фиг.45.
Поскольку устройство для наблюдения биологических объектов в тринадцатом варианте осуществления изобретения практически идентично устройству в первом варианте осуществления изобретения, далее описаны только различия между ними. Сходные компоненты обозначены одинаковыми позициями, и их описания опущены.
Настоящий вариант осуществления изобретения отличается от первого варианта осуществления изобретения, главным образом, наличием цветных светофильтров, предусмотренных на CCD 21. В отличие от первого варианта осуществления, в котором применялись цветные светофильтры основных цветов RGB, как показано на Фиг.6, в настоящем варианте осуществления изобретения применяются цветные светофильтры дополнительного типа.
Как показано на Фиг.45, матрица цветных светофильтров дополнительного типа образована соответствующими элементами G, Mg, Ye и Cy. В данном случае, соответствующие элементы цветных светофильтров основных цветов и соответствующие элементы цветных светофильтров дополнительного типа формируют зависимости вида Mg=R+B, Cy=G+B и Ye=R+G.
В данном случае будут выполняться считывание всех пикселей с CCD 21 и обработка сигналов или обработка изображений над изображениями от соответствующих цветных светофильтров. Кроме того, путем преобразования формул 1-8 и 19-21, которые приспособлены под цветные светофильтры основных цветов, до соответствия цветным светофильтрам дополнительного типа, выведены представленные ниже формулы 27-33. Следует отметить, что искомые характеристики узкополосных фильтров являются такими же.
Кроме того, на Фиг.46 представлены спектральные характеристики чувствительности при использовании цветных светофильтров дополнительного типа, целевых полосовых фильтров и характеристики квазиполосового фильтра, рассчитанные по вышеприведенным формулам 27-33.
Нет необходимости добавлять, что при использовании цветных светофильтров дополнительного типа схемы S/H, показанные на Фиг.4, 42, соответственно применяются к G/Mg/Cy/Ye вместо R/G/B.
В соответствии с настоящим вариантом осуществления изобретения спектральное изображение, способное четко отображать рисунок сосудов, можно получать таким же образом, как в первом варианте осуществления изобретения. Кроме того, настоящий вариант осуществления изобретения допускает получение в полном объеме преимущества применения цветных светофильтров дополнительного типа.
Выше описаны различные варианты осуществления в соответствии с настоящим изобретением, однако настоящее изобретение допускает использование различных комбинаций вышеописанных вариантов осуществления изобретения. Кроме того, возможна реализация модификаций, не выходящих за пределы объема изобретения.
Например, для всех вышеописанных вариантов осуществления оператор может формировать новый квазиполосовой фильтр в процессе клинической практики или в другое время и использовать фильтр при клиническом применении. Другими словами, применительно к первому варианту осуществления изобретения, возможно обеспечение расчетной секции (не показанной), допускающей вычисление/расчет матричных коэффициентов, в секции 42 управления, показанной на Фиг.4, 42.
Соответственно, квазиполосовой фильтр, пригодный для получения спектрального изображения, необходимого оператору, может быть построен по схеме, допускающей его разработку заново путем введения условия с клавиатуры, обеспеченной на основной части 105 эндоскопического устройства, показанной на Фиг.3. Соответственно, возможно немедленное клиническое применение путем установки окончательного матричного коэффициента (согласованного с соответствующими элементами матрицы <A'> в формулах 21 и 33), выведенного применением поправочного коэффициента (согласованного с соответствующими элементами матрицы <K> в формулах 20 и 32) к вычисленному матричному коэффициенту (согласованному с соответствующими элементами матрицы <A> в формулах 19 и 31), в секцию 436 вычисления матриц, показанную на Фиг.4, 42.
На Фиг.47 показано завершение последовательности операций при клиническом применении. Для описания последовательности операций специальными терминами сначала оператор вводит информацию (например, полосу длин волн или тому подобное) об целевом полосовом фильтре с клавиатуры или подобного устройства. В ответ на этот ввод вычисляется матрица <A'> вместе с характеристиками источника света, цветных светофильтров в CCD или подобными характеристиками, заранее сохраняемыми в заданном запоминающем устройстве или подобном устройстве, и, как показано на Фиг.46, характеристики целевого полосового фильтра, а также результат вычисления (квазиполосовой фильтр) посредством матрицы <A'> отображаются на мониторе в виде спектральных диаграмм.
После подтверждения результата вычисления оператор производит соответствующие установки, при использовании вновь сформированной матрицы <A'>, и фактическое эндоскопическое изображение формируется с использованием матрицы <A'>. В то же время вновь сформированная матрица <A'> сохраняется в заданном запоминающем устройстве и может быть повторно применена в ответ на заданное действие оператора.
В результате, независимо от существующей матрицы <A'>, оператор может формировать новый полосовой фильтр исходя из личного опыта и т.п. Данный подход особенно эффективен при использовании в исследовательских целях.
Настоящее изобретение не ограничено вышеописанными вариантами осуществления и допускает осуществление различных изменений и модификаций, не выходящих за пределы объема настоящего изобретения.
Промышленная применимость
Устройство для наблюдения биологических объектов в соответствии с настоящим изобретением особенно полезно при применении в электронном эндоскопическом устройстве для получения биологической информации и выполнения подробных исследований биологической ткани.
Настоящая заявка основана на японской патентной заявке JP№ 2005-141534, поданной 13 мая 2005 г. в Японии, и на японской патентной заявке JP № 2005-154372, поданной 26 мая 2005 г. в Японии, содержание которых включено в настоящее описание, объем формулы изобретения и чертежи путем ссылки.