УСТРОЙСТВО ОБРАБОТКИ СИГНАЛОВ ДЛЯ УСТРОЙСТВА, ПРЕДНАЗНАЧЕННОГО ДЛЯ БИОЛОГИЧЕСКИХ НАБЛЮДЕНИЙ
METHOD OF SIGNAL PROCESSING FOR DEVICE INTENDED FOR BIOLOGICAL OBSERVATION

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству обработки сигналов для устройства, предназначенного для биологических наблюдений, которое использует сигнал цветного изображения, полученный путем считывания (снятия) изображения живого тела, и отображает изображения на мониторе в качестве спектрального изображения посредством обработки сигналов.
Уровень техники
Традиционно в качестве устройства для биологических наблюдений использовалось эндоскопическое устройство, которое излучает освещающий свет и получает эндоскопическое изображение внутри полости тела. В эндоскопическом устройстве такого рода электронный эндоскоп, имеющий средство получения изображения, которое направляет освещающий свет от источника света в полость тела, используя световод или подобное устройство, получает изображение объекта с помощью отраженного от него света и выполняет обработку сигналов, полученных от средства получения изображения, посредством видеопроцессора, и далее эндоскопическое изображение отображается на мониторе, для наблюдения области исследования у пациента или подобной области.
Когда обычное биологическое наблюдение ткани выполняется в эндоскопическом устройстве, при одном способе белый свет в видимой световой области излучается устройством источника света, свет покадрово излучается на объект через вращающийся фильтр R, G, В и т.п., например, отраженный свет покадрово синхронизируется видеопроцессором и изображение подвергается обработке, посредством чего получается цветное изображение. Когда обычное наблюдение биологической ткани выполняется в эндоскопическом устройстве при другом способе, цветные элементы распределяются на передней поверхности средства съема изображения, содержащегося в средстве съема изображения эндоскопа, белый свет в видимой области света излучается устройством источника света, изображение снимается (считывается) путем разделения отраженного света, полученного с помощью белого света, в соответствии с цветными компонентами с цветными элементами и обработка изображения выполняется с помощью видеопроцессора, посредством чего получают цветное изображение.
Поскольку биологическая ткань отличается по характеристике поглощения света и характеристике рассеивания в зависимости от длины волны излучаемого света, то, например, японская выложенная патентная заявка №2002-95635 описывает узкополосное эндоскопическое световое устройство, которое облучает биологическую ткань освещающим светом в видимой области света и последующим узкополосным RGB-светом с дискретными спектральными характеристиками и получает информацию о части биологической ткани на заданной глубине.
Японская выложенная патентная заявка №2003-93336 описывает электронное эндоскопическое устройство, которое применяет обработку сигналов к сигналу изображения, полученному путем излучения счета в видимой световой области, чтобы создать дискретное спектральное изображение, и получает информацию об изображении биологической ткани.
Однако, например, в устройстве, описанном в упомянутой выше японской выложенной патентной заявке №2003-93336, спектральное изображение получается путем обработки сигналов и фильтр для создания узкополосного RGB-света не требуется, но, поскольку полученное спектральное изображение просто выводится на монитор, возникает опасение, что изображение, отображаемое на мониторе, не станет изображением в цветном тоне, подходящем для наблюдения информации о ткани на заданной глубине биологической ткани.
В устройстве, описанном в японской выложенной патентной заявке №2002-95635, используется полосовой фильтр с оптической узкой полосой. Однако в устройстве, описанном в японской выложенной патентной заявке №2003-93336, узкополосный сигнал спектрального изображения (также называемый спектральным сигналом) создается путем обработки сигналов без использования оптического узкополосного фильтра.
Однако в устройстве, описанном в японской выложенной патентной заявке №2003-93336, обработка для создания спектрального сигнала, который получается в случае использования узкополосного полосового фильтра, выполняется путем обработки с электрическими вычислениями, используя для этого матричное вычисление для сигнала цветного изображения (соответствующего квазиполосовому фильтру), полученного в широком диапазоне длин волн без использования оптического узкополосного полосового фильтра, и поэтому спектральная характеристика освещающего света, который создается источником света и излучается на биологическую ткань, имеет большое влияние, но упомянутый пример прототипа описывает использование только одной лампы.
Поэтому имеет место недостаточное обеспечение точности или надежности электрически создаваемого спектрального сигнала.
Настоящее изобретение сделано с точки зрения описанных выше обстоятельств и его задача состоит в обеспечении устройства обработки сигналов для устройства для биологического наблюдения, которое может корректировать информацию о биологической ткани на заданной глубине, основанную на спектральном изображении, полученном путем обработки сигналов, чтобы отображать информацию в цветовом тоне, подходящем для наблюдения.
Дополнительно, задачей настоящего изобретения является обеспечение устройства для биологического наблюдения, содержащего функцию электрического создания спектрального сигнала из биологического сигнала и пригодного для получения спектрального сигнала с повышенной точностью или надежностью.
Сущность изобретения
Средства для решения проблем
Устройство обработки сигналов для устройства, предназначенного для биологического наблюдения, согласно первому аспекту настоящего изобретения является устройством обработки сигналов, предназначенным для устройства биологического наблюдения, содержащего осветительный модуль для излучения света на живое тело, которое является исследуемым объектом, и/или модуль управления обработкой сигналов для фотоэлектрического преобразования света, отраженного от живого тела, работа которого основана на освещающем свете, создаваемом освещающим модулем, для управления работой модуля съемки изображения, создающего снятый сигнал изображения, и для вывода снятого сигнала изображения на устройство отображения, и содержащего узел создания спектрального сигнала для создания спектрального сигнала, соответствующего изображению в узкой полосе оптического диапазона длин волн, из снятого сигнала изображения посредством обработки сигналов, и узел регулирования цветов для корректировки цветного тона для каждой из множества полос, формирующих спектральный сигнал при выводе спектрального сигнала на устройство отображения.
Устройство для биологического наблюдения согласно второму аспекту настоящего изобретения содержит для биологического наблюдения устройство фотоэлектрического преобразования света, отраженного от живого тела, основанного на освещающем свете, излученном на живое тело, которое является исследуемым объектом, управляющее работой модуля съемки изображения, создающего снятый сигнал изображения в широкой полосе, и выводящее снятый сигнал изображения на устройство отображения, узел создания спектрального сигнала, соответствующего изображению в узкой полосе оптических длин волн, из снятого сигнала изображения посредством обработки сигналов, узел регулировки цветов для корректировки цветного тона для каждой из множества полос, формирующих спектральный сигнал при выводе спектрального сигнала на устройство отображения, и множество источников света для излучения множества типов освещающего света, отличающихся друг от друга по спектральным характеристикам, в качестве освещающего света.
Краткое описание чертежей
Фиг.1 - концептуальная схема, показывающая прохождение сигнала при создании сигнала спектрального изображения из сигнала цветного изображения согласно первому варианту осуществления настоящего изобретения;
Фиг.2 - концептуальная схема, показывающая интегральное вычисление сигнала спектрального изображения согласно первому варианту осуществления настоящего изобретения;
Фиг.3 - общий вид, показывающий внешний вид электронного эндоскопического устройства согласно первому варианту осуществления настоящего изобретения;
Фиг.4 - блок-схема выполнения устройства электронного эндоскопа, показанного на фиг.3;
Фиг.5 - общий вид, показывающий внешний вид оптического модулятора, показанного на фиг.4;
Фиг.6 - схема, показывающая размещение цветных светофильтров, расположенных на поверхности датчика изображения на приборе с зарядовой связью (ПЗС), показанного на фиг.3;
Фиг.7 - спектральные характеристики чувствительности цветных светофильтров, показанных на фиг.6;
Фиг.8 - схема выполнения, показывающая выполнение узла матричных вычислений, показанного на фиг.4;
Фиг.9 - форма спектра, показывающая спектр источника света согласно первому варианту осуществления настоящего изобретения;
Фиг.10 - форма спектра, показывающая спектр отражения живого тела согласно первому варианту осуществления настоящего изобретения;
Фиг.11 - вид структуры в направлении вдоль слоя биологической ткани, которая должна наблюдаться электронным эндоскопическим устройством, показанным на фиг.4;
Фиг.12 - вид, поясняющий достижимое состояние освещающего света от электронного эндоскопического устройства, показанного на фиг.4, в направлении слоя биологической ткани;
Фиг.13 - спектральная характеристика каждой полосы белого света;
Фиг.14 - первое изображение для каждой полосы, полученное с помощью белого света согласно фиг.13;
Фиг.15 - второе изображение для каждой полосы, полученное с помощью белого света согласно фиг.13;
Фиг.16 - третье изображение для каждой полосы, полученное с помощью белого света согласно фиг.13;
Фиг.17 - спектральные характеристики спектральных изображений, созданных узлом вычисления матриц, показанным на фиг.8;
Фиг.18 - первое из спектральных изображений, показанных на фиг.17;
Фиг.19 - второе из спектральных изображений, показанных на фиг.17;
Фиг.20 - третье из спектральных изображений, показанных на фиг.17;
Фиг.21 - блок-схема, показывающая выполнение узла регулировки цветов, показанного на фиг.4;
Фиг.22 - диаграмма, объясняющая работу узла регулировки цветов, показанного на фиг.21;
Фиг.23 - блок-схема, показывающая выполнение модифицированного примера узла регулировки цветов, показанного на фиг.4;
Фиг.24 - спектральные характеристики для первого модифицированного примера спектральных изображений, показанных на фиг.17;
Фиг.25 - спектральные характеристики для второго модифицированного примера спектральных изображений, показанных на фиг.17;
Фиг.26 - спектральные характеристики для третьего модифицированного примера спектральных изображений, показанных на фиг.17;
Фиг.27 - блок-схема выполнения электронного эндоскопического устройства согласно второму варианту осуществления настоящего изобретения;
Фиг.28 - блок-схема выполнения узла матричных вычислений согласно третьему варианту осуществления настоящего изобретения;
Фиг.29 - блок-схема выполнения электронного эндоскопического устройства согласно четвертому варианту осуществления настоящего изобретения;
Фиг.30 - диаграмма, показывающая время хранения заряда для прибора с зарядовой связью, показанного на фиг.29;
Фиг.31 - диаграмма, показывающая время хранения заряда для прибора с зарядовой связью согласно пятому варианту осуществления настоящего изобретения;
Фиг.32 - диаграмма, показывающая расположение цветных светофильтров согласно шестому варианту осуществления настоящего изобретения;
Фиг.33 - характеристики спектральной чувствительности
цветных светофильтров, показанных на фиг.32;
Фиг.34 - блок-схема в случае матричного вычисления в
модифицированном примере согласно настоящему изобретению;
Фиг.35 - внешний вид жесткого эндоскопа;
Фиг.36 - внешний вид оральной камеры;
Фиг.37 - внешний вид камеры, используемой в контакте с поверхностью живого тела;
Фиг.38 - блок-схема, показывающая выполнение электронного эндоскопического устройства согласно седьмому варианту осуществления настоящего изобретения;
Фиг.39 - блок-схема, показывающая выполнение модуля источника света, показанного на фиг.38;
Фиг.40 - блок-схема, показывающая работу седьмого варианта осуществления изобретения;
Фиг.41 - блок-схема выполнения электронного эндоскопического устройства модифицированного примера седьмого варианта осуществления изобретения;
Фиг.42 - блок-схема, показывающая выполнение модуля источника света в восьмом варианте осуществления изобретения;
Фиг.43 - характеристическая диаграмма, показывающая спектральную характеристику излучения света ксеноновой лампы;
Фиг.44 - характеристическая диаграмма, показывающая спектральную характеристику излучения света ртутной лампы;
Фиг.45 - характерный пример распределения интенсивности освещающего света, излучаемого узлом смешивания света относительно длины волны во время режима наблюдения спектрального изображения;
Фиг.46 - блок-схема, показывающая выполнение электронного эндоскопического устройства согласно девятому варианту осуществления изобретения;
Фиг.47 - блок-схема, показывающая выполнение модуля источника света, показанного на фиг.46;
Фиг.48 - характеристический спектральный пример излучения света множеством светодиодов узла светодиодов, показанного на фиг.47;
Фиг.49 - характеристический пример излучения света во время режима наблюдения спектрального изображения согласно девятому варианту осуществления изобретения;
Фиг.50 - блок-схема, показывающая выполнение модуля источника света в модифицированном примере девятого варианта осуществления изобретения; и
Фиг.51 - характеристические примеры излучения света во время режима наблюдения спектрального изображения в модифицированном примере девятого варианта осуществления изобретения.
Предпочтительный вариант осуществления изобретения
Варианты осуществления настоящего изобретения будут описаны в дальнейшем со ссылкой на чертежи.
Первый вариант осуществления изобретения
Фиг.1-26 относятся к первому варианту осуществления настоящего изобретения. На фиг.1 приведена концептуальная схема, показывающая последовательность прохождения сигнала при создании сигнала спектрального изображения из сигнала цветного изображения. На фиг.2 приведена концептуальная схема, показывающая вычисление сигнала спектрального изображения путем интегрирования. На фиг.3 приведен общий вид, показывающий внешний вид электронного эндоскопического устройства. На фиг.4 приведена блок-схема электронного эндоскопического устройства, показанного на фиг.3. На фиг.5 приведен общий вид, показывающий внешний вид оптического модулятора, показанного на фиг.4. На фиг.6 приведена схема, показывающая размещение цветных светофильтров, расположенных на поверхности датчика съемки изображения прибора с зарядовой связью (ПЗС), показанного на фиг.3. На фиг.7 приведены спектральные характеристики чувствительности цветных светофильтров, показанных на фиг.6. На фиг.8 приведено выполнение узла матричных вычислений, показанного на фиг.4. На фиг.9 приведена форма спектра источника света. На фиг.10 приведен спектр отражения живого тела.
На фиг.11 представлена структура в направлении вдоль слоя биологической ткани, которая подлежит наблюдению устройством электронного эндоскопа, показанным на фиг.4. Фиг.12 поясняет достижимое состояние освещающего света от электронного эндоскопического устройства, показанного на фиг.4, в направлении слоя биологической ткани. На фиг.13 показана спектральная характеристика для каждой полосы белого света. На фиг.14 показано первое изображение для каждой полосы, полученное с помощью белого света со спектральными характеристиками, показанными на фиг.13. На фиг.15 показано второе изображение для каждой полосы, полученное с помощью белого света со спектральными характеристиками, показанными на фиг.13. На фиг.16 показано третье изображение для каждой полосы, полученное с помощью белого света со спектральными характеристиками, показанными на фиг.13. На фиг.17 показаны спектральные характеристики спектральных изображений, созданных узлом матричных вычислений, показанным на фиг.8. На фиг.18 показано первое спектральное изображение из изображений, показанных на фиг.17. На фиг.19 показано второе спектральное изображение из изображений, показанных на фиг.17. На фиг.20 показано третье спектральное изображение из изображений, показанных на фиг.17.
На фиг.21 показана блок-схема выполнения узла регулировки цветов, показанного на фиг.4. Фиг.22 поясняет работу узла регулировки цветов, показанного на фиг.21. На фиг.23 показана блок-схема, показывающая выполнение модифицированного примера узла регулировки цветов, показанного на фиг.4. На фиг.24 приведены спектральные характеристики для первого модифицированного примера спектральных изображений, показанных на фиг.17. На фиг.25 приведены спектральные характеристики для второго модифицированного примера спектральных изображений, показанных на фиг.17. На фиг.26 приведены спектральные характеристики для третьего модифицированного примера спектральных изображений, показанных на фиг.17.
В электронном эндоскопическом устройстве, являющемся устройством для биологического наблюдения в варианте осуществления настоящего изобретения, свет излучается на живое тело, которое является исследуемым объектом, от источника освещающего света и свет, отраженный от живого тела и основанный на освещающем свете, принимается твердотельным элементом датчика изображения, который является модулем датчика изображения, и подвергается фотоэлектрическому преобразованию, посредством которого создается сигнал датчика изображения, являющийся сигналом цветного изображения, и из сигнала датчика изображения с помощью обработки сигналов создается сигнал спектрального изображения, являющийся спектральным сигналом, соответствующим изображению в узкой полосе оптического диапазона.
Перед описанием первого варианта осуществления, соответствующего настоящему изобретению, здесь далее будет описан способ матричных вычислений, являющийся основой настоящего изобретения. Здесь, матрица означает предварительно определенный коэффициент, который используется при создании сигнала спектрального изображения как спектрального сигнала из сигнала цветного изображения, полученного для создания цветного изображения (в дальнейшем также называемого обычным изображением).
После описания способа матричных вычислений будет описан способ коррекции для получения более точного сигнала спектрального изображения, способ улучшения отношения "сигнал/шум" (S/N), который улучшает отношение "сигнал/шум" созданного сигнала спектрального изображения. Способ коррекции с улучшением отношения "сигнал/шум" может использоваться по мере необходимости. В дальнейшем векторы и матрицы будут выделяться полужирными символами или кавычками (например, матрица А обозначается как "полужирная буква А" или "А"), а другие слова будут записаны без выделения.
(Способ матричных вычислений)
На фиг.1 показана концептуальная схема, показывающая последовательность выполнения операций при создании сигнала спектрального изображения, эквивалентного изображению, соответствующему изображению в более узкой полосе оптического диапазона, полученному из сигнала цветного изображения (в этом случае, чтобы упростить объяснение, принимаются цвета R, G и В, а комбинация цветов G, Cy, Mg и Ye может быть принята в элементе твердотельного элемента съемки изображения для дополнительных цветов).
Сначала электронное эндоскопическое устройство преобразует цветовые характеристики чувствительности, являющиеся спектральными характеристиками чувствительности модулей съемки изображения цветов R, G и В, в числовые данные. В этом случае цветовые характеристики чувствительности R, G и В являются характеристиками зависимости выходного сигнала от длины волны, соответственно полученными, когда изображение белого объекта получают путем использования источника белого света.
Соответствующие цветовые характеристики чувствительности R, G и В показаны справа от соответствующих данных изображения в виде упрощенных графиков. Цветовые характеристики чувствительности R, G и В на этот момент соответственно устанавливаются как n-мерные вектор-столбцы "R", "G" и "В".
Затем электронное эндоскопическое устройство преобразует характеристики узкополосных фильтров F1, F2 и F3 как основные спектральные характеристики спектральных сигналов для желательного перевода, например, трех спектральных сигналов в числовые данных (электронное эндоскопическое устройство знает характеристики фильтров, которые могут эффективно извлекать структуру в качестве ожидаемой информации. Характеристики фильтров соответственно имеют полосы пропускания в диапазонах длин волн, по существу, от 590 до 610 нм, от 530 до 550 нм и от 400 до 430 нм).
Здесь "по существу" означает округление длины волны с точностью до 10 нм. Характеристики фильтров на этот момент установлены как n-мерные вектор-столбцы "F1", "F2" и "F3" соответственно. Оптимальный набор коэффициентов, являющийся приблизительным для следующего отношения, находится на основе полученных числовых данных.
Конкретно, находятся элементы матрицы, которая удовлетворяет следующей формуле 1.
[Формула 1]
Решение вышеупомянутой задачи оптимизации математически выполняется следующим образом. Когда матрица, выражающая цветовые характеристики чувствительности R, G и В, обозначена как "С", матрица, выражающая спектральную характеристику узкополосного фильтра, желательная для извлечения, обозначена как "F", и матрица коэффициентов, которая должна быть найдена при выполнении основного анализа составляющих или ортогонального разложения (или ортогонального преобразования), обозначаемая как "А",
[Формула 2]
решается. Соответственно, задача, показанная в Формуле (1), равна нахождению матрицы "А", которая удовлетворяет следующему соотношению.
[Формула 3]
Здесь в качестве числа n последовательностей точек как спектральных данных, выражающих спектральную характеристику, устанавливается n>3, поэтому формула (3) не является одномерным совместным уравнением, а дается как решение линейным методом минимальных квадратов. Конкретно, квазиинверсная матрица решается из формулы (3). Когда транспонированная матрица матрицы "С" обозначена как ”С'”, формула (3) становится формулой (4).
[Формула 4]
t
Поскольку ”СС” является квадратной матрицей n×n, формула (4) может рассматриваться как совместное уравнение относительно матрицы "А" и ее решение дается формулой 5.
[Формула 5]
Выполняя преобразование в левой части формулы (3) в отношении матрицы "А", найденной с помощью формулы (5), электронное эндоскопическое устройство может получить приближение характеристик узкополосных фильтров F1, F2 и F3, желаемых для извлечения. Вышесказанное является описанием способа матричных вычислений, являющегося основой настоящего изобретения.
Используя матрицу, вычисленную таким образом, узел 436 матричных вычислений, который будет описан позже, создает сигнал спектрального изображения из обычного сигнала цветного изображения.
(Способ коррекции)
Далее будет описан способ коррекции для нахождения более точного сигнала спектрального изображения.
В описанном выше объяснении способа матричных вычислений способ матричных вычислений применяется точно, когда световой поток, принятый твердотельным устройством съемки изображения, таким как прибор с зарядовой связью, является полностью белым светом (интенсивности на всех длинах волн одинаковы в видимом диапазоне). Конкретно, когда все выходные сигналы R, G и В одинаковы, получается оптимальная аппроксимация.
Однако при фактическом наблюдении с помощью эндоскопа световой поток для освещения (световой поток от источника света) является неполностью белым светом и спектр отражения от живого тела является неоднородным. Поэтому световой поток, принятый твердотельным элементом съемки изображения, не является белым светом (поскольку он окрашен, значения R, G и В - неодинаковы).
Соответственно, чтобы решить показанную в формуле (3) задачу более точно при фактической обработке, желательно рассмотреть спектральные характеристики падающего света как спектральные характеристики чувствительности излучающей части и характеристики отражения живого тела как набор характеристических спектральных данных объекта испытания в дополнение к цветовым характеристикам чувствительности R, G и В как спектральным характеристикам чувствительности модуля съемки изображения.
Здесь цветовые характеристики чувствительности (спектральные характеристики чувствительности модуля съемки изображения) обозначаются как R(λ), G(λ) и В(λ,) в одном примере спектральные характеристики падающего света (спектральные характеристики чувствительности модуля освещения) задаются как S(λ) и в одном примере характеристики отражения живого тела (набор характеристических спектральных данных объекта испытаний) задаются как Н(λ). Спектральные характеристики падающего света и характеристики отражения живого тела не всегда должны быть характеристиками устройства и объекта, с которыми проводится наблюдение, они могут быть общими характеристиками, которые, например, получены заранее.
R
G
B
Используя эти коэффициенты, коэффициенты коррекции k, k и k представляются формулой 6.
[Формула 6]
Когда матрица коррекции чувствительности обозначена как "К", "К" определяется следующим образом.
[Формула 7]
Соответственно, матрица коэффициентов "А" является такой, как показано далее, за счет добавления коррекции по формуле (7) к формуле (5).
[Формула 8]
Когда оптимизация фактически выполнена, часть оптимизированного распределения чувствительности, которая должна быть отрицательной, разрешается прибавить, используя тот факт, что когда спектральные характеристики чувствительности целевых фильтров (F1, F2, и F3 на фиг.1: основные спектральные характеристики) отрицательны, то при отображении на устройстве отображения они становятся нулевыми (конкретно, из числа спектральных характеристик чувствительности фильтров используются только части, имеющие положительные чувствительности). Чтобы создать узкополосные спектральные характеристики чувствительности из широкополосных спектральных характеристик чувствительности, электронное эндоскопическое устройство может создать компоненты, соответствующие полосам, имеющим чувствительность, путем прибавления отрицательных характеристик чувствительности к целевым характеристикам F1, F2 и F3, как показано в фиг.1.
(Способ улучшения отношения "сигнал/шум" (S/N))
Далее будет описан способ улучшения отношения "сигнал/шум" и точность созданного сигнала спектрального изображения. Способ улучшения отношения "сигнал/шум" дополнительно решает следующую проблему посредством добавления к описанному выше способу обработки.
(i) Если любой из исходных сигналов (R, G и В) в описанном выше способе матричных вычислений входит в насыщение, характеристики фильтров F1-F3 в способе обработки, вероятно, должны сильно отличаться от характеристик фильтров, которые могут эффективно извлекать структуру (идеальные характеристики) (когда фильтры F1-F3 создаются двумя сигналами из R, G и В, необходимо, чтобы оба исходных сигнала не находились в насыщении).
(ii) Во время преобразования из сигнала цветного изображения в сигнал спектрального изображения, узкополосный фильтр создается из широкополосного фильтра. Поэтому происходит ухудшение чувствительности, компонент созданного сигнала спектрального изображения становится мал и отношение "сигнал/шум" становится неблагоприятным.
В способе улучшения отношения "сигнал/шум" излучение освещающим светом выполняется отдельно несколько раз (например, n раз, где n - целое число 2 или больше) при одной регистрации (в одном кадре) обычного изображения (обычного цветного изображения), как показано на фиг.2. (Интенсивность излучения каждый раз может меняться. На фиг.2 интенсивности излучения выражаются от I0 до In. Это может быть реализовано только путем управления излучаемым светом.)
Таким образом, электронное эндоскопическое устройство может в первый раз сделать интенсивность освещения малой и, соответственно, может не допускать вхождения сигналов R, G и сигналы В в насыщение. Раздельные сигналы изображения, полученные за несколько раз, складываются в сумму из n сигналов на последующем этапе. Таким образом, электронное эндоскопическое устройство делает компонент сигнала большим и может улучшить отношение "сигнал/шум". На фиг.2 узлы интегрирования 438а-438с действуют как узлы регулировки качества изображения, которые улучшают отношение "сигнал/шум".
Вышеуказанное является объяснением способа матричных вычислений, лежащего в основе настоящего изобретения, способа коррекции для нахождения точного сигнала спектрального изображения, которая может выполняться с помощью способа матричных вычислений, и способа улучшения отношения "сигнал/шум" созданного сигнала спектрального изображения.
Далее здесь будет описан модифицированный пример описанного выше способа матричных вычислений.
(Модифицированный пример способа матричных вычислений)
Сигналы цветного изображения (спектральные характеристики чувствительности модуля съемки изображения) обозначены как R, G и В и расчетные сигналы спектрального изображения (основные спектральные характеристики) обозначены как F1, F2 и F3. Более строго, сигналы цветного изображения R, G и В являются функциями позиций x и y на изображении и поэтому они должны выражаться как, например, R (x, y), но такое обозначение будет здесь опущено.
Цель состоит в том, чтобы вычислить матрицу "А" размером три на три для вычисления F1, F2 и F3 из R, G и В. Если "А" вычислена, становится возможным вычисление F1, F2 и F3 из R G и В по следующей формуле (9).
[Формула 9]
Далее здесь будет определено выражение последующих данных.
t
t
Спектральные характеристики исследуемого объекта: Н(λ), "Н"=(Н(λ2), H(λ2), …, Н(λn)), где λ означает длину волны, и t обозначает транспонирование при вычислении матрицы. Аналогично, спектральные характеристики освещающего света: S(λ), "S"=(S(λ2), S(λ2), …, S(λn)).
t
Спектральные характеристики чувствительности прибора с зарядовой связью: J(λ), "J"=(J(λ2), J(λ2), …, J(λn)). Спектральные характеристики фильтров, выполняющих разделение цветов: в случае основных цветов:
t
R(λ), "R"=(R(λ2), R(λ2), …, R(λn))
t
G(λ), "G"=(G(λ2), G(λ2), …, G(λn))
t
B(λ), "B"=(B(λ2), B(λ2), …, B(λn))
"R", "G" и "В" организуются в матрицу "С", как показано в Формуле (10).
[Формула 10]
Сигналы изображения R, G и В и спектральные сигналы F1, F2 и F3 выражаются с помощью матриц следующим образом.
[Формула 11]
Сигнал изображения "Р" вычисляется по следующей формуле.
[Формула 12]
Когда фильтр разделения цветов для получения "Q" обозначается как "F", подобно Формуле (12),
[Формула 13]
Здесь, если предполагается, что спектральное отражение исследуемого объекта может быть выражено приближением с линейной суммой множества основных (трех в данном случае) спектральных характеристик, в качестве важного первого допущения, "Н" может быть выражено следующим образом:
[Формула 14]
Здесь "D" означает матрицу, имеющую три основных спектра D1(λ), D2(λ) и D3 (λ) в качестве векторов-столбцов, "W" означает весовой коэффициент, выражающий вклад D1(λ), D2(λ) и D3(λ) в "Н". Когда цветной тон испытываемого объекта варьируется не слишком сильно, известно, как выполнить аппроксимацию.
Когда формула (14) подставляется в формулу (12), получается следующая формула.
[Формула 15]
Здесь матрица "М" размером 3×3 представляет матрицу, в которой результаты матричных вычислений "CSJD" организованы в одну матрицу.
Аналогично, формула (14) подставляется в формулу (13) и получается следующая формула.
[Формула 16]
Аналогично, "M' " представляет матрицу, в которой результаты матричных вычислений " FSJD " организованы в одну матрицу.
В конечном счете, "W" исключается из формулы (15) и формулы (16) и получается следующая формула.
[Формула 17]
-1
-1
"М" представляет обратную матрицу матрицы "М". В конечном счете, "M' М" становится матрицей 3×3, и матрица "А" является целью вычисления.
Здесь, как важное второе допущение, принимается, что, когда разделение цветов выполняется с помощью полосового фильтра, спектральная характеристика исследуемого объекта в полосе может аппроксимироваться одним числовым значением. Конкретно,
[Формула 18]
Рассмотрение случая, в котором полоса пропускания для разделения цветов не является всей полосой пропускания, а имеет чувствительность в других полосах, когда допущение установлено, если каждое "W" в формуле (15) и формуле (16) рассматривается как описанное выше "Н", то та же самая матрица, что и в формуле (17), может быть окончательно вычислена.
Далее конкретное выполнение электронного эндоскопического устройства как устройства для биологического наблюдения в соответствии с одним из вариантов осуществления настоящего изобретения будет описано со ссылкой на фиг.3. Другие варианты осуществления, которые будут описаны позже, имеют схожие выполнения.
Как показано на фиг.3, электронное эндоскопическое устройство 100 как устройство для биологического наблюдения имеет эндоскоп 101 в качестве модуля для наблюдения, аппаратную часть 105 эндоскопического устройства и контрольный монитор 106 в качестве устройства отображения или выходного устройства отображения. Эндоскоп 101 содержит, главным образом, вставку 102, которая вставляется в полость тела исследуемого объекта, дистальную концевую часть 103, предусмотренную на дистальном конце вставки 102, и угловую рабочую часть 104, которая обеспечивается на стороне, обращенной к дистальной части вставки 102, чтобы управлять изгибом или подобной операцией дистальной концевой части 103.
Изображение исследуемого объекта, полученное с помощью эндоскопа 101, который является гибким эндоскопом, подвергается предварительно определенной обработке сигналов в аппаратной части 105 эндоскопического устройства и обработанное изображение отображается на контрольном мониторе 106.
Далее аппаратная часть 105 эндоскопического устройства будет описана подробно со ссылкой на фиг.4. На фиг.4 приведена блок-схема электронного эндоскопического устройства 100.
Как показано на фиг.4, аппаратная часть 105 эндоскопического устройства образована, главным образом, модулем 41 источника света в качестве модуля освещения, блоком 42 управления и устройством 43 обработки в аппаратной части. Блок 42 управления и устройство 43 обработки в аппаратной части образуют блок управления обработкой сигнала, который управляет работой CDD 21, модулем 41 источника света и/или модулем съемки изображения и выводит снятый сигнал изображения на контрольный монитор 106, который является устройством отображения.
В данном варианте осуществления объяснение будет сделано с учетом предварительного условия, что модуль 41 источника света и устройство 43 обработки в аппаратной части, которое выполняет обработку изображения и т.п., содержатся в аппаратной части 105 эндоскопического устройства, которая является единым блоком, но модуль 41 источника света и устройство 43 обработки в аппаратной части могут быть выполнены с возможностью их разъединения и использования в качестве модуля, отдельного от аппаратной части 105 эндоскопического устройства.
Модуль 41 источника света, который является модулем освещения, соединен с модулем 42 управления 42 и эндоскопом 101 и выполняет облучение белым светом (включая случай неполностью белого света) с предварительно определенным количеством света, основываясь на управляющем сигнале от модуля 42 управления. Модуль 41 источника света имеет лампу 15 в качестве источника белого света, оптический модулятор 16 для регулировки количества света и узел 17 схемы управления оптическим модулятором для управления оптическим модулятором 16.
Оптический модулятор 16 имеет конструкцию, в которой зубчатые части с заранее определенной длиной, расположенные по длине окружности, обеспечиваются на структуре в форме диска с точкой 17а в качестве центра и заранее определенным радиусом r0, как показано на фиг.5. Центральная точка 17а связана с вращающим валом, предусмотренным в узле 17 схемы управления оптическим модулятором. Конкретно, оптический модулятор 16 совершает вращательное движение вокруг средней точки 17а. Многочисленные зубчатые части имеют предварительно определенные радиусы. На фиг.5 зубчатая часть имеет максимальную длину, равную 2πr0×2θ0 градусов/360 градусов, и ширину r0-ra между радиусом r0 и радиусом ra. Точно так же зубчатая часть имеет максимальную длину, равную 2πra×2θ1 градусов/360 градусов, и ширину ra-rb между радиусом ra и радиусом rb, и зубчатая часть имеет максимальную длину, равную 2πrb×2θ2 градусов/360 градусов, и ширину rb-rc между радиусом rb и радиусом rc (соответствующие радиусы удовлетворяют условию r0>ra>rb>rc).
Длина и ширина каждой зубчатой части в оптическом модуляторе 16 являются только примерами и не ограничиваются существующим вариантом осуществления.
Оптический модулятор 16 имеет выступающий элемент 160а, выступающий в направлении радиуса, по существу, по центру зубцов. Блок 42 управления минимизирует промежуток света, излучаемого в одном кадре до и в одном кадре после посредством переключения кадра, когда свет экранируется выступающим элементом 160а, и минимизирует размывание за счет движения исследуемого объекта.
Узел 17 схемы управления оптического модулятора выполнен с возможностью перемещения в направлении лампы 15, как показано стрелками на фиг.4.
Конкретно, блок 42 управления может изменять расстояние R между центром 17а вращения оптического модулятора 16 и световым потоком (показанным пунктирной линией круга) от лампы, показанной на фиг.5. Например, в состоянии, показанном на фиг.5, расстояние R весьма мало и поэтому количество освещающего света в этом состоянии мало. Делая расстояние R большим (перемещая узел 17 схемы управления оптического модулятора дальше от лампы 15), зубчатая часть, через которую может проходить поток света, становится длиннее. Поэтому время излучения становится больше и блок 42 управления может делать количество освещающего света большим.
Как описано выше, в электронном эндоскопическом устройстве вновь созданное спектральное изображение, вероятно, будет неудовлетворительным из-за отношения "сигнал/шум", и когда какой-либо сигнал из сигналов R, G и В, необходимых для создания спектрального изображения, входит в насыщение, правильное вычисление не происходит. Поэтому количество освещающего света должно управляться. Оптический модулятор 16 и узел 17 схемы управления оптического модулятора выполняют регулирование количества света.
Эндоскоп 101, связанный с модулем 41 источника света через соединитель 11, содержит линзу 19 объектива и твердотельное устройство 21 съемки изображения на приборе с зарядовой связью (в дальнейшем, упоминается просто как ПЗС), расположенное на дистальном конце 103. ПЗС в настоящем варианте осуществления имеет однопанельный тип (ПЗС, используемый для электронного эндоскопа одновременного типа) и предназначен для основных цветов. На фиг.6 показано расположение цветных светофильтров, находящихся на поверхности ПЗС датчика изображения. Цветные светофильтры, находящиеся на поверхности элемента съемки изображения ПЗС, образуют цветоделительную часть. На фиг.7 показаны соответствующие спектральные характеристики чувствительности цветных фильтров R, G и В, показанных на фиг.6.
Как показано на фиг.4, вставка 102 содержит световод 14, который направляет свет, излучаемый модулем 41 источника света, к дистальному концу 103, сигнальную линию для передачи изображения исследуемого объекта, полученного ПЗС, на устройство 43 обработки аппаратной части, канал 28 введения щипцов для выполнения лечения и т.п. Отверстие 29 для вставки щипцов в канал 28 для щипцов предусмотрено вблизи рабочей части 104.
Устройство 43 обработки в аппаратной части в качестве устройства обработки сигналов для устройства для биологического наблюдения присоединяется к эндоскопу 101 через соединитель 11 подобно модулю 41 источника света. Устройство 43 обработки в аппаратной части содержит схему 431 управления ПЗС для приведения в движение ПЗС 21. Устройство 43 обработки в аппаратной части имеет систему обработки сигнала яркости и систему обработки сигналов цветов в качестве систем тракта прохождения сигнала для получения обычного изображения.
Система обработки сигнала яркости имеет узел 432 коррекции краевого эффекта, который связан с ПЗС 21, чтобы выполнять коррекцию краевого эффекта, и узел 434 обработки сигнала яркости, который создает сигнал яркости из данных, скорректированных узлом 432 коррекции краевого эффекта. Система обработки сигналов цветов имеет схемы 433а-433с выборки-запоминания (схемы S/H), которые соединены с ПЗС 21, и выполняет выборку сигналов, полученных в ПЗС 21, чтобы создать сигналы R, G и В, и узел 435 обработки сигналов цветов, который соединен с выходами схем 433а-433с выборки-запоминания, чтобы выполнять создание цветных сигналов.
Предусмотрен узел 437 создания обычного изображения, который создает одно обычное изображение из выходного сигнала системы обработки сигналов сигнала яркости и из выходного сигнала системы обработки сигналов цветов, и сигнал Y, сигнал R-Y и сигнал B-Y посылаются на контрольный монитор 106 через переключающий узел 439 от узла 437 создания обычного изображения.
При этом в качестве системы тракта прохождения сигнала для получения спектрального изображения обеспечивается узел 436 матричных вычислений, который имеет выходы (RGB-сигналы) схем 433а-433с выборки-запоминания сигналов, введенных в них, и выполняет заранее определенное вычисление матрицы для сигналов R, G и В. Узел 436 матричных вычислений образует узел создания спектрального сигнала. Вычисление матрицы означает обработку с выполнением сложения или подобной операции для сигналов цветного изображения, и умножением их на матрицу, найденную описанным выше способом матричных вычислений (или его видоизмененным примером).
В настоящем варианте осуществления, как способ матричных вычислений, будет описан способ, использующий обработку в электронной схеме (обработку с помощью аппаратных средств, используя электронную схему), но может применяться и способ, использующий числовую обработку данных (обработка с помощью программного обеспечения, используя программу), как в варианте осуществления, который будет описан позже. При выполнении матричных вычислений эти способы могут объединяться.
На фиг.8 показана схема узла 436 матричных вычислений. Сигналы R, G и В поступают на вход усилителей 32а-32с через группы резисторов 31а-31с. Соответствующие группы резисторов имеют множество резисторов, на которые соответственно подаются сигналы R, G и В, и значения соответствующих резисторов являются значениями, соответствующими коэффициентам матрицы. Конкретно, узел 436 матричных вычислений имеет структуру, в которой коэффициенты усиления сигналов R, G и В изменяются соответствующими резисторами, и сигналы складываются (могут вычитаться) с помощью усилителей. Выходы соответствующих усилителей 32а-32с становятся выходами узла 436 матричных вычислений. Конкретно, узел 436 матричных вычислений выполняет так называемую обработку сложением со взвешиванием. Значения резисторов для соответствующих резисторов, используемых здесь, могут быть сделаны переменными.
Выходы узла 436 матричных вычислений соответственно соединены с интегрирующими узлами 438а-438с. После того, как в них выполнено интегрирование, вычисление регулировки цветов, как будет описано далее, выполняется для соответствующих сигналов спектральных изображений ΣF1-ΣF3 в узле 440 регулировки цветов и сигналы изображения спектральных цветовых каналов Rch, Gch и Bch создаются из сигналов спектральных изображений ΣF1-ΣF3. Созданные сигналы изображения спектральных цветовых каналов Rch, Gch и Bch посылаются на цветовые каналы R(ch), G(ch) и B(ch) цепей R, G и В контрольного монитора 106 через переключающий узел 439. Структура узла 440 регулировки цветов будет описана ниже.
Переключающий узел 439 выполняет переключение обычного изображения и спектрального изображения и может выполнять переключение спектральных изображений для отображения на мониторе. Конкретно, оператор может заставить контрольный монитор 106 отображать изображение, выбирая режим обычного изображения, спектрального изображения цветовых каналов с помощью цветового канала R(ch), спектрального изображения цветового канала с помощью цветового канала G(ch) и спектрального изображения цветового канала с помощью цветового канала B(ch). Может быть принята структура, при которой любые два или более изображений могут отображаться на контрольном мониторе 106 одновременно. В частности, когда обычное изображение и спектральное изображение цветового канала (здесь дальше также называемое спектральным изображением канала) могут быть сделаны отображаемыми одновременно, обычное изображение при обычно выполняемом наблюдении может быть легко поставлено в соответствие спектральному изображению канала и наблюдение может выполняться посредством объединения с соответствующими характеристиками (обычное изображение характеризуется тем, что оно имеет хроматичность, близкую к обычному наблюдению невооруженным глазом, и легко наблюдается. Спектральное изображение канала характеризуется тем, что может наблюдаться предварительно определенный объем или что-либо подобное, что не может наблюдаться в обычном изображении), которые очень полезны при диагностике.
Оптическое устройство 101, которым является эндоскоп, выполненный в виде гибкого эндоскопа, используемого в настоящем варианте осуществления, может быть эндоскопом, выполненным как жесткий эндоскоп типа эндоскопа 101а, показанного, например, на фиг.35.
Эндоскоп 101 имеет жесткую вставку 102а, которая вводится в полость исследуемого объекта, и телевизионную камеру 103а, выполненную с возможностью присоединения и отсоединения проксимального конца вставки 102а.
Вставка 102а имеет кабель 112, выполненный с возможностью присоединения и отсоединения модуля 41 источника света в регистрирующей части 105 устройства эндоскопа. Световоды, не показанные на чертеже, которые направляют излучаемый свет от модуля 41 источника света к дистальному концу вставки 102а, обеспечиваются внутри вставки 102а и кабеля 112.
Дополнительно, дистальный конец вставки 102а имеет непоказанную оптическую систему с объективом для формирования изображения исследуемого объекта. Вставка 102а предусмотрена на проксимальном конце оптической системы с объективом и имеет объектив переноса изображения (не показан) в области между дистальным концом и проксимальным концом.
Поскольку вставка 102а имеет описанную выше конструкцию, изображение исследуемого объекта формируется на поверхности объектива переноса на дистальном конце оптической системой с объективом и после этого изображение переносится через группу линз объектива переноса. Свет перенесенного изображения исследуемого объекта фокусируется на ПЗС (не показан) телевизионной камеры 103а, предусмотренной на задней поверхности группы линз объектива переноса. ПЗС выводит сфокусированное изображение исследуемого объекта в виде снятого сигнала изображения.
Телевизионная камера 103а имеет кабель 111, выполненный с возможностью подключения к устройству 43 обработки в аппаратной части и отключения от аппаратной части 105 эндоскопического устройства. При такой конструкции телевизионная камера 103а выводит снятый сигнал изображения на устройство 43 обработки в аппаратной части через кабель 111.
Эндоскоп 101, используемый в настоящем варианте осуществления изобретения, может быть выполнен в виде оральной камеры, такой как, например, оптическое устройство 201, для наблюдения, показанной на фиг.36.
Оптическое устройство 201 для наблюдения имеет на дистальном конце источник света типа светодиода, не показанный на чертеже, который излучает освещающий свет, по существу подобный модулю 41 источника света, оптическую систему с объективом, не показанную на чертеже, которая формирует изображение исследуемого объекта, освещенного источником света, ПЗС, не показанный на чертеже, который обеспечивается в месте формирования изображения оптической системой с объективом и выводит полученное изображение исследуемого объекта в качестве снятого сигнала изображения, и цветной светофильтр, не показанный на чертеже, предусмотренный в ПЗС, и имеет на проксимальном конце кабель 201а с возможностью его подключения и отключения от устройства 43 обработки в аппаратной части.
Эндоскоп 101, используемый в настоящем варианте осуществления, может быть выполнен в виде камеры, которая используется при контакте с поверхностью живого тела, такой как оптическое устройство 301, показанной на фиг.37.
Оптическое устройство 301 содержит контактную часть 301а, снабженную источником света типа светодиода, не показанным на чертеже, который излучает освещающий свет и, по существу, подобен модулю 41 источника света, оптическую систему с объективом, не показанную на чертеже, который формирует изображение исследуемого объекта, освещенного источником света, ПЗС, не показанный на чертеже, который обеспечивается в месте формирования изображения оптической системой с объективом и выводит полученное изображение исследуемого объекта в качестве снятого сигнала изображения, и цветной светофильтр, не показанный на чертеже, предусмотренный в ПЗС, и кабель 301b с возможностью его подключения и отключения от устройства 43 обработки аппаратной части, который передает снятый сигнал изображения от контактной части 301а к устройству 43 обработки в аппаратной части.
Далее работа электронного эндоскопического устройства 100 в настоящем варианте осуществления изобретения будет описана подробно со ссылкой на фиг.4.
Здесь далее первой будет описана работа при наблюдении обычного изображения, и затем - работа при наблюдении спектрального изображения.
Сначала будет описана работа модуля 41 источника света. На основе сигнала управления от блока 42 управления узел 17 схемы управления оптического модулятора устанавливается в предварительно определенное положение и вращает оптический модулятор 16. Световой поток от лампы 15 проходит через зубчатую часть оптического модулятора 16, собирается на входящем конце световода 14, который является оптоволоконным кабелем, предусмотренным в соединителе 11, являющемся частью, соединяющей эндоскоп 101 и модуль 41 источника света с помощью линзы конденсора.
Собранный световой поток проходит через световод 14 и излучается в полость тела исследуемого объекта осветительной оптической системой, обеспечиваемой на дистальном конце 103. Освещающий световой поток отражается в теле исследуемого объекта, и сигналы собираются в соответствии с цветными светофильтрами, показанными на фиг.6, в ПЗС 21 через линзу 19 объектива.
Собранные сигналы вводятся параллельно в описанную выше систему обработки сигнала яркости и систему обработки цветных сигналов. В узле 432 коррекции краевого эффекта системы сигнала яркости сигналы, собранные в соответствии с цветными фильтрами, складываются и вводятся для каждого пиксела и после коррекции краевого эффекта они вводятся в узел 434 обработки сигналов сигнала яркости. В узле 434 обработки сигнала яркости сигнал яркости создается и вводится в узел 437 создания обычного изображения.
При этом сигналы, собранные в ПЗС 21, вводятся в схемы 433а-433с выборки-запоминания в соответствии с цветными фильтрами, и сигналы R, G и В создаются соответственно. Дополнительно, из сигналов R, G и В цветовые сигналы создаются в узле 435 обработки цветовых сигналов, затем в узле 437 создания обычного изображения сигнал Y, сигнал R-Y и сигнал B-Y создаются из сигнала яркости и цветовых сигналов и обычное изображение исследуемого объекта отображается на контрольном мониторе 106 через переключающий узел 439.
Далее будет описана работа при наблюдении спектрального изображения. Компоненты, которые выполняют те же самые операции, что и при наблюдении обычного изображения, будут здесь опущены.
Оператор выполняет команду наблюдения спектрального изображения из обычного изображения, используя клавиатуру, предусмотренную в аппаратной части 105 эндоскопического устройства, или переключатель или тому подобное, предусмотренное в рабочей части 104 эндоскопа 101. В это время блок 42 управления изменяет состояние модуля 41 источника света и устройства 43 обработки в аппаратной части.
Более конкретно, блок 42 управления изменяет количество света, излучаемое модулем 41 источника света, в соответствии с необходимостью. Как описано выше, насыщение выходного сигнала ПЗС 21 нежелательно и поэтому количество освещающего света на время наблюдения спектрального изображения делается небольшим по сравнению с тем временем, когда наблюдается обычное изображение. Блок 42 управления может управлять количеством света так, чтобы выходной сигнал от ПЗС не входил в насыщение, и может изменять количество освещающего света в диапазоне, в котором выходной сигнал не находится в насыщении.
При изменении сигнала управления на устройство 43 обработки в аппаратной части выходной сигнал переключающего узла 439 переключается с выхода узла 437 создания обычного изображения на выход узла 440 регулировки цветов. Выходные сигналы схем 433а-433с выборки-запоминания подвергаются усилению и обработке со сложением в узле 436 матричных вычислений и выводятся на узлы 438а-438с интегрирования в соответствии с их полосами и далее после выполнения процесса интегрирования выводятся на узел 440 регулировки цветов. Даже когда количество освещающего света делается малым с помощью оптического модулятора 16, интенсивность сигналов может быть увеличена, как показано на фиг.2, путем запоминания и интегрирования сигналов в узлах 438а-438с интегрирования и спектральное изображение может быть улучшено по отношению "сигнал/шум".
Здесь далее будет описана конкретная обработка матрицы в узле 436 матричных вычислений в настоящем варианте осуществления изобретения. Когда полосовые фильтры (в дальнейшем называемые квазиполосовыми фильтрами), близкие к полосовым фильтрам F1-F3 с идеально узкой полосой пропускания, показанным на фиг.1 (в этом случае, соответствующие области длин волн передачи установлены следующим образом F1: 590 - 620 нм, F2: 520 - 560 нм и F3: 400 - 440 нм), должны создаваться по спектральным характеристикам чувствительности цветных фильтров R, G и В, показанных на фиг.7 сплошными линиями, в настоящем варианте осуществления приведенная ниже матрица является оптимальной по содержанию, показанному в описанных выше формулах (1)-(5).
[Формула 19]
Дополнительно, когда коррекция сделана из содержания, показанного в формуле (6) и формуле (7), получаются следующие коэффициенты коррекции.
[Формула 20]
Используется предварительная информация, что спектр S(λ) источника света, показанного в формуле (6), является таким, как показано на фиг.9, и спектр отражения H(λ) живого тела, показанный в формуле (7), которому уделяется внимание, является таким, как показано на фиг.10.
Соответственно, обработка, выполненная в узле 436 матричных вычислений, является математическим эквивалентом нижеследующих матричных вычислений.
[Формула 21]
Выполняя вычисление матрицы, получают характеристики квазифильтров (показаны как квазифильтры F1-F3 на фиг.7). Конкретно, описанная выше обработка матриц создает сигналы спектрального изображения, используя квазиполосовые фильтры (матрица), созданные заранее, как описано выше для сигналов цветного изображения.
Здесь далее будет показан один пример изображения эндоскопа, созданный с помощью характеристик квазифильтров.
Как показано на фиг.11, ткань 45 в полости тела часто имеет распределенную поглощающую структуру различных кровеносных сосудов и т.п., например, в направлении глубины. Многочисленные капиллярные сосуды 46 распределены, главным образом, вблизи поверхностного слоя слизистой оболочки, а кровеносные сосуды 47, более толстые, чем капиллярные сосуды, в дополнение к капиллярным сосудам распределены в промежуточном слое, находящемся глубже, чем поверхностный слой слизистой оболочки. Более толстые кровеносные сосуды 48 дополнительно распределены в еще более глубоком слое.
При этом глубина проникновения света в направлении глубины по отношению к ткани 45 в полости тела зависит от длины волны света, и поскольку свет, используемый для освещения, использует видимый диапазон, в случае света с короткой длиной волны типа синего света (В), свет достигает только области вблизи поверхностного слоя из-за характеристики поглощения и характеристики рассеивания в биологической ткани, свет подвергается поглощению и рассеиванию на глубину до поверхностного уровня, и свет, идущий от поверхности, наблюдается, как показано в фиг.12. В случае зеленого света (G) с большей длиной волны, чем у синего света (В), свет проникает до более глубоких мест, чем те, которых достигает синий свет (В), и подвергается поглощению и рассеиванию в этом диапазоне глубин, и наблюдается свет, идущий от поверхности. Дополнительно, в случае красного света (R) с более длинной длиной волны, чем у зеленого света (G), свет проникает до еще большей глубины.
Поскольку соответствующие диапазоны длин волн для света R, G и В во время обычного наблюдения ткани 45 в полости тела накладываются на друг друга, как показано на фиг.13,
(1) в сигнале датчика изображения, получаемом с помощью ПЗС 21, используя полосу В света, изображение, получаемое в полосе, имеет информацию о поверхностном и промежуточном слое ткани, в том числе получается много информации о ткани в поверхностном слое, как показано на фиг.14,
(2) в снятом сигнале изображения, получаемом с помощью ПЗС 21, используя полосу G света, изображение, получаемое в полосе, имеет информацию о поверхностном и промежуточном слое ткани, в том числе получается много информации о ткани в промежуточном слое, как показано на фиг.15, и
(3) в снятом сигнале изображения, получаемом с помощью ПЗС 21, используя полосу R света, изображение, получаемое в полосе, имеет информацию о промежуточном и глубоком слое ткани, в том числе получается много информации о ткани в глубоком слое, как показано на фиг.16.
Посредством выполнения обработки сигналов для R, G и В снятых сигналов изображения с помощью аппаратной части 105 эндоскопического устройства может быть получено эндоскопическое изображение с желательным или естественным воспроизведением цветов.
Матричная обработка в описанном выше узле 436 матричных вычислений создает сигналы спектрального изображения, используя квазиполосовые фильтры (матрицы), созданные заранее, как описано выше для сигналов цветного изображения. Используя квазиполосовые фильтры F1-F3 с дискретными и узкополосными спектральными характеристиками, способными к извлечению желаемой информации о слоях ткани на глубине, как показано на фиг.17, получаются, например, сигналы F1-F3 спектрального изображения. Поскольку соответствующие диапазоны длин волн квазиполосовых фильтров F1-F3 не накладываются друг на друга, как показано на фиг.17,
(4) в сигнале F3 спектрального изображения, получаемого с помощью квазиполосового фильтра F3, получается изображение в полосе, имеющее информацию о ткани в поверхностном слое, как показано на фиг.18, в сигнале F2 спектрального изображения, получаемого с помощью квазиполосового фильтра F2, получается изображение в полосе, имеющее информацию о ткани в промежуточном слое, как показано на фиг.19, и в сигнале F1 спектрального изображения, получаемого с помощью квазиполосового фильтра F1, получается изображение в полосе, имеющее информацию о ткани в глубоком слое, как показано на фиг.20.
Далее, для сигналов F1-F3 спектрального изображения, полученных таким образом, узел 440 регулировки цветов присваивает сигнал F1 спектрального изображения цветовому каналу R(ch), сигнал F2 спектрального изображения цветовому каналу G(ch), и сигнал F3 спектрального изображения цветовому каналу B(ch) соответственно, как пример самого простого преобразования цветов, и выводит их на контрольный монитор 106 через переключающий узел 439.
Узел 440 регулировки цветов с помощью схемы 440а обработки с преобразованием цветов содержит матричную схему 61 размером 3 на 3, три комплекта таблиц преобразования (LUT) 62а, 62b, 62с, 63а, 63b и 63с, установленных перед и после матричной схемы 61 размером 3 на 3, и схему 64 изменения коэффициентов, которая изменяет данные LUT 62а, 62b, 62с, 63а, 63b и 63с и коэффициенты матричной схемы 61 размером 3 на 3, как показано на фиг.21.
Для сигналов F1-F3 спектрального изображения, которые вводятся на схему 440а обработки с преобразованием цветов, инверсная гамма(γ)-коррекция, обработка с нелинейным преобразованием контрастности и т.п. выполняются для данных каждой полосы с помощью таблиц преобразования (LUT) 62а, 62b и 62с.
Далее, после того, как преобразование цветов выполнено матричной схемой 61 размером 3 на 3, обработка с использованием гамма(γ)-коррекции и соответствующим преобразованием тонов выполняется на последующем этапе в LUT 63а, 63b и 63с.
Табличные данные LUT 62а, 62b, 62с, 63а, 63b и 63с и коэффициенты матричной схемы 61 размером 3 на 3 могут изменяться схемой 64 изменения коэффициентов.
Изменение с помощью схемы 64 изменения коэффициентов выполняется на основе сигнала управления переключателя преобразования при обработке (не показан), предусмотренного в рабочей части или подобной части эндоскопа 101.
Схема 64 изменения коэффициентов, которая принимает эти сигналы управления, запрашивает соответствующие данные из данных коэффициентов, заранее записанных в узле 440 регулировки цветов, и перезаписывает существующие коэффициенты схемы, используя эти данные.
Далее будет описано конкретное содержание обработки с преобразованием цветов. Формула (22) показывает пример формулы преобразования цветов.
[Формула 22]
Обработка по формуле (22) является преобразованием цветов, при котором сигналы F1-F3 спектрального изображения назначаются сигналам Rch, Gch и Bch изображения спектральных каналов в порядке длины волны, самая короткая длина волны следует первой.
Когда наблюдение осуществляется с помощью каналов R(ch), G(ch) и B(ch) цветов цветного изображения, получается изображение, показанное, например, на фиг.22. Крупный кровеносный сосуд находится на большой глубине, сигнал F3 спектрального изображения отражается и крупный кровеносный сосуд показывается как цветное изображение в синем цвете как предварительно определенном целевом цвете. Сосудистые сетки около промежуточного слоя показываются как цветное изображение в красном цвете как предварительно определенном целевом цвете, поскольку сигнал F2 спектрального изображения отражается интенсивно. Среди сосудистых сеток, те, которые присутствуют около поверхности слизистой оболочки, представляются в желтом цвете как предварительно определенном целевом цвете.
Изменение в форме вблизи поверхности слизистой оболочки особенно важно для обнаружения и дифференциальной диагностики на ранней стадии поражения. Однако желтый цвет в качестве предварительно определенного целевого цвета имеет тенденцию быть малоконтрастным по сравнению с фоновой слизистой оболочкой и плохо видимым.
Таким образом, чтобы воспроизвести выбранный цвет вблизи поверхности слизистой оболочки более отчетливо, становится эффективным преобразование, показанное в формуле (23).
[Формула 23]
Обработка по формуле (23) является примером преобразования, в котором данные, созданные путем подмешивания сигнала F1 спектрального изображения в сигнал F2 спектрального изображения при постоянном соотношении, являются вновь созданным сигналом Gch спектрального изображения канала G в качестве предварительно определенного целевого цвета, и может уточнить, что поглощающие и рассеивающие структуры, такие как сосудистые сетки, различаются в зависимости от положения по глубине.
Соответственно, путем регулировки матричных коэффициентов через схему 64 изменения коэффициентов пользователь может регулировать эффект отображения. При выполнении операции матричные коэффициенты устанавливаются на значения по умолчанию, полученные из сквозной операции в узле обработки изображения посредством привязки к переключателю изменения режима (не показан), предусмотренному в рабочей части эндоскопа 101.
G
B
G
B
Сквозная операция, упомянутая здесь, означает состояние, в котором единичная матрица загружается в матричную схему 61 размером 3 на 3, и таблица с отсутствием преобразования загружается в LUT 62а, 62b, 62с, 63а, 63b и 63с. Значение по умолчанию означает, что установленные значения, например, ω=0,2 и ω=0,8 присваиваются матричным коэффициентам ω и ω.
G
B
Далее пользователь использует рабочую или тому подобную часть эндоскопа 101 и регулирует коэффициенты до ω=0,4 и ω=0,6 и т.п. Таблица инверсной гамма(у)-коррекции и таблица гамма(γ)-коррекции применяется к LUT 62а, 62b, 62с, 63а, 63b и 63с в соответствии с необходимостью.
Схема 440а обработки с преобразованием цветов выполняет преобразование цветов с помощью матричного компьютера, образованного матричной схемой 61 размером 3 на 3, но схема обработки с преобразованием цветов не ограничивается только этим, и схема обработки с преобразованием цветов может быть образована числовым процессором (CPU) и LUT.
Например, в описанном выше варианте осуществления изобретения схема 30а обработки с преобразованием цветов показана в конфигурации с матричной схемой 61 размером 3 на 3 в качестве центра, но тот же самый эффект может быть получен, даже когда схема 30а преобразования цветов заменена трехмерными LUT 65, соответствующими своим полосам, как показано на фиг.23. В этом случае, схема 64 изменения коэффициентов выполняет операцию изменения содержания таблицы, основываясь на сигнале управления, получаемом от переключателя преобразования обработки (не показан), предусмотренного в рабочей или подобной части эндоскопа 101.
Характеристики фильтров для квазиполосовых фильтров F1-F3 не ограничиваются диапазоном видимого света, но в качестве первого модифицированного примера квазиполосовых фильтров F1-F3 характеристики фильтра могут быть узкополосными с дискретными спектральными характеристиками, как показано, например, на фиг.24. Характеристики фильтра в первом модифицированном примере благоприятны для получения информации изображения, которая не может быть получена при обычном наблюдении, путем установки F3 вблизи ультрафиолетового диапазона и установки F1 вблизи инфракрасного диапазона, чтобы наблюдать нарушения на поверхности живого тела и очаги поглощения вблизи предельно глубокого слоя.
В качестве второго модифицированного примера квазиполосовых фильтров F1-F3, вместо квазиполосового фильтра F2 два квазиполосовых фильтра F3a и F3b с характеристиками фильтрации, близкими друг к другу в коротковолновом диапазоне, могут быть приняты, как показано на фиг.25. Такие фильтры пригодны скорее для визуализации тонких различий характеристик рассеивания, чем характеристик поглощения, используя тот факт, что полоса длин волн вблизи этой области не достигает области вблизи самого крайнего поверхностного слоя живого тела. Как предполагается, с медицинской точки зрения это должно использоваться для дискриминационного диагноза болезни, связанной с нарушением деления на ареолы вблизи поверхностного слоя слизистой оболочки, характерным для раннего рака.
Далее, в качестве третьего модифицированного примера квазиполосовых фильтров F1-F3, два квазиполосовых фильтра F2 и F3 с характеристиками узкополосных фильтров для двух полос с дискретными спектральными характеристиками, способные извлекать желаемую информацию о слое ткани, как показано на фиг.26, могут быть созданы в узле 436 матричных вычислений.
В случае квазиполосовых фильтров F2 и F3, показанных на фиг.26, узел 440 регулировки цветов создает сигнал Rch изображения спектрального канала из сигнала F2 спектрального изображения, сигнал Gch изображения спектрального канала из сигнала F3 спектрального изображения и сигнал Bch изображения спектрального канала из сигнала F3 спектрального изображения при расцвечивании изображения во время наблюдения спектрального изображения в узкой полосе и создает цветное изображение трех каналов R, G и В.
Конкретно, для сигнала F2 спектрального изображения и сигнала F3 спектрального изображения узел 440 регулировки цветов создает сигналы изображения спектральных цветных каналов (Rch, Gch, Bch) трех каналов R, G и В по следующей формуле (24).
[Формула 24]
Например, h11=1, h12=0, h21=0, h22=1,2, h31=0, h32=0,8.
Например, спектральное изображение F3 основной спектральной характеристики является изображением на центральной длине волны, в основном, соответствующей 415 нм, и спектральное изображение F2 с основной спектральной характеристикой является изображением на центральной средней длине волны, в основном, соответствующей 540 нм.
Например, даже когда спектральное изображение F3 основной спектральной характеристики вычисляется как изображение на центральной длине волны, в основном, соответствующей 415 нм, спектральное изображение F2 основной спектральной характеристики вычисляется как изображение на центральной длине волны, в основном, соответствующей 540 нм, и спектральное изображение F1 с основной спектральной характеристикой вычисляется как изображение на центральной длине волны, в основном, соответствующей 600 нм, цветное изображение может образовываться изображениями F2 и F3 без использования изображения F1 в узле 440 регулировки цветов. В этом случае может применяться вычисление матрицы по приведенной ниже формуле (24') вместо формулы (24).
При вычислении матриц по описанной выше формуле (24') для коэффициентов h11, h13, h21, h22, h31 и h32 установлены нулевые значения, а для других коэффициентов установлены предварительно определенные числовые значения.
Таким образом, в соответствии с настоящим вариантом осуществления изобретения, создавая квазиузкополосные фильтры с использованием сигналов цветного изображения для создания обычного электронного эндоскопического изображения (обычного изображения), спектральное изображение, имеющее информацию о ткани на заданной глубине, такую как картина кровеносных сосудов, может быть получено без использования оптических узкополосных фильтров для спектральных изображений и посредством установки параметра узла 440а обработки с преобразованием цветов в соответствии со спектральным изображением, способ выражения, который максимально использует информацию о характеристике глубины проникновения во время наблюдения спектрального изображения в узкой полосе, может быть реализован так, что информация о ткани на заданной глубине около поверхности ткани биологической ткани может быть эффективно отделена и распознана визуально.
Таким образом, узел 440 регулировки цветов выполняет преобразование сигнала так, что канал, содержащий информацию об исследуемом объекте, которую желательно вывести с максимальной контрастностью среди множества спектральных сигналов, воспроизводится как изображение сигнала яркости на контрольном мониторе 106.
В частности, в узле 440 регулировки цветов,
(1) в случае двухполосного спектрального изображения, когда изображение, соответствующее, например, 415 нм, назначено цветовым каналам G(ch) и B(ch), а изображение, соответствующее, например, 540 нм, назначено цветовому каналу R(ch), или
(2) в случае трехполосного спектрального изображения, когда изображение, соответствующее, например, 415 нм, назначено цветовому каналу B(ch), изображение, соответствующее, например 445 нм, назначено цветовому каналу G(ch) и изображение, соответствующее, например, 500 нм, назначено цветовому каналу R(ch), получаются следующие эффекты изображения:
Эпителий или слизистая оболочка на самом верхнем поверхностном слое биологической ткани воспроизводится в низком хроматическом цвете, а капиллярный сосуд на самом верхнем поверхностном слое воспроизводится с низкой яркостью, а именно как темная линия, за счет чего достигается высокая видимость капиллярного сосуда на самом верхнем поверхностном слое;
В то же самое время, сосуды на местах, находящихся глубже, чем капиллярные сосуды, воспроизводятся путем смещения в направлении оттенков синего и поэтому их можно легко отличать от капиллярных сосудов на самом верхнем поверхностном слое.
В соответствии со способом назначения каналов при эндоскопическом исследовании толстой кишки оптоволоконным эндоскопом остаток и желчь, которые наблюдаются в желтом тоне при обычном наблюдении, здесь наблюдаются в красном тоне.
Второй вариант осуществления изобретения
На фиг.27 показана блок-схема электронного эндоскопического устройства, соответствующая варианту осуществления 2 настоящего изобретения.
Поскольку вариант осуществления 2, в сущности, является тем же самым, что и вариант осуществления 1, будут описаны только отличия и объяснение тех же самых компонент будет опущено посредством назначения им тех же самых ссылочных номеров и символов, что и в первом варианте осуществления изобретения.
Настоящий вариант осуществления изобретения отличается от первого варианта осуществления изобретения, главным образом, модулем 41 источника света, который осуществляет управление количеством освещающего света. В настоящем варианте осуществления изобретения управление количеством света, излучаемого модулем 41 источника света, выполняется путем управления током лампы 15 вместо оптического модулятора. Более конкретно, узел 18 управления током обеспечивается в лампе 15, показанной на фиг.27.
При работе настоящего варианта осуществления изобретения блок 42 управления управляет узлом 18 управления током и осуществляет управление током, текущим в лампу 15, так, чтобы никакие из сигналов R, G и В цветного изображения не входили в насыщение. Таким образом, ток, используемый для излучения света лампой 15, управляется и поэтому количество света изменяется в соответствии с величиной тока.
В отношении других операций, они являются теми же самыми, что и в первом варианте осуществления изобретения, и поэтому другие операции будут опущены.
В соответствии с настоящим вариантом осуществления изобретения, спектральное изображение, в котором картина кровеносного сосуда отображается ярко, может быть получено, как в варианте осуществления изобретения 1. В настоящем варианте осуществления изобретения преимущество заключается в том, что способ управления прост по сравнению со способом управления количеством света, используя оптический модулятор, как в варианте осуществления изобретения 1.
Третий вариант осуществления изобретения
На фиг.28 показана блок-схема узла матричных вычислений, соответствующего варианту осуществления изобретения 3.
Поскольку третий вариант осуществления изобретения, в сущности, является тем же самым, что и первый вариант осуществления изобретения 1, будут описаны только отличия и объяснение тех же самых компонент будет опущено посредством назначения им тех же самых ссылочных номеров и символов, что и в первом варианте осуществления изобретения.
Настоящий вариант осуществления изобретения отличается от первого варианта осуществления изобретения, главным образом, выполнением узла 436 матричных вычислений. В первом варианте осуществления изобретения вычисление матриц выполняется так называемой аппаратной обработкой с помощью электронной схемы, а в настоящем варианте осуществления изобретения, показанном на фиг.28, вычисление матриц выполняется с помощью числовой обработки данных (обработка с помощью программного обеспечения, используя программу).
Конкретное выполнение узла 436 матричных вычислений в настоящем варианте осуществления показано на фиг.28. Узел 436 матричных вычислений имеет устройство 50 запоминания изображений, которое сохраняет соответствующие сигналы цветного изображения R, G и В. Узел 436 матричных вычислений также имеет регистр 51 для коэффициентов, в котором соответствующие значения матрицы "А' ", показанные в формуле (21), сохраняются как числовые данные.
Регистр 51 коэффициентов и устройство 50 запоминания изображений соединены с перемножителями 53a-53i, перемножители 53а, 53d и 53g дополнительно соединены с перемножителем 54а, а выход перемножителя 54а соединен с узлом 438а интегрирования, показанным на фиг.4. Перемножители 53b, 53е и 53h соединены с перемножителем 54b, а его выход соединен с узлом 438b интегрирования. Перемножители 53с, 53f и 53i соединены с перемножителем 54с, а его выход соединен с узлом 438с интегрирования.
При работе настоящего варианта осуществления изобретения введенные данные изображения R G B временно сохраняются в запоминающем устройстве 50 запоминания изображения. Затем, с помощью вычислительной программы, хранящейся в предварительно определенном устройстве запоминания (не показано), каждый коэффициент матрицы "А" из регистра 51 для коэффициентов умножается на данные изображения R G В, хранящиеся перемножителями в устройстве запоминания 50 изображения.
На фиг.28 показан пример, в котором сигнал R и каждый из коэффициентов матрицы перемножаются в перемножителях 53а-53с. Согласно фиг.28, сигнал G и каждый из коэффициентов матрицы перемножаются в перемножителях 53d-53f, и сигнал В и каждый из коэффициентов матрицы перемножаются в перемножителях 53g-53i. Так же как данные умножаются соответственно на коэффициенты матрицы, так и выходные сигналы перемножителей 53а, 53d и 53g перемножаются с выходным сигналом перемножителя 54а, выходные сигналы перемножителей 53b, 53е и 53h перемножаются с выходным сигналом перемножителя 54b, и выходные сигналы перемножителей 53с, 53f и 53i перемножаются с выходным сигналом перемножителя 54с, соответственно. Выходной сигнал перемножителя 54а подается на узел 438а интегрирования. Выходные сигналы перемножителя 54b и перемножителя 54с подаются на узлы 438b и 438с интегрирования соответственно.
Согласно настоящему варианту осуществления, показанному на фиг.28, спектральное изображение, в котором картина кровеносного сосуда отображается ярко, может быть получено, как в варианте осуществления изобретения 1.
В настоящем варианте осуществления матричная обработка не выполняется аппаратными средствами, как в варианте осуществления изобретения 1, она выполняется, используя программное обеспечение, и поэтому настоящий вариант осуществления изобретения может быстро реагировать, например, на изменение любого из коэффициентов матрицы или тому подобное.
Только когда результирующие значения коэффициентов матрицы запомнены, конкретно, не как матрица "А' ", но в соответствии с S (λ), Н(λ), R(λ), G(λ) и В(λ), и матрица "А' " находится вычислением в соответствии с необходимостью и используется, только один элемент среди них может быть изменен и удобство повышается. Например, возможно изменение только спектральной характеристики S(λ) освещающего света и т.п.
Четвертый вариант осуществления изобретения
Фиг.29 и фиг.30 относятся к четвертому варианту осуществления настоящего изобретения, и на фиг.29 показана блок-схема электронного эндоскопического устройства, тогда как на фиг.30 показана диаграмма времени хранения заряда ПЗС, показанного на фиг.29.
Поскольку четвертый вариант осуществления изобретения, в сущности, является тем же самым, что и первый вариант осуществления изобретения, будут описаны только отличия от первого варианта осуществления изобретения и объяснение одних и тех же элементов будет опущено посредством назначения им тех же самых ссылочных номеров и символов, что и в первом варианте осуществления изобретения.
Настоящий вариант осуществления изобретения отличается от первого варианта осуществления изобретения, главным образом, модулем 41 источника света и ПЗС 21. В первом варианте осуществления изобретения применяется так называемый одновременный способ, в котором цветные светофильтры, показанные на фиг.6, обеспечиваются в ПЗС 21 и используются цветовые сигналы, создаваемые цветными светофильтрами, но в настоящем варианте осуществления изобретения используется так называемый последовательный кадровый способ, при котором освещающий свет излучается в последовательности R, G и B в одном кадре, чтобы создать цветовые сигналы.
Как показано на фиг.29, в модуле 41 источника света в настоящем варианте осуществления диафрагма 25, выполняющая управление светом, обеспечивается на передней поверхности лампы 15, и фильтр 23 RGB, который делает, например, один оборот в одном кадре для излучения света R, G и В в последовательных кадрах, обеспечивается дополнительно на передней поверхности диафрагмы 25. Фильтр 23 RGB выполнен в виде цветоделительного узла. Диафрагма 25 соединена с узлом 24 управления диафрагмой в качестве узла управления количеством света и ограничивает световой поток, который будет передаваться среди световых потоков, излучаемых лампой 15 в ответ на сигнал управления от узла 24 управления диафрагмой, чтобы изменять количество света, посредством чего диафрагма 25 может выполнять управление светом. Вращающийся фильтр 23 RGB присоединяется к узлу 26 управления вращающимся фильтром RGB и вращается с заранее определенной скоростью вращения.
При работе модуля источника света в настоящем варианте осуществления изобретения световой поток, выходящий от лампы 15, ограничивается таким образом, чтобы иметь предварительно определенное количество света, используя для этого диафрагму 25, и световой поток, проходящий через диафрагму 25, проходит далее через вращающийся фильтр 23 RGB и, таким образом, выводится из модуля источника света в виде освещающего R-, G- и В-света в каждый предварительно определенный момент времени. Каждый освещающий свет отражается от исследуемого объекта и принимается ПЗС 21. Сигналы, полученные ПЗС 21, распределяются переключающим узлом (не показан), предусмотренным в аппаратной части 105 эндоскопического устройства в соответствии со временем освещения, и соответственно подаются на схемы 433а-433с выборки-запоминания. Конкретно, когда освещающий свет излучается через фильтр R модулем 41 источника света, сигнал, принятый в ПЗС 21, подается на схему 433а выборки-запоминания. Другие операции являются такими же, как для варианта осуществления 1 изобретения, и поэтому они будут здесь опущены.
В настоящем варианте осуществления изобретения ПЗС 21, который выводит сигнал датчика изображения, основанный на изображении, созданном отраженным светом для каждого освещающего света, когда исследуемый объект освещается каждым освещающим светом через фильтры R, G и В, не ограничивается выполнением в виде однопанельного типа, а может быть выполнен в виде многопанельного типа, такого как, например, трехпанельный тип.
В соответствии с настоящим вариантом осуществления, спектральное изображение, в котором картина кровеносного сосуда отображается ярко, может быть получено, как в первом варианте осуществления изобретения. В настоящем варианте осуществления дополнительное качество можно получить с помощью так называемого способа последовательных кадров. В отношении дополнительного качества можно сослаться на пятый вариант осуществления изобретения, который будет описан позже.
В описанных выше вариантах осуществления изобретения, чтобы избежать насыщения сигналов цветов R, G и В, количество освещающего света (количество света от модуля источника света) управляется и регулируется. С другой стороны, в настоящем варианте осуществления используется способ регулировки электронного затвора для ПЗС 21. В ПЗС 21 электрические заряды, пропорциональные интенсивности падающего света, накапливаются за постоянное время и суммарный электрический заряд создает сигнал. Со временем накопления связан так называемый электронный затвор. Путем регулировки электронного затвора в схеме 431 запуска ПЗС накопленная сумма электрических зарядов, то есть величина сигнала, может регулироваться. Как показано на фиг.30, посредством получения цветных изображений R, G и В в состоянии, в котором время накопления электрического заряда последовательно изменяется для каждого кадра, могут быть получены схожие спектральные изображения. Конкретно, в описанных выше соответствующих вариантах осуществления управление количеством освещающего света с помощью диафрагмы 25 используется для получения обычного изображения и, когда спектральное изображение получено, насыщения сигналов цвета R, G и В можно избежать, изменяя состояние электронного затвора.
Пятый вариант осуществления изобретения
На фиг.31 показана временная диаграмма хранения заряда ПЗС согласно варианту осуществления 5 настоящего изобретения.
Поскольку пятый вариант осуществления изобретения, в сущности, является тем же самым, что и четвертый вариант осуществления изобретения, будут описаны только отличия от четвертого варианта осуществления изобретения и объяснение одних и тех же элементов будет опущено посредством назначения им тех же самых ссылочных номеров и символов, что и в четвертом варианте осуществления изобретения.
Настоящий вариант осуществления использует, главным образом, способ последовательных кадров, как и четвертый вариант осуществления изобретения, и максимально использует преимущество этого способа. Посредством добавления взвешивания ко времени накопления заряда с помощью управления электронным затвором в четвертом варианте осуществления изобретения для каждого из цветов R, G и В, создание данных спектрального изображения может быть упрощено. Конкретно, настоящий вариант осуществления имеет схему 431 управления ПЗС, которая может изменять время хранения заряда для ПЗС 21 для каждого из цветов R, G и В в пределах времени одного кадра. Другие компоненты являются такими же, как в четвертом варианте осуществления изобретения.
При работе в соответствии с примером, показанным на фиг.31, время хранения заряда в ПЗС 21 изменяется с помощью электронного затвора, когда каждый освещающий свет проходит через вращающийся фильтр 23 RGB. Здесь, времена хранения заряда ПЗС 21 в соответствующих случаях, когда освещающим светом является свет R, G и В, обозначаются как tdr, tdg и tdb (на фиг.31 для сигнала изображения цвета В не предусмотрено время хранения, поэтому время tdb отсутствует). Например, изображение F3 квазифильтра в случае выполнения матричной обработки, показанной формулой (21), получается путем выполнения вычисления по формуле (25) из изображений RGB, обычно получаемых с помощью эндоскопа,
[Формула 25]
и поэтому времена хранения заряда с помощью управления электронным затвором в соответствии с R, G и В на фиг.30 могут быть установлены так, чтобы удовлетворить формуле (26).
[Формула 26]
В узле матричных вычислений добавляются сигналы, в которых R и G компоненты просто инвертированы, а компонент В добавлен. Таким образом, может быть получено спектральное изображение, подробное тем, которое получается в вариантах осуществления 1-4.
В соответствии с настоящим вариантом осуществления, спектральное изображение, в котором картина кровеносных сосудов отображается ярко, может быть получено так же, как в четвертом варианте осуществления изобретения. В настоящем варианте осуществления, как и в четвертом варианте осуществления изобретения, способ последовательных кадров используется для создания цветовых сигналов и время хранения заряда может быть сделано различным в соответствии с цветовыми сигналами, используя для этого электронный затвор, посредством чего в узле матричных вычислений должна выполняться только обработка со сложением и вычитанием, и обработка может быть упрощена.
Шестой вариант осуществления изобретения
Фиг.32 и 33 относятся к устройству для биологических наблюдений шестого варианта осуществления настоящего изобретения. На фиг.32 приведена схема, показывающая расположение цветных светофильтров. На фиг.33 приведена схема, показывающая спектральные характеристики чувствительности цветных светофильтров, показанных на фиг.32.
Поскольку шестой вариант осуществления изобретения, в сущности, является тем же самым, что и первый вариант осуществления изобретения, будут описаны только отличия от первого варианта осуществления изобретения и объяснение одних и тех же компонент будет опущено посредством назначения им тех же самых ссылочных номеров и символов, что и в первом варианте осуществления.
Настоящий вариант осуществления отличается от первого варианта осуществления, главным образом, цветным светофильтром, предусмотренным на ПЗС 21. Принимая во внимание то, что в первом варианте осуществления используется цветной светофильтр типа основных цветов RGB, как показано на фиг.6, в настоящем варианте осуществления используется цветной светофильтр типа дополнительных цветов.
Построение фильтра дополнительных цветов выполнено с использованием по нескольким элементам каждого типа G, Mg, Ye и Cy, как показано на фиг.32. Взаимосвязь каждого элемента цветного светофильтра основных цветов и каждого элемента цветного светофильтра дополнительных цветов такова, что Mg=R+B, Cy=G+B и Ye=R+G.
В этом случае, все пикселы ПЗС 21 считываются, и выполняется обработка сигналов или обработка изображения для изображения каждого из цветных светофильтров. Когда формулы (1)-(8) и формулы (19)-(21) для цветного светофильтра типа первичных цветов модифицируются для случая цветного светофильтра дополнительных цветов, получаются приведенные ниже формулы (27)-(33). Однако характеристики целевых полосовых фильтров в узкой полосе предполагаются теми же самыми.
[Формула 27]
[Формула 28]
[Формула 29]
[Формула 30]
[Формула 31]
[Формула 32]
[Формула 33]
На фиг.33 показаны спектральные характеристики чувствительности в случае использования цветного фильтра дополнительных цветов и характеристики целевых полосовых фильтров и квазиполосовых фильтров, найденные из приведенных выше формул (27)-(33).
Само собой разумеется, что при использовании фильтра дополнительных цветов, схемы выборки-запоминания, показанные на фиг.4, выполняют выборку для цветов G, Mg, Cy и Ye вместо R, G и В.
При использовании цветного фильтра дополнительных цветов может также применяться способ матричной оценки, показанный формулами (9)-(18). В этом случае, когда количество фильтров дополнительных цветов равно четырем, часть в формуле (14), предполагающая, что биологическое спектральное отражение может быть аппроксимировано тремя основными спектральными характеристиками, изменяется на часть, предполагающую, что биологическое спектральное отражение может быть аппроксимировано четырьмя или четырьмя или менее основными спектральными характеристиками. Поэтому, в соответствии с этим, размер для матричных вычислений оценок изменяется с трех на четыре.
В соответствии с настоящим вариантом осуществления изобретения, спектральное изображение, в котором картина кровеносных сосудов отображается ярко, может быть получена так же, как в первом варианте осуществления. В настоящем варианте осуществления изобретения, в случае использования цветного светофильтра дополнительных цветов может быть получено преимущество.
В соответствии с каждым из вариантов осуществления изобретения, описанных выше, достигается эффект возможности регулирования информации о ткани на заданной глубине биологической ткани, основанный на спектральном изображении, полученном обработкой сигналов, для отображения информации в цветовом тоне, подходящем для наблюдения.
Каждый из вариантов осуществления в настоящем изобретении описан выше, но настоящее изобретение может использоваться, по-разному объединяя описанные выше варианты осуществления, или потенциально возможны модификации в широком диапазоне, не отходя от сущности настоящего изобретения.
Например, для всех уже описанных вариантов осуществления изобретения оператор сам может создавать новые квазиполосовые фильтры во время клинического наблюдения или в другие времена и может клинически их применять. Конкретно, узел проектирования (не показан), способный вычислять и определять коэффициенты матриц, может быть обеспечен в блоке 42 управления, показанном на фиг.4 для первого варианта осуществления изобретения.
В результате, вводя условия через клавиатуру, предусмотренную в аппаратной части эндоскопа, показанной на фиг.3, оператор заново проектирует квазиполосовые фильтры, пригодные для получения спектрального изображения, которое оператор хочет знать, и посредством установки окончательных коэффициентов матриц (соответствующих каждому из элементов матрицы "А' " формулы (21) и формулы (33)), полученных, применяя корректирующие коэффициенты (соответствующие каждому из элементов матрицы "K" формулы (20) и формулы (32)) к вычисленным коэффициентам матрицы (соответствующим каждому из элементов матрицы "А" формулы (19) и формулы (31)), в узле 436 матричных вычислений, показанном на фиг.4, оператор может быстро применять квазиполосовые фильтры в клинических условиях.
На фиг.34 показана последовательность операций при выполнении способа. Последовательность операций будет описана подробно. Сначала оператор вводит информацию о целевом полосовом фильтре (например, диапазон длин волн или подобное) через клавиатуру или подобным способом. Таким образом, имея характеристики источника света или что-либо подобное и цветные фильтры, уже хранящиеся в запоминающем устройстве или подобном устройстве, вычисляется матрица "А' " и, как показано на фиг.33, результат вычисления с помощью матрицы "А' " (квазиполосовые фильтры), а также характеристики целевых полосовых фильтров отображаются на мониторе в виде спектральной диаграммы.
Оператор подтверждает результат вычисления и после этого, когда оператор использует вновь созданную матрицу "А' ", оператор выполняет ее настройку и создает фактическое эндоскопическое изображение, используя матрицу "А' ". При этом вновь созданная матрица "А' " запоминается в предварительно определенном устройстве запоминания и может использоваться снова в ответ на предварительно определенное действие оператора.
Таким образом, оператор может создавать новые полосовые фильтры исходя из собственного опыта или тому подобного, не ограничивая себя существующей матрицей "А' ", и при этом достигается максимальный эффект, особенно в случае их использования для исследования.
Седьмой вариант осуществления изобретения
Фиг.38-41 относятся к устройству для биологического наблюдения согласно седьмому варианту осуществления настоящего изобретения. Поскольку седьмой вариант осуществления изобретения, в сущности, является таким же, как первый вариант осуществления изобретения, будут описаны только отличия от первого варианта осуществления изобретения и объяснение для одних тех же элементов будет опущено, используя для этого их обозначение одними и теми же ссылочными номерами и символами.
На фиг.38 приведена блок-схема, показывающая выполнение электронного эндоскопического устройства для настоящего варианта осуществления изобретения. На фиг.39 приведена блок-схема, показывающая выполнение модуля источника света, показанного на фиг.38. На фиг.40 приведена блок-схема последовательности выполнения операций для варианта осуществления изобретения, в том числе функции создания спектрального изображения, показанной на фиг.24, и т.п. На фиг.41 приведена блок-схема электронного эндоскопа для модифицированного примера.
Как показано на фиг.3, электронное эндоскопическое устройство 100 имеет электронный эндоскоп (сокращенно эндоскоп) 101, содержащий модуль света и модуль датчика изображения, аппаратную часть 105 эндоскопа, к которой подключается эндоскоп 101 и которая управляет модулем источника света и модулем датчика изображения, и контрольный монитор 106, который отображает и выводит биологический сигнал с выхода аппаратной части 105 эндоскопического устройства.
Как показано на фиг.38 и 39, модуль 41 источника света соединен с блоком 42 управления и эндоскопом 101 и производит излучение белого света (включая случай неполностью белого света) с предварительно определенным количеством света, основанным на сигнале, поступающем от блока 42 управления.
Модуль 41 источника света имеет, например, ксеноновую лампу 15 в качестве первого источника света, оптический модулятор 16 для регулировки количества света и узел 17 схемы управления оптического модулятора для управления оптическим модулятором 16. Свет от ксеноновой лампы 15 проходит через оптический модулятор 16, через полузеркало 18А, расположенное на его оптическом пути, и после этого собирается линзой конденсора для направления на входной конец световода эндоскопа 101.
В настоящем варианте осуществления изобретения модуль 41 источника света 41 содержит, например, галогеновую лампу 25А в качестве второго источника света, отличающегося по спектральной характеристике от описанного выше первого источника света, диафрагму 26b, которая регулирует количество света от галогеновой лампы 25А, и узел 27b схемы управления диафрагмой, который управляет диафрагмой 26b.
Освещающий свет галогеновой лампы 25 проходит через диафрагму 26b. После этого часть освещающего света отражается полузеркалом 18А и собирается линзой конденсора, чтобы попасть на входной конец световода 14 эндоскопа 101.
Узел 30 управления схемой управления источника света обеспечивается в модуле 41 источника света и узел 30 управления схемой управления источника света выполняет включение и выключение ламп 15 и 25 и операции управления узлом 17 схемы управления оптическим модулятором и узла 27b управления диафрагмой.
Узел 30 управления схемой управления источника света также подключен к блоку 42 управления, чтобы иметь возможность через блок 42 управления управлять освещающим светом, подаваемым на световод 14 эндоскопа 101 модулем 41 источника света в соответствии с режимом наблюдения. Спектральное распределение ксеноновой лампы 15 показано на чертеже для случая ртутной лампы, выбранной в варианте осуществления 8, который будет описан позже. Галогеновая лампа 25А имеет спектральное распределение в широкой полосе при цветовой температуре, более низкой, чем у ксеноновой лампы 15.
В настоящем варианте осуществления изобретения, например, в режиме наблюдения обычного изображения освещение осуществляется светом только, например, ксеноновой лампы 15, а в режиме наблюдения спектрального изображения освещение осуществляется обеими лампами, 15 и 25А.
Более желательный сигнал спектрального изображения получается, как будет описано позже. Поскольку может использоваться оптический модулятор 16, располагающийся перед ксеноновой лампой 15, выполняющий регулирование количества света и раскрытый, например, в японской выложенной патентной заявке №2003-93336, и так как подробное его исполнение описано в японской выложенной патентной заявке №2003-93336, его объяснение будет опущено.
Узел 17 схемы управления оптического модулятора выполнен с возможностью перемещения в направлении, перпендикулярном оптическому пути прохождения света от ксеноновой лампы 15, как показано стрелками на фиг.39. Когда расстояние от оптического пути становится большим из-за его перемещения, зубчатая часть, через которую световой поток может проходить, становится длинной. Поэтому время освещения удлиняется и количество освещающего света может стать большим.
Так как спектральное изображение, которое создано вновь, вероятно, будет недостаточно удовлетворительным из-за отношения "сигнал/шум", и поэтому, когда какой-либо сигнал, требуемый для создания, входит в насыщение, правильное вычисление, как оно описано выше, не выполняется и количеством освещающего света необходимо управлять. Регулирование количества света выполняется оптическим модулятором 16 и узлом 17 схемы управления оптического модулятора при использовании только одной лампы, как описано в японской выложенной патентной заявке №2003-93336.
С другой стороны, настоящий вариант осуществления изобретения содержит два источника света, отличающихся по спектральным характеристикам, и поэтому, особенно, когда устанавливается режим наблюдения спектрального изображения, создается сигнал спектрального изображения и спектральное изображение отображается на контрольном мониторе 106, создана возможность создавать более приемлемое спектральное изображение, используя эти два источника света.
В этом случае, информация об отношении количеств освещающего света, который подается на световод 14 от ламп 15 и 25А, и о максимальном количестве, когда освещение осуществляется в режиме наблюдения спектрального изображения, запоминается в энергонезависимой памяти 42а, такой как электронно-стираемое программируемое ПЗУ, предусмотренное, например, в блоке 42 управления. Когда установлен режим наблюдения спектрального изображения, блок 42 управления обращается к информации и управляет освещающим светом, который подается на световод 14 от модуля 41 источника света через узел 30 схемы управления источника света.
Цветной светофильтр 22а, который оптически выполняет разделение цветов, обеспечивается на поверхности элемента съемки изображения ПЗС 21 и расположение цветного фильтра 22а является таким, как показано на фиг.6 и описано выше. Спектральные характеристики чувствительности фильтров R, G и В, которые образуют цветной фильтр 22а, показаны сплошными линиями на фиг.7.
Объясним сначала работу модуля 41 источника света при наблюдении обычного изображения: узел 30 управления схемой управления источника света использует только часть с ксеноновой лампой 15 модуля 41 источника света, основываясь на сигнале управления от блока 42 управления. В этом случае узел 17 схемы управления оптического модулятора устанавливается в предварительно определенное положение для вращения оптического модулятора 16. Световой поток от ксеноновой лампы 15 проходит через зубчатую часть оптического модулятора 16 и с помощью линзы конденсора собирается на входном конце световода 14, который является оптоволоконным кабелем, обеспеченным в соединителе 11 на соединяющей части эндоскопа 101 и модуля 41 источника света. Обычное изображение наблюдается с помощью той же самой операции наблюдения обычного изображения, описанной выше в варианте осуществления 1.
Затем при наблюдении спектрального изображения оператор выполняет команду на переход от наблюдения обычного изображения к наблюдению спектрального изображения, используя клавиатуру, предусмотренную в аппаратной части 105 эндоскопа, переключатель, не показанный на чертеже, предусмотренный в рабочей части 104 эндоскопа 101, переднюю панель устройства 43, содержащегося в аппаратной части, или тому подобное. В это время блок 42 управления изменяет состояние управления модуля 41 источника света и устройства 43 обработки, содержащегося в аппаратной части.
Более конкретно, блок 42 управления обращается к управляющей информации запоминающего устройства 42а, посылает сигнал управления на узел 30 управления схемой управления источника света модуля 41 источника света и также зажигает галогеновую лампу 25А. Блок 42 управления управляет схемой управления оптического модулятора 16 и диафрагмы 26b так, чтобы количество освещающего света, даваемого обеими лампами 15 и 25А, стало необходимым количеством света.
Как описано выше, нежелательно, чтобы выходной сигнал от ПЗС 21 входил в насыщение, и поэтому во время наблюдения спектрального изображения максимальное значение количества освещающего света делается малым по сравнению со временем наблюдения обычного изображения. Блок 42 управления управляет количеством света так, чтобы выходной сигнал ПЗС 21 не входил в насыщение, и устанавливает количество освещающего света в диапазоне, в котором выходной сигнал не входит в насыщение.
При изменении блоком 42 управления сигнала управления для устройства 43 обработки, содержащегося в аппаратной части, выходной сигнал переключающего узла 439 переключается с выхода узла 437 создания обычного изображения на выход узла 440 регулировки цвета. Далее выходные сигналы схем 433а-433с подвергаются обработке с усилением и сложением в узле 436 матричных вычислений и затем они выводятся на узлы 438а-438с интегрирования согласно соответствующим полосам и после обработки с использованием интегрирования выводятся на узел 440 настройки цветов. Когда количество освещающего света сделано малым с помощью оптического модулятора 16 и диафрагмы 26b, интенсивности сигнала могут быть увеличены посредством запоминания и интегрирования сигналов в узлах 438а-438с интегрирования, как показано на фиг.2, и может быть получено спектральное изображение с улучшенным отношением "сигнал/шум".
Здесь далее будет описана конкретная матричная обработка, выполняемая в узле 436 матричных вычислений, в настоящем варианте осуществления. Чтобы описать преимущество случая использования двух ламп 15 и 25В, имеющих различные спектральные характеристики в соответствии с настоящим вариантом осуществления, сначала будет описан случай, соответствующий случаю японской выложенной патентной заявки № 2003-93336 для использования только одной лампы 15.
В случае использования только лампы 15, когда полосовые фильтры (здесь далее называемые квазиполосовыми фильтрами), близкие к фильтрам F1-F3 с идеально узкой полосой пропускания, показанным на фиг.7 (в этом случае, соответствующие диапазоны длин волн при передаче устанавливаются следующим образом: F1: 590 - 620 нм, F2: 520 - 560 нм, F3: 400 - 440 нм), должны быть созданы по спектральным характеристикам чувствительности цветных фильтров RGB, показанных на фиг.7 сплошными линиями, матрица описанной выше формулы (19) оптимальна по содержанию, показанному в описанных выше формулах (1)-(5).
Далее, когда для содержания, показанного в формулах (6) и (7), выполняется коррекция, получаются коэффициенты коррекции для описанной выше формулы (20).
Используется предварительная информация, что спектр S(k) источника света, показанного в формуле (6), является спектром, показанным на фиг.9, только в случае, например, ксеноновой лампы 15 и что спектр отражения Н(Х) живого тела, показанный в формуле (7), на который обращается внимание, является спектром, показанным на фиг.10.
Соответственно, обработка, которая выполняется в узле 436 матричных вычислений, математически имеет то же самое значение, что и вычисление матрицы по описанной выше формуле (21).
Путем выполнения матричных вычислений получаются характеристики квазифильтров (показанные на фиг.7 как характеристики квазифильтров F1-F3).
Конкретно, описанная выше матричная обработка создает сигналы спектрального изображения, используя квазиполосовые фильтры (матрицу), которые создаются заранее, как описано выше для сигналов цветного изображения.
В этом случае, как показано толстыми прерывистыми линиями на фиг.7, в созданных квазиполосовых фильтрах (матрица) в отличие от идеального полосового фильтра со стороны длинноволновой части (F1) особенно велико.
Поэтому в настоящем варианте осуществления изобретения во время режима наблюдения спектрального изображения галогеновая лампа 25А, которая имеет более низкую цветовую температуру, чем ксеноновая лампа 15, конкретно, имеет характеристику светового излучения, смещенную в сторону длинны волны, также светится и обработка с созданием квазиполосовых фильтров (матрицы) выполняется путем использования освещающего света обеими лампами 15 и 25А.
Конкретно, путем повышения уровня яркости в длинноволновой части освещающего света значение сигнала R в длинноволновой части диапазона длин волны сделано относительно большим, так чтобы отличие квазиполосового фильтра (матрицы) в длинноволновой части диапазона длин волн могло быть улучшено по сравнению со случаем использования только одной ксеноновой лампы 15.
Эндоскопическое изображение, созданное путем использования характеристик квазифильтра таким способом, и структура биологической ткани, которая будет наблюдаться, являются такими, как описано выше, используя фиг.11-26.
Чтобы иметь возможность работы в любом режиме наблюдения спектрального изображения по описанным выше вариантам осуществления изобретения, первого модифицированного примера, второго модифицированного примера и третьего модифицированного примера, информация, пригодная для соответствующих режимов наблюдения спектрального изображения, может быть сохранена, например, в запоминающем устройстве 42а блока 42 управления.
Когда режим переключается на режим наблюдения спектрального изображения, устанавливается последний режим наблюдения спектрального изображения, который использовался, например, до этого, и другие режимы наблюдения спектрального изображения могут быть выбраны и использоваться (используя переключатель) по выбору пользователя.
На фиг.40 показана операция наблюдения живого тела в режиме наблюдения спектрального изображения, соответствующая такому случаю. В последующем описании режим наблюдения спектрального изображения в описанных выше вариантах осуществления и режимы наблюдения спектрального изображения для первого-третьего видоизмененных примеров будут описаны, как первый-четвертый режимы наблюдения спектрального изображения.
При включении электропитания и когда электронное эндоскопическое устройство 100 находится в рабочем состоянии, блок 42 управления считывает программную информацию из запоминающего устройства 42а и начинает операцию управления электронным эндоскопическим устройством 100, как показано на этапе S1. Блок 42 управления также считывает управляющую информацию для модуля 41 источника света во время каждого из режимов наблюдения, содержащуюся в запоминающем устройстве 42а.
В дальнейшем, как показано на этапе S2, блок 42 управления находит выбранный режим наблюдения во время включения. Например, блок 421 управления отображает экран с меню и выполняет отображение найденного выбора режима наблюдения во время включения на экране с меню. Впоследствии пользователь выполняет выбор режима наблюдения во время включения.
Когда режим наблюдения обычного изображения выбран, блок 42 управления посылает сигнал управления на узел 30 схемы управления источником света, основываясь на информации, считанной из запоминающего устройства 42а, зажигает только ксеноновую лампу 15 и устанавливает режим наблюдения обычного изображения, как показано на этапе S3. В дальнейшем, пользователь наблюдает биологическую ткань в качестве исследуемого объекта в режиме наблюдения обычного изображения.
Когда начинается режим наблюдения обычного изображения, блок 42 управления находится в состоянии ожидания команды на переключение режима наблюдения, как показано на этапе S4. Когда команда переключения режима наблюдения подана с помощью переключателя режима наблюдения или тому подобного, предусмотренного на эндоскопе 101 или чем-либо подобном, блок 42 управления посылает сигнал управления на узел 30 схемы управления источника света, основываясь на информации, считанной из запоминающего устройства 42а, и зажигает галогеновую лампу 25А, как показано на этапе S5.
Как показано на этапе S6, блок 42 управления определяет выбор режима наблюдения, в котором должно выполняться наблюдение спектрального изображения. Пользователь желает выполнить наблюдение и выбирает режим наблюдения спектрального изображения. Затем предполагается, что пользователь выбирает режим наблюдения k-го (k=1-4) спектрального изображения. Затем, как показано на этапе S7, блок 42 управления обращается к управляющей информации, соответствующей режиму наблюдения k-го спектрального изображения, устанавливает отношение количеств света, даваемых ксеноновой лампой 15 и галогеновой лампой 25А, и устанавливает максимальное количество света.
Связанный с этим блок 42 управления выбирает и устанавливает коэффициенты для узла 436 матричных вычислений, которые должны быть связаны с выбором режима наблюдения k-го спектрального изображения, так чтобы сигналы спектрального изображения в случае режима наблюдения k-го спектрального изображения могли быть созданы с высокой точностью посредством выбора и установки связанных коэффициентов.
Далее, пользователь может выполнить наблюдение в режиме наблюдения k-го спектрального изображения. Когда блок 42 управления устанавливает режим наблюдения k-го спектрального изображения, блок 42 управления находится в состоянии контроля переключения на другие режимы наблюдения спектрального изображения, как показано на этапе S8. Когда выполняется операция переключения в режим наблюдения m-го (m≠k) спектрального изображения, блок 42 управления обращается к информации, соответствующей выбранному режиму наблюдения m-го спектрального изображения, как показано на этапе S7, устанавливает отношение количеств света, даваемых ксеноновой лампой 15 и галогеновой лампой 25А, и устанавливает максимальное количество света.
Когда на этапе S8 операция переключения в другие режимы наблюдения спектрального изображения не выполняется, блок 42 управления определяет, выполнена или нет команда переключения режима наблюдения, как показано на этапе S9.
Когда команда переключения режима наблюдения не выполнена, последовательность выполнения операций возвращается на этап S8. Когда команда переключения режима наблюдения выполнена, блок 42 управления выполняет управление выключением галогеновой лампы 25А, как показано на этапе S10, и последовательность выполнения операций возвращается на этап S3.
Для описанной выше обработки сигнала управления, вместо выключения галогеновой лампы 25А может быть выполнена операция управления закрыванием диафрагмы 26b, для повышения чувствительности реагирования во время переключения режима наблюдения.
В соответствии с настоящим вариантом осуществления, можно сделать так, чтобы вызвать эффект варианта осуществления 1 изобретения и для получения спектрального изображения использовалось множество источников света, имеющих различные характеристики излучения. Поэтому спектральное изображение может быть получено с более высокой точностью, чем в случае использования только одного источника света.
Узел 436 матричных вычислений в настоящем варианте осуществления изобретения может иметь выполнение, соответствующее показанному на фиг.28, в качестве модифицированного примера.
Электронное эндоскопическое устройство 100 варианта осуществления 1 изобретения выполнено так, что модуль 41 источника света, создающий освещающий свет, и устройство 43 обработки в аппаратной части, выполняющее обработку сигналов, объединяются, но, как показано на фиг.41 для электронного эндоскопического устройства 100В, модуль 41 источника света 41 и устройство 43 обработки в аппаратной части могут быть выполнены раздельно. В примере выполнения, показанном на фиг.41, блок 42 управления обеспечивается в устройстве 43 обработки, расположенном в аппаратной части, чтобы иметь возможность посылать и принимать сигнал управления узлом 30 управления схемы управления источника света в модуле 41 источника света по кабелю связи.
Настоящий модифицированный пример оказывает, в сущности, то же самое рабочее действие, что и случай варианта осуществления 1 изобретения, показанный на фиг.4.
Восьмой вариант осуществления изобретения
Далее, восьмой вариант осуществления настоящего изобретения будет описан со ссылкой на фиг.42-45. Электронное эндоскопическое устройство, соответствующее настоящему варианту осуществления, выполнено так, что модуль 41 источника света, показанный на фиг.38, заменяется на модуль 41B источника света, показанный на фиг.42.
Модуль 41В источника света использует ртутную лампу 35 ультравысокого давления (в дальнейшем, сокращенно, просто ртутная лампа), имеющую линейчатый спектр испускания, вместо галогеновой лампы 25, используемой как второй источник света в модуле 41 источника света, показанном на фиг.39.
В этом варианте осуществления изобретения диафрагма 26а расположена между ксеноновой лампой 15 и полузеркалом 18А и величина отверстия диафрагмы 26а меняется с помощью узла 27а схемы управления диафрагмой.
После того, как количество света ксеноновой лампы 15 отрегулировано диафрагмой 26а, свет попадает на полузеркало 18А и количество света ртутной лампы 35 регулируется диафрагмой 26b и попадает на полузеркало 18А. Таким образом, узел 36 смешивания света, который смешивает свет со светом от ксеноновой лампы 15, формируется полузеркалом 18А. Ксеноновая лампа 15 и ртутная лампа 35 управляются так, чтобы инициироваться и выключаться узлом 30 управления схемы управления источника света через внутреннюю схему управления светом, и работа схем управления диафрагм узлов 27а и 27b также управляется узлом 30 управления схемы управления источника света.
На фиг.43 показана спектральная характеристика излучения ксеноновой лампы 15, которая имеет широкое распределение интенсивности по видимой области. На фиг.44 показана характеристика излучения ртутной лампы 35, которая имеет широкое распределение интенсивности по видимой области и множество линейчатых спектральных линий.
В настоящем варианте осуществления изобретения в режиме наблюдения обычного изображения на контрольном мониторе светится только ксеноновая лампа 15 и обычное изображение отображается на контрольном мониторе 106.
С другой стороны, в режиме наблюдения спектрального изображения ксеноновая лампа 15 и ртутная лампа 35 светятся, для этого случая устанавливается определенное отношение количеств света обеих ламп 15 и 35, освещающий свет с общим количеством освещающего света, ограниченным, например, освещающим светом, при котором свет от каждой лампы смешивается узлом 36 смешивания света, как показано на фиг.45, подается на световод 14 и спектральное изображение отображается на контрольном мониторе 106.
В соответствии с настоящим вариантом осуществления, в режиме наблюдения спектрального изображения, путем использования освещающего света, имеющего множество спектральных линий, интенсивность сигнала в каждой части линейчатого спектра может быть обеспечена большой и сигнал спектрального изображения может быть вычислен с более высокой точностью, чем в случае отсутствия линейчатого спектра. Таким образом, спектральное изображение может быть получено с высокой надежностью.
Девятый вариант осуществления изобретения
Далее, девятый вариант осуществления настоящего изобретения будет описан со ссылкой на фиг.46-51. Электронное эндоскопическое устройство 100, соответствующее настоящему варианту осуществления, показанному на фиг.46, выполнено таким образом, что модуль 41 источника света, показанный на фиг.46, меняется на модуль 41C источника света, показанный на фиг.47.
Как показано в фиг.47, модуль 41C источника света использует светодиодный узел 37 в качестве полупроводникового источника света вместо ртутной лампы 35 в модуле 41В источника света, показанном на фиг.42. Светодиодный узел 37 содержит множество, более конкретно четыре, светодиодов 38a-39d, имеющих множество спектров излучения.
На фиг.48 показаны спектры излучения (спектральные характеристики) светодиодов 38a-39d. Спектры излучения в этом случае имеют линейчатые спектральные линии или спектры, которые несколько шире, чем спектральные линии вблизи длины волны сигнала спектрального изображения, который должен быть создан. Показан случай четырех линий, но число спектров излучения не ограничивается четырьмя.
В настоящем варианте осуществления узел 30С управления схемой управления источника света содержит устройства 39a-39d управления светодиодами, которые управляют множеством светодиодов 38a-38d, создающих светодиодный узел 37 для излучения света, схему 161 зажигания лампы, которая зажигает ксеноновую лампу 15, и схему 62 управления, которая управляет схемами управления 39a-39d светодиодов, схемой 161 зажигания лампы и узлами 27а и 27b управления диафрагмами.
Схема 62 управления управляет излучаемым светом, который подается на световод 14 от узла 36 смешивания света модуля 41С источника света в соответствии с сигналом управления от блока 42 управления.
В настоящем варианте осуществления изобретения, в режиме наблюдения обычного изображения светится только ксеноновая лампа и обычное изображение отображается на контрольном мониторе 106.
С другой стороны, в режиме наблюдения спектрального изображения светятся ксеноновая лампа 15 и светодиоды 38a-38d и для этого случая установлено определенное отношение количеств света, выдаваемых ксеноновой лампой 15 и светодиодами 38a-39d, освещающий свет с общим количеством света ограничивается, например, освещающим светом, при котором каждый свет, который смешивается узлом 36 смешивания света, как показано на фиг.49, подается на световод 14, и спектральное изображение отображается на контрольном мониторе 106.
В соответствии с настоящим вариантом осуществления изобретения обеспечивается эффект, подобный восьмому варианту осуществления. Конкретно, во время режима наблюдения спектрального изображения, используя освещающий свет, имеющий распределение интенсивности вблизи множества линий спектра, интенсивность сигнала в части диапазона длин волн в случае создания сигнала спектрального изображения может быть сделана большой и сигнал спектрального изображения может быть вычислен с более высокой точностью, чем в случае освещающего света, который не обладает такой характеристикой.
Выборочно используя светодиоды в соответствии с длиной волны сигнала спектрального изображения, который должен быть вычислен, свет может излучаться с линейчатым спектром на этой длине волны и сигнал спектрального изображения может быть получен с высокой точностью.
На фиг.50 показан модуль 41D источника света, использованный в модифицированном примере. В настоящем модифицированном примере используется узел 67 лазерного диода (в дальнейшем сокращенно LD) вместо светодиодного узла 37 в модуле 41С источника света на фиг.47.
Конкретно, LD 68a-68d используются вместо светодиодов 38а-38d на фиг.47. Дополнительно, в схеме 30С управления, показанной на фиг.47, схемы 69a-69d управления лазерными диодами используются вместо схем 39a-39d управления светодиодами.
LD 68a-68d излучают свет со спектром излучения, имеющим более узкую ширину, чем спектр излучения каждого из светодиодов 38a-38d. Как в седьмом варианте осуществления изобретения, во время режима наблюдения обычного изображения в качестве источника освещающего света используется только ксеноновая лампа 15, а во время режима наблюдения спектрального изображения лазерные диоды 68a-68d включаются вместе с ксеноновой лампой 15.
На фиг.51А показан пример спектральной характеристики освещающего света, который подается на световод 14 от узла 36 смешивания света, которая является характеристикой, имеющей линейчатый спектр с шириной спектра излучения, более узкой, чем ширина спектра излучения каждого из светодиодов 38a-38d в освещающем свете, показанном на фиг.49.
В соответствии с настоящим модифицированным примером обеспечивается эффект, подобный эффекту седьмого варианта осуществления. Конкретно, когда должен быть получен сигнал спектрального изображения на желаемой длине волны, используя освещающий свет, в котором уровень яркости определяется формой спектра и становится большим в этой части диапазона длин волны, уровень сигналов на этой длине волны может быть сделан большим и желаемый сигнал спектрального изображения может быть вычислен с более высокой точностью.
Как показано на фиг.51B и 51С, пользователю может быть предоставлена возможность изменять (выбирать) спектральную характеристику освещающего света, который подается на световод 14 от узла 36 смешивания света с помощью переключателя эндоскопа, не показанного на чертеже, или подобного ему.
На фиг.51B и 51С, количество LD, которые должны светиться, меняется (выбирается). На фиг.51В показан пример простого изменения количества LD, которые должны светиться на фиг.51А, но фиг.51С соответствует случаю, где только LD фактически светятся, а ксеноновая лампа 15 погашена.
Случай, показанный на фиг.51В эффективен в случае создания сигналов спектрального изображения в двух частях линейчатого спектра. В соответствии с фиг.51С, свет существует только в двух частях линейчатого спектра и поэтому сигналы спектрального изображения могут быть созданы с более высокой точностью. Случай, показанный на фиг.51С, эффективен, когда получаются сигналы спектрального изображения на двух длинах волн, а когда должен быть получен сигнал спектрального изображения на других длинах волн, то делают переключение, чтобы свет излучал LD, имеющий одну спектральную линию на длине волны, соответствующей сигналу спектрального изображения. Объяснение дано для случая LD, но оно может быть также применимо к случаю светодиодов.
Конкретно, когда множество светодиодов 38a-38d, LD 68a-68d и т.п. (их количество может быть сделано большим) светится и используется в режиме наблюдения спектрального изображения, светодиоды 38a-38d, LD 68a-68d и т.п., которые должны светиться, могут быть выбраны в соответствии с сигналом спектрального изображения, которое должно быть вычислено. Таким образом, желательное спектральное изображение может быть получено с высокой точностью для длин волны в более широком диапазоне.
В описанных выше вариантах осуществления изобретения используется цветной светофильтр 22а ПЗС 21, показанный на фиг.6, но в качестве модифицированного примера может использоваться цветной светофильтр, показанный на фиг.32. Поскольку построение электронного эндоскопического устройства в этом случае, в сущности, является таким же, как в седьмом варианте осуществления, будут описаны только отличия и объяснение одних и тех же компонент будет опущено путем назначения им тех же самых ссылочных номеров и символов, что и в седьмом варианте осуществления.
Принимая во внимание, что в седьмом варианте осуществления, цветной фильтр основных цветов RGB используется, как показано на фиг.6, в настоящем варианте осуществления изобретения используется цветной светофильтр дополнительных цветов.
В этом случае все пикселы ПЗС 21 считываются и изображение от каждого цветного светофильтра подвергается обработке сигнала или обработке изображения. Когда формулы (1)-(8) и формулы (19)-(21) в отношении цветного светофильтра основных цветов для случая цветного светофильтра дополнительных цветов, получаются описанные выше формулы (27)-(33). Формулы (27)-(33) описаны выше и их объяснение будет опущено. Спектральные характеристики чувствительности в случае использования цветного светофильтра дополнительных цветов и характеристик целевых полосовых фильтров и квазиполосовых фильтров, найденные по описанным выше формулам (27)-(33), являются такими, как показано на описанной выше фиг.33.
Само собой разумеется, что в настоящем варианте осуществления изобретения, в случае использования цветного светофильтра дополнительных цветов, схемы выборки-запоминания, показанные на фиг.4, осуществляют выборки для цветов G, Mg, Cy и Ye вместо R, G и В.
При использовании цветного светофильтра дополнительных цветов может также применяться матричный способ оценки, показанный в описанных выше формулах (9)-(18). В этом случае, когда число дополнительных цветных светофильтров равно четырем, часть в формуле (14), предполагающая, что биологическое спектральное отражение может быть аппроксимировано тремя основными спектральными характеристиками, заменяется на часть, предполагающую, что биологическое спектральное отражение может быть аппроксимировано четырьмя или четырьмя или меньше основными спектральными характеристиками. Поэтому, в соответствии с этим, размерность для вычисления оценочной матрицы изменяется с трех на четыре.
В соответствии с настоящим вариантом осуществления изобретения, спектральное изображение, в котором картина кровеносных сосудов отображается ярко, может быть получено, как в первом варианте осуществления изобретения. В настоящем варианте осуществления от использования цветного светофильтра дополнительных цветов может быть получено преимущество.
Варианты осуществления изобретения и прочее, выполненные с возможностью частичного объединения описанных выше соответствующих вариантов осуществления изобретения, также принадлежат к настоящему изобретению.
Как описано выше, в соответствии с каждым из вариантов осуществления изобретения, достигается эффект возможности регулирования информации о ткани на требуемой глубине биологической ткани, основанный на спектральном изображении, полученном с помощью обработки сигналов, чтобы отображать информацию в цветовом тоне, подходящем для наблюдения.
В соответствующих вариантах осуществления изобретения, описанных выше, модули 41 и 41В источников света и им подобные, расположенные в аппаратной части 105 эндоскопического устройства, описаны как освещающие модули, но настоящее изобретение не ограничивается ими и в качестве освещающего модуля может использоваться конструкция, в которой, например, светодиод (светоизлучающий диод) обеспечивается на дистальном конце эндоскопа 101.
Как сказано выше, согласно соответствующим вариантам осуществления настоящего изобретения, может быть получен спектральный сигнал с более высокой точностью или надежностью.
Настоящее изобретение не ограничивается описанными выше соответствующими вариантами осуществления, но в его рамках могут быть сделаны различные модификации, изменения и т.п. без изменения сущности настоящего изобретения.
Промышленная применимость
Спектральное изображение в узкой полосе, так же как обычное изображение, может быть получено путем излучения освещающего света в широкой полосе и картин кровеносных сосудов и т.п. вблизи поверхности и в более глубокой части биологической ткани могут наблюдаться в визуальном состоянии.
Настоящая заявка основывается и по ней испрашивается приоритет японской выложенной патентной заявкой №2005-138929, зарегистрированной в Японии 11 мая 2005 г.; японской выложенной патентной заявкой №2005-138930, зарегистрированной в Японии 11 мая 2005 г.; и японской выложенной патентной заявкой №2005-141539, зарегистрированной в Японии 13 мая 2005 г. Полное содержание этих приоритетных заявок включено в описание и формулу изобретения настоящей заявки путем ссылки.