УСТРОЙСТВО И СПОСОБ КАЛИБРОВКИ ДЛЯ ФЛУОРЕСЦЕНТНОГО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ
DEVICE AND METHOD OF CALIBRATION FOR FLUORESCENT IMAGE FORMATION

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству и способу для калибровки систем формирования изображений кожи и, в частности, для калибровки систем формирования изображений кожи, в которых кожу фотографируют под действием УФ и/или синего света, что имеет своим результатом флуоресцентное изображение.
Уровень техники изобретения
Предложены различные системы формирования изображений, которые фотографически захватывают изображения лица субъекта для анализа состояния здоровья и эстетического внешнего вида кожи. Разные изображения, захваченные в разные моменты времени или под действием различных условий освещения, можно использовать и/или сравнивать между собой для получения сведений о состоянии кожи и ее реакции на лечение. Обычно это выполняется операторами, изучающими фотографии для идентификации некоторых визуальных индикаторов состояния кожи и для определения изменений между фотографиями. Когда кожу фотографируют под действием осветительного света, например вспышек света или стробоскопического света, интенсивность света и длина волны света могут изменяться от одной фотографии к другой. Условия внешнего освещения также могут вызывать изменения осветительного света. Изменения осветительного света могут приводить к изменениям в захватываемых цифровых изображениях, которые не относятся к изменениям состояния кожи, тем самым снижая доказательную ценность анализа цифрового формирования изображений.
Сущность изобретения
Проблемы и недостатки, ассоциированные с традиционным устройством, используемым для цифрового формирования изображений кожи, преодолеваются посредством эталона флуоресценции для идентификации изменений освещения во время формирования изображений, проводимого во множество моментов времени, который включает в себя флуоресцентный объект, который флуоресцирует в ответ на свет с длиной волны в приблизительном диапазоне от 375 нм до 430 нм. Флуоресцентный объект имеет два участка с разным флуоресцентным откликом. В соответствии со способом по настоящему изобретению, изменения освещения во время формирования изображений с помощью камеры обнаруживаются посредством установки перед камерой флуоресцентного объекта, который флуоресцирует в ответ на свет с длиной волны в приблизительном диапазоне от 375 нм до 430 нм. Захватывают первое изображение флуоресцентного объекта с помощью света с длиной волны в приблизительном диапазоне от 375 нм до 430 нм. Захватывают второе изображение флуоресцентного объекта с помощью света с длиной волны в приблизительном диапазоне от 375 нм до 430 нм. Затем флуоресцентный отклик флуоресцентного объекта на первом изображении сравнивают с флуоресцентным откликом флуоресцентного объекта на втором изображении.
Другие аспекты, особенности и преимущества настоящего изобретения будут очевидны из нижеследующего подробного описания изобретения.
Краткое описание чертежей
Фиг.1 - схематичный вид субъекта, кожу которого фотографируют на станции формирования изображений кожи, которая включает в себя устройство калибровки в соответствии с настоящим изобретением.
Фиг.2 - вид в перспективе устройства калибровки, показанного на фиг.1, в котором устройство калибровки показано отдельно от системы формирования изображений кожи для облегчения рассмотрения и пояснения.
Фиг.3А - вид спереди первого фотографического изображения субъекта и устройства калибровки, снятого в момент времени Т1.
Фиг.3В - вид спереди первого фотографического изображения субъекта и устройства калибровки, снятого в момент времени Т2.
Подробное описание изобретения
Настоящее изобретение включает в себя устройство и способ калибровки станции формирования изображений кожи. Устройство калибровки включает в себя эталон флуоресценции с первым слоем, выполненным из материала, обладающего флуоресцентными свойствами, аналогичными свойствам кожи, при облучении УФ и/или синим светом. Дополнительные слои, выполненные из просвечивающего материала, которые частично покрывают первый слой, ослабляют интенсивность флуоресценции первого слоя и тем самым образуют многоступенчатый калибровочный эталон.
В соответствии со способом по настоящему изобретению, калибровочный эталон устанавливается вблизи лица субъекта, фотографируется вместе с субъектом и представляется на одном и том же фотографическом изображении. При съемке фотографии флуоресценции в УФ или синем свете разные участки калибровочного эталона, имеющего разное число слоев, поглощают УФ и/или синий свет и флуоресцируют на разных известных уровнях, обеспечивая многочисленные эталоны флуоресценции для калибровки. Множество цифровых изображений записывается для сравнения друг с другом, каждое из которых записывает интенсивность флуоресценции для лица субъекта и для эталона. Значения флуоресценции, относящиеся к эталону, сравнивают в последовательных цифровых изображениях, чтобы определить, возникло ли изменение интенсивности, указывающее изменение яркости освещения. Подпрограмма программного обеспечения определяет местоположение эталонов флуоресценции на изображении. Если определено, что интенсивность света осветительного света изменилась, то изображение можно повторно захватить посредством съемки другой фотографии. Интенсивность освещения можно регулировать перед съемкой заменяющего изображения или фотограф может корректировать факторы окружающей среды, которые привели к изменению. В альтернативном варианте программное обеспечение может регулировать интенсивность отображения изображения посредством регулировки значений интенсивности пикселей, чтобы компенсировать изменение интенсивности освещения.
На фиг.1 представлена станция 10 формирования изображений кожи, имеющая особенности и функциональные возможности, описанные в совместно рассматриваемых заявках настоящего Заявителя, заявке на патент США №10/008,753, озаглавленной «Method of Taking Images of the Skin Using Blue Light and the Use Thereof», которая была опубликована как публикация заявки США №US 2004/0146290 A1, заявке на патент США №10/978,284, озаглавленной «Apparatus for and Method of Taking and Viewing Images of the Skin», которая была опубликована как публикация заявки США №US 2005/0195316 A1 («Публикация США №2005/0195316»), заявке №11/169,813, озаглавленной «Skin Imaging System with Probe», которая была опубликована как публикация заявки США №US 2006/0092315 A1 («Публикация США №2006/0092315»), каждая из которых целиком включена в настоящую заявку путем ссылки. В публикациях США №№2005/0195316 и 2006/0092315 описано применение альтернативных осветительных методов для подсветки и выделения состояний кожи, например морщин или акне, при этом активируют блок вспышки, который способен производить свет конкретной длины волны, и изображение захватывают камерой. В данном процессе можно также использовать различные фильтры.
Один метод, описанный в вышеупомянутых заявках, включает в себя съемку фотографии флуоресценции кожи субъекта при синем свете для освещения и выявления таких состояний кожи, как акне и «роговые вещества» (т.е. смесей сальных липидов, кератиноцитов и, возможно, себоцитов, уплотненных в открытых комедонах и угрях на коже), путем создания ярких изображений распределения копропорфирина, субстанцией, сопутствующей упомянутым состояниям. С использованием, по существу, только синего света (т.е. света, имеющего длину волны, изменяющуюся от приблизительно 375 до приблизительно 430 нм), излучение флуоресценции копропорфирина максимизируют. Поэтому возбуждение в синей области спектра дает яркие изображения излучения флуоресценции распределения роговых веществ.
В фотографии флуоресценции при синем свете обычно используют фильтры, имеющие очень узкую полосу пропускания, и результирующее ослабление требует использования высокоинтенсивных источников света (например, вспышек). Однако высокоинтенсивным источникам света свойственны флуктуации интенсивности и цветовой температуры, которые могут приводить к несогласованным изображениям. Эти рассогласования могут также происходить вследствие незначительных флуктуаций источника питания или факторов окружающей среды, например случайного оптического экспонирования от другого источника (например, наружным светом из открытой двери комнаты, в которой получают изображение субъекта). Такого рода рассогласования могут появляться в последовательно снятых фотографиях субъекта, если интенсивность света вспышки изменяется между съемкой по меньшей мере двух фотографий. В результате изображения кожи субъекта, которые не сняты под воздействием, по существу, идентичных условий освещения, могут варьироваться, что негативно влияет на качество и/или согласованность получаемых изображений и компрометирует информацию, собранную из них. Поэтому существует потребность в эталоне флуоресценции для содействия в интерпретации каждой фотографии, для сравнения уровней интенсивности света последовательно снятых фотографий, для регулировки изменяющейся интенсивности падающего света и для обеспечения опорного эталона для калибровки.
Как должно быть очевидно из нижеследующего, настоящее изобретение можно применять для калибровки других систем формирования изображений, однако, упомянутую систему можно применять для наглядного пояснения настоящего изобретения. Станция 10 формирования изображений кожи содержит упор 14 для подбородка для поддержки подбородка субъекта S в процессе формирования изображений. Камера 16 установлена на станции 10 формирования изображений напротив упора 14 для подбородка и субъекта S. Расстояние между упором 14 для подбородка и передним концом объектива камеры 16 и настройка трансфокации камеры регулируются так, чтобы лицо субъекта S, по существу, заполняло «кадр» камеры 16, причем упор 14 для подбородка размещает субъекта в согласованных ориентации и расстоянии относительно камеры 16. Один или более блоков 18а синей вспышки (для ясности, показан только один из упомянутых блоков), которые применяются для флуоресцентной фотографии при синем свете, монтируются в станции 10 формирования изображений для освещения лица субъекта S. Синий светофильтр 18b установлен перед каждым блоком 18а синей вспышки. Для питания блоков 18а синей вспышки обеспечен блок питания (не показан). Блок 18а синей вспышки направлен на центр лица субъекта S. Другие блоки-вспышки и их ассоциированные светофильтры и блоки питания также могут быть смонтированы в станции 10 формирования изображений для стандартных или других типов фотографии (смотри публикацию США №2005/0195316).
Все еще ссылаясь на фиг.1, станция 10 формирования изображений дополнительно содержит экранный монитор 20, функционально соединенный с компьютером (не показан), смонтированным в корпусе станции 10 формирования изображений. В частности, компьютер исполняет программные продукты, которые действуют монитором 20, камерой 16, вспышками, например, 18а и пользовательским интерфейсом. После того как субъект S ввел свою релевантную биографическую и медицинскую информацию с использованием монитора 20 и готов к фотографированию, действующее программное обеспечение делает вызов функции программного обеспечения получения и отображения формируемых изображений («программного обеспечения IDL») (IDL Research Systems, Inc., Boulder, CO). Затем программное обеспечение IDL запускает камеру 16 для получения фотографий флуоресценции при синем свете (а также, при желании, фотографий других типов). Блок 18а вспышки запускается посредством использования радиочастотных приемопередатчиков (смотри публикацию США №2005/0195316), специализированного контроллера последовательности вспышек, программируемого логического контроллера или «распределителя вспышек». Перед съемкой фотографий флуоресценции при синем свете программное обеспечение IDL перемещает длинноволновый фильтр 24 (Kodak Wratten No.8 или 12, компании Eastman Kodak, Rochester, NY) в положение перед объективом камеры 16. Затем снимают фотографии флуоресценции при синем свете. После того как фотографии сняты, программное обеспечение IDL запускает сервомотор 22, соленоид или диск с фильтрами для перемещения длинноволнового фильтра 24 от объектива камеры 16.
Далее, как показано на фиг.1 и 2, калибровочный эталон 26 монтируют на упор 14 для подбородка (например, в паз, обеспеченный в нем), в соответствии с настоящим вариантом осуществления так, что когда субъект S располагает свой подбородок на упоре 14 для подбородка, калибровочный эталон 26 располагается вблизи его лица (смотри фиг.1). Калибровочный эталон 26 имеет два или более перекрывающихся слоев и показан на фиг.2 как имеющий три таких слоя 28, 30 и 32 соответственно. Первый слой 28 изготавливается из стекла GG420 для фильтра (компании Schott Glass Technologies PA, Duryea), материала, обладающего свойствами флуоресценции (возбуждения и излучения), аналогичными соответствующим свойствам кожи, при воздействии УФ или синим светом, т.е. светом, имеющим длину волны около 375-430 нм. Второй слой 30 имеет меньшую область, чем первый слой 28, и частично перекрывает первый слой 28 (смотри фиг.2). Второй слой 30 изготавливается из стекла BG39 для фильтра (компании Schott Glass Technologies PA, Duryea), пропускающего свет, нефлуоресцентного материала, который действует как ослабляющий слой. Третий слой 32 аналогичен второму слою 30 тем, что также изготавливается из стекла BG39 для фильтра и также действует как ослабляющий слой. Третий слой 32 имеет меньшую область, чем первый и второй слои 28, 30, и частично перекрывает второй слой 30 (смотри фиг.2). Второй и третий слои 30, 32 постепенно снижают интенсивность флуоресценции первого слоя 28. Три слоя 28, 30, 32 можно скреплять вместе в стопочную конфигурацию посредством пластикового корпуса (не показан). Эту слоистую сборку можно съемно закреплять на системе 10 формирования изображений, с возможностью съема для хранения для того, чтобы защищать эталон 26 от повреждения и загрязнения. Со станцией 10 формирования изображений можно использовать различные эталоны 26 для различных сеансов формирования изображений. Калибровочный эталон 26 дополнительно содержит держатель, чтобы задавать воспроизводимое взаимное пространственное расположение между камерой, используемой для выполнения формирования изображений, и упомянутым эталоном, и также задает воспроизводимое взаимное пространственное расположение между субъектом для формирования изображений, камерой и упомянутым эталоном, при этом упомянутый держатель содержит упор для подбородка для установления положения субъекта для формирования изображений.
На фиг.3А и 3В показаны изображения 34а и 34b соответственно субъекта S и калибровочного эталона 26 в виде, представленном на мониторе 20 станции формирования изображений кожи. Во время формирования изображений субъекта S при синем свете, как подробно описано в публикации США №2005/0195316, три слоя 28, 30 и 32 калибровочного эталона 26 получают синий свет одинаковой интенсивности со светом, который освещает лицо субъекта S. Участок первого слоя 28, подвергнутый воздействию синего света (т.е. область, не покрытая вторым и третьим ослабляющими слоями 30, 32), имеет отклик флуоресценции, аналогичный кожному. Второй слой 30 обладает ослабляющим влиянием на флуоресценцию первого слоя 28, снижая степень флуоресценции, производимой в ответ на синий свет. Третий слой 32 в сочетании со вторым слоем 30 обладает еще более сильным ослабляющим влиянием на флуоресценцию первого слоя 28, дополнительно снижая степень флуоресценции, производимой в ответ на синий свет. Посредством поглощения синего света и флуоресценции на разных согласующихся известных уровнях три слоя 28, 30, 32 функционируют как три эталона флуоресценции для того, чтобы обеспечивать множественные эталонные меры для калибровки. Подпрограмма программного обеспечения может использоваться для определения местоположения эталонов флуоресценции на изображениях 34а и 34b, анализа интенсивности света, возвращающейся от эталонов, встроенных в устройство 26, и для калибровки системы на основе этого анализа, описанного ниже.
1
1
2
2
3
3
1
2
1
1
1
1
1
2
Оба изображения 34а и 34b формируются двумерными матрицами пикселей. Каждый пиксель занимает уникальное (X, Y) местоположение в матрице и имеет значение интенсивности. На каждом из фиг.3А и 3В показаны местоположения трех выборочных пикселей, а именно пикселя, расположенного в области, характеризующей третий слой 32 эталона 26 на изображениях 34а и 34b, с местоположением (X, Y), и двух пикселей в областях, характеризующих кожу субъекта S, с местоположениями (X, Y) и (X, Y). Изображение 34а снято в момент времени T, a изображение 34b снято в момент времени Т. Момент времени, в который снимали каждое изображение, отмечен вместе с координатами местоположения на изображениях (например, (X, Y, T) на изображении 34а и (X, Y, T) на изображении 34b).
1
2
1
1
2
2
2
2
1
2
Когда снимают серию последовательных фотографических изображений, например, 34а и 34b, субъекта S, то в промежутке между моментами времени T и Т могут возникать флуктуации интенсивности света освещения (вспышки), приводящие к различию значений интенсивности света для пикселей в областях, характерных для эталона 26, например в (X, Y), а также кожу субъекта S, например, в (X, Y). Изменение интенсивности света пикселей, характерных для эталона 26, является индикатором того, что изменился свет освещения. Соответственно одним из аспектов настоящего изобретения является идентификация ситуации, в которой интенсивность света освещения изменилась между съемками по меньшей мере двух цифровых изображений при таком изменяющемся свете освещения. Без применения эталона невозможно было бы отнести различие значений интенсивности света между одним или более пикселями, например в (X, Y), в последовательных изображениях кожи (например, 34а и 34b) на счет таких флуктуаций осветительного света или на счет изменяющихся состояний кожи, наблюдающихся у субъекта S, в моменты времени T и Т.
Для распознавания изменений интенсивности в области изображения, соответствующей эталону 26, такая область на изображениях, например 34а, 34b, должна быть идентифицирована/отделена так, чтобы можно было идентифицировать значения интенсивности правильных пикселей. Это может быть выполнено посредством назначения предопределенной области изображения для эталона 26. В частности, если настройка фокусного расстояния и ориентация камеры 16 остаются неизменными, то эталон 26 будет находиться в одних и тех же областях каждого снятого изображения, так что область изображения, соответствующая эталону 26 (и его составляющие части 28, 30, 32), может быть найдена эмпирически и остается постоянной. В качестве альтернативы изображение можно сканировать (целиком или под набор пикселей, например один из каждых 50 пикселей) для проверки на повторяющиеся значения интенсивности в форме прямоугольника (имеющей прямоугольную форму). В случае с эталоном 26, составленным из нескольких частей, подобного тому, который показан на фиг.2, наличие более чем одного смежного прямоугольника (в показанном случае - трех), каждый из которых имеет последовательные значения интенсивности (прогрессивно уменьшающиеся для каждого участка 28, 30, 32), является надежным признаком расположения эталона 26. Сканирование эталона 26 имеет то преимущество, что перемещение эталона на изображении, например, из-за перемещения или изменения фокусного расстояния камеры 16 не приведет к ошибочным показаниям для эталона.
Упомянутый этап идентификации выполняется проверкой программным путем первого и второго изображений для областей, удовлетворяющих критерию, показательному для флуоресцентного объекта. Критерий включает в себя форму и/или размер. В качестве альтернативы упомянутый этап идентификации выполняется посредством ручного определения местоположения флуоресцентного объекта на первом изображении и формирования изображения приблизительно таким же образом для второго изображения так, чтобы флуоресцентный объект занимал, по существу, одно и то же положение на каждом из первого и второго изображений.
1
1
1
1
1
2
1
1
1
1
2
После определения положения пикселей, характеризующих эталон 26 на изображениях 34а, 34b, можно сравнивать значения интенсивности света соответствующих пикселей, например (X, Y, T) и (X, Y, Т). Вычитание одного значения интенсивности, например в (X, Y, T), из другого, например в (Xi, Y, Т), дает число, характеризующее количественное различие интенсивности между пикселями. В качестве альтернативы можно выполнять более сложные анализы различий интенсивности между изображениями, которые являются нелинейными, например с кривыми гамма-распределения или с преобразованием в альтернативные цветовые пространства, в частности для значительных различий. При выполнении численного анализа цифровых изображений, например 34а, 34b, часто выгодно преобразовывать изображение из RGB-формата в L*а*b*-формат, чтобы упрощать математические операции и получить более глубокое представление о цветовом составе и яркости изображений.
При идентификации (и количественном определении) изменения света освещения между изображениями, снятыми в разные моменты времени, в соответствии с настоящим изобретением, можно выполнить дополнительные корректирующие этапы: (i) корректировать условия окружающей среды при формировании изображений, например, путем выдачи оператору команды на устранение поступления внешнего освещения окружающей среды, например, через открытую дверь или штору, изменения положения субъекта и т.п.; (ii) регулировать/корректировать источник освещения, например света 18а, например, посредством изменения его положения, замены его другим источником или электронной регулировкой его выходного сигнала, например регулировкой входного напряжения на источник света; или (iii) нормировать соответствующее изображение путем регулировки значений интенсивности всех пикселей в изображении относительно изображения, выбранного в качестве опорного изображения, например, общим суммированием или вычитанием количественно выраженной разности интенсивности, идентифицированной сравнением различия в интенсивности, свойственной участку изображений, характеризующих эталон 26 (и сохранением нормированного/скорректированного изображения для сравнения). Например, если интенсивность изображения во втором изображении меньше, чем в первом изображении на величину «5» (вследствие изменения интенсивности освещения, определенной по интенсивности изображения эталона 26, присутствующего в каждом изображении), то второе изображение можно нормировать относительно первого прибавлением «5» к интенсивности пикселя для всех пикселей во втором изображении. В качестве альтернативы можно выполнять более сложные анализы различий интенсивностями между изображениями, которые являются нелинейными, например, с кривыми гамма-распределения или с преобразованием в альтернативные цветовые пространства, в частности для значительных различий. Что касается первых двух вариантов, т.е. регулировки света окружающей среды или осветительного света, то изображение с изменениями игнорируется, и снимается новое изображение. В третьем варианте регулировки значений интенсивности пересъемка изображения не обязательна.
Следует понимать, что процесс нормирования можно выполнять относительно значений интенсивности изображения эталона 26, взятых из любого произвольного изображения, например 34а или 34b, поскольку процесс регулировки является относительным, и что процесс нормирования можно выполнять для любого числа изображений от 1 до любого числа N. Затем нормированное(ные) изображение(ния) можно отображать или сохранять совместно с другими изображениями в памяти компьютера или в файле.
Следует понимать, что вариант осуществления, показанный на фиг.1-3В, является просто примером, и что специалист в данной области техники сможет создать множество изменений и модификаций без отклонения от сущности и объема изобретения. Например, в калибровочное устройство 26 можно включить больше или меньше ослабляющих слоев. В то время как настоящее изобретение описано на примере регулировки изменений синего света освещения, однако, настоящее изобретение можно также применять для идентификации и компенсации изменений осветительного света других длин волн. Все такие изменения и модификации предполагаются включенными в пределы объема изобретения.