ЦВЕТОВЫЕ ФИЛЬТРЫ ДЛЯ ДАТЧИКОВ С РАЗМЕРАМИ МЕНЬШЕ ДИФРАКЦИОННОГО ПРЕДЕЛА
COLOUR FILTERS FOR SUB-DIFFRACTION LIMIT-SIZED SENSORS

ОБЛАСТЬ ТЕХНИКИ
Примеры выполнения настоящего изобретения в целом относятся к датчикам электромагнитного излучения и в частности к массивам твердотельных датчиков изображения, имеющим световые рецепторы с размерами меньше дифракционного предела, и к цветовым фильтрам, с которыми они используются.
УРОВЕНЬ ТЕХНИКИ
В литературе описан двумерный массив 1-битовых рецепторов, названный цифровым пленочным датчиком (DFS, digital-film sensor), который представляет собой массив из глубоких пикселей с размерами меньше дифракционного предела (SDL, sub-diffraction-limit), то есть пикселей, размеры которых меньше, чем диаметр диска Эйри (550 нм), при этом размер каждого пикселя составляет доли микрона. Описано также, что хотя несколько фотоэлектронов могут внести вклад для выдачи выходного сигнала выше некоторого порога, в конечном итоге желательно получить чувствительность единичного фотоэлектрона. Описано также, что пиксель, который должен обнаружить единственный фотоэлектрон, имеет намного более низкие эксплуатационные требования к полной емкости и динамическому диапазону, чем аналоговый пиксель в обычном датчике изображения. Эти специализированные пиксели были названы «йотами» (jot).
Для реализации йоты можно сделать обычный активный пиксель с очень высоким коэффициентом преобразования (низкой емкостью). Другие подходы включают использование эффекта лавинной или ударной ионизации для достижения требуемого коэффициента передачи в пикселе, а также возможно использование квантовых точек и других наноэлектронных устройств. Кроме того, описано, что возможно использование многослойных структур.
В процессе работы в начале периода экспонирования йоту устанавливают в исходное состояние логического «0». Если затем во время экспонирования в нее попадает фотон, йота немедленно или после считывания устанавливается в состояние логической «1». Описано также, что благодаря однобитовой природе разрешения «аналого-цифрового» преобразования могут быть достигнуты высокие скорости считывания строк.
Описано также, что цвет может обрабатываться аналогичным образом, как в известных цветовых датчиках изображения. То есть йоты могут быть покрыты цветовыми фильтрами. В этом случае красные (R), зеленые (G) и синие (В) йоты могут обрабатываться по отдельности, а затем разработанные цифровые изображения могут быть объединены для формирования обычного RGB-изображения. Описано также, что йоты R, G и В необязательно располагать с одинаковой пространственной частотой.
Типичные технологии для формирования цветных изображений основаны на датчике Байера и его вариантах. Другие способы включают использование цветных колес и призм. На фиг.1 показан типичный шаблон байеровского типа, содержащий комбинацию элементов RGB-фильтров. Использование большего количества зеленых (G) элементов фильтров, чем красных (R) или синих (В), связано с большей разрешающей способностью человеческого глаза для зеленого цвета. Другие типы фильтров включают, например, фильтры CYGM (голубой, желтый, зеленый, пурпурный) и фильтры RGBE (красный, зеленый, синий, изумрудный). Кроме того, известно использование прозрачного или белого элемента фильтра для обеспечения чувствительности в инфракрасной области спектра.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В одном аспекте настоящего изобретения предлагается устройство, которое содержит массив световых рецепторов с размерами меньше дифракционного предела, выполненный на подложке, имеющей светоприемную поверхность. Устройство также содержит систему оптических фильтров, расположенную над светоприемной поверхностью и содержащую массив пикселей фильтров, каждый из которых имеет ассоциированную с ним спектральную характеристику полосы пропускания. Каждый световой рецептор может быть выполнен с возможностью вывода многобитового элемента со скалярным значением и изменения состояния на основе поглощения по меньшей мере одного фотона. Элемент данных, получаемый из массива световых рецепторов с размерами меньше дифракционного предела, включает комбинацию множества выходных значений многобитовых элементов из множества световых рецепторов, которые лежат под пикселями фильтров, имеющих по меньшей мере две различные спектральные характеристики полосы пропускания.
В другом аспекте настоящего изобретения предлагается способ, включающий освещение светоприемной поверхности массива световых рецепторов с размерами меньше дифракционного предела. Каждый световой рецептор выполнен с возможностью вывода многобитового элемента со скалярным значением и изменения состояния на основе поглощения по меньшей мере одного фотона. Освещение производят через систему оптических фильтров, расположенную над светоприемной поверхностью и содержащую массив пикселей фильтров, каждый из которых имеет ассоциированную с ним спектральную характеристику полосы пропускания. Способ также включает в конце периода экспонирования считывание многобитовых элементов со скалярными значениями и формирование элемента данных, включающего комбинацию множества выходных значений многобитовых элементов из множества световых рецепторов, которые лежат под пикселями фильтров, имеющих по меньшей мере две различные спектральные характеристики полосы пропускания.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Указанные выше и другие аспекты вариантов выполнения настоящего изобретения станут понятными из последующего подробного описания изобретения и приложенных чертежей.
На фиг.1 показан типичный шаблон байеровского типа с комбинацией элементов RGB-фильтров.
На фиг.2 показаны концепции рецепторов, битовых элементов и элемента данных.
На фиг.3 показан пример шаблона фильтров согласно вариантам выполнения настоящего изобретения, содержащий значительно больше цветовых фильтров, чем обычный шаблон (например, Байера), показанный на фиг.1.
На фиг.4А и 4В, обозначенных как фиг.4, показаны упрощенный увеличенный вид сверху и вертикальная проекция светочувствительного датчика, который подходит для использования вариантов выполнения настоящего изобретения.
На фиг.5 показан подходящий, но не ограничивающий изобретение, тип электрической схемы для реализации рецепторов светочувствительного датчика, показанного на фиг.4.
На фиг.6 показана структурная схема устройства, которое может содержать датчик изображения и цветовой фильтр согласно вариантам выполнения настоящего изобретения.
На фиг.7А и 7В показан массив датчиков, изображенных на фиг.4, с массивом фильтров согласно вариантам выполнения настоящего изобретения, расположенным между светоприемной поверхностью и обнаруживаемым светом.
На фиг.8А-8F показаны графики зависимости интенсивности от длины волны, и иллюстрируются различные, но не ограничивающие изобретение, типы спектральных характеристик цветовых фильтров, которые могут использоваться в различных пикселях фильтров массива фильтров, показанного на фиг.7А и 7В.
На фиг.9 показан пример фильтров трех различных типов, каждый из которых расположен над множеством световых рецепторов.
На фиг.10 показана последовательность операций способа, а также, по меньшей мере частично, выполнения инструкций компьютерной программы согласно вариантам выполнения настоящего изобретения.
На фиг.11 показана другая последовательность операций способа, а также, по меньшей мере частично, выполнения инструкций компьютерной программы согласно вариантам выполнения настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
На фиг.2 и в последующем описании термин «рецептор»» относится к физическому чувствительному элементу, который преобразует свет в носители заряда (например, электроны). «Битовый элемент» представляет собой концептуальный 1-битовый элемент данных, который указывает степень экспонирования светом одного рецептора. «Многобитовый элемент» представляет собой концептуальный n-битовый элемент данных (где n>1), который указывает степень экспонирования светом одного рецептора. «Элемент данных» представляет собой комбинацию множества битовых и/или многобитовых элементов и может содержать от двух до произвольно большого числа составляющих битовых и/или многобитовых элементов. В качестве не ограничивающего изобретение примера элемент данных может включать последовательность битовых и/или многобитовых элементов или некоторую другую комбинацию битовых и/или многобитовых элементов (например, сумму или среднее значение).
Примеры вариантов выполнения настоящего изобретения относятся, по меньшей мере частично, к технологии датчиков формирования изображений, такой как технологии светочувствительных датчиков, используемые в цветных камерах. Как было рассмотрено выше, датчики некоторых современных цветных камер выполнены с использованием двумерных массивов пикселей, которые измеряют уровни освещения, накапливая заряд, формируемый падающим светом. Массив цветовых фильтров, расположенный между массивом пикселей и падающим светом, позволяет массиву пикселей обнаруживать цвет. Хранимые заряды могут быть оцифрованы с использованием плавающей диффузии и схемы аналого-цифрового преобразователя (ADC, analog to digital converter). Обнаруженное изображение (изображения) затем обрабатывается (обрабатываются), и результат представляет собой сохраненное изображение или видеоизображение.
С обычной технологией датчиков изображения связан ряд проблем. Например, точность цвета может быть меньше оптимальной, поскольку обычно используют фильтры только с относительно небольшим числом различных цветов (например, тремя цветами). Однако увеличение количества цветовых фильтров уменьшает разрешение. Кроме того, цветовые фильтры могут уменьшить чувствительность датчика, поскольку в фильтрах имеются оптические потери, приводящие к потере фотонов, которые становятся недоступными для формирования изображения.
В примерах выполнения настоящего изобретения используется массив, содержащий большое количество рецепторов с размерами меньше дифракционного предела в комбинации с массивом цветовых фильтров. Массив цветовых фильтров может иметь намного более свободную конструкцию, чем обычные массивы цветовых фильтров, поскольку элемент данных создается из множества битовых элементов. В результате для каждого элемента данных могут использоваться несколько различных типов цветовых фильтров с известной характеристикой спектральной чувствительности (например, полосовые фильтры, полосно-заграждающие фильтры, фильтры нижних частот и фильтры верхних частот).
Рецепторы могут быть простыми и очень малыми, обеспечивая работу ниже дифракционного предела, а частота дискретизации для элемента данных может быть намного больше частоты Найквиста. Это позволяет использовать множество фильтров (например, полосовой фильтр, полосно-заграждающий фильтр, фильтр нижних частот и фильтр верхних частот), поскольку разрешение не ухудшается, даже если выходы нескольких рецепторов объединены в один элемент данных. Путем создания элементов данных с различным числом рецепторов может достигаться динамическая оптимизация между разрешением, точностью цвета и чувствительностью.
Из сравнения фиг.3 с фиг.1 видно, что оптические фильтры, изготовленные согласно вариантам выполнения настоящего изобретения, позволяют использовать множество различных типов фильтров в любых требуемых комбинациях с лежащими под ними рецепторами с размерами меньше дифракционного предела. Отметим, что, например, на фиг.3 обозначения G1, G2 и G3 предназначены для представления различных оттенков или вариаций полосы длин волн, ассоциированной с зеленым цветом. В общем случае, чем темнее фильтр, тем уже область полосы пропускания.
6
На фиг.4А и 4В показано, как варианты выполнения настоящего изобретения могут использоваться совместно со светочувствительным датчиком 1, который содержит большое количество 1-битовых световых рецепторов 2, расположенных в виде двумерного массива световых рецепторов. Этот двумерный массив организован по i световых рецепторов 2 вдоль оси Х и по j световых рецепторов 2 вдоль оси Y, где i может быть равным или неравным j. В примерах выполнения настоящего изобретения i и j могут иметь значение приблизительно 10. Между светоприемной поверхностью 1А и отображаемой сценой может быть расположена опциональная линза (на фиг.4 не показана).
На фиг.7А и 7В в соответствии с примерами выполнения настоящего изобретения показан массив 1 датчиков с массивом 6 фильтров, расположенным между светоприемной поверхностью 1А и обнаруживаемым светом. Массив 6 фильтров содержит массив дискретных пикселей 6А фильтров. Массив 1 датчиков с рецепторами 2 (пикселями) с размерами меньше дифракционного предела увеличивает свободу выбора характеристик систем цветовых фильтров, поскольку один выходной пиксель (элемент данных) формируется из нескольких битовых элементов, образуемых из нескольких рецепторов 2. Это позволяет, например, использовать высокочувствительные цветовые фильтры, спектральное формирование изображения и дополнительную свободу в выборе материалов для цветовых фильтров и спектральных характеристик, позволяет использовать один цветовой фильтр для покрытия множества соседних рецепторов 2, снижает или устраняет цветовые артефакты, которые могут иметь место при цветовой интерполяции, улучшает динамический диапазон при использовании цветовых фильтров с различной чувствительностью, а также дает возможность в некоторых местах массива фильтров использовать фильтры с нейтральной оптической плотностью или не использовать фильтры.
На фиг.7А показан вариант выполнения настоящего изобретения, в котором каждый из пикселей 6А фильтров ассоциирован с одним нижележащим рецептором 2, в то время как на фиг.7В показан вариант выполнения настоящего изобретения, в котором каждый из пикселей 6А фильтров лежит над множеством соседних рецепторов 2. Таким образом, каждый пиксель 6А фильтра может иметь размер для покрытия такого же числа нижележащих рецепторов 2 или может иметь размер для покрытия другого числа нижележащих рецепторов 2, как показано на фиг.7В,. В общем случае, два или более соседних пикселей 6А фильтров могут иметь одинаковые или различные спектральные характеристики фильтров.
Двоичное значение конкретного рецептора 2 (1 или 0) указывает на состояние рецептора (включен или выключен). Сцена, просматриваемая массивом 1 датчиков через массив 6 фильтров, преобразуется в цветное изображение путем обработки обнаруженных значений рецептора и вычисления изображения (разрешения и цветов) на основе указанных значений рецепторов.
Предполагается, что направление, в котором приходит свет, лежит в пределах поля обзора (FOV, field of view) датчика 1.
В некоторых вариантах выполнения настоящего изобретения может быть предпочтительно, чтобы рецепторы 2 в центральной области датчика 1 были меньше, чем рецепторы 2, расположенные ближе к краям (рецепторы на границах изображения и рядом с ними).
Во время работы отдельные рецепторы 2 массива 1 датчиков, сбрасываются в известное состояние (0 или 1). Когда свет падает на массив 1 датчиков, он поглощается конкретными рецепторами 2 и изменяет их состояние (1 или 0). Спустя некоторый период времени массив 2 датчиков захватывает большое число фотонов, и некоторое, возможно, соответственно большое количество рецепторов 2 изменяет состояние. В точке, где имеется больше рецепторов 2 со значением (1 или 0, то есть рецепторов, которые изменили состояние по сравнению с исходным состоянием сброса), вероятность, что фотон попадет в рецептор, который все еще находится в исходном состоянии сброса, падает. В результате датчик 1 начинает насыщаться. Этот тип нелинейного поведения может учитываться при последующей обработке значений рецепторов (пикселей).
Время экспонирования датчика 1 может быть основано на изображении (изображениях), захваченном (захваченных) ранее. Кроме того, в рамках настоящего изобретения может иметься некоторый механизм, который позволяет определить количество рецепторов 2, изменивших состояние, для окончания экспонирования после того, как изменило состояние некоторое пороговое количество рецепторов 2 (например, 15%). Этот механизм может быть основан на выполнении множества последовательных циклов считывания без разрушения информации в датчике 1 и продолжении этих операций до тех пор, пока не изменит состояние некоторое пороговое количество рецепторов 2.
Отметим, что хотя комбинация датчик 1/массив 6 фильтров чувствительна к длине волны (цвету) и, таким образом, находит применение в качестве формирователя цветного изображения или спектрального формирователя изображения, она может использоваться также и для создания черно-белого и монохромного изображений. Если количество падающего света мало, может быть предпочтительным обрабатывать только информацию яркости с низким разрешением от датчика 1. Когда сцена более светлая, можно увеличить разрешение, а также точность цвета.
Множество соседних рецепторов 2 могут быть сгруппированы вместе для формирования единичного пикселя изображения, а количество рецепторов в конкретной группе может меняться от экспонирования к экспонированию, причем это количество может отличаться для различных групп во время одного экспонирования. Например, может быть меньше рецепторов 2 для каждой группы, расположенной ближе к центру светоприемной поверхности 2А, и больше рецепторов 2 для каждой группы, расположенной ближе к краям светоприемной поверхности 2А.
Массив рецепторов 2 может считываться, например, с использованием технологии, аналогичной технологии, применяемой в оперативной памяти, например, технологии динамической памяти с произвольным доступом (DRAM). To есть датчик 1 можно рассматривать в качестве представления массива i×j адресуемых однобитовых ячеек хранения (см. также фиг.4В). Датчик 1 может быть выполнен таким образом, что значение рецептора всегда сбрасывается в исходное состояние во время цикла считывания, или операция сброса выполняется отдельно от операции считывания.
Отметим, что на фиг.4В электрические соединения для удобства показаны идущими по вертикальным сторонам подложки 3, но это не является ограничением изобретения. Например, в конкретных вариантах выполнения настоящего изобретения может быть предпочтительно выполнить электрические контакты на верхней поверхности (светоприемной поверхности 1А), на нижней поверхности или как на верхней, так и на нижней поверхностях.
Благодаря потенциально большому количеству рецепторов 2 каждый отдельный рецептор может быть максимально простым, что позволяет увеличить производство датчиков 1 по сравнению с обычными массивами датчиков. Любые дефектные рецепторы 2, например, постоянно поддерживающие значение ноль или единицу, могут быть идентифицированы, а их положения определены и скомпенсированы (например, с использованием интерполяции значений соседних рабочих рецепторов 2) во время обработки изображения.
На фиг.4 В показан пример массива 1 датчиков со схемой 4 формирования адресов х-у (строка/столбец) и схемой 5 считывателя рецепторов (пикселей). Схема 5 считывателя рецепторов принимает из массива 1 датчиков поток или потоки по существу двоичных данных (единиц и нулей), соответствующих тем рецепторам 2, которые включены (то есть поглотили по меньшей мере один фотон), и тем рецептором 2, которые не включены (то есть все еще находятся в исходном состоянии вследствие того, что не поглотили по меньшей мере одного фотона или некоторого порогового числа фотонов). Схема 5 считывателя рецепторов или процессор 5А изображения может отвечать за группирование выходов световых рецепторов в группы или окрестности х-у световых рецепторов. Схема 5 считывателя рецепторов может включать функцию сжатия (может использоваться любая подходящая функция сжатия, например, кодирование длин серий), или может применяться отдельная функция сжатия перед хранением считываемых значений рецепторов. Схема 4 формирования адресов может формировать, в любое заданное время, адреса для считывания рецепторов 2 по отдельности или по группам. Управление считыванием может производиться процессором 5А изображений через шину 5 В управления. Выход процессора 5А изображения представляет собой данные цветного изображения.
Схема 2 рецепторов не является такой сложной, как схема во многих обычных датчиках с комплементарной структурой металл-оксид-полупроводник (КМОП)/структурой приборов с зарядовой связью ПЗС, поскольку в вариантах вывода двоичной информации согласно настоящему изобретению нет необходимости измерять плавающий диффузионный ток/напряжение с помощью аналого-цифрового преобразователя. Вместо этого необходимо только определить, включен или выключен конкретный рецептор 2 (пиксель). Может использоваться множество р-n и n-р переходов, но также могут использоваться другие варианты. Кроме того, глубина слоя p или n (или подложки) может быть намного меньше, чем в обычных датчиках КМОП/ПЗС, поскольку нет потребности в накоплении большого заряда.
t
in
pix
s
b
t
dd
t
pix
Один из подходящих, но не ограничивающих изобретение, типов схемы для реализации рецепторов 2 показан на фиг.5. В этом случае каждый рецептор 2 содержит фотодиод 2А, соединенный с простой схемой 2 В сравнения на основе инвертора для однобитовой амплитудной квантификации. Для предотвращения переключения из-за фоновой подсветки можно использовать регулируемый пороговой ток. Рецептор (пиксель) переключается, когда ток сигнала (плюс фоновый ток) превышает пороговый ток I, а напряжение U на элементе С вследствие тока I+l-lразрядки становится меньше порогового напряжения (~-U/2) компаратора, равного 2В. В предположении, что ток I мал по сравнению с амплитудой импульса сигнала, чувствительность пикселя определяется оптической энергией Е, необходимой для разряда входной емкости пикселя:
pix
pix
F
E≈(CΔU)/SK,
pix
F
где C - полная входная емкость пикселя, включающая входные емкости фотодиода и схемы, ΔU - изменение напряжения на входе, необходимое для переключения компаратора 2В, S - чувствительность фотодиода и К - коэффициент заполнения пикселя.
В общем случае размеры рецепторов по осям х и у могут лежать в диапазоне приблизительно от 0,1 до 0,2 мкм. Предполагается, что фактические минимальные размеры рецептора 2 зависят, по меньшей мере частично, от конкретных особенностей процесса изготовления, таких как длины волн, используемые при фотолитографии и аналогичные параметры, зависящие от процесса. В общем случае размеры и распределение рецепторов 2 могут зависеть от геометрии датчика/устройства и могут быть выбраны исходя из значения угла главного луча (CRA, chief ray angle).
Изготовление массива 1 датчиков может выполняться с использованием любых подходящих способов, включая, в качестве не ограничивающих изобретение примеров, формирование множества имплантированных/диффузионных р-n/n-р переходов и применение технологии склеивания плат.
Массив 6 фильтров может быть сформирован непосредственно над светоприемной поверхностью 1А массива 1 датчиков или на отдельной подложке, которую затем соединяют со светоприемной поверхностью 1А массива 1 датчиков или помещают над ней.
На фиг.8А-8F показаны графики зависимостей интенсивности от длины волны, и иллюстрируются различные не ограничивающие изобретение примеры спектральных характеристик цветовых фильтров, которые могут использоваться в различных пикселях 6А массива 6 фильтров.
На фиг.8А показан пример узкополосных фильтров. Эти фильтры имеют высокую избирательность, что делает возможной высокую точность цвета при условии, что имеется достаточно различных фильтров для покрытия представляющего интерес спектра (например, спектра видимого света). В рамках этого подхода может быть реализован спектральный формирователь изображений.
На фиг.8В показан пример полосно-заграждающих фильтров, которые обеспечивают высокую чувствительность.
На фиг.8С показан пример фильтров верхних частот, которые обеспечивают относительно высокую чувствительность и, как правило, низкую сложность вычислений.
На фиг.8D показан пример широкополосных фильтров. В этом случае цветовую информацию для каждого элемента данных вычисляют по нескольким битовым элементам, представляющим множество различных цветовых фильтров, имеющих широкую полосу пропускания. Этот подход очевидно позволяет повысить чувствительность. Для сравнения, обычные R, G, В фильтры отбрасывают приблизительно 67% полного света. Благодаря использованию нескольких различных фильтров для каждого элемента данных становится возможным достичь высокой точности цвета и спектрального формирования изображений.
Спектральное формирование изображений с использованием широкополосных фильтров можно проиллюстрировать простым примером. Предположим, что имеется два фильтра, при этом фильтр А покрывает диапазон длин волн 450-700 нм, фильтр В - 460-700 нм, и оба фильтра характеризуются плоской спектральной характеристикой. Предположим, что после некоторого освещения фильтр А собрал 500 единиц света, и фильтр В - 450 единиц света. Таким образом, очевидно, что в спектральной полосе 450-460 нм принято 50 единиц света. Поэтому с помощью нескольких таких фильтров можно получить спектральное формирование изображений.
На фиг.8E показан пример фильтров нижних частот, которые обеспечивают относительно высокую чувствительность и, как правило, низкую сложность вычислений.
На фиг.8F показан не ограничивающий изобретение пример фильтров с нетрадиционной полосой пропускания. Вследствие того, что элементы данных включают несколько битовых элементов, можно проектировать фильтры, которые отличаются от традиционных фильтров, таких как показанные на фиг.8А-8Е, при условии, что параметры/спектральные характеристики фильтров известны благодаря алгоритму (алгоритмам) и устройствам для обработки сигналов изображения. Такой тип фильтра может быть произведен случайным образом или по существу случайным образом, при условии, что спектральные характеристики известны перед использованием фильтров.
Кроме того, в рамках вариантов выполнения настоящего изобретения можно использовать полностью прозрачные пиксели (то есть по существу отсутствие фильтра) и/или фильтры 6А с нейтральной оптической плотностью для увеличения динамического диапазона. Прозрачные фильтры обеспечивают высокую чувствительность, в то время как фильтры с нейтральной оптической плотностью искусственно сокращают количество света, но не спектр, и, таким образом, обеспечивают более широкий динамический диапазон. Кроме того, в рамках вариантов выполнения настоящего изобретения можно использовать любую комбинацию фильтров, показанных на фиг.8А-8F, в комбинации с прозрачными фильтрами и/или фильтрами с нейтральной оптической плотностью.
В некоторых случаях может быть предпочтительным варьировать спектральные характеристики массива 6 фильтров в пределах области изображения. Например, центральная область массива 6 фильтров может иметь более высокое разрешение и меньшую чувствительность, в то время как угловые области могут быть лучше оптимизированы по чувствительности, чем по разрешению, что способствует уменьшению эффекта виньетирования.
В дополнение к различным комбинациям оптических фильтров, рассмотренным выше, можно использовать ультрафиолетовые (UV) и инфракрасные (IR) фильтры, чтобы уменьшить наличие нежелательных длин волн, в особенности в фильтрах верхних частот и нижних частот.
Следует отметить, что цветовые фильтры необязательно должны быть отдельными для каждого рецептора 2, как в известных технологиях. Это поясняется на фиг.7В и на фиг.9, где показано, что каждый из трех различных типов фильтров покрывает множество рецепторов 2.
Кроме того, следует отметить, что, хотя показано, что различные фильтры имеют форму квадрата или прямоугольника, они могут иметь в действительности любую желаемую форму, включая яйцевидную и неправильную форму, что облегчает реализацию/изготовление фильтра 6.
Площадь одиночного цветового фильтра может быть увеличена до максимума (при ограничении только требованиями к разрешению и точности цвета). Это уменьшает перекрестные помехи, что также не может быть достигнуто в известных технических решениях.
Как было отмечено выше, примеры выполнения настоящего изобретения не ограничены использованием рецепторов 2 изображения/ световых рецепторов с размерами меньше дифракционного предела и могут использоваться также с другими типами и конструкциями датчиков или рецепторов света/изображения.
Таким образом, в примерах выполнения настоящего изобретения используется массив 1 датчиков с одной плоскостью рецепторов 2 с размерами меньше дифракционного предела, каждый из которых выдает одно однобитовое значение, при этом цветовое различие основано исключительно на перекрывающей системе фильтров 6. Однако в других вариантах выполнения настоящего изобретения каждый рецептор может быть способным хранить заряд, который считывается и оцифровывается в многобитовое представление. Например, один выходной пиксель (элемент данных) может быть сформирован из нескольких многобитовых элементов, образованных несколькими рецепторами. В таком случае производят считывание значений отдельных рецепторов, а затем их объединение.
В качестве не ограничивающего изобретение примера рассмотрим два 2-битовых рецептора (n=2), каждый из которых выводит многобитовый элемент, принимающий значения 0, 1, 2 или 3 (00, 01, 10 или 11 в двоичной форме). Два многобитовых элемента могут быть объединены, например, путем суммирования или усреднения. Например, если двумя многобитовыми элементами являются 3 и 1, они могут быть объединены путем суммирования (3+1=4) или усреднения ((3+1)/2=2). Усреднение значений может быть предпочтительным для рецепторов большой разрядности, например, сумма четырех 6-битовых значений представляет собой 8-битовое значение, тогда как среднее все еще может быть представлено 6 битами. При такой реализации в некоторых случаях могут появляться ошибки округления. В других примерах выполнения настоящего изобретения может быть сконфигурирована система, в которой используется более одного типа объединения, и этот тип объединения может зависеть от конкретной реализации или другого фактора (например, одного или более внутренних или внешних условий или параметров). Объединение может быть выполнено процессором данных, процессором изображения и/или одним или более другими компонентами (например, сумматором, умножителем, регистром, усредняющим компонентом). По сравнению с 1-битовым вариантом выполнения настоящего изобретения многобитовые варианты могут обеспечить повышенную гранулярность и/или чувствительность, хотя, вероятно, за счет увеличения сложности. Фактический баланс (например, количество используемых битов) может зависеть от различных факторов, например, конкретного использования или стоимости.
Хотя выше были описаны световые рецепторы, выдающие элемент с двоичным значением (например, на основе поглощения по меньшей мере одного фотона), в других вариантах выполнения настоящего изобретения выходом световых рецепторов могут быть и не двоичные значения. Например, световой рецептор, выводящий многобитовый элемент, может иметь выход с целочисленным или скалярным значениями.
Кроме того, в примерах выполнения настоящего изобретения может использоваться светочувствительный датчик (массив датчиков), описанный в заявке на патент США 12/384549, поданной настоящим заявителем 06.04.2009 и озаглавленной "Датчик изображения". В этой заявке описан трехмерный массив, организованный по i световых рецепторов вдоль оси X, j световых рецепторов вдоль оси Y и k световых рецепторов вдоль оси Z, где i может быть равно или не равно j, и где i и j по отдельности может быть намного больше k. К 1-битовых световых рецепторов размещены от светоприемной поверхности вертикально один под другим вглубь подложки, которая может представлять собой кремниевую подложку. Вследствие того, что коэффициент поглощения кремния зависит от длины волны, чем глубже в подложке установлен конкретный световой рецептор (то есть чем дальше от светоприемной поверхности), тем более длинноволновым является свет, который достигает этого рецептора и может быть поглощен и обнаружен. Таким образом, хотя в некоторых вариантах выполнения настоящего изобретения массив 1 датчиков может самостоятельно обеспечивать многоцветовую избирательность и чувствительность, может быть предпочтительным использовать этот тип массива датчиков в сочетании с цветовыми фильтрами, описанными выше.
На фиг.6 показан пример выполнения устройства, такого как пользовательское устройство (UE, user equipment) 10, на виде сверху (слева) и в разрезе (справа). Как показано на фиг.6, устройство UE 10 имеет интерфейс 20 графического отображения и пользовательский интерфейс 22, который показан в виде клавиатуры, а также может быть реализовано с использованием сенсорной технологии в рамках интерфейса 20 графического отображения и технологии распознавания речевых сигналов, принимаемых через микрофон 24. Выключатель 26 мощности управляет устройством UE 10 при его включении и/или выключении пользователем.
Пример устройства UE 10 может содержать камеру 28, которая, как показано на чертеже, обращена к пользователю (например, для видеовызовов), однако в альтернативном варианте или дополнительно она может располагаться с другой стороны (например, для выполнения снимков и видеокадров для хранения в локальной памяти). Камера 28 управляется затвором 30 и опционально устройством 30 масштабирования, которое в альтернативном варианте может использоваться для регулирования громкости динамика (динамиков) 34, когда камера 28 находится в неактивном режиме.
Предполагается, что камера 28 содержит массив 1 датчиков изображения в комбинации с массивом 6 фильтров, которые выполнены и управляются в соответствии с примерами осуществления настоящего изобретения.
На разрезе, показанном на фиг.6, видно несколько передающих/приемных антенн 36, которые обычно используются для сотовой связи. Антенны 36 могут быть многодиапазонными для использования других радиосетей в устройстве UE. Действующий экран заземления для антенн 36 показан путем затенения как все пространство внутри корпуса устройства UE, хотя в некоторых вариантах осуществления экран может быть ограничен меньшей областью, например, расположенной на печатной плате, на которой находится схема 38 усиления мощности. Схема 38 усиления мощности управляет усилением мощности в каналах, передаваемых через антенны одновременно с использованием пространственного разнесения, и усиливает принимаемые сигналы. Схема 38 усиления мощности подает усиленный принимаемый сигнал в радиочастотную (RF) схему 40, которая демодулирует сигнал и преобразует его с понижением частоты для обработки в основной полосе частот. Схема 42 основной полосы частот (baseband, BB) обнаруживает сигнал, который затем преобразуется в битовый поток и декодируется. Аналогичная обработка происходит в обратном порядке для сигналов, формируемых в устройстве UE 10 и передаваемых из него.
Сигналы к камере 28 и от нее проходят через процессор 44 изображений/видео, который кодирует и декодирует различные кадры изображений. По меньшей мере часть функциональных возможностей процессора 5А изображения, показанного на фиг.4В, может быть включена в процессор 44 изображения/видео. Также может иметься отдельный аудиопроцессор 46 для управления сигналами к громкоговорителям 34 и от них, а также от микрофона 24. Графический интерфейс 20 дисплея обновляется из памяти 48 кадров, управляемой схемой 50 интерфейса пользователя, которая может обрабатывать сигналы к интерфейсу 20 дисплея и от него и/или дополнительно обрабатывать данные, вводимые пользователем с клавиатуры 22 или другим способом.
Конкретные примеры осуществления устройства 10 UE могут содержать также один или более вторичных радиоинтерфейсов, таких как беспроводная локальная сеть 37 (wireless local area network, WLAN) и/или интерфейс 39 Bluetooth (ВТ), которые могут содержать одну или более антенн на кристалле или подключены к одной или более антеннам вне кристалла. В устройстве 10 UE имеются различные блоки памяти, такие как оперативная память 43 (random access memory, RAM), постоянное запоминающее устройство 45 (read only memory, ROM) и, в некоторых примерах осуществления, съемная память, такая как показанная карта 47 памяти, в которой хранятся различные программы 10С. Компоненты в устройстве UE 10 могут питаться от портативного источника электропитания, такого как батарея 49.
Вышеупомянутые процессоры 38, 40, 42, 44, 46, 50, если они реализованы в виде отдельных объектов в устройстве UE 10, могут работать как ведомые устройства по отношению к главным процессорам 10А, 12А, которые работают в качестве ведущего устройства. Варианты выполнения настоящего изобретения могут быть реализованы в различных микросхемах и памяти, как показано на чертеже, или могут быть расположены в пределах другого процессора, который объединяет некоторые из функций, описанных выше со ссылкой на фиг.6. Любые или все такие различные процессоры на фиг.6 имеют доступ к одной или более блокам памяти, которые могут размещаться на одной микросхеме с процессором или отдельно от него.
Следует отметить, что описанные выше различные схемы (например, 38, 40, 42 и т.д.) могут объединяться в меньшее количество схем, а также могут быть физически реализованы в одной схеме в наиболее компактном виде.
На фиг.10 показана последовательность операций способа, который включает освещение (блок 10А) светоприемной поверхности массива световых рецепторов с размерами меньше дифракционного предела. В этом способе каждый световой рецептор сконфигурирован для вывода битового элемента с двоичным значением и для изменения состояния между выключенным состоянием и включенным состоянием на основе поглощения по меньшей мере одного фотона. Освещение производят через систему оптических фильтров, расположенную над светоприемной поверхностью, при этом система оптических фильтров включает массив пикселей фильтров, каждый из которых имеет ассоциированную с ним спектральную характеристику полосы пропускания. Кроме того, способ также включает (блок 10В) в конце периода экспонирования считывание двоичных значений битовых элементов и формирование элемента данных, включающего множество выходных значений битовых элементов из множества световых рецепторов, которые расположены под пикселями фильтров, имеющих по меньшей мере две различные спектральные характеристики полосы пропускания.
На фиг.11 показана последовательность операций способа, включающая освещение (блок 11А) светоприемной поверхности массива световых рецепторов с размерами меньше дифракционного предела. В этом способе каждый световой рецептор сконфигурирован для вывода многобитового элемента со скалярным значением и для изменения состояния на основе поглощения по меньшей мере одного фотона. Освещение производят через систему оптических фильтров, расположенную над светоприемной поверхностью, при этом система оптических фильтров включает массив пикселей фильтров, каждый из которых имеет ассоциированную с ним спектральную характеристику полосы пропускания. Кроме того, способ также включает (блок 11В) в конце периода экспонирования считывание многобитовых элементов со скалярными значениями и формирование элемента данных, включающего комбинацию множества выходных значений многобитовых элементов из множества световых рецепторов, которые расположены под пикселями фильтров, имеющих по меньшей мере две различные спектральные характеристики полосы пропускания.
В одном примере выполнения настоящего изобретения устройство содержит массив световых рецепторов с размерами меньше дифракционного предела, сформированный на подложке, имеющей светоприемную поверхность. Каждый световой рецептор сконфигурирован для вывода битового элемента с двоичным значением и для изменения состояния между выключенным состоянием и включенным состоянием на основе поглощения по меньшей мере одного фотона. Устройство также содержит систему оптических фильтров, расположенную над светоприемной поверхностью, при этом система оптических фильтров включает массив пикселей фильтров, каждый из которых имеет ассоциированную с ним спектральную характеристику полосы пропускания. Элемент данных, получаемый из указанного массива световых рецепторов с размерами меньше дифракционного предела, включает множество указанных выходных значений битовых элементов из множества световых рецепторов, которые расположены под пикселями фильтров, имеющих по меньшей мере две различные спектральные характеристики полосы пропускания.
В еще одном данном примере выполнения настоящего изобретения указанное устройство содержит массив средств с размерами меньше дифракционного предела для приема света (например, сформированный на подложке), имеющий светоприемную поверхность. Каждое средство для приема света выполнено с возможностью вывода битового элемента с двоичным значением и изменения состояния между выключенным состоянием и включенным состоянием на основе поглощения по меньшей мере одного фотона. Устройство также содержит систему оптических фильтров, расположенную над светоприемной поверхностью, при этом система оптических фильтров включает массив средств для фильтрации света, при этом каждое такое средство имеет ассоциированную с ним спектральную характеристику полосы пропускания. Элемент данных, получаемый из указанного массива средств с размерами меньше дифракционного предела для приема света, включает множество выходных значений указанных битовых элементов из множества средств для приема света, которые расположены под (по меньшей мере двумя) средствами для фильтрации, имеющими по меньшей мере две различные спектральные характеристики полосы пропускания.
В еще одном примере выполнения настоящего изобретения указанное устройство содержит массив световых рецепторов с размерами меньше дифракционного предела, выполненных на подложке, имеющей светоприемную поверхность. Каждый световой рецептор сконфигурирован для вывода многобитового элемента со скалярным значением и для изменения состояния на основе поглощения по меньшей мере одного фотона. Кроме того, устройство также содержит систему оптических фильтров, расположенную над светоприемной поверхностью, при этом система оптических фильтров включает массив пикселей фильтров, каждый из которых имеет ассоциированную с ним спектральную характеристику полосы пропускания. Элемент данных, получаемый из указанного массива световых рецепторов с размерами меньше дифракционного предела, включает комбинацию множества выходных значений многобитовых элементов из множества световых рецепторов, которые расположены под пикселями фильтров, имеющих по меньшей мере две различные спектральные характеристики полосы пропускания.
В еще одном данном примере выполнения настоящего изобретения устройство содержит массив средств с размерами меньше дифракционного предела для приема света (например, сформированный на подложке), имеющий светоприемную поверхность. Каждое средство для приема света выполнено с возможностью вывода многобитового элемента со скалярным значением и изменения состояния между выключенным состоянием и включенным состоянием на основе поглощения по меньшей мере одного фотона. Устройство также содержит систему оптических фильтров, расположенную над светоприемной поверхностью, при этом система оптических фильтров включает массив средств для фильтрации, при этом каждое такое средство имеет ассоциированную с ним спектральную характеристику полосы пропускания. Элемент данных, получаемый из указанного массива средств с размерами меньше дифракционного предела для приема света, включает комбинацию множества выходных значений многобитовых элементов из множества средств для приема света, которые расположены под (по меньшей мере двумя) средствами для фильтрации, имеющими по меньшей мере две различные спектральные характеристики полосы пропускания.
С помощью вариантов выполнения настоящего изобретения может быть реализовано много технических результатов. Например, можно увеличить оптическую чувствительность датчика, а также улучшить точность цвета. Кроме того, использование вариантов выполнения настоящего изобретения позволяет получить спектральное формирование изображений. Использование вариантов выполнения настоящего изобретения также обеспечивает дополнительную свободу в выборе материалов для цветового фильтра и спектральных свойств. Кроме того, использование вариантов выполнения настоящего изобретения позволяет единственному цветовому фильтру (пикселю 6А фильтра) покрывать несколько рецепторов 2. Также удается избежать цветовых артефактов, которые часто имеют место при цветовой интерполяции. Кроме того, использование вариантов выполнения настоящего изобретения обеспечивает расширение динамического диапазона. Кроме того, использование вариантов выполнения настоящего изобретения позволяет снизить перекрестные цветовые помехи. Использование этих вариантов выполнения настоящего изобретения позволяет осуществить динамическую оптимизацию между разрешением, точностью цвета и чувствительностью путем создания элементов данных с различным количеством рецепторов 2. Кроме того, использование этих вариантов выполнения настоящего изобретения позволяет уменьшить виньетирование.
В общем, различные примеры осуществления изобретения могут быть реализованы в виде аппаратных средств или специализированных схем, программного обеспечения, логических схем или любой их комбинации. Например, некоторые аспекты могут быть реализованы аппаратными средствами, в то время как другие аспекты могут быть реализованы во встроенном программном обеспечении или программном обеспечении, которое может выполняться контроллером, микропроцессором или другим вычислительным устройством, хотя изобретение этим не ограничивается. Хотя различные аспекты данного изобретения могут быть проиллюстрированы и описаны в виде структурных схем, блок-схем или с использованием другого графического представления, ясно, что эти блоки, устройства, системы, технологии или способы могут быть реализованы в качестве не ограничивающих примеров, по меньшей мере частично, аппаратными средствами, программными средствами, встроенными программными средствами, специализированными схемами или логическими схемами, аппаратными средствами общего назначения или контроллерами либо другими вычислительными устройствами или их комбинацией.
Таким образом, ясно, что по меньшей мере некоторые аспекты примеров осуществления изобретения могут реализовываться в различных компонентах, таких как кристаллы интегральных схем и модули, а также примеры осуществления данного изобретения могут быть реализованы в устройстве, выполненном в виде интегральной схемы. Интегральная схема или схемы могут содержать схему (а также, возможно, встроенное программное обеспечение) для реализации по меньшей мере одного или более процессоров данных, цифровых процессоров сигналов, схем основной полосы частот и радиочастотных схем, которые можно сконфигурировать для работы в соответствии с примерами осуществления данного изобретения.
Различные изменения и приспособления для вышеизложенных примеров осуществления данного изобретения очевидны специалисту из вышеприведенного описания со ссылкой на приложенные чертежи. Однако любые изменения остаются в пределах объема вариантов осуществления данного изобретения.
Кроме того, например, хотя варианты выполнения настоящего изобретения были описаны выше со ссылкой на фиг.6 в контексте устройства беспроводной связи, такого как пользовательское устройство 10, очевидно, что данные варианты выполнения настоящего изобретения не ограничены использованием этого конкретного типа устройства беспроводной связи и могут применяться для получения преимуществ в других типах устройств, которые могут иметь или не иметь возможностей беспроводной связи, включая, в качестве не ограничивающих изобретение примеров, цифровые камеры, персональные цифровые помощники (PDA), компьютеры и игровые устройства.
Кроме того, например, отдельные рецепторы 2 необязательно должны быть основаны на транзисторах/фотодиодах, но могут быть созданы с использованием других типов устройств, включая квантовые точки и другие наноструктурные устройства.
Кроме того, очевидно, что различные приведенные выше значения для числа рецепторов вдоль различных осей представляют собой просто примеры, которые не должны рассматриваться как ограничение изобретения.
Очевидно, что различные типы фильтров и комбинации фильтров, которые были рассмотрены выше, даны в только качестве примера и не должны рассматриваться как ограничение изобретения.
Кроме того, варианты выполнения настоящего изобретения не ограничиваются конкретным материалом, комбинациями материалов, процессами изготовления, длинами волн и/или размерами, которые были упомянуты выше.
Следует отметить, что термины "связанный", "соединенный" или их любые варианты, означают любое соединение или связь, прямую или косвенную, между двумя или более элементами, и могут охватывать наличие одного или более промежуточных элементов между двумя элементами, которые "связаны" или "соединены". Связь или соединение между элементами может быть физической, логической или их комбинацией. В данном контексте два элемента могут считаться "связанными" или "соединенными" при помощи одного или более проводов, кабелей и/или печатных соединений, а также при помощи электромагнитной энергии, такой как электромагнитная энергия в радиочастотном диапазоне, сверхвысокочастотном диапазоне и оптическом диапазоне (как видимом, так и невидимом) в качестве примеров, не ограничивающих изобретение.
Кроме того, некоторые технические признаки различных не ограничивающих изобретение примеров его осуществления могут использоваться для получения преимуществ без соответствующего использования других технических признаков. Таким образом, приведенное описание должно рассматриваться просто в качестве иллюстрации принципов, идей и примеров осуществления настоящего изобретения, а не в качестве ограничения изобретения.