АВТОМОБИЛЬНАЯ СИСТЕМА ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ, ВКЛЮЧАЮЩАЯ В СЕБЯ ЭЛЕКТРОННЫЙ ДАТЧИК ИЗОБРАЖЕНИЯ, ИМЕЮЩИЙ РАЗРЕЖЕННЫЙ МАССИВ ЦВЕТНЫХ ФИЛЬТРОВ
AUTOMOTIVE IMAGING SYSTEM INCLUDING ELECTRONIC IMAGE SENSOR HAVING SPARSE COLOR FILTER ARRAY

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение в общем относится к автомобильной системе формирования изображения. В частности, автомобильная система формирования изображения включает в себя камеру, имеющую объектив и электронный датчик изображения, имеющий разреженный массив цветных фильтров.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
[0002] Камеры, обычно используемые в известных автомобильных системах формирования изображения, включают в себя электронный датчик изображения, например, датчик с активными пикселями (APS), изготовленный с использованием комплементарного металл-оксидного полупроводникового (CMOS) процесса или прибора с зарядовой связью (CCD). Этот известный электронный датчик изображения включает в себя множество светочувствительных пикселей, обычно расположенных в матрице из строк и столбцов. Фигура 1A показывает один примерный электронный датчик 12 изображения известного уровня техники, включающий в себя 144 пикселя 12а, расположенных в матрице 12×12. При работе схема этого известного электронного датчика изображения преобразует свет, падающий на пиксель, в цифровые данные изображения. Контроллер преобразует данные изображения в изображение, отображаемое на устройстве отображения.
[0003] Для получения данных о цвете и обеспечения возможности создания цветных изображений эти известные электронные датчики изображения включают в себя массив цветных фильтров (CFA) Байера. CFA Байера включает в себя красные, зеленые и синие цветные фильтры, расположенные или образованные поверх пикселей (по одному на пиксель) с повторяющимся рисунком. Фигура 1B показывает электронный датчик 12 изображения известного уровня техники, включающий в себя CFA Байера, включающий в себя повторяющуюся мозаику 13 из двух зеленых фильтров 13a, одного красного фильтра 13b и одного синего фильтра 13c. При работе каждый цветной фильтр позволяет свету только определенной длины волны (в данном случае красный, зеленый или синий) попадать на его пиксель, который обеспечивает информацию о цвете электронному датчику изображения. Контроллер использует алгоритм демозаики для воссоздания полноцветного изображения с использованием этой информации о цвете.
[0004] Поскольку каждый цветной фильтр позволяет свету только определенной длины волны попадать на его пиксель, примерно на две трети меньше света попадает на каждый пиксель с фильтром, чем, если бы данный пиксель был без фильтра. Использование CFA Байера, в котором каждый пиксель с фильтром, приводит к значительному снижению светочувствительности. Это, в свою очередь, приводит к цветному изображению более низкого качества по сравнению с монохромным изображением, полученным с использованием электронного датчика изображения без фильтров. Данная проблема усугубляется при использовании в условиях низкой освещенности. Например, цветное изображение может иметь увеличенный шум, наложение, уменьшенное пространственное разрешение и уменьшенную резкость изображения, вызванные сниженной светочувствительностью или технологиями постобработки, используемыми для учета сниженной светочувствительности.
[0005] Следовательно, имеется необходимость новых автомобильных систем формирования изображения, которые позволят решить эти проблемы.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0006] Приложенная формула изобретения определяет настоящую заявку. Описание обобщает аспекты вариантов выполнения и не должно быть использовано для ограничения формулы изобретения. Другие реализации рассматриваются в соответствии с описанными в настоящем документе технологиями, которые будут понятны специалисту в области техники при изучении следующих далее чертежей и подробного описания, и такие реализации находятся в пределах объема охраны настоящей заявки.
[0007] Примерные варианты выполнения обеспечивают автомобиль и автомобильную систему формирования изображения для автомобиля. Согласно одному варианту выполнения автомобиль содержит каркас; и систему формирования изображения, поддерживаемую каркасом и включающую в себя: камеру, включающую в себя объектив и датчик изображения, имеющий разреженный массив цветных фильтров, причем камера выполнена с возможностью генерации данных изображения на основе света, падающего на датчик, объектив имеет диафрагменное число выше, чем f/2,4; контроллер, выполненный с возможностью генерации изображения с использованием данных изображения; и устройство отображения, выполненное с возможностью отображения изображения.
В дополнительном аспекте время интегрирования камеры составляет около 30 миллисекунд или меньше.
В другом дополнительном аспекте диафрагменное число объектива выше, чем f/2,8.
В еще одном дополнительном аспекте разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 4×4, и время интегрирования камеры составляет около 30 миллисекунд.
В еще одном дополнительном аспекте диафрагменное число объектива составляет f/4.
В еще одном дополнительном аспекте диафрагменное число объектива составляет f/2,8, и разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
В еще одном дополнительном аспекте время интегрирования камеры составляет около 15 миллисекунд или меньше.
В еще одном дополнительном аспекте разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
В еще одном дополнительном аспекте объектив представляет собой объектив типа «рыбий глаз».
В еще одном дополнительном аспекте датчик изображения включает в себя множество пикселей, и разреженный массив цветных фильтров включает в себя повторяющуюся мозаику цветных фильтров, расположенных в рисунке так, что мозаики более плотно сконцентрированы вблизи центра датчика изображения, чем вблизи краев датчика изображения.
[0008] Согласно другому варианту выполнения автомобильная система формирования изображения содержит камеру, включающую в себя объектив и датчик изображения, имеющий разреженный массив цветных фильтров, причем камера выполнена с возможностью генерации данных изображения на основе света, падающего на датчик, объектив имеет диафрагменное число выше, чем f/2,4; контроллер, выполненный с возможностью генерации изображения с использованием данных изображения; и устройство отображения, выполненное с возможностью отображения изображения.
В дополнительном аспекте время интегрирования камеры составляет около 30 миллисекунд или меньше.
В другом дополнительном аспекте диафрагменное число объектива выше, чем f/2,8.
В еще одном дополнительном аспекте разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 4×4, и время интегрирования камеры составляет около 30 миллисекунд.
В еще одном дополнительном аспекте диафрагменное число объектива составляет f/4.
В еще одном дополнительном аспекте диафрагменное число объектива составляет f/2,8, и разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
В еще одном дополнительном аспекте время интегрирования камеры составляет около 15 миллисекунд или меньше.
В еще одном дополнительном аспекте разреженный массив цветных фильтров представляет собой разреженный массив цветных фильтров 3×3.
В еще одном дополнительном аспекте объектив представляет собой объектив типа «рыбий глаз».
В еще одном дополнительном аспекте датчик изображения включает в себя множество пикселей, и разреженный массив цветных фильтров включает в себя повторяющуюся мозаику цветных фильтров, расположенных в рисунке так, что мозаики более плотно сконцентрированы вблизи центра датчика изображения, чем вблизи краев датчика изображения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0009] Для лучшего понимания изобретения подробное описание ссылается на варианты выполнения, показанные на следующих далее чертежах. Компоненты на чертежах необязательно выполнены в масштабе, и связанные элементы могут быть опущены так, чтобы подчеркнуть и четко проиллюстрировать новые признаки, описанные в настоящем документе. В дополнение, компоненты системы могут быть расположены различным образом, известным в уровне техники. На чертежах одинаковые ссылочные позиции могут относиться к одинаковым частям на всех различных чертежах, кроме тех случаев, когда указано иное.
[0010] Фигура 1A показывает электронный датчик изображения известного уровня техники.
[0011] Фигура 1B показывает электронный датчик изображения на Фигуре 1A с CFA Байера.
[0012] Фигура 2 представляет собой структурную схему одного примерного варианта выполнения автомобильной системы формирования изображения согласно настоящему изобретению.
[0013] Фигуры 3A, 3B и 3C показывают другие варианты выполнения электронных датчиков изображения, имеющих другие типы разреженных CFA.
ПОДРОБНОЕ ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ВЫПОЛНЕНИЯ
[0014] Хотя автомобильная система формирования изображения согласно настоящему изобретению может быть выполнена в различных формах, чертежи показывают, и настоящее описание описывает некоторые примерные и неограничивающие варианты выполнения автомобильной системы формирования изображения. Настоящее раскрытие представляет собой иллюстративный пример автомобильной системы формирования изображения и не ограничивает автомобильную систему формирования изображения конкретными проиллюстрированными и описанными вариантами выполнения. Не все показанные или описанные компоненты могут быть необходимыми, и некоторые варианты выполнения могут включать в себя дополнительные компоненты, другие компоненты или меньшее число компонентов. Компоновка и тип компонентов могут быть изменены без отклонения от замысла или объема охраны формулы изобретения, изложенных в настоящем документе.
[0015] Различные варианты выполнения автомобильной системы формирования изображения настоящего изобретения (для краткости иногда называемой «система формирования изображения») включают в себя электронный датчик изображения, имеющий разреженный CFA. В зависимости от реализации использование разреженного CFA в отличие от CFA Байера приводит к: (1) улучшенному качеству изображения; и/или (2) снижению стоимости путем использования менее сложного, более дешевого объектива без снижения качества изображения или без какого-либо существенного снижения качества изображения.
1. Компоненты автомобильной системы формирования изображения
[0016] Фигура 2 представляет собой структурную схему одного примерного варианта выполнения автомобильной системы 10 формирования изображения согласно настоящему изобретению. В этом примерном варианте выполнения автомобильная система 10 формирования изображения поддерживается каркасом автомобиля, хотя в других вариантах выполнения транспортное средство может представлять собой любое подходящее транспортное средство (такое как грузовик, плавучее судно или воздушное судно). Автомобильная система 10 формирования изображения включает в себя: камеру 100, контроллер 20 и устройство 30 отображения. Камера 100 и устройство 30 отображения электрически соединены с контроллером 20 так, что контроллер 20 может передавать сигналы и принимать сигналы от этих компонентов (и наоборот).
[0017] Камера 100 может представлять собой любую подходящую камеру, включающую в себя объектив 110 и электронный датчик 120 изображения. Объектив 110 может представлять собой любой подходящий объектив, такой как (но без ограничения) прямолинейный объектив или автомобильный объектив типа «рыбий глаз» (также называемый широкоугольный объектив). Объектив может представлять собой объектив с фиксированной диафрагмой или объектив с переменной диафрагмой. Электронный датчик 120 изображения может представлять собой любой подходящий электронный датчик изображения, такой как APS или CCD, включающий в себя множество пикселей 120a, расположенных в матрице из строк и столбцов. Электронный датчик 120 изображения расположен относительно объектива 110 так, что объектив фокусирует падающий свет на пикселях 120a.
[0018] Электронный датчик изображения включает в себя разреженный CFA (SCFA), который включает в себя меньшее количество цветных фильтров, чем CFA Байера такой же плотности пикселей. При сохранении других факторов постоянными, использование SCFA увеличивает количество света, который попадает на пиксели, по сравнению с CFA Байера.
[0019] Как показано на Фигуре 3 в этом варианте выполнения электронный датчик 120 изображения включает в себя SCFA 3×3, имеющий повторяющуюся мозаику 130 из двух зеленых фильтров 130a, одного красного фильтра 130b и одного синего фильтра 130c. В SCFA 3×3 мозаики 130 расположены в рисунке так, что одна строка или столбец пикселей 120 без фильтров отделяет соседние мозаики 130 друг от друга.
[0020] Фигура 3B показывает другой вариант выполнения электронного датчика 1120 изображения, включающего в себя SCFA 4×4, имеющий повторяющуюся мозаику 1130 из двух зеленых фильтров 1130a, одного красного фильтра 1130b и одного синего фильтра 1130c. В SCFA 4×4 мозаики 1130 расположены в рисунке так, что две строки или два столбца пикселей 1120 без фильтров отделяют соседние мозаики 1130 друг от друга.
[0021] Фигура 3C показывает другой вариант выполнения электронного датчика 2120 изображения, включающего в себя SCFA типа «рыбий глаз», имеющий повторяющуюся мозаику 2130 из двух зеленых фильтров 2130a, одного красного фильтра 2130b и одного синего фильтра 2130c. В SCFA типа «рыбий глаз» мозаики 2130 расположены в рисунке так, что мозаики 2130 расположены близко друг к другу вблизи горизонтального и вертикального центра электронного датчика 2120 изображения и расположены дальше друг от друга при удалении от центра. Это приводит к высокой концентрации мозаик вблизи центра электронного датчика изображения и низкой концентрации мозаик вблизи краев электронного датчика изображения. Это расстояние соответствует уникальному полю обзора объектива типа «рыбий глаз».
[0022] Эти три SCFA являются лишь примерами, и электронный датчик изображения может включать в себя любой подходящий SCFA с любыми подходящими мозаиками, расположенными в любых подходящих рисунках, с любыми подходящими цветными фильтрами и с любым подходящим количеством фильтров, при условии, что некоторые пиксели остаются без фильтра.
[0023] Контроллер 20 включает в себя по меньшей мере один процессор в сообщении с памятью, которая хранит набор команд. Процессор выполнен с возможностью сообщения с памятью, доступа к набору команд и выполнения набора команд для побуждения системы 10 формирования изображения к выполнению любого из способов, процессов и признаков, описанных в настоящем документе.
[0024] Процессор может представлять собой любое подходящее устройство обработки или набор устройств обработки, таких как, но без ограничения: микропроцессор, платформа на основе микроконтроллера, подходящая интегральная схема или одна или более интегральных схем специального назначения (ASIC), выполненных с возможностью выполнения набора команд. Память может представлять собой любое подходящее запоминающее устройство, такое как, но без ограничения: память с произвольным доступом (RAM), которая может включать в себя энергонезависимую RAM, магнитную RAM, сегнетоэлектрическую RAM и любые другие подходящие формы; дисковая память; накопитель на жестких дисках (HDD); твердотельный накопитель (SSD); флэш-память; EPROM; EEPROM; энергонезависимая твердотельная память на основе мемристора; неизменная память; или постоянное запоминающее устройство.
[0025] Устройство 30 отображения может представлять собой любое подходящее устройство отображения, выполненное с возможностью отображения изображений, генерируемых контроллером 20, такое как (но без ограничения) жидкокристаллический дисплей (LCD) или дисплей на органических светоизлучающих диодах (OLED). Устройство 30 отображения может иметь любой подходящий размер и любую подходящую форму и может быть расположено в любом подходящем месте в автомобиле. В одном варианте выполнения устройство отображения является частью информационно-развлекательной системы автомобиля.
2. Функционирование
[0026] Для генерации и отображения изображения с использованием автомобильной системы 10 формирования изображения камера 100 сначала подвергает электронный датчик 120 изображения (и, в частности, пиксели 120a) воздействию падающего света (через объектив 110) в течение периода времени, называемого время интегрирования. Это выполняется путем открытия затвора камеры 100, удерживания затвора открытым в течение времени интегрирования и дальнейшего закрытия затвора. Затвор может быть электронным или механическим. Схема электронного датчика 120 изображения преобразует свет, падающий на пиксели, в цифровые данные изображения и отправляет данные изображения в контроллер 20. Контроллер 20 преобразует данные изображения в изображение (по меньшей мере частично с использованием алгоритма демозаики известного в уровне техники для воссоздания цвета) и отправляет изображение в устройство 30 отображения для отображения.
3. Диафрагменное число и время интегрирования
[0027] Как известно в уровне техники, объектив камеры имеет диафрагменное число (иногда называемое число диафрагмы, фокусное отношение или f-отношение), которое показывает отношение фокусного расстояния объектива к диаметру входного зрачка объектива. Чем меньше диафрагменное число, тем больше отверстие, и тем больше света проходит через объектив, и наоборот. Например, отверстие объектива f/1,4 больше, чем отверстие объектива f/8. Объективы с большими диафрагменными числами (меньшими отверстиями) имеют лучшую глубину фокуса, чем объективы с меньшими диафрагменными числами (большими отверстиями), что предпочтительно для областей, в которых необходимо, чтобы полученные изображения передавали глубину. Объективы с меньшими диафрагменными числами (большими отверстиями) являются более сложными, чем объективы с большими диафрагменными числами (меньшими отверстиями), это означает, что они размещаются в больших корпусах или кожухах, чем объективы с большими диафрагменными числами (меньшими отверстиями).
[0028] Генерация изображения допустимого качества требует установления баланса трех основных факторов: (1) диафрагменного числа объектива, (2) времени интегрирования и (3) типа CFA (если таковой имеется) электронного датчика изображения.
[0029] Приведенная ниже таблица 1 показывает для каждого из множества диафрагменных чисел и для четырех типов CFA (нет, SCFA 4×4, SCFA 3×3 и CFA Байера) процент падающего света, попадающего на пиксели электронного датчика изображения, нормированный на f/2,4 и при условии времени интегрирования 30 миллисекунд.
Диафрагменное число
1,4
2
2,4
2,8
4
5,6
8
Тип CFA
Нет(Без фильтра)
280
140
100
70
35
17,5
8,75
SCFA 4×4
240,8
120,4
86
60,2
30,1
15,05
7,53
SCFA 3×3
193,2
96,6
69
48,3
24,15
12,08
6,04
CFA Байера
99,33
46,67
33,33
23,33
11,67
5,83
2,92
Процент падающего света, попадающего на пиксели (нормированный на f/2,4 и при условии времени интегрирования 30 мс)
Таблица 1
[0030] Приведенная ниже таблица 2 показывает для каждого из множества времен интегрирования и для четырех типов CFA (нет, SCFA 4×4 SCFA 3×3 и CFA Байера) процент падающего свет, попадающего на пиксели электронного датчика изображения, нормированный на какое-либо конкретное диафрагменное число.
Время интегрирования (мс)
30
15
7,5
3,25
Тип CFA
Нет(Без фильтра)
100
50
25
12,5
SCFA 4×4
86
43
21,5
10,75
SCFA 3×3
69
34,5
17,25
8,63
CFA Байера
33,33
16,67
8,33
4,17
Процент падающего света, попадающего на пиксели (нормированный на какое-либо диафрагменное число)
Таблица 2
[0031] Типичные известные автомобильные системы формирования изображения включают в себя электронный датчик изображения с CFA Байера, имеют объектив f/2,4 и используют время интегрирования 30 миллисекунд. Это приводит к тому, что 33,33% падающего света попадает на пиксели электронного датчика изображения.
[0032] Как указано в таблицах 1 и 2, используя электронный датчик изображения с SCFA 3×3 или SCFA 4×4 согласно настоящему изобретению и сохраняя время интегрирования и диафрагменное число постоянными (30 миллисекунд и f/2,4 в данном примерном варианте выполнения), можно повысить качество изображения, генерируемого в итоге контроллером, по сравнению с качеством изображения, генерируемым при использовании CFA Байера. Использование SCFA 3×3 увеличивает процент падающего света, попадающего на пиксели электронного датчика изображения более чем в 2 раза до 69%, а использование SCFA 4×4 увеличивает процент падающего света, попадающего на пиксели электронного датчика изображения более чем в 2,5 раза до 86%. Поскольку время интегрирования и диафрагменное число не изменяются, большее количество света, попадающего на пиксели, будет приводить к изображению лучшего качества. Это также улучшает производительность в условиях низкой освещенности. Поскольку при использовании электронного датчика изображения с SCFA 3×3 или SCFA 4×4 большее количество света попадает на пиксели, автомобильная система формирования изображения может приемлемо работать в условиях низкой освещенности и в некоторых примерах не требует использования автомобильного источника света для обеспечения приемлемого количества внешнего света.
[0033] Как указано в таблице 1, используя электронный датчик изображения с SCFA 3×3 или SCFA 4×4 согласно настоящему изобретению и сохраняя время интегрирования постоянным (30 миллисекунд в данном примерном варианте выполнения), можно использовать более высокое диафрагменное число по сравнению с диафрагменным числом, используемым с CFA Байера, без снижения качества изображения или без какого-либо существенного снижения качества изображения. Например, использование электронного датчика изображения с SCFA 3×3 в сочетании с объективом f/2,8 (на одно диафрагменное число выше, чем для объектива f/2,4, используемого с CFA Байера) приводит к тому, что 48,3% падающего света попадает на пиксели электронного датчика изображения. В этом примере использование менее сложного объектива с более высоким диафрагменным числом приводит к более компактной камере и большему количеству света, попадающему на пиксели, чем для описанных выше типичных автомобильных систем формирования изображения. Поскольку время интегрирования не изменяется, большее количество света, попадающего на пиксели, приводит к изображению более высокого качества. Дополнительно более высокое диафрагменное число обеспечивает большую глубину фокуса и, следовательно, более резкое изображение по всей площади изображения.
[0034] В другом примере использование электронного датчика изображения с SCFA 4×4 в сочетании с объективом f/4 (на два диафрагменных числа выше, чем для объектива f/2,4, используемого с CFA Байера) приводит к тому, что 30,1% падающего света попадает на пиксели электронного датчика изображения. В этом примере, использование менее сложного объектива с более высоким диафрагменным числом приводит к более компактной камере и примерно тому же количеству света, попадающего на пиксели, как и в описанных выше типичных автомобильных системах формирования изображения. Соответственно качество изображения по существу не будет снижено, но может быть использован менее сложный, более дешевый и менее объемный объектив. Дополнительно более высокое диафрагменное число обеспечивает большую глубину фокуса и, следовательно, более резкое изображение по всей площади изображения.
[0035] Как указано в таблице 2, используя электронный датчик изображения с SCFA 3×3 или SCFA 4×4 согласно настоящему изобретению и сохраняя диафрагменное число постоянным (f/2,4 в данном примерном варианте выполнения), можно использовать меньшее время интегрирования по сравнению со временем интегрирования, используемым с CFA Байера, и повысить качество изображения. Например, использование электронного датчика изображения с SCFA 3×3 и временем интегрирования 15 миллисекунд (половина от времени, используемого с CFA Байера) приводит к тому, что 34,5% падающего света попадает на пиксели электронного датчика изображения. В этом примере, уменьшение времени интегрирования приводит к изображению лучшего качества с большей резкостью. Поскольку диафрагменное число не изменяется, большее количество света, попадающего на пиксели, также приводит к изображению более высокого качества.
[0036] В другом примере использование электронного датчика изображения с SCFA 4×4 и временем интегрирования 15 миллисекунд (половина от времени, используемого с CFA Байера) приводит к тому, что 43% падающего света попадает на пиксели электронного датчика изображения. В этом примере уменьшение времени интегрирования приводит к изображению лучшего качества с большей резкостью. Поскольку диафрагменное число не изменяется, большее количество света, попадающего на пиксели, также приводит к изображению более высокого качества.
[0037] В связи с этим следует понимать, что можно выбрать диафрагменное число, время интегрирования и тип SCFA для получения более резкого изображения, улучшенной однородности света по всему изображению (уменьшенного виньетирования), улучшенного воспроизведения цветов, улучшенного отношения сигнала к шуму и улучшенного динамического диапазона и воспроизведения тонов.
[0038] Вышеописанные варианты выполнения и, в частности, любые «предпочтительные» варианты выполнения представляют собой возможные примеры реализаций и изложены только для четкого понимания принципов изобретения. Множество изменений и модификаций может быть выполнено в вышеописанном(ых) варианте(ах) выполнения по существу без отклонения от замысла и принципов описанных здесь технологий. Все такие модификации должны быть включены в пределы объема охраны настоящего изобретения и защищены следующей далее формулой изобретения.