УСТРОЙСТВО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ, ИНТЕГРАЛЬНАЯ СХЕМА УСТРОЙСТВА ДЛЯ СЪЕМКИ ИЗОБРАЖЕНИЯ И СПОСОБ ОБРАБОТКИ ДАННЫХ ИЗОБРАЖЕНИЯ
IMAGE FORMING DEVICE, INTEGRATED CIRCUIT FOR TAKING IMAGES AND METHOD FOR PROCESSING IMAGE DATA

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству формирования изображения, интегральной схеме устройства для съемки изображения и к способу обработки данных изображения, которые применяют в видеокамерах, позволяющих записывать движущиеся изображения, электронных камерах для съемки неподвижного изображения и устройствах отслеживания. Средство съемки изображения скомбинировано со средством сжатия изображения посредством слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности съемки изображения средства съемки изображения, со средством сжатия изображения. Изображения, снятые с помощью средства съемки изображения, последовательно передают в виде модулей обработки в процесс сжатия изображения для эффективного использования высокой степени свободы считывания данных изображения для снятого изображения, характерной для устройства для съемки изображения, такого как твердотельное устройство для съемки изображения типа КМОП (CMOS, комплементарный металлооксидный полупроводник), для дополнительного упрощения общей конструкции. При этом измеряют величину кодов, полученных в ходе сжатия данных в частичной области эффективного изображения, степень сжатия данных изменяют в соответствии с измеренной величиной кодов для сжатия данных снимаемых изображений. Таким образом, эффективно используется высокая степень свободы при считывании снятых изображений, характерная для твердотельного устройства для съемки изображения типа КМОП, и при этом, соответственно, обеспечивается управление степенью сжатия с использованием простого процесса по сравнению с обычным процессом.
Уровень техники
Видеокамера содержит данные изображений, предоставляемые твердотельным устройством для съемки изображения типа ПЗС (CCD, прибор с зарядовой связью), с использованием запоминающего устройства кадра и сжимает блоки данных изображения, используя способ MPEG (Экспертная группа по вопросам движущегося изображения). Электронная камера для съемки неподвижного изображения, аналогично видеокамере, содержит данные изображения, предоставляемые твердотельным устройством для съемки изображения типа ПЗС, с использованием запоминающего устройства кадра и сжимает блоки данных изображения, используя способ JPEG (Объединенная группа экспертов по машинной обработке фотографических изображений).
В последние годы твердотельные устройства для съемки изображения типа КМОП были внедрены в практическое использование. На фиг.1 показаны характеристики твердотельного устройства для съемки изображения типа ПЗС по сравнению с характеристиками устройства для съемки изображения типа КМОП. Как показано на фиг.1, устройство для съемки изображения типа КМОП имеет множество отличительных характеристик. Например, в то время как в устройстве для съемки изображения типа ПЗС используется одно и то же время начала и окончания сохранения заряда для всех пикселей, в устройстве для съемки изображения типа КМОП используются разные значения времени начала и окончания сохранения заряда для разных колонок или пикселей.
В частности, в то время как устройство для съемки изображения типа ПЗС попиксельно считывает данные в режиме последовательной передачи, как показано на фиг.2, устройство для съемки изображения типа КМОП может попиксельно считывать данные в режиме управления адресом X-Y, как показано на фиг.3. Таким образом, степень свободы считывания устройства для съемки изображения КМОП выше, чем у устройства для съемки изображения типа ПЗС. На фиг.2 показан типичный вид, иллюстрирующий режим вывода данных изображения из устройства для съемки изображения типа ПЗС. В устройстве для съемки изображения типа ПЗС заряды, содержащиеся в пикселях, передают в регистр вертикальной передачи, переданные заряды последовательно передают в регистр горизонтальной передачи, и регистр горизонтальной передачи последовательно выводит эти заряды, как показано на фиг.2. На фиг.3 представлен типичный вид, иллюстрирующий режим вывода данных изображения из устройства для съемки изображения типа КМОП. В устройстве для съемки изображения типа КМОП заряды, содержащиеся в пикселях в каждой колонке, предоставляют последовательно.
Более конкретно, в устройстве для съемки изображения типа КМОП, ПТМОП (MOSFET, полевой транзистор со структурой металл - оксид - полупроводник), включенные в пиксели, избирательно открывают по горизонтальным линиям адреса и по вертикальным линиям адреса для передачи данных изображения из выбранных пикселей в линии сигналов. В устройстве для съемки изображения типа КМОП, показанном на фиг.3, в качестве примера, множество пикселей последовательно расположенных по каждой вертикальной линии, используют одну линию сигнала для одной линии колонки, причем соответствующие условия для горизонтальных линий адреса, соответственно соответствующие пикселям в каждой линии колонки, последовательно изменяются для последовательного открывания ПТМОП, включенных в эти пиксели. Таким образом, для пикселей, последовательно расположенных в вертикальном направлении, назначают линию колонки в режиме разделения времени для передачи данных изображения из этих пикселей. Пиксели, последовательно расположенные в каждой горизонтальной линии, соединены с каждой горизонтальной линией адреса. Поэтому назначение пикселей, последовательно расположенных в вертикальном направлении для линий колонки в режиме разделения времени, выполняют одновременно для пикселей, последовательно расположенных в горизонтальном направлении, для получения изображения в каждой линии.
Устройство для съемки изображения типа КМОП, аналогичное описанному выше устройству для съемки изображения типа КМОП, и периферийные цепи предложены, например, в JP 2004-31785 А.
Были предложены различные способы кодирования, относящиеся к такой обработке данных изображения. В этих способах кодирования используют процесс преобразования короткой волны. В процессе преобразования короткой волны разделяют высокочастотные данные изображения и низкочастотные данные изображения с использованием процесса разделения полос, соответственно, для горизонтального и вертикального направлений, данные изображения разделяют на четыре поддиапазона, проводя понижающую дискретизацию. Например, процесс разделения диапазона выполняют один раз для разделения данных изображения на четыре поддиапазона НН, HL, LH и LL, как показано на фиг.4 (А), или процесс разделения диапазона повторяют для разделения данных изображения на поддиапазоны, как показано на фиг.4 (В). На фиг.4 (В) показаны результаты трехкратного повторения процесса разделения диапазона. Поддиапазон LL, имеющий низкую частоту, соответствующий горизонтальному и вертикальному направлениям среди поддиапазонов НН, HL, LH и LL, подвергают процессу разделения диапазона, для разделения поддиапазона LL на четыре поддиапазона LLHH, LLHL, LLLH и LLLL, и поддиапазон LLLL, имеющий низкую частоту, соответственно, для горизонтального и вертикального направлений, среди поддиапазонов LLHH, LLHL, LLLH и LLLL, подвергают процессу разделения диапазона на четыре поддиапазона LLLLHH, LLLLHL, LLLLLH и LLLLLLL.
Предложенные ранее процессы преобразования короткой волны для процесса кодирования включают процесс преобразования короткой волны на основе линии, который обрабатывает данные изображения для каждой линии, и процесс преобразования короткой волны на основании элементов мозаичного изображения, который обрабатывает данные изображения для каждого элемента мозаичного изображения, а именно, для прямоугольных блоков, определенных в каждом изображении.
Ожидается, что конструкция устройства для съемки изображения может быть дополнительно упрощена и частотой можно будет более правильно управлять при использовании простого процесса по сравнению с известным процессом, если можно будет эффективно использовать высокую степень свободы при считывании данных изображения, характерную для устройства для съемки изображения типа МОП (MOS, металлооксидный полупроводник). В частности, разные части изображения имеют разную степень трудности кодирования. Поэтому, если в процессе кодирования будет использоваться способ MPEG, будет выполняться тонкое управление частотой кодирования, например, с помощью способа ТМ5 (способ испытательного режима 5).
Сущность изобретения
Настоящее изобретение было разработано с учетом недостатков уровня техники, и поэтому цель настоящего изобретения состоит в создании устройства для съемки изображения с простой конструкцией, которое позволяет эффективно использовать высокую степень свободы считывания данных изображения, характерную для твердотельного устройства для съемки изображения типа КМОП, причем в устройство для съемки изображения включена интегральная схема, предназначенная для устройства для съемки изображения и способа для обработки данных изображения. Другая цель настоящего изобретения состоит в создании устройства для съемки изображения, которое позволяет более точно обеспечивать управление частотой, с использованием простого процесса по сравнению с обычным процессом, путем эффективного использования высокой степени свободы считывания данных изображения, характерной для устройства для съемки изображения типа КМОП, интегральной схемы для устройства для съемки изображения и способа обработки данных изображения.
Устройство формирования изображения в соответствии с настоящим изобретением включает в себя: средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, с помощью которых получают данные изображения с использованием управления адресом XY; и периферийную схему, подключенную к фотоэлектрическим преобразователям с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения, и интегрально совмещенного со средством съемки изображения, для обработки данных изображения, предоставляемых средством съемки изображения, и для формирования обработанных данных изображения; в котором периферийная схема включает в себя, по меньшей мере, средство сжатия изображения, предназначенное для сжатия заданных модулей обработки данных изображения и формирования сжатых модулей обработки данных изображения, и средство съемки изображения последовательно предоставляет данные изображения из фотоэлектрических преобразователей в виде модулей обработки данных изображения, предназначенных для обработки периферийной схемой.
В устройстве формирования изображения, в соответствии с настоящим изобретением, включающем средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, из которых данные изображения получают с использованием управления адресом XY, и периферийную схему, соединенную с фотоэлектрическими преобразователями с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения, и интегрально совмещенного со средством съемки изображения, для обработки данных изображения, предоставляемых средством съемки изображения, и для формирования обработанных данных изображения, причем фотоэлектрические преобразователи средства съемки изображения соединены с периферийной схемой с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения. Таким образом, можно эффективно устранить различные проблемы, которые могут возникать, когда слой разводки сформирован на поверхности, принимающей свет, при этом фотоэлектрические преобразователи могут быть соединены с периферийной схемой с высокой степенью свободы соединения, и данные изображения, предоставляемые средством съемки изображения, могут быть переданы в различных режимах в периферийную схему, без снижения высокой степени свободы считывания данных изображения средством съемки изображения. Когда периферийная схема включает в себя, по меньшей мере, средство сжатия изображения, предназначенное для сжатия заданных модулей обработки данных изображения и формирующее сжатые модули обработки данных изображения, и средство съемки изображения последовательно предоставляет данные изображения, предоставленные фотоэлектрическими преобразователями, в модули обработки данных изображения для обработки в периферийной схеме, данные изображения, предоставляемые средством съемки изображения, могут быть последовательно сжаты, причем для процесса сжатия данных можно использовать запоминающее устройство, имеющее небольшую емкость памяти, благодаря эффективному использованию высокой степени свободы считывания данных изображения средства съемки изображения, и, следовательно, можно упростить конструкцию устройства формирования изображения.
Устройство формирования изображения в соответствии с настоящим изобретением включает в себя: средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, в которых данные изображения получают с помощью управления адреса XY, и периферийную схему, подключенную к фотоэлектрическим преобразователям с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности получения света средства съемки изображения, и интегрально совмещенного со средством съемки изображения, для обработки данных изображения, предоставляемых средством съемки изображения, и для формирования обработанных данных изображения; в котором периферийная схема включает в себя, по меньшей мере, средство сжатия изображения, предназначенное для сжатия заданных модулей обработки данных изображения и формирования сжатых модулей обработки данных изображения, причем данные изображения заранее получают из частичной области в области эффективного изображения в средстве съемки изображения, данные изображения, полученные таким образом, сжимают для детектирования величины кода, и данные изображения сжимают со степенью сжатия данных, полученной на основе детектированной величины кода.
В устройстве формирования изображения в соответствии с настоящим изобретением, включающем в себя: средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матриц, из которых данные изображения получают с помощью управления адресом XY, и периферийную схему, соединенную с фотоэлектрическими преобразователями с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения, и интегрально совмещенного со средством съемки изображения для обработки данных изображения, предоставляемых средством съемки изображения, и для формирования обработанных данных изображения, причем периферийная схема подключена к фотоэлектрическим преобразователям средства съемки изображения с помощью схемы разводки, сформированной на поверхности, противоположной поверхности приема света. Благодаря этому можно эффективно исключить различные проблемы, которые могут возникать, когда слой разводки сформирован на поверхности, принимающей свет, причем фотоэлектрические преобразователи могут быть подключены к периферийной схеме с высокой степенью свободы соединения, и данные изображения, предоставляемые средством съемки изображения, могут быть переданы в различных режимах в периферийную схему, без снижения высокой степени свободы считывания данных изображения средством съемки изображения. Когда периферийная схема включает в себя, по меньшей мере, средство сжатия изображения, предназначенное для сжатия данных изображения и формирования сжатых данных изображения, и данные изображения заранее получают из частичной области в области эффективного изображения в средстве съемки изображения, данные изображения, полученные таким образом, сжимают для детектирования величины кода, и эти данные изображения сжимают со степенью сжатия данных, полученной на основе детектированной величины кода, при этом управление степенью может быть, соответственно, обеспечено с использованием простого процесса по сравнению с обычным процессом, в результате эффективного использования высокой степени свободы считывания данных изображения.
Интегральная схема в соответствии с настоящим изобретением, предназначенная для устройства для съемки изображения, включающая в себя средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, из которых получают данные изображения с помощью управления адресом XY, и периферийную схему, подключенную к фотоэлектрическим преобразователям с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения и интегрально совмещенного со средством съемки изображения для обработки данных изображения, предоставляемых средством съемки изображения, и для формирования обработанных данных изображения; в котором периферийная схема включает в себя, по меньшей мере, средство сжатия изображения, предназначенное для сжатия заданных модулей обработки данных изображения и формирования сжатых модулей обработки данных изображения, и средство съемки изображения последовательно предоставляет данные изображения, предоставленные фотоэлектрическими преобразователями, в модулях обработки данных изображения, предназначенных для обработки периферийной схемой.
Интегральная схема для устройства для съемки изображения позволяет упростить конструкцию благодаря эффективному использованию высокой степени свободы при считывании данных изображения.
Интегральная схема в соответствии с настоящим изобретением для устройства для съемки изображения, включающего в себя средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, из которой получают данные изображения с помощью управления адресом XY, и периферийную схему, подключенную к фотоэлектрическим преобразователям с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения, и интегрально совмещенного со средством съемки изображения, для обработки данных изображения, предоставляемых средством съемки изображения, и для формирования обработанных данных изображения; в которой периферийная схема включает в себя, по меньшей мере, средство сжатия изображения, предназначенное для сжатия данных изображения и формирования сжатых данных изображения, причем данные изображения заранее получают из частичной области в области эффективного изображения в средстве съемки изображения, данные изображения, полученные таким образом, сжимают для детектирования величины кода, и эти данные изображения сжимают со степенью сжатия данных, полученной на основе детектированной величины кода.
Таким образом, интегральная схема для устройства для съемки изображения позволяет более соответствующим образом обеспечить управление степенью, используя простой процесс по сравнению с обычным процессом, в результате эффективного использования высокой степени свободы считывания данных изображения.
Способ обработки данных изображения в соответствии с настоящим изобретением, предназначенный для выполнения с помощью устройства формирования изображения, включающего в себя средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, и периферийную схему, соединенную с фотоэлектрическими преобразователями с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения, и интегрально совмещенного со средством съемки изображения, включает в себя следующие этапы: формирования данных изображения из средства съемки изображения путем управления адресом XY; и сжатия заданных модулей обработки данных изображения и формирования сжатых модулей обработки данных изображения с помощью периферийной схемы; в котором этап формирования данных изображения предоставляет данные изображения, последовательно предоставленные множеством фотоэлектрических преобразователей, в модулях обработки, предназначенных для использования периферийной схемой, из средства съемки изображения.
Таким образом, способ обработки данных изображения позволяет упростить конструкцию путем эффективного использования высокой степени свободы считывания данных изображения.
Способ обработки данных изображения в соответствии с настоящим изобретением, предназначенный для выполнения с помощью устройства формирования изображения, включающего в себя средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, и периферийную схему, соединенную с фотоэлектрическими преобразователями с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения, и интегрально совмещенного со средством съемки изображения, включает в себя следующие этапы: формирования данных изображения из средства съемки изображения путем управления адресом XY; сжатия данных изображения и формирования сжатых данных изображения, по меньшей мере, с помощью периферийной схемы; получения заранее данных изображения из частичной области в области эффективного изображения, в средстве съемки изображения; и детектирования величины кода путем сжатия данных изображения, полученных таким образом; в котором на этапе сжатия данных изображения эти данные изображения сжимают со степенью сжатия данных, определенной на основе детектированной величины кода.
Таким образом, способ обработки данных изображения упрощает конструкцию путем эффективного использования высокой степени свободы считывания данных изображения.
Способ обработки данных изображения в соответствии с настоящим изобретением, предназначенный для выполнения с помощью интегральной схемы, включенной в устройство для съемки изображения, включающее в себя средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, и периферийную схему, подключенную к фотоэлектрическим преобразователям с помощью слоя разводки, сформированного на поверхности средства для съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения, и интегрально совмещенного со средством съемки изображения, включает в себя следующие этапы: формирования данных изображения из средства съемки изображения с помощью управления адресом XY; сжатия, по меньшей мере, заданных модулей обработки данных изображения, и формирования сжатых модулей обработки данных изображения с помощью периферийной схемы; в котором на этапе формирования данных изображения эти данные изображения последовательно предоставляют из множества фотоэлектрических преобразователей в виде модулей обработки данных изображения, предназначенных для обработки с помощью периферийной схемы.
Таким образом, способ обработки данных изображения позволяет упростить конструкцию путем эффективного использования высокой степени свободы считывания данных изображения.
Способ обработки данных изображения в соответствии с настоящим изобретением, предназначенный для выполнения с помощью интегральной схемы, включенной в устройство для съемки изображения, включающее в себя средство съемки изображения, имеющее множество фотоэлектрических преобразователей, расположенных в виде матрицы, и периферийную схему, соединенную с фотоэлектрическими преобразователями с помощью слоя разводки, сформированного на поверхности средства съемки изображения, противоположной поверхности, принимающей свет, средства съемки изображения, и интегрально совмещенного со средством съемки изображения, включает в себя следующие этапы: формирования данных изображения из средства съемки изображения с помощью управления адресом XY; сжатия данных изображения и формирования сжатых данных изображения, по меньшей мере, с помощью периферийной схемы; получения заранее данных изображения из частичной области в области эффективного изображения, в средстве съемки изображения; и детектирования величины кода путем сжатия полученных, таким образом, данных изображения; в котором на этапе сжатия данных изображения эти данные изображения сжимают со степенью сжатия данных, определенной на основе детектированной величины кода.
Таким образом, способ обработки данных изображения позволяет более правильно обеспечить управление степенью с помощью простого процесса, по сравнению с обычным процессом, путем эффективного использования высокой степени свободы считывания данных изображения.
В соответствии с настоящим изобретением конструкция может быть упрощена путем эффективного использования высокой степени свободы считывания данных изображения. Управление степенью может быть обеспечено более соответствующим образом с помощью простого процесса, по сравнению с обычным процессом, путем эффективного использования высокой степени свободы считывания данных изображения.
Краткое описание чертежей
На фиг.1 показана таблица, представляющая для сравнения характеристики устройств для съемки изображения.
На фиг.2 показан типичный вид, представляющий выход твердотельного устройства для съемки изображения на основе ПЗС.
На фиг.3 показан типичный вид, представляющий выход твердотельного устройства для съемки изображения на основе КМОП.
На фиг.4 показана схема, предназначенная для пояснения процесса преобразования короткой волны.
На фиг.5 показана блок-схема устройства формирования изображения в первом варианте выполнения в соответствии с настоящим изобретением.
На фиг.6 показана схема, предназначенная для пояснения модуля преобразования короткой волны, включенного в устройство формирования изображения, показанное на фиг.5.
На фиг.7 показана схема, предназначенная для пояснения разделения полосы, выполняемого с помощью модуля преобразования короткой волны устройства формирования изображения, показанного на фиг.5.
На фиг.8 показана схема, предназначенная для пояснения коэффициента буфера линии для процесса, выполняемого модулем преобразования короткой волны устройства формирования изображения, показанного на фиг.5.
На фиг.9 показан вид в разрезе интегральной схемы, включенной в устройство формирования изображения, показанное на фиг.5.
На фиг.10 показана схема, предназначенная для пояснения модуля преобразования короткой волны, включенного в устройство формирования изображения во втором варианте выполнения, в соответствии с настоящим изобретением.
На фиг.11 показан вид в перспективе фрагмента интегральной схемы, применяемой в устройстве для формирования изображения, в соответствии с третьим вариантом выполнения настоящего изобретения.
На фиг.12А, 12В, 12С и 12D показаны схемы, поясняющие данные изображения, предоставляемые интегральной схемой, показанной на фиг.11.
На фиг.13А, 13B и 13С показаны схемы, поясняющие порядок, в котором интегральная схема, показанная на фиг.11, предоставляет данные изображения.
На фиг.14 показана блок-схема устройства формирования изображения в четвертом варианте выполнения в соответствии с настоящим изобретением.
На фиг.15 показан вид в плане, предназначенный для пояснения процесса сжатия данных, выполняемого устройством формирования изображения, показанным на фиг.14.
Подробное описание изобретения
Предпочтительные варианты выполнения настоящего изобретения будут описаны со ссылкой на прилагаемые чертежи.
(1) Конструкция первого варианта выполнения
На фиг.5 показана блок-схема устройства формирования изображения в первом варианте выполнения в соответствии с настоящим изобретением. Устройство 1 формирования изображения сжимает данные изображения, представляющие изображение объекта, записывает сжатые данные изображения на носитель записи и передает сжатые данные изображения в требуемый объект.
Пользователь работает с объективом 2, включенным в устройство 1 формирования изображения, для выбора масштаба изображения и изменения степени усиления, и регулирует апертуру. Падающий свет фокусируется на поверхности формирования изображения устройства 3 для съемки изображения. Оптический фильтр А1 низкой частоты ослабляет компоненты пространственных частот, превышающих частоту света, проходящего через объектив 2. Фильтр А2 коррекции цвета корректирует цветовую температуру для света, пропущенного через оптический фильтр А1 низкой частоты.
Устройство 3 для съемки изображения представляет собой, например, твердотельное устройство, предназначенное для съемки изображения типа КМОП. Устройство 3 для съемки изображения работает в соответствии с сигналами синхронизации, поступающими из драйвера, который не показан, для преобразования оптического изображения, сформированного на поверхности формирования изображения, для выполнения фотоэлектрического преобразования, выполняемого с помощью пикселей, в сигнал S1 изображения. Устройством 3 для съемки изображения управляют с помощью управляющей схемы, которая не показана, в режиме управления адресом XY для формирования данных изображения, предоставляемых пикселями, в порядке, соответствующем порядку, используемому в процессе кодирования, выполняемом средством сжатия данных на более позднем этапе. В данном варианте выполнения устройство 5 сжатия изображения кодирует линии данных изображения на основе линии с помощью процесса преобразования короткой волны, и устройство 3 для съемки изображения предоставляет линии данных изображения по линиям пикселей. Таким образом, данные изображения предоставляют в модулях обработки, в которых схема обработки на более позднем этапе обрабатывает данные изображения. Конфигурация схемы запоминающего устройства, предназначенная для обработки сигнала S1 изображения, упрощена, как будет описано ниже.
Аналого-цифровой преобразователь (A/D, А/Ц преобразователь) 4 преобразует аналоговый сигнал S2 изображения в соответствующие данные D1 цифрового изображения. Устройство 1 формирования изображения передает данные D1 изображения в устройство 5 сжатия изображения после обработки данных D1 изображения с использованием процесса интерполяции пикселей, процесса преобразования пространства цвета, процесса повышения резкости на кромке и процесса подавления шумов.
Устройство 5 сжатия изображения сжимает данные D1 изображения и обрабатывает сжатые данные D1 изображения, используя процесс кодирования, для получения кодированных данных D2. Устройство 5 сжатия изображения передает кодированные данные D2 в систему записи и в систему передачи. Таким образом, в устройстве 1 формирования изображения сохраняют кодированные данные D2 на заданном носителе записи, включенном в систему записи, и передают кодированные данные D2 через систему передачи во внешнее устройство. Устройство 5 сжатия изображения обеспечивает сжатие данных с помощью способа преобразования короткой волны.
В устройстве 5 сжатия изображении модуль 6 преобразования короткой волны последовательно обрабатывает принимаемые данные D1 изображения с помощью процесса преобразования короткой волны и предоставляет данные D3 коэффициента преобразования, получаемые с помощью процесса преобразования короткой волны. Модуль 6 преобразования короткой волны выполняет процесс преобразования короткой волны на основе линии, обрабатывая линии данных изображения.
Как показано на фиг.6, модуль 6 преобразования короткой волны разделяет данные D1 изображения на компоненты VL и VH двух полос с помощью фильтра 6А низкой частоты и фильтра 6В высокой частоты, каждый из которых имеет заданное количество расположенных вертикально выводов, с помощью процесса разделения полосы на первом этапе для ограничения полосы. Затем поддиапазоны от LL до НН формируют путем разделения компонентов VL и VH полос, путем разделения полос с помощью фильтра 6С низкой частоты, фильтра 6D высокой частоты, фильтра 6Е низкой частоты и фильтра 6F высокой частоты, каждый из которых имеет заданное количество расположенных горизонтально выводов. Модуль 6 преобразования короткой волны временно содержит входные данные D1 изображения, соответствующие количеству выводов фильтра 6А низкой частоты и фильтра 6В высокой частоты на входном этапе процесса разделения полосы пропускания, в буфере 7 линии, и предоставляет данные D1 изображения, содержащиеся в буфере 7 линии.
Как показано на фиг.7, модуль 6 преобразования короткой волны выполняет процесс разделения полосы за три этапа. Схема обработки на нижнем этапе обрабатывает коэффициенты от НН до LLLLLL преобразования короткой волны с помощью процесса разделения полосы. Буферы 7А-7С линии назначают для входных этапов процессов разделения полосы. Данные изображения, предоставляемые А/Ц преобразователем 4, передают непосредственно в первый буфер 7А линии.
Данные коэффициента преобразования для коэффициентов преобразования короткой волны накапливают в буферах 7А-7С линии, как показано на фиг.8 в результате этих процессов. Когда данные коэффициента преобразования будут накоплены в буферах 7А-7С линии после начала процесса обработки кадра данных D1 изображения, предоставляют соответствующие данные коэффициента.
Как показано на фиг.7, когда начинают процесс обработки кадра, данные D1 изображения передают в порядке линий в первый буфер 7А линии, причем данные D1 изображения соответствуют количеству выводов вертикального фильтра, после буфера 7А линии. Затем буфер 7А линии начинает одновременный параллельный вывод данных D1 изображения, соответствующих количеству выводов вертикального фильтра в порядке линий. После этого вертикальные фильтры 6АА и 6ВА начинают процесс ограничения вертикальной полосы и процесс понижающей дискретизации в порядке линий. Таким образом, в модуле 6 преобразования короткой волны вертикальные фильтры 6АА и 6ВА предоставляют данные коэффициента преобразования, относящиеся к ограничению вертикальной полосы в порядке приблизительно половины количества линий. Данные коэффициента преобразования передают в горизонтальные фильтры низкой частоты и высокой частоты.
Когда данные коэффициента преобразования, соответствующие количеству выводов горизонтальных низкочастотного и высокочастотного фильтров модуля 6 преобразования короткой волны, передают в горизонтальные низкочастотный и высокочастотный фильтры, начинают процесс ограничения горизонтальной полосы с использованием правильных данных коэффициента преобразования и процесса понижающей дискретизации. Процесс ограничения полосы с использованием правильных данных коэффициента преобразования продолжают до количества выборок, соответствующего количеству выводов фильтра на концах линий. Таким образом последовательно выполняют процессы ограничения полосы на первом этапе для линий.
Среди данных коэффициента преобразования в процессах ограничения полосы, выполняемых на первом этапе, данные LL коэффициента преобразования на низкочастотной стороне относительно горизонтального и вертикального направлений передают в буфер 7В линии, назначенный для процесса ограничения полосы на втором этапе. Когда накапливают данные коэффициента преобразования, соответствующие количеству выводов вертикального фильтра, который расположен после буфера 7В линии, буфер 7В линии начинает одновременный параллельный вывод данных коэффициента преобразования. После этого вертикальные фильтры 6АВ и 6ВВ начинают процесс ограничения полосы, используя правильные данные коэффициента преобразования и процесс понижающей дискретизации в порядке линий. Таким образом, данные коэффициента преобразования, относящиеся к ограничению вертикальной полосы, предоставляют в порядке приблизительно половины количества линий. Данные коэффициента преобразования передают в горизонтальные фильтры низкой частоты и высокой частоты. Когда данные коэффициента преобразования, соответствующие количеству выводов горизонтальных фильтров низкой частоты и высокой частоты модуля 6 преобразования короткой волны, передают в горизонтальные фильтры низкой частоты и высокой частоты второго этапа, начинается процесс ограничения горизонтальной полосы, с использованием правильных данных коэффициента преобразования и процесс понижающей дискретизации. Таким образом последовательно выполняют процессы ограничения полосы на втором этапе для линий.
Среди данных коэффициента преобразования в ходе процессов ограничения полосы на втором этапе данные LLLL коэффициента преобразования на стороне низкой частоты относительно горизонтального и вертикального направлений передают в буфер 7С линии, назначенный для процесса ограничения полосы на третьем этапе. Когда накапливаются данные коэффициента преобразования, соответствующие количеству выводов вертикального фильтра, расположенного после буфера 7С линии, буфер 7С линии начинает одновременный параллельный вывод данных коэффициента преобразования. После этого вертикальные фильтры 6АС и 6ВС начинают процесс ограничения полосы с использованием правильных данных коэффициента преобразования и процесса понижающей дискретизации в порядке линий. После этого вертикальные фильтры 6АС и 6ВС начинают процесс ограничения полосы с использованием правильных данных коэффициента преобразования и процесса понижающей дискретизации в порядке линий. Таким образом, данные коэффициента преобразования, относящиеся к ограничению вертикальной полосы, предоставляют в порядке приблизительно половины количества линий. Данные коэффициента преобразования передают в горизонтальные фильтры низкой частоты и высокой частоты. Когда данные коэффициента преобразования, соответствующие количеству выводов горизонтальных фильтров низкой частоты и высокой частоты, передают в горизонтальные фильтры низкой частоты и высокой частоты второго этапа, начинается процесс ограничения горизонтальной полосы с использованием правильных данных коэффициента преобразования и процесс понижающей дискретизации. Таким образом, последовательно выполняются третьи для линий процессы ограничения полосы.
Модуль 6 преобразования короткой волны устройства формирования изображения в первом варианте выполнения последовательно обрабатывает данные изображения по линиям. Поэтому буферы линий, а именно, схемы памяти, на входной стороне процессов разделения полос могут иметь малую емкость, что позволяет получить простую конструкцию устройства формирования изображения.
Модуль 8 квантизации последовательно выполняет квантизацию данных D3 преобразования коэффициента преобразования и передает дискретные данные в модуль 9 энтропийного кодирования. Модуль 9 энтропийного кодирования обрабатывает выходные данные модуля 8 квантизации, последовательно используя процесс энтропийного кодирования. Модуль 10 управления степенью обрабатывает выход модуля 9 энтропийного кодирования, используя процесс управления степенью, и предоставляет кодированные данные D2. Модуль 8 квантизации и модуль 9 энтропийного кодирования последовательно обрабатывают данные D3 коэффициента, предоставляемые модулем 6 преобразования короткой волны, синхронно с выводом данных коэффициента, накапливаемых в буферах 7А-7С. Таким образом, модуль 8 квантизации и модуль 9 энтропийного кодирования последовательно обрабатывают данные в линии. Поэтому модуль 8 квантизации и модуль 9 энтропийного кодирования имеют простую конфигурацию. Устройство 5 сжатия изображения, таким образом, последовательно сжимает данные D1 изображения в линии. Устройство 3 для съемки изображения последовательно предоставляет данные изображения в линии в соответствии с последовательным выполнением операции в линии модуля 8 сжатия изображения и предоставляет данные изображения для каждой линии в порядке обработки, в котором устройство 5 сжатия изображения обрабатывает данные изображения. Таким образом, данные D1 изображения, предоставляемые А/Ц преобразователем 4, передают непосредственно в устройство 5 сжатия изображения для упрощения конструкции устройства формирования изображения.
На фиг.9 показан вид в разрезе части интегральной схемы 51, включенной в состав устройства 1 формирования изображения. Интегральная схема 51 сформирована путем интегрального комбинирования устройства 3 для съемки изображения и периферийной схемы. В этом варианте выполнения периферийная схема включает в себя управляющую схему, предназначенную для управления устройством 3 для съемки изображения, А/Ц преобразователь 4 и устройство 5 сжатия изображения. Таким образом, конструкция устройства формирования изображения в этом варианте выполнения может быть упрощена.
В интегральной схеме 51 пиксели расположены в виде матрицы, формируя модуль съемки изображения, включенный в состав устройства 3 для съемки изображения. Периферийная схема сформирована вокруг модуля съемки изображения. На фиг.9 показан вид в разрезе, представляющий часть модуля съемки изображения и периферийной схемы.
Интегральная схема 51 имеет слой 52 устройства, а именно кремниевый (Si) слой толщиной от приблизительно 10 до приблизительно 20 мкм. Фотодиоды 53 для фотоэлектрического преобразования сформированы в частях, соответственно, соответствующих пикселям слоя 52 устройства. В слое, расположенном под слоем 52 устройства, сформированы устройства, такие как ПТМОП, периферийной схемы.
2
В интегральной схеме 51 пленка 54 из двуокиси кремния (пленка SiO), затеняющая пленка 55, пленка 56 нитрида кремния (пленка SiN), цветной фильтр А27 и микролинзы 58 уложены в этом порядке на слой 52 устройства. Фотодиоды 53 и слой 59 разводки, предназначенный для соединения устройств цепи периферийной цепи, сформированы под слоем 52 устройства. Слой 59 разводки сформирован на держателе 60 подложки. В интегральной схеме 51 слой 59 разводки сформирован на поверхности, противоположной поверхности, принимающей свет. Таким образом, устраняются все проблемы, возникающие в результате формования слоя разводки на поверхности, принимающей свет, и степень свободы при разводке повышается. Проблемы, возникающие в результате формования слоя разводки на поверхности, принимающей свет, состоят в понижении интенсивности света, падающего на пиксели, в результате эффекта затенения линиями разводки слоя разводки и перекрестных помех между соседними пикселями.
Когда слой 59 разводки интегральной схемы 51 сформирован на поверхности, противоположной поверхности, принимающей свет, фотодиоды 53 и устройства схемы периферийной схемы сформированы в тонкой полупроводниковой подложке, при этом слой 59 разводки сформирован на полупроводниковой подложке, и затем держатель 60 подложки прикреплен к полупроводниковой подложке. Затем полупроводниковую подложку переворачивают и поверхность полупроводниковой подложки полируют, используя ХМП (СМР, химико-механическое полирование), для завершения слоя 52 устройства. Затем последовательно формируют пленку 55 затенения, пленку нитрида 56 кремния (пленка S1N), цветные фильтры А27 и микролинзы 58.
Таким образом, устройство 3 для съемки изображения и периферийную схему устройства 1 формирования изображения интегрально объединяют в виде интегральной схемы и слой разводки формируют на поверхности, противоположной поверхности, принимающей свет. Линии разводки располагают, эффективно используя существенно повышенную степень свободы разводки, в результате чего данные изображения, предоставляемые устройством 3 для съемки изображения, можно последовательно обрабатывать в режиме по линиям для процесса сжатия данных и в порядке процесса сжатия данных.
(2) Работа первого варианта выполнения
Объектив 2 устройства 1 формирования изображения формирует изображение объекта на поверхности формирования изображения устройства 3 для съемки изображения, и устройство для съемки изображения 3 предоставляет данные изображения для этого изображения. Затем А/Ц преобразователь 4 преобразует данные изображения в данные D1 изображения. Данные D1 изображения обрабатывают с помощью процесса повышения резкости кромок, при этом устройство 5 сжатия изображения сжимает данные D1 изображения для преобразования данных D1 изображения в кодированные данные D2. Кодированные данные D2 записывают на носитель записи и передают во внешнее устройство. Таким образом, устройство 1 формирования изображения сжимает данные изображения, записывает сжатые данные изображения и передаст эти сжатые данные изображения.
В этой последовательности процессов устройство 5 сжатия изображения обрабатывает данные D1 изображения с помощью процесса преобразования короткой волны и предоставляет данные D3 коэффициента преобразования короткой волны. Данные D3 коэффициента преобразования короткой волны обрабатываются с помощью процесса квантизации, процесса энтропийного кодирования и процесса управления степенью для получения кодированных данных D2. Устройство 3 для съемки изображения последовательно предоставляет сигналы S1 изображения, представляющие данные изображения, в виде модулей обработки. Данные D1 изображения, предоставляемые А/Ц преобразователем 4, можно непосредственно передавать в устройство 5 сжатия изображения для сжатия данных. Таким образом, можно обеспечить упрощение конструкции.
Данные изображения считывают с помощью управления адресом XY из устройства 3 для съемки изображения, а именно твердотельного устройства для съемки изображения типа КМОП, при высокой степени свободы считывания. Поэтому данные изображения могут быть считаны в разных режимах считывания данных изображения, таких как режим последовательного считывания по линиям, режим последовательного считывания по колонкам и режим поблочного последовательного считывания. В данном варианте выполнения данные изображения считывают из устройства 3 для съемки изображения в виде модулей обработки, в которых данные изображения обрабатывают с помощью устройства 5 сжатия изображения. Конструкция дополнительно упрощается благодаря эффективному использованию высокой степени свободы считывания, характерной для твердотельного устройства для съемки изображения типа КМОП.
Более конкретно, в устройстве 1 формирования изображения модули обработки, в которых устройство 5 сжатия изображения обрабатывает данные изображения, представляет собой линии, и линии данных изображения сжимают с использованием процесса преобразования короткой волны на основе линии, при этом устройство 3 для съемки изображения предоставляет линии данных изображения. Таким образом, конструкция упрощается благодаря эффективному использованию высокой степени свободы считывания.
В устройстве 1 формирования изображения, устройство 3 для съемки изображения, которое предоставляет данные изображения в указанном выше режиме, устройство 5 сжатия изображения, а именно периферийная схема, предназначенная для обработки данных изображения, и А/Ц преобразователь 4 интегрированы в интегральную схему. Таким образом, получают миниатюрную и простую конструкцию.
Если устройство для съемки изображения и периферийная схема интегрирована просто с использованием структуры КМОП, структура разводки, соединяющая устройство для съемки изображения и периферийную схему, создает различные проблемы, и при этом невозможно полностью использовать высокую степень свободы считывания данных изображения. Поэтому слой разводки сформирован на поверхности, противоположной поверхности, принимающей свет, средства съемки изображения в данном варианте выполнения и фотоэлектрические преобразователи средства съемки изображения соединены с периферийной схемой с помощью слоя разводки. Интегральная схема, сформированная таким образом, обеспечивает высокую степень свободы считывания данных изображения, и при этом получают упрощенную конструкцию благодаря эффективному использованию высокой степени свободы считывания данных изображения.
(3) Эффект первого варианта выполнения
Средство съемки изображения и средство сжатия изображения соединены с помощью слоя разводки, сформированного на поверхности, противоположной поверхности, принимающей свет, средства съемки изображения, для построения интегральной схемы, и средство съемки изображения последовательно предоставляет данные изображения в модулях обработки, в которых данные изображения обрабатывают с помощью процесса сжатия изображения. Таким образом, конструкция может быть дополнительно упрощена путем эффективного использования высокой степени свободы считывания данных изображения, которая характерна для твердотельного устройства для съемки изображения типа КМОП.
Данные изображения сжимают по линиям и последовательно с помощью процесса преобразования короткой волны, и устройство для съемки изображения последовательно по линиям предоставляет данные изображения, предоставленные множеством фотоэлектрических преобразователей. Таким образом, конструкция может быть дополнительно упрощена в результате эффективного использования высокой степени свободы считывания данных изображения, которая характерна для твердотельного устройства для съемки изображения типа КМОП.
(4) Второй вариант выполнения
В устройстве формирования изображения во втором варианте выполнения в соответствии с настоящим изобретением используется процесс преобразования короткой волны на основе элементов мозаичного изображения вместо процесса преобразования короткой волны на основе линии, используемом устройством 1 формирования изображения в первом варианте выполнения для сжатия данных. Устройство формирования изображения во втором варианте выполнения используется с той же конфигурацией, что и устройство 1 формирования изображения в первом варианте выполнения, за исключением модуля 6 преобразования короткой волны и компоновки, относящейся к модулю 6 преобразования короткой волны. Устройство формирования изображения во втором варианте выполнения будет описано со ссылкой на фиг.5, и описание частей устройства формирования изображения во втором варианте выполнения, которые аналогичны или соответствуют подобным частям в устройстве 1 формирования изображения в соответствии с первым вариантом выполнения, не будет приведено для исключения дублирования.
Данные D1 изображения для изображения, полученного с помощью устройства формирования изображения, разделяют на заданное количество горизонтальных линий и заданное количество вертикальных линий для разграничения элементов Т0, T1, T2,… мозаичного изображения, а именно блоков, используемых как модули обработки, как показано на фиг.10. Модуль 6 преобразования короткой волны, включенный в устройство формирования изображения во втором варианте выполнения, последовательно считывает элементы Т0, T1, T2,… мозаичного изображения данных D1 изображения в режиме растрового сканирования и обрабатывает элементы Т0, T1, T2,… мозаичного изображения данных D1 изображения с помощью процесса преобразования короткой волны. Модуль 8 квантизации выполняет квантизацию элементов мозаичного изображения данных коэффициента преобразования, последовательно предоставленных модулем 6 преобразования короткой волны. Модуль 9 энтропийного кодирования обрабатывает элементы мозаичного изображения дискретных данных, последовательно предоставляемых модулем 8 квантизации, используя процесс энтропийного кодирования. Модуль 10 управления степенью обеспечивает управление степенью выходных данных модуля 9 энтропийного кодирования.
Процесс преобразования короткой волны на основе элементов мозаичного изображения обеспечивается путем ограничения полосы и понижающей дискретизации с использованием двумерного фильтра. Емкость буферных запоминающих устройств в процессе преобразования короткой волны на основе элементов мозаичного изображения на входном этапе обработки разделения может быть небольшой по сравнению с емкостью, требуемой для процесса преобразования короткой волны на основе линии.
Устройство 5 сжатия изображения в этом устройстве формирования изображения выполняет процесс сжатия данных на основе элементов мозаичного изображения, и управляющая схема, которая не показана на чертеже, управляет устройством 3 для съемки изображения, используя управление степенью, для формирования данных изображения из фотоэлектрических преобразователей в последовательном режиме элементов мозаичного изображения.
Даже при том, что средство съемки изображения и средство сжатия изображения устройства формирования изображения во втором варианте выполнения соединены так, что формируется интегральная схема с помощью слоя разводки, сформированного на поверхности, противоположной поверхности, принимающей свет, средства съемки изображения, данные изображения последовательно предоставляют в виде модулей обработки для процесса сжатия изображения, с использованием средства съемки изображения, при этом средство сжатия изображения обрабатывает элементы мозаичного изображения данных изображения, используя процесс преобразования короткой волны, для сжатия данных изображения, средство съемки изображения предоставляет элементы мозаичного изображения данных изображения, и выполняется обработка элементов мозаичного изображения данных изображения, при этом конструкция может быть дополнительно упрощена путем использования высокой степени свободы считывания данных изображения, характерной для устройства для съемки изображения такого, как твердотельное устройство для съемки изображения типа КМОП.
(5) Третий вариант выполнения
На фиг.11 показан вид в перспективе фрагмента интегральной схемы 61, включенной в состав устройства формирования изображения в третьем варианте выполнения, в соответствии с настоящим изобретением. В третьем варианте выполнения эта интегральная схема 61 составляет устройство формирования изображения в первом и втором вариантах выполнения. Части интегральной схемы 61, которые аналогичны или соответствуют частям интегральной схемы 51 по первому варианту выполнения, обозначены теми же ссылочными позициями и их описание здесь не приведено для исключения дублирования.
Интегральная схема 61 интегрально включает в себя устройство 3 для съемки изображения и периферийную схему. Периферийная схема используется та же, что и периферийные схемы по первому и второму вариантам выполнения. Таким образом, получается простая конструкция устройства формирования изображения в соответствии с третьим вариантом выполнения.
Интегральную схему 61 формируют путем наложения друг на друга периферийной схемы и устройства для съемки изображения. Периферийную схему изготовляют путем формирования полупроводниковых устройств - компонентов периферийной схемы на полупроводниковой подложке 62, с использованием процессов изготовления полупроводниковых устройств и формирования слоя 63 разводки поверх полупроводниковых устройств, и соединения слоя 63 разводки с полупроводниковыми устройствами. На поверхности периферийной схемы предусмотрены электроды и тому подобное, предназначенные для соединения с модулем съемки изображения.
Как указано в связи с первым вариантом выполнения, устройство для съемки изображения имеет слой 52 съемки изображения, включающий в себя фотоэлектрические преобразователи, а именно пиксели, расположенные в виде матрицы. Слой 52 съемки изображения представляет собой слой кремния (слой Si) толщиной от приблизительно 10 до приблизительно 20 мкм. В устройстве для съемки изображения сформированы фотодиоды в слое 52 съемки изображения, которые выполняют процесс фотоэлектрического преобразования.
Пленка двуокиси кремния, затеняющая пленка, пленка нитрида кремния, цветной фильтр А27 и микролинзы 58 уложены друг на друга в указанном порядке на верхней поверхности слоя 52 съемки изображения устройства для съемки изображения, для формирования модуля съемки изображения. Слой 59 разводки сформирован на нижней поверхности слоя 52 съемки изображения. Слой 63 разводки, включенный в периферийную схему, сформирован на нижней поверхности слоя 59 разводки. Слои 59 и 63 разводки соединены для формирования интегральной схемы 61, включающей в себя устройство для съемки изображения и периферийную схему.
Слой 59 разводки интегральной схемы 61 сформирован на поверхности, противоположной поверхности, принимающей свет. Таким образом, устраняются все проблемы, возникающие в результате формования слоя 59 разводки на поверхности, принимающей свет, и значительно повышается степень свободы разводки. Периферийная схема и устройство для съемки изображения сформированы отдельно, используя разные процессы обработки кремниевой пластины, и могут быть интегрально скомбинированы с помощью слоя 59 разводки. Поскольку устройство для съемки изображения и периферийная схема могут быть сформированы отдельно с использованием соответствующей обработки кремниевой пластины, соответственно, различные возможности устройства формирования изображения могут быть, в общем, улучшены.
Полупроводниковые устройства выполнены миниатюрными и линии структуры разводки сформированы узкими, с тем, чтобы обеспечить высокую плотность компоновки полупроводниковых устройств для формирования периферийной схемы в виде небольшой микросхемы и для уменьшения потребления энергии. Если размер пикселя устройства для съемки изображения будет уменьшен, соответственно, повысится чувствительность устройства для съемки изображения. Площадь микросхемы увеличивается при увеличении количества пикселей. Когда устройство для съемки изображения и периферийную схему при этом изготавливают отдельно с использованием различных процессов обработки полупроводниковой пластины и комбинируют их вместе в виде интегральной схемы, устройство для съемки изображения и периферийная схема могут быть изготовлены с использованием соответствующих процессов обработки полупроводниковых пластин, при этом, соответственно, расширяются его возможности.
Когда интегральная схема 61 построена в результате интегрального комбинирования устройства для съемки изображения и периферийной схемы с помощью слоя 59 разводки, сформированного на поверхности, противоположной поверхности, принимающей свет, будет сформирована интегральная схема 61, аналогичная интегральной схеме в соответствии с первым вариантом выполнения, в результате формирования фотодиодов, путем обработки поверхности на стороне слоя 59 разводки тонкой полупроводниковой подложки, с формированием слоя 59 разводки на полупроводниковой подложке, и периферийная схема, сформированная с помощью отдельных процессов, будет прикреплена к полупроводниковой подложке. Затем полупроводниковую подложку переворачивают и поверхность полупроводниковой подложки полируют, используя ХМП, для завершения слоя 52 устройства. Затем последовательно формируют затеняющую пленку, цветной фильтр А27 и микролинзы 58.
Устройство для съемки изображения и периферийная схема интегральной схемы 61, сформированные, таким образом, путем наложения друг на друга составляющих слоев, могут быть соединены так, что пиксели интегральной схемы 61 будут передавать выходные сигналы в одновременном режиме параллельного вывода в периферийную схему, как показано на фиг.12А, и данные изображения будут обрабатываться с помощью процесса А/Ц преобразования. Данные изображения в колонках будут передаваться одновременно, в режиме параллельного вывода, как показано на фиг.12В, и данные изображения в колонках могут обрабатываться периферийной схемой. Данные изображения в линиях могут предоставляться одновременно, в режиме параллельного вывода, как показано на фиг.12С, и данные изображения в линиях могут обрабатываться с помощью периферийной схемы. Гибкость режима вывода данных изображения значительно повышает степень свободы вывода устройства для съемки изображения.
Линии передачи сигналов соединены с пикселями, соответственно. Данные изображения могут быть представлены в разных режимах вывода, используя управление адресом XY пикселей. Например, данные изображения могут быть переданы одновременно в режиме параллельного вывода, как показано на фиг.12А, путем одновременного включения ПТМОП, соответственно, входящих в состав пикселей, при этом линии данных изображения могут быть представлены, как указано выше, со ссылкой на фиг.3, путем управления линиями с горизонтальным адресом, и данные изображения, последовательно расположенные в вертикальных линиях, могут быть предоставлены, как будет указано ниже со ссылкой на фиг.12С, путем управления вертикальными линиями адреса. В режиме вывода, показанном на фиг.12С, данные изображения могут быть представлены из расположенных вертикально последовательных пикселей, путем управления линиями вертикального адреса, вместо управления линиями горизонтального адреса, как указано со ссылкой на фиг.3, и последовательно назначая каждую линию сигнала пикселям, расположенным горизонтально, в режиме разделения времени. В режиме вывода, показанном на фиг.12D, данные изображения могут быть представлены в различных последовательностях, путем последовательного выбора множества пикселей, включенных в блок и соединенных с линией сигнала в режиме растрового сканирования и в режиме зигзагообразного сканирования, путем управления вертикальной и горизонтальной линией адреса. Пиксели расположены последовательно в горизонтальном и вертикальном направлениях по горизонтальным и вертикальным линиям адреса. Пиксели множества блоков сканируют в одном порядке сканирования.
Устройство для съемки изображения и периферийная схема интегральной схемы 61 могут быть соединены для передачи данных изображения в последовательном режиме вывода, как показано на фиг.13А, в последовательном режиме вывода, как показано на фиг.13В или в последовательном режиме вывода поблочно, как показано на фиг.13С.
Устройство формирования изображения в первом варианте выполнения обрабатывает данные изображения, используя последовательную обработку по линиям. Устройство формирования изображения в третьем варианте выполнения передает данные изображения в периферийную схему в одном из режимов вывода, показанных на фиг.12A-12D.
Интегральная схема 61 устройства формирования изображения в третьем варианте выполнения передает данные изображения в периферийную схему одновременно в режиме параллельного вывода через множество систем. Устройство 8 сжатия изображения, а именно, периферийная схема, интегральная схема 61, включает в себя три схемы С1-С3 обработки, как показано на фиг.11. Эти три схемы С1-С3 обработки обрабатывают данные изображения, передаваемые в них через эти три системы одновременно, в режиме параллельной обработки.
Периферийная схема и средство съемки изображения устройства формирования изображения в третьем варианте выполнения сформированы отдельно в ходе разных соответствующих процессов обработки полупроводникового кристалла, соответственно. В связи в этим можно улучшить различные возможности.
(6) Четвертый вариант выполнения
На фиг.14 показана блок-схема, представляющая устройство 71 формирования изображения в четвертом варианте выполнения, в соответствии с настоящим изобретением, в сравнении с устройством 1 формирования изображения, показанным на фиг.5. Части устройства 71 формирования изображения, показанные на фиг.14, аналогичные или соответствующие частям устройства 1 формирования изображения, показанным на фиг.5, обозначены теми же ссылочными позициями и их описание здесь не приведено, для исключения дублирования. Устройство 71 формирования изображения включает в себя интегральную схему, аналогичную схеме по первому или третьему варианту выполнения. Интегральная схема устройства 71 формирования изображения сформирована путем интегрального комбинирования управляющей схемы, предназначенной для управления устройством 73 для съемки изображения, А/Ц преобразователя 4 и устройства 75 сжатия изображения, а именно периферийной схемы. Данные изображения могут быть переданы в разных режимах вывода в периферийную схему. Таким образом, получают простую конструкцию с небольшими размерами. Устройство 73 для съемки изображения представляет собой твердотельное устройство для съемки изображения типа КМОП. Управляющая схема, которая не показана на чертеже, осуществляет управление устройством 73 для съемки изображения. Как показано на фиг.15, устройство 73 для съемки изображения последовательно выводит сигнал S1 изображения, представляющий изображение, сформированное в области AR эффективного изображения в виде модулей обработки, в которых устройство 75 сжатия изображения выполняет обработку данных изображения. Управляющая схема, которая не показана на чертеже, управляет устройством 73 для съемки изображения, используя управление адресом XY так, что устройство 73 для съемки изображения передает данные изображения в виде частичных изображений, заранее сформированных в частичных областях ARA-ARE. Частичные области ARA-ARE представляют собой прямоугольные области. Частичная область ARC находится в центре области ARA эффективного изображения, и четыре частичных области ARA, ARB, ARD и ARE находятся в четырех углах, соответственно, области AR эффективного изображения. Процесс сжатия, необходимый для сжатия данных изображения, сформированного в области AR эффективного изображения, может быть приблизительно определен по частичным областям ARA-ARE в области AR эффективного изображения.
Устройство 75 сжатия изображения детектирует количество кодов путем сжатия данных изображения частичных изображений, сформированных в частичных областях ARA-ARE. Устройство 75 сжатия изображения сжимает данные изображения, предоставляемые устройством 73 для съемки изображения, со степенью сжатия данных, которая основана на детектируемой величине кода. Конкретный модуль 76 области сжатия изображения, включенный в состав устройства 75 сжатия изображения, сжимает данные D1 изображения по изображениям в частичных областях ARA-ARE, передает сигнал, обозначающий величину кода из кодов, полученных в результате сжатия данных D1 изображения, в модуль 77 управления назначением величины кода. Модуль 77 управления назначением величины кода выполняет оценку величины кода для кодов, которые могут быть сформированы, когда изображение по области AR эффективного изображения сжимают на основе величины кода, обозначенной принятым сигналом, и определяет степень сжатия данных на основе оценки величины кода. Конкретный модуль 76 сжатия изображения сжимает элементы мозаичного изображения, соответствующие частичным областям ARA-ARE, используя их в качестве модулей обработки в процессе преобразования короткой волны, или сжимает частичные области ARA-ARE как один или множество макроблоков, используя способ MPEG2. Данные могут быть сжаты с использованием любого из различных способов сжатия.
Модуль 78 сжатия изображения определяет шкалу квантизации в соответствии со степенью сжатия данных, определенной модулем 77 управления назначением величины кода, сжимает данные D1 изображения для изображения в области AR эффективного изображения и предоставляет сжатые данные изображения. Модуль 79 управления степенью вставляет данные заполнения в модуль 78 сжатия изображения, для процесса управления степенью, и предоставляет кодированные данные D2. Модуль 78 сжатия изображения сжимает данные изображения, используя способ сжатия данных, применяемый в конкретном модуле 76 сжатия области изображения. Когда управление степенью может быть удовлетворительно обеспечено на практике, модуль 78 сжатия изображения может сжимать данные изображения с использованием сжатия данных, отличающегося от используемого модулем 76 сжатия изображения в конкретной области.
Таким образом, устройство формирования изображения в четвертом варианте выполнения детектирует величину кода для кодов, формируемых при сжатии данных изображения, для изображений в частичных областях в области эффективного изображения, путем эффективного использования высокой степени свободы считывания данных изображения устройства для съемки изображения, а именно, твердотельного устройства для съемки изображения типа КМОП, и определяет степень сжатия данных на основе величины кода и сжимает данные изображения всего изображения с этой степенью сжатия данных. Таким образом, устройство формирования изображения правильно определяет степень сжатия данных и выполняет управление степенью более соответствующим образом, чем обычное устройство формирования изображения.
xta
xta
Предположим, что величина кода, полученного в результате сжатия данных изображения для частичных областей, составляет TS, и требуемая величина кода для всего изображения составляет TALL. Тогда величина кода ТЕ, которая может быть назначена для остальных областей, может быть выражена как TALL-TS. Предположим, что величина кода для кодов, которые могут быть сформированы в результате сжатия данных в остальных областях, составляет TR, избыточная величина кода TE=(TR+TS)-TALL. В процессе сжатия данных можно использовать требуемую величину кода для сжатия данных путем определения степени сжатия данных для распределения избыточной величины кода TE для всех кодов. Оценка величины TR кодов, формируемых в результате сжатия остальных областей, может быть получена из величины TS среди кодов, которые формируются в результате сжатия данных, которое выполняют заранее, и, следовательно, процесс сжатия данных может быть выполнен соответствующим образом.
Модуль 77 управления назначения величины кода и модуль 79 управления степенью определяют степень сжатия данных в соответствии с величиной кода, определенной с помощью выполняемого заранее процесса кодирования, и выполняет процесс управления степенью.
Устройство формирования изображения в соответствии с четвертым вариантом выполнения детектирует величину кода для кодов, формируемых в результате обработки данных изображения, для изображений в частичных областях области эффективного изображения, путем выполняемого заранее процесса сжатия данных, определяет степень сжатия данных в соответствии с величиной кода и обрабатывает данные изображения, используя процесс сжатия данных. Таким образом, устройство формирования изображения в соответствии с четвертым вариантом выполнения может более правильно выполнять управление степенью, чем обычное устройство формирования изображения, используя более простой процесс, чем обычный процесс, в результате эффективного использования высокой степени свободы считывания данных изображения, характерной для твердотельного устройства для съемки изображения типа КМОП.
Когда на практике может быть обеспечено удовлетворительное управление степенью путем использования сжатия данных изображения со степенью сжатия данных, основанной на ранее детектированной величине кода, для сжатия данных изображения в области эффективного изображения, данные изображения могут быть сжаты, используя способ сжатия данных, отличающийся от способа сжатия данных, относящегося к заранее выполняемому процессу. Таким образом можно использовать различные способы сжатия данных для сжатия данных.
В частности, управление степенью может быть обеспечено с использованием простого процесса путем применения шкалы квантизации, соответствующей степени сжатия данных, для квантизации данных коэффициента.
Когда на практике можно удовлетворительно выполнять управление степенью путем сжатия данных изображения в области эффективного изображения, в дополнение к сжатию данных, в соответствии с выполняемым заранее процессом, данные изображения могут быть сжаты с использованием способа сжатия, отличающегося от способа сжатия данных, относящегося к заранее выполняемому процессу. Таким образом, для сжатия данных можно использовать различные способы сжатия данных.
Данные изображения могут быть сжаты с использованием способа сжатия данных, отличающегося от способа, относящегося к выполняемому заранее процессу, когда устройство формирования изображения содержит средство сжатия данных, относящееся к выполняемому заранее процессу, и средство сжатия данных использует степень сжатия данных, относящуюся к выполняемому заранее процессу. Таким образом, можно использовать различные способы сжатия данных.
Средство съемки изображения и периферийная схема, находящаяся под слоем разводки, сформированным на поверхности, противоположной поверхности, принимающей свет, соединены с помощью слоя разводки. Поэтому данные изображения могут быть переданы из средства съемки изображения в периферийную схему правильной образом с использованием последовательности процессов, даже в случае, когда процесс кодирования заранее выполняют после приема данных изображения для изображений в частичных областях из средства съемки изображения и детектирования величины кода.
Поскольку средства съемки изображения и периферийная схемы сформированы отдельно с использованием процессов обработки полупроводникового кристалла, соответственно, устройство для съемки изображения и периферийная схема могут быть сформированы с использованием соответствующих процессов обработки полупроводникового кристалла, соответственно, и различные возможности устройства формирования изображения могут быть, в общем, улучшены.
(7) Пятый вариант выполнения
Пятый вариант выполнения устройства формирования изображения в соответствии с настоящим изобретением аналогичен четвертому варианту выполнения устройства формирования изображения. Устройство формирования изображения в соответствии с пятым вариантом выполнения выполняет процесс управления степенью путем управления величиной кода, относящейся к остальным областям, на величину кода, детектируемую выполняемым заранее процессом сжатия данных. Устройство 73 для съемки изображения предоставляет данные изображения в изображении в области AR эффективного изображения, исключая частичные области, ARA-ARE после выполняемого заранее процесса сжатия данных. Модуль 77 управления назначением величины кода управляет шкалой квантизации, относящейся к процессу сжатия данных, выполняемому модулем 78 сжатия изображения, для данных изображения в области AR эффективного изображения, исключая частичные области ARA-ARE. Устройство формирования изображения предоставляет кодированные данные, полученные в результате выполняемого заранее процесса сжатия данных, вместе с кодированными данными, полученными с помощью процесса сжатия, выполняемого модулем 78 сжатия изображения.
Шкалой квантизации для модуля 76 сжатия изображения в специфичной области, относящейся к выполняемому заранее процессу, управляют по величине кода для кодов, сформированных в процессе сжатия данных, для сжатия данных изображения в области AR эффективного изображения, исключающей частичные области ARA-ARE. Таким образом, в этом варианте выполнения, модуль 76 сжатия изображения специфичной области и модуль 78 сжатия изображения сжимают данные D1 изображения с использованием того же способа.
Устройство формирования изображения в пятом варианте выполнения идентично устройству формирования изображения в четвертом варианте выполнения за исключением того, что состав устройства формирования изображения в пятом варианте выполнения, относящийся к обработке данных D1 изображения, отличается от состава устройства формирования изображения в четвертом варианте выполнения.
Устройство формирования изображения в пятом варианте выполнения может использовать тот же эффект, что и устройство формирования изображения в четвертом варианте выполнения, путем применения заранее детектируемой величины кода, в результате сжатия данных изображения в частичных областях в области эффективного изображения, определения степени сжатия данных, в соответствии с детектированной величиной кода, и сжатия данных изображения с определенной, таким образом, степенью сжатия данных, для сжатия данных изображения в области, исключающей частичные области, относящиеся к заранее выполняемому процессу.
(8) Шестой вариант выполнения
Конструкция устройства формирования изображения по шестому варианту выполнения в соответствии с настоящим изобретением аналогична конструкции устройства формирования изображения в четвертом или пятом вариантах выполнения. Устройство формирования изображения в шестом варианте выполнения изменяет частичные области, относящиеся к заранее выполняемому процессу, в соответствии с режимом съемки изображения, выбираемым пользователем. В шестом варианте выполнения используется та же конструкция устройства формирования изображения, что и в устройстве формирования изображения в четвертом или пятом вариантах выполнения, за исключением процесса, относящегося к частичным областям, связанным с выполняемым заранее процессом.
Устройство формирования изображения в шестом варианте выполнения выбирает наиболее важные области для режима съемки изображения, выбранного пользователем, как области для детектирования предыдущей величины кода. Степень сжатия данных, относящаяся к сжатию данных изображения для изображении в области эффективного изображения, с использованием ранее детектированной величины кода, соответствующим образом изменяется в соответствии с режимом съемки изображения, в результате чего величина кода правильно распределяется по частям на основе наиболее важных областей.
Когда пользователь выбирает режим портретной съемки, данные изображения человека являются важными и, в большинстве случаев, изображение человека формируется в центральной области эффективного изображения. Таким образом, область, из которой заранее детектируют величину кода, представляет собой центральную область эффективного изображения, когда выбран режим портретной съемки. В режиме портретной съемки данные изображения находящегося на переднем плане и на заднем плане человека не так важны по сравнению с данными изображения человека. Поэтому степень сжатия данных, относящуюся к сжатию данных изображения на изображении в эффективной области изображения, определяют на основе величины кода, детектируемой заранее так, что величина кодов, назначенных центральной области эффективной области изображения, будет большей, чем назначено для периферийной области в эффективной области изображения.
Когда пользователь выбирает режим съемки пейзажа, будут важны данные изображения, по существу, во всей области эффективного изображения. Таким образом, как указано выше со ссылкой на фиг.15, центральная область и множество периферийных областей используются как области, в которых заранее детектируют величину кода, при выборе режима съемки пейзажа. В режиме съемки пейзажа степень сжатия данных, относящая к сжатию данных изображения, для изображения в эффективной области изображения, определяют на основе заранее детектируемой величины кода, так что степень сжатия для частичных изображений во всей области эффективного изображения будет, по существу, одинаковой.
В устройстве формирования изображения по шестому варианту выполнения системный контроллер, а именно средство арифметической обработки, для выполнения общих операций управления устройства формирования изображения, управляет данными изображения, предоставляемыми устройством 3 для съемки изображения 3 и операциями средствами сжатия изображения, в соответствии с режимом фотографирования, выбранным пользователем, для выполнения последовательности процессов.
Таким образом, дополнительное управление правильной степенью может быть получено путем изменения степени сжатия данных, определенной на основе заранее детектируемой величины кода, в соответствии с режимом фотографирования и изменениями области, в которой заранее детектируют величину кода в соответствии с режимом фотографирования.
(9) Седьмой вариант выполнения
Устройство формирования изображения в седьмом варианте выполнения в соответствии с настоящим изобретением автоматически определяет наиболее важную частичную область для выбранного режима фотографирования в шестом варианте выполнения на основе распределения цвета в изображении, в соответствии с режимом фотографирования. Конструкция устройства формирования изображения в седьмом варианте выполнения идентична конструкции устройства формирования изображения в шестом варианте выполнения, за исключением того, что устройство формирования изображения в седьмом варианте выполнения в автоматическом процессе определяет наиболее важную частичную область для выбранного режима фотографирования.
В устройстве формирования изображения в седьмом варианте выполнения детектируют часть цвета кожи в изображении предыдущего кадра, когда пользователь выбирает режим портретной съемки, частичную область, относящуюся к заранее выполняемому процессу сжатия данных определяют так, чтобы она включала в себя часть цвета кожи или чтобы она содержалась в части цвета кожи.
Когда пользователь выбирает режим близкой крупным планом, детектируют область оттенка теплого цвета в изображении предыдущего кадра, и частичную область, относящуюся к заранее выполняемому процессу сжатия данных, определяют так, чтобы она включала в себя часть теплого оттенка цвета или так, чтобы она содержалась в части теплого оттенка цвета.
Когда область выполняемого заранее детектирования величины кода, на основе распределения цвета в изображении, может быть обеспечено дополнительное правильное управление степенью.
Дополнительное правильное управление степенью может быть обеспечено путем изменения области в соответствии с выбранным режимом фотографирования.
(10) Модификации
Хотя в вариантах выполнения с четвертого по седьмой обработку сжатия данных выполняют заранее, используя специфичную систему обработки, выполняемый заранее процесс сжатия данных может быть выполнен с использованием исходной системы сжатия данных.
Хотя средство съемки изображения в каждом из приведенных выше вариантов выполнения представляет собой устройство для съемки изображения типа КМОП, можно также использовать другие устройства для съемки изображения, обеспечивающие управление адресом XY.
Промышленная применимость
Настоящее изобретение применимо для видеокамер, позволяющих записывать движущиеся изображения, электронных камер, снимающих неподвижное изображение, устройств слежения и тому подобное.
Список ссылочных позиций
1, 71… Устройства формирования изображения
2… Объектив
3, 73… Устройства для съемки изображения
4… Аналого-цифровой преобразователь
5, 75, 78… Модули сжатия изображения
6… Модуль преобразования короткой волны
6А, 6С, 6Е… Фильтры низкой частоты
6В, 6D, 6F… Фильтры высокой частоты
6АА, 6АВ, 6АС, 6ВА, 6ВВ, 6ВС… Вертикальные фильтры
7, 7А-7С… Буферы линий
8… Модуль квантизации
9… Модуль энтропийного кодирования
10, 79… Модули управления степенью
51, 61… Интегральные схемы
52… Слой устройства
53… Фотодиод
54… Пленка двуокиси кремния
55… Затеняющая пленка
56… Пленка нитрида кремния
58… Микролинзы
59, 63… Слои разводки
60… Держатель подложки
62… Полупроводниковая подложка
76… Модуль сжатия изображения в специфичной области
77… Модуль управления назначением величины кода
А1… Оптический фильтр низкой частоты
А2… Фильтр коррекции цвета
А27… цветной фильтр
С1-С3… Схемы обработки.