УСТРОЙСТВО ДЛЯ СЪЕМКИ ИЗОБРАЖЕНИЯ, ИНТЕГРАЛЬНАЯ СХЕМА ЭЛЕМЕНТА СЪЕМКИ ИЗОБРАЖЕНИЯ И СПОСОБ ОБРАБОТКИ РЕЗУЛЬТАТА СЪЕМКИ ИЗОБРАЖЕНИЯ
DEVICE FOR TAKING IMAGES, INTEGRATED CIRCUIT FOR IMAGE TAKING ELEMENT AND METHOD OF PROCESSING TAKEN IMAGES

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству для съемки изображения, интегральной схеме элемента съемки изображения и к способу обработки результата съемки изображения, и может быть применено, например, в видеокамерах, которые записывают результат съемки изображения в виде движущегося изображения, в электронных камерах для съемки неподвижного изображения, устройствах слежения и т.п. Настоящее изобретение соединяет и, таким образом, объединяет друг с другом средство съемки изображения и средство сжатия изображения с использованием слоя разводки, сформированного на поверхности, находящейся на противоположной стороне от поверхности съемки изображения средства съемки изображения, изменяет степень сжатия данных, используемую для сжатия данных, по меньшей мере, следующего блока на основе количества кода, генерируемого при сжатии данных результатов съемки изображения в отдельном блоке, и выводит результат съемки изображения каждого из модулей фотоэлектрического преобразования из средства съемки изображения таким образом, что он соответствует обработке в отдельном блоке, что позволяет эффективно использовать высокую степень свободы при считывании результатов съемки изображения, которая представляет собой свойство твердотельного элемента съемки изображения типа КМОП (CMOS, комплементарный металло-оксидный полупроводник) или тому подобное, упрощает общую конфигурацию и надежно выполняет управление степенью.
Уровень техники
Видеокамера в предшествующем уровне техники помещает результат съемки изображения, выводимый из твердотельного элемента съемки изображения типа ПЗС (CCD, прибор с зарядовой связью) в буферное запоминающее устройство кадра, и выполняет сжатие данных результата съемки изображения в отдельных блоках, используя способ MPEG (ГЭПИ, Группа экспертов подвижного изображения). В этом способе на основе стандарта MPEG2 управление степенью выполняют, используя, например, способ ТМ5 (испытательный режим 5) или тому подобное. Аналогично, электронные камеры, предназначенные для съемки неподвижного изображения, помещают результат съемки изображения, получаемый с выхода твердотельного элемента съемки изображения типа ПЗС, в буферное запоминающее устройство кадра, выполняют сжатие данных результата съемки изображения в отдельных блоках, используя способ JPEG (ОГЭФ, Объединенная группа экспертов по машинной обработке фотографических изображений) и выполняют управление степенью, как и в способе MPEG2.
С другой стороны, в последнее время практическое использование получили твердотельные элементы съемки изображения типа КМОП. Как показано на фиг.1, в отличие от твердотельного элемента для съемки изображения типа ПЗС, твердотельный элемент съемки изображения типа КМОП имеет другие свойства. Например, при использовании твердотельного элемента съемки изображения типа ПЗС, моменты времени начала и окончания накопления заряда являются одними и теми же для всех пикселей, тогда как в твердотельном элементе съемки изображения типа КМОП, моменты времени начала и окончания накопления заряда отличаются в отдельных модулях столбцов или пикселей.
В частности, как показано на фиг.2, твердотельный элемент съемки изображения типа ПЗС считывает результаты съемки изображения в соответствующих пикселях путем последовательной передачи. С другой стороны, как показано на фиг.3, твердотельный элемент съемки изображения типа КМОП может считывать результаты съемки изображения в соответствующих пикселях, управляя адресом X-Y, и, таким образом, имеет более высокую степень свободы при считывании результатов съемки изображения, по сравнению с твердотельным элементом съемки изображения типа ПЗС. На фиг.2 показана схема, представляющая вывод результатов съемки изображения из твердотельного элемента съемки изображения типа ПЗС. Накопленный заряд, содержащийся в каждом пикселе, передают в регистр вертикальной передачи. Твердотельный элемент съемки изображения типа ПЗС последовательно передает накопленный заряд, переданный в регистр вертикальной передачи, в регистр горизонтальной передачи, и последовательно передает и выводит накопленный заряд, используя регистр горизонтальной передачи. С другой стороны, на фиг.3 показана схема вывода результата съемки изображения из твердотельного элемента съемки изображения типа КМОП, представляющая случай, когда результаты съемки изображения из соответствующих пикселей последовательно выводят в виде отдельных линейных столбцов. В этом случае результаты съемки изображения могут быть выведены одновременно и параллельно в виде модулей, равных количеству линейных столбцов.
В частности, твердотельный элемент съемки изображения типа КМОП избирательно включает МОП-транзистор (MOSFET, полевой транзистор со структурой металл - оксид -полупроводник) предусмотренный в каждом пикселе, используя горизонтальную линию адреса, продолжающуюся в горизонтальном направлении, и вертикальную линию адреса, продолжающуюся в вертикальном направлении, в результате чего результат съемки изображения выводят в сигнальную линию от пикселя, выбранного линией горизонтального адреса и линией вертикального адреса. Таким образом, в примере, показанном на фиг.3, для множества пикселей, непрерывно продолжающихся в вертикальном направлении, совместно используют сигнальную линию, формируемую одним линейным столбцом. Путем последовательного изменения установок линий горизонтального адреса для множества пикселей, соединенных в один линейный столбец, и, таким образом, последовательного включения МОП-транзисторов, предусмотренных во множестве пикселей, линейный столбец выделяют для пикселей, непрерывно расположенных в вертикальном направлении, используя режим временного разделения, и выводят результаты съемки изображения из этих пикселей. Если рассматривать в горизонтальном направлении, для пикселей, непрерывно расположенных в горизонтальном направлении, совместно используют горизонтальную линию адреса. Такое выделение с временным разделением пикселей, непрерывно расположенных в вертикальном направлении для линейного столбца, выполняют в пикселях, непрерывно расположенных в горизонтальном направлении, выполняют одновременно и параллельно, в результате чего результаты съемки изображения выводят в виде линейных модулей.
Конструкция, в которой такой твердотельный элемент съемки изображения типа КМОП объединен с периферийной цепью, предложена, например, в выложенном японском патенте №2004-31785.
С другой стороны, в последнее время, в качестве систем кодирования для обработки таких данных изображения были предложены различные способы кодирования с использованием процесса вейвлет-преобразования. В процессе вейвлет-преобразования данные изображения разделяют на полосы, и для них выполняют понижающую дискретизацию на высокочастотный компонент и низкочастотный компонент в каждом из горизонтального направления и вертикального направления, в результате чего данные изображения разделяют на четыре поддиапазона. Существует, например, случай, в котором, как показано на фиг.4 (А), данные изображения обрабатывают с использованием четырех поддиапазонов НН, HL, LH и LL, с выполнением такого процесса разделения только один раз, и случай, когда, как показано на фиг.4 (В), данные изображения обрабатывают путем повторения процесса разделения полосы. В частности, на фиг.4 (В) представлен случай, когда процесс разделения полосы повторяют три раза. В этом примере среди поддиапазонов НН, HL, LH и LL, поддиапазон LL низких частот дополнительно подвергают процессу разделения полосы в горизонтальном направлении и вертикальном направлении для генерирования четырех поддиапазонов LLHH, LLHL, LLLH и LLLL. Среди поддиапазонов LLHH, LLHL, LLLH и LLLL, поддиапазон LLLL низких частот дополнительно подвергают процессу разделения полосы в горизонтальном направлении и вертикальном направлении для генерирования четырех поддиапазонов LLLLHH, LLLLHL, LLLLLH и LLLLLL.
В качестве способа кодирования, на основе такого процесса вейвлет-преобразования, предложено так называемое вейвлет-преобразование на основе линии, в котором данные изображения обрабатывают в виде линейных модулей и так называемое вейвлет-преобразование на основе времени, в котором данные изображения обрабатывают в виде модулей мозаичного изображения, представленных как прямоугольные блоки, установленные путем разделения одного экрана.
Считается, что, когда обеспечивается возможность эффективного использования высокой степени свободы считывания результатов съемки изображения, что является свойством твердотельного элемента съемки изображения типа КМОП, можно дополнительно упростить общую конфигурацию устройства для съемки изображения и надежно обеспечить управление степенью.
Сущность изобретения
Настоящее изобретение было выполнено с учетом приведенного выше, и в нем предложено устройство для съемки изображения, интегральная схема элемента съемки изображения и способ обработки результата съемки изображения, которые позволяют эффективно использовать высокую степень свободы считывания результатов съемки изображения, которая представляет собой свойство твердотельного элемента съемки изображения типа КМОП или тому подобное, упрощает общую конфигурацию и надежно выполняет управление степенью.
Для решения таких проблем настоящее изобретение применяется для устройства для съемки изображения, включающего в себя: средство съемки изображения, предназначенное для вывода результатов съемки изображения, используя управление адресом XY, средство съемки изображения, включающее в себя множество модулей фотоэлектрического преобразования, расположенных в форме матрицы; и периферийную схему, интегрально совмещенную со средством съемки изображения, причем периферийная схема соединена с модулями фотоэлектрического преобразования с помощью слоя разводки, сформированного на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения; результаты съемки изображения средством съемки изображения обрабатывают и выводят с помощью периферийной схемы, в котором периферийная схема включает в себя средство сжатия изображения, предназначенное для сжатия данных, и вывода, по меньшей мере, результата съемки изображения в каждом из заданных модулей обработки, и средство управления, предназначенное для управления степенью сжатия данных средством сжатия изображения, причем в периферийную схему передают результаты съемки изображения от средства съемки изображения в отдельных блоках, сформированных путем разделения эффективной области изображения в горизонтальном направлении и вертикальном направлении, и последовательно выполняют сжатие данных результатов съемки изображения, а также в пределах одного кадра, на основе количества кода, сгенерированного при сжатии данных одного блока средством сжатия изображения, причем периферийная схема изменяет степень сжатия данных, когда, по меньшей мере, в следующем блоке выполняют сжатие данных с помощью средства сжатия изображения, и средство съемки изображения выводит результаты съемки изображения модулей фотоэлектрического преобразования с отдельными блоками в качестве модулей в последовательности, соответствующей сжатию данных средством сжатия изображения.
В устройстве для съемки изображения, структура которого соответствует настоящему изобретению, устройство для съемки изображения включает в себя средство съемки изображения, предназначенное для вывода результатов съемки изображения, используя управление адресом XY, средство съемки изображения, включает в себя множество модулей фотоэлектрического преобразования, расположенных в форме матрицы, и периферийную схему, выполненную интегрально со средством съемки изображения, причем периферийная схема соединена с модулями фотоэлектрического преобразования с помощью слоя разводки, сформированного на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения, причем результаты съемки изображения средства съемки изображения обрабатывают и выводят с помощью периферийной схемы, модули фотоэлектрического преобразования средства съемки изображения и периферийная схема соединены друг с другом с помощью слоя разводки, сформированного на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет. Таким образом, модули фотоэлектрического преобразования и периферийная схема могут быть соединены друг с другом с высокой степенью свободы, путем эффективного исключения различных неудобств, возникающих, когда слой разводки расположен на стороне поверхности, принимающей свет. Таким образом, становится возможным передавать результаты съемки изображения, полученные средством съемки изображения, в периферийную схему в различных режимах, не нарушая высокую степень свободы при считывании результатов съемки изображения средством съемки изображения. Предполагая такую конструкцию, в соответствии с конфигурацией настоящего изобретения, периферийная схема включает в себя средство сжатия изображения, предназначенное для сжатия данных и вывода, по меньшей мере, результатов съемки изображения в каждом заданном модуле обработки, и средство управления, предназначенное для управления степенью сжатия данных средства сжатия изображения, причем в периферийную схему передают результаты съемки изображения из средства съемки изображения в отдельных блоках, сформированных путем разделения эффективной области изображения в горизонтальном направлении и вертикальном направлении, и выполняют последовательное сжатие данных для результатов съемки изображения и в пределах одного кадра на основе количества кода, сгенерированного в результате сжатия данных одного блока средством сжатия изображения, периферийная схема изменяет степень сжатия данных, когда, по меньшей мере, выполняют сжатие данных следующего блока с помощью средства сжатия изображения, и средство съемки изображения выводит результаты съемки изображения модулей фотоэлектрического преобразования с отдельными блоками в качестве модулей в последовательности, соответствующей сжатию данных средством сжатия изображения. Затем результаты съемки изображения, полученные средством съемки изображения, непосредственно подают в средство сжатия изображения для выполнения сжатия данных, и при этом можно надежно выполнять управление степенью. Таким образом, возможно эффективно использовать высокую степень свободы в средстве съемки изображения при считывании результатов съемки изображения, упростить общую конфигурацию и надежно выполнять управление степенью.
Кроме того, настоящее изобретение применяют к интегральной схеме элемента съемки изображения, включающей в себя: средство съемки изображения, предназначенное для вывода результатов съемки изображения, используя управление адресом XY, причем средство съемки изображения включает в себя множество модулей фотоэлектрического преобразования, расположенных в виде матрицы; и периферийную схему, выполненную интегрально со средством съемки изображения, причем периферийная схема соединена с модулями фотоэлектрического преобразования слоем разводки, сформированным на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения; результаты съемки изображения, полученные средством съемки изображения, обрабатывают и выводят с помощью периферийной схемы, в которой периферийная схема включает в себя средство сжатия изображения, предназначенное для сжатия данных и вывода, по меньшей мере, результатов съемки изображения в каждом заданном модуле обработки, и средство управления, предназначенное для управления степенью сжатия данных средства сжатия изображения, причем в периферийную схему передают результаты съемки изображения из средства съемки изображения в отдельных блоках, сформированных путем разделения эффективной области изображения в горизонтальном направлении и вертикальном направлении, и она последовательно сжимает данные результата съемки изображения, и в пределах одного кадра, на основе количества кода, генерируемого при сжатии данных одного блока средством сжатия изображения, периферийная схема изменяет степень сжатия данных, когда, по меньшей мере, в следующем блоке данные сжимают, используя средство сжатия изображения, и средство съемки изображения выводит результаты съемки изображения модулей фотоэлектрического преобразования с отдельными блоками в качестве модулей в последовательности, соответствующей сжатию данных средством сжатия изображения.
Таким образом, в соответствии со структурой настоящего изобретения может быть предусмотрена интегральная схема для элемента съемки изображения, которая позволяет эффективно использовать высокую степень свободы считывания результатов съемки изображения, что представляет собой свойство твердотельного элемента съемки изображения типа КМОП или тому подобное, упростить общую конфигурацию и надежно выполнять управление степенью.
Кроме того, настоящее изобретение применяется к способу обработки результатов съемки изображения в устройстве для съемки изображения, причем устройство для съемки изображения включает в себя средство съемки изображения, предназначенное для вывода результатов съемки изображения, используя управление адресом XY, средство съемки изображения включает в себя множество модулей фотоэлектрического преобразования, расположенных в форме матрицы, и периферийную схему, выполненную интегрально со средством съемки изображения, причем периферийная схема соединена с модулями фотоэлектрического преобразования с помощью слоя разводки, сформированного на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения, результаты съемки изображения средства съемки изображения обрабатывают и выводят с помощью периферийной схемы, причем способ включает в себя: этап вывода результата съемки изображения, состоящий в выводе результатов съемки изображения, полученных модулями фотоэлектрического преобразования, из средства съемки изображения в периферийную схему; этап сжатия изображения, состоящий в сжатии данных и выводе, по меньшей мере, результата съемки изображения в каждом заданном модуле обработки периферийной схемой; и этап управления, состоящий в управлении степенью сжатия данных на этапе сжатия изображения, в котором на этапе сжатия изображения результаты съемки изображения вводят из средства съемки изображения в отдельных блоках, сформированных путем разделения эффективной области изображения в горизонтальном направлении и в вертикальном направлении, с последовательным сжатием данных; на этапе управления в пределах одного кадра на основе количества кода, сгенерированного в результате сжатия данных одного блока на этапе сжатия изображения, степень сжатия данных изменяют, когда выполняют сжатие данных, по меньшей мере, для следующего блока на этапе сжатия изображения, и на этапе вывода результата съемки изображения результаты съемки изображения модулей фотоэлектрического преобразования выводят с отдельными блоками в качестве модулей в последовательности, соответствующей сжатию данных средством сжатия изображения.
Таким образом, в соответствии со структурой настоящего изобретения, может быть предусмотрен способ обработки результата съемки изображения, который позволяет эффективно использовать высокую степень свободы считывания результатов съемки изображения, которая представляет собой свойство твердотельного элемента съемки изображения типа КМОП или тому подобное, упростить общую конфигурацию и надежно выполнить управление степенью.
Кроме того, настоящее изобретение применяется в способе обработки результатов съемки изображения, в интегральной схеме элемента съемки изображения, причем интегральная схема элемента съемки изображения включает в себя средство съемки изображения, предназначенное для вывода результатов съемки изображения с управлением адресом XY, средство съемки изображения включает в себя множество модулей фотоэлектрического преобразования в форме матрицы и периферийную схему, выполненную интегрально со средством съемки изображения, причем периферийная схема соединена с модулями фотоэлектрического преобразования слоем разводки, сформированным на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения, причем результаты съемки изображения, полученные средством съемки изображения, обрабатывают и выводят с помощью периферийной схемы, способ включает в себя: этап вывода результата съемки изображения, состоящий в выводе результатов съемки изображения модулей фотоэлектрического преобразования из средства съемки изображения в периферийную схему; этап сжатия изображения, состоящий в сжатии данных и выводе, по меньшей мере, результата съемки изображения в каждом заданном модуле обработки с использованием периферийной схемы; и этап управления, состоящий в управлении степенью сжатия данных на этапе сжатия изображения, в котором на этапе сжатия изображения результаты съемки изображения подают из средства съемки изображения в отдельных блоках, сформированных путем разделения эффективной области изображения в горизонтальном направлении и в вертикальном направлении, и последовательно сжимают данные на этапе управления, в пределах одного кадра, на основе количества кода, сгенерированного в результате сжатия данных одного блока на этапе сжатия изображения, причем степень сжатия данных изменяют, когда, по меньшей мере, данные следующего блока сжимают с использованием этапа сжатия изображения, и на этапе вывода результатов съемки изображения, результаты съемки изображения модулей фотоэлектрического преобразования с отдельными блоками в качестве модулей в последовательности, соответствующей сжатию данных средством сжатия изображения.
Таким образом, в соответствии со структурой настоящего изобретения, может быть предусмотрен способ обработки результата съемки изображения, который позволяет эффективно использовать высокую степень свободы считывания результатов съемки изображения, которая представляет собой свойство твердотельного элемента съемки изображения типа КМОП или тому подобное, упростить общую конфигурацию и надежно выполнить управление степенью.
В соответствии с настоящим изобретением становится возможным эффективно использовать высокую степень свободы считывания результатов съемки изображения, что представляет собой свойство твердотельного элемента съемки изображения типа КМОП или тому подобное, упростить общую конфигурацию и надежно выполнять управление степенью.
Краткое описание чертежей
На фиг.1 показана схема, представляющая сравнение элементов съемки изображения.
На фиг.2 показана схема, представляющая выход твердотельного элемента съемки изображения типа ПЗС.
На фиг.3 показана схема, представляющая выход твердотельного элемента съемки изображения типа КМОП.
На фиг.4 (А) и 4 (В) показаны схемы, поясняющие процесс вейвлет-преобразования.
На фиг.5 показана блок-схема, представляющая устройство для съемки изображения в соответствии с первым вариантом выполнения настоящего изобретения.
На фиг.6 показан вид в плане, поясняющий процесс сжатия данных в устройстве для съемки изображения по фиг.5.
На фиг.7 показан вид в разрезе интегральной схемы, используемой в устройстве для съемки изображения по фиг.5.
На фиг.8 (А), фиг.8 (В), фиг.8 (С) и фиг.8 (D) показаны схемы, поясняющие вывод результатов съемки изображения интегральной схемой по фиг.7.
На фиг.9 показана схема, поясняющая модуль вейвлет-преобразования в устройстве для съемки изображения в соответствии со вторым вариантом выполнения настоящего изобретения.
На фиг.10 показана схема, поясняющая разделение полосы в модулях вейвлет-преобразования в устройстве для съемки изображения по фиг.9.
На фиг.11 показана схема, поясняющая коэффициенты для буферов линии, получаемые в результате обработки в модуле вейвлет-преобразования в устройстве для съемки изображения по фиг.9.
На фиг.12 показана схема, поясняющая модуль сжатия изображения в устройстве для съемки изображения, в соответствии с третьим вариантом выполнения настоящего изобретения.
На фиг.13 показана схема, поясняющая модуль сжатия изображения в устройстве для съемки изображения в соответствии с четвертым вариантом выполнения настоящего изобретения.
На фиг.14 показан вид в перспективе части интегральной схемы, используемой в устройстве для съемки изображения в соответствии с пятым вариантом выполнения настоящего изобретения.
На фиг.15 (А) и 15 (В) показаны виды в плане, поясняющие вывод результата съемки изображения, в устройстве для съемки изображения в соответствии с шестым вариантом выполнения настоящего изобретения.
На фиг.16 показана блок-схема, представляющая устройство для съемки изображения в соответствии с седьмым вариантом выполнения настоящего изобретения.
Подробное описание изобретения
Варианты выполнения настоящего изобретения будут подробно описаны ниже, со ссылкой на соответствующие чертежи.
(1) Конфигурация первого варианта выполнения
На фиг.5 показана блок-схема, представляющая устройство для съемки изображения в соответствии с первым вариантом выполнения настоящего изобретения. Устройство 1 для съемки изображения выполняет сжатие данных результата съемки изображения требуемого предмета и записывает этот результат на носитель записи или передает этот результат в требуемое место передачи.
Объектив 2 в устройстве 1 для съемки изображения изменяет степень увеличения и диафрагму в соответствии с операциями пользователя и конденсирует падающие лучи света на поверхности съемки изображения элемента 3 съемки изображения. Оптический фильтр 4 низкой частоты подавляет высокочастотный компонент пространственной частоты выходного света объектива 2. Следующий фильтр 5 коррекции цвета корректирует цветовую температуру выходного света, излучаемого оптическим фильтром 4 низкой частоты, и затем излучает свет.
Элемент 3 съемки изображения сформирован, например, с использованием твердотельного элемента съемки изображения типа КМОП. Элемент 3 съемки изображения работает с использованием различных сигналов синхронизации, поступающих из модуля управления, который не показан на чертеже, с тем, чтобы выполнить для оптического изображения, сформированного на поверхности съемки изображения, попиксельное фотоэлектрическое преобразование, и выводит сигнал S1 снятого изображения. В этой последовательности процессов модули фотоэлектрического преобразования, формирующие соответствующие пиксели в элементе 3 съемки изображения, разделяют на области, соответствующие модулю обработки модуля 6 сжатия изображения на следующем этапе, и для каждого разделения последовательно назначают период вывода результатов съемки изображения. В другом периоде, кроме периода для вывода результатов съемки изображения, каждый из модулей фотоэлектрического преобразования, принадлежащих каждому разделу, подвергают падающий от предмета свет фотоэлектрическому преобразованию, обрабатывают и сохраняют результат фотоэлектрического преобразования.
В представленном варианте выполнения, как показано на фиг.6, используя в качестве модулей блоки B1, B2, В3…, сформированные путем разделения результатов съемки изображения элемента 3 съемки изображения на заданное количество частей в горизонтальном направлении и вертикальном направлении, модуль 6 сжатия изображения на следующем этапе выполняет обработку сжатия данных для данных изображения блоков B1, B2, В3… в последовательности растрового сканирования. Таким образом, модули фотоэлектрического преобразования элемента 3 съемки изображения разделяют таким способом, чтобы они соответствовали блокам B1, B2, В3…, каждому разделу назначают период для вывода результатов съемки изображения в последовательности растрового сканирования, используя управление адресом XY, выполняемого схемой управления, и результаты съемки изображения модулей фотоэлектрического преобразования, принадлежащих каждому разделу, выводят за этот период. Кроме того, модулям фотоэлектрического преобразования, в качестве модулей принадлежащим каждому разделу, назначают период выполнения процесса фотоэлектрического преобразования при каждом разделении, в последовательности растрового сканирования. Таким образом, элемент 3 съемки изображения выводит результаты съемки изображения этих модулей фотоэлектрического преобразования в виде сигнала S1 съемки изображения. В частности, в пределах каждого раздела, элемент 3 съемки изображения выводит результаты съемки изображения в виде одновременного вывода системой последовательности растрового сканирования, вывода последовательного сканирования с линейным столбцом в качестве модуля, одновременного и параллельного вывода с использованием множества систем с использованием строки или линейного столбца в качестве модуля, или одновременного и параллельного вывода всех пикселей.
Схема (АЦ, AD) 7 аналого-цифрового преобразования подвергает сигнал S1 съемки изображения процессу аналогово-цифрового преобразования и затем выводит данные D1 изображения. Устройство 1 для съемки изображения подвергает данные D1 изображения процессу интерполяции пикселей, процессу преобразования цветового пространства, процессу улучшения кромок, процессу удаления шумов и т.п., используя схему обработки сигналов, которая не показана на чертеже, и затем вводит данные D1 изображения в модуль 6 сжатия изображения.
Модуль 6 сжатия изображения выполняет сжатие данных для данных D1 изображения в отдельных блоках B1, B2, В3…, выполняет обработку кодирования и затем выводит кодированные данные D2 как результат обработки.
Модуль 8 расчета количества кода измеряет количество данных для вторых данных, выводимых модулем 6 сжатия изображения в отдельных блоках B1, B2, В3…. Модуль 8 расчета количества кода, таким образом, детектирует количество кода, генерируемого при обработке сжатия данных модуля 6 сжатия изображения в каждом из блоков B1, B2, ….
Модуль 9 определения степени сжатия управляет степенью сжатия данных обработки сжатия данных для следующего блока в модуле 6 сжатия изображения, на основе количества сгенерированного кода, детектированного модулем 8 расчета количества кода. Модуль 9 определения степени сжатия, таким образом, выполняет процесс управления степенью так, что количество кода, сгенерированного для кадра, становится целевым количеством кода. В частности, модуль 9 определения степени сжатия рассчитывает величину разности ТЕХ между количеством TS целевого кода, в качестве эталонного значения, полученного путем деления количества кода, назначенного одному кадру, на количество блоков в кадре, и количеством ТЕ сгенерированного кода, действительно детектированного модулем 8 расчета количества кода. Целевое количество кода для следующего блока корректируют на основе разности значения ТЕХ.
При корректировании целевого количества кода блока можно широко применять различные способы обработки, например такие, как в случае, когда значение ТЕХ разности добавляют к или вычитают из целевого количества TS кода следующего блока, непосредственно корректируя, таким образом, целевое количество TS кода следующего блока, так и в случае, когда значение ТЕХ разности делят на количество блоков в кадре обработки кодирования, в котором блоки еще не были закончены, и значение результата деления добавляют к или вычитают из целевого количества TS кода следующего блока, распределяя, таким образом, значение ТЕХ разности на блоки, обработка кодирования которых еще не была закончена.
Модуль 9 определения степени сжатия выполняет управление с изменением степени сжатия данных в модуле 6 сжатия изображения на основе рассчитанного таким образом целевого количества кода.
Модуль 10 накопителя кодированного потока сохраняет и выводит кодированные данные D2, выводимые из модуля 6 сжатия изображения. Вспомогательный модуль 11 управления степенью выполняет управление степенью кодированных данных D2, выводимых модулем 10 накопителя кодированного потока. В частности, такое управление степенью выполняют путем вставки данных заполнения или прекращения передачи кодированных данных D2 заданного блока так, чтобы количество кодов каждого кадра становилось целевым количеством кода. Устройство 1 для съемки изображения записывает кодированные данные D2, поступающие с выхода вспомогательного модуля 11 управления степенью на носитель записи, и передает кодированные данные D2 во внешнее устройство. Таким образом, модуль 10 накопителя кодированного потока и вспомогательный модуль 11 управления степенью формируют средство коррекции количества данных для сохранения одного кадра выходных данных D2 модуля 6 сжатия изображения, используемого в качестве средства сжатия изображения, и выполняют коррекцию размера данных. В данном варианте выполнения управление степенью выполняют с более высокой точностью, используя средство коррекции количества данных.
На фиг.7 показан вид в разрезе части интегральной схемы, применяемой в устройстве 1 для съемки изображения. Эта интегральная схема 51 сформирована в результате интегрирования друг с другом элемента 3 съемки изображения и периферийной схемы. В настоящем варианте выполнения схема управления, которая не показана на чертеже, предназначенная для управления элементом 3 съемки изображения, схема 7 аналогово-цифрового преобразования, модуль 6 сжатия изображения, модуль 8 расчета количества кода, модуль 9 определения степени сжатия, модуль 10 накопителя кодированного потока, вспомогательный модуль 11 управления степенью и т.п. применяют для периферийной схемы, которую также подвергают интеграции. Таким образом, упрощается общая конфигурация устройства для съемки изображения в соответствии с настоящим вариантом выполнения.
В интегральной схеме 51 часть элемента съемки изображения сформирована путем размещения частей пикселей в виде матрицы. Часть элемента съемки изображения формирует элемент 3 съемки изображения. Часть периферийной схемы сформирована на периферии части элемента съемки изображения. Таким образом, на фиг.7 показан вид в разрезе части элемента съемки изображения и части периферийной схемы.
Интегральная схема 51 имеет слой 52 элемента, сформированный в виде кремниевого (Si) слоя, имеющего толщину приблизительно 10-20 [мкм]. В части пикселя в слое 52 элемента сформирован фотодиод 53, предназначенный для фотоэлектрического преобразования в модуле пикселя. В части периферийной схемы каждый элемент схемы, такой как МОП-транзистор или тому подобное, формирующий периферийную схему, сформирован на стороне нижнего слоя относительно слоя 52 элемента.
2
Интегральная схема 51 имеет пленку 54 двуокиси кремния (SiO), пленку 55, экранирующую свет, пленку 56 нитрида кремния (SiN), цветной фильтр 57 и микролинзы 58, последовательно нанесенные в виде слоев на верхний слой слоя 52 элемента. Слой 59 разводки, предназначенный для разводки фотодиода 53 и элементов схемы в периферийной схеме, сформирован на нижней стороне слоя 52 элемента. Материал 60 держателя поддержки, предназначенный для удержания всей этой конструкции, предусмотрен на стороне нижнего слоя 59 разводки. Таким образом, интегральная схема 51 со слоем 59 разводки, предусмотренным на противоположной стороне от поверхности, принимающей свет, окончательно и для всех элементов решает различные проблемы, возникающие, когда слой разводки предусмотрен на стороне поверхности, принимающей свет, и существенно улучшает степень свободы при выполнении разводки. В частности, проблемы, возникающие, когда слой разводки предусмотрен на стороне поверхности, принимающей свет, включают в себя уменьшение количества света, падающего на каждый пиксель, причем это уменьшение связано с проводами, сформованными слоем разводки, перекрестные помехи с соседними пикселями и т.п.
В частности, поскольку интегральная схема 51 имеет слой 59 разводки, сформированный на противоположной стороне от поверхности, принимающей свет, тонкую полупроводниковую подложку обрабатывают со стороны слоя 59 разводки для формирования фотодиода 53 и элементов периферийной схемы. Затем слой 59 разводки и материал 60 держателя подложки последовательно формируют на полупроводниковой подложке. После этого полупроводниковую подложку переворачивают, слой 52 элемента заканчивают, используя полировку ХМП (СМР, химико-механическая полировка), и затем последовательно формируют пленку 55, экранирующую свет, пленку 56 нитрида кремния (SiN), цветной фильтр 57 и микролинзы 58, в результате чего получают интегральную схему 51.
Таким образом, в устройстве 1 для съемки изображения получают слой 59 разводки, сформированный на противоположной стороне от поверхности, принимающей свет, при условии, что элемент 3 съемки изображения и периферийная схема интегрированы в одну интегральную схему. Поэтому степень свободы при разводке существенно улучшается, в результате чего не нарушается высокая степень свободы считывания результатов съемки изображения, которая представляет собой свойство твердотельного элемента съемки изображения типа КМОП, и общая конфигурация упрощается.
В частности, в интегральной схеме 51, как показано на фиг.8 (А), соединение между частью элемента съемки изображения и периферийной схемой может быть сформировано так, что вывод каждого пикселя выводят в периферийную схему одновременно и параллельно для обработки аналогово-цифрового преобразования. Вместо этого, как показано на фиг.8 (В), результаты съемки изображения могут быть выведены одновременно и параллельно в линейном столбце, в качестве модуля, и затем могут быть обработаны периферийной схемой. Кроме того, как показано на фиг.8 (С), результаты съемки изображения могут быть выведены одновременно и параллельно для строки в качестве модуля, и затем обработаны периферийной схемой. Кроме того, как показано на фиг.8 (D), результаты съемки изображения могут быть выведены одновременно и параллельно в заданном блоке, используемом в качестве модуля, и затем могут быть обработаны периферийной схемой. Таким образом, степень свободы вывода элемента съемки изображения может быть существенно улучшена.
В частности, в примере, показанном на фиг.8 (А), поскольку сигнальная линия предусмотрена для каждого пикселя, результаты съемки изображения могут быть выведены, используя различное управление адресом X-Y, как, например, в случае одновременного включения МОП-транзисторов, предусмотренных для всех пикселей, и результаты съемки изображения могут быть выведены для всех пикселей одновременно и параллельно, в случае вывода результатов съемки изображения в модуле строки, путем управления горизонтальными линиями адреса, как описано выше со ссылкой на фиг.3, и в случае вывода результатов съемки изображения пикселей, расположенных непрерывно в вертикальном направлении одновременно и параллельно, путем выбора вертикальных линий адреса, вместо выбора горизонтальных линий адреса, как будет описано ниже со ссылкой на фиг.8 (С). В случае, показанном на фиг.8 (С), одна сигнальная линия последовательно выделяется для пикселей, расположенных непрерывно в горизонтальном направлении, используя режим временного разделения, выполняя управление вертикальными линиями адреса, вместо управления горизонтальными линиями адреса, как описано выше со ссылкой на фиг.3, в результате чего, результаты съемки изображения для пикселей, расположенных непрерывно в вертикальном направлении, могут быть выведены одновременно и параллельно. С другой стороны, в примере, показанном на фиг.8 (D), множество пикселей в одном блоке, соединенных с одной сигнальной линией, последовательно выбирают путем управления вертикальными линиями адреса и горизонтальными линиями адреса, в результате чего результаты съемки изображения могут быть выведены в различных последовательностях растрового сканирования, зигзагообразного сканирования и т.п. в блоке с помощью сигнальной линии. В частности, горизонтальная линия адреса и вертикальные линии адреса предусмотрены так, чтобы они были общими для пикселей, расположенных непрерывно в горизонтальном направлении и вертикальном направлении, в результате чего последовательность сканирования этих пикселей будет такой же, как и для множества блоков.
Таким образом, в устройстве 1 для съемки изображения в соответствии с настоящим вариантом выполнения, период для вывода результатов съемки изображения последовательно назначают разделам, соответствующим блокам B1, B2, В3, …, как описано выше со ссылкой на фиг.6, что касается элемента 3 съемки изображения, и результаты съемки изображения выводят в периферийную схему в соответствии с режимом вывода из модулей фотоэлектрического преобразования в каждом блоке, путем соответствующего соединения среди соединений, показанных на фиг.8 (А) - 8 (D).
(2) Работа первого варианта выполнения
В устройстве 1 для съемки изображения (фиг.5), сформированном, как описано выше, объектив 2 формирует изображение предмета на поверхности съемки изображения (поверхность, принимающая свет) элемента 3 съемки изображения, элемент 3 съемки изображения выводит результат съемки изображения, и схема 7 аналогово-цифрового преобразования преобразует результат съемки изображения в данные D1 изображения. Данные D1 изображения подвергают такой обработке, как улучшение кромки и т.п., и затем выполняют сжатие данных, используя модуль 6 сжатия изображения, для преобразования их в кодированные данные D2. Кодированные данные D2 записывают на носитель записи и передают во внешнее устройство через модуль 10 накопителя кодированного потока и вспомогательный модуль 11 управления степенью. Таким образом, устройство 1 для съемки изображения выполняет сжатие данных, запись данных и передачу результата съемки изображения.
В приведенной выше последовательности процессов, когда, таким образом, данные D1 изображения для одного блока подвергают сжатию данных в блоках B1, B2, В3, … сформированных путем разделения результата съемки изображения на заданное количество частей в каждом из горизонтального направления и вертикального направления (фиг.6) в качестве модуля, на основе сгенерированного им кода, степенью сжатия данных для сжатия данных следующего блока управляют с изменениями, и путем повторения этого процесса, данные D1 изображения подвергают сжатию данных, используя один кадр в качестве модуля. Таким образом, устройство 1 для съемки изображения позволяет надежно выполнять управление степенью и записывать и выводить результат съемки изображения с требуемой скоростью передачи данных.
Кроме того, в настоящем варианте выполнения, кодированные данные D2 временно записывают и содержат в модуле 10 накопителя кодированного потока, и кодированные данные D2 выводят, в то время как модуль 10 накопителя кодированного потока вставляет данные заполнения или прекращает передачу кодированных данных D2 в заданном блоке. В результате этого, устройство 1 для съемки изображения может более надежно выполнять управление степенью и может записывать результат съемки изображения на носитель записи и выводить его с требуемой скоростью передачи данных.
Таким образом, результаты съемки изображения, обработанные таким образом, последовательно в отдельных блоках, модули фотоэлектрического преобразования, соответствующие соответствующим пикселям, предусмотренные в элементе 3 съемки изображения, разделяют таким образом, чтобы они соответствовали блокам B1, B2, В3, … в качестве модулей обработки в модуле 6 сжатия изображения, причем каждому из этих разделов назначают период для последовательного вывода результатов съемки изображения так, чтобы они соответствовали обработке в модуле 6 сжатия изображения, и результаты съемки изображения соответствующих разделов выводят в виде сигнала S1 съемки изображения в течение этого периода. В другой период, кроме этого периода, модули фотоэлектрического преобразования каждого раздела используют для обработки фотоэлектрического преобразования.
Таким образом, в конфигурации, которая только последовательно вводит результаты съемки изображения, поступающие с выхода элемента 3 съемки изображения в модуль 6 сжатия изображения через схему 7 аналогово-цифрового преобразования, устройство 1 для съемки изображения может выполнять процесс последовательного сжатия изображения в отдельных блоках и выполнять управление степенью, в результате можно упростить общую конфигурацию.
Таким образом, элемент 3 съемки изображения, сформированный на основе твердотельного элемента съемки изображения типа КМОП, имеет высокую степень свободы при считывании результатов съемки изображения, благодаря выводу результатов съемки изображения с использованием управления адресом XY. Таким образом возможно выводить результаты съемки изображения средства съемки изображения в различных режимах, таких как, например, не только построчно-последовательный вывод результатов съемки изображения, при котором строка используется как модуль, но также выводить результаты съемки изображения, используя в качестве модуля линейный столбец, и выводить результаты съемки изображения, используя заданный блок в качестве модуля. Таким образом, в соответствии с вариантом выполнения, период вывода результатов съемки изображения последовательно назначают для разделов, соответствующих блокам, используемым в качестве модулей обработки в модуле 6 сжатия изображения, и в этот период выводят результаты съемки изображения соответствующего раздела. Таким образом, эффективно используется высокая степень свободы считывания результатов съемки изображения, которая представляет собой свойство твердотельного элемента съемки изображения типа КМОП, и общая конфигурация дополнительно упрощается.
В устройстве 1 для съемки изображения, элемент 3 съемки изображения, выводящий таким образом результаты съемки изображения, сформирован интегрально со схемой 7 аналогово-цифрового преобразования, модулем 6 сжатия изображения и т.п., используемыми в интегральной схеме в качестве периферийной цепи для обработки результатов съемки изображения элемента 3 съемки изображения. Таким образом, получается более простая общая конфигурация с уменьшенным размером.
Однако когда элемент съемки изображения и периферийная схема просто интегрированы друг с другом с использованием процесса КМОП, структура разводки для элемента съемки изображения и периферийной схемы создает различные неудобства, и, таким образом, невозможно полностью использовать высокую степень свободы считывания результатов съемки изображения. Поэтому, в настоящем варианте выполнения слой разводки сформирован на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения, и модули фотоэлектрического преобразования, образующие средство съемки изображения, и периферийная схема соединены друг с другом и удерживаются интегрально друг с другом слоем разводки. Таким образом, возможно сформировать такую интегральную схему, которая полностью использует высокую степень свободы при считывании результатов съемки изображения, обеспечивая эффективное использование высокой степени свободы считывания результатов съемки изображения, и можно упростить общую конфигурацию.
(3) Эффект первого варианта выполнения
В соответствии с описанной выше конфигурацией, средство съемки изображения и средство сжатия изображения соединены друг с другом слоем разводки, сформированным на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения и, таким образом, интегрированы друг с другом. На основе количества кода, генерируемого в каждом блоке при сжатии данных в модуле заданного блока, управляют степенью сжатия данных в следующем блоке. Кроме того, период вывода результатов съемки изображения последовательно устанавливают для разделения модулей фотоэлектрического преобразования, соответствующих этому блоку, и результаты съемки изображения выводят из элемента съемки изображения. Таким образом, становится возможным эффективно использовать высокую степень свободы при считывании результатов съемки изображения, что представляет собой свойство твердотельного элемента съемки изображения типа КМОП, упростить общую конфигурацию и надежно выполнять управление степенью.
(4) Второй вариант выполнения
В устройстве для съемки изображения в соответствии с данным вариантом выполнения, процесс вейвлет-преобразования используют в качестве процесса сжатия данных в модуле 6 сжатия изображения, описанном выше со ссылкой на фиг.5. Устройство для съемки изображения в соответствии с настоящим вариантом выполнения сформировано таким же образом, как и описанное выше устройство 1 для съемки изображения, в соответствии с первым вариантом выполнения, за исключением того, что в нем отличается конфигурация, относящаяся к процессу вейвлет-преобразования модуля 6 сжатия изображения устройства для съемки изображения в соответствии с настоящим вариантом выполнения. Таким образом, настоящий вариант выполнения будет описан с использованием конфигурации, показанной на фиг.5.
В модуле 6 сжатия изображения модуль вейвлет-преобразования подвергает данные D1 изображения процессу вейвлет-преобразования в отдельном блоке, и модуль квантования, а также модуль энтропийного кодирования последовательно подвергают этот результат процессу квантования и процессу энтропийного кодирования, выводя, таким образом, кодированные данные D2. Модуль вейвлет-преобразования выполняет процесс вейвлет-преобразования в отдельном блоке, используя процесс вейвлет-преобразования на основе строки.
V
V
V
V
Как показано на фиг.9, представляющей процесс раздела полосы на одном этапе, модуль вейвлет-преобразования ограничивает полосу пропускания данных D1 изображения до двух компонентов L и Н, используя фильтр 61 А низкой частоты и фильтр 6 1 В высокой частоты, включающие в себя заданное количество выводов в вертикальном направлении. Модуль вейвлет-преобразования ограничивает полосу пропускания компонентов полос L и H, используя фильтр 62А низкой частоты и фильтр 62В высокой частоты, а также фильтр 63А низкой частоты и фильтр 63В высокой частоты, включающие в себя заданное количество выводов в горизонтальном направлении. Модуль вейвлет-преобразования, таким образом, генерирует дополнительные полосы от LL до НН. Таким образом, модуль вейвлет-преобразования временно содержит и выводит данные D1 входного изображения, которые должны использоваться в процессе разделения полосы, используя буфер 64 строки, в количестве, соответствующем количеству выводов фильтра 61А низкой частоты и фильтра 61В высокой частоты на входном этапе каждого процесса разделения полосы.
Как показано на фиг.10, модуль вейвлет-преобразования выполняет такой процесс разделения полосы за три этапа. Коэффициенты от НН до LLLLLL вейвлет-преобразования, получающиеся в результате выполнения процессов разделения полосы, обрабатывают, используя схему обработки на последующем этапе. На входных этапах этих процессов разделения полосы, соответственно, предусмотрены соответствующие буферы 64А-64С строки. Данные изображения, выводимые из схемы 7 аналогово-цифрового преобразования, непосредственно подают в буфер 64А строки на первом этапе.
В этих процессах накапливают данные коэффициента вейвлет-преобразования в буферах 64А-64С строки, как показано на фиг.11. Когда данные накопятся в буферах 64А-64С строки, после начала обработки одного кадра данных D1 изображения, каждый из буферов 64А-64С строки выводит соответствующие данные коэффициента.
В модуле вейвлет-преобразования модуля 6 сжатия изображения предусмотрен буфер 64А строки, включающий в себя множество выборок в горизонтальном направлении блоков B1, B2, В3, …, и буферы 64В и 64С строки, каждый из которых содержит 1/2 и 1/4 от общего количества выборок буфера 64А строки. Выходные данные выводов одновременно и параллельно выводят из соответствующих буферов 64А-64С строки, их полосу ограничивают, и для них выполняют понижение дискретизации в результате обработки фильтрами низкой частоты и фильтрами высокой частоты 61АА и 61ВА, 61АВ и 61ВВ, и 61АС и 61ВС, соответственно, в вертикальном направлении, и их полосу затем ограничивают, и для них выполняют понижение дискретизации, используя фильтры низкой частоты и фильтры высокой частоты в горизонтальном направлении, в результате чего генерируют данные коэффициента вейвлет-преобразования для дополнительных полос от НН до LLLLLL.
Таким образом, модуль вейвлет-преобразования в настоящем варианте выполнения использует процесс вейвлет-преобразования на основе строки, для обработки данных изображения в отдельных блоках, в результате чего можно уменьшить емкость буфера строки, используемого в качестве запоминающего устройства, предусмотренного на входной стороне каждого из процесса разделения, и при этом можно упростить общую конфигурацию.
В соответствии с конфигурацией модуля вейвлет-преобразования, модуль 6 сжатия изображения формирует каждый блок с количеством строк, равным или большим, чем количество выводов вертикального фильтра модуля вейвлет-преобразования, и количеством выборок в горизонтальном направлении, равным или большим, чем количество выводов горизонтального фильтра.
В соответствии с обработкой модуля вейвлет-преобразования, элемент 3 съемки изображения выводит результат съемки изображения соответствующих модулей фотоэлектрического преобразования в пределах каждого раздела в последовательности сканируемых строк, в соответствии с последовательностью обработки, выполняемой модулем вейвлет-преобразования, под управлением адреса XY, используя схему разделения. Таким образом, в настоящем варианте выполнения данные D1 изображения могут быть непосредственно введены для обработки в модуль вейвлет-преобразования, и общая конфигурация может быть соответственно упрощена.
С другой стороны, модуль 9 определения степени сжатия переменным образом управляет степенью сжатия данных модуля 6 сжатия изображения, путем изменения и управления масштабом квантования в модуле квантования. Модуль 9 определения степени сжатия, таким образом, выполнен с возможностью простого и надежного изменения степени сжатия данных.
В соответствии с конфигурацией второго варианта выполнения, средство съемки изображения и средство сжатия изображения соединены друг с другом с помощью слоя разводки, сформированного на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет средства для съемки изображения, и, таким образом, интегрированы друг с другом. На основе количества кода, сгенерированного в каждом блоке в результате сжатия данных в заданных отдельных блоках, управляют степенью сжатия данных в следующем блоке. Кроме того, период для вывода результатов съемки изображения последовательно устанавливают для разделения модулей фотоэлектрического преобразования, соответствующих этому блоку, и результаты съемки изображения выводят из элемента съемки изображения. Процесс сжатия данных для этого 'блока выполняют, используя процесс вейвлет-преобразование. Таким образом, становится возможным эффективно использовать высокую степень свободы при считывании результатов съемки изображения, которая представляет собой свойство твердотельного элемента съемки изображения типа КМОП, упростить общую конфигурацию и надежно выполнять управление степенью.
Кроме того, данные коэффициента, получаемые из процесса вейвлет-преобразования, квантуют, и степенью сжатия этих данных управляют, используя управление шкалой квантования для квантования, в результате чего можно просто и надежно выполнять управление степенью.
(5) Третий вариант выполнения
В этом варианте выполнения сжатие данных осуществляют с использованием процесса вейвлет-преобразования на основе мозаичного изображения, вместо процесса вейвлет-преобразования на основе строки, в описанном выше устройстве для съемки изображения в соответствии со вторым вариантом выполнения. Устройство для съемки изображения в соответствии с настоящим вариантом выполнения сформировано так же, как описанное выше устройство для съемки изображения, в соответствии со вторым вариантом выполнения, за исключением того, что отличается конфигурация, относящаяся к процессу вейвлет-преобразования устройства для съемки изображения в соответствии с настоящим вариантом выполнения. Таким образом, так же, как и во втором варианте выполнения, ниже будет приведено описание варианта выполнения с использованием конфигурации, представленной на фиг.5. Во время описания, повторное описание той же самой конфигурации, что и в устройстве 1 для съемки изображения в соответствии с первым вариантом выполнения не будет приведено.
В модуле 6 сжатия изображения этого устройства для съемки изображения модуль вейвлет-преобразования подвергает данные D1 изображения процессу вейвлет-преобразования в отдельных блоках, и схема квантования, а также модуль энтропийного кодирования последовательно подвергают данные коэффициента, полученные в результате процесса вейвлет-преобразования, квантованию и энтропийному кодированию, и затем выводят кодированные данные D2. Как показано на фиг.12, модуль вейвлет-преобразования модуля 6 сжатия изображения устанавливает мозаичное изображение Т0, T1, T2, …, которое представляет собой блоки, сформированные путем разделения изображения на основе результата съемки изображения на заданное количество разделов в каждом из горизонтального направления и вертикального направления, в качестве модулей обработки. В модуль вейвлет-преобразования последовательно передают данные D1 изображения в виде модулей мозаичного изображения Т0, T1, T2, … в последовательности растрового сканирования, в котором выполняют процессы вейвлет-преобразования. Модуль вейвлет-преобразования выполняет эти процессы вейвлет-преобразования, используя схему двумерного фильтра.
В соответствии обработкой модуля вейвлет-преобразования, элемент 3 съемки изображения выводит результаты съемки изображения в каждом модуле мозаичного изображения под управлением адреса XY, с использованием схемы управления. В каждом элементе мозаичного изображения элемент 3 съемки изображения выводит результаты съемки изображения в последовательности, соответствующей обработке схемы двумерного фильтра, используемой при обработке модуля вейвлет-преобразования.
В соответствии с конфигурацией третьего варианта выполнения, средство съемки изображения и средство сжатия изображения соединены друг с другом слоем разводки, сформированным на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения, и, таким образом, интегрированы друг с другом. На основе количества кода, сгенерированного в каждом блоке, в результате сжатия данных в заданном отдельном блоке, управляют степенью сжатия данных в следующем блоке. Кроме того, период вывода результатов съемки изображения последовательно устанавливают для разделения модулей фотоэлектрического преобразования, соответствующих этому блоку, и результаты съемки изображения выводят из элемента съемки изображения. Процесс для этого блока выполняют с использованием процесса вейвлет-преобразования на основе мозаичного изображения. Таким образом, становится возможным эффективно использовать высокую степень свободы при считывании результатов съемки изображения, которая представляет собой свойство твердотельного элемента съемки изображения типа КМОП, упростить общую конфигурацию и надежно выполнять управление степенью.
(5) Четвертый вариант выполнения
В этом варианте выполнения в описанном выше устройстве для съемки изображения в соответствии со вторым вариантом выполнения используется процесс дискретного косинусного преобразования, вместо процесса вейвлет-преобразования для сжатых данных изображения. Устройство для съемки изображения в соответствии с настоящим вариантом выполнения сформировано таким же образом, как описанное выше устройство для съемки изображения в соответствии со вторым вариантом выполнения, за исключением того, что в нем отличается конфигурация, относящаяся к процессу сжатия данных. Таким образом, как и во втором варианте выполнения, приведенное ниже описание этого варианта выполнения будет представлено с использованием конфигурации, показанной на фиг.5. В этом описании соответствующее описание той же конфигурации, что и в устройстве 1 для съемки изображения в соответствии с первым вариантом выполнения, не будет приведено.
В этом устройстве для съемки изображения в модуль 6 сжатия изображения подают данные D1 изображения в модулях макроблока в качестве модулей обработки дискретного косинусного преобразования, где выполняют обработку дискретного косинусного преобразования, используя модули дискретного косинусного преобразования, данные коэффициента, полученные в результате обработки дискретного косинусного преобразования, подвергают процессу квантования и процессу кодирования с переменной длиной, и затем выводят результат. В настоящем варианте выполнения, как показано на фиг.13, макроблок установлен как блок размером 8×8 пикселей. В частности, соответствующим образом, в модуль 6 сжатия изображения подают данные D1 изображения, используемые в процессе дискретного косинусного преобразования, в форме разностных данных, обработанных в результате прогнозирования движения.
В соответствии с процессом дискретного косинусного преобразования, элемент 3 съемки изображения выводит результаты съемки изображения в модулях макроблока в последовательности растрового сканирования под управлением адреса XY, с использованием схемы управления. В каждом макроблоке результаты съемки изображения размером 8×8 пикселей, формирующие макроблок, выводят одновременно и параллельно.
В соответствии с конфигурацией четвертого варианта выполнения, средство съемки изображения и средство сжатия изображения, соединены друг с другом с использованием слоя разводки, сформированным на поверхности, находящейся на противоположной стороне от поверхности, принимающей свет, средства съемки изображения, и, таким образом, интегрированы друг с другом. На основе количества кода, сгенерированного в каждом блоке в результате сжатия данных в заданном отдельном блоке, управляют степенью сжатия данных следующего блока. Кроме того, период для вывода результатов съемки изображения последовательно устанавливают для разделения модулей фотоэлектрического преобразования, соответствующих этому блоку, и результаты съемки изображения выводят из элемента съемки изображения. Процесс для этого блока выполняют с помощью процесса дискретного косинусного преобразования. Таким образом, становится возможным эффективно использовать высокую степень свободы считывания результатов съемки изображения, что представляет собой свойство твердотельного элемента съемки изображения типа КМОП, упростить общую конфигурацию и надежно выполнять управление степенью.
(7) Пятый вариант выполнения
На фиг.14 показан вид в перспективе части интегральной схемы, применяемой в устройстве для съемки изображения в соответствии с пятым вариантом выполнения настоящего изобретения. В настоящем варианте выполнения эта интегральная схема образует устройство для съемки изображения в соответствии с описанными выше первым - четвертым вариантами выполнения. В частности, в интегральной схеме 71, одинаковые элементы конструкции, как и в интегральной схеме 51, описанной выше в первом варианте выполнения, обозначены соответствующими символами ссылочных позиций, и повторное их описание не будет приведено.
Интегральная схема 71 сформирована в результате интегрирования друг с другом элемента 3 съемки изображения и периферийной схемы. Эта периферийная схема сформирована таким же образом, как и модуль сжатия изображения и т.п. в каждом из предыдущих вариантов выполнения. Таким образом, общая конфигурация устройства для съемки изображения в соответствии с настоящим вариантом выполнения упрощается.
Эта интегральная схема 71 сформирована путем наложения слоя части элемента съемки изображения на слой части периферийной схемы. Часть периферийной схемы изготовлена путем формирования полупроводниковых устройств, составляющих периферийную схему на полупроводниковой подложке 72, используя заданный процесс формирования полупроводников и с последующим формированием слоя 73 разводки поверх полупроводниковых устройств для соединения этих полупроводниковых устройств. Часть периферийной схемы имеет электроды и т.п., предназначенные для соединения с частью элемента съемки изображения, причем эти электроды и т.п. сформированы на поверхности слоя 73 разводки.
Как и в описанном выше первом варианте выполнения, часть элемента съемки изображения сформирована путем размещения частей пикселей в форме матрицы. Слой 52 элемента сформирован с использованием слоя кремния (Si), имеющего толщину от приблизительно 10 до 20 [мкм]. Фотодиод, предназначенный для использования при обработке фотоэлектрического преобразования в модуле пикселя, сформирован в слое 52 элемента части элемента съемки изображения.
Части элемента съемки изображения имеет поверхность съемки изображения, сформированную путем последовательного наложения слоев пленки окиси кремния, пленки экранирования света, пленки нитрида кремния, цветного фильтра 57 и микролинз 58 на верхний слой 52 элемента. С другой стороны, часть элемента съемки изображения имеет слой 59 разводки под слоем 52 элемента. Часть периферийной схемы расположена на нижней стороне слоя 59 разводки. Слой 73 разводки части периферийной схемы и слой 59 разводки соединены друг с другом, в результате чего элемент съемки изображения и периферийная схема интегрированы в интегральную схему.
Таким образом, интегральная схема 71 со слоем 59 разводки, предусмотренным на противоположной стороне от поверхности, принимающей свет, окончательно решает различные проблемы, возникающие, когда слой 59 разводки расположен на стороне поверхности, принимающей свет, и существенно улучшает степень свободы при разводке. Кроме того, поскольку часть элемента съемки изображения интегрирована с частью периферийной схемы, в которой периферийная схема сформирована через слой 59 разводки, сформированный, таким образом, на противоположной стороне от поверхности, принимающей свет, часть элемента съемки изображения и часть периферийной схемы могут быть изготовлены с использованием разных процессов обработки кремниевой пластины и затем интегрированы друг с другом. В соответствии с этим, часть элемента съемки изображения и часть периферийной схемы производят с использованием процессов обработки кремниевой пластины, пригодных для части элемента съемки изображения и части периферийной схемы, соответственно, что позволяет, в целом, улучшить различные рабочие характеристики.
В частности, часть периферийной схемы, в которой сформирована периферийная схема, выполнена с высокой плотностью, причем каждое полупроводниковое устройство и ширина структуры разводки выполнены меньшими, что позволяет уменьшить размер микросхемы и снизить потребление энергии. Однако в части элемента съемки изображения уменьшение размера пикселя, соответственно, снижает чувствительность, и площадь микросхемы увеличивается в соответствии с количеством пикселей. Таким образом, когда часть элемента съемки изображения и часть периферийной схемы производят с использованием разных процессов обработки кремниевой пластиной и затем интегрируют друг с другом, как в настоящем варианте выполнения, часть элемента съемки изображения и часть периферийной схемы могут быть произведены с использованием процессов обработки кремниевой пластины, пригодных для части элемента съемки изображения и части периферийной схемы соответственно, в результате чего, в целом, могут быть соответствующим образом улучшены различные рабочие характеристики.
В частности, поскольку часть элемента съемки изображения интегрирована с частью периферийной схемы, в которой сформирована периферийная схема, через слой 59 разводки, сформированный таким образом на противоположной стороне от поверхности, принимающей свет, интегральной схемы 71, как и в предыдущем первом варианте выполнения, тонкую полупроводниковую подложку обрабатывают со стороны слоя 59 разводки для формирования фотодиода. Затем слой 59 разводки формируют на полупроводниковой подложке, и часть периферийной схемы, изготовленную с использованием другого процесса, накладывают в виде слоя. После этого полупроводниковую подложку переворачивают, слой 52 элемента заканчивают, используя полировку ХМП, и затем последовательно формируют пленку экранирования света, цветной фильтр 57, микролинзы 58 и т.п., в результате чего изготовляют интегральную схему 71.
В интегральной схеме 71, сформированной путем наложения слоев полупроводниковых подложек, полученных в таких разных процессах обработки кремниевой пластины, вывод результатов съемки изображения в различных режимах, описанных выше со ссылкой на фиг.8(А)-8(D), может быть выполнен более просто, и, таким образом, можно существенно повысить свободу вывода элемента съемки изображения.
Кроме того, в настоящем варианте выполнения интегральная схема 71 с такими соединениями позволяет выводить результаты съемки изображения в периферийную схему одновременно и параллельно, используя множество систем. В периферийной схеме модуль 6 сжатия изображения для обработки сжатия данных сформирован с использованием трех систем схем С1-С3 обработки. Эти три системы схем С1-С3 обработки одновременно и параллельно обрабатывают данные изображения, выводимые множеством систем.
В настоящем варианте выполнения, в результате формирования периферийной схемы под слоем разводки части элемента съемки изображения, элемент съемки изображения и периферийную схему интегрируют в одну интегральную схему с более высокой степенью свободы. В результате этого, результаты съемки изображения выводят с более высокой степенью свободы. Таким образом, возможно обеспечить эффективное использование высокой степени свободы считывания результатов съемки изображения, что представляет собой свойство твердотельного элемента съемки изображения типа КМОП, упростить общую конфигурацию и надежно выполнять управление степенью.
Кроме того, периферийная схема изготовлена в результате процесса производства кремниевых пластин, отличающегося от процесса производства средства съемки изображения. Таким образом, часть элемента съемки изображения и часть периферийной схемы производят с использованием процессов обработки кремниевых пластин, пригодных для части элемента съемки изображения и части периферийной схемы соответственно, что позволяет улучшить различные рабочие характеристики.
(8) Шестой вариант выполнения
На фиг.15(А) и 15(В) показаны виды в плане, представляющие последовательность обработки блоков, используемых в процессе сжатия данных в устройстве для съемки изображения в соответствии с шестым вариантом выполнения настоящего изобретения, в отличие от фиг.6. Устройство для съемки изображения в соответствии с настоящим вариантом выполнения сформировано таким же образом, как описанные выше с первого по пятый варианты выполнения, за исключением того, что здесь отличается конфигурация, связанная с обработкой блоков. Таким образом, ниже будет приведено описание с использованием конфигурации, представленной на фиг.5. В частности, на фиг.15 цифры в соответствующих блоках представляют последовательность обработки соответствующих блоков.
В настоящем варианте выполнения контроллер системы, который не показан на чертеже, принимает установку режима фотографирования и изменяет последовательность обработки блоков в модуле 6 сжатия изображения в соответствии с режимом фотографирования. Таким образом, контроллер системы изменяет работу схемы управления для управления элементом 3 съемки изображения в ответ на операцию выбора режима фотографирования, выполненную пользователем. Элемент 3 съемки изображения изменяет последовательность выходных результатов съемки изображения в отдельных блоках в соответствии с измененной работой схемы управления.
В частности, контроллер системы изменяет порядок блоков, выводимых элементом 3 съемки изображения так, что данные последовательно сжимают, начиная с наиболее важного положения, в режиме фотографирования, выбранном пользователем.
В частности, когда режим фотографирования, выбранный пользователем, представляет собой, например, режим фотографирования человека, важными являются результаты съемки изображения, ассоциированные с человеком. В этом случае человек часто располагается в центре эффективной области съемки изображения, и при этом фон и передний план относительно человека являются не настолько важными, как сам человек. Поэтому, как показано на фиг.15(А), вывод результатов съемки изображения начинается в блоке, расположенном в центре эффективной области съемки изображения, и блоки, из которых выводят результаты съемки изображения, последовательно изменяют, начиная от блока, расположенного в центре, во внешние блоки. В настоящем варианте выполнения блоки, из которых выводят результаты съемки изображения, последовательно изменяют от блока, расположенного в центре, до внешних блоков таким образом, чтобы сформировалась спиральная траектория.
С другой стороны, когда режим фотографирования, выбранный пользователем, представляет собой, например, режим съемки пейзажа, важной является, по существу, вся эффективная площадь съемки изображения. Поэтому, как показано на фиг.15(В), блоки, которые имеют приоритет при сжатии данных, устанавливают по-другому, и операцией элемента 3 съемки изображения управляют таким образом, чтобы эти блоки были первыми подвержены сжатию данных, и затем другие блоки были подвергнуты сжатию данных в заданном порядке. В частности, в настоящем варианте выполнения отдельные блоки, установлены во множестве положений, в центре эффективной области съемки изображения и на ее периферии.
Кроме того, для того, чтобы выделить определенное количество кода для положения так, чтобы чем более важным является положение, тем большим было количество кода, контроллер системы управляет работой модуля 9 определения степени сжатия так, чтобы степень сжатия данных для сжатия данных каждого блока была установлена на основе сгенерированного количества кода блоков, предпочтительно подвергнутых сжатию данных и детектированию. В частности, контроллер системы управляет работой модуля 9 определения степенью сжатия так, чтобы количества кода, выделенного для предпочтительно обрабатываемых блоков и других блоков, изменялось в соответствии с режим фотографирования.
Таким образом, в настоящем варианте выполнения изменяется последовательность обработки блоков и выделения количества кода так, чтобы блокам в области, рассматриваемой пользователем, как важная область, был задан приоритет, и процесс управления степенью выполняют с использованием той же конфигурации, что и в первом - пятом вариантах выполнения. При соответственно более высоком качестве изображения, возможно эффективно использовать высокую степень свободы считывания результатов съемки изображения, что представляет собой свойство твердотельного элемента съемки изображения типа КМОП или тому подобное, упростить общую конфигурацию и надежно выполнять управление степенью.
В частности, когда блоки, которые должны быть предпочтительно подвергнуты сжатию данных, дискретно установлены, как показано на фиг.15(В), возможно приблизительно детектировать распределение количества генерируемого кода для всего экрана и количества генерируемого кода, получаемого при сжатии данных всего экрана, на основе количества генерируемого кода, полученного в результате предпочтительной обработки сжатия данных в этих блоках. Таким образом, на основе количества сгенерированного кода, полученного в результате предпочтительной обработки сжатия данных, можно оценить распределение количества генерируемого кода и количество генерируемого кода для всего экрана, и на основе результата оценки можно установить степень сжатия данных для каждого блока и дополнительно степень сжатия данных для всего экрана. При этом также обеспечивается возможность эффективно использовать высокую степень свободы считывания результатов съемки изображения, что представляет собой свойство твердотельного элемента съемки изображения типа КМОП или тому подобное, более правильно и надежно выделять количество кода и выполнять управление степенью.
(9) Седьмой вариант выполнения
На фиг.16 показана блок-схема, представляющая устройство для съемки изображения в соответствии с седьмым вариантом выполнения настоящего изобретения, в отличие от фиг.5. В устройстве 81 для съемки изображения, модуль 82 управления степенью управляет работой различных частей на основе количества сгенерированного кода, детектируемого в блоке 8 расчета количества кода. В частности, устройство 81 для съемки изображения в соответствии с настоящим вариантом выполнения, сформировано таким же образом, как описанные выше устройства для съемки изображения в соответствии с первым-шестым вариантами выполнения, за исключением того, что отличается управление различными частями модуля 82 управления степенью. Таким образом, далее будет описана только конфигурация модуля 82 управления степенью, и повторное описание не будет приведено.
В настоящем варианте выполнения, когда начинается обработка одного кадра и сгенерированное количество кода, детектируемое в модуле 8 расчета количества кода, находится в пределах определенного диапазона, модуль 82 управления степенью выполняет процесс управления степенью, путем управления степенью сжатия данных, с использованием модуля 9 определения степени сжатия, как описано выше в первом-шестом вариантах выполнения. С другой стороны, когда количество генерируемого кода превышает определенный диапазон, совместно с управлением степенью сжатия данных, с использованием модуля 9 определения степени сжатия, модуль 82 управления степенью управляет схемой 83 управления для управления элементом 3 съемки изображения, для изменения частоты следования кадров сигнала S1 съемки изображения, выводимого элементом 3 съемки изображения. Модуль 82 управления степенью, таким образом, выполняет процесс управления скоростью.
Таким образом, когда количество генерируемого кода больше, чем этот диапазон, модуль 82 управления скоростью понижает частоту следования кадров сигнала S1 съемки изображения в соответствии с количеством генерируемого кода. С другой стороны, когда количество генерируемого кода меньше, чем этот диапазон, модуль 82 управления скоростью повышает частоту следования кадров сигнала S1 съемки изображения в соответствии с количеством генерируемого кода и также управляет степенью сжатия данных, в результате чего скорость передачи данных кодированных данных D2 поддерживается на определенном значении.
Когда частота следования кадров результата съемки изображения дополнительно изменяется, как в настоящем варианте выполнения, управление степенью может быть выполнено более надежно. В частности, частоту следования кадров элемента 3 съемки изображения можно изменять в соответствии с прямой инструкцией, поступающей от пользователя, или в соответствии со спецификацией режима фотографирования или режима работы, заданного пользователем. Кроме того, определенный диапазон управления частотой следования кадров может быть переменным.
(10) Другие варианты выполнения
Следует отметить, что хотя в приведенных выше вариантах выполнения был описан случай, в котором вспомогательный модуль 11 управления степенью также управляет степенью кодированных данных D2, настоящее изобретение не ограничивается этим. Конфигурация вспомогательного модуля 11 управления степенью может быть исключена, когда можно выполнять практически адекватное управление степенью.
Кроме того, хотя в приведенных выше вариантах выполнения приведено описание случая, в котором в средстве съемки изображения применяют твердотельный элемент съемки изображения типа КМОП, настоящее изобретение не ограничивается этим. Различные элементы съемки изображения, основанные на управлении адресом XY, могут получить широкое применение.
Промышленная применимость
Настоящее изобретение может применяться для видеокамер, записывающих результат съемки изображения в виде движущегося изображения, в электронных камерах для съемки неподвижного изображения, в устройствах слежения и т.п.