METHOD AND APPARATUS FOR IMAGE CAPTURING AND SIMULTANEOUS DEPTH EXTRACTION

1. Система для захвата изображения и извлечения глубины, содержащая:
блок формирования изображений, содержащий:
систему линз;
апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы и
датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и
блок обработки данных, содержащий:
блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки;
блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки;
блок восстановления изображения и
блок преобразования диспаратности в глубину.
2. Система по п. 1, в которой набор спектральных ширин полос, соответствующий упомянутому набору из по меньшей мере двух областей апертуры со спектральным кодированием, формирует базис апертуры со спектральным кодированием.
3. Система по п. 2, в которой базис обработки отличается от базиса датчика и базиса апертуры со спектральным кодированием.
4. Система по п. 1, в которой апертура со спектральным кодированием имеет три области: прозрачную область в центре и две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету.
5. Система по п. 4, в которой базис обработки состоит из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьего вектора, перпендикулярного упомянутым первому и второму векторам.
6. Система по п. 1, в которой апертура со спектральным кодированием имеет две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету.
7. Система по п. 6, в которой базис обработки состоит из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьего вектора, перпендикулярного упомянутым первому и второму векторам.
8. Система по п. 1, в которой апертура со спектральным кодированием имеет три конгруэнтные области со спектральными ширинами полосы, соответствующими желтому цвету, бирюзовому цвету и пурпурному цвету.
9. Система по п. 8, в которой базис обработки состоит из векторов, соответствующих желтому цвету, бирюзовому цвету и пурпурному цвету.
10. Система по п. 1, в которой апертура со спектральным кодированием имеет три неконгруэнтные области со спектральными ширинами полосы, соответствующими желтому цвету, бирюзовому цвету и пурпурному цвету.
11. Система по п. 10, в которой базис обработки состоит из векторов, соответствующих желтому цвету, бирюзовому цвету и пурпурному цвету.
12. Система по п. 1, в которой апертура со спектральным кодированием имеет плавное изменение ширины полосы по всей области апертуры.
13. Система по п. 1, в которой апертура со спектральным кодированием зафиксирована в системе линз.
14. Система по п. 1, в которой апертура со спектральным кодированием является нефиксированной в системе линз.
15. Система по п. 14, в которой апертура со спектральным кодированием выдвигается из оптической системы, чтобы не участвовать в формировании изображения.
16. Система по п. 1, в которой захваченное изображение может быть изображением, выбранным из последовательности видеоизображений.
17. Система по п. 1, в которой апертура со спектральным кодированием вставляется в систему линз для получения выборочных изображений из последовательности видеоизображений.
18. Система по п. 1, в которой апертура со спектральным кодированием вставляется в апертурную диафрагму системы линз.
19. Система по п. 1, в которой система линз состоит из единственной линзы и апертура со спектральным кодированием может быть расположена на упомянутой линзе.
20. Система по п. 1, в которой апертура со спектральным кодированием модифицируется относительно предыдущего видеоизображения из последовательности видеоизображений, захваченной датчиком.
21. Система по п. 1, в которой апертура со спектральным кодированием формируется с любой комбинацией непрозрачных областей и конгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы, ультрафиолетовой или инфракрасной, или полосах различных видимых цветов.
22. Система по п. 1, в которой апертура со спектральным кодированием формируется с любой комбинацией непрозрачных областей и неконгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы, ультрафиолетовой или инфракрасной, или полосах различных видимых цветов.
23. Система по п. 1, в которой апертура со спектральным кодированием является пространственным модулятором света.
24. Способ для захвата изображения и извлечения глубины, причем этот способ содержит:
регистрацию по меньшей мере двух сдвинутых спектральных каналов светового поля для формирования захваченного изображения или последовательности видеоизображений;
преобразование захваченного изображения в изображение в базисе обработки;
оценку диспаратности на основе взаимосвязи между пикселями в спектральных каналах в базисе обработки для извлечения карты диспаратности;
восстановление захваченного изображения на основе извлеченной карты диспаратности;
преобразование карты диспаратности в карту глубины.
25. Способ по п. 24, в котором упомянутая оценка диспаратности содержит:
генерацию кандидатных изображений с относительными сдвигами в спектральных каналах;
вычисление стоимости согласования для упомянутых кандидатных изображений в спектральных каналах,
распространение стоимости согласования в области с низкой текстурой и
оценку стоимости согласования для кандидатных изображений с субпиксельной точностью.
26. Способ по п. 24, в котором взаимосвязь между пикселями в спектральных каналах, требуемая для упомянутой оценки диспаратности, включает в себя метрику взаимной корреляции, вычисленную в разреженном движущемся окне.
27. Способ по п. 24, в котором взаимосвязь между пикселями в спектральных каналах, требуемая для упомянутой оценки диспаратности, вычисляется с использованием по меньшей мере одного алгоритма стереосогласования.
28. Способ по п. 27, в котором упомянутый алгоритм стереосогласования выбирается из алгоритма суммы абсолютных разностей (SAD), или алгоритма нормированной взаимной корреляции (NCC), или алгоритма повышения контраста изображения с использованием лапласиана (LIC).
29. Способ по п. 26, в котором упомянутая метрика взаимной корреляции вычисляется с использованием быстрого преобразования Фурье.
30. Способ по п. 26, в котором упомянутая метрика взаимной корреляции вычисляется с использованием рекурсивного экспоненциального фильтра.
31. Способ по п. 24, в котором упомянутое восстановление захваченного изображения включает в себя устранение размытости изображения.
32. Способ по п. 24, в котором упомянутое восстановление захваченного изображения включает в себя выравнивание спектрального канала в базисе обработки.
33. Мобильное устройство с модулем камеры для захвата изображения и операции извлечения глубины в ультрафиолетовом, видимом или инфракрасном спектре, содержащее:
блок формирования изображения, содержащий:
систему линз;
по меньшей мере одну апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с разными спектральными ширинами полосы,
датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика, и
фиксацию кодированной апертуры, позволяющую осуществить перемещение по меньшей мере одной апертуры со спектральным кодированием относительно системы линз; и
блок обработки данных, содержащий:
блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки;
блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки;
блок восстановления изображения и
блок преобразования диспаратности в глубину.
34. Мобильное устройство по п. 33, в котором упомянутая фиксация кодированной апертуры выполнена с возможностью замены по меньшей мере двумя апертурами со спектральным кодированием друг друга в оптической системе.
35. Мобильное устройство по п. 33, в котором упомянутая фиксация кодированной апертуры выполнена с возможностью удаления всех апертур со спектральным кодированием из оптической системы.
36. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием вставлена в апертурную диафрагму системы линз.
37. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием сформирована с любой комбинацией непрозрачных областей и конгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы, ультрафиолетовой или инфракрасной, или полосах различных видимых цветов.
38. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием сформирована с любой комбинацией непрозрачных областей и неконгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы, ультрафиолетовой или инфракрасной, или полосах различных видимых цветов.
39. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием является пространственным модулятором света.
40. Система формирования изображения для захвата изображения и операции извлечения глубины в ультрафиолетовом, видимом или инфракрасном спектре, содержащая:
блок формирования изображений, содержащий:
систему линз;
апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы, и
датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика и
блок обработки данных, содержащий:
блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки;
блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки и
блок преобразования диспаратности в глубину.