ФИКСАЦИЯ И СОЗДАНИЕ СТЕРЕОИЗОБРАЖЕНИЙ И СТЕРЕОВИДЕО В РЕАЛЬНОМ ВРЕМЕНИ МОНОСКОПИЧЕСКИМ МАЛОМОЩНЫМ МОБИЛЬНЫМ УСТРОЙСТВОМ

1. Моноскопическое маломощное мобильное устройство, содержащее:
модуль датчика камеры с одинарным датчиком, выполненный с возможностью фиксации изображения и имеющий субмодуль автофокусировки, выполненный с возможностью определения наилучшего положения фокуса путем перемещения объектива по всему диапазону фокусировки посредством процесса фокусировки и выбора положения фокуса с максимальным значением фокуса при фиксации изображения;
узел генератора карты глубин, выполненный с возможностью на первом этапе автоматической разработки карты глубин на уровне блоков, используя статистику от субмодуля автофокусировки, а на втором этапе разработки карты глубин изображения; и
модуль генератора пары изображений, выполненный с возможностью создания недостающего второго вида из зафиксированного изображения, для создания трехмерного (3D) левого и правого стереовидов.
2. Устройство по п.1, в котором модуль генератора пары изображений содержит: субмодуль карты несоответствий, который вычисляет карту несоответствий на основе расстояния в пикселях между точками изображения в левом и правом видах геометрии бинокулярного зрения для зафиксированного изображения, причем зафиксированное изображение представляет левый вид; субмодуль восстановления трехмерной поверхности на основе Z-буфера, способный строить трехмерную видимую поверхность для зафиксированного изображения из правого вида; и субмодуль генератора стереовида, способный проецировать трехмерную поверхность правого вида на плоскость проекции.
3. Устройство по п.1, в котором процесс фокусировки, выполняемый субмодулем автофокусировки, в режиме статического изображения выполняет процесс фокусировки с поиском с полным перебором для фиксации статического изображения, а в режиме видео для обеспечения фиксации видеоклипа в реальном времени указанный процесс фокусировки инициируется процессом фокусировки с поиском с полным перебором с последующим процессом фокусировки с поиском экстремума.
4. Устройство по п.3, в котором узел генератора карты глубин на втором этапе выполнен с возможностью уменьшения артефактов с помощью билинейного фильтра.
5. Устройство по п.4, в котором на втором этапе узел генератора карты глубин выполнен с возможностью
получения значения глубины для угловых точек (А, В, С и D) каждого блока, найденного во время процесса фокусировки, причем значение глубины является средним значением соседних блоков для соответствующего блока, причем глубина средней точки d определяется как
1
2
3
4
где d, d, d и d - значения глубины соседних блоков; и
после получения значения глубины для всех угловых точек (А, В, С и D) билинейный фильтр выполнен с возможностью получения значения глубины пикселей внутри блоков.
P
P
P
P
6. Устройство по п.5, в котором билинейный фильтр дополнительно выполнен с возможностью вычисления значение d глубины пикселя для пикселя P(x, y, d) согласно уравнению
A
A
A
B
B
B
C
C
C
D
D
D
где значения положения и значения глубины для угловых точек (A, B, C и D) блока обозначены как (x, y, d), (x, y, d), (x, y, d), (x, y, d).
7. Устройство по п.3, дополнительно содержащее модуль видеокодирования для кодирования зафиксированного видеоклипа и обеспечения статистической информации для вычисления карты глубин на блочном уровне, причем модуль видеокодирования выполнен с возможностью определения оценки движения, а узел генератора карты глубин выполнен с возможностью на втором этапе обнаружения и оценки информации о глубине для фиксации и создания в реальном времени стереовидео с использованием статистической информации из оценки движения, процесса фокусировки и данных истории плюс эвристических правил для получения окончательной блочной карты глубин, из которой получают карту глубин изображения.
8. Устройство по п.1, дополнительно содержащее дисплей и модуль генератора трехмерных эффектов для отображения на дисплее трехмерного левого и правого стереовидов.
9. Устройство по п.8, в котором модуль генератора трехмерных эффектов выполнен с возможностью создания красно-синего анаглифического изображения трехмерного левого и правого стереовидов на дисплее.
10. Устройство по п.1, в котором моноскопическое маломощное мобильное устройство содержит одно изследующего: ручную цифровую камеру, камкордер или телефон с камерой с одинарным датчиком.
11. Моноскопическое маломощное мобильное устройство, содержащее:
средство для фиксации изображения одинарным датчиком;
средство для автофокусировки объектива и определения наилучшего положения фокуса путем перемещения объектива по всему диапазону фокусировки и выбора положения фокуса с максимальным значением фокуса при фиксации изображения;
средство для автоматического создания на первом этапе карты глубин на блочном уровне с использованием статистики от средства автофокусировки, а на втором этапе карты глубин изображения; и
средство для создания недостающего второго вида из зафиксированного изображения, для создания трехмерного (3D) левого и правого стереовидов.
12. Устройство по п.11, в котором средство создания содержит: средство для вычисления карты несоответствий на основе расстояния в пикселях между точками изображения в левом и правом видах геометрии бинокулярного зрения для зафиксированного изображения, причем зафиксированное изображение представляет левый вид; средство для восстановления трехмерной поверхности с помощью Z-буферизации для построения трехмерной видимой поверхности для зафиксированного изображения из недостающей правой точки обзора; и средство для создания стереовидов путем проецирования построенной трехмерной поверхности на плоскость проекции.
13. Устройство по п.11, в котором средство автофокусировки включает в себя средство для выполнения процесса фокусировки с поиском с полным перебором для фиксации статического изображения в режиме статического изображения; средство для инициирования процесса фокусировки с поиском с полным перебором в режиме видео; и средство для фокусировки с поиском экстремума в режиме видео для фиксации видеоклипа в реальном времени.
14. Устройство по п.13, в котором средство создания на втором этапе включает в себя средство для уменьшения артефактов.
15. Устройство по п.14, в котором средство для уменьшения артефактов включает в себя средство для получения значения глубины для угловых точек (А, В, С и D) каждого блока, найденного средством автофокусировки, причем значение глубины является средним значением соседних блоков соответствующего блока, причем глубина средней точки d определяется как
1
2
3
4
где d, d, d и d - значения глубины соседних блоков; и
средство для билинейной фильтрации после получения значения глубины для всех угловых точек (А, В, С и D) для получения значения глубины пикселей внутри блоков.
16. Устройство по п.15, в котором средство билинейной фильтрации содержит
P
P
P
P
средство для вычисления значение d глубины пикселя для пикселя P(x, y, d) согласно уравнению
A
A
A
B
B
B
C
C
C
D
D
D
где значения положения и значения глубины для угловых точек (A, B, C и D) блока обозначены как (x, y, d), (x, y, d), (x, y, d), (x, y, d).
17. Устройство по п.13, дополнительно содержащее средство для видеокодирования зафиксированного видеоклипа и обеспечения статистической информации, причем средство для видеокодирования включает в себя средство для оценки движения; и причем средство создания включает в себя средство для обнаружения и оценки информации о глубине для фиксации и создания в реальном времени стереовидео с использованием статистической информации от средства оценки движения, средства фокусировки и данных истории плюс некоторых эвристических правил для получения окончательной блочной карты глубин, из которой получают карту глубин изображения.
18. Устройство по п.11, дополнительно содержащее дисплей и средство для создания трехмерных эффектов трехмерного левого и правого стереовидов на дисплее.
19. Устройство по п.18, в котором средство создания трехмерных эффектов создает красно-синее анаглифическое изображение трехмерного левого и правого стереовидов на дисплее.
20. Устройство по п.11, в котором моноскопическое маломощное мобильное устройство содержит одно из следующего: ручная цифровая камера, камкордер или телефон с камерой с одинарным датчиком.
21. Способ создания стереоизображений в реальном времени, содержащий этапы на которых:
фиксируют изображение одинарным датчиком;
выполняют автофокусировку объектива и определяют наилучшее положения фокуса путем перемещения объектива по всему диапазону фокусировки и выбора положения фокуса с максимальным значением фокуса при фиксации изображения;
автоматически создают на первом этапе карту глубин на блочном уровне с использованием статистики от этапа автофокусировки, а на втором этапе создают карту глубин изображения; и
создают недостающий второй вид из зафиксированного изображения для создания трехмерного (3D) левого и правого стереовидов.
22. Способ по п.21, в котором этап создания содержит этапы на которых: вычисляют карту несоответствий на основе расстояния в пикселях между точками изображения в левом и правом видах геометрии бинокулярного зрения для зафиксированного изображения, причем зафиксированное изображение представляет левый вид; восстанавливают трехмерную поверхность с помощью Z-буферизации для построения трехмерной видимой поверхности для зафиксированного изображения из недостающей правой точки обзора; и создают недостающий правый вид путем проецирования построенной трехмерной поверхности на плоскость проекции.
23. Способ по п.21, в котором этап автофокусировки включает в себя этапы, на которых: выполняют процесс фокусировки с поиском с полным перебором для фиксации статического изображения в режиме статического изображения; инициируют процесс фокусировки с поиском с полным перебором в режиме видео; и выполняют фокусировку с поиском экстремума в режиме видео для фиксации видеоклипа в реальном времени.
24. Способ по п.23, в котором шаг создания на втором этапе включает в себя этап, на котором уменьшают артефакты.
25. Способ по п.24, в котором этап уменьшения артефактов включает в себя этапы, на которых: получают значение глубины для угловых точек (А, В, С и D) каждого блока, найденного средством автофокусировки, причем значение глубины является средним значением соседних блоков соответствующего блока, причем глубина средней точки d определяется как
1
2
3
4
где d, d, d и d - значения глубины соседних блоков; и
после получения значения глубины для всех угловых точек (А, В, С и D), выполняют билинейную фильтрацию для получения значения глубины пикселей внутри блоков.
26. Способ по п.25, в котором этап билинейной фильтрации содержит этап на котором:
P
P
P
P
вычисляют значение d глубины пикселя для пикселя P(x, y, d) согласно уравнению
A
A
A
B
B
B
C
C
C
D
D
D
где значения положения и значения глубины для угловых точек (A, B, C и D) блока обозначены как (x, y, d), (x, y, d), (x, y, d), (x, y, d).
27. Способ по п.23, дополнительно содержащий видеокодирование видеоклипа и оценку движения, причем этап создания включает в себя этап на котором: обнаруживают и оценивают информацию о глубине для фиксации и создания в реальном времени стереовидео с использованием статистики от этапа оценки движения, этапа автофокусировки и данных истории плюс эвристических правил для получения окончательной блочной карты глубин, из которой получают карту глубин изображения.
28. Способ по п.21, дополнительно содержащий этап на котором создают трехмерные эффекты трехмерного левого и правого стереовидов на дисплее.
29. Способ по п.28, в котором этап создания трехмерных эффектов включает в себя этап на котором создают красно-синие анаглифическое изображение трехмерного левого и правого стереовидов на дисплее.
30. Способ обработки статических изображений, содержащий этапы на которых:
обрабатывают автофокусировку зафиксированного статического изображения и оценивают информацию о глубине удаленных объектов в изображении для определения карты глубин на блочном уровне; и
аппроксимируют карту глубин изображения, исходя из карты глубин на блочном уровне.
31. Способ по п.30, в котором этап обработки автофокусировки включает в себя этап, на котором обрабатывают изображение с использованием «грубо-точного» процесса определения глубин.
32. Способ по п.30, в котором этап аппроксимации содержит этап, на котором выполняют билинейную фильтрацию карты глубин на блочном уровне для получения аппроксимированной карты глубин изображения.
33. Способ по п.32, в котором этап обработки автофокусировки содержит этап, на котором определяют значение глубины каждого фокусного блока, включая угловые точки (А, В, С и D) при определении карты глубин на блочном уровне; и в котором на этапе билинейной фильтрации получают значение глубины пикселей внутри блока.
A
A
A
B
B
B
C
C
C
D
D
D
P
P
P
P
34. Способ по п.33, в котором значения положения и значения глубины для угловых точек (A, B, C и D) обозначены как (x, y, d), (x, y, d), (x, y, d), (x, y, d), так чтобы вычислить значение глубины для всех пикселей в блоке, причем для соответствующего пикселя, обозначенного точкой P(x, y, d), значение глубины dсоответствующего пикселя определяется как
35. Устройство фиксации статических изображений, содержащее: модуль автофокусировки, выполненный с возможностью обработки зафиксированного статического изображения и оценки информации о глубине удаленных объектов в изображении для определения карты глубин на блочном уровне; модуль карты глубин изображения, выполненный с возможностью аппроксимации карты глубин изображения исходя из карты глубин на блочном уровне с использованием билинейной фильтрации; и модуль генератора пары изображений, выполненный с возможностью создания недостающего второго вида из зафиксированного изображения для создания трехмерного (3D) левого и правого стереовидов.
36. Устройство по п.35, дополнительно содержащее модуль генератора трехмерных эффектов, выполненный с возможностью отображения трехмерных эффектов трехмерного левого и правого стереовидов.
37. Устройство по п.35, в котором процесс фокусировки, выполняемый модулем автофокусировки, осуществляет процесс фокусировки с поиском с полным перебором для фиксации статического изображения.
38. Устройство по п.35, в котором модуль карты глубин изображения выполнен с возможностью артефактов с помощью билинейной фильтрации.
39. Устройство фиксации выидеоизображений, содержащее: модуль автофокусировки, выполненный с возможностью обработки зафиксированного видеоклипа и оценки информации о глубине удаленных объектов в сцене; модуль видеокодирования, выполненный с возможностью кодирования зафиксированного видеоклипа, обеспечения статистической информации и определения оценки движения; и модуль карты глубин изображения, выполненный с возможностью обнаружения и оценки информацию о глубине для фиксации и создания стереовидео в реальном времени с использованием статистической информации из оценки движения, процесса, выполняемого модулем автофокусировки, и данных истории плюс эвристических правил для получения окончательной блочной карты глубин, из которой получают карту глубин изображения.
40. Устройство по п.39, в котором процесс фокусировки в модуле автофокусировки для обеспечения фиксации видеоклипа в реальном времени инициируется процессом фокусировки с поиском с полным перебором и последующим процессом фокусировки с поиском экстремума.
41. Устройство по п.39, дополнительно содержащее модуль генератора пары изображений, выполненный с возможностью создания недостающего второго вида из зафиксированного изображения для создания трехмерного (3D) левого и правого стереовидов.
42. Устройство по п.41, дополнительно содержащее модуль генератора трехмерных эффектов, выполненный с возможностью отображения трехмерных эффектов трехмерного левого и правого стереовидов.
n
n
43. Устройство по 39, в котором модуль карты глубин выполнен с возможностью предсказания внутренней блочной карты глубин (P(i,j)) и карты значений фокуса (T(i,j)) текущего кадра n из соответствующих карт предыдущего кадра с помощью следующих уравнений
n
n
где {P(i,j)} и {T(i,j)} - являются внутренней картой BDM и картой FV, полученными из оценки движения, выполненной модулем видеокодирования; (a, b) обозначает блок в (n-1)-м кадре и является предсказанием для блока (i,j) в n-м кадре; а FV_TH - является пороговым значением (FV) фокуса; и
причем фокальное положение объектива соответствует наибольшему FV и считается наилучшим выбором, причем окончательная карта BDM и карта FV определяются по следующим уравнениям
n
n
n
n
где {D(i,j)} и {F(i,j)} (i=1, 2…N, j=1, 2…N) является окончательно определенной блочной картой глубины (BDM) и окончательно определенной картой значений (FV) фокуса соответственно для текущего кадра, а {M(i,j)} и {V(i,j)} является внутренней картой BDM и картой FV, полученным модулем автофокусировки.
P
44. Программный код, содержащий программные команды, которые при выполнении процессором предназначены для билинейной фильтрации изображения для определения значения глубины каждого фокусного блока, включая угловые точки (A, B, C и D) карты глубин на блочном уровне, и определения значения (d) глубины для всех пикселей в блоке согласно следующему уравнению
A
A
A
B
B
B
C
C
C
D
D
D
P
P
P
где значения положения и значения глубины для угловых точек (A, B, C и D) блока обозначены как (x, y, d), (x, y, d), (x, y, d), (x, y, d), а соответствующий пиксель обозначен точкой P(x, y, d).