СИСТЕМА И СПОСОБ ФОРМИРОВАНИЯ И ВОСПРОИЗВЕДЕНИЯ ТРЕХМЕРНОГО ВИДЕОИЗОБРАЖЕНИЯ

1. Система формирования и воспроизведения трехмерного видеоизображения, состоящая из
комплекса формирования, включающего в себя
более одного устройства генерации видеопотоков;
средства для хранения и передачи видеопотоков по сети к модулям извлечения стереокадров и оценки диспарантности;
модуль формирования, выполненный с возможностью извлечения стереокадров из множества видеопотоков;
модуль предварительной обработки стереокадров, выполненный с возможностью выделения множества проекций трехмерной сцены из стереокадров и выполнения процедур компенсации линзовых искажений и выравнивания изображений с использованием эпиполярного ограничения;
комплекса оценки диспарантности, включающего в себя
цветовой преобразователь, выполненный с возможностью преобразовывать изображения в визуально однородное цветовое пространство;
первый модуль диспарантности, выполненный с возможностью приблизительной оценки диспарантности на множестве проекций трехмерной сцены;
второй модуль диспарантности, выполненный с возможностью повторного уточнения приблизительной карты диспарантности;
блок передачи, выполненный с возможностью упаковки карты диспарантности и проекций в трехмерные видеокадры и после факультативного сжатия передачи их в устройство трехмерного воспроизведения;
комплекса синтеза изображений, включающего в себя
получающий блок, выполненный с возможностью получения и распаковки трехмерных видеокадров;
блок синтеза, выполненный с возможностью формирования множества виртуальных видов наблюдаемой трехмерной сцены, для воспроизведения на трехмерном дисплее;
комплекса воспроизведения, включающего в себя
цифровой дисплей с оптической системой, выполненный с возможностью пространственного разделения множества виртуальных видов, таким образом, что каждым глазом наблюдается свой собственный вид воспроизводимой трехмерной сцены;
мультиплексор, выполненный с возможностью подготовки мультиплексированного изображения в соответствии с характеристиками оптической системы трехмерного дисплея и множеством виртуальных видов.
2. Система по п.1, отличающаяся тем, что устройства генерации видеообразов представляют собой произвольное множество видеокамер, наблюдающих одну и ту же область пространства, выполненных с возможностью формирования множества видеопотоков трехмерной динамической сцены; средства передачи стереообразов по сети; запоминающего устройства, выполненного с возможностью хранения стереообразов в виде видеофайлов.
3. Система по п.1, отличающаяся тем, что цифровой дисплей снабжен оптической системой, выполненной с возможностью реализации принципов получения эффекта трехмерного изображения за счет использования линзово-растрового листа или параллакс-барьера.
4. Система по п.1, отличающаяся тем, что множество видеообразов представляют собой стереопары динамической сцены.
5. Система по п.1, отличающаяся тем, что содержит средство для синхронизации множества видеокамер.
6. Система по п.1, отличающаяся тем, что цветовой преобразователь выполнен с возможностью преобразования RGB изображения в цветовое пространство Lab.
7. Система по п.1, отличающаяся тем, что первый модуль диспарантности выполнен с возможностью инициализации карты диспарантности посредством процедуры совмещения стереовидов.
8. Система по п.1, отличающаяся тем, что первый модуль диспарантности выполнен с возможностью инициализации карты диспарантности произвольными значениями.
9. Система по п.1, отличающаяся тем, что для каждой проекции трехмерной сцены предусмотрено формирование отдельной карты диспарантности.
10. Система по п.1, отличающаяся тем, что средство для хранения предусматривает возможность хранения видеофайлов, состоящих из карт диспарантности, сгруппированных с соответствующей проекцией трехмерной сцены.
11. Система по п.1, отличающаяся тем, что блоки оценки диспарантности и блоки воспроизведения выполнены в виде вычислительного устройства, состоящего из блоков вычисления с массовым параллелизмом, каждый из которых предназначен для параллельной обработки данных в соответствии с процедурой, зафиксированной в программной памяти.
12. Система по п.11, отличающаяся тем, что вычислительное устройство выполнено с возможностью уточнения значений диспрантности для каждой отдельной строки карты диспарантности независимо от других строк карты.
13. Система по п.12, отличающаяся тем, что линия на карте диспарантности представляет собой как строку изображения, так и столбец изображения.
14. Система по п.1, отличающаяся тем, что модуль предварительной обработки стереокадров выполнен с возможностью автоматического определения ориентации стереокадра на основе соотношения размеров стереокадра.
15. Способ оценки и уточнения значений диспарантности для стереопары, заключающийся в осуществлении последовательных итераций уточнения первичной оценки диспарантности и предусматривающий выполнение следующих операций:
выполняют первичное вычисление диспарантности;
проводят настройку параметров фильтра уточнения диспарантности в зависимости от номера итерации;
оценивают размер ядра фильтра уточнения диспарантности в зависимости от номера итерации;
выполняют уточнение карты диспарантности согласно параметрам и размерам ядра фильтра;
вычисляют и оценивают критерии сходимости, при этом, если они соблюдаются, то процесс фильтрования прекращают;
выполняют постобработку карты диспарантности.
16. Способ по п.15, отличающийся тем, что исходный стереообраз преобразуют из RGB цветового пространства в цветовое пространство Lab.
17. Способ по п.15, отличающийся тем, что исходную диспарантность представляют в виде шумового изображения, причем изображение представляют в виде полутонового изображения, а интенсивность пикселя в изображении задается случайным образом в диапазоне от минимальной интенсивности пикселя до максимальной интенсивности пикселя, что для 8-битовых изображений соответствует диапазону интенсивности от 0 до 255.
18. Способ по п.15, отличающийся тем, что настройку фильтра диспарантности в соответствии с итерацией выполняют по формуле
1
1
σ(k)=a·k·b,
где k - номер итерации, a1, b1 - линейные коэффициенты.
19. Способ по п.15, отличающийся тем, что оценку размера ячейки фильтра в соответствии с итерацией выполняют по формуле
2
2
KS(k)=a·k+b,
где k - номер итерации, a2, b2 - линейные коэффициенты.
20. Способ по п.15, отличающийся тем, что фильтрацию диспарантности на k-й итерации выполняют по формуле
,
k
c
c
c
c
где d(x, y) обозначают карту диспарантности на k-й итерации для текущего пикселя с координатами(x,y),
k-1
r
r
r
c
r
c
d(x, y) обозначают карту диспарантности на (k-1)-й итерация для опорного пикселя с координатами (x=x+p, y=y+s),
r
w обозначает вес опорного пикселя,
индекс p изменяется от  до  в направлении X,
индекс s изменяется от  до  в направлении Y,
нормирующий множитель вычисляют как .
21. Способ по п.20, отличающийся тем, что фильтрацию диспарантности выполняют поэтапно, причем на первом этапе выполняют построчную обработку изображения, а на втором этапе выполняют обработку по столбцам, а именно:
,
rowk
c
c
где d(x, y) - результат построчной процедуры фильтрации,
k
c
c
d(x, y) - результат конечной фильтрации на основе обработки по столбцам,
нормирующий множитель для построчной фильтрации вычисляют как
,
нормирующий множитель для фильтрации по столбцам вычисляют как
.
22. Способ по любому из пп.20, 21, отличающийся тем, что веса фильтра уточнения диспарантности вычисляют следующим образом:
где C() обозначает функцию, используемую для сравнения окружения пикселя,
r
σ - штрафной параметр веса для опорного пикселя в опорном изображении,
t
σ - штрафной параметр веса для совмещаемого пикселя в совмещаемом изображении,
r
r
(x, y) - координаты опорного пикселя,
t
t
(x, y) - координаты совмещаемого пикселя.
23. Способ по п.22, отличающийся тем, что функцию, используемую для сравнения окружения пикселя, определяют как
,
c
c
c
c
c
где I(x, y) обозначает интенсивность текущего пикселя с координатами x и y
r
r
r
r
r
I(x, y) обозначает интенсивность опорного пикселя с координатами x и y,
индекс i изменяется от  до  в направлении X,
индекс j изменяется от  до  в направлении Y,
n
σ - параметр гауссиана для управления весом пикселя в соответствии с его положением относительно положения текущего пикселя, причем пикселям, отдаленным от центрального пикселя, присваивают меньшие веса, чем пикселям, расположенным ближе к центральному пикселю, которым присваивают более высокие весовые значения, при этом нормирующий множитель вычисляют как
24. Способ по п.15, отличающийся тем, что оценку критерия сходимости выполняют по формуле
k
k-1
где d и d обозначают оценки диспарантности на k-й и (k-1)-й итерациях алгоритма,
dec1
T - пороговое значение для сходимости оценки диспарантности.
dec2
dec2
25. Способ по п.15, отличающийся тем, что оценку критерия сходимости осуществляют по формуле k≥T, где k - порядковый номер текущей итерации оценки диспарантности, T - пороговое значение для сходимости оценки диспарантности.
26. Способ по п.15, отличающийся тем, что постобработку диспарантности выполняют с использованием медианного фильтра.
27. Способ формирования виртуальных изображений из цветного изображения и соответствующей карты диспарантности/глубины при известных параметрах камеры, состоящий из следующих операций:
формируют модели виртуальных камер;
определяют функцию формирования виртуальных изображений;
оценивают параметры функции формирования виртуальных изображений;
формируют виртуальные изображения в соответствии с функцией формирования виртуальных изображений;
устраняют имеющиеся окклюзии на сформированных виртуальных изображениях.
28. Способ по п.27, отличающийся тем, что виртуальные камеры описывают в терминах матриц реальных камер и моделирование виртуальных камер выполняют по формуле G=P·V, где G - полная проекционная матрица для виртуальной камеры, P - проекционная матрица виртуальной камеры, причем матрицу P описывающую, каким образом трехмерная точка отображена на плоскость виртуального изображения, выводят из матрицы К реальной камеры; V представляет собой матрицу виртуальной камеры, причем матрицу V, определяющую положение и ориентацию виртуальной камеры в трехмерном пространстве относительно точки отсчета мировой системы координат, определяют на основании матрицы [R|t] реальной камеры.
29. Способ по п.28, отличающийся тем, что проекционную матрицу P виртуальной камеры определяют как
где N и F - передний и задний планы конуса обзора виртуальной камеры; L и R - координаты левой и правой границы плоскости виртуального изображения; T и B - координаты верхней и нижней границы плоскости виртуального изображения.
30. Способ по п.29, отличающийся тем, что параметры L, R, B и T матрицы P определяют в соответствии с параметрами внутренней матрицы K реальной камеры следующим образом:
,
,
где W - ширина изображения;
H - высота изображения;
0
0
(x, y) - координаты центра изображения на плоскости изображения;
x
y
(f, f) - фокусное расстояние, моделирующее фоточувствительный элемент прямоугольной формы.
31. Способ по п.28, отличающийся тем, что матрицу V виртуальной камеры определяют в соответствии с матрицей [R|t] реальной камеры как
,
где суб-матрицу R и вектор t берут от матрицы [R|t] реальной камеры, которая описывает ориентацию и положение камеры относительно точки отсчета мировой системы координат.
+
+
32. Способ по п.27, отличающийся тем, что функцию формирования виртуальных изображений представляют как Y=A+zBx, где вектор A (A=G·C) определяют как скалярное произведение проекционной матрицы G и вектора С координат центра камеры; матрицу B (B=G·M) определяют как скалярное произведение матрицы G и псевдообратной проекционной матрицы M реальной камеры;
x - однородный вектор, представляющий координаты пикселя в изображении реальной камеры, x=(x, y, 1);
z - скаляр, соответствующий значению глубины, полученный из карты диспарантности/глубины с координатой х;
Y - однородный вектор, представляющий координату пикселя на виртуальном изображении, Y=(x, y, z, 1); где третий элемент соответствует глубине пикселя.
33. Способ по п.32, отличающийся тем, что выполняют оценку параметров для функции формирования виртуальных изображений в форме предварительного вычисления матриц A и B для каждой виртуальной камеры.
34. Способ по п.27, отличающийся тем, что устранение дисокклюзий на сформированных виртуальных изображениях осуществляют в форме фильтрации окклюзий, при этом фильтр для пикселя I(х, y) виртуального изображения в прямоугольном окне с размером К в горизонтальном направлении и с размером L в вертикальном направлении представляют как
,
где I(x+i, y+j) - исходного пиксель изображения;
∈
I(x, y) - отфильтрованный пиксель;
W(x+i, y+j) - вес пикселя I(x+i, y+j).
35. Способ по п.34, отличающийся тем, что веса фильтра вычисляют как
,
pq
где ΔC- расстояние между точками p (x, y) и q (x+i, y+j) в цветовом пространстве;
pq
ΔJ - расстояние между точками p и q в области изображения,
pq
pq
f(ΔC, ΔJ) - функция вычисления веса пикселя изображения.
pq
pq
36. Способ по п.35, отличающийся тем, что функцию вычисления веса пикселя изображения f(ΔC, ΔJ) определяют как
,
1
2
где c и c - некоторые предопределенные значения, связанные с влиянием сглаживания и улучшения.
pq
37. Способ по п.35, отличающийся тем, что расстояние между точками в цветовом пространстве ΔC вычисляют как эвклидово расстояние.
pq
38. Способ по п.35, отличающийся тем, что расстояние между пикселями в области изображения ΔJ вычисляют как эвклидово расстояние.
39. Способ по п.34, отличающийся тем, что фильтр для устранения дисокклюзий вычисляют раздельно как
,
,
row
где I(x, y) представляет результат фильтрации, выполненной по строкам изображения;
∈
sep
I (x, y) - конечный результат фильтрации, выполненный по столбцам изображения.
40. Способ по п.34, отличающийся тем, что фильтр устранения окклюзии применяют k раз.
41. Способ по п.34, отличающийся тем, что размер ядра фильтра в горизонтальном направлении K и размер ядра фильтра в вертикальном направлении L определяют с помощью функции DKS(k), определяющей радиус ядра фильтра в соответствии с номером k итерации.
d
d
d
d
42. Способ по п.41, отличающийся тем, что функцию DKS(k) определяют, как DKS(k)=a·k+b, где порядковый номер итерации, a, b - линейные коэффициенты.