ТЕЛЕВИЗИОННЫЙ МНОГОРАКУРСНЫЙ СПОСОБ ПОЛУЧЕНИЯ, ПЕРЕДАЧИ И ПРИЕМА СТЕРЕОИНФОРМАЦИИ О НАБЛЮДАЕМОМ ПРОСТРАНСТВЕ С ЕГО АВТОМАТИЧЕСКИМ ИЗМЕРЕНИЕМ. СИСТЕМА "ТРЕТИЙ ГЛАЗ"
TELEVISION MULTIVIEW METHOD OF ACQUIRING, TRANSMITTING AND RECEIVING STEREO INFORMATION ON MONITORED SPACE WITH AUTOMATIC MEASUREMENT THEREOF "THIRD EYE" SYSTEM

Предлагаемое изобретение относится к телевизионной технике, а именно к стереоскопическому телевидению (3D TV), и может быть использовано как техническое зрение в системах точного динамичного управления мобильными объектами, для широкого использования в вещательном 3D TV и Интернете, так и в разных областях культуры, науки и техники, где требуется информация о пространственных размерах наблюдаемого предметного пространства и находящихся в нем объектах.
Известны стереоскопические способы измерения дальности по измерению линейных параллаксов сопряженных точек в их изображениях в кадрах стереопары, основанные на функциональной зависимости:
<mrow><mi>L</mi><mo>=</mo><mi>f</mi><mrow><mo>(</mo><mrow><mi>F</mi><mo>;</mo><mtext> </mtext><mi>b</mi><mo>;</mo><mtext> </mtext><mi>Δ</mi><mi>l</mi></mrow><mo>)</mo></mrow><mo>,</mo><mtext> </mtext><mi>г</mi><mi>д</mi><mi>е</mi><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow>
L - дальность до наблюдаемой точки;
F - фокусное расстояние объективов стереосистемы;
b - база стереосистемы;
Δl - линейный параллакс между сопряженными изображениями наблюдаемой точки в кадрах стереопары.
В качестве аналога выбран «Способ автоматизированного измерения координат внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения» [1]. Способ предназначен для использования в человеко-машинном комплексе, содержащем систему технического зрения, состоящую из телевизионного стереоблока, сопряженного с ПЭВМ, дисплея для визуализации изображения и устройства управления перемещением курсора. Измеряемая точка наблюдаемой сцены указывается с помощью курсора на экране дисплея, а ее три пространственные координаты вычисляются автоматически с использованием программы на ПЭВМ и визуализацией на экране дисплея. Недостатками данного способа являются: удвоение видеопотока для передачи кадров стереопары, измерение координат только статических предметных точек сцены, необходимость участия оператора в выборе и измерении множества точек объекта для вычисления его геометрической модели.
В качестве прототипа выбран способ с использованием так называемого формата 2D+Z «Цифровое 3D-телевидение», Теле-Спутник, июнь, 2010 [2].
Техническая реализация 3D-трансляции этим способом осуществляется сопоставлением любому обычному (2D) изображению информации об удаленности каждого пиксела от наблюдателя (Z-координата). Такое представление изображения называют « формат 2D+Z », а плоскость координат Z - «картой глубины». Это позволяет осуществить передачу стереоскопического видео с увеличением потока данных всего на 25-30%. Карта представляется в виде монохромного изображения, в котором градациями серого обозначается удаленность предметных точек от наблюдателя. При этом для расчета карты используется алгоритм анализа различий между двумя каналами видеосъемки. Полученные видеопотоки канала полного разрешения и синхронизированный с ним видеопоток монохромного изображения карты глубины Z по двум каналам связи передаются на приемную сторону.
Для реконструкции объемного изображения необходимо выполнить расчет серии кадров. Восстановление стереоскопического изображения происходит путем интерполяции исходного изображения с учетом карты глубины. Полученная серия кадров моделирует 3D-видео и затем демонстрируется на любом стереодисплее.
К основным недостаткам данного способа можно отнести необходимость применения сложных алгоритмов, требующих анализа кадровых изображений и больших вычислительных ресурсов, что увеличивает инерционность систем. Такой способ в основном применим для получения и воспроизведения только субъективных стереоскопических изображений. При такой технологии автоматическое измерение предметного пространства в реальном времени практически не реально. Достаточно проблематично применение такого способа в навигационных системах и системах управления транспортными средствами, в т.ч. дистанционного и автоматического управлений при работе в разных средах и в реальном времени.
Для определения образа всего предметного пространства с его измерением необходимо произвести расчет всех или большинства изображений предметных точек в кадрах стереопары. В известных способах реконструкции объекта по изображениям стереопары каждую измеряемую точку определяют с участием оператора, что требует много времени и может применяться только для статических изображений, например, в картографии при обработке на стереокомпараторе стереоснимков, выполненных аэрофотосъемкой.
Для автоматизации этого процесса было предложено много алгоритмов [3,4]. Однако задача эта очень сложна и, по-видимому, еще далека от решения: анализ стереопары предполагает наличие в памяти ЭВМ весьма обширных знаний о мире, без которых расшифровка стереопары в общем случае маловероятна. [5]
Целью предлагаемого способа является создание телевизионной стереосистемы на базе существующей телевизионной техники, в инвариантной системе отсчета, независимой от предметного пространства, его автоматическое измерение в реальном времени с минимально необходимым и достаточным объемом информации, передаваемой по каналу связи для использования в системах высокоточного управления и для показа объемных изображений в расширенной комфортной зоне наблюдения. Предлагаемый способ основан на зависимости (1), в которой все величины постоянны, кроме значения линейного параллакса, поэтому ее можно представить в виде:
<mrow><mi>L</mi><mo>=</mo><mi>K</mi><mtext> </mtext><mi>Δ</mi><mi>l</mi></mrow>
,
где K - приборная передаточная функция конкретной стереосистемы.
Значение K для системы измеряется на метрологическом стенде по трехмерной калиброванной сцене и является постоянной величиной, учитывающей все особенности данной конструкции передающей стереотелевизионной видеокамеры.
Основной задачей для отображения и измерения трехмерного наблюдаемого предметного пространства остается измерение линейного параллакса в единицах, совместимых с используемой в системе метрикой.
Поставленная цель достигается тем, что для осуществления предлагаемого изобретения стереотелевизионная съемка осуществляется синхронизированной многоракурсной стереотелевизионной системой с симметрично центрированной пространственной структурой расположения видеокамер, оптические оси которых параллельны друг другу и расположены в одной плоскости, формированием карты глубины по измерениям мгновенных временных параллаксов между сигналами от изображений каждой точки предметного пространства и сопряженными с ним сигналами от их изображений в ракурсных строчных сигналах скоростью строчной развертки в сравнительной структуре строчных оперативно запомненных видеосигналов от одновременно наблюдаемой линии предметного пространства и построенной в единой временной системе отсчета с началом, задаваемым строчным синхроимпульсом стереосистемы, причем распознавание сопряженных сигналов осуществляется по подобию их расположения в сравнительной структуре строчных видеосигналов пространственной структуре расположения видеокамер и равенству уровня сопряженных сигналов в ракурсных видеокамерах с сигналом в центральной, с последующей передачей в канал связи видеосигналов полного разрешения и синхронизированных с ним сигналов карты глубины через приемное устройство на вычислительный блок, обеспечивающего реконструкцию строчных ракурсных видеосигналов сдвигом сигналов центральной видеокамеры на соответствующие временные параллаксы для построения стереокадров и многоракурсного воспроизведения объемных изображений на стереодисплеях, а покадровым анализом - построение пространственного цифрового образа предметного пространства с вычислением координат и динамических характеристик составляющих его объектов, необходимых для информационного обеспечения управляющих систем.
На Рис. 1 обозначено:
1. Строчный синхроимпульс, определяющий общую точку отсчета при измерении временных расстояний и временных интервалов - параллаксов;
2. Сигналы, передаваемые через канал связи;
3. Вычислительный блок;
4. Стереодисплей;
A и B - предметные точки в разных зонах наблюдения; b - общая база стереокамеры;
Ол; Оц; Оп - центральные точки объективов стереокамеры;
A'л; A'ц; A'п; B'л; B'ц; B'п - изображения предметных точек на видеоматрицах;
ΔB'л=ΔB'п - симметричные относительно точки B'ц линейные параллаксы;
0
t - общая точка отсчета временных расстояний и интервалов, задаваемая строчным синхроимпульсом;
<mrow><msubsup><mi>t</mi><mi>Л</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup></mrow>
<mrow><msubsup><mi>t</mi><mi>Ц</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup></mrow>
<mrow><msubsup><mi>t</mi><mi>П</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup></mrow>
;
;
- временные расстояния от строчного синхроимпульса до сигналов от изображений предметной точки B в левой, центральной и правой видеокамерах, измеренные скоростью развертки;
<mrow><msubsup><mi>τ</mi><mi>Л</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup></mrow>
<mrow><msubsup><mi>τ</mi><mi>П</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup></mrow>
;
; - временные параллаксы для изображения предметной точки B, измеренные скоростью развертки;
<mrow><msubsup><mi>J</mi><mi>Л</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><mo>=</mo><msubsup><mi>J</mi><mi>Ц</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><mo>=</mo><msubsup><mi>J</mi><mi>П</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup></mrow>
- уровни сигналов от изображений «B'» предметной точки «B» в левой, центральной и правой видеокамерах.
Телевизионный способ передачи плоских двумерных изображений наблюдаемого предметного пространства в формате 2D широко используется как в вещательных, так и в промышленных целях. Передача объемных изображений в формате 3D оказалась достаточно не тривиальной и пока не имеет приемлемого технического решения для широкого применения. Стереоскопические кино и фото съемки известны давно, но используемые для этого способы мало подходят для телевизионной передачи динамических изображений в реальном времени. Принцип объемного восприятия человеком или животного с бинокулярным зрением наблюдаемого предметного пространства заключается в одновременном сравнительном анализе головным мозгом двухмерных изображений в обоих глазах. Сложность заключается в том, что изображения каждой точки наблюдаемого предметного пространства, полученные с разных ракурсов, отличаются друг от друга своим пространственным положением в самих изображениях, представляющих собой кадры стереопары. Эти изображения предметных точек в кадрах стереопары называют сопряженными, а их пространственное отличие параллаксом. Величина параллакса характеризует дальность до этой точки и дает возможность ее оценить и даже измерить. Однако, поскольку дальности до разных точек наблюдаемого пространства произвольные и постоянно меняются при любых движениях находящихся в них объектов, то и значения параллаксов постоянно меняются как по величине, так и их положению в изображениях. У человека и животных эта задача восприятия сознанием окружающего предметного пространства решается головным мозгом совместно с аппаратом бинокулярного зрения.
Целью предлагаемого изобретения является автоматическое распознавание сопряженных точек, их пространственное положение в телевизионных кадрах стереопары и измерение их параллаксов в общей пространственно-временной системе координат и метрикой. Формирование стереотелевизионного потока видеосигналов добавлением к передаваемым сигналам цветности синхронизированного параллаксного сигнала дальности. Использование полученного на приемной стороне информационного потока в системах управления и для реконструкции параллаксным сигналом второго кадра стереопары для воспроизведения на стереодисплее.
Для реализации способа вначале формируют пространственную симметрично-центрированную структуру стереосистемы. Для этого оптические оси центральной - полного разрешения и боковых - ракурсных, симметрично расположенных видеокамер выставляют в одной плоскости и параллельно друг другу. Управление камерами синхронизируют общим блоком развертки. Этим обеспечивается одновременное считывание видеокамерами одной и той же линии предметного пространства и сопряженность всех строк в единой временной системе отсчета создаваемой общим блоком развертки. Затем для нахождения в одновременно считанных строках, сопряженных с центральным сигналом боковых - ракурсных сигналов, строчные видеосигналы оперативно запоминаются и сравниваются по их строчному синхроимпульсу. В полученной сравнительной строчной структуре благодаря симметрично центрированной пространственной установке видеокамер боковые - ракурсные видеосигналы будут располагаться симметрично относительно центрального сигнала, при этом будет иметь место равенство линейных интервалов:
<mrow><mi>Δ</mi><mi>B</mi><mo>'</mo><mi>л</mi><mo>=</mo><mi>Δ</mi><mi>B</mi><mo>'</mo><mi>п</mi><mtext> </mtext><mo>,</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow>
являющееся пространственным топологическим признаком сопряженности для распознавания сигналов. Принимая за рабочую гипотезу равенство сигналов от изображаемой предметной точки во всех видеокамерах, получаем равенство:
<mrow><msubsup><mi>J</mi><mi>Л</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><mo>=</mo><msubsup><mi>J</mi><mi>Ц</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><mo>=</mo><msubsup><mi>J</mi><mi>П</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><msubsup><mi>J</mi><mrow /><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>3</mn><mo stretchy="false">)</mo></mrow>
По этим отличительным признакам (2,3) вычислительный блок распознает комбинацию симметрично расположенных и равных боковых - ракурсных сигналов, сопряженных с центральным - ведущим сигналом, и измеряет скоростью строчной развертки временной параллакс между ними
<mrow><msubsup><mi>τ</mi><mi>Л</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><mo>=</mo><msubsup><mi>τ</mi><mi>П</mi><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><mo>=</mo><msubsup><mi>τ</mi><mrow /><mrow><mi>B</mi><mo>'</mo></mrow></msubsup><mo>.</mo><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mtext> </mtext><mo stretchy="false">(</mo><mn>4</mn><mo stretchy="false">)</mo></mrow>
Полученные значения временных параллаксов для всех видеосигналов центральной - ведущей видеокамеры полного разрешения формата 2D, представляющие собой строчные сигналы дальности в формате временных параллаксов, синхронно с полным видеосигналом передаются в канал связи в формате 2D+Z.
На приемной стороне по полученной информации формируется пространственный цифровой образ предметного пространства с вычислением координат и динамических характеристик составляющих его объектов по функциональной зависимости дальности от относительного расположения видеокамер, текущего значения фокусных расстояний объективов видеокамер и временных характеристик развертки для их использования в навигационных системах и системах управления.
Для реконструкции кадров стереопары и их многоракурсного воспроизведения объемного изображения на растровом стереодисплее, видеосигналы полного разрешения в каждой строке пространственно смещаются на линейную величину, определяемую собственной скоростью строчной развертки и соответствующим значением временного параллакса. Представление сигналов дальности в формате временных параллаксов обеспечивает совместимость со всеми приемными устройствами, имеющими такой же вид развертки с собственными скоростями развертки, сопряженными с собственными линейными размерами экранов.
Кроме того, при использовании растрового способа воспроизведения за счет небольшого увеличения числа боковых видеокамер можно значительно увеличить зону комфортного наблюдения объемных изображений.
ЛИТЕРАТУРА
1. RU 2065133 C 1. Способ автоматизированного измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения.
2. Цифровое 3D-телевидение (Варианты построения системы объемной визуализации).
76/announce/l4.html.
3. Энциклопедия физики и техники. «Стереоскопическое изображение»,
http://www.articles/part_2/3889.html.
4. RU 2192104 C2, 27.10.2002 «Способ получения стереоскопических телевизионных изображений».
5. Математика стереоизображений. А.А. Веденов, М., 1991.