СЕТЕВАЯ СИСТЕМА ФОРМИРОВАНИЯ И ПЕРЕДАЧИ ИЗОБРАЖЕНИЯ
NETWORK SYSTEM FOR FORMING AND TRANSMITTING IMAGES

Изобретение относится к аудиовизуальным системам, системам связи и к компьютерным сетям. Наиболее целесообразно его использовать в конструкциях систем наблюдения за удаленными объектами, в частности, для технологических и охранных целей, с помощью видеокамер высокой четкости и трансляции изображений по сети Ethernet.
Известна сетевая система формирования и передачи изображения (ССФПИ), содержащая видеокамеру, оснащенную блоками сжатия и хранения наблюдаемого изображения, подключенную к информационной сети (JP 2003134362, H04N 5/765, 5/225, 5/781, 5/915, 5/92, 7/18, 2003). Для межкадрового и внутрикадрового кодирования видеоинформации ССФПИ дополнительно оборудована узлом адаптивного управления режимами формирования и хранения видеоинформации с учетом пропускной способности используемого канала связи (US 2002003576, H04N 5/765, 5/225, 5/76, 5/77, 5/907, 5/781, 5/92, 7/14, 7/24, 7/26, 9/79, 9/804, 2002; JP 2004357206, H04N 7/18, 2004). На выходе канала обработки информации данной группы ССФПИ может быть установлен интерфейс для подключения видеокамеры к сети Ethernet (CN 1494317, H04L 29/06, H04N 1/41, 5/225, 7/26).
Однако в данных ССФПИ отсутствует возможность апертурной коррекции, а также коррекции чувствительности, цветопередачи и яркости.
Известна также ССФПИ, содержащая блок видеокамер, связанный через коммутатор, выполненный с возможностью переключения видеоизображения, в соответствии с командой от удаленного пользователя, с блоком компрессии изображения, средство приема команды от удаленного пользователя, выходное устройство, связанное с коммутатором, которое подает на выход требуемые скоммутированные сжатые видеоизображения для приема их пользователями с выходного устройства (RU 2219677, H04N 7/10, 7/14, 2003).
Недостаток данной ССФПИ состоит в невозможности управления техническими характеристиками изображения (яркостью, усилением, цветопередачей изображения, экспозицией и др.).
Наиболее близкой к заявляемой по технической сущности и достигаемому результату является ССФПИ, состоящая из фотоэлектрического датчика (ФЭД) изображения, выход которого подключен к информационному каналу, включающему последовательно соединенные буфер строк, блок обработки изображения, блок компрессии, Ethernet-преобразователь и приемопередатчик, и канала управления, включающего буфер информации управления, микропроцессор и контроллер, причем выход фотоэлектрического датчика изображения подключен к входу буфера строк, двунаправленный порт приемопередатчика подключен к сети Ethernet, управляющий выход приемопередатчика подключен к входу буфера информации управления, выход буфера информации управления подключен к первому входу микропроцессора, первый выход микропроцессора соединен с входом контроллера, второй выход микропроцессора соединен с управляющим входом фотоэлектрического датчика изображения, третий выход микропроцессора связан с управляющим входом блока обработки изображения, информационным вход блока компрессии подключен к первому выходу контроллера, а управляющий вход блока компрессии подключен к четвертому выходу микропроцессора (US 2005/0140787, H04N 5/225, 2005; JP 2006148862, H04N 5/225, 7/18, 2006).
Недостаток прототипа заключается в неэффективном использовании пропускной способности сети Ethernet из-за неоптимальной компрессии передаваемых данных. Кроме того, конструктивное решение прототипа является сложным и неоптимальным в отношении организации хранения и обработки видеоинформации.
Решаемой технической задачей является оптимизация использования пропускной способности используемой сети для повышения качества передачи изображения.
Решение указанной технической задачи заключается в том, что в ССФПИ, состоящую из ФЭД изображения, выход которого подключен к информационному каналу, включающему последовательно соединенные буфер строк, блок обработки изображения, блок компрессии, Ethernet-преобразователь и приемопередатчик, и канала управления, включающего буфер информации управления, микропроцессор и контроллер, причем выход ФЭД подключен к входу буфера строк, двунаправленный порт приемопередатчика подключен к сети Ethernet, управляющий выход приемопередатчика подключен к входу буфера информации управления, выход буфера информации управления подключен к первому входу микропроцессора, первый выход микропроцессора соединен с входом контроллера, второй выход микропроцессора соединен с управляющим входом ФЭД, а третий выход микропроцессора связан с управляющим входом блока обработки изображения, вносятся следующие изменения:
1) буфер строк выполнен в виде FIFO стека для последовательного обновления хранящихся в нем строк кадра изображения, что в данном случае упрощает схему управления доступом к памяти;
2) первый выход контроллера соединен с управляющим входом блока компрессии (в прототипе первый выход контроллера соединен с информационным входом блока компрессии), что имеет следствием выполнение контроллером новой функции вычисления коэффициента компрессии и его передачу для отработки блоком компрессии с разгрузкой микропроцессора от выполнения этой функции для выполнения им расчетов по обработке изображения;
3) второй выход контроллера соединен с управляющим входом приемопередатчика с образованием местной обратной связи для настройки соотношения длительностей приема, передачи и отключения приемопередатчика, то есть для оптимизации использования сети Ethernet;
4) выход блока обработки изображения, несущий информацию о яркости последнего, связан со вторым входом микропроцессора для управления режимными параметрами работы ФЭД (коэффициентом усиления выходного сигнала, экспозицией, размером диафрагмы).
В этом и заключается причинно-следственная связь внесенных изменений с достигнутым техническим результатом.
Для удобства эксплуатации ССФПИ может быть дополнительно оснащена блоком ориентирования ФЭД в пространстве, вход которого подключен к третьему выходу контроллера, а выход данного блока подключен к входу управления перемещением фотоэлектрического датчика (п.2 формулы).
ФЭД ССФПИ может быть оснащен объективом и блоком управления фокусировкой, вход которого подключен к четвертому выходу контроллера, что позволяет автоматизировать процесс фокусировки (п.3 формулы).
ФЭД ССФПИ может быть дополнительно оснащен диафрагмой с регулируемым отверстием и блоком управления открытием диафрагмы, вход которого подключен к пятому выходу контроллера, а выход данного блока подключен к входу управления диафрагмой (п.4 формулы), что значительно расширяет диапазон возможной освещенности принимаемого изображения.
Блок компрессии и Ethernet-преобразователь могут быть выполнены многоканальными для передачи изображений с различными характеристиками (вплоть до использования различных схем компрессии) нескольким пользователям (п.5 формулы).
Целесообразно выполнение микропроцессора с дополнительным портом для подключения одного или более датчиков внешней среды (охранной и пожарной сигнализации, технологических параметров наблюдаемого объекта и т.п.), что при соответствующем программном обеспечении микропроцессора позволяет использовать ССФПИ в составе информационно-сервисной системы охранного или технологического назначения (п.6 формулы).
При техническом осуществлении предлагаемой ССФПИ целесообразно использовать ФЭД цветного или монохромного изображения, выполненные на основе ПЗС-матрицы или КМОП-сенсора.
Для работы с ФЭД цветного изображения блок обработки изображения может включать схемы измерения яркости и интенсивности цветовых компонент изображения, а также последовательно соединенные по направлению передачи информации модуль интерполяции и апертурной коррекции в RGB-пространстве, информационный вход которого служит входом блока обработки изображения, модуль цветокоррекции, RYB-преобразователь, модуль регулирования баланса белого и YUV-преобразователь, причем к выходу YUV-преобразователя, используемому в качестве выхода блока обработки изображения, дополнительно подключены входы схем измерения яркости и интенсивности цветовых компонент изображения, при этом выход схемы измерения интенсивности цветовых компонент подключен к порту обратной связи модуля регулирования баланса белого, а управляющие входы модулей интерполяции и апертурной коррекции, цветокоррекции и регулирования баланса белого подключены к соответствующим портам третьего выхода микропроцессора, как это выполнено в прототипе. Однако в этом случае более целесообразным является выполнение блока обработки изображения, состоящего из схемы измерения яркости и интенсивности цветовых компонент изображения, а также последовательно соединенных по направлению передачи информации модуля интерполяции, апертурной и гамма-коррекции в RGB-пространстве, информационный вход которого служит входом блока обработки изображения, модуля цветокоррекции, модуля регулирования баланса белого, насыщенности и цветового тона и YUV-преобразователя, причем к выходу YUV-преобразователя, используемому в качестве выхода блока обработки изображения, дополнительно подключены входы схем измерения яркости и интенсивности цветовых компонент изображения, при этом выход схемы измерения яркости соединен со вторым входом микропроцессора, выход схемы измерения интенсивности цветовых компонент подключен к порту обратной связи модуля регулирования баланса белого, насыщенности и цветового тона, а управляющие входы модуля интерполяции, апертурной и гамма-коррекции, цветокоррекции и регулирования баланса белого, насыщенности и цветового тона подключены к соответствующим портам третьего выхода микропроцессора (п.7 формулы). В предлагаемом варианте исполнения дополнительно введены цепи регулирования экспозиции, насыщенности и цветового тона, что улучшает качество формируемого изображения. Кроме того, достигнуто упрощение конструкции за счет изъятия RYB-преобразователя, что стало возможным благодаря тому, что регулирование баланса белого, насыщенности и цветового тона выполняется непосредственно в цветовом пространстве RGB и известной возможности RGB/YUV-преобразования (см., например: Быков Р.Е. Теоретические основы телевидения. СПб.: Лань, 1998, с.184-187).
Для формирования передаваемого в Ethernet изображения в виде последовательности цветовых компонент при работе с фотоэлектрическим датчиком цветного изображения блок обработки изображения содержит включенные последовательно по направлению передачи изображения модуль апертурной и гамма-коррекции, модуль цветокоррекции и схему измерения яркости, при этом выход модуля цветокоррекции подключен к информационному входу блока компрессии, выход схемы измерения яркости соединен со вторым входом микропроцессора, а управляющие входы модуля апертурной и гамма-коррекции и модуля цветокоррекции подключены к соответствующим портам третьего выхода микропроцессора (п.8 формулы). Данный вариант целесообразен при ограниченной пропускной способности используемой сети Ethernet. Здесь имеет место 2-кратное снижение объема передаваемой информации, однако требуется время для окончания обработки сигнала на приемной стороне.
При работе с фотоэлектрическим датчиком монохромного изображения блок обработки изображения еще более упрощается. Он содержит включенные последовательно по направлению передачи изображения модуль апертурной и гамма-коррекции и схему измерения яркости, при этом выход модуля апертурной и гамма-коррекции подключен к информационному входу блока компрессии, выход схемы измерения яркости соединен со вторым входом микропроцессора, а управляющий вход модуля апертурной и гамма-коррекции подключен к третьему выходу микропроцессора (п.9 формулы).
При технической реализации многофункциональных блоков (например, модуля интерполяции, апертурной и гамма-коррекции) следует иметь в виду, что в настоящем описании под многофункциональными блоками объединены соответствующие известные функциональные схемы (в приведенном примере указанный модуль состоит из схемы RGB-интерполяции цвета, схемы апертурной коррекции и схемы гамма-коррекции).
Блок компрессии может быть выполнен на базе микросхемы HDCP-2010 (Agilent Image Processing Chip).
В качестве микропроцессора целесообразно использовать микросхемы AT91SAM7S128, AT91SAM7S64, AT91SAM7X128 (Atmel Corp.) и т.п.
Возможно также выполнение всех блоков ССФПИ, кроме ФЭД, Ethernet-приемопередатчика и исполнительных элементов, на базе одной программируемой логической интегральной схемы, например, ЕР3С10АТС144 (Altera Corp.).
На фиг.1 приведена обобщенная блок-схема предлагаемой ССФПИ. Ее структурные элементы первого уровня (ФЭД, информационного канала и канала управления) выделены цветом заливки. Информационные связи окрашены серым, а связи управления - черным цветом. Факультативные элементы и связи (в соответствии с дополнительными пунктами формулы) указаны пунктиром.
На фиг.2÷4 приведены варианты выполнения блока обработки изображения ССФПИ.
ССФПИ (фиг.1) состоит из ФЭД 1, выход которого подключен к информационному каналу, включающему последовательно соединенные буфер 2 строк, блок 3 обработки изображения, блок 4 компрессии, Ethemet-преобразователь 5 и приемопередатчик 6, и канала управления, включающего буфер 7 информации управления, микропроцессор 8 и контроллер 9. Выход ФЭД 1 подключен к входу буфера 2 строк, двунаправленный порт приемопередатчика 6 подключен к сети Ethernet, управляющий выход приемопередатчика 6 подключен к входу буфера 7 информации управления, выход буфера 7 информации управления подключен к первому входу микропроцессора 8, первый выход микропроцессора 8 соединен с входом контроллера 9, второй выход микропроцессора 8 соединен с управляющим входом ФЭД 1, а третий выход микропроцессора 8 связан с управляющим входом блока 3 обработки изображения. Буфер 2 строк выполнен в виде FIFO стека. Первый выход контроллера 9 соединен с управляющим входом блока 4 компрессии, второй выход контроллера 9 соединен с управляющим входом приемопередатчика 6 с образованием местной обратной связи для настройки соотношения длительностей приема, передачи и отключения приемопередатчика, а выход блока 3 обработки изображения, несущий информацию о яркости последнего, связан со вторым входом микропроцессора 8 для управления режимными параметрами работы ФЭД 1.
Принимаемый ФЭД 1 световой поток преобразуется им в электрический сигнал цветного изображения, пропорциональный интенсивности данного светового потока. При этом аналого-цифровой преобразователь, встроенный в ФЭД 1, передает для запоминания в буфер 2 строк последовательность цифровых данных, соответствующих отсчетам сигналов от элементарных ячеек фоточувствительной области ФЭД 1. Организация буфера 2 строк в виде FIFO стека позволяет хранить в нем принятое изображение построчно с выталкиванием наиболее ранних из принятых данных, в чем и состоит реализация принципа обновления информации с согласованием скорости ее поступления со скоростью дальнейшей обработки в информационном канале. С выхода буфера 2 строк данные поступают в блок 3 обработки изображения, в котором выполняются операции интерполяции цвета в RGB-пространстве, апертурной коррекции, гамма-коррекции, цветовой коррекции, регулирования баланса белого, насыщенности, а также цветового тона. В данном варианте исполнения сигнал на выходе блока 3 преобразован в цветовое пространство YUV, что требуется для последующей компрессии блоком 4 данной информации, передаваемой в него с первого выхода блока 3. Параллельно в блоке 3 происходит измерение яркости изображения, информация о которой передается со второго выхода блока 3 на второй вход микропроцессора 8 для осуществления автоматического регулирования усиления и экспозиции. Эта информация может использоваться также для осуществления управления положением диафрагмы по яркости. Подробнее устройство и работа блока 3 обработки изображения поясняются ниже.
В блоке 4 осуществляется компрессия данных изображения в соответствии с используемым стандартом. В данном примере блок 4 компрессии выполнен согласно стандарту JPEG.
Сжатые блоком 4 данные поступают к Ethernet-преобразователю 5, который упаковывает их в транспортные пакеты, передаваемые приемопередатчиком 6 по сети Ethernet. Приемопередатчик 6 осуществляет также прием пакетов от удаленного оператора по сети Ethernet и передает их на обработку и хранение в буфер 7 информации управления, из которого она поступает на первый вход микропроцессора 8 для анализа при формировании команд управления ФЭД, уровнем усиления сигналов изображения и экспозицией. Часть вычислительных операций, а также управляющих функций переложена на контроллер 9. Это позволяет разгрузить микропроцессор 8 от непосредственного расчета команд управления. В варианте по п.1 формулы с первого выхода контроллера 9 подаются команды управления блоком 4 компрессии, а с его второго выхода - команды управления приемопередатчиком 6. Возможен вариант исполнения с использованием третьего входа микропроцессора 8 для подключения к нему одного или нескольких датчиков внешней среды. В этом случае ССФПИ фактически представляет собой информационно-сервисную систему. В частности, при подключении к микропроцессору 8 по третьему входу датчика охранно-пожарной сигнализации, дополнительного ФЭД наружного наблюдения или контроля параметров технологического процесса достигается комплексная автоматизация соответствующей деятельности.
На фиг.1 пунктиром показаны дополнения, которые могут быть внесены согласно пп.2÷4 формулы:
1) ССФПИ дополнительно оснащена блоком 10 ориентирования фотоэлектрического датчика в пространстве, вход которого подключен к третьему выходу контроллера, а выход - к входу управления перемещением фотоэлектрического датчика для автоматизации процесса наблюдения с помощью ФЭД 1, в том числе по команде из сети Ethernet;
2) при использовании ФЭД 1, оснащенного объективом и блоком управления фокусировкой, вход последнего подключен к четвертому выходу контроллера;
3) при использовании ФЭД 1, оснащенного диафрагмой с регулируемым отверстием и блоком управления открытием диафрагмы, вход последнего подключен к пятому выходу контроллера (реализованная при этом система автоматического управления может дополнительно использовать информацию о яркости изображения, что отмечено выше).
В возможном варианте ССФПИ с ФЭД 1 цветного изображения (фиг.2) блок 3 обработки изображения включает схемы 11 и 12 измерения яркости и интенсивности цветовых компонент изображения соответственно, а также последовательно соединенные по направлению передачи информации модуль 13 интерполяции, апертурной и гамма-коррекции в RGB-пространстве, информационный вход которого служит входом блока 3 обработки изображения, модуль 14 цветокоррекции, модуль 15 регулирования баланса белого, насыщенности и цветового тона и YUV-преобразователь 16. К выходу YUV-преобразователя 16, используемому в качестве выхода блока 3 обработки изображения, дополнительно подключены входы схемы 11 измерения яркости и схемы 12 измерения интенсивности цветовых компонент изображения. Выход схемы 11 измерения яркости соединен со вторым входом микропроцессора 8, выход схемы 12 измерения интенсивности цветовых компонент подключен к порту обратной связи модуля 15 регулирования баланса белого, насыщенности и цветового тона, а управляющие входы модуля 13 интерполяции, апертурной и гамма-коррекции, модуля 14 цветокоррекции и модуля 15 регулирования баланса белого, насыщенности и цветового тона подключены к соответствующим портам третьего выхода микропроцессора 8.
Данные цветного изображения поступают с выхода буфера 2 строк на вход модуля 13. После процедуры матричной интерполяции цвета каждого элемента изображения по отсчетам соседних элементов выполняется апертурная коррекция изображения путем последовательной высокочастотной двухкоординатной фильтрации изображения фильтром высоких частот, что позволяет устранить размытие контуров наблюдаемых объектов, вносимых оптикой. Затем производится гамма-коррекция изображения фильтром с нелинейной характеристикой для компенсации нелинейного воспроизведения яркости монитора. Далее данные изображения поступают в модуль 14 цветокоррекции, где производится матричное умножение цветовых составляющих отдельных элементов изображения на корректирующие коэффициенты для повышения точности цветопередачи. С выхода модуля 14 данные поступают на вход модуля 15 регулирования баланса белого, насыщенности и цветового тона, где производятся матричные операции с отдельными цветовыми компонентами для компенсирования влияния различных типов осветителей, оптических цветовых искажений и получения цветного изображения, удобного наблюдателю. С выхода блока 15 данные изображения поступают на YUV-преобразователь 16, в котором происходит преобразование изображение из RGB цветового пространства в цветовое пространство YUV с выделением яркостной и цветоразностных составляющих сигналов, которые на выходе блока 16 измеряются схемами 11 и 12 в отношении яркости и интенсивности цветовых компонент изображения соответственно. Сигнал интенсивности цветовых компонент с выхода схемы 12 поступает на порт обратной связи модуля 15, что, при необходимости, позволяет автоматически регулировать баланс белого. С выхода схемы 11 сигнал уровня яркости поступает на второй вход микропроцессора 8.
В варианте фиг.3, предназначенном для формирования передаваемого в Ethernet изображения в виде последовательности цветовых компонент с помощью ФЭД 1 цветного изображения, блок 3 обработки изображения содержит включенные последовательно по направлению передачи изображения модуль 17 апертурной и гамма-коррекции, модуль 14 цветокоррекции и схему 11 измерения яркости. Выход модуля 14 цветокоррекции подключен к информационному входу блока 4 компрессии, выход схемы 11 измерения яркости соединен со вторым входом микропроцессора 8, а управляющие входы модуля 17 апертурной и гамма-коррекции и модуля 14 цветокоррекции подключены к соответствующим портам третьего выхода микропроцессора 8. В отличие от варианта фиг.2, модуль 17 содержит только схемы апертурной и гамма-коррекции, матричные коэффициенты цветокоррекции модуля 14 настроены из расчета обработки неинтерполированного изображения, а схема 11 выделяет и измеряет сигнал яркости исходного изображения непосредственно в байеровском потоке, т.е. без RGB- и YUV-преобразований.
В варианте, предназначенном для работы с ФЭД 1 монохромного изображения (фиг.4), блок 3 обработки изображения содержит включенные последовательно по направлению передачи изображения модуль 17 апертурной и гамма-коррекции, выполненный, как на фиг.3, и схему 11 измерения яркости монохромного исполнения. При этом выход модуля 17 подключен к информационному входу блока 4 компрессии, выход схемы 11 соединен со вторым входом микропроцессора 8, а управляющий вход модуля 17 подключен к третьему выходу микропроцессора 8.
Монохромное изображение здесь подвергается апертурной и гамма-коррекции в модуле 17 и после измерения яркости схемой 11 подается на информационный вход блока 4 компрессии.
Использование предлагаемого технического решения позволяет оптимально использовать пропускную способность сети Ethernet путем адаптивного управления коэффициентом сжатия информации с учетом загруженности сети. Как проиллюстрировано приведенными примерами, повышение пропускной способности достигнуто также оптимизацией длительности режимов приема, передачи и отключения приемопередатчика и возможности ускорения обработки изображения за счет перераспределения функций микропроцессора и контроллера.
Положительным эффектом, производным от достигнутого, является возможность управления качеством передачи изображения, поскольку кадровая скорость и разрешающая способность настраиваются из расчета максимальной загрузки канала связи. В соответствующих случаях это обеспечивает повышение качества передаваемого изображения.
Другими видами достигнутого положительного результата являются:
- возможность синхронного представления разным потребителям видеоинформации различного качества и стандартов компрессии;
- использование ССФПИ как основы информационно-сервисных систем различного назначения (особенно в варианте с дополнительным подключением внешних датчиков);
- упрощение конструкции блока обработки изображения;
- регулирование насыщенности и цветового тона изображения.