ТЕРМИНАЛ, БЛОК МНОГОАДРЕСНОГО УПРАВЛЕНИЯ, СИСТЕМА И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ МНОГООКОННЫХ ИЗОБРАЖЕНИЙ ВЫСОКОЙ ЧЕТКОСТИ
TERMINAL, BLOCK OF MULTI-ADDRESS CONTROL, SYSTEM AND METHOD FOR GENERATION OF MULTI-WINDOW IMAGES OF HIGH DEFINITION

Область техники
Данное изобретение касается области видеоконференций, в частности терминала, блока многоадресного управления, системы и способа для формирования многооконных изображений высокой четкости.
Краткий обзор известного уровня техники
Применение многооконных изображений имеет преимущество предоставления большого объема информации и является очень широко распространенным в системах видеоконференцсвязи. В настоящее время видеоформатом, принятым для многооконных изображений, как правило, является формат стандарта серии Н.263, общий промежуточный формат (Common Intermediate Format, CIF) и формат 4CIF стандарта серии Н.264, и технологии многооконных изображений, внедряющие эти возможности видео, уже весьма развиты.
По мере непрерывного увеличения требований пользователей к качеству изображения многие производители оборудования для видеоконференций выпустили системы видео высокой четкости с разрешением 720р, 1080i, 1080р в серии Н.264, и использование этих форматов видео высокой четкости в приложениях многооконных изображений является целью, преследуемой каждым производителем оборудования. Однако способность кодирования и декодирования платы обработки видеосигналов в устройстве блока многоадресного управления (Multipoint Control Unit, MCU) должна быть значительно улучшена, если используется универсальный способ формирования многооконных изображений, чтобы могли быть выполнены требования к кодированию и декодированию многооконных изображений видео высокой четкости. Чтобы улучшить возможности кодека видеосигнала, производители устройств MCU должны затратить много времени и инвестировать много денежных средств, что однако недопустимо в условиях современной напряженной рыночной конкуренции.
Сущность изобретения
Техническая проблема, которая будет данным изобретением, - создать терминал, блок MCU, систему и способ для формирования многооконных изображений высокой четкости в многоточечной видеоконференции без необходимости значительного улучшения возможностей кодека видеосигналов в устройстве MCU.
Чтобы достигнуть вышеупомянутой цели, техническая схема данного изобретения реализована следующим образом:
способ формирования многооконных изображений высокой четкости включает следующие шаги:
прием терминалом набора возможностей, передаваемого блоком многоадресного управления (MCU), причем набор возможностей включает формат кодового потока видео высокой четкости, вычисленный блоком MCU согласно управляющей информации видеоконференции;
кодирование терминалом видеоизображения высокой четкости согласно формату кодового потока видео и передача кодового потока кодированного видео высокой четкости в блок MCU;
прием терминалом кодового потока многооконного видеоизображения высокой четкости, полученного после того, как блок MCU включает изображение из кодового потока видео высокой четкости в многооконное изображение, и отображение многооконного изображения видео высокой четкости.
При этом управляющая информация видеоконференции включает число изображений конференции, номер изображения терминала и информацию о том, видим ли терминал другими терминалами.
Терминал для формирования многооконных изображений высокой четкости содержит: приемный модуль, кодирующий модуль, передающий модуль и модуль отображения, причем:
приемный модуль используется для приема набора возможностей, передаваемого блоком многоадресного управления (MCU), причем набор возможностей содержит формат кодового потока видео высокой четкости, вычисленный согласно управляющей информации видеоконференции;
кодирующий модуль используется для кодирования видеоизображения высокой четкости согласно формату кодового потока видео высокой четкости в наборе возможностей, принимаемом приемным модулем;
передающий модуль используется для передачи в блок MCU кодового потока видео высокой четкости, кодированного кодирующим модулем;
модуль отображения используется для приема кодового потока многооконного видеоизображения высокой четкости, полученного после того, как блок MCU включает изображение из кодового потока видео высокой четкости в многооконное изображение, и отображения многооконного видеоизображения высокой четкости.
При этом управляющая информация видеоконференции содержит число изображений конференции, номер изображения терминала и информацию о том, видим ли терминал другими терминалами.
Способ формирования многооконных изображений высокой четкости включает следующие шаги:
вычисление блоком MCU формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачу набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал;
прием блоком MCU кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом;
включение блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости и передачи его в терминалы, принимающие участие в конференции.
Кроме того, управляющая информация видеоконференции включает число изображений конференции, номер изображения выбранного терминала и информацию о том, видим ли выбранный терминал другими терминалами.
Кроме того, когда выбранный терминал не видим другими терминалами согласно управляющей информации видеоконференции, шаг вычисления блоком MCU формата кодового потока видео высокой четкости представляет собой в частности: вычисление блоком MCU размера видео в качестве формата кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала;
шаг включения блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение представляет собой в частности: прямое включение блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение.
Кроме того, когда выбранный терминал видим другими терминалами согласно управляющей информации видеоконференции, шаг вычисления блоком MCU формата кодового потока видео высокой четкости представляет собой в частности: выбор блоком MCU первоначального размера видео текущего терминала в качестве формата кодового потока видео высокой четкости;
упомянутый шаг включения блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение представляет собой в частности: изменение блоком MCU масштаба принимаемого изображения кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала, и затем включение изображения с измененным масштабом в многооконное изображение.
Кроме того, в случае блока MCU, содержащего ведущий компонент MCU и ведомый компонент MCU, способ дополнительно включает:
вычисление ведущим компонентом MCU формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачу набора возможностей, содержащего формат кодового потока видео высокой четкости, в ведомый компонент MCU; передачу ведомым компонентом MCU набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал;
прием ведомым компонентом MCU кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом, и пересылку его в ведущий компонент MCU;
включение ведущим компонентом MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости и передачи его в терминалы, принимающие участие в конференции, посредством ведомого компонента MCU.
Блок многоадресного управления для формирования многооконных изображений высокой четкости содержит ведущий компонент MCU, который включает вычислительный модуль, передающий модуль, приемный модуль и синтезирующий модуль, причем:
вычислительный модуль используется для вычисления формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции;
передающий модуль используется для передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал; и передающий модуль также используется для передачи кодового потока многооконного видеоизображения высокой четкости, синтезируемого синтезирующим модулем, в терминалы, принимающие участие в конференции;
приемный модуль используется для приема кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом;
синтезирующий модуль используется для включения изображения кодового потока видео высокой четкости, принимаемого приемным модулем, в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости.
При этом управляющая информация видеоконференции включает число изображений конференции, номер изображения выбранного терминала и информацию о том, видим ли выбранный терминал другими терминалами.
Вычислительный модуль далее используется, когда выбранный терминал не видим другими терминалами согласно управляющей информации видеоконференции, для вычисления размера видео в качестве формата кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала;
соответственно, синтезирующий модуль далее используется для прямого включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение.
Вычислительный модуль далее используется, когда выбранный терминал видим другими терминалами согласно управляющей информации видеоконференции, для выбора первоначального размера видео выбранного терминала в качестве формата кодового потока видео высокой четкости;
соответственно, синтезирующий модуль далее используется для изменения масштаба изображения принимаемого изображения кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала, и включения затем изображения с измененным масштабом из кодового потока видео высокой четкости в многооконное изображение.
Блок MCU дополнительно содержит ведомый компонент MCU, соответственно,
ведущий компонент MCU используется для вычисления формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в ведомый компонент MCU; ведущий компонент MCU также используется для приема кодового потока видео высокой четкости, передаваемого в обратном направлении от ведомого компонента MCU, синтеза принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости;
ведомый компонент MCU используется для передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал, приема кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом, и пересылки его в ведущий компонент MCU; ведомый компонент MCU также используется для приема кодового потока многооконного видеоизображения высокой четкости, синтезируемого ведущим компонентом MCU, и передачи его в терминалы, принимающие участие в конференции.
Способ формирования многооконных изображений высокой четкости включает следующие шаги:
вычисление блоком MCU формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачу набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал;
кодирование, на основе формата кодового потока видео высокой четкости в наборе возможностей, выбранным терминалом видеоизображения высокой четкости и передача кодового потока кодированного видео высокой четкости в блок MCU;
включение блоком MCU согласно управляющей информации видеоконференции принимаемого изображения кодового потока видео высокой четкости в многооконное изображение для получения кодового потока многооконного видеоизображения высокой четкости и передачи его в терминалы, принимающие участие в конференции.
При этом управляющая информация видеоконференции включает число изображений конференции, номер изображения выбранного терминала и информацию о том, видим ли выбранный терминал другими терминалами.
Кроме того, когда выбранный терминал не видим другими терминалами согласно управляющей информации видеоконференции, шаг вычисления блоком MCU формата кодового потока видео высокой четкости представляет собой в частности: вычисление блоком MCU размера видео в качестве формата кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала;
шаг включения блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение представляет собой в частности: прямое включение блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение.
Кроме того, когда выбранный терминал видим другими терминалами согласно управляющей информации видеоконференции, шаг вычисления блоком MCU формата кодового потока видео высокой четкости представляет собой в частности: выбор блоком MCU первоначального размера видео терминала в качестве формата кодового потока видео высокой четкости;
упомянутый шаг включения блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение представляет собой в частности: изменение блоком MCU масштаба принимаемого изображения кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала, и затем включение изображения с измененным масштабом кодового потока видео высокой четкости в многооконное изображение.
Кроме того, в случае блока MCU, содержащего ведущий компонент MCU и ведомый компонент MCU, способ дополнительно включает:
вычисление ведущим компонентом MCU формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачу набора возможностей, содержащего формат кодового потока видео высокой четкости, в ведомый компонент MCU; передачу ведомым компонентом MCU набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал;
прием выбранным терминалом набора возможностей от ведомого компонента MCU, кодирование видеоизображения высокой четкости на основании формата кодового потока видео высокой четкости и передачу кодового потока кодированного видео высокой четкости в ведомый компонент MCU;
прием ведомым компонентом MCU кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом, и пересылку его в ведущий компонент MCU;
включение ведущим компонентом MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости и передачи его в терминалы, принимающие участие в конференции, посредством ведомого компонента MCU.
Система для формирования многооконных изображений высокой четкости содержит терминал и блок MCU, причем
блок MCU используется для вычисления формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал; блок MCU также используется для приема кодового потока видео высокой четкости, кодированного выбранным терминалом, и включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости и передачи его в терминалы, принимающие участие в конференции;
терминал используется для приема набора возможностей, передаваемого блоком MCU, и кодирования видеоизображения высокой четкости на основании формата кодового потока видео высокой четкости, и передачи кодового потока кодированного видео высокой четкости в блок MCU; терминал также используется для приема и отображения многооконного видеоизображения высокой четкости, синтезируемого блоком MCU.
При этом управляющая информация видеоконференции включает число изображений конференции, номер изображения выбранного терминала и информацию о том, видим ли выбранный терминал другими терминалами.
Блок MCU, когда выбранный терминал не видим другими терминалами согласно управляющей информации видеоконференции, далее используется для вычисления размера видео в качестве формата кодового потока видео высокой четкости согласно числу изображений в конференции и  номеру изображения выбранного терминала; блок MCU также используется для прямого включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение.
Блок MCU, когда выбранный терминал видим другими терминалами согласно управляющей информации видеоконференции, далее используется для выбора первоначального размера видео выбранного терминала в качестве формата кодового потока видео высокой четкости; блок MCU также используется для изменения масштаба принимаемого изображения кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала, и включения затем изображения с измененным масштабом из кодового потока видео высокой четкости в многооконное изображение.
Блок MCU содержит ведущий компонент MCU и ведомый компонент MCU, причем:
ведущий компонент MCU используется для вычисления формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в ведомый компонент MCU; ведущий компонент MCU также используется для приема кодового потока видео высокой четкости, передаваемого в обратном направлении от ведомого компонента MCU, включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости;
ведомый компонент MCU используется для передачи набора возможностей, содержащего формат кодового потока видео высокой четкости в выбранный терминал; ведомый компонент MCU также используется для приема кодового потока видео высокой четкости, кодированного выбранным терминалом, и пересылки его в ведущий компонент MCU; ведомый компонент MCU также используется для приема кодового потока многооконного видеоизображения высокой четкости, синтезируемого ведущим компонентом MCU, и передачи его в терминалы, принимающие участие в конференции;
соответственно, терминал также используется для приема набора возможностей, передаваемого ведомым компонентом MCU, и кодирования видеоизображения высокой четкости на основании формата кодового потока видео высокой четкости, и передачи кодового потока кодированного видео высокой четкости в ведомый компонент MCU; терминал также используется для приема и отображения многооконного видеоизображения высокой четкости, пересылаемого ведомым компонентом MCU.
Данное изобретение обеспечивает следующие преимущества по сравнению с известным уровнем техники.
1. В данном изобретении блок MCU используется для передачи набора возможностей в терминал, и терминал кодирует согласно формату видео высокой четкости, указанному в наборе возможностей, таким образом, возможности кодирования и декодирования терминала могут использоваться полностью, расходы на кодирование и декодирование в блоке MCU сокращаются, и решается проблема того, что существующий способ для реализации конференции с многооконными изображениями высокой четкости предъявляет слишком высокие требования к возможности кодека изображения блока MCU; одновременно, возникающая в течение конференции процедура, в которой оконечное устройство подстраивает формат передачи видеосигнала согласно повторному переключению возможности, соответствует стандартам протокола видеоконференции, поэтому блок MCU, использующий способ данного изобретения, может согласовывать свои действия с оконечным устройством любого производителя для реализации функции многооконных изображений высокой четкости, и таким образом имеет широкую область применения.
2. Когда терминал не видим другими терминалами, блок MCU вычисляет формат кодового потока видео высокой четкости и передает его в терминал, терминал кодирует его согласно формату и возвращает в блок MCU, и затем блок MCU прямо вставляет видеоизображение высокой четкости в соответствующие изображения, не делая каких-либо изменений формата, таким образом уменьшается нагрузка на блок MCU при кодировании и декодировании и достигается эффекта реализации конференции с многооконными изображениями высокой четкости с более низкими требованиями к возможности кодирования и декодирования, и экономии времени и расходов производителей на улучшение возможности кодека изображения.
3. Когда терминал видим другими терминалами, кодовые потоки передаются между блоком MCU и терминалом с использованием первоначального формата, таким образом удовлетворяя требование, состоящее в том, чтобы другие терминалы могли продолжать просматривать изображение с полной возможностью, даже если терминал не улучшает узлы кодирования видео высокой четкости.
4. Данное изобретение также позволяет реализовать систему конференции с многооконными изображениями высокой четкости с более низкими требованиями к возможностям кодирования и декодирования даже в случае каскадирования блоков MCU посредством пересылки его набора возможностей и кодового потока видео высокой четкости между ведущим компонентом MCU и ведомым компонентом MCU.
Краткое описание чертежей
Фиг.1 иллюстрирует структуру конкретной формы осуществления системы согласно данному изобретению.
Фиг.2 иллюстрирует структуру другой конкретной формы осуществления системы согласно данному изобретению.
Фиг.3 представляет собой блок-схему сигнализации в первом примере способа согласно данному изобретению.
Фиг.4 представляет собой блок-схему сигнализации во втором примере способа согласно данному изобретению.
Фиг.5 представляет собой блок-схему сигнализации в третьем примере способа согласно данному изобретению.
Конкретные формы осуществления изобретения
Ниже данное изобретение будет описано подробно со ссылкой на конкретные формы осуществления и чертежи.
Для режима соединения нескольких видеоизображений, используемого в данном изобретении, может быть сделана ссылка на протокол Н.243 Procedures for establishing communication between three or more audiovisual terminals using digital channels up to 1920 kbit/s ("Процедуры для установления связи между тремя и более аудиовизуальными оконечными устройствами с использованием цифровых каналов со скоростями до 1920 кбит/с"), и телевизионная система конференцсвязи, используемая в данном изобретении, включает системы, соответствующие стандартам сектора стандартизации электросвязи Международного союза электросвязи (International Telecommunication Union, Telecommunication Standardization Sector, ITU-T) ITU-T H.320, ITU-T H.323 и протоколу инициирования сеанса связи (Session Initiation Protocol, SIP), разработанному рабочей группой по инженерным проблемам Интернета (Internet Engineering Task Force, IETF).
Конкретная форма осуществления системы для формирования многооконных изображений высокой четкости в данном изобретении включает терминал и блок MCU. Блок MCU используется для вычисления формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и для передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал; терминал используется для приема набора возможностей, передаваемого блоком MCU, кодирования видеоизображения высокой четкости согласно формату кодового потока видео высокой четкости и передачи кодового потока кодированного видео высокой четкости в блок MCU; блок MCU также используется для приема кодового потока кодированного видео высокой четкости и включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости и передачи его в терминалы, принимающие участие в конференции.
Управляющая информация видеоконференции включает число изображений конференции, номер изображения выбранного терминала, информацию о том, видим ли выбранный терминал другими терминалами и так далее.
Когда выбранный терминал не видим другими терминалами согласно управляющей информации видеоконференции, блок MCU далее используется для вычисления размера видео в качестве формата кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала, причем размер видео может указываться числом макроблоков; блок MCU также используется для прямого включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение.
Когда выбранный терминал видим другими терминалами согласно управляющей информации видеоконференции, блок MCU далее используется для выбора первоначального размера видео выбранного терминала в качестве формата кодового потока видео высокой четкости, изменения масштаба принимаемого изображения кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала, и затем включения изображения с измененным масштабом кодового потока видео высокой четкости в многооконное изображение.
Может быть множество терминалов, и в этой форме осуществления имеются два терминала, а именно, терминал 1 и терминал 2, соответственно, как показано на фиг.1. Терминал может работать с асимметричной скоростью передачи видеоданных, частотой кадров и разрешением изображения (если поддерживаются разрешения многочисленных типов изображений). Например, терминал с возможностью 720р позволяет выполнять передачу 1/16 изображения 720р и прием изображения 720р.
В другой форме осуществления системы данного изобретения блок MCU содержит ведущий компонент MCU и ведомый компонент MCU. Могут быть многочисленные ведомые блоки MCU, и в этой форме осуществления есть один ведущий компонент MCU и один ведомый компонент MCU, как показано на фиг.2. Ведущий компонент MCU связан с терминалом А и терминалом В, ведомый компонент MCU связан с терминалом D и терминалом Е, и ведущий компонент MCU связан с каскадным портом F ведомого компонента MCU через каскадный порт С.
Ведущий компонент MCU используется для вычисления формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в ведомый компонент MCU; ведомый компонент MCU используется для передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал, приема кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом, и пересылки его в ведущий компонент MCU; ведущий компонент MCU также используется для приема кодового потока видео высокой четкости, пересылаемого от ведомого компонента MCU, включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости и передачи его в терминалы, принимающие участие в конференции, посредством ведомого компонента MCU.
Конкретная форма осуществления способа формирования многооконных изображений высокой четкости в данном изобретении включает процесс управления блоком MCU терминала для передачи кодового потока видео высокой четкости и включения изображения кодового потока видео высокой четкости в многооконное изображение, и этот процесс включает следующие шаги:
шаг A3, вычисление блоком MCU формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции,
шаг В3, передачу блоком MCU набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал;
шаг С3, прием терминалом набора возможностей, передаваемого блоком MCU, и кодирование видеоизображения высокой четкости на основании формата кодового потока видео высокой четкости, и передачу кодового потока кодированного видео высокой четкости в блок MCU;
шаг D3, прием блоком MCU кодового потока видео высокой четкости;
шаг Е3, включение блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости и передачи его для отображения в терминалы, принимающие участие в конференции.
В этой форме осуществления изобретения управляющая информация видеоконференции включает такую информацию, как число изображений конференции, номер изображения выбранного терминала, информацию о том, видим ли выбранный терминал другими терминалами, и так далее.
Когда выбранный терминал не видим другими терминалами, следующая операция выполняется на шаге A3: вычисление блоком MCU размера видео, например, числа макроблоков, согласно числу изображений в конференции и номеру изображения выбранного терминала; следующая операция выполняется на шаге Е3: прямое включение блоком MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение.
Когда выбранный терминал видим другими терминалами, следующая операция выполняется на шаге A3: выбор блоком MCU первоначального размера видео выбранного терминала в качестве формата кодового потока видео высокой четкости; следующая операция выполняется на шаге Е3: изменение блоком MCU масштаба принимаемого изображения кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала, и затем включение изображения с измененным масштабом из кодового потока видео высокой четкости в многооконное изображение.
В другой форме осуществления способа данного изобретения блок MCU содержит ведущий компонент MCU и ведомый компонент MCU,
шаг A3 реализуется посредством вычисления ведущим компонентом MCU формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в ведомый компонент MCU;
шаг В3 реализуется посредством передачи ведомым компонентом MCU набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал;
шаг С3 реализуется посредством приема терминалом набора возможностей, передаваемого ведомым компонентом MCU, кодирования видеоизображения высокой четкости на основании формата кодового потока видео высокой четкости, и передачи кодового потока кодированного видео высокой четкости в ведомый компонент MCU;
шаг D3 реализуется посредством приема ведомым компонентом MCU кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом, и пересылки его в ведущий компонент MCU;
шаг Е3 реализуется посредством включения ведущим компонентом MCU принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции.
Терминал для формирования многооконных изображений высокой четкости в данном изобретении содержит: приемный модуль, кодирующий модуль, передающий модуль и модуль отображения, причем: приемный модуль используется для приема набора возможностей, передаваемого блоком MCU, набор возможностей включает формат кодового потока видео высокой четкости, вычисленный согласно управляющей информации видеоконференции; кодирующий модуль используется для кодирования видеоизображения высокой четкости согласно формату кодового потока видео высокой четкости в наборе возможностей, принимаемом приемным модулем; передающий модуль используется для передачи кодового потока видео высокой четкости, кодированного кодирующим модулем, в блок MCU; модуль отображения используется для приема кодового потока многооконного видеоизображения высокой четкости, полученного после того, как блок MCU включает изображение из кодового потока видео высокой четкости в многооконное изображение, и отображения кодового потока многооконного видеоизображения высокой четкости.
Блок MCU для формирования многооконных изображений высокой четкости в данном изобретении включает ведущий компонент MCU. Ведущий компонент MCU содержит: вычислительный модуль, передающий модуль, приемный модуль и синтезирующий модуль, причем: вычислительный модуль используется для вычисления формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции; передающий модуль используется для передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в выбранный терминал; и передающий модуль также используется для передачи кодового потока многооконного видеоизображения высокой четкости, синтезируемого синтезирующим модулем, в терминалы, принимающие участие в конференции; приемный модуль используется для приема кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом; синтезирующий модуль используется для включения изображения кодового потока видео высокой четкости, принимаемого приемным модулем, в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости.
При этом вычислительный модуль, когда выбранный терминал не видим другими терминалами согласно управляющей информации видеоконференции, далее используется для вычисления размера видео в качестве формата кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала; соответственно, синтезирующий модуль далее используется для прямого включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение.
Кроме того, вычислительный модуль, когда выбранный терминал видим другими терминалами согласно управляющей информации видеоконференции, далее используется для выбора первоначального размера видео выбранного терминала в качестве формата кодового потока видео высокой четкости; соответственно, синтезирующий модуль далее используется для изменения масштаба принимаемого изображения кодового потока видео высокой четкости согласно числу изображений в конференции и номеру изображения выбранного терминала, и включения затем изображения с измененным масштабом кодового потока видео высокой четкости в многооконное изображение.
Блок MCU данного изобретения дополнительно включает ведомый компонент MCU, соответственно,
ведущий компонент MCU используется для вычисления формата кодового потока видео высокой четкости согласно управляющей информации видеоконференции и передачи набора возможностей, содержащего формат кодового потока видео высокой четкости, в ведомый компонент MCU; ведущий компонент MCU используется также для приема кодового потока видео высокой четкости, передаваемого в обратном направлении от ведомого компонента MCU, включения принимаемого изображения кодового потока видео высокой четкости в многооконное изображение согласно управляющей информации видеоконференции для получения кодового потока многооконного видеоизображения высокой четкости;
ведомый компонент MCU используется для передачи набора возможностей, содержащего формат кодового потока видео высокой четкости в выбранный терминал, приема кодового потока видео высокой четкости, кодированного согласно формату кодового потока видео высокой четкости и передаваемого в обратном направлении выбранным терминалом, и пересылки его в ведущий компонент MCU; ведомый компонент MCU также используется для приема кодового потока многооконного видеоизображения высокой четкости, синтезируемого ведущим компонентом MCU, и передачи его в терминалы, принимающие участие в конференции.
Пример 1:
Этот пример осуществляет конференцию с четырьмя изображениями с разрешением 720р, используя способ данного изобретения на основании системы, описанной на фиг.1. Этот пример представляет собой систему по стандарту Н.323, где терминал 1 и терминал 2 поддерживают асимметричное кодирование и декодирование изображений, терминалу 1 назначается второе изображение из четырех изображений, и он не видим никаким терминалам в многоточечной конференции. Блок-схема примера, как показано на фиг.3, включает следующие шаги:
шаг 301, блок MCU определяет согласно протоколу Н.243, что второе изображение из четырех изображений занимает 1/4 целого изображения и число макроблоков составляет (1280×720)/(16×16)=3600, 1/4 макроблоков составляет 900, набор возможностей, созданный блоком MCU согласно полученному новому числу макроблоков, является следующим:
шаг 302, передача блоком MCU набора возможностей в терминал 1, и сообщение терминалу 1 команды изменить масштаб изображения согласно видеоформату в наборе возможностей;
шаг 303, после приема набора возможностей сохранение терминалом 1 формата 16:4, так как он не присоединяется к конференции. Согласно возможности, размер рассчитывается равным 1024 макроблокам, и подтверждающее сообщение, указывающее, что изменение масштаба изображения может быть выполнено, посылается в блок MCU;
шаг 304, выбор терминалом 1 наиболее близкого (в сторону уменьшения) формата 1/4 720р из обычно используемых форматов для изменения масштаба, затем повторное открытие логического канала и передача кодового потока видео с размером 1/4 720р в блок MCU по каналу;
шаг 305, кодек изображения блока MCU прямо включает изображение из этого маршрута во второе изображение из четырех изображений.
Как можно видеть, возможность изменения масштаба изображения 720р, использованная для кодека изображения блока MCU, сохраняется на шаге 305.
Пример 2:
Этот пример представляет собой пример терминала 2, выбирающего для просмотра единственное изображение терминала 1 на основании примера 1, и его блок-схема, как показано на фиг.4, включает следующие шаги:
шаг 401, создание блоком MCU набора возможностей согласно первоначальному размеру изображения 720р;
шаг 402, передача блоком MCU набора возможностей в терминал 1, то есть обмен возможностями с терминалом 1 согласно возможности 720р, и сообщение терминалу 1 команды передавать изображение 720р с полным размером;
шаг 403, передача терминалом 1 подтверждающего сообщения, и переход в симметричный режим кодирования и декодирования видео;
шаг 404, передача терминалом 1 кодового потока видео 720р в блок MCU;
шаг 405, передача блоком MCU этого кодового потока в терминал 2 для достижения той цели, чтобы изображение с полной возможностью 720р могло быть видно в терминале 2;
шаг 406, включение блоком MCU изображения также этого маршрута во второе изображение из четырех изображений после изменения его масштаба согласно второму изображению из четырех изображений, и передача в другие терминалы многоточечной конференции, например, в терминал 1.
Пример 3:
В этом примере необходимо осуществить конференцию с несколькими изображениями и каскадным соединением компонентов MCU, используя способ данного изобретения на основании системы, описанной на фиг.2. Устройства в многоточечной конференции на фиг.2 имеют ведущий компонент MCU и ведомый компонент MCU, соответственно, причем терминалы А и В, также как каскадный порт С, связаны с ведущим компонентом MCU, а терминалы D и Е, а также каскадный порт F связаны с ведомым компонентом MCU.
Основная конференция в этом примере является конференцией с несколькими изображениями, и каскадный порт С определяется как некоторое изображение среди множества изображений. В настоящее время источником видеосигнала для ведомого компонента MCU является терминал Е. Блок-схема примера, как показано на фиг.5, включает следующие шаги:
шаг 501, после назначения каскадному порту С некоторого изображения среди множества изображений, вычисление ведущим компонентом MCU размера изображения после изменения масштаба согласно протоколу Н.243, и построение набора возможностей;
шаг 502, передача набора возможностей в каскадный порт F ведомого компонента MCU через каскадный порт С, и уведомление ведомого MCU с помощью повторного переключения возможности изменить масштаб изображения согласно формату в наборе возможностей;
шаг 503, после приема сообщения terminalCapabilitySet из каскадного порта F пересылка ведомым компонентом MCU сообщения в терминал Е, связанный с ведомым компонентом MCU;
шаг 504, передача терминалом Е подтверждающего сообщения в каскадный порт F, чтобы позволить выполнить изменение масштаба изображения;
шаг 505, прием ведомым компонентом MCU подтверждающего сообщения, передаваемого из каскадного порта F, и пересылка его в ведущий компонент MCU;
шаг 506, сохранение терминалом Е формата 16:4, так как он не присоединяется к конференции, повторное открытие логического канала видео между терминалом Е и ведомым компонентом MCU, и передача кодового потока видео с измененным масштабом в ведомый компонент MCU;
шаг 507, повторное открытие также ведомым компонентом MCU логического канала видео каскадного порта F между ведомым компонентом MCU и ведущим компонентом MCU так, чтобы изображение с измененным масштабом, переданное терминалом Е, передавалось в ведущий компонент MCU через каскадный порт F;
шаг 508, включение кодеком видеосигнала ведущего блока MCU изображения этого маршрута в многооконное изображение, достигая таким образом цели реализации каскадной конференц-связи с несколькими изображениями высокой четкости и более низкими требованиями к возможностям кодирования и декодирования изображения.
Вышеизложенное является только описанием конкретных предпочтительных форм осуществления, и таким образом не должно рассматриваться как ограничение конкретных форм осуществления данного изобретения. Для специалиста обычной квалификации в данной области техники несколько простых модификаций или замен могут быть сделаны без отступления от концепции данного изобретения, и эти модификации или замены должны расцениваться как находящие в пределах объема данного изобретения.