Устройство серверного узла и способ
SERVER NODE ARRANGEMENT AND METHOD

Область техники
Настоящее изобретение относится к устройству серверного узла, например, к устройству серверного узла, выполненному с возможностью приема входных данных от множества устройства ввода, с возможностью обработки входных данных и с возможностью вывода соответствующих выходных данных, при этом выходные данные могут включать различные типы данных, например, графические данные, аудиоданные или другой контент, в любом объеме. Также, настоящее изобретение относится к способам управления упомянутым выше устройством серверного узла, например, к способам управления устройством серверного узла с целью приема входных данных от множества устройства ввода, обработки входных данных и вывода соответствующих выходных данных, при этом выходные данные могут включать различные типы данных, например, графические данные, аудиоданные или другой контент, в любом объеме. Кроме того, настоящее изобретение относится к программным продуктам, записанным на машиночитаемый носитель для хранения данных, при этом такие программные продукты могут выполняться на вычислительной аппаратуре с целью реализации упомянутых выше способов.
Предпосылки создания изобретения
В настоящее время могут возникать ситуации, в которых необходимо комбинировать входной контент, поступающий от множества источников входных, без искажения поступающего контента, например, без внесения в поступающий контент дополнительной временной задержки или изменения его размера в пикселях. При этом во многих случаях не требуется хранение выходных данных, однако в некоторых ситуациях комбинированные выходные данные необходимо сохранять с целью их повторного воспроизведения. Подобное сохранение, предпочтительно, осуществляют с сохранением исходной полноты данных, например, разрешения, для обеспечения высококачественного повторного воспроизведения.
В состав современных систем зачастую входит огромное количество устройств ввода и устройств сбора данных, например, аналоговых и/или цифровых камер, подключенных к системам видеонаблюдения, например, системам видеозаписи; при этом системы видеозаписи, опционально, содержат цифровые видеорегистраторы (digital video recorders, DVR), сетевые видеорегистраторы (network video recorders (NVR), персональные видеорегистраторы (personal video recorders, PVR). Современные системы, предназначенные для целей высококачественного видеонаблюдения, являются дорогостоящими, и их установка занимает длительное время, поскольку каждый из источников входных данных присоединяют, обычно, к отдельному монитору, или данные от нескольких источников входных данных объединяют, в высоком разрешении, и используют для их отображения один совместно используемый монитор, на котором создают мозаичное изображение, включающее изображения от всех источников входных данных. Обратимся к фиг. 1, на которой показана иллюстрация мозаичного изображения, формируемого системой видеонаблюдения автопарка, при этом в мозаичном изображении объединены выходные сигналы тридцати трех источников входных данных. Альтернативно, возникают ситуации, в которых необходим сбор аудиоданных от множества аудиоисточников, формирующих высококачественные аудиоданные; зачастую в таких ситуациях желательно иметь возможность выбора, контроль каких из источников будет осуществляться, или желательна возможность комбинирования аудиоконтента, поступающего от этих аудиоисточников, например, конденсаторных микрофонов, пространственно распределенных в пространстве, чтобы получить общий высококачественный составной сигнал, который может быть прослушан множеством слушателей, например, при цифровой радиотрансляции выступления оркестра.
По состоянию на сегодняшний день, не существует современных, экономически эффективных систем, выполненных с возможностью обработки высококачественных данных от множества соответствующих источников входных данных, которые не требовали бы наличия множества устройств для согласования и передачи этих высококачественных данных. Современные системы и приложения видеоконференцсвязи, как правило, поддерживают различные типы устройств и источников входных данных, и при этом, обычно, различные системы конференцсвязи объединяют для совместной работы. Такие системы видеоконференцсвязи потенциально могут быть сконфигурированы в огромном множестве комбинаций, что делает проблематичной реализацию в них эффективной связи. Традиционно, на практике применяют множество протоколов связи, являющихся общими для этих систем, хотя при этом некоторые из источников входных данных требуют перекодирования в общий согласованный формат, что может приводить к ухудшению качества некоторых из изображений, передаваемых упомянутыми системами.
Устройства мобильной беспроводной связи, такие как смартфоны, планшетные компьютеры, телефоны-планшеты, портативные компьютеры, беспроводные носимые на запястье компьютеры, обладают способностью формировать контент в форме изображений, видеоинформации, фотографической информации других типов, а также аудиоданных. Обработка графического контента в таких мобильных устройствах потребляет значительное количество энергии, что увеличивает нагрузку на аккумуляторы, применяемые для электропитания подобных мобильных устройств, например, в случае декодирования и масштабирования контента до требуемого размера с целью его отображения на графических дисплеях мобильных устройств. Затраты энергии, описанные выше, являются проблемой в случае применения подобных мобильных устройств, например, в конфигурациях для предоставления услуг типа видеоконференцсвязи группе абонентов.
Сущность изобретения
Целью настоящего изобретения является предложение улучшенного устройства серверного узла, которое позволит снизить требования к вычислительной мощности устройств воспроизведения, выполненных с возможностью воспроизведения контента данных, принятого ими от устройства серверного узла.
Еще одной целью настоящего изобретения является предложение улучшенной системы видеонаблюдения и/или системы видеоконференцсвязи.
Целью настоящего изобретения также является предложение улучшенного способа управления устройством серверного узла, который позволит снизить требования к вычислительной мощности устройств воспроизведения, выполненных с возможностью воспроизведения контента данных, принятого ими от устройства серверного узла.
В соответствии с первым аспектом настоящего изобретения предложено устройство серверного узла, которое связано по сети связи с множеством источников входных данных и с одним или более устройствами вывода и отличается тем, что устройство серверного узла выполнено с возможностью приема контента данных от множества источников входных данных и с возможностью обработки контента данных для его предоставления по меньшей мере в подмножество из одного или более устройств вывода, при этом устройство серверного узла выполнено с возможностью размещения одной или более процедур, способных преобразовывать контент данных в форму, которая совместима с собственным форматом воспроизведения данных подмножества из одного или более устройств вывода, при этом по меньшей мере подмножество из одного или более устройств вывода выполнено с возможностью одновременного воспроизведения контента данных.
Опционально, устройство серверного узла выполнено с возможностью преобразования потоков данных от множества источников в реальном времени и с возможностью предоставления контента данных, соответствующего этим потокам данных, в собственных форматах подмножества из одного или более устройств вывода, также в реальном времени.
Опционально, подмножество из одного или более устройств вывода выполнено с возможностью воспроизведения контента данных в реальном времени.
Опционально, устройство серверного узла выполнено с возможностью комбинирования контента данных, принятого от множества источников, для формирования комбинированного сигнала для подачи по меньшей мере в подмножество из одного или более устройств вывода.
Опционально, в устройстве серверного узла, множество источников включает одну или более камер, при этом по меньшей мере подмножество из одного или более устройств вывода выполнено с возможностью одновременного воспроизведения одного или более изображений, собранных от одной или более камер.
Опционально, в устройстве серверного узла одно или более изображений собирают от одной камеры, благодаря чему показывают изменения заданной сцены во времени.
Опционально, в устройстве серверного узла множество источников включает один или более аудиоисточников, при этом по меньшей мере подмножество из одного или более устройств вывода выполнено с возможностью одновременного воспроизведения одного или более аудиосигналов, собранных от одного или более аудиоисточников.
Настоящее изобретение обладает тем преимуществом, что обработка контента данных в устройстве серверного узла, с преобразованием их в формат, который исходно совместим с одним или более устройствами, являющимися потребителями данных, позволяет сократить объем выполняемых вычислений.
На практике собственным форматом воспроизведения данных часто является формат RGB или YUV2, однако, как правило, изображение передают в сжатом формате с использованием подходящего разрешения. Это соответствует, например, случаю, в котором требуется совместимость с собственным форматом воспроизведения данных. Благодаря настоящему изобретению формат может быть без труда преобразован из формата, в котором поступают данные, в собственный формат воспроизведения данных с минимальным объемом обработки, выполняемой в одном или более устройствах вывода, например, могут выполняться «распаковка» и преобразование цветового формата. Благодаря настоящему изобретению контент данных может быть передан в устройство воспроизведения в требуемом формате, который является его собственным форматом, сжатым форматом или аналогичным форматом, наиболее подходящим для устройства воспроизведения.
Опционально, устройство серверного узла выполнено с возможностью реализации одной или более процедур в качестве системы видеонаблюдения.
Опционально, устройство серверного узла выполнено с возможностью реализации одной или более процедур в качестве системы видеоконференцсвязи.
Опционально, устройство серверного узла реализовано таким образом, что устройство серверного узла включает один или более серверов, при этом один или более серверов реализован, по меньшей мере частично, в одном или более из устройств вывода и/или в одном или более из множества источников.
Опционально, устройство серверного узла используют, также, например, при широковещательной и/или многоадресной передаче телевизионного сигнала или видеосигнала, а именно, в приложениях, которые включают синхронизированные камеры-источники и/или синхронизированные источники видеоинформации. Устройство серверного узла также подходит для обеспечения просмотра изображений через сеть Интернет посредством простых устройств, которые получают изображение из множества изображений, создаваемого соответствующим образом под требования дисплея. В некоторых решениях разрешение и формат для отображения фиксированы или имеют лишь несколько вариантов выбора, например, имеют стандартную настройку, и в этом случае контент может формироваться специально под такое решение; в некоторых решениях от заданного устройства требуется предоставление информации о разрешении и формате дисплея (или окна) в устройство серверного узла, чтобы могла быть выполнена соответствующая регулировка. В некоторых случаях часть пользователей, или все пользователи, могут иметь доступ к регулировке визуального отображения на их дисплеях каждого из источников по отдельности, тогда эта информация также должна быть предоставлена в устройство серверного узла.
Опционально, в устройстве серверного узла, одно или более устройств вывода выполнены с возможностью задания, в сообщении, передаваемом в устройство серверного узла, одного или более параметров, которые определяют один или более собственных форматов, в которых одно или более устройств вывода требуют предоставления контента данных от устройства серверного узла.
Опционально, устройство серверного узла выполнено с возможностью предоставления обработанного контента данных по меньшей мере в подмножество из одного или более устройств вывода, таким образом, чтобы обеспечить совместимость с областью интереса (region-of-interest, ROI) подмножества из упомянутого по меньшей мере подмножества из одного или более устройств вывода.
Опционально, устройство серверного узла реализовано, по меньшей мере частично, в среде облачных вычислений.
Опционально, устройство серверного узла выполнено с возможностью хранения контента данных от одного или более источников входных данных в его исходном разрешении, и с возможностью предоставления контента данных по меньшей мере в подмножество из одного или более устройств вывода в формате, который совместим с собственным форматом одного или более устройств вывода.
Опционально, в устройстве серверного узла контент данных включает по меньшей мере одно из следующего: изображения, видеоданные, аудиоданные, данные сигнала датчика, текстовые данные.
Опционально, устройство серверного узла выполнено с возможностью обработки контента данных, при прохождении его через упомянутое устройство серверного узла, с обеспечением динамически изменяемого перемасштабирования изображения по меньшей мере в подмножестве из одного или более устройств вывода в ответ на пользовательский ввод.
В соответствии со вторым аспектом настоящего изобретения предложен способ обработки данных в устройстве серверного узла, которое связано по сети связи с множеством источников входных данных и с одним или более устройствами вывода, при этом устройство серверного узла выполнено с возможностью приема контента данных от множества источников входных данных и с возможностью обработки контента данных для его предоставления по меньшей мере в подмножество из одного или более устройств вывода, отличающийся тем, что способ включает:
размещение одной или более процедур, способных преобразовывать контент данных в форму, которая совместима с собственным форматом воспроизведения данных подмножества из одного или более устройств
вывода, и одновременное воспроизведение контента данных по меньшей мере в подмножестве из одного или более устройств вывода.
Опционально, способ включает управление устройством серверного узла с целью преобразования потоков данных от множества источников в реальном времени и с целью предоставления контента данных, соответствующего этим потокам данных, в собственных форматах подмножества из одного или более устройств вывода, также в реальном времени.
Опционально, способ включает управление подмножеством из одного или более устройств вывода с целью воспроизведения контента данных в реальном времени.
Опционально, способ включает управление устройством серверного узла с целью комбинирования контента данных, принятого от множества источников, для формирования комбинированного сигнала для подачи по меньшей мере в подмножество из одного или более устройств вывода.
Опционально, способ включает одновременное воспроизведение одного или более изображений по меньшей мере в подмножестве из одного или более устройств вывода, при этом одно или более изображений собирают от одной или более камер, включенных в упомянутое множество источников.
Опционально, способ включает сбор одного или более изображений от одной камеры и показ изменений заданной сцены во времени.
Опционально, способ включает одновременное воспроизведение одного или более аудиосигналов по меньшей мере в подмножестве из одного или более устройств вывода, при этом один или более аудиосигналов собирают от одного или более аудиоисточников, включенных в упомянутое множество источников.
Опционально, способ включает управление устройством серверного узла с целью реализации одной или более процедур в качестве системы видеонаблюдения.
Опционально, способ включает управление устройством серверного узла с целью реализации одной или более процедур в качестве системы видеоконференцсвязи.
Опционально, устройство серверного узла используют, также, например, при широковещательной и/или многоадресной передачи телевизионного или видеосигнала, а именно, в приложениях, которые включают синхронизированные камеры-источники и/или синхронизированные источники видеоинформации. Устройство серверного узла также подходит для обеспечения просмотра изображений через сеть Интернет посредством простых устройств, которые получают изображение из множества изображений, создаваемых соответствующим образом под требования дисплея. В некоторых решениях разрешение и формат отображения фиксированы или имеют лишь несколько вариантов выбора, например, имеют стандартную настройку, и в этом случае контент может формироваться специально под такое решение; в некоторых решениях от заданного устройства требуется предоставление информации о разрешении и формате дисплея (или окна) в устройство серверного узла, чтобы могла быть выполнена соответствующая регулировка. В некоторых случаях часть пользователей, или все пользователи, могут иметь доступ к регулировке визуального отображения на их дисплеях каждого из источников по отдельности, тогда эта информация также должна быть предоставлена в устройство серверного узла.
Опционально, способ включает реализацию устройства серверного узла таким образом, что устройство серверного узла включает один или более серверов, при этом один или более серверов реализуют, по меньшей мере частично, в одном или более из устройств вывода и/или в одном или более из множества источников.
Опционально, способ включает управление одним или более устройствами вывода с целью задания ими, в сообщении, передаваемом в устройство серверного узла, одного или более параметров, которые определяют один или более собственных форматов, в которых одно или более устройств вывода требуют предоставления контента данных от устройства серверного узла.
Опционально, способ включает управление устройством серверного узла с целью предоставления обработанного контента данных по меньшей мере в подмножество из одного или более устройств вывода, таким образом, чтобы обеспечить совместимость с областью интереса (ROI) подмножества из упомянутого по меньшей мере подмножества из одного или более устройств вывода.
Опционально, при реализации способа устройство серверного узла реализуют, по меньшей мере частично, в среде облачных вычислений.
Опционально, способ включает управление устройством серверного узла с целью хранения контента данных от одного или более источников входных данных в его исходном разрешении, и с целью предоставления контента данных по меньшей мере в подмножество из одного или более устройств вывода в формате, который совместим с собственным форматом одного или более устройств вывода.
Опционально, при реализации способа контент данных включает по меньшей мере одно из следующего: изображения, видеоданные, аудиоданные, данные сигнала датчика, текстовые данные.
Опционально, способ включает управление устройством серверного узла с целью обработки контента данных, при прохождении его через упомянутое устройство серверного узла, с обеспечением динамически изменяемого перемасштабирования изображения по меньшей мере в подмножестве из одного или более устройств вывода в ответ на пользовательский ввод.
В соответствии с третьим аспектом настоящего изобретения предложен программный продукт, записанный на машиночитаемом носителе для хранения данных и выполняемый на вычислительном оборудовании с целью реализации способа по второму аспекту настоящего изобретения.
Нужно понимать, что отличительные признаки настоящего изобретения могут комбинироваться произвольным образом в пределах объема настоящего изобретения, заданного приложенной формулой изобретения.
Краткое описание чертежей
Далее, исключительно в качестве примера и со ссылками на приложенные чертежи, будут описаны примеры осуществления настоящего изобретения.
Фиг. 1 представляет собой иллюстрацию мозаичного отображения изображений.
Фиг. 2A и фиг. 2В представляют собой иллюстрации системы, включающей устройство серверного узла, предназначенное для обеспечения обработки проходящих через него данных.
Фиг. 3 представляет собой иллюстрацию обмена данными, выполняемого в системе, проиллюстрированной на фиг. 2А и фиг. 2В.
На приложенных чертежах число, выделенное подчеркиванием, используется для обозначения элемента, над которым находится подчеркнутое число, или рядом с которым оно расположено. Неподчеркнутое число относятся к элементу, указанному линией, которая соединяет неподчеркнутое число и элемент. Если число не выделено подчеркиванием и сопровождается связанной с ним стрелкой, это неподчеркнутое число используется для обозначения общего элемента, на который указывает стрелка.
Подробное описание изобретения
При описании вариантов осуществления настоящего изобретения будут применяться аббревиатуры, определенные в таблице 1.
Рассмотрим, в общем виде, на примере фиг. 2, систему, которая в целом обозначена цифрой 5. Система 5 включает устройство 10 серверного узла, и выполненное с возможностью обеспечения простого и эффективного способа предоставления графического контента различного рода, аудиоконтента и/или контента других типов, в любом объеме, в одно или более из устройств 20 вывода, при этом контент для одного или более из устройств 20 вывода получают от множества источников 30 входных данных, по требованию, например, с целью контроля в режиме реального времени и/или с целью отложенного воспроизведения; способ, предпочтительно, использует методы параллельной обработки данных, управление которыми осуществляется из устройства 10 серверного узла, например, из управляющего серверного узла 40 в его составе, и при этом упомянутые методы выполняют в заданном устройстве 20 вывода, то есть «клиенте», в сервере из состава устройства 10 серверного узла или в их комбинации. Опционально, устройство 10 серверного узла включает один или более серверов данных. Опционально, подмножество этих одного или более серверов данных реализовано как один или более серверов облачных вычислений. Опционально, устройство 10 серверного узла реализовано, по меньшей мере частично, в источнике входных данных, то есть, по меньшей мере в одном клиентском устройстве. Опционально, один из серверных узлов, из состава устройства 10 серверного узла, расположен, одновременно, в передающем клиентском устройстве и в приемном устройстве, несмотря на то, что это, возможно, не является оптимальным решением. При этом устройство 10 серверного узла, предпочтительно, включает один или более серверов, один или более из которых, опционально, расположены в среде облачных вычислений. Также, при этом, одно или более клиентских устройств могут быть клиентским устройством, являющимся источником данных, или целевым клиентским устройством или их комбинацией.
Опционально, множество источников 30 включает по меньшей мере одну камеру, и при этом от этой по меньшей мере одной камеры собирают множество изображений, которые воспроизводят в различные моменты времени при функционировании системы 5: например, множество изображений от одной камеры может отображаться системой 5 с целью просмотра изменений заданной сцены во времени, например, такие изменения могут соответствовать исчезновению некоторого предмета из зоны, отображаемой камерой, то есть, например, соответствовать акту кражи.
На фиг. 2 устройство 10 серверного узла включает, предпочтительно, множество серверных узлов, например, с целью распределения вычислительной нагрузки. Одно из устройств вывода, опционально, функционирует в качестве клиента многоадресной передачи, принимающего контент данных от одного из серверных узлов, при этом устройство 20 вывода может впоследствии предоставлять этот контент данных в множество целевых устройств 20 вывода, или в множество целевых устройств 20 вывода, объединенных в одну локальную сеть, например, в одну вычислительную локальную сеть (LAN).
Опционально, заданный источник 30 входных данных выполнен с возможностью предоставления контента данных от множества источников 30 входных данных в устройство 10 серверного узла. При этом, опционально, заданное устройство, связанное с устройством 10 серверного узла, может функционировать в качестве входного и выходного прокси-сервера. Также, при этом, источниками 30 входных данных могут быть любые устройства или любое программное обеспечение, выполняемое на вычислительном оборудовании, которые выполнены с возможностью вывода аналоговых или цифровых сигналов, включающих информацию изображения, видеоинформацию или другую графическую информацию.
Предпочтительно, в системе 5, в соответствии с иллюстрацией на фиг. 2, включающей источники 30 входных данных и устройства 20 вывода, вместе с устройством 10 серверного узла, при ее работе возможно сбережение значительной части полосы пропускания канала связи, имеющегося в системе, поскольку выходной контент для каждого целевого клиента создается и кодируется индивидуально, учитывая возможности по обработке данных отдельных устройств воспроизведения и/или программного обеспечения, используемого для реализации системы. Опционально, один из серверных узлов из состава устройства 10 серверного узла, расположен в передающем клиентском устройстве, и/или также в приемном устройстве, несмотря на то, что последнее, возможно, не является оптимальным решением.
Система 5, в соответствии с иллюстрацией на фиг. 2, способна обрабатывать данные, поступающие от широкого диапазона различных устройств-источников, например, входные данные от камеры, контент от настольных компьютеров, входные данные от 3-D камеры или входные данные с микрофонов. При этом устройства вывода на фиг. 2 включают, например, внутренние (встроенные в устройство) дисплеи, 3-D дисплеи, 3-D принтеры, громкоговорители или аналогичные устройства. Например, для эффективной 3-D печати возможно формирование трехмерного объекта на основе широкого диапазона источников, таких как камеры или файлы.
Система 5 на фиг. 2 сконфигурирована таким образом, что от клиентских устройств воспроизведения, например, устройств 20 вывода, требуется меньшая производительность декодирования, поскольку контент им предоставляется через устройство 10 серверного узла в требуемом формате кодирования, размере и качестве для заданной области интереса (ROI), например, контент от одной или более камер видеонаблюдения, в котором представлены изображения определенной пространственной области, применяемый в целях безопасности против краж. При этом аудиоданные в устройства 20 вывода, или в целевые клиентские устройства, также предоставляются в требуемом формате и качестве. При функционировании системы исключены проблемы, возникающие из-за отсутствия поддержки формата кодирования контента в декодерах устройств, например, в одном или более из устройств 20 вывода, или в результате несовместимости контента по другим, неизвестным причинам. Аналогично, при декодировании и обработке других типов данных ресурсы системы не потребляются больше, чем это необходимо, и, как правило, для них не требуется перекодирования. При этом при передаче данных в системе, для связи требуется меньшая полоса пропускания, поскольку предоставляется контент, который относится к требуемой области интереса (ROI), или имеет требуемое качество, по сравнению с ситуацией, в которой все изображения или данные передаются с полной точностью от всех источников входных данных во все устройства вывода, то есть, клиентские устройства воспроизведения. Таким образом, в системе, проиллюстрированной на фиг. 2, клиентские устройства воспроизведения могут запрашивать изображения, видеоданные и другие графические и/или аудиоданные по требованию из устройства 10 серверного узла, которое адаптирует предоставленный контент специально под требования конкретного клиентского устройства воспроизведения.
В системе 5, показанной на фиг. 2, в качестве источников входных данных, то есть, источников 30, могут применяться связанные с системой 5 устройства ввода аналоговых или цифровых изображений, видеоданных, графических данных, а также аудиоданных. Например, первые тридцать камер, предоставляющие первые тридцать изображений, показанных на фиг. 1, могут быть аналоговыми, и каждая из них может быть подключена к устройству 10 серверного узла посредством системы соединений на коаксиальных кабелях с комплексом электронных плат (или карт) цифрового видеозахвата из состава системы видеонаблюдения, размещенной в системе 5. Комплекс плат цифрового видеозахвата выполнен с возможностью преобразования аналоговых сигналов изображения в цифровой формат YCbCr, также называемый форматом YUV2. При этом по меньшей мере три из камер, предоставляющих изображения, которые отображают мозаичным образом в соответствии с иллюстрацией на фиг. 1, являются цифровыми камерами, расположенными в локальной вычислительной сети (LAN) системы 5, две из которых могут быть подключены посредством сетевого кабеля CAT 5, и одна цифровая камера при этом может быть подключена по беспроводной линии связи, например, с использованием протокола WLAN.
Цифровые камеры, например, если они реализованы в системе 5 в виде «IP-камер», отличаются от аналоговых камер тем, что не требуют использования в комбинации с ними упомянутых выше комплексов карт цифрового видеозахвата, поскольку цифровые камеры имеют в своем составе встроенные схемы цифровой обработки и, следовательно, их выходные данные уже являются закодированными в цифровом формате, например, YCbCr, RGB, MJPG или H.264. В системе 5, как упоминалось ранее, могут присутствовать источники входных данных и других типов, например, источники входных аудиоданных или графических данных, при этом данные с их выхода, предпочтительно, обрабатывают аналогично упомянутым выше камерам видеонаблюдения, но в их собственных форматах; другими словами, система 5 выполнена с возможностью интерпретации данных, вводимых в устройство 10 серверного узла, таким образом, чтобы они могли быть эффективно декодированы с целью формирования соответствующих выходных сигналов, подаваемых в устройства 20 вывода.
Если один или более входных сигналов от источников 30 передаются, через устройство 10 серверного узла, более чем в одно устройство воспроизведения, например, более чем в одно устройство 20 вывода, то в системе 5 декодирование входных сигналов может выполняться только один раз, когда входные сигналы поступают, в кодированном виде, в устройство 10 серверного узла, при этом соответствующая декодированная информация может храниться в кэш-памяти до тех пор, пока старый сигнал не будет сменен новым. Даже при смене ранее декодированного входного сигнала новым декодированным сигналом при работе системы 5 бывают случаи, в которых эти сигналы не обязательно нужно декодировать, например, в ситуации, когда отсутствуют устройства 20 вывода, которым необходим входной сигнал в декодированном формате или в отличающемся разрешении. То есть, один или более сигналов, принимаемых от одного или более источников 30 декодируют в устройстве 10 серверного узла только тогда, когда в одном или более из устройств 20 вывода необходимо, чтобы контент в них передавался в подобном не кодированном формате. Декодирование в устройстве 10 серверного узла может вовсе не являться необходимым, что подразумевает выполнение декодирования в одном или более устройств 20 вывода, если все устройства воспроизведения, например, все устройства 20 вывода запрашивают входные данные, формируемые одним или более из источников 30, из устройства 10 серверного узла с одинаковым разрешением и в том же формате, в котором они передаются из одного или более источников 30 в устройство 10 серверного узла.
В случае, когда в состав устройства 10 серверного узла входит вычислительное оборудование, выполненное с возможностью выполнения одного или более из программных продуктов с целью обеспечения его функциональности, связанной с обработкой данных, устройство 10 серверного узла может быть сконфигурировано для обработки данных, принятых от одного или более источников 30, с преобразованием их в различные форматы, которые требуются для одного или более устройств 20 вывода, то есть, устройств воспроизведения. Одной из подобных функций, обеспечиваемой в устройстве 10 серверного узла, может быть функциональность "Mixin" (микшерный вход), при этом система 5 может быть выполнена с возможностью формирования комбинации декодированных входных сигналов, переданных от одного или более источников 30, с целью формирования сборного сигнала, называемого «микшерным сигналом» (сигналом Mixin). При этом, если присутствует функциональность микшерного входа (Mixin), то устройство 10 серверного узла может кодировать и/или декодировать микшерный сигнал в формат, оптимальный для заданного устройства 20 вывода, то есть, устройства воспроизведения. Устройство воспроизведения определяет, например, в сообщении с запросом, передаваемым от устройства воспроизведения в устройство 10 серверного узла, местоположение одного или более сигналов (область интереса, ROI), а также требуемое качество аудиоконтента, при этом система 5 выполнена с возможностью сбора соответствующих входных сигналов от источников 30 путем декодирования и преобразования данных, когда это необходимо, из их собственного формата в оптимальный формат, определяемый способом кодирования, который применяется в устройстве воспроизведения.
Одной из важнейших функций системы 5, как упоминалось выше, является комбинирование сигналов от источников 30 входных данных, например, с применением таких методов обработки данных, как изменение размеров изображений, передискретизация изображений и/или аудиосигналов, с целью формирования комбинированного сигнала, например, микшированного сигнала (Mixin) для заданной области интереса (ROI) и предоставления его в одно или более устройств 20 вывода. Например, в системе 5 входные сигналы изображения могут комбинироваться, в устройстве 10 серверного узла, с выходным сборным сигналом, посредством функции изменения размера, обеспеченной в устройстве 10 серверного узла, например, с применением алгоритма вычислений с передискретизацией, с кубической или линейной аппроксимацией; соответственно, обеспечивается возможность сохранения качества сигнала на максимальном практически достижимом уровне, до момента комбинирования входных сигналов изображения, и возможность вывода выходного сборного сигнала, являющегося окончательным выходным сигналом, передаваемым в устройства 20 вывода.
Предпочтительно, система 5 выполнена с возможностью применения кодирования, с использованием метода кодирования, наилучшим образом подходящего для каждого из устройств воспроизведения, например, устройства 20 вывода, к примеру, индивидуально выбираемого метода для каждого из устройств 20 вывода в устройстве 10 серверного узла в ответ на информирование, каждым из устройств 20 вывода, устройства 10 серверного узла о собственных требованиях к кодированию путем передачи сообщения с запросом кодирования. Таким образом, устройство 10 серверного узла способно формировать выходные сигналы под индивидуальные требования, которые адаптируют для каждого из устройств 20 вывода, или для групп устройств 20 вывода, предъявляющих сходные друг с другом требования к кодированию.
При эксплуатации системы 5 могут возникать случаи, в которых необходимо комбинирование аудиоданных и других типов данных. Многие типы данных, с целью формирования комбинированных данных, позволяют выполнять простое их объединение, например, как в случае конкатенации файлов аудиоданных. В других ситуациях необходимо выполнять слияние файлов данных в развертке по времени, например, множество аудиофайлов, для формирования комбинированных данных могут комбинироваться во времени параллельно, например, как в случае микширования сигналов отдельных микрофонов при записи выступления оркестра, в результате которого получают общую запись концерта. Подобное микширование, или комбинирование, сигналов есть функция, обеспечиваемая системой 5. При взаимном комбинировании множества аудиосигналов, предпочтительно, применяют методы, позволяющие сохранить исходный уровень громкости звука без внесения добавочных или излишних шумов. В одном из примеров, в котором множество аудиосигналов соответствуют множеству лиц, ведущих разговор при конференцсвязи, предпочтительно, чтобы система 5 могла регулировать относительный уровень громкости голосов участников общения, чтобы они были взаимно сопоставимы, например, в случае телефонной конференцсвязи или видеоконференцсвязи. В другом примере в качестве аудиоисточника для передачи данных в устройства 20 вывода может выбираться источник-камера, регистрирующая наибольшую активность, и/или аудиоисточник с наивысшим уровнем громкости звука, например, если система 5 должна функционировать в качестве системы видеонаблюдения, применяемой против вторжений.
Если систему 5 применяют для задач видеоконференцсвязи, источники 30 и устройства 20 вывода, предпочтительно, являются заранее заданными. Устройство связи заданного абонента, принимающего участие в видеоконференции, может, опционально, выступать, одновременно, в роли устройства 20 вывода и источника 30 входных сигналов для системы 5; с соответствующими поправками, это же остается верным для телефонной конференцсвязи. В применениях видеонаблюдения устройства 20 вывода и источники 30 могут находиться в множестве не совпадающих друг с другом местоположений. В некоторых случаях устройства 20 вывода могут иметь отличающиеся друг от друга области интереса (ROI), и соответственно, в каждом из них могут требоваться сигналы от различных комбинаций источников 30. Система 5 может обеспечивать такую гибкость. То есть, предпочтительно, процедура, выполняемая в системе 5, для каждого требуемого выходного сигнала может запрашивать разрешение, необходимое для области интереса (ROI), у устройства воспроизведения. Область интереса (ROI) также может представлять собой некоторую область дисплея заданного устройства 20 вывода, для которой данные изображения, обрабатываемые устройством 10 серверного узла, должны быть адаптированы с целью воспроизведения на устройстве 20 вывода. Например, собственное разрешение заданного устройства 20 вывода может составлять 800×480 пикселей, при этом в одну или более процедур, выполняемых в устройстве 10 серверного узла может быть передана информация о том, что эта область является областью интереса (ROI). В определенных ситуациях некоторая область дисплея, то есть, «окно», заданного приложения для вывода данных, может быть меньшей, чем собственное разрешение экрана, и требовать масштабирования контента изображений для воспроизведения, с использованием кубической или линейной аппроксимации; как упоминалось выше, такое масштабирование, предпочтительно, выполняют в устройстве 10 серверного узла, или с использованием комбинации обработки в устройстве 10 серверного узла и заданном устройстве 20 вывода, имеющем упомянутое выше собственное разрешение экрана. Опционально, изменение размера контента, принятого в устройстве 20 вывода, выполняют путем обработки в вычислительном оборудовании, входящем в состав устройства 20 вывода. Масштабирование с уменьшением размера необходимо, когда собственное разрешение «окна» воспроизведения и/или «окна» области интереса (ROI) меньше, чем разрешение источника (или источников) входных данных. Изменение размера, также, предпочтительно, выполняется в устройстве 10 серверного узла, однако, опционально, оно также может выполняться путем обработки данных в вычислительном оборудовании, входящем в состав устройства 20 вывода.
Как упоминалось выше, система 5 при функционировании может обеспечивать формирование мозаичного отображения, проиллюстрированного на фиг. 1. При этом система 5 выполнена с возможностью формирования мозаичного отображения, в которое входит контент от любого количества источников 30 входных данных, например, цифровых видеокамер и/или аналоговых видеокамер. При этом мозаичное отображение может быть, предпочтительно, при необходимости реконфигурируемым, гибко, с программным управлением, например, чтобы снизить напряжение оператора при контроле изображений, к примеру, в центре управления видеонаблюдением. Мозаичное изображение формируют в режиме реального времени, при этом на иллюстрации оно имеет формат 6×6 изображений, однако является реконфигурируемым, и может при необходимости иметь другие форматы, например, 1×1, 1×2, 2×3, 9×6 изображений и т.п. Размер изображений в мозаичном отображении при этом может меняться; например, тридцать три изображения, показанных на фиг. 1, также могут отображаться в виде одного большого изображения, для которого используется область четырех малых изображений сразу, и тридцати двух малых изображений. В мозаичном отображении могут присутствовать множество различных размеров изображений, и при этом аспектные соотношения изображений тоже могут быть различными. Порядок размещения изображений, опционально, также может динамически меняться в соответствии с требованиями пользователя, при этом информация об изменениях может передаваться в устройство серверного узла, для обеспечения оптимального микширования и оптимальной передачи данных.
Описанные выше варианты осуществления настоящего изобретения позволяют сэкономить значительный объем вычислительной мощности в устройствах воспроизведения из состава системы 5, а именно, в одном или более из устройств 20 вывода. Сбережение вычислительной мощности достигается за счет того, что устройство 10 серверного узла формирует и возвращает в устройство воспроизведения контент в точности в требуемом виде и в формате, совместимом с устройством воспроизведения. Сбережение вычислительной мощности, потенциально, позволяет повысить надежность функционирования системы 5, поскольку требуемые большие объемы обработки данных выполняются централизовано в одном или более серверных узлов в устройстве 10 серверного узла. При этом централизованная обработка данных позволяет снизить требования к вычислительной мощности устройств воспроизведения, то есть, устройств 20 вывода. При этом, также, система 5 позволяет экономить значительное количество энергии, связанной с обработкой данных, по следующим причинам:
(i) заданное устройство воспроизведения из состава системы 5 декодирует контент, принятый в нем, в собственный формат, не требующий обработки, благодаря чему в устройстве воспроизведения не тратится энергия на операции преобразования; и
(ii) заданное устройство воспроизведения может использовать принятый в нем контент напрямую, без необходимости его масштабирования, благодаря чему устраняется необходимость постобработки данных в заданном устройстве воспроизведения. Если устройство воспроизведения представляет собой маломощное портативное устройство, подобное снижение энергопотребления, связанного с обработкой данных, потенциально, может обеспечить более длительную работу устройства воспроизведения от аккумулятора, до момента возникновения необходимости замены или перезарядки аккумулятора. При этом система 5 позволяет снизить объем данных, передаваемых от устройства 10 серверного узла в одно или более устройств 20 вывода, то есть, устройств воспроизведения, поскольку область интереса (ROI) в заданном устройстве воспроизведения зачастую гораздо меньше общего комбинированного контента. Например, если тридцать экземпляров изображений, преобразованных из аналоговой в цифровую форму с разрешением 750×576 пикселей, и три цифровых изображения с разрешением 1024×768 пикселей передают из тридцати трех камер видеонаблюдения, в соответствии с иллюстрацией на фиг. 1, в заданное устройство воспроизведения, собственное разрешение которого составляет 800×600 пикселей, то устройство 10 серверного узла путем выполняемых в нем процедур сокращает область изображения, и соответственно, уменьшает объем передаваемых данных, в 38,4 раза. Также, как упоминалось ранее, устройству воспроизведения не требуется изменять масштаб изображений для их помещения на экран дисплея устройства воспроизведения, имеющего меньший размер. Варианты осуществления настоящего изобретения, описанные выше, особенно удобны при реализации систем видеонаблюдения, в которых данные видеозахвата хранят в устройстве 10 серверного узла, и в которых выходные видеоданные, предоставляемые от устройства 10 серверного узла в одно или более устройств воспроизведения, могут одновременно просматриваться в режиме реального времени или в режиме отложенного воспроизведения. Видеоданные могут, например, храниться в полном разрешении в устройстве 10 серверного узла и предоставляться в одно или более устройств воспроизведения в формате, наиболее подходящем для них и являющемся наиболее эффективным. Аналогичные соображения также имеют силу, когда систему 5 применяют для записанной видеоконференцсвязи.
Система 5 позволяет обеспечить автоматическую синхронизацию видеоизображений, если заданное устройство воспроизведения в каждый момент времени принимает одно изображение, по сети связи, связывающей устройство 10 серверного узла с заданным устройством воспроизведения, например, по сети Интернет. Тем не менее, дополнительно или альтернативно, могут применяться сети связи других типов, например, специально созданные по заказу сети связи, к примеру, высокобезопасные выделенные сети. В таком случае устройство 10 серверного узла может формировать кодируемые изображения, получаемые от каждого из источников 30, в реальном времени.
Система 5 обеспечивает возможность передачи контента реального времени «в прямом эфире» в несколько устройств воспроизведения, даже когда несколько из этих устройств воспроизведения обладают меньшей скоростью обработки данных, по сравнению с другими устройствами воспроизведения, поскольку устройство 10 серверного узла формирует кодированные изображения индивидуально для каждого из устройств воспроизведения, по запросу от устройств воспроизведения; то есть, например, устройства воспроизведения с меньшей производительностью не будут влиять на скорость, с которой изображения предоставляются в более быстрые устройства воспроизведения. Благодаря тому, что система 5 функционирует подобным образом, она может поддерживать устройства воспроизведения, которые выполнены с возможностью, аналогично источниками 30, передачи собственных входных сигналов в устройство 10 серверного узла и затем принимать последнее переданное изображение, в точности соответствующее области интереса (ROI), необходимой для отображения его на графическом дисплее.
Система 5, таким образом, может применяться для обеспечения двусторонней связи в реальном времени между множеством участвующих сторон, например, как в случае видеоконференцсвязи. Обработка изображений, выполняемая в устройстве 10 серверного узла, например, масштабирование, позволяет иметь одновременно очень большое количество сторон, участвующих в соединении видеосвязи. Если несколько из устройств воспроизведения имеют общую область интереса (ROI) на их графических дисплеях, устройство 10 серверного узла может подавать одинаковые изображения в несколько сходных друг с другом устройств воспроизведения, например, в случае сходных друг с другом моделей смартфонов. При этом, в ходе видеонаблюдения или видеоконференцсвязи, заданная сторона, участвующая в связи, может выбрать изображение одной из камер в мозаичном отображении, чтобы более подробно рассмотреть область интереса или рассмотреть черты лица другого участника видеоконференцсвязи; такая гибкость обеспечивается за счет того, что устройство воспроизведения заданной стороны связи передает запрос в устройство 10 серверного узла на обработку содержимого для устройства воспроизведения этой заданной стороны связи отличающимся образом, например, с другим масштабированием и/или разрешением. Такой отличающийся способ обработки контента в устройстве 10 серверного узла обеспечивается, например, тем, что заданный абонент, участвующий в связи, применяет жест скольжения пальцем по сенсорному экрану устройства воспроизведения заданной стороны связи, или путем щелчка мышью, или аналогичной операции. Подобный отличающийся способ обработки контента также может включать использование измененного аспектного соотношения изображений, для анизотропного масштабирования контента определенных изображений и т.п., и/или выполнение оптимизации цвета в некоторых частях изображения или последовательности видеоизображений, например, выделение определенных участков изображения.
На фиг. 3 устройство воспроизведения, а именно, устройство 20 вывода, передает в устройство 10 серверного узла запрос 100 на предоставление контента данных, заданным образом, в устройство 20 вывода, который относится к специальной процедуре 110А размещенной в устройстве 10 серверного узла; например, специальная процедура 110А может представлять собой осуществление видеоконференцсвязи, службу видеонаблюдения автопарка или службу трансляции спортивных событий в реальном времени. Устройство 10 серверного узла может поддерживать множество процедур 110A, 110В, 110С одновременно, при этом некоторые из устройств воспроизведения могут, опционально, являться абонентами одновременно множества процедур, то есть, их пользователи могут быстро переключаться между этими процедурами. Такое переключение является предпочтительным, например, когда систему 5 применяют для контроля и управления нефтехимическими сооружениями или больничными объектами, в которых одновременно происходят множество видов деятельности, примером чему является служба выездной скорой помощи, работа которой должна быть скоординирована с отделением неотложной помощи и травматологическим отделением.