ПЕРЕДАЮЩЕЕ УСТРОЙСТВО, СПОСОБ ПЕРЕДАЧИ, ПРИЕМНОЕ УСТРОЙСТВО И СПОСОБ ПРИЕМА
TRANSMITTING DEVICE, TRANSMISSION METHOD, RECEIVING DEVICE AND RECEPTION METHOD

Область техники, к которой относится изобретение
Настоящая технология относится к передающему устройству, способу передачи, приемному устройству и способу приема, а более конкретно, к передающему устройству или ему подобному, которое передает множественные виды элементов аудиоданных.
Предшествующий уровень техники
На предшествующем уровне техники, в качестве трехмерной (3D) акустической технологии, была предложена технология, заключающаяся в том, что элемент закодированных данных "сэмпла" (минимального элемента доступа в закодированном потоке данных), на основе элемента метаданных, отображается на громкоговоритель, присутствующий в каком-либо месте, и осуществляется его представление для этого громкоговорителя (например, см. патентный документ 1).
Список упоминаемых документов
Патентный документ
Патентный документ 1: Перевод публикации номер 2014 - 520491 международной заявки по PCT
Раскрытие изобретения
Техническая Задача
Возможно, чтобы звук, создающий усиленное реалистическое ощущение, может быть воссоздан на принимающей стороне посредством отправки закодированного элемента данных объекта, включающего в себя элемент закодированных данных "сэмпла" и элемент метаданных вместе с элементом закодированных канальных данных для 5.1 каналов, 7.1 каналов или тому подобного.
Задача настоящей технологии заключается в том, чтобы уменьшить нагрузку по обработке данных на принимающей стороне в случае, при котором передаются множественные виды элементов аудиоданных.
Решение задачи
Идея настоящей технологии заключается в передающем устройстве, включающем в себя передающий блок, который передает контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп, и вставляющий информацию блок, который вставляет, на уровне контейнера и/или на уровне потока аудиоданных, информацию об атрибутах, указывающую соответствующие атрибуты элементов закодированных данных этого множества групп.
В настоящей технологии, передающий блок передает контейнер в предварительно заданном формате, имеющий предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к этому множеству групп. Например, элементы закодированных данных, относящиеся к этому множеству групп, могут включать в себя либо элементы канальных закодированных данных, либо элементы объектных закодированных данных, или и те и другие.
Посредством вставляющего информацию блока, информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп, вставляется на уровне контейнера и/или на уровне потока аудиоданных. Например, контейнер может представлять собой транспортный поток данных (MPEG-2 TS) (Транспортный поток по стандарту MPEG-2 (Экспертной группы по движущимся изображениям)), который принят стандарте цифрового вещания. Также, например, контейнер может быть в формате MP4, используемом для доставки данных по сети "Интернет", или другим.
Таким образом, в настоящей технологии, на уровне контейнера и/или на уровне потока аудиоданных вставляется информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп, включенных в состав этого предварительно заданного количества потоков аудиоданных. Соответственно, соответствующие атрибуты элементов закодированных данных этого множества групп могут быть с легкостью распознаны перед декодированием элементов закодированных данных на принимающей стороне, и могут быть выборочно декодированы и использованы только элементы закодированных данных, относящиеся к нужной группе, благодаря чему нагрузка по обработке данных может быть уменьшена.
В дополнение к этому, в настоящей технологии, например, вставляющий информацию блок может дополнительно вставлять, на уровне контейнера и/или на уровне потока аудиоданных, информацию об отношении соответствия потока данных, указывающую, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп. Таким образом, потоки аудиоданных, включающие в себя элементы закодированных данных нужной группы, могут быть с легкостью распознаны на принимающей стороне, благодаря чему нагрузка по обработке данных может быть уменьшена.
В этом случае, например, контейнер может представлять собой MPEG2 - TS, и вставляющий информацию блок, в случае, при котором информация об атрибутах и информация идентификатора потока данных вставляются в контейнер, может вставлять информацию об атрибутах и информацию идентификатора потока данных в цикл элементарного потока аудиоданных, соответствующий, по меньшей мере, одному или более из потоков аудиоданных из числа этого предварительно заданного количества потоков аудиоданных, присутствующих в таблице структуры программы.
Кроме того, в этом случае, например, вставляющий информацию блок, в случае, при котором информация об атрибутах и информация об отношении соответствия потока данных вставляются в поток аудиоданных, может вставлять информацию об атрибутах и информацию об отношении соответствия потока данных в полезную информацию PES - пакета, входящую в состав PES - пакета, по меньшей мере, одного или более из потоков аудиоданных из числа этого предварительно заданного количества потоков аудиоданных.
Например, информация об отношении соответствия потока данных представляет собой информацию, указывающую на отношение соответствия между идентификатором группы, предназначенным для идентификации каждого из элементов закодированных данных этого множества групп, и идентификатором потока данных, предназначенным для идентификации каждого потока из этого предварительно заданного количества потоков аудиоданных. В этом случае, например, вставляющий информацию блок может вставлять, на уровне контейнера и/или на уровне потока аудиоданных, информацию идентификатора потока данных, указывающую идентификатор потока данных для каждого потока из этого предварительно заданного количества потоков аудиоданных.
Например, контейнер может представлять собой MPEG2-TS, и вставляющий информацию блок, в случае, при котором информация идентификатора потока данных вставляется в контейнер, может вставлять информацию идентификатора потока данных в цикл элементарного потока аудиоданных, соответствующий каждому потоку из этого предварительно заданного количества потоков аудиоданных, в таблице структуры программы. Кроме того, например, вставляющий информацию блок, в случае, при котором информация идентификатора потока данных вставляется в поток аудиоданных, может вставлять информацию идентификатора потока данных в полезную информацию PES - пакета, входящую в состав PES - пакета каждого потока из этого предварительно заданного количества потоков аудиоданных.
Кроме того, например, информация об отношении соответствия потока данных может представлять собой информацию, указывающую на отношение соответствия между идентификатором группы, предназначенным для идентификации каждого из элементов закодированных данных этого множества групп, и идентификатором пакета, добавленным, когда пакетируется каждый поток из этого предварительно заданного количества потоков аудиоданных. Кроме того, например, информация об отношении соответствия потока данных может представлять собой информацию, указывающую на отношение соответствия между идентификатором группы, предназначенным для идентификации каждого из элементов закодированных данных этого множества групп, и информацией о типе, указывающей тип потока данных для каждого потока из этого предварительно заданного количества потоков аудиоданных.
В дополнение к этому, другая идея настоящей технологии заключается в приемном устройстве, включающем в себя принимающий блок, который принимает контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп, причем на уровне контейнера и/или на уровне потока аудиоданных вставлена информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп; и блок обработки данных, который обрабатывает это предварительно заданное количество потоков аудиоданных, включенных в состав принятого контейнера, на основе информации об атрибутах.
В настоящей технологии, принимающий блок принимает контейнер в предварительно заданном формате, имеющий предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп. Например, элементы закодированных данных, относящиеся к этому множеству групп, могут включать в себя либо элементы канальных закодированных данных, либо элементы объектных закодированных данных, или и те и другие. На уровне контейнера и/или на уровне потока аудиоданных вставлена информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп. Блок обработки данных обрабатывает это предварительно заданное количество потоков аудиоданных, включенных в состав принятого контейнера, на основе информации об атрибутах.
Таким образом, в настоящей технологии, предварительно заданное количество потоков аудиоданных, включенных в состав принятого контейнера, обрабатываются на основе информации об атрибутах, указывающей соответствующие атрибуты элементов закодированных данных этого множества групп, вставленной на уровне контейнера и/или на уровне потока аудиоданных. Соответственно, могут быть выборочно декодированы и использованы только элементы закодированных данных, относящиеся к нужной группе, благодаря чему нагрузка по обработке данных может быть уменьшена.
В дополнение к этому, в настоящей технологии, например, на уровне контейнера и/или на уровне потока аудиоданных дополнительно вставляется информация об отношении соответствия потока данных, указывающая, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп. Блок обработки данных может обрабатывать это предварительно заданное количество потоков аудиоданных на основе информации об отношении соответствия потока данных, в дополнение к информации об атрибутах. В этом случае, потоки аудиоданных, включающие в себя элементы закодированных данных, относящиеся к нужной группе, могут быть с легкостью распознаны, благодаря чему нагрузка по обработке данных может быть уменьшена.
Кроме того, в настоящей технологии, например, блок обработки данных может выполнять декодирующую обработку данных выборочно, на основе информации об атрибутах и информации об отношении соответствия потока данных, в отношении потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе пользователя.
В дополнение к этому, другая идея настоящей технологии заключается в приемном устройстве, включающем в себя принимающий блок, который принимает контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп, причем на уровне контейнера и/или на уровне потока аудиоданных вставлена информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп, блок обработки данных, который выборочно, на основе информации об атрибутах, получает элементы закодированных данных предварительно заданной группы из этого предварительно заданного количества потоков аудиоданных, включенных в состав принятого контейнера, и реконфигурирует потоки аудиоданных, включающие в себя элементы закодированных данных этой предварительно заданной группы, и блок передачи потоков данных, который передает потоки аудиоданных, реконфигурированные блоком обработки данных, на внешнее устройство.
В настоящей технологии, принимающий блок принимает контейнер в предварительно заданном формате, имеющий предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп. На уровне контейнера и/или на уровне потока аудиоданных вставлена информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп. Блок обработки данных выборочно, на основе информации об атрибутах, получает элементы закодированных данных предварительно заданной группы из этого предварительно заданного количества потоков аудиоданных, включенных в состав принятого контейнера, и реконфигурирует потоки аудиоданных, включающие в себя элементы закодированных данных этой предварительно заданной группы. Блок передачи потоков данных передает потоки аудиоданных, реконфигурированные блоком обработки данных, на внешнее устройство.
Таким образом, в настоящей технологии, элементы закодированных данных, относящиеся к предварительно заданной группы, выборочно получаются из предварительно заданного количества потоков аудиоданных на основе атрибутивной информации, указывающей соответствующие атрибуты элементов закодированных данных множества групп, вставленной на уровне контейнера и/или на уровне потока аудиоданных, и потоки аудиоданных, подлежащие передаче на внешнее устройство, реконфигурируются. Элементы закодированных данных нужной группы могут быть с легкостью получены, благодаря чему нагрузка по обработке данных может быть уменьшена.
Кроме того, в настоящей технологии, например, на уровне контейнера и/или на уровне потока аудиоданных, дополнительно вставляется информация об отношении соответствия потока данных, указывающая, какой поток аудиоданных включает в себя каждый из элементов закодированных данных множества групп. Блок обработки данных может выборочно получать элементы закодированных данных предварительно заданной группы из этого предварительно заданного количества потоков аудиоданных на основе информации об отношении соответствия потока данных, в дополнение к информации об атрибутах. В этом случае, потоки аудиоданных, включающие в себя элементы закодированных данных, относящиеся к этой предварительно заданной группе, могут быть с легкостью распознаны, благодаря чему нагрузка по обработке данных может быть уменьшена.
Полезные результаты изобретения
В соответствии с настоящей технологией, в случае, при котором передаются множественные виды элементов аудиоданных, можно уменьшить нагрузку по обработке данных на принимающей стороне. Следует отметить, что результаты, описанные в настоящей спецификации, являются просто иллюстративными и не ограничивающими, и могут иметь дополнительные результаты.
Краткое описание чертежей
Фиг. 1 представляет собой структурную схему, на которой показан пример конфигурации системы передачи/приема данных, в качестве варианта воплощения изобретения.
Фиг. 2 представляет собой схему, на которой показана структура кадра (1024 "сэмпла") аудиоданных в элементах передаваемых трехмерных аудиоданных.
Фиг. 3 представляет собой схему, на которой показан пример конфигурации элементов передаваемых трехмерных аудиоданных.
Фиг. 4 представляет собой схему, в которой схематично показан пример конфигурации кадра аудиоданных в случае, при котором элементы передаваемых трехмерных аудиоданных передаются одним потоком данных и множественными потоками данных.
Фиг. 5 представляет собой схему, на которой показан пример распределения групп в случае, при котором элементы передаваемых трехмерных аудиоданных передаются двумя потоками данных.
Фиг. 6 представляет собой схему, на которой показано отношение соответствия или тому подобное между группой и потоком данных в примере распределения групп (на два подразделения).
Фиг. 7 представляет собой схему, на которой показан пример распределения групп в случае, при котором элементы передаваемых трехмерных аудиоданных передаются двумя потоками.
Фиг. 8 представляет собой схему, на которой показано отношение соответствия или тому подобное между группой и потоком данных в примере распределения групп (на два подразделения).
Фиг. 9 представляет собой структурную схему, на которой показан пример конфигурации блока генерации потоков данных, входящего в состав передатчика сервиса.
Фиг. 10 представляет собой схему, на которой показан пример конфигурации дескриптора конфигурации потока трехмерных аудиоданных.
На фиг. 11 показано содержание основной информации в этом примере конфигурации дескриптора конфигурации потока трехмерных аудиоданных.
Фиг. 12 представляет собой схему, на которой показаны виды контентов, определенные в поле "contentKind" ("видКонтента").
Фиг. 13 представляет собой схему, на которой показан пример конфигурации дескриптора идентификатора потока трехмерных аудиоданных и содержание основной информации в этом примере конфигурации.
Фиг. 14 представляет собой схему, на которой показан пример конфигурации транспортного потока данных.
Фиг. 15 представляет собой структурную схему, на которой показан пример конфигурации приемника сервиса.
Фиг. 16 представляет собой схему, на которой показан пример принимаемого потока аудиоданных.
Фиг. 17 представляет собой схему, на которой схематично показана декодирующая обработка данных в случае, при котором дескрипторная информация не присутствует внутри потока аудиоданных.
Фиг. 18 представляет собой схему, на которой показан пример конфигурации блока доступа к аудиоданным (кадра аудиоданных) потока аудиоданных в случае, при котором дескрипторная информация не присутствует внутри потока аудиоданных.
Фиг. 19 представляет собой схему, на которой схематично показана декодирующая обработка данных в случае, при котором дескрипторная информация присутствует внутри потока аудиоданных.
Фиг. 20 представляет собой схему, на которой показан пример конфигурации блока доступа к аудиоданным (кадра аудиоданных) потока аудиоданных в случае, при котором дескрипторная информация присутствует внутри потока аудиоданных.
Фиг. 21 представляет собой схему, на которой показан другой пример конфигурации блока доступа к аудиоданным (кадра аудиоданных) потока аудиоданных в случае, при котором дескрипторная информация присутствует внутри потока аудиоданных.
Фиг. 22 представляет собой блок-схему (1/2) алгоритма, на которой показан пример обработки данных при управлении декодированием аудиоданных, выполняемой центральным процессором в приемнике сервиса.
Фиг. 23 представляет собой блок-схему (2/2) алгоритма, на которой показан пример обработки данных при управлении декодированием аудиоданных, выполняемой центральным процессором в приемнике сервиса.
Фиг. 24 представляет собой структурную схему, на которой показан другой пример конфигурации приемника сервиса.
Способ (ы) осуществления изобретения
Далее, со ссылкой на прилагаемые чертежи будет описан вариант воплощения настоящего раскрываемого изобретения. Описание будет приведено в нижеследующем порядке.
1. Вариант воплощения изобретения
2. Альтернативный вариант воплощения изобретения
1.Вариант воплощения изобретения
Пример конфигурации системы передачи/приема данных
На фиг. 1 показан пример конфигурации системы (10) передачи/приема данных, в качестве варианта воплощения изобретения. Система (10) передачи/приема данных включает в себя передатчик (100) сервиса и приемник (200) сервиса. Передатчик (100) сервиса передает транспортный поток (TS) данных на радиовещательной волне или в сетевом пакете. Транспортный поток данных имеет поток видеоданных и некоторое предварительно заданное количество, то есть один или более потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп.
На фиг. 2 показана структура кадра (1024 "сэмпла") аудиоданных в элементах передаваемых трехмерных аудиоданных, обрабатываемых в этом варианте воплощения изобретения. Кадр аудиоданных включает в себя множество пакетов потока аудиоданных стандарта MPEG (пакетов потока аудиоданных стандарта mpeg). Каждый пакет потока аудиоданных стандарта MPEG включает в себя заголовок (Заголовок) и полезную информацию (Полезная информация).
Заголовок имеет информацию о типе пакета (Тип пакета), метке пакета (Метка пакета), длине пакета (Длина пакета) или тому подобное. Информация, определенная типом пакета в заголовке, располагается в полезной информации. В полезной информации присутствуют "SYNC" ("СИНХРОНИЗАЦИЯ"), соответствующая коду начала синхронизации, "Frame" ("Кадр"), который представляет собой фактические данные элементов передаваемых трехмерных аудиоданных, и "Config" ("Конфигурация"), указывающая конфигурацию "Кадра".
"Кадр" включает в себя элемент канальных закодированных данных и элемент объектных закодированных данных, формирующие элементы передаваемых трехмерных аудиоданных. Здесь, элементы канальных закодированных данных включают в себя элементы закодированных данных "сэмпла", такие как SCE (Элемент единственного канала), CPE (Элемент пары Каналов), LFE (Низкочастотный элемент) и тому подобное. В дополнение к этому, элемент объектных закодированных данных включает в себя элемент закодированных данных "сэмпла", представляющий собой SCE (Элемент единственного канала), и элемент метаданных для отображения и представления его для громкоговорителя, находящегося в каком-либо месте. Элемент метаданных включен сюда как элемент расширения (Ext_element).
На фиг. 3 показан пример конфигурации элементов передаваемых трехмерных аудиоданных. В этом примере, он включает в себя элементы канальных закодированных данных и два элемента объектных закодированных данных. Этот один элемент канальных закодированных данных представляет собой элемент (CD) канальных закодированных данных канала 5.1, и включают в себя каждый элемент закодированных данных "сэмпла" из числа: SCE1, CPE1.1, CPE1.2, и LFE1.
Эти два элемента объектных закодированных данных являются элементами закодированных данных, представляющих собой Иммерсивный звуковой объект (IAO) и Речевого диалогового объекта (SDO). Элемент закодированных данных иммерсивного звукового объекта представляет собой элемент объектных закодированных данных для иммерсивного (погружающего, фонового) звука, и включает в себя элемент (SCE2) закодированных данных "сэмпла" и элемент метаданных EXE_El (объектные метаданные) 2 для отображения и представления его для громкоговорителя, находящегося в каком-либо месте.
Элемент закодированных данных речевого диалогового объекта представляет собой элемент объектных закодированных данных для языка речи. В этом примере, присутствует элемент закодированных данных речевого диалогового объекта, соответствующий каждому языку из числа первого и второго языков. Элемент закодированных данных речевого диалогового объекта, соответствующий первому языку, включает в себя элемент (SCE3) закодированных данных "сэмпла", и элемент метаданных EXE_El (объектные метаданные) 3 для отображения и представления его для громкоговорителя, находящегося в каком-либо месте. Кроме того, элемент закодированных данных речевого диалогового объекта, соответствующий второму языку, включает в себя элемент (SCE4) закодированных данных "сэмпла", и элемент метаданных EXE_El (объектные метаданные) 4 для отображения и представления его для громкоговорителя, находящегося в каком-либо месте.
Элементы закодированных данных классифицированы в соответствии с понятием группы (группа) на основании типа. В показанном примере, элемент закодированных канальных данных канала 5.1 классифицирован как группа 1, элемент закодированных данных иммерсивного звукового объекта классифицирован как группа 2, элемент закодированных данных речевого диалогового объекта соответствующий первому языку, классифицирован как группа 3, и элемент закодированных данных речевого диалогового объекта, соответствующий второму языку, классифицирован как группа 4.
Кроме того, то, что выбор между этими группами осуществляется на принимающей стороне, зарегистрировано как группа переключения (SW-группа), и закодировано. В дополнение к этому, группы группируются между собой как некоторая группа предварительной настройки (группа предварительной настройки), посредством чего возможно обновление, соответствующее случаю использования. В показанном примере, группа 1, группа 2 и группа 3 сгруппированы между собой как группа 1 предварительной настройки, и группа 1, группа 2 и группа 4 сгруппированы между собой как группа 2 предварительной настройки.
Возвращаясь к фиг. 1, отметим, что передатчик (100) сервиса передает элементы передаваемых трехмерных аудиоданных, включающие в себя элементы закодированных данных этого множества групп, одним потоком данных или множественными потоками данных (множественный поток данных), как было описано выше.
На фиг. 4 (a) схематично показан пример конфигурации в случае, при котором элементы передаваемых трехмерных аудиоданных, показанные на фиг. 3, передаются одним потоком данных (основным потоком данных). В этом случае, этот один поток данных включает в себя элемент (CD) канальных закодированных данных, элемент (IAO) закодированных данных иммерсивного звукового объекта и элемент (SDO) закодированных данных речевого диалогового объекта вместе с "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией").
На фиг. 4 (b) схематично показан пример конфигурации в случае, при котором элементы передаваемых трехмерных аудиоданных, показанные на фиг. 3, передаются множественными потоками данных, здесь, двумя потоками данных. В этом случае, основной поток данных включает в себя элемент (CD) канальных закодированных данных и элемент (IAO) закодированных данных иммерсивного звукового объекта вместе с "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией"). Кроме того, подпоток данных включает в себя элемент (SDO) закодированных данных речевого диалогового объекта вместе с "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией").
На фиг. 5 показан пример распределения групп в случае, при котором элементы передаваемых трехмерных аудиоданных, показанные на фиг. 3, передаются двумя потоками данных. В этом случае, основной поток включает в себя элемент (CD) канальных закодированных данных, классифицированный как группа 1, и элемент (IAO) закодированных данных иммерсивного звукового объекта, классифицированный как группа 2. Кроме того, подпоток данных включает в себя элемент (SDO) закодированных данных речевого диалогового объекта, соответствующий первому языку, классифицированный как группа 3, и элемент (SDO) закодированных данных речевого диалогового объекта, соответствующий второму языку, классифицированный как группа 4.
На фиг. 6 показано отношение соответствия или тому подобное между группой и потоком данных в примере распределения групп (на два подразделения), показанном на фиг. 5. Здесь, идентификатор группы (group ID) представляет собой идентификатор для идентификации группы. Атрибут (attribute) показывает атрибут элемента закодированных данных каждой группы. Идентификатор группы переключения (switch Group ID) представляет собой идентификатор для идентификации группы переключения. Идентификатор группы предварительной настройки (идентификатор группы предварительной настройки) представляет собой идентификатор для идентификации группы предварительной настройки. Идентификатор потока данных (идентификатор подпотока данных) представляет собой идентификатор для идентификации подпотока данных. Вид (Kind) показывает виды контента (информационно значимого содержимого) каждой группы.
Проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 1, представляет собой элемент канальных закодированных данных, не составляет группу переключения и включен в состав потока (1) данных. Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 2, представляет собой элемент объектных закодированных данных для иммерсивного звука (элемент закодированных данных иммерсивного звукового объекта), не составляет группу переключения и включен в состав потока (1) данных.
Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 3, представляет собой элемент объектных закодированных данных для языка речи (элемент закодированных данных речевого диалогового объекта), соответствующий первому языку, составляет группу (1) переключения и включен в состав потока (2) данных. Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 4, представляет собой элемент объектных закодированных данных для языка речи (элемент закодированных данных речевого диалогового объекта), соответствующий второму языку, составляет группу (1) переключения и включен в состав потока (2) данных.
Кроме того, проиллюстрированное отношение соответствия показывает, что группа (1) предварительной настройки включает в себя группу 1, группу 2 и группу 3. Помимо этого, проиллюстрированное отношение соответствия показывает, что группа (2) предварительной настройки включает в себя группу 1, группу 2 и группу 4.
На фиг. 7 показан пример распределения групп в случае, при котором элементы передаваемых трехмерных аудиоданных передаются двумя потоками. В этом случае, основной поток включает в себя элемент (CD) канальных закодированных данных, классифицированный как группа 1, и элемент (IAO) закодированных данных иммерсивного звукового объекта, классифицированный как группа 2.
Кроме того, основной поток включает в себя элемент объектных закодированных данных SAOC (Пространственного кодирования звуковых объектов), классифицированный как группа 5, и элемент объектных закодированных данных с амбиофоническим эффектом (эффектом "окружающего" звука) более высокого порядка (HOA), классифицированный как группа 6. Элемент объектных закодированных данных SAOC представляет собой элемент данных, который использует характеристики объектных элементов данных, и выполняет более сильное сжатие при кодировании объекта. Элемент объектных закодированных данных HOA предназначен для нацеливания направления воспроизведения звукового от направления поступления звука в микрофон к месту слушания посредством технологии, при которой трехмерный звук обрабатывается как целое звуковое поле.
Подпоток данных включает в себя элемент (SDO) закодированных данных речевого диалогового объекта, соответствующий первому языку, классифицированный как группа 3, и элемент (SDO) закодированных данных речевого диалогового объекта, соответствующий второму языку, классифицированный как группа 4. Кроме того, подпоток данных включает в себя первый элемент закодированных данных аудиоописания, классифицированный как группа 7, и второй элемент закодированных данных аудиоописания, классифицированный как группа 8. Элемент закодированных данных аудиоописания предназначен для объяснения контента (главным образом, видео) голосом и для передачи отдельно от обычного звука, главным образом, для людей с нарушениями зрения.
На фиг. 8 показано отношение соответствия или тому подобное между группой и потоком данных в примере распределения групп (на два подразделения), показанном на фиг. 7. Проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 1, представляет собой элемент канальных закодированных данных, не составляет группу переключения и включен в состав потока (1) данных. Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 2, представляет собой элемент объектных закодированных данных для иммерсивного звука (элемент закодированных данных иммерсивного звукового объекта), не составляет группу переключения и включен в состав потока (1) данных.
Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 3, представляет собой элемент объектных закодированных данных для языка речи (элемент закодированных данных речевого диалогового объекта), соответствующий первому языку, составляет группу (1) переключения и включен в состав потока (2) данных. Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 4, представляет собой элемент объектных закодированных данных для языка речи (элемент закодированных данных речевого диалогового объекта), соответствующий второму языку, составляет группу (1) переключения и включен в состав потока (2) данных.
Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 5, представляет собой элемент объектных закодированных данных SAOC, составляет группу (2) переключения и включен в состав потока (1) данных. Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 6, представляет собой элемент объектных закодированных данных HOA, составляет группу (2) переключения и включен в состав потока (1) данных.
Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 7, представляет собой первый элемент объектных закодированных данных аудиоописания, составляет группу (3) переключения и включен в состав потока (2) данных. Кроме того, проиллюстрированное отношение соответствия показывает, что элемент закодированных данных, принадлежащий к группе 8, представляет собой второй элемент объектных закодированных данных аудиоописания, составляет группу (3) переключения и включен в состав потока (2) данных.
Кроме того, проиллюстрированное отношение соответствия показывает, что группа (1) предварительной настройки включает в себя группу 1, группу 2, группу 3 и группу 7. Помимо этого, проиллюстрированное отношение соответствия показывает, что группа (2) предварительной настройки включает в себя группу 1, группу 2, группу 4 и группу 8.
Возвращаясь к фиг. 1, отметим, что передатчик (100) сервиса вставляет, на уровне контейнера, информацию об атрибутах, указывающую соответствующие атрибуты элементов закодированных данных этого множества групп, включенных в состав элементов передаваемых трехмерных аудиоданных. Кроме того, передатчик (100) сервиса вставляет, на уровне контейнера, информацию об отношении соответствия потока данных, указывающую на то, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп. В этом варианте воплощения изобретения, информация об отношении соответствия потока данных рассматривается, например, как информация, указывающая на отношение соответствия между идентификатором группы и идентификатором потока данных.
Передатчик (100) сервиса вставляет, в качестве дескрипторов, информацию об атрибутах и информацию об отношении соответствия потока данных в цикл элементарного потока аудиоданных, соответствующий одному или более потокам аудиоданных из числа некоторого предварительно заданного количества потоков аудиоданных имеющихся, например, согласно таблице структуры программ (PMT - таблице: Program Map Table).
Кроме того, передатчик (100) сервиса вставляет, на уровне контейнера, информацию идентификатора потока данных, указывающую соответствующие идентификаторы потоков данных для некоторого предварительно заданного количества потоков аудиоданных. Передатчик (100) сервиса вставляет, в качестве дескриптора, эту информацию идентификатора потока данных в цикл элементарных потоков аудиоданных, корреспондирующий соответствующему предварительно заданному количеству потоков аудиоданных, имеющихся, например, согласно таблице структуры программ (PMT - таблице: Program Map Table).
Кроме того, передатчик (100) сервиса вставляет, на уровне потока аудиоданных, информацию об атрибутах, указывающую соответствующие атрибуты элементов закодированных данных множества групп, включенных в состав элементов передаваемых трехмерных аудиоданных. Кроме того, передатчик (100) сервиса вставляет, на уровне потока аудиоданных, информацию об отношении соответствия потока данных, указывающую на то, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп. Передатчик (100) сервиса вставляет информацию об атрибутах и информацию об отношении соответствия потока данных, например, в полезную информацию PES - потока (Пакетированного элементарного потока данных) в PES - пакете (пакете Пакетированного элементарного потока данных) одного или более потоков аудиоданных из числа этого предварительно заданного количества потоков аудиоданных.
Кроме того, передатчик (100) сервиса вставляет, на уровне потока аудиоданных, информацию идентификатора потока данных, указывающую соответствующий идентификатор потоков данных для этого предварительно заданного количества потоков аудиоданных. Передатчик (100) сервиса вставляет информацию идентификатора потока данных, например, в полезную информацию PES - потока соответствующих PES - пакетов этого предварительно заданного количества потоков аудиоданных.
Передатчик (100) сервиса вставляет эту информацию на уровне потока аудиоданных, вставляя "Desc" ("Дескриптор"), то есть дескрипторную информацию между "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией"), как это показано на фиг. 4 (a), (b).
Хотя в этом варианте воплощения изобретения проиллюстрировано, что каждая информация (информация об атрибутах, информация об отношении соответствия потока данных, информация идентификатора потока данных) вставляется на обоих уровнях из числа: уровня контейнера и уровня потока аудиоданных, как это описано выше, предполагается, что каждая информация вставляется только на уровне контейнера или только на уровне потока аудиоданных.
Приемник (200) сервиса принимает транспортный поток (TS) данных, передаваемый на радиовещательной волне или в сетевом пакете от передатчика (100) сервиса. Транспортный поток (TS) данных включает в себя, в дополнение к потоку видеоданных, предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп, конфигурирующих элементы передаваемых трехмерных аудиоданных, как это описано выше.
Информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных множества групп, включенных в состав элементов передаваемых трехмерных аудиоданных, вставляется на уровне контейнера и/или уровне потока аудиоданных, и вставляется информации об отношении соответствия потока данных, указывающая, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп.
Приемник (200) сервиса, на основе информации об атрибутах и информации об отношении соответствия потока данных, выборочно выполняет декодирующую обработку данных в отношении потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и информации пользовательского выбора, и получает выводимые аудиоданные трехмерного аудио.
Блок генерации потоков данных в передатчике сервиса
На фиг. 9 показан пример конфигурации блока (110) генерации потоков данных, входящего в состав передатчика (100) сервиса. Блок (110) генерации потоков данных включает в себя кодер (112) видеоданных, кодер (113) аудиоданных и мультиплексор (114). Здесь, элемент передаваемых аудиоданных включает в себя один элемент закодированных канальных данных и два элемента объектных закодированных данных, иллюстративно, как было показано на фиг. 3.
Кодер (112) видеоданных вводит элемент (SV) видеоданных, кодирует элемент (SV) видеоданных и генерирует поток видеоданных (элементарный поток видеоданных). Кодер (113) аудиоданных вводит, в качестве элемента (SA) аудиоданных, и элементы данных иммерсивный звукового и речевого диалогового объектов, вместе с элементом канальных данных.
Кодер (113) аудиоданных кодирует элемент (SA) аудиоданных и получает элементы передаваемых трехмерных аудиоданных. Элементы передаваемых трехмерных аудиоданных включают в себя элемент (CD) канальных закодированных данных, элемент (IAO) закодированных данных иммерсивного звукового объекта, и элемент (SDO) закодированных данных речевого диалогового объекта, как было показано на фиг. 3.
Кодер (113) аудиоданных генерирует один или более потоков аудиоданных (элементарных потоков аудиоданных), включающих в себя элементы закодированных данных, относящиеся к множеству групп, здесь, к четырем группам (см. фиг. 4 (a), (b)). В это время, кодер (113) аудиоданных вставляет между "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией") дескрипторную информацию ("Desc"), включающую в себя информацию об атрибутах, информацию об отношении соответствия потока данных и информацию идентификатора потока данных, как это было описано выше.
Мультиплексор (114) пакетирует в PES - пакеты каждый поток из числа: потока видеоданных, выводимых из кодера (112) видеоданных, и предварительно заданного количества потоков аудиоданных, выводимых из кодера (113) аудиоданных, далее создает транспортные пакеты потоков аудиоданных для мультиплексирования и получает, в качестве мультиплексированного потока данных, транспортный поток (TS) данных.
Кроме того, мультиплексор (114) вставляет информацию об атрибутах, указывающую соответствующие атрибуты элементов закодированных данных этого множества групп, и информацию об отношении соответствия потока данных, указывающую, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп согласно таблице структуры программ (PMT - таблице). Мультиплексор (114) вставляет эту информацию в цикл элементарного потока аудиоданных, соответствующий, по меньшей мере, одному или более потоков аудиоданных из числа предварительно заданного количества потоков аудиоданных, используя дескриптор конфигурации потока трехмерных аудиоданных (3Daudio_stream_config_descriptor). Подробности этого дескриптора будут описаны позже.
В дополнение к этому, мультиплексор (114) вставляет информацию идентификатора потока данных, указывающую соответствующие идентификаторы потоков данных для этого предварительно заданного количества потоков аудиоданных согласно таблице структуры программ (PMT - таблице). Мультиплексор (114) вставляет информацию в цикл элементарного потока аудиоданных, корреспондирующий соответствующему предварительно заданному количеству потоков аудиоданных, используя дескриптор идентификатора потока трехмерных аудиоданных (3Daudio_substreamID_descriptor). Подробности этого дескриптора будут описаны позже.
Кратко опишем функционирование блока (110) генерации потоков данных, показанного на фиг. 9. На кодер (112) видеоданных подается элемент видеоданных. В кодере (112) видеоданных, элемент (SV) видеоданных кодируется, и генерируется поток видеоданных, включающий в себя этот элемент закодированных видеоданных. Поток видеоданных подается на мультиплексор (114).
На кодер (113) аудиоданных подается элемент (SA) аудиоданных. Элемент (SA) аудиоданных включает в себя элементы объектных данных элемента канальных данных, иммерсивные аудиоданные и речевой диалог. В кодере (113) аудиоданных, элемент (SA) аудиоданных кодируется, и получаются элементы передаваемых трехмерных аудиоданных.
Элементы передаваемых трехмерных аудиоданных включают в себя элемент (IAO) закодированных данных иммерсивного звукового объекта и элемент (SDO) закодированных данных речевого диалогового объекта в дополнение к элементам (CD) канальных закодированных данных (см. фиг. 3). В кодере (113) аудиоданных генерируются один или более потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к четырем группам (см. фиг. 4 (a), (b)).
В это время, кодер (113) аудиоданных вставляет дескрипторную информацию ("Desc"), включающую в себя информацию об атрибутах, информацию об отношении соответствия потока данных и информацию идентификатора потока, как описано выше, между "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией").
Поток видеоданных, сгенерированный в кодере (112) видеоданных, подается на мультиплексор (114). Кроме того, на мультиплексор (114) подается поток аудиоданных, сгенерированный в кодере (113) аудиоданных. В мультиплексоре (114), поток данных, подаваемый с каждого кодера, пакетируется в PES - пакет и пакетируется в транспортный пакет для мультиплексирования, и, в качестве мультиплексированного потока данных, получается транспортный поток (TS) данных.
Кроме того, в мультиплексоре (114), дескриптор конфигурации потока трехмерных аудиоданных вставляется, например, в цикл элементарного потока аудиоданных, соответствующий, по меньшей мере, одному или более потокам аудиоданных из числа предварительно заданного количества потоков аудиоданных. Этот дескриптор включает в себя информацию об атрибутах, указывающую соответствующие атрибуты элементов закодированных данных множества групп, и информацию об отношении соответствия потока данных, указывающую, какой поток аудиоданных включает в себя каждый из элементов закодированных данных множества групп.
Кроме того, в дескрипторе (114), дескриптор идентификатора потока трехмерных аудиоданных вставляется в цикл элементарного потока аудиоданных, корреспондирующий соответствующему предварительно заданному количеству потоков аудиоданных. Этот дескриптор включает в себя информацию идентификатора потока данных, указывающую соответствующие идентификаторы потоков данных относящиеся к этому предварительно заданному количеству потоков аудиоданных.
Подробности дескриптора конфигурации потока трехмерных аудиоданных
На фиг. 10 показан пример конфигурации (Синтаксис) дескриптора конфигурации потока трехмерных аудиоданных (3Daudio_stream_config_descriptor). В дополнение к этому, на фиг. 11 показано содержание (Семантика) основной информации в этом примере конфигурации.
8-битовое поле "descriptor_tag" ("ярлык_дескриптора") указывает тип дескриптора. Здесь, оно показывает, что это - дескриптор конфигурации потока трехмерных аудиоданных. 8-битовое поле "descriptor_length" ("длина_дескриптора") указывают длину (размер) дескриптора, и показывает, в качестве длины дескриптора, последующее количество байтов.
8-битовое поле "NumOfGroups, N" ("КоличествоГрупп, N") указывает количество групп. 8-битовое поле "NumOfPresetGroups, P" ("КоличествоГруппПредварительнойНастройки, P) указывает количество групп предварительной настройки. Для этого количества групп, 8-битовое поле "groupID" ("идентификаторГруппы"), 8-битовое поле "attribute_of_groupID" ("атрибут_ИдентификатораГруппы"), 8-битовое поле "SwitchGroupID" ("ИдентификаторГруппыПереключения") и 8-битовое поле "audio_streamID" ("идентификаторПотока_аудиоданных") повторяются.
Поле "groupID" указывает идентификатор группы. Поле "attribute_of_groupID" указывает соответствующий атрибут элемента закодированных данных, относящегося к этой группе. Поле "SwitchGroupID" представляет собой идентификатор, указывающий группу переключения, к которой принадлежит рассматриваемая группа. "0" указывает на то, что она не принадлежит никакой группе переключения. Значение, отличное от "0", указывает группу переключения, к которой она принадлежит. 8-битовое поле "contentKind" ("видКонтента") указывают виды контентов группы. Поле "audio_streamID" ("идентификаторПотока_аудиоданных") представляет собой идентификатор, указывающий поток аудиоданных, включающий в себя рассматриваемую группу. На фиг. 12 показаны виды контентов, определенные в поле "contentKind".
Для количества групп предварительной настройки, повторяются 8-битовое поле "presetGroupID" ("идентификаторГруппыПредварительнойНастройки") и 8-битовое поле "NumOfGroups_in_preset, R" ("КоличествоГрупп_в_группеПредварительнойНастройки, R"). Поле "presetGroupID" представляет собой идентификатор, указывающий набор, в котором предварительно задана эта группа. Поле "NumOfGroups_in_preset, R" указывает количество групп, принадлежащих этой группе предварительной настройки. В каждой группе предварительной настройки, для количества групп, принадлежащих к ней, повторяется 8-битовое поле "groupID" ("идентификаторГруппы"), и показываются группы, принадлежащие к этой группе предварительной настройки. Этот дескриптор может быть расположен согласно расширенному дескриптору.
Подробности дескриптора идентификатора потока трехмерных аудиоданных
На фиг. 13 (a) показан пример конфигурации (Синтаксис) дескриптора идентификатора потока трехмерных аудиоданных (3Daudio_substreamID_descriptor). На фиг. 13 (b) показано содержание (Семантика) основной информации в этом примере конфигурации.
8-битовое поле "descriptor_tag" ("ярлык_дескриптора") указывает тип дескриптора. Здесь, оно показывает, что это - дескриптор идентификатора потока трехмерных аудиоданных. 8-битовое поле "descriptor_length" ("длина_дескриптора") указывают длину (размер) дескриптора, и показывает, в качестве длины дескриптора, последующее количество байтов. 8-битовое поле "audio_streamID" ("идентификаторПотока_аудиоданных") указывает идентификатор потока аудиоданных. Этот дескриптор может быть расположен согласно расширенному дескриптору.
Конфигурация транспортного потока (TS) данных
На фиг. 14 показан пример конфигурации транспортного потока (TS) данных. Этот пример конфигурации соответствует случаю, при котором элементы передаваемых трехмерных аудиоданных передаются двумя потоками (см. фиг. 5). В этом примере конфигурации, существует PES - пакет потока видеоданных "PES - пакет видеоданных", идентифицированный идентификатором PID1. Кроме того, в этом примере конфигурации, существует два PES - пакета потоков аудиоданных "PES - пакеты аудиоданных", идентифицированные, соответственно, идентификаторами PID2 и PID3. PES - пакет включает в себя заголовок PES - пакета (PES_header) и полезную информацию PES - пакета (PES_payload). В заголовок PES - пакета вставлены временные метки DTS (временнáя метка декодирования) и PTS (временнáя метка представления). При мультиплексировании, временные метка PID2 и PID3 согласовываются для обеспечения точности, благодаря чему может быть обеспечена синхронизация между ними во всей системе.
Здесь, PES - пакет потока аудиоданных "PES - пакет аудиоданных", идентифицированный идентификатором PID2, включает в себя элемент (CD) канальных закодированных данных, классифицированный как группа 1, и элемент (IAO) закодированных данных иммерсивного звукового объекта, классифицированный как группа 2. Кроме того, PES - пакет потока аудиоданных "PES - пакет аудиоданных", идентифицированный идентификатором PID3, включает в себя элемент (SDO) закодированных данных речевого диалогового объекта, соответствующий первому языку, классифицированный как группа 3, и элемент (SDO) закодированных данных речевого диалогового объекта, соответствующий второму языку, классифицированный как группа 4.
Кроме того, транспортный поток (TS) данных включает в себя PMT - таблицу (Таблицу структуры программ) в качестве PSI - информации (Информации, специфической по программе). PSI - информация представляет собой информацию, описывающую, какой программе принадлежит каждый элементарный поток данных, включенный в состав транспортного потока данных. В PMT - таблице присутствует цикл программы (Цикл программы), который описывает информацию о всей программе.
Кроме того, в PMT - таблице присутствует цикл элементарного потока данных, имеющий информацию о каждом элементарном потоке данных. В этом примере конфигурации присутствует цикл элементарного потока видеоданных (цикл ES - потока видеоданных), соответствующий потоку видеоданных, и присутствует цикл элементарного потока аудиоданных (цикл ES - потока аудиоданных), соответствующий двум потокам аудиоданных.
В цикле элементарного потока видеоданных (цикле ES - потока видеоданных), в корреспонденции с потоком видеоданных располагается информация о типе потока данных, PID - идентификатор (идентификатор пакета) и так далее, и также располагается дескриптор, который описывает информацию, касающуюся потока видеоданных. Значение "Stream_type" ("Тип_потока") потока видеоданных устанавливается в "0x24", и информация PID - идентификатора указывает PID1, добавленный в PES - пакет потока видеоданных "PES - пакет видеоданных", как это было описано выше. В качестве одного из дескрипторов, располагается дескриптор HEVC (Высокоэффективного кодирования видеоданных).
В каждом цикле элементарного потока аудиоданных (цикле ES - потока аудиоданных), в корреспонденции с потоком видеоданных располагается информация о типе потока данных, PID - идентификатор (идентификатор пакета) и так далее, и также располагается дескриптор, который описывает информацию, касающуюся потока аудиоданных. PID2 представляет собой основной поток аудиоданных и значение "Stream_type" ("Тип_потока") устанавливается в "0x2С", и информация PID - идентификатора указывает PID - идентификатор, добавленный в PES - пакет потока аудиоданных "PES - пакет аудиоданных", как это было описано выше. Кроме того, PID3 представляет собой подпоток аудиоданных и значение "Stream_type" ("Тип_потока") устанавливается в "0x2D", и информация PID - идентификатора указывает PID - идентификатор, добавленный в PES - пакет потока аудиоданных "PES - пакет аудиоданных", как это было описано выше.
Кроме того, в каждом цикле элементарного потока аудиоданных (цикле ES - потока аудиоданных), располагаются оба из вышеописанных дескриптора конфигурации потока трехмерных аудиоданных и дескриптора идентификатора потока трехмерных аудиоданных.
Кроме того, дескрипторная информация вставляется в полезную информацию PES - пакета в PES - пакете каждого элементарного потока аудиоданных. Дескрипторная информация представляет собой "Desc" ("Дескриптор"), вставленный между "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией"), как это было описано выше (см. фиг. 4). Предполагая, что информация, включенная в состав дескриптора конфигурации потока трехмерных аудиоданных, обозначена как D1, а информация, включенная в состав дескриптора идентификатора потока трехмерных аудиоданных, обозначена как D2, дескрипторная информация включает в себя информацию "D1 + D2".
Пример конфигурации приемника сервиса
На фиг. 15 показан пример конфигурации приемника (200) сервиса. Приемник (200) сервиса включает в себя принимающий блок (201), демультиплексор (202), декодер (203) видеоданных, схему (204) обработки видеоданных, схему (205) управления панелью и панель (206) отображения. Кроме того, приемник (200) сервиса включает в себя буферы (с 211-1 по 211-N) мультиплексирования, объединитель (212), декодер (213) трехмерных аудиоданных, схему (214) обработки данных при выводе звука и систему (215) громкоговорителей. Кроме того, приемник (200) сервиса включает в себя центральный процессор (221), перепрограммируемое постоянное запоминающее устройство (222), динамическое оперативное запоминающее устройство (223), внутреннюю шину (224), принимающий блок (225) дистанционного управления и передатчик (226) дистанционного управления.
Центральный процессор (221) управляет работой каждого блока в приемнике (200) сервиса. Перепрограммируемое постоянное запоминающее устройство (222) хранит управляющее программное обеспечения и сохраняет данные. Динамическое оперативное запоминающее устройство (223) формирует рабочую область центрального процессора (221). Центральный процессор (221) разворачивает программное обеспечение или данные, считываемые из перепрограммируемого постоянного запоминающего устройства (222), помещая их в динамическое оперативное запоминающее устройство (223), для того чтобы запустить это программное обеспечение, и управляет каждым блоком в приемнике (200) сервиса.
Принимающий блок (225) дистанционного управления принимает сигнал дистанционного управления (код дистанционного управления), передаваемый из передатчика (226) дистанционного управления, и подает его в центральный процессор (221). Центральный процессор (221) на основе кода дистанционного управления управляет каждым блоком в приемнике (200) сервиса. Центральный процессор (221), перепрограммируемое постоянное запоминающее устройство (222) и динамическое оперативное запоминающее устройство (223) соединены с внутренней шиной (224).
Принимающий блок (201) принимает транспортный поток (TS) данных, передаваемый на радиовещательной волне или в сетевом пакете от передатчика (100) сервиса. Транспортный поток (TS) данных включает в себя, в дополнение к потоку видеоданных, предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп, конфигурирующих элементы передаваемых трехмерных аудиоданных.
На фиг. 16 показан пример принимаемого потока аудиоданных. На фиг. 16 (a) показан пример одного потока (основного потока) данных. Этот поток данных включает в себя элемент (CD) канальных закодированных данных, элемент (IAO) закодированных данных иммерсивного звукового объекта и элемент (SDO) закодированных данных речевого диалогового объекта вместе с "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией"). Этот поток идентифицирован идентификатором PID2.
Кроме того, между "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией") включена дескрипторная информация ("Desc"). В дескрипторную информацию вставлены информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных множества групп, информация об отношении соответствия потока данных, указывающая, какой поток аудиоданных включает в себя каждый из элементов закодированных данных множества групп, и информация идентификатора потока данных, указывающая собственный идентификатор потока данных.
На фиг. 16 (b) показан пример двух потоков данных. Основной поток данных, идентифицированный идентификатором PID2, включает в себя элемент (CD) канальных закодированных данных и элемент (IAO) закодированных данных иммерсивного звукового объекта вместе с "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией"). Кроме того, подпоток данных включает в себя элемент (SDO) закодированных данных речевого диалогового объекта вместе с "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией").
Кроме того, каждый поток включает в себя дескрипторную информацию ("Desc") между "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией"). В дескрипторную информацию вставлены информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных множества групп, информация об отношении соответствия потока данных, указывающая, какой поток аудиоданных включает в себя каждый из элементов закодированных данных множества групп, и информация идентификатора потока данных, указывающая собственный идентификатор потока данных.
Демультиплексор (202) извлекает из транспортного потока (TS) данных пакет потока видеоданных, и передает его в декодер (203) видеоданных. Декодер (203) видеоданных реконфигурирует поток видеоданных из пакета видеоданных, извлеченного в демультиплексоре (202), и выполняет декодирующую обработку данных для того, чтобы получить элементы несжатых видеоданных.
Схема (204) обработки видеоданных выполняет, в отношении элементов видеоданных, полученных в декодере (203) видеоданных, обработку данных при масштабировании, обработку данных при регулировании качества изображения или тому подобное, получая, таким образом, элементы видеоданных для отображения. Схема (205) управления панелью, основываясь на элементах данных изображения для отображения, полученных в схеме (204) обработки видеоданных, приводит в действие панель (206) отображения. Панель (206) отображения включает в себя, например, LCD - дисплей (Жидкокристаллический дисплей), органический EL - дисплей (дисплей на основе органической электролюминесценции) или тому подобное.
Кроме того, демультиплексор (202) извлекает из транспортного потока (TS) данных разнообразную информацию, такую как дескрипторная информация, и передает ее на центральный процессор (221). Эта разнообразная информация также включает в себя вышеописанную информацию о дескрипторе конфигурации потока трехмерных аудиоданных (3Daudio_stream_config_descriptor) и дескрипторе идентификатора потока трехмерных аудиоданных (3Daudio_substreamID_descriptor) (см. фиг. 14).
Центральный процессор (221) распознает поток аудиоданных, включающий в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя), на основе информации об атрибутах, указывающей атрибуты элементов закодированных данных каждой группы, включенной в состав дескрипторной информации, и информации отношения потока данных, указывающей, какой поток аудиоданных включает в себя каждую группу.
В дополнение к этому, демультиплексор (202) выборочно извлекает посредством фильтра PID - идентификатора под управлением центрального процессора (221) один или более пакетов потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя), из числа предварительно заданного количества потоков аудиоданных, которые имеет транспортный поток (TS) данных.
Буферы (с 211-1 по 211-N) мультиплексирования, каждый принимает в себя каждый поток аудиоданных, извлеченный в демультиплексоре (202). Здесь, необходимы и достаточны N чисел буферов (с 211-1 по 211-N) мультиплексирования. При фактической работе, будут использоваться числа потоков аудиоданных, извлекаемых в демультиплексоре (202).
Объединитель (212) считывает поток аудиоданных каждый кадр аудиоданных из буфера мультиплексирования, куда принят каждый поток аудиоданных, извлеченный в демультиплексоре (202), из числа буферов (с 211-1 по 211-N) мультиплексирования, и передает его в декодер (213) трехмерных аудиоданных.
В случае, при котором поток аудиоданных, подаваемый из объединителя (212), включает в себя дескрипторную информацию ("Desc"), декодер (213) трехмерных аудиоданных передает эту дескрипторную информацию на центральный процессор (221). Декодер (213) трехмерных аудиоданных выборочно извлекает элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя), под управлением центрального процессора (221), выполняет декодирующую обработку данных и получает элемент аудиоданных для приведения в действие каждого громкоговорителя системы (215) громкоговорителей.
Здесь, элемент закодированных данных, к которому применяется декодирующая обработка данных, может иметь три структуры: с включенным в его состав только элементом канальных закодированных данных, со включенным в его состав только элементом объектных закодированных данных, или со включенным в его состав обоих элементов из числа: элемента канальных закодированных данных и элемента объектных закодированных данных.
При декодировании элемента канальных закодированных данных, декодер (213) трехмерный аудиоданных выполняет downmix-обработку (преобразование многоканального аудиоформата с уменьшением количества каналов) или upmix-обработку (преобразование многоканального аудиоформата с увеличением количества каналов) по конфигурации громкоговорителей системы (215) громкоговорителей, и получает элемент аудиоданных для приведения в действие каждого громкоговорителя. В дополнение к этому, при декодировании элемента объектных закодированных данных, декодер (213) трехмерных аудиоданных вычисляет представление для громкоговорителей (соотношение микширования для каждого громкоговорителя) на основе информации об объекте (элемента метаданных), и в соответствии с результатом вычисления микширует элемент объектных аудиоданных в элемент аудиоданных для приведения в действие каждого громкоговорителя.
Схема (214) обработки данных при выводе звука выполняет, в отношении элемента аудиоданных для приведения в действие каждого громкоговорителя, полученного в декодере (213) трехмерных аудиоданных, необходимую обработку данных, такую как цифро/аналоговое преобразование, усиление и тому подобное, и подает его в систему (215) громкоговорителей. Система (215) громкоговорителей включает в себя множество громкоговорителей, имеющих множество каналов, например, 2 канала, 5.1 каналов, 7.1 каналов или 22.2 каналов.
Кратко опишем работу приемника (200) сервиса, показанного на фиг. 15. Принимающий блок (201) принимает транспортный поток (TS) данных, передаваемый на радиовещательной волне или в сетевом пакете от передатчика (100) сервиса. Транспортный поток (TS) данных включает в себя, в дополнение к потоку видеоданных, предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп, конфигурирующих элементы передаваемых трехмерных аудиоданных. Транспортный поток (TS) данных подается на демультиплексор (202).
В демультиплексоре (202), из транспортного потока (TS) данных извлекается пакет потока видеоданных, который подается на декодер (203) видеоданных. В декодере (203) видеоданных, этот поток видеоданных реконфигурируется из пакета видеоданных, извлеченного в демультиплексоре (202), выполняется декодирующая обработка данных, и получаются элементы несжатых видеоданных. Эти элементы видеоданных подаются на схему (204) обработки видеоданных.
Схема (204) обработки видеоданных выполняет, в отношении элементов видеоданных, полученных в декодере (203) видеоданных, обработку данных при масштабировании, обработку данных при регулировании качества изображения или тому подобное, получая, таким образом, элементы видеоданных для отображения. Схема (205) управления панелью, основываясь на этих элементах данных изображения для отображения, приводит в действие панель (206) отображения. Таким образом, изображения, соответствующие этим элементам данных изображения для отображения отображаются на панели (206) отображения.
Кроме того, демультиплексор (202) извлекает из транспортного потока (TS) данных разнообразную информацию, такую как дескрипторная информация, которая отправляется на центральный процессор (221). Эта разнообразная информация также включает в себя информацию о дескрипторе конфигурации потока трехмерных аудиоданных и дескрипторе идентификатора потока трехмерных аудиоданных. Центральный процессор (221) распознает поток аудиоданных, включающий в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя), на основе информации об атрибутах, включенной в состав дескрипторной информации, и информации отношения потока данных.
В дополнение к этому, демультиплексор (202) выборочно извлекает посредством фильтра PID - идентификатора под управлением центрального процессора (221) один или более пакетов потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории, из числа предварительно заданного количества потоков аудиоданных, которые имеет транспортный поток (TS) данных.
Поток аудиоданных, извлеченный в демультиплексоре (202), принимается в соответствующий буфер мультиплексирования из числа буферов (с 211-1 по 211-N) мультиплексирования. В объединителе (212) поток аудиоданных считывается каждый кадр аудиоданных из каждого буфера мультиплексирования, куда принят поток аудиоданных, и подается в декодер (213) трехмерных аудиоданных.
В случае, при котором поток аудиоданных, подаваемый из объединителя (212), включает в себя дескрипторную информацию ("Desc"), эта дескрипторная информация извлекается в декодере (213) трехмерных аудиоданных и передается на центральный процессор (221). Декодер (213) трехмерных аудиоданных выборочно извлекает элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя), под управлением центрального процессора (221), выполняет декодирующую обработку данных и получает элемент аудиоданных для приведения в действие каждого громкоговорителя системы (215) громкоговорителей.
Здесь, при декодировании элемента канальных закодированных данных, выполняется downmix-обработка или upmix-обработка по конфигурации громкоговорителей системы (215) громкоговорителей, и получается элемент аудиоданных для приведение в действие каждого громкоговорителя. В дополнение к этому, при декодировании элемента объектных закодированных данных, вычисляется представление для громкоговорителей (соотношение микширования для каждого громкоговорителя) на основе информации об объекте (элемента метаданных), и в соответствии с результатом вычисления элемент объектных аудиоданных микшируется в элемент аудиоданных для приведения в действие каждого громкоговорителя.
Элемент аудиоданных для приведения в действие каждого громкоговорителя, полученный в декодере (213) трехмерных аудиоданных, подается на схему (214) обработки данных при выводе звука, Схема (214) обработки данных при выводе звука выполняет, в отношении элемента аудиоданных для приведения в действие каждого громкоговорителя, необходимую обработку данных, такую как цифро/аналоговое преобразование, усиление и тому подобное. Элемент аудиоданных после обработки подается в систему (215) громкоговорителей. Таким образом, из системы (215) громкоговорителей получают вывод аудиосигнала, соответствующий отображаемому изображению на панели (206) отображения.
На фиг. 17 схематично показана декодирующая обработка данных в случае, при котором дескрипторная информация не присутствует внутри потока аудиоданных. Транспортный поток (TS) данных, который является мультиплексированным потоком данных, вводится в демультиплексор (202). В демультиплексоре (202) анализируется системный уровень, и на центральный процессор (221) подается дескрипторная информация 1 (информация о дескрипторе конфигурации потока трехмерных аудиоданных или дескрипторе идентификатора потока трехмерных аудиоданных).
В центральном процессоре (221), на основе дескрипторной информации 1 распознается поток аудиоданных, включающий в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя). В демультиплексоре (202), под управлением центрального процессора (221) выполняется выбор между потоками данных.
Другими словами, в демультиплексоре (202), фильтр PID - идентификатора выборочно извлекает один или более пакетов с потоками аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории, из числа предварительно заданного количества потоков аудиоданных транспортного потока (TS) данных. Извлеченные таким образом потоки аудиоданных принимаются в буферы 211 (с 211-1 по 211-N) мультиплексирования.
Декодер (213) трехмерных аудиоданных выполняет анализ типа пакета каждого потока аудиоданных, принятого в буфер (211) мультиплексирования. Затем, в демультиплексоре (202), под управлением центрального процессора (221), основываясь на вышеописанной дескрипторной информации 1, выполняют выбор между потоками данных.
В частности, из каждого потока аудиоданных в качестве объекта декодирования выборочно извлекаются элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя), и к этим элементам применяют декодирующую обработку данных и обработку данных при микширующем представлении, получая, таким образом, элемент аудиоданных (несжатые аудиоданные) для приведения в действие каждого громкоговорителя.
На фиг. 18 показан пример конфигурации блока доступа к аудиоданным (кадра аудиоданных) потока аудиоданных в случае, при котором дескрипторная информация не присутствует внутри потока аудиоданных. Здесь, показан пример двух потоков.
Что касается потока аудиоданных, идентифицированного идентификатором PID2, то информация "FrWork, #ch=2, #obj=1", включенная в состав "Config" ("Конфигурации"), указывает на присутствие "Frame" ("Кадра"), включающего в себя элементы канальных закодированных данных в двух каналах и один элемент объектных закодированных данных. Информация "GroupID [0] =1, GroupID [1] =2", записанная в этом порядке внутри информации "AudioSceneInfo ()" ("ИнформацияАудиоСцены()"), входящей в состав "Конфигурации", указывает на то, что в этом порядке расположены "Кадр", имеющий элементы закодированных данных, относящиеся к группе 1, и "Кадр", имеющий элементы закодированных данных, относящиеся к группе 2. Отметим, что значение метки (PL) пакета считается одним и тем же в "Конфигурации" и каждом "Кадре", ей соответствующем.
Здесь, "Кадр", имеющий элементы закодированных данных, относящиеся к группе 1, включает в себя элемент закодированных данных "сэмпла", представляющий собой CPE (Элемент пары Каналов). Кроме того, "Кадр", имеющий элементы закодированных данных, относящиеся к группе 2, включает в себя "Кадр", имеющий элемент метаданных, как элемент расширения (Ext_element), и "Кадр", имеющий элемент закодированных данных "сэмпла", представляющий собой SCE (Элемент единственного канала).
Что касается потока аудиоданных, идентифицированного идентификатором PID3, то информация "FrWork, #ch=0, #obj=2", включенная в состав "Конфигурации", указывает на присутствие "Кадра", включающего в себя два элемента объектных закодированных данных. Информация "GroupID [2] =3, GroupID [3] =4, SW_GRPID [0] =1" записанная в этом порядке внутри информации "AudioSceneInfo ()" включенной в состав "Конфигурации" указывает на то, что в этом порядке расположены "Кадр", имеющий элементы закодированных данных, относящиеся к группе 3, и "Кадр", имеющий элементы закодированных данных, относящиеся к группе 4, и что эти группы формируют группу 1 переключения. Отметим, что значение метки (PL) пакета считается одним и тем же в "Конфигурации" и каждом "Кадре", ей соответствующем.
Здесь, "Кадр", имеющий элементы закодированных данных, относящиеся к группе 3, включает в себя "Кадр", имеющий элемент метаданных, как элемент расширения (Ext_element), и "Кадр", имеющий элемент закодированных данных "сэмпла", представляющий собой SCE (Элемент единственного канала). Аналогичным образом, "Кадр", имеющий элементы закодированных данных, относящиеся к группе 4, включает в себя "Кадр", имеющий элемент метаданных, как элемент расширения (Ext_element), и "Кадр", имеющий элемент закодированных данных "сэмпла", представляющий собой SCE (Элемент единственного канала).
На фиг. 19 схематично показана декодирующая обработка данных в случае, при котором дескрипторная информация присутствует внутри потока аудиоданных. Транспортный поток (TS) данных, который является мультиплексированным потоком, вводится в демультиплексор (202). В демультиплексоре (202), анализируется системный уровень, и на центральный процессор (221) подается дескрипторная информация 1 (информация о дескрипторе конфигурации потока трехмерных аудиоданных или дескрипторе идентификатора потока трехмерных аудиоданных).
В центральном процессоре (221), на основе дескрипторной информации 1 распознается поток аудиоданных, включающий в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя). В демультиплексоре (202), под управлением центрального процессора (221) выполняется выбор между потоками данных.
Другими словами, демультиплексор (202) выборочно извлекает, посредством фильтра PID - идентификатора, один или более пакетов с потоками аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и у информации о выборе зрителя и аудитории, из числа предварительно заданного количества потоков аудиоданных, которые имеет транспортный поток (TS) данных. Извлеченные таким образом потоки аудиоданных принимаются в буферы 211 (с 211-1 по 211-N) мультиплексирования.
Декодер (213) трехмерных аудиоданных выполняет анализ типа пакета каждого потока аудиоданных, принятого в буфер (211) мультиплексирования, и дескрипторная информация 2, присутствующая внутри потока аудиоданных, отправляется на центральный процессор (221). На основе дескрипторной информации 2 распознается присутствие элементов закодированных данных группы, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя). Затем, в демультиплексоре (202), под управлением центрального процессора (221), основываясь на вышеописанной дескрипторной информации 2, выполняют выбор между потоками данных.
В частности, из каждого потока аудиоданных в качестве объекта декодирования выборочно извлекаются элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя), и к этим элементам применяют декодирующую обработку данных и обработку данных при микширующем представлении, получая, таким образом, элемент аудиоданных (несжатые аудиоданные) для приведения в действие каждого громкоговорителя.
На фиг. 20 показан пример конфигурации блока доступа к аудиоданным (кадра аудиоданных) потока аудиоданных в случае, при котором дескрипторная информация присутствует внутри потока аудиоданных. Здесь, показан пример двух потоков. Фиг. 20 подобна фиг. 18 за исключением того, что между "SYNC" ("СИНХРОНИЗАЦИЕЙ") и "Config" ("Конфигурацией") вставлено "Desc", то есть дескрипторная информация.
Что касается потока аудиоданных, идентифицированного идентификатором PID2, то информация "GroupID [0] =1, channeldata" включенная в состав "Desc" ("Дескриптора"), указывает на то, что элемент закодированных данных, относящийся к группе 1, представляет собой элемент канальных закодированных данных. Информация "GroupID [1]=2, звук объекта", включенная в состав "Desc", указывает на то, что элемент закодированных данных, относящийся к группе 2, представляет собой элемент объектных закодированных данных для иммерсивного звука. Помимо этого, информация "Stream_ID" ("Идентификатор_потока") указывает идентификатор потока для потока аудиоданных.
Что касается потока аудиоданных, идентифицированного идентификатором PID3, то информация "GroupID [2] =3, object lang1", включенная в состав "Desc" ("Дескриптора") указывает на то, что элемент закодированных данных, относящийся к группе 3, представляет собой элемент объектных закодированных данных для языка речи, соответствующий первому языку. Информация "GroupID [3]=4, object lang2", включенная в состав "Desc", указывает на то, что элемент закодированных данных, относящийся к группе 4, представляет собой элемент объектных закодированных данных для языка речи, соответствующий второму языку. Кроме того, информация "SW_GRPID [0]=1", включенная в состав "Desc", указывает на то, что группы 3 и 4 формируют группу 1 переключения. Помимо этого, информация "Stream_ID" ("Идентификатор_потока") указывает идентификатор потока для потока аудиоданных.
На фиг. 21 показан пример конфигурации блока доступа к аудиоданным (кадра аудиоданных) потока аудиоданных в случае, при котором дескрипторная информация присутствует внутри потока аудиоданных. Здесь, показан пример одного потока.
Информация "FrWork, #ch=2, #obj=3", включенная в состав "Config" ("Конфигурации"), указывает на присутствие "Frame" ("Кадра"), включающего в себя элементы канальных закодированных данных в двух каналах и три элемента объектных закодированных данных. Информация "GroupID[0]=1, GroupID[1]=2, GroupID[2]=3, GroupID[3]=4, SW_GRPID[0]=1", записанная в этом порядке внутри информации "AudioSceneInfo ()", входящей в состав "Конфигурации", указывает на то, что в этом порядке расположены "Кадр", имеющий элемент закодированных данных, относящийся к группе 1, и "Кадр", имеющий элемент закодированных данных, относящийся к группе 2, "Кадр", имеющий элемент закодированных данных, относящийся к группе 3, и "Кадр", имеющий элемент закодированных данных, относящийся к группе 4, и что эти группы 3 и 4 формируют группу 1 переключения. Отметим, что значение метки (PL) пакета считается одним и тем же в "Конфигурации" и каждом "Кадре", ей соответствующем.
Здесь, "Кадр", имеющий элементы закодированных данных, относящиеся к группе 1, включает в себя элементы закодированных данных "сэмпла", представляющие собой CPE (Элемент пары Каналов). Кроме того, "Кадр", имеющий элементы закодированных данных, относящиеся к группам: со 2 по 4, включает в себя "Кадр", имеющий элемент метаданных, как элемент расширения (Ext_element), и "Кадр", имеющий элемент закодированных данных "сэмпла", представляющий собой SCE (Элемент единственного канала).
Информация "GroupID[0]=1, channeldata", включенная в состав "Desc" ("Дескриптора"), указывает на то, что элемент закодированных данных, относящийся к группе 1, представляет собой элемент канальных закодированных данных. Информация "GroupID[1]=2, звук объекта", включенная в состав "Desc", указывает на то, что элемент закодированных данных, относящийся к группе 2, представляет собой элемент объектных закодированных данных для иммерсивного звука.
Информация "GroupID[2]=3, object lang1", включенная в состав "Desc" ("Дескриптора"), указывает на то, что элемент закодированных данных, относящийся к группе 3, представляет собой элемент объектных закодированных данных для языка речи, соответствующий первому языку. Информация "GroupID [3] =4, object lang2", включенная в состав "Desc", указывает на то, что элемент закодированных данных, относящийся к группе 4, представляет собой элемент объектных закодированных данных для языка речи, соответствующий второму языку. Кроме того, информация "SW_GRPID[0]=1", включенная в состав "Desc", указывает на то, что группы 3 и 4 формируют группу 1 переключения. Помимо этого, информация "Stream_ID" ("Идентификатор_потока") указывает идентификатор потока для потока аудиоданных.
На блок - схемах алгоритмов на фиг. 22 и Фиг. 23 показаны примеры обработки данных при управлении декодированием аудиоданных, выполняемой центральным процессором (221) в приемнике (200) сервиса, показанном на фиг. 15. Центральный процессор (221) начинает эту обработку на этапе ST 1. После этого, на этапе ST 2, центральный процессор (221) распознает конфигурацию громкоговорителей приемника, то есть конфигурацию громкоговорителей системы (215) громкоговорителей. Затем, центральный процессор (221), на этапе ST 3, получает информацию выбора о выводе аудиоданных, сделанного зрителем и аудиторией (пользователем).
Затем, центральный процессор (221), на этапе ST 4, считывает дескрипторную информацию об основном потоке, содержащуюся внутри PMT - таблицы, выбирает поток аудиоданных, к которому принадлежит группа, имеющая атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории, и принимает его в буфер. После этого, центральный процессор (221), на этапе ST 5, проверяет, присутствует ли в потоке аудиоданных пакет дескрипторного типа.
Затем, центральный процессор (221), на этапе ST 6, определяет, присутствует ли пакет дескрипторного типа. Если присутствует, то центральный процессор (221), на этапе ST 7, считывает дескрипторную информацию пакета, о котором идет речь, обнаруживает информацию "groupID" ("идентификатораГруппы"), "атрибута", "switchGroupID" ("идентификатораГруппыПереключения") и "presetGroupID" ("идентификатораГруппыНастройки"), и после этого переходит к обработке данных на этапе ST 9. С другой стороны, если не присутствует, то центральный процессор (221), на этапе ST 8, обнаруживает информацию "groupID", "атрибута", "switchGroupID" и "presetGroupID" в дескрипторной информации PMT - таблицы, и после этого переходит к обработке данных на этапе ST 9. Отметим, что существует возможность не выполнять этап ST 8, и декодировать весь подлежащий этому поток аудиоданных.
На этапе ST 9, центральный процессор (221) определяет, декодируется ли элемент объектных закодированных данных. Если он декодируется, то центральный процессор (221), на этапе ST 10, декодирует элементы объектных закодированных данных, и затем переходит к обработке данных на этапе ST 11. С другой стороны, если он не декодируется, то центральный процессор (221) сразу переходит к обработке данных на этапе ST 11.
На этапе ST 11, центральный процессор (221) определяет, декодируется ли элемент канальных закодированных данных. Если он декодируется, то центральный процессор (221) декодирует элементы канальных закодированных данных, выполняет downmix - обработку или upmix - обработку по конфигурации громкоговорителей системы (215) громкоговорителей, и получает элемент аудиоданных для приведения в действие каждого громкоговорителя, по мере необходимости, на этапе ST 12. После этого, центральный процессор (221) переходит к обработке данных на этапе ST 13. С другой стороны, если он не декодируется, то центральный процессор (221) переходит сразу к обработке данных на этапе ST 13.
На этапе ST 13, в случае, при котором центральный процессор (221) декодирует элемент объектных закодированных данных, на основе этой информации, он микширует его с элементом канальных данных, или вычисляется представление для громкоговорителей. В ходе вычисления представления для громкоговорителей, вычисляется представление для громкоговорителей (соотношение микширования для каждого громкоговорителя) по азимуту (азимутальной информации) и высоте (информации об угле возвышения). В зависимости от результата вычисления, элемент объектных аудиоданных микшируется с канальными данными для приведения в действие каждого громкоговорителя.
Затем, центральный процессор (221), на этапе ST 14, выполняет регулирование динамического диапазона элемента аудиоданных для приведения в действие каждого громкоговорителя, и выводит этот элемент. После этого, центральный процессор (221) на этапе ST 15 завершает обработку данных.
Как было описано выше, в системе (10) передачи/приема данных, показанной на фиг. 1, передатчик (100) сервиса вставляет, на уровне контейнера и/или на уровне потока аудиоданных, информацию об атрибутах, указывающую соответствующие атрибуты элементов закодированных данных множества групп, включенных в состав предварительно заданного количества потоков аудиоданных. Соответственно, соответствующие атрибуты элементов закодированных данных множества групп могут быть с легкостью распознаны перед декодированием элементов закодированных данных на принимающей стороне, и могут быть выборочно декодированы и использованы только элементы закодированных данных, относящиеся к нужной группе, благодаря чему нагрузка по обработке данных может быть уменьшена.
В системе (10) передачи/приема данных, показанной на фиг. 1, передатчик (100) сервиса вставляет, на уровне контейнера и/или на уровне потока аудиоданных, информацию об отношении соответствия потока данных, указывающую, какой поток аудиоданных включает в себя каждый из элементов закодированных данных множества групп. Соответственно, потоки аудиоданных, включающие в себя элементы закодированных данных нужной группы, могут быть с легкостью распознаны на принимающей стороне, благодаря чему нагрузка по обработке данных может быть уменьшена.
2. Альтернативный вариант воплощения изобретения
В вышеописанных вариантах воплощения изобретения, приемник (200) сервиса выборочно извлекает потоки аудиоданных, включающие в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории, из числа множества потоков аудиоданных, передаваемых из передатчика (100) сервиса, выполняет декодирующую обработку данных и получает предварительно заданное количество элементов аудиоданных для приведения в действие громкоговорителя.
Однако можно предусмотреть, чтобы приемник (200) сервиса выборочно извлекал один или более потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории, из числа множества потоков аудиоданных, передаваемых из передатчика (100) сервиса, реконфигурирует потоки аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории, и подает реконфигурированные потоки аудиоданных на устройство (также включающее в себя устройство по протоколу DLNA (Альянса цифровой живой сети)), соединенное с внутридомовой сетью связи.
На фиг. 24 показан пример конфигурации приемника (200 А) сервиса, который, как описано выше, подает реконфигурированные потоки аудиоданных устройству, соединенному с внутридомовой сетью связи. Компоненты на фиг. 24, соответствующие компонентам на фиг. 15, обозначены теми же самыми ссылочными позициями, и, соответственно, их детализированное описание будет в дальнейшем опущено.
Демультиплексор (202) выборочно извлекает посредством фильтра PID - идентификатора под управлением центрального процессора (221) пакеты одного или более потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории, из числа предварительно заданного количества потоков аудиоданных, которые имеет транспортный поток (TS) данных.
Потоки аудиоданных, извлеченные демультиплексором (202), принимаются в соответствующий буфер мультиплексирования из числа буферов (с 211-1 по 211-N) мультиплексирования. В объединителе (212) потоки аудиоданных считываются каждый кадр аудиоданных из каждого буфера мультиплексирования, в который приняты поток аудиоданных, и подаются в блок (231) реконфигурации потоков данных.
В блоке (231) реконфигурации потоков данных, в случае, при котором в состав потоков аудиоданных, подаваемых из объединителя (212), включена дескрипторная информация ("Desc"), эта дескрипторная информация извлекается и передается на центральный процессор (221). В блоке (231) реконфигурации потоков данных, под управлением центрального процессора (221) выборочно получают элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе зрителя и аудитории (пользователя), и потоки аудиоданных, имеющие эти элементы закодированных данных, реконфигурируются. Реконфигурированные потоки аудиоданных подаются в подающий интерфейс (232). После этого, они подаются (передаются) от подающего интерфейса (232) на устройство (300), соединенное с внутридомовой сетью.
Соединение с внутридомовой сетью включает в себя соединение Ethernet и беспроводное соединение "WiFi" или "Bluetooth". "WiFi" и "Bluetooth" представляют собой зарегистрированные товарные знаки.
Кроме того, устройство (300) включает в себя громкоговоритель объемного звучания, второе устройство отображения и устройство вывода аудиоданных, прикрепленное к сетевому терминалу. Устройство (200), в которое подается реконфигурированный поток аудиоданных, выполняет декодирующуюся обработку данных, аналогичную декодеру (213) трехмерных аудиоданных в приемнике (200) сервиса, показанном на фиг. 15, и получает элементы аудиоданных для приведения в действие предварительно заданного количества громкоговорителей.
В дополнение к этому, может быть предусмотрено, что, как в приемник сервиса, вышеописанные реконфигурированные потоки аудиоданных передаются в устройство, подсоединенное к цифровому интерфейсу, такому как "HDMI (Интерфейс мультимедиа высокой четкости)", "MHL (Линия мобильной связи высокой четкости)" и "DisplayPort" ("ПортОтображения"). "HDMI" и "MHL" представляют собой зарегистрированные товарные знаки.
Кроме того, в вышеописанных вариантах воплощения изобретения, информация об отношении соответствия потока данных, вставляемая на уровне или том подобном контейнера, представляет собой информацию, указывающую на отношение соответствия между идентификатором группы и идентификатором подпотока данных. В частности, идентификатор подпотока данных используется для установления связи группы с потоком аудиоданных. Однако может быть предусмотрено, что для того чтобы устанавливать связь группы с потоком аудиоданных, используется идентификатор пакета (PID: идентификатор пакета), или тип потока (stream_type). В случае, при котором используется тип потока, тип потока для каждого потока аудиоданных должен быть различным.
Кроме того, в вышеописанных вариантах воплощения изобретения проиллюстрированы примеры того, что информацию об атрибутах элементов закодированных данных каждой группы передают, размещая поле "attribute_of_groupID" (атрибут_идентификатораГруппы) (см. фиг. 10). Однако настоящая технология также включает в себя способ, в котором тип (атрибут) элементов закодированных данных может быть распознан, если распознан конкретный идентификатор группы, благодаря определению специального значения в самом значении идентификатора группы (GroupID) между передатчиком и приемником. В этом случае, идентификатора группы функционирует как идентификатор группы, но также и как информация об атрибутах элементов закодированных данных группы, благодаря чему поле "attribute_of_groupID" (атрибут_идентификатораГруппы) становится ненужным.
Кроме того, в вышеописанных вариантах воплощения изобретения проиллюстрированы примеры того, что элементы закодированных данных, относящиеся к множеству групп, включают в себя как элементы канальных закодированных данных, так и элементы объектных закодированных данных (см. фиг. 3). Однако, настоящая технология также аналогичным образом применима к тому случаю, что элементы закодированных данных, относящиеся к множеству групп, включают в себя только элементы канальных закодированных данных или только элементы объектных закодированных данных.
Кроме того, в вышеописанных вариантах воплощения изобретения проиллюстрированы примеры того, что контейнер представляет собой транспортный поток данных (MPEG-2 TS) (Транспортный поток по стандарту MPEG-2 (Экспертной группы по движущимся изображениям)). Однако, настоящая технология также аналогичным образом применима к системе, где потоки данных доставляются контейнером в формате MP4 или другом. Например, система включает в себя систему доставки базового потока данных формата MPEG-DASH (MPEG - Динамическая адаптивная потоковая передача данных посредством протокола передачи гипертекста), или систему передачи/приема данных, которая обрабатывает поток передачи данных, имеющий структуру MMT (Транспортировки медийных данных стандарта MPEG).
Настоящая технология может также иметь следующие конфигурации:
(1) Передающее устройство включает в себя:
передающий блок, который передает контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп; и
вставляющий информацию блок, который вставляет, на уровне контейнера и/или на уровне потока аудиоданных, информацию об атрибутах, указывающую соответствующие атрибуты элементов закодированных данных этого множества групп.
(2) Передающее устройство, соответствующее пункту (1) приведенному выше, в котором
вставляющий информацию блок дополнительно вставляет, на уровне контейнера и/или на уровне потока аудиоданных, информацию об отношении соответствия потока данных, указывающую, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп.
(3) Передающее устройство, соответствующее пункту (2), приведенному выше, в котором
информация об отношении соответствия потока данных представляет собой информацию, указывающую на отношение соответствия между идентификатором группы, предназначенным для идентификации каждого из элементов закодированных данных этого множества групп, и идентификатором потока данных, предназначенным для идентификации каждого потока из этого предварительно заданного количества потоков аудиоданных.
(4) Передающее устройство, соответствующее пункту (3), приведенному выше, в котором
вставляющий информацию блок дополнительно вставляет, на уровне контейнера и/или на уровне потока аудиоданных, информацию идентификатора потока данных, указывающую идентификатор потока данных для каждого потока из этого предварительно заданного количества потоков аудиоданных.
(5) Передающее устройство по пункту (4), приведенному выше, в котором
контейнер представляет собой MPEG2 - TS, и
вставляющий информацию блок, в случае, при котором информация идентификатора потока данных вставляется в контейнер, вставляет информацию идентификатора потока данных в цикл элементарного потока аудиоданных, соответствующий каждому потоку из этого предварительно заданного количества потоков аудиоданных, в таблице структуры программы.
(6) Передающее устройство, соответствующее пункту (4) или (5), приведенным выше, в котором
вставляющий информацию блок, в случае, при котором информация идентификатора потока данных вставляется в поток аудиоданных, вставляет информацию идентификатора потока данных в полезную информацию PES - пакета, входящую в состав PES - пакета каждого потока из этого предварительно заданного количества потоков аудиоданных.
(7) Передающее устройство, соответствующее пункту (2), приведенному выше, в котором
информация об отношении соответствия потока данных представляет собой информацию, указывающую на отношение соответствия между идентификатором группы, предназначенным для идентификации каждого из элементов закодированных данных этого множества групп, и идентификатором пакета, добавленным в случае, при котором каждый поток из этого предварительно заданного количества потоков аудиоданных пакетирован.
(8) Передающее устройство, соответствующее пункту (2), приведенному выше, в котором
информация об отношении соответствия потока данных представляет собой информацию, указывающую на отношение соответствия между идентификатором группы, предназначенным для идентификации каждого из элементов закодированных данных этого множества групп, и информацией о типе, указывающей тип потока данных для каждого потока из этого предварительно заданного количества потоков аудиоданных.
(9) Передающее устройство, соответствующее любому из пунктов: со (2) по (8), приведенных выше, в котором
контейнер представляет собой MPEG2 - TS, и
вставляющий информацию блок, в случае, при котором информация об атрибутах и информация об отношении соответствия потока данных вставляются в контейнер, вставляет информацию об атрибутах и информацию об отношении соответствия потока данных в цикл элементарного потока аудиоданных, соответствующий, по меньшей мере, одному или более из потоков аудиоданных из числа этого предварительно заданного количества потоков аудиоданных, присутствующих в таблице структуры программы.
(10) Передающее устройство, соответствующее любому из пунктов: со (2) по (8), приведенных выше, в котором
вставляющий информацию блок, в случае, при котором информация об атрибутах и информация об отношении соответствия потока данных вставляются в поток аудиоданных, вставляет информацию об атрибутах и информацию об отношении соответствия потока данных в полезную информацию PES - пакета, входящую в состав PES - пакета, по меньшей мере, одного или более из потоков аудиоданных из числа этого предварительно заданного количества потоков аудиоданных.
(11) Передающее устройство, соответствующее пунктам: с (1) по (10), приведенным выше, в котором
элементы закодированных данных, относящиеся к этому множеству групп, включают в себя либо элементы канальных закодированных данных, либо элементы объектных закодированных данных, или и те и другие.
(12) Способ передачи, включающий в себя:
этап передачи, на котором передают, посредством передающего блока, контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп; и
этап, на котором вставляется информация, на котором вставляют, на уровне контейнера и/или на уровне потока аудиоданных, информацию об атрибутах, указывающую соответствующие атрибуты элементов закодированных данных этого множества групп.
(13) Приемное устройство, включающее в себя:
принимающий блок, который принимает контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп,
причем на уровне контейнера и/или на уровне потока аудиоданных вставлена информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп; и
блок обработки данных, который обрабатывает это предварительно заданное количество потоков аудиоданных, включенных в состав принятого контейнера, на основе информации об атрибутах.
(14) Приемное устройство, соответствующее пункту (13), приведенному выше, в котором
на уровне контейнера и/или на уровне потока аудиоданных дополнительно вставлена информация об отношении соответствия потока данных, указывающая, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп, и
блок обработки данных обрабатывает это предварительно заданное количество потоков аудиоданных на основе информации об отношении соответствия потока данных, в дополнение к информации об атрибутах.
(15) Приемное устройство, соответствующее пункту (14), приведенному выше, в котором
блок обработки данных выполняет декодирующую обработку данных выборочно, на основе информации об атрибутах и информации об отношении соответствия потока данных, в отношении потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к группе, имеющей атрибуты, приспособленные к конфигурации громкоговорителей и к информации о выборе пользователя.
(16) Приемное устройство, соответствующее любому из пунктов: с (13) по (15), приведенных выше, в котором
элементы закодированных данных, относящиеся к этому множеству групп, включают в себя либо элементы канальных закодированных данных, либо элементы объектных закодированных данных, или и те и другие.
(17) Способ приема, включающий в себя:
этап приема, на котором принимают, посредством принимающего блока, контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп,
причем на уровне контейнера и/или на уровне потока аудиоданных вставлена информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп; и
этап обработки данных, на котором обрабатывают это предварительно заданное количество потоков аудиоданных, включенных в состав принятого контейнера, на основе информации об атрибутах.
(18) Приемное устройство, включающее в себя:
принимающий блок, который принимает контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп,
причем на уровне контейнера и/или на уровне потока аудиоданных вставлена информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп;
блок обработки данных, который выборочно, на основе информации об атрибутах, получает элементы закодированных данных предварительно заданной группы из этого предварительно заданного количества потоков аудиоданных, включенных в состав принятого контейнера, и реконфигурирует потоки аудиоданных, включающие в себя элементы закодированных данных этой предварительно заданной группы; и
блок передачи потоков данных, который передает потоки аудиоданных, реконфигурированные блоком обработки данных, на внешнее устройство.
(19) Приемное устройство, соответствующее пункту (18), приведенному выше, в котором
на уровне контейнера и/или на уровне потока аудиоданных дополнительно вставлена информация об отношении соответствия потока данных, указывающая то, какой поток аудиоданных включает в себя каждый из элементов закодированных данных этого множества групп, и
блок обработки данных выборочно получает элементы закодированных данных предварительно заданной группы из этого предварительно заданного количества потоков аудиоданных на основе информации об отношении соответствия потока данных, в дополнение к информации об атрибутах.
(20) Способ приема, включающий в себя:
этап приема, на котором принимают, посредством принимающего блока, контейнер в некотором предварительно заданном формате, имеющий некоторое предварительно заданное количество потоков аудиоданных, включающих в себя элементы закодированных данных, относящиеся к множеству групп,
причем на уровне контейнера и/или на уровне потока аудиоданных вставлена информация об атрибутах, указывающая соответствующие атрибуты элементов закодированных данных этого множества групп;
этап обработки данных, на котором выборочно, на основе информации об атрибутах, получают элементы закодированных данных предварительно заданной группы из этого предварительно заданного количества потоков аудиоданных, включенных в состав принятого контейнера, и реконфигурируют потоки аудиоданных, включающие в себя элементы закодированных данных этой предварительно заданной группы; и
этап передачи потоков данных, на котором передают потоки аудиоданных, реконфигурированные на этапе обработки данных, на внешнее устройство.
Основной признак настоящей технологии заключается в том, что на уровне контейнера и/или на уровне потока аудиоданных вставляется информация об отношении соответствия потока данных, причем информация об отношении соответствия потока данных указывает, какой поток аудиоданных включает в себя каждое из информации об атрибутах, указывающей соответствующие атрибуты элементов закодированных данных этого множества групп, включенных в состав этого предварительно заданного количества потоков аудиоданных, и элементов закодированных данных этого множества групп, благодаря чему нагрузка по обработке данных на принимающей стороне может быть уменьшена (см. фиг. 14).
Перечень ссылочных позиций
10 система передачи/приема данных
100 передатчик сервиса
110 блок генерации потоков данных
112 кодер видеоданных
113 кодер (113) аудиоданных
114 мультиплексор
200, 200 A приемник сервиса
201 принимающий блок
202 демультиплексор
203 декодер видеоданных
204 схема обработки видеоданных
205 схема управления панелью
206 панель отображения
с 211 - 1 по 211 - N буфер мультиплексирования
212 объединитель
213 декодер трехмерных аудиоданных
214 схема обработки данных при выводе звука
215 система громкоговорителей
221 центральный процессор
222 перепрограммируемое постоянное запоминающее устройство
223 динамическое оперативное запоминающее устройство (DRAM)
224 внутренняя шина
225 принимающий блок дистанционного управления
226 передатчик дистанционного управления
231 блок реконфигурации потоков данных
232 подающий интерфейс
300 устройство