УСТРОЙСТВО ПЕРЕДАЧИ, СПОСОБ ПЕРЕДАЧИ, УСТРОЙСТВО ПРИЕМА И СПОСОБ ПРИЕМА
TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEIVING DEVICE AND RECEPTION METHOD

Область техники, к которой относится изобретение
Настоящее изобретение касается устройства передачи, способа передачи, устройства приема и способа приема и, в частности, касается устройства передачи и подобного для передачи аудиоданных нескольких типов.
Уровень техники
Обычно, в качестве пространственной (3D) аудиотехнологии, разрабатывают технологию для осуществления преобразования путем сопоставления закодированных данных отсчетов с динамиком, расположенным в произвольном месте, на основе метаданных (например, смотри патентный документ 1).
Список цитируемой литературы
Патентные документы
Патентный документ 1: Национальная публикация (открытой) заявки на японский патент № 2014-520491.
Раскрытие изобретения
Задачи, которые должно решить изобретение
Можно считать, что, когда закодированные данные объектов, состоящие из закодированных данных отсчетов и метаданных, передают вместе с закодированными данными каналов, таких как 5.1 каналы, 7.1 каналы и подобным, на приемной стороне может быть достигнуто воспроизведение звука с улучшенным ощущением правдоподобности.
Задача настоящего изобретения заключается в том, чтобы уменьшить нагрузку при обработке на приемной стороне при передаче аудиоданных нескольких типов.
Решение задач
Одна идея настоящей технологии заключена в устройстве передачи, которое содержит:
блок передачи для передачи контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп; и
блок вставки информации для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп.
В настоящей технологии блок передачи передает контейнер заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп. Например, несколько элементов, являющихся закодированными данными групп, могут содержать или закодированные данные каналов или закодированные данные объектов или и те, и другие данные.
Информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, вставляют в слой контейнера, с помощью блока вставки информации. Например, контейнер может являться транспортным потоком (MPEG-2 TS), который применяют в стандарте цифрового вещания. Кроме того, например, контейнер может являться контейнером MP4, который используется при доставке с помощью интернет и в подобных случаях, или может быть контейнером некоторого другого формата.
Как описано выше, в настоящей технологии, информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, которые содержатся в заранее заданном количестве аудиопотоков, вставляют в слой контейнера. По этой причине, на приемной стороне, атрибут для каждого из нескольких элементов, являющихся закодированными данными групп может быть легко распознан до декодирования закодированных данных и могут быть по выбору декодированы только необходимые, используемые в дальнейшем, закодированные данные групп и может быть уменьшена нагрузка при обработке.
В данном случае, в настоящей технологии, например, блок вставки информации может дополнительно вставлять в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп. В этом случае, например, контейнер может быть MPEG2-TS и блок вставки информации может вставлять информацию об атрибутах и информацию соответствия потоку в цикл элементарного аудиопотока, соответствующий любому одному аудиопотоку из заранее заданного количества аудиопотоков, расположенных под таблицей структуры программы. Как описано выше, информацию соответствия потоку вставляют в слой контейнера, при этом аудиопоток, содержащий необходимые закодированные данные групп, может быть легко распознан и на приемной стороне может быть уменьшена нагрузка при обработке.
Например, информация соответствия потоку может быть информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и идентификатором потока, нужным для идентификации потока для каждого аудиопотока из заранее заданного количества аудиопотоков. В этом случае, например, блок вставки информации может дополнительно вставлять в слой контейнера информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков. Например, контейнер может быть MPEG2-TS и блок вставки информации может вставлять информацию об идентификаторах потоков в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заранее заданного количества аудиопотоков, расположенных под таблицей структуры программы.
Кроме того, например, информация соответствия потоку может являться информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и идентификатором пакета, подлежащим прикреплению во время формирования пакетов для каждого аудиопотока из заранее заданного количества аудиопотоков. Кроме того, например, информация соответствия потоку может являться информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и типом информации, указывающим тип потока для каждого аудиопотока из заранее заданного количества аудиопотоков.
Кроме того, другая идея настоящего изобретения заключена в устройстве приема, которое содержит:
блок приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп; и
блок обработки для обработки заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, на основе информации об атрибутах.
В настоящей технологии блок приема принимает контейнер заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп. Например, несколько элементов, являющихся закодированными данными групп, могут содержать или закодированные данные каналов или закодированные данные объектов или и те, и другие данные. Информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, вставляют в слой контейнера. Заранее заданное количество аудиопотоков, содержащихся в принятом контейнере, обрабатывают на основе информации об атрибутах, с помощью блока обработки.
Как описано выше, в настоящей технологии, обработку осуществляют для заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, что делают на основе информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, и вставленной в слой контейнера. По этой причине, могут быть по выбору декодированы только необходимые, используемые в дальнейшем, закодированные данные групп и может быть уменьшена нагрузка при обработке.
В данном случае, в настоящей технологии, например, информация соответствия потоку, указывающая аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, может быть дополнительно вставлена в слой контейнера, и блок обработки может обработать заранее заданное количество аудиопотоков на основе информации соответствия потоку помимо информации об атрибутах. В этом случае, аудиопоток, содержащий необходимые закодированные данные групп, может быть легко распознан и может быть уменьшена нагрузка при обработке.
Кроме того, в настоящей технологии, например, блок обработки может по выбору осуществлять обработку по декодированию аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе пользователя, что делают на основе информации об атрибутах и информации соответствия потоку.
Кроме того, еще одна идея настоящего изобретения заключена в устройстве приема, которое содержит:
блок приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп;
блок обработки для получения по выбору заранее заданных закодированных данных групп на основе информации об атрибутах из заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, и изменения конфигурации аудиопотока, содержащего заранее заданные закодированные данные групп; и
блок передачи потока для передачи на внешнее устройство аудиопотока, конфигурация которого изменена в блоке обработки.
В настоящей технологии блок приема принимает контейнер заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп. Информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, вставляют в слой контейнера. Заранее заданные закодированные данные групп по выбору получают на основе информации об атрибутах из заранее заданного количества аудиопотоков, с помощью блока обработки, и изменяют конфигурацию аудиопотока, содержащего заранее заданные закодированные данные групп. Далее, аудиопоток с измененной конфигурацией передают на внешнее устройство с помощью блока передачи потока.
Как описано выше, в настоящей технологии, на основе информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, и вставленной в слой контейнера, заранее заданные закодированные данные групп получают по выбору из заранее заданного количества аудиопотоков и изменяют конфигурацию аудиопотока, подлежащего передаче на внешнее устройство. Необходимые закодированные данные групп могут быть легко получены и может быть уменьшена нагрузка при обработке.
В данном случае, в настоящей технологии, например, информация соответствия потоку, указывающая аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, может быть дополнительно вставлена в слой контейнера, и блок обработки может по выбору получить заранее заданные закодированные данные групп из заранее заданного количества аудиопотоков на основе информации соответствия потоку, помимо информации об атрибутах. В этом случае, аудиопоток, содержащий заранее заданные закодированные данные групп, может быть легко распознан и может быть уменьшена нагрузка при обработке.
Результаты, достигаемые с помощью изобретения
В соответствии с настоящей технологией, нагрузка при обработке на приемной стороне может быть уменьшена при передаче аудиоданных нескольких типов. В данном случае, приведенные в этом описании полезные результаты представляют собой только примеры, и полезные результаты настоящей технологии не ограничены описанными результатами и могут содержать дополнительные результаты.
Краткое описание чертежей
Фиг. 1 - вид, показывающий структурную схему, иллюстрирующую пример конфигурации системы передачи/приема в качестве одного варианта осуществления изобретения;
фиг. 2 - вид, показывающий структуру аудиокадра (1024 отсчетов) в передаваемых данных 3D аудио;
фиг. 3 - вид, показывающий пример конфигурации передаваемых данных 3D аудио;
фиг. 4(a) и 4(b) - виды, схематично показывающие примеры конфигураций аудиокадра, соответственно, в случае, когда передаваемые данные 3D аудио передают в одном потоке, и в случае, когда передаваемые данные 3D аудио передают в несколько потоков;
фиг. 5 - вид, показывающий пример деления на группы, когда передачу осуществляют в три потока в примере конфигурации передаваемых данных 3D аудио;
фиг. 6 - вид, показывающий соответствие между группой и подпотоком в примере деления на группы (три деления) и подобное;
фиг. 7 - вид, показывающий пример деления на группы, в котором передачу осуществляют в два потока в примере конфигурации передаваемых данных 3D аудио;
фиг. 8 - вид, показывающий соответствие между группой и подпотоком в примере деления на группы (два деления) и подобное;
фиг. 9 - вид, показывающий структурную схему, иллюстрирующую пример конфигурации блока выработки потока, содержащегося в устройстве передачи службы;
фиг. 10 - вид, показывающий пример структуры дескриптора конфигурации 3D аудиопотока;
фиг. 11 - вид, показывающий подробности основной информации в примере структуры дескриптора конфигурации 3D аудиопотока;
фиг. 12(a) и 12(b) - виды, показывающие, соответственно, пример структуры дескриптора ID 3D аудиоподпотока и подробности основной информации в этом примере структуры;
фиг. 13 - вид, показывающий пример конфигурации транспортного потока;
фиг. 14 - вид, показывающий структурную схему примера конфигурации устройства приема службы;
фиг. 15 - вид, показывающий блок-схему, иллюстрирующую пример обработки по декодированию аудио, осуществляемой CPU в устройстве приема службы;
фиг. 16 - вид, показывающий структурную схему, иллюстрирующую другой пример конфигурации устройства приема службы.
Варианты осуществления изобретения
Далее приведено описание способа реализации изобретения (далее этот способ будет называться «вариантом осуществления изобретения»). В данном случае описание приведено в следующем порядке.
1. Вариант осуществления изобретения
2. Модификация
1. Вариант осуществления изобретения
Пример конфигурации системы передачи/приема
На фиг. 1 в качестве одного варианта осуществления изобретения показан пример конфигурации системы 10 передачи/приема. Эта система 10 передачи/приема выполнена из устройства 100 передачи службы и устройства 200 приема службы. Устройство 100 передачи службы передает транспортный поток TS, переносимый радиовещательной волной или сетевым пакетом. Транспортный поток TS содержит видеопоток и заранее заданное количество аудиопотоков, которые включают в себя несколько элементов, являющихся закодированными данными групп.
На фиг. 2 показана структура аудиокадра (1024 отсчетов) в передаваемых данных 3D аудио, соответствующая этому варианту осуществления изобретения. Аудиокадр состоит из нескольких пакетов (пакеты аудиопотоков mpeg) аудиопотоков MPEG. Каждый из пакетов аудиопотоков MPEG выполнен содержащим заголовок и полезную нагрузку.
Заголовок содержит такую информацию, как тип (ТипПакета) пакета, метка (МеткаПакета) пакета и длина (ДлинаПакета) пакета. Информация, определенная типом пакета из заголовка, расположена в полезной нагрузке. В информации полезной нагрузки существует информация «SYNC», соответствующая начальному коду синхронизации, информация «Кадр», которая является фактическими данными передаваемых данных 3D аудио, и информация «Config», указывающая конфигурацию информации «Кадр».
Информация «Кадр» содержит закодированные данные объектов и закодированные данные каналов, которые формируют передаваемые данные 3D аудио. Здесь закодированные данные каналов сформированы закодированными данными отсчетов, такими как элемент (SCE) одиночного канала, элемент (CPE) парного канала и низкочастотный элемент (LFE). Кроме того, закодированные данные объектов сформированы закодированными данными отсчетов элемента (SCE) одиночного канала и метаданными с целью осуществления преобразования с помощью сопоставления закодированных данных отсчетов и динамика, расположенного в произвольном месте. Метаданные содержатся в качестве элемента (Ext_element) расширения.
На фиг. 3 показан пример конфигурации передаваемых данных 3D аудио. Этот пример состоит из одного элемента, являющегося закодированными данными каналов, и двух элементов, являющихся закодированными данными объектов. Один элемент из закодированных данных каналов является закодированными данными (CD) каналов для каналов 5.1 и состоит из закодированных данных SCE1, CPE1.1, CPE1.2, LFE1 отсчетов.
Два элемента, являющиеся закодированными данными объектов, представляют собой закодированные данные объекта (объект «обеспечивающее эффект присутствия аудио»: IAO) «обеспечивающее эффект присутствия аудио» и закодированные данные объекта (объект «речевой диалог»: SDO) «речевой диалог». Закодированные данные объекта «обеспечивающее эффект присутствия аудио» являются закодированными данными объектов и состоят из закодированных данных SCE2 отсчетов и метаданных EXE_El (метаданные объекта) 2 для осуществления преобразования с помощью сопоставления закодированных данных отсчетов с динамиком, расположенным в произвольном месте.
Закодированные данные объекта «речевой диалог» представляют собой закодированные данные объекта для разговорного языка. В этом примере закодированные данные объекта «речевой диалог» присутствуют, соответственно, для языка 1 и языка 2. Закодированные данные объекта «речевой диалог», соответствующие языку 1, состоят из закодированных данных SCE3 отсчетов и метаданных EXE_El (метаданные объекта) 3 для осуществления преобразования с помощью сопоставления закодированных данных отсчетов с динамиком, расположенным в произвольном месте. Закодированные данные объекта «речевой диалог», соответствующие языку 2, состоят из закодированных данных SCE4 отсчетов и метаданных EXE_El (метаданные объекта) 4 для осуществления преобразования с помощью сопоставления закодированных данных отсчетов с динамиком, расположенным в произвольном месте.
Закодированные данные отличают по типу с помощью идеи группы (Группа). В показанном примере, закодированные данные каналов для каналов 5.1 находятся в группе 1, закодированные данные объекта «обеспечивающее эффект присутствия аудио» находятся в группе 2, закодированные данные объекта «речевой диалог» для языка 1 находятся в группе 3 и закодированные данные объекта «речевой диалог» для языка 2 находятся в группе 4.
Кроме того, данные, которые могут быть выбраны между группами на приемной стороне, регистрируют в группе переключения (SW группа) и кодируют. Кроме того, группы могут быть связаны в некоторую заранее установленную группу (заранее установленная Группа) и могут быть воспроизведены в соответствии со случаем использования. В показанном примере, группа 1, группа 2 и группа 3 связаны в заранее установленную группу 1, а группа 1, группа 2 и группа 4 связаны в заранее установленную группу 2.
Возвращаясь к фиг. 1, устройство 100 передачи службы передает передаваемые данные 3D аудио, содержащие несколько элементов, являющихся закодированными данными групп, в одном потоке или в нескольких потоках, как описано выше.
На фиг. 4а схематично показан пример конфигурации аудиокадра, когда передачу осуществляют в одном потоке в примере конфигурации передаваемых данных 3D аудио с фиг. 3. В этом случае один поток содержит закодированные данные (CD) каналов, закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио» и закодированные данные объекта (SDO) «речевой диалог» вместе с информацией «SYNC» и информацией «Config».
На фиг. 4b схематично показан пример конфигурации аудиокадра, когда передачу осуществляют в несколько потоков (каждый поток называют «подпотоком», если это уместно), в данном случае в три потока, в примере конфигурации передаваемых данных 3D аудио с фиг. 3. В этом случае подпоток 1 содержит закодированные данные (CD) каналов вместе с информацией «SYNC» и информацией «Config». Кроме того, подпоток 2 содержит закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио» вместе с информацией «SYNC» и информацией «Config». Далее, подпоток 3 содержит закодированные данные объекта (SDO) «речевой диалог» вместе с информацией «SYNC» и информацией «Config».
На фиг. 5 показан пример деления на группы, когда передачу осуществляют в три потока в примере конфигурации передаваемых данных 3D аудио с фиг. 3. В этом случае подпоток 1 содержит закодированные данные (CD) каналов, которые отличают как группу 1. Кроме того, подпоток 2 содержит закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио», которые отличают как группу 2. Кроме того, подпоток 2 содержит закодированные данные объекта (SDO) «речевой диалог» для языка 1, которые отличают как группу 3, и закодированные данные объекта (SDO) «речевой диалог» для языка 2, которые отличают как группу 4.
На фиг. 6 показано соответствие между группой и подпотоком в примере деления на группы (три деления) с фиг. 5 и подобное. Здесь ID группы представляет собой идентификатор, нужный для идентификации группы. Атрибут указывает атрибут для каждых закодированных данных групп. ID группы переключения представляет собой идентификатор, нужный для идентификации группы переключения. ID заранее установленной группы представляет собой идентификатор, нужный для идентификации заранее установленной группы. ID подпотока представляет собой идентификатор, нужный для идентификации подпотока.
Показанное соответствие указывает, что закодированные данные, принадлежащие группе 1, представляют собой закодированные данные каналов, не формируют группу переключения и содержатся в подпотоке 1. Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 2, представляют собой закодированные данные объекта (закодированные данные объекта «обеспечивающее эффект присутствия аудио») для обеспечивающего эффект присутствия звука, не формируют группу переключения и содержатся в подпотоке 2.
Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 3, представляют собой закодированные данные объекта (закодированные данные объекта «речевой диалог») для разговорного языка 1, формируют группу 1 переключения и содержатся в подпотоке 3. Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 4, представляют собой закодированные данные объекта (закодированные данные объекта «речевой диалог») для разговорного языка 2, формируют группу 1 переключения и содержатся в подпотоке 3.
Кроме того, показанное соответствие указывает, что заранее установленная группа 1 содержит группу 1, группу 2 и группу 3. Далее, показанное соответствие указывает, что заранее установленная группа 2 содержит группу 1, группу 2 и группу 4.
На фиг. 7 показан пример деления на группы, в котором передачу осуществляют в два потока в примере конфигурации передаваемых данных 3D аудио. В этом случае, подпоток 1 содержит закодированные данные (CD) каналов, которые отличают как группу 1, и закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио», которые отличают как группу 2. Кроме того, подпоток 2 содержит закодированные данные объекта (SDO) «речевой диалог» для языка 1, которые отличают как группу 2, и закодированные данные объекта (SDO) «речевой диалог» для языка 2, которые отличают как группу 4.
На фиг. 8 показано соответствие между группой и подпотоком в примере деления на группы (два деления) с фиг. 7 и подобное. Показанное соответствие указывает, что закодированные данные, принадлежащие группе 1, представляют собой закодированные данные каналов, не формируют группу переключения и содержатся в подпотоке 1. Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 2, представляют собой закодированные данные объекта (закодированные данные объекта «обеспечивающее эффект присутствия аудио») для обеспечивающего эффект присутствия звука, не формируют группу переключения и содержатся в подпотоке 1.
Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 3, представляют собой закодированные данные объекта (закодированные данные объекта «речевой диалог») для разговорного языка 1, формируют группу 1 переключения и содержатся в подпотоке 2. Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 4, представляют собой закодированные данные объекта (закодированные данные объекта «речевой диалог») для разговорного языка 2, формируют группу 1 переключения и содержатся в подпотоке 2.
Кроме того, показанное соответствие указывает, что заранее установленная группа 1 содержит группу 1, группу 2 и группу 3. Далее, показанное соответствие указывает, что заранее установленная группа 2 содержит группу 1, группу 2 и группу 4.
Возвращаясь к фиг. 1, устройство 100 передачи службы вставляет в слой контейнера информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, которые содержатся в передаваемых данных 3D аудио. Кроме того, устройство 100 передачи службы вставляет в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп. В этом варианте осуществления изобретения информация соответствия потоку является, например, информацией, указывающей соответствие между ID группы и идентификатором потока.
Устройство 100 передачи службы вставляет эти информацию об атрибутах и информацию соответствия потоку в качестве дескриптора, например, в любой один аудиопоток из заранее заданного количества аудиопотоков, расположенных под таблицей (PMT) структуры программы, например, в цикл элементарного аудиопотока, соответствующий самому базовому потоку.
Кроме того, устройство 100 передачи службы вставляет в слой контейнера информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков. Устройство 100 передачи службы вставляет информацию об идентификаторах потоков в качестве дескриптора, например, в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заранее заданного количества аудиопотоков и расположенный под таблицей (PMT) структуры программы.
Устройство 200 приема службы принимает транспортный поток TS, переносимый радиовещательной волной или сетевым пакетом и переданный от устройства 100 передачи службы. Транспортный поток TS содержит заранее заданное количество аудиопотоков, включающих в себя несколько элементов, являющихся закодированными данными групп, которые формируют передаваемые данные 3D аудио, помимо видеопотока, как описано выше. Далее, в слой контейнера, вставляют информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, которые содержатся в передаваемых данных 3D аудио, и далее вставляют информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп.
Устройство 200 приема службы по выбору осуществляет обработку по декодированию аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе пользователя, что делают на основе информации об атрибутах и информации соответствия потоку, и получает вывод аудио из 3D аудио.
Блок выработки потока из устройства передачи службы
На фиг. 9 показан пример конфигурации блока 110 выработки потока, содержащегося в устройстве 100 передачи службы. Блок 110 выработки потока содержит устройство 112 кодирования видео, устройство 113 кодирования аудио и устройство 114 мультиплексирования. Здесь рассматривается пример, в котором передаваемые данные аудио состоят из одного элемента, являющегося закодированными данными каналов, и двух элементов, являющихся закодированными данными объектов, как показано на фиг. 3.
На устройство 112 кодирования видео поступают видеоданные SV, устройство 112 кодирования видео осуществляет кодирование видеоданных SV с целью выработки видеопотока (элементарный видеопоток). На устройство 113 кодирования аудио в качестве аудиоданных SA поступает данные каналов и данные объекта «обеспечивающее эффект присутствия аудио» и объекта «речевой диалог».
Устройство 113 кодирования аудио осуществляет кодирование аудиоданных SA и получает передаваемые данные 3D аудио. Передаваемые данные 3D аудио содержат закодированные данные (CD) каналов, закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио» и закодированные данные объекта (SDO) «речевой диалог», как показано на фиг. 3. Далее устройство 113 кодирования аудио вырабатывает один или несколько аудиопотоков (элементарные аудиопотоки), содержащих несколько (в данном случае четыре) элементов, являющихся закодированными данными групп (смотри фиг. 4(a), 4(b)).
Устройство 114 мультиплексирования объединяет каждый вывод видеопотока из устройства 112 кодирования видео и вывод заранее заданного количества аудиопотоков из устройства 113 кодирования аудио, в пакет PES и далее в транспортный пакет с целью мультиплексирования потоков, и получает транспортный поток TS в качестве прошедшего мультиплексирование потока.
Кроме того, устройство 114 мультиплексирования вставляет информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, и информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, под таблицу (PMT) структуры программы. Устройство 114 мультиплексирования вставляет эти элементы информации, например, в цикл элементарного аудиопотока, соответствующий самому базовому потоку, с помощью использования дескриптора (3Daudio_stream_config_descriptor) конфигурации 3D аудиопотока. Подробно этот дескриптор будет описан ниже.
Кроме того, устройство 114 мультиплексирования вставляет информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков, под таблицу (PMT) структуры программы. Устройство 114 мультиплексирования вставляет информацию в цикл элементарного аудиопотока в соответствии с каждым аудиопотоком из заранее заданного количества аудиопотоков с использованием дескриптора (3Daudio_substreamID_descriptor) ID 3D аудиоподпотока. Подробно этот дескриптор будет описан ниже.
Далее кратко опишем работу блока 110 выработки потока, показанного на фиг. 9. Видеоданные подают на устройство 112 кодирования видео. В устройстве 112 кодирования видео осуществляют кодирование видеоданных SV и вырабатывают видеопоток, содержащий закодированные видеоданные. Видеопоток подают на устройство 114 мультиплексирования.
Аудиоданные SA подают на устройство 113 кодирования аудио. Аудиоданные SA содержат данные каналов и данные объекта «обеспечивающее эффект присутствия аудио» и объекта «речевой диалог». В устройстве 113 кодирования аудио осуществляют кодирование аудиоданных SA и получают передаваемые данные 3D аудио.
Передаваемые данные 3D аудио содержат закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио» и закодированные данные объекта (SDO) «речевой диалог», помимо закодированных данных (CD) каналов (смотри фиг. 3). Далее в устройстве 113 кодирования аудио вырабатывают один или несколько аудиопотоков, содержащих четыре элемента, являющихся закодированными данными групп (смотри фиг. 4(a), 4(b)).
Видеопоток, выработанный в устройстве 112 кодирования видео, подают в устройство 114 мультиплексирования. Кроме того, аудиопоток, выработанный в устройстве 113 кодирования аудио, подают в устройство 114 мультиплексирования. В устройстве 114 мультиплексирования поток, поданный из каждого устройства кодирования, объединяют в пакет PES и далее в транспортный пакет, подлежащий мультиплексированию, и в качестве прошедшего мультиплексирование потока, получают транспортный поток TS.
Кроме того, в устройстве 114 мультиплексирования дескриптор конфигурации 3D аудиопотока вставляют, например, в цикл элементарного аудиопотока, соответствующий самому базовому потоку. Дескриптор содержит информацию об атрибутах, указывающую атрибут каждого из нескольких элементов, являющихся закодированными данными групп, и информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп.
Кроме того, в устройстве 114 мультиплексирования дескриптор ID 3D аудиоподпотока вставляют в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заранее заданного количества аудиопотоков. Дескриптор содержит информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков.
Подробности дескриптора конфигурации 3D аудиопотока
На фиг. 10 показан пример структуры (синтаксис) дескриптора (3Daudio_stream_config_descriptor) конфигурации 3D аудиопотока. Кроме того, на фиг. 11 показаны подробности основной информации (семантики) в примере структуры.
Поле «descriptor_tag» из восьми битов указывает тип дескриптора. Здесь указано, что дескриптор является дескриптором конфигурации 3D аудиопотока. Поле «descriptor_length» из восьми битов указывает длину (размер) дескриптора и в качестве длины дескриптора указывает количество последовательных байтов.
Поле «NumOfGroups, N» из восьми битов указывает количество групп. Поле «NumOfPresetGroups, P» из восьми битов указывает количество заранее установленных групп. Поле «groupID» из восьми битов, поле «attribute_of_groupID» из восьми битов, поле «SwitchGroupID» из восьми битов и поле «audio_substreamID» повторяются количество раз, равное количеству групп.
Поле «groupID» указывает идентификатор группы. Поле «attribute_of_groupID» указывает атрибут закодированных данных групп. Поле «SwitchGroupID» является идентификатором, указывающим группу переключения, которой принадлежит группа. «0» указывает, что группа не принадлежит никакой группе переключения. Значение, отличное от «0», указывает группу переключения, которой должна принадлежать группа. Поле «audio_substreamID» является идентификатором, указывающим аудиоподпоток, содержащий группу.
Кроме того, поле «presetGroupID» из восьми битов и поле «NumOfGroups_in_preset, R» из восьми битов повторяются количество раз, равное количеству заранее установленных групп. Поле «presetGroupID» является идентификатором, указывающим связку, с помощью которой заранее устанавливается группа. Поле «NumOfGroups_in_preset, R» указывает количество групп, принадлежащих заранее установленной группе. Далее, для каждой заранее установленной группы поле «groupID» из восьми битов повторяется количество раз, равное количеству групп, принадлежащих заранее установленной группе, и указывает группу, принадлежащую заранее установленной группе. Этот дескриптор может быть расположен под расширенным дескриптором.
Подробности дескриптора ID 3D аудиоподпотока
На фиг. 12а показан пример структуры (синтаксис) дескриптора (3Daudio_substreamID_descriptor) ID 3D аудиоподпотока. Кроме того, на фиг. 12(b) показаны подробности основной информации (семантики) в примере структуры.
Поле «descriptor_tag» из восьми битов указывает тип дескриптора. Здесь указано, что дескриптор является дескриптором ID 3D аудиоподпотока. Поле «descriptor_length» из восьми битов указывает длину (размер) дескриптора и в качестве длины дескриптора указывает количество последовательных байтов. Поле «audio_substreamID» из восьми битов указывает идентификатор аудиоподпотока. Этот дескриптор может быть расположен под расширенным дескриптором.
Конфигурация транспортного потока TS
На фиг. 13 показан пример конфигурации транспортного потока TS. Пример конфигурации соответствует случаю, когда передачу осуществляют в два потока передаваемых данных 3D аудио (смотри фиг. 7). В примере конфигурации присутствует пакет «видео PES» PES видеопотока, обозначенный через PID1. Кроме того, в примере конфигурации присутствует два пакета «аудио PES» PES аудиопотока (аудиоподпоток), которые, соответственно, обозначены через PID2, PID3. Пакет PES состоит из заголовка (PES_header) PES и полезной нагрузки (PES_payload) PES. В заголовок PES вставлены метки DTS, PTS времени. Метки DTS, PTS времени из PID2 и PID3 прикреплены надлежащим образом, так что эти метки времени соответствуют друг другу во время мультиплексирования, при этом их синхронизация может быть обеспечена для всей системы.
Здесь пакет «аудио PES» PES аудиопотока, обозначенный через PID2, содержит закодированные данные (CD) каналов, которые отличают как группу 1, и закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио», которые отличают как группу 2. Кроме того, пакет «аудио PES» PES аудиопотока, обозначенный через PID3, содержит закодированные данные объекта (SDO) «речевой диалог» для языка 1, которые отличают как группу 3, и закодированные данные объекта (SDO) «речевой диалог» для языка 2, которые отличают как группу 4.
Кроме того, транспортный поток TS содержит таблицу (PMT) структуры программы в качестве зависимой от программы информации (PSI). PSI является информацией, указывающей программу, которой принадлежит каждый элементарный поток, содержащийся в транспортном потоке. В PMT присутствует цикл (Program_loop) программы, описывающий информацию, касающуюся всей программы.
Кроме того, в PMT существует цикл элементарного потока, содержащий информацию, касающуюся каждого элементарного потока. В примере конфигурации, присутствует цикл (цикл ES видео) элементарного видеопотока, соответствующий видеопотоку, и присутствует цикл (цикл ES аудио) элементарного аудиопотока, соответствующий, соответственно, двум аудиопотокам.
В цикле (цикл ES видео) элементарного видеопотока расположена такая информация, как тип потока и PID (идентификатор пакета), соответствующая каждому элементарному видеопотоку, а также расположен дескриптор, описывающий информацию, касающуюся элементарного видеопотока. Значение «Stream_type» видеопотока установлено равным «0x24» и информация PID указывает PID1, приписанный пакету «видео PES» PES видеопотока, как описано выше. HEVC дескриптор расположен как один из дескрипторов.
Кроме того, в цикле (цикл ES аудио) элементарного аудиопотока расположена такая информация, как тип потока и PID (идентификатор пакета), соответствующая каждому элементарному аудиопотоку, а также расположен дескриптор, описывающий информацию, касающуюся элементарного аудиопотока. Значение «Stream_type» аудиопотока установлено равным «0x2С» и информация PID указывает PID2, приписанный пакету «аудио PES» PES аудиопотока, как описано выше.
В цикле (цикл ES аудио) элементарного аудиопотока, который соответствует аудиопотоку, обозначенному через PID2, расположены оба описанных выше дескриптора: как дескриптор конфигурации 3D аудиопотока, так и дескриптор ID 3D аудиоподпотока. Кроме того, в цикле (цикл ES аудио) элементарного аудиопотока, который соответствует аудиопотоку, обозначенному через PID3, расположен только описанный выше дескриптор ID 3D аудиоподпотока.
Пример конфигурации устройства приема службы
На фиг. 14 показан пример конфигурации устройства 200 приема службы. Устройство 200 приема службы содержит блок 201 приема, устройство 202 демультиплексирования, устройство 203 декодирования видео, схему 204 обработки видео, схему 205 привода панели и панель 206 отображения. Кроме того, устройство 200 приема службы содержит буферы 211-1 - 211-N мультиплексирования, устройство 212 объединения, устройство 213 декодирования 3D аудио, схема 214 обработки вывода аудио и систему 215 динамиков. Кроме того, устройство 200 приема службы содержит CPU 221, флеш-ROM 222, DRAM 223, внутреннюю шину 224, блок 225 приема для дистанционного управления и устройство 226 передачи для дистанционного управления.
CPU 221 управляет работой каждого блока устройства 200 приема службы. Во флеш-ROM 222 хранится программное обеспечение управления и данные. DRAM 223 формирует рабочую область для CPU 221. CPU 221 разворачивает программное обеспечение и данные, считанные из флеш-ROM 222, в DRAM 223 и запускает программное обеспечение с целью управления каждым блоком устройства 200 приема службы.
Блок 225 приема для дистанционного управления принимает сигнал дистанционного управления (код дистанционного управления), переданный из устройства 226 передачи для дистанционного управления, и подает сигнал на CPU 221. CPU 221 управляет каждым блоком устройства 200 приема службы на основе кода дистанционного управления. CPU 221, флеш-ROM 222 и DRAM 223 соединены друг с другом с помощью внутренней шины 224.
Блок 201 приема принимает транспортный поток TS, переносимый радиовещательной волной или сетевым пакетом и переданный от устройства 100 передачи службы. Транспортный поток TS содержит заранее заданное количество аудиопотоков, включающих в себя несколько элементов, являющихся закодированными данными групп, которые содержатся в передаваемых данных 3D аудио, помимо видеопотока.
Устройство 202 демультиплексирования извлекает пакет видеопотока из транспортного потока TS и передает пакет на устройство 203 декодирования видео. Устройство 203 декодирования видео изменяет конфигурацию видеопотока из пакета видео, извлеченного устройством 202 демультиплексирования, и осуществляет обработку по декодированию с целью получения несжатых видеоданных.
Схема 204 обработки видео осуществляет обработку по масштабированию, регулировке качества изображения и подобное с видеоданными, полученными устройством 203 декодирования видео, и получает видеоданные для отображения. Схема 205 привода панели приводит в действие панель 206 отображения на основе данных изображения для отображения, которые получены в схеме 204 обработки видео. Блок 206 отображения сформирован, например, с помощью жидкокристаллического дисплея (LCD), органического электролюминесцентного (EL) дисплея.
Кроме того, устройство 202 демультиплексирования извлекает из транспортного потока TS такую информацию, как различные дескрипторы, и передает эту информацию на CPU 221. Различные дескрипторы включают в себя описанные выше дескриптор (3Daudio_stream_config_descriptor) конфигурации 3D аудиопотока и дескриптор (3Daudio_substreamID_descriptor) ID 3D аудиоподпотока (смотри фиг. 13).
CPU 221 распознает аудиопоток, содержащий закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя (пользователя), на основе информации об атрибутах, указывающей атрибут для каждого элемента, являющегося закодированными данными групп, информации связи потоков, указывающей аудиопоток (подпоток), содержащий каждую группу, и на основе подобной информации, которая содержится в этих дескрипторах.
Кроме того, устройство 202 демультиплексирования по выбору извлекает с помощью фильтра PID один или несколько пакетов аудиопотоков, содержащих закодированные данные групп, которые включают в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя (пользователя), из заранее заданного количества аудиопотоков, содержащихся в транспортном потоке TS, что делают под управлением CPU 221.
Буферы 211-1 - 211-N мультиплексирования, соответственно, собирают аудиопотоки, извлеченные устройством 202 демультиплексирования. Здесь количество N буферов 211-1 - 211-N мультиплексирования является необходимым и достаточным числом и равным используемому количеству аудиопотоков, извлеченных устройством 202 демультиплексирования, во время фактической работы.
Устройство 212 объединения считывает аудиопоток для каждого аудиокадра из каждого буфера мультиплексирования, соответственно, собирая аудиопотоки, извлеченные устройством 202 демультиплексирования, из буферов 211-1 - 211-N мультиплексирования, и подает аудиопоток на устройство 213 декодирования 3D аудио в качестве закодированных данных групп, содержащих атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя (пользователя).
Устройство 213 декодирования 3D аудио осуществляет обработку по декодированию закодированных данных, поданных из устройства 212 объединения, и получает аудиоданные для приведения в действие каждого динамика системы 215 динамиков. Здесь можно рассмотреть три следующих случая: случай, в котором закодированные данные, подлежащие обработке по декодированию, содержат только закодированные данные каналов, случай, в котором закодированные данные содержат только закодированные данные объектов, и еще один случай, в котором закодированные данные содержат как закодированные данные каналов, так и закодированные данные объектов.
При декодировании закодированных данных каналов, устройство 213 декодирования 3D аудио осуществляет обработку по уменьшению и увеличению числа каналов для конфигурации динамиков из системы 215 динамиков и получает аудиоданные для приведения в действие динамика. Кроме того, при декодировании закодированных данных объектов, устройство 213 декодирования 3D аудио вычисляет преобразование для динамиков (соотношение частей для каждого динамика) на основе информации объектов (метаданные) и смешивает аудиоданные объектов с аудиоданными с целью приведения в действие каждого динамика в соответствии с результатами вычислений.
Схема 214 обработки вывода аудио осуществляет необходимую обработку, такую как цифро-аналоговое преобразование и усиление, аудиоданных, полученных устройством 213 декодирования 3D аудио, с целью приведения в действие каждого динамика, и подает аудиоданные на систему 215 динамиков. Система 215 динамиков содержит несколько динамиков с несколькими каналами, например, 2 каналами, 5.1 каналами, 7.1 каналами и 22.2 каналами.
Далее кратко опишем работу устройства 200 приема службы, показанного на фиг. 14. В блоке 201 приема принимают транспортный поток TS, переносимый радиовещательной волной или сетевым пакетом и переданный от устройства 100 передачи службы. Транспортный поток TS содержит заранее заданное количество аудиопотоков, включающих в себя несколько элементов, являющихся закодированными данными групп, которые содержатся в передаваемых данных 3D аудио, помимо видеопотока. Этот транспортный поток TS подают на устройство 202 демультиплексирования.
В устройстве 202 демультиплексирования пакет видеопотока извлекают из транспортного потока TS и подают в устройство 203 декодирования видео. В устройстве 203 декодирования видео изменяют конфигурацию видеопотока из пакета видео, извлеченного устройством 202 демультиплексирования, и осуществляют обработку по декодированию и получают несжатые видеоданные. Видеоданные подают на схему 204 обработки видео.
В схеме 204 обработки видео осуществляют обработку по масштабированию, регулировке качества изображения и подобное с видеоданными, полученными устройством 203 декодирования видео, и получают видеоданные для отображения. Видеоданные для отображения подают на схему 205 привода панели. В схеме 205 привода панели на основе видеоданных для отображения приводят в действие панель 206 отображения. Таким образом, изображение отображают на панели 206 отображения в соответствии с видеоданными для отображения.
Кроме того, в устройстве 202 демультиплексирования из транспортного потока TS извлекают такую информацию, как различные дескрипторы, и передают эту информацию на CPU 221. Различные дескрипторы включают в себя дескриптор конфигурации 3D аудиопотока и дескриптор ID 3D аудиоподпотока. В CPU 221 распознают аудиопоток (подпоток), содержащий закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя (пользователя), на основе информации об атрибутах, информации связи потоков и подобной информации, которая содержится в этих дескрипторах.
Кроме того, в устройстве 202 демультиплексирования по выбору извлекают с помощью фильтра PID один или несколько пакетов аудиопотоков, содержащих закодированные данные групп, которые включают в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, из заранее заданного количества аудиопотоков, содержащихся в транспортном потоке TS, что делают под управлением CPU 221.
Аудиопотоки, извлеченные с помощью устройства 202 демультиплексирования, соответственно, направляют в соответствующие буферы мультиплексирования из буферов 211-1 - 211-N мультиплексирования. В устройстве 212 объединения аудиопоток считывают для каждого аудиокадра, из каждого буфера мультиплексирования, соответственно, собирая аудиопотоки, и подают аудиопоток на устройство 213 декодирования 3D аудио в качестве закодированных данных групп, содержащих атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя.
В устройстве 213 декодирования 3D аудио осуществляют обработку по декодированию закодированных данных, поданных из устройства 212 объединения, и получают аудиоданные для приведения в действие каждого динамика системы 215 динамиков.
Здесь, при декодировании закодированных данных каналов, осуществляют обработку по уменьшению и увеличению числа каналов для конфигурации динамиков из системы 215 динамиков и получают аудиоданные для приведения в действие каждого динамика. Кроме того, при декодировании закодированных данных объектов, вычисляют преобразование для динамиков (соотношение частей для каждого динамика) на основе информации объектов (метаданные) и смешивают аудиоданные объектов с аудиоданными с целью приведения в действие каждого динамика в соответствии с результатами вычислений.
Аудиоданные для приведения в действие каждого динамика, полученные в устройстве 213 декодирования 3D аудио, подают на схему 214 обработки вывода аудио. В схеме 214 обработки вывода аудио с целью приведения в действие каждого динамика осуществляют необходимую обработку аудиоданных, такую как цифро-аналоговое преобразование и усиление. Далее аудиоданные после обработки подают на систему 215 динамиков. Таким образом, вывод аудио из системы 215 динамиков получают в соответствии с изображением на панели 206 отображения.
На фиг. 15 показан пример обработки по декодированию аудио, которую осуществляет CPU 221 в устройстве 200 приема службы, которое показано на фиг. 14. CPU 221 начинает обработку этапом ST1. Далее на этапе ST2 CPU 221 определяет конфигурацию динамиков устройства приема, то есть конфигурацию динамиков системы 215 динамиков. Затем, на этапе ST3 CPU 221 получает касающуюся вывода аудио информацию о выборе, который осуществляет зритель (пользователь).
Далее, на этапе ST4 CPU 221 считывает «groupID», «attribute_of_GroupID», «switchGroupID», «presetGroupID» и «Audio_substreamID» дескриптора (3Daudio_stream_config_descriptor) конфигурации 3D аудиопотока. Далее на этапе ST5 CPU 221 распознает ID (subStreamID) подпотока аудиопотока (подпоток), которому принадлежит группа, содержащая атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя.
Далее, на этапе ST6 CPU 221 сопоставляет распознанный ID (subStreamID) потока с ID (subStreamID) потока из дескриптора (3Daudio_substreamID_descriptor) ID 3D аудиоподпотока каждого аудиопотока (подпотока), и выбирает совпавший с помощью фильтра PID и берет один в каждом буфере мультиплексирования. Далее, на этапе ST7 CPU 221 считывает аудиопоток (подпоток) для каждого аудиокадра из каждого буфера мультиплексирования и подает необходимые закодированные данные групп на устройство 213 декодирования 3D аудио.
Далее, на этапе ST8 CPU 221 определяет, нужно ли декодировать закодированные данные объектов. На этапе ST9 при декодировании закодированных данных объектов, CPU 221 вычисляет преобразование для динамиков (соотношение частей для каждого динамика) с помощью азимута (информации об азимуте) и подъема (информации о подъеме) на основе информации объектов (метаданные). После этого CPU 221 переходит на этап ST10. В данном случае, когда на этапе ST8 не декодируют закодированные данные объектов, CPU 221 сразу переходит на этап ST10.
На этапе ST10 CPU 221 определяет, нужно ли декодировать закодированные данные каналов. На этапе ST11 при декодировании закодированных данных каналов, CPU 221 осуществляет обработку по уменьшению и увеличению числа каналов для конфигурации динамиков из системы 215 динамиков и получает аудиоданные для приведения в действие каждого динамика. После этого CPU 221 переходит на этап ST12. В данном случае, когда на этапе ST10 не декодируют закодированные данные каналов, CPU 221 сразу переходит на этап ST12.
На этапе ST12 CPU 221 смешивает аудиоданные объектов с аудиоданными для приведения в действие каждого динамика в соответствии с результатом вычисления на этапе ST9 при декодировании закодированных данных объектов и далее осуществляет управление динамическим диапазоном. После этого CPU 221 заканчивает обработку на этапе ST13. В данном случае, когда не декодируют закодированные данные объектов, CPU 221 пропускает этап ST12.
Как описано выше, в системе 10 передачи/приема, показанной на фиг. 1, устройство 100 передачи службы вставляет в слой контейнера информацию об атрибутах, указывающую атрибут каждого из нескольких элементов, являющихся закодированными данными групп, которые содержатся в заранее заданном количестве аудиопотоков. По этой причине, на приемной стороне, атрибут для каждого из нескольких элементов, являющихся закодированными данными групп может быть легко распознан до декодирования закодированных данных и могут быть по выбору декодированы только необходимые, используемые в дальнейшем, закодированные данные групп и может быть уменьшена нагрузка при обработке.
Кроме того, в системе 10 передачи/приема, показанной на фиг. 1, устройство 100 передачи службы вставляет в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп. По этом причине, на приемной стороне аудиопоток, содержащий необходимые закодированные данные групп, может быть легко распознан и может быть уменьшена нагрузка при обработке.
2. Модификация
В данном случае, в описанном выше варианте осуществления изобретения устройство 200 приема службы выполнено с возможностью извлечения по выбору аудиопотока, содержащего закодированные данные групп, которые включают в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, из нескольких аудиопотоков (подпотоков), переданных от устройства 100 передачи службы, и с возможностью осуществления обработки по декодированию с целью получения аудиоданных для приведения в действие заранее заданного количества динамиков.
Тем не менее, также можно рассматривать, в качестве устройства приема службы, извлечение по выбору одного или нескольких аудиопотоков, содержащих закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, из нескольких аудиопотоков (подпотоков), переданных от устройства 100 передачи службы, изменение конфигурации аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, и доставку аудиопотока с измененной конфигурацией на устройство (в том числе DLNA устройство), соединенное с локальной сетью.
На фиг. 16 показан пример конфигурации устройства 200А приема службы для доставки аудиопотока с измененной конфигурацией на устройство, соединенное с локальной сетью, как описано выше. На фиг. 16 компоненты, эквивалентные компонентам, показанным на фиг. 14, обозначены теми же ссылочными позициями, что и на фиг. 14, и в настоящем документе их подробное описание не повторяется.
В устройстве 202 демультиплексирования по выбору извлекают с помощью фильтра PID один или несколько пакетов аудиопотоков, содержащих закодированные данные групп, которые включают в себя атрибут, соответствующий конфигурации динамиков и информацию о выборе зрителя, из заранее заданного количества аудиопотоков, содержащихся в транспортном потоке TS, что делают под управлением CPU 221.
Аудиопотоки, извлеченные с помощью устройства 202 демультиплексирования, соответственно, направляют в соответствующие буферы мультиплексирования из буферов 211-1 - 211-N мультиплексирования. В устройстве 212 объединения аудиопоток считывают для каждого аудиокадра из каждого буфера мультиплексирования, соответственно, собирая аудиопотоки, и подают на устройство 231 изменения конфигурации потока.
В устройстве 231 изменения конфигурации потока по выбору получают заранее заданные закодированные данные групп, содержащие атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, и изменяют конфигурацию аудиопотока, содержащего заранее заданные закодированные данные групп. Аудиопоток с измененной конфигурацией подают на устройство 232 доставки. Далее осуществляют доставку (передачу) от интерфейса 232 доставки до устройства 300, соединенного с локальной сетью.
Соединение с локальной сетью содержит Ethernet соединение и беспроводное соединение, такое как «WiFi» или «Bluetooth». В данном случае, «WiFi» и «Bluetooth» являются зарегистрированными торговыми марками.
Кроме того, устройство 300 содержит динамик объемного звучания, второй дисплей и устройство вывода аудио, прикрепленное к сетевому конечному устройству. Устройство 300, принимающее доставку аудиопотока с измененной конфигурацией, осуществляет обработку по декодированию, аналогичную обработке для устройства 213 декодирования 3D аудио в устройстве 200 приема службы с фиг. 14, и получает аудиоданные для приведения в действие заранее заданного количества динамиков.
Кроме того, в качестве устройства приема службы, можно рассмотреть конфигурацию, в которой описанный выше аудиопоток с измененной конфигурацией передают на устройство, соединенное с помощью цифрового интерфейса, такого как «Мультимедийный интерфейс (HDMI) высокой четкости», «Мобильный канал (MHL) высокой четкости» или стандарт «DisplayPort». В данном случае, «HDMI» и «MHL» являются зарегистрированными торговыми марками.
Кроме того, в описанном выше варианте осуществления изобретения информация соответствия потоку, вставленная в слой контейнера, является информацией, указывающей соответствие между ID группы и ID подпотока. То есть, ID подпотока используют для связывания друг с другом группы и аудиопотока (подпотока). Тем не менее, также может быть рассмотрено использование идентификатора (ID пакета: PID) пакета или тип потока (stream_type) для связывания друг с другом группы и аудиопотока (подпотока). В данном случае, когда используют тип потока, необходимо изменять тип потока каждого аудиопотока (подпотока).
Кроме того, в описанном выше варианте осуществления изобретения показан пример, в котором информацию об атрибутах для каждого элемента, являющегося закодированными данными групп, передают с помощью поля «attribute_of_groupID» (смотри фиг. 10). Тем не менее, настоящая технология содержит способ, в котором тип (атрибут) закодированных данных может быть распознан, когда распознан конкретный ID группы, что делают с помощью определения специального значения для самого ID (GroupID) группы между устройством передачи и устройством приема. В этом случае ID группы функционирует как идентификатор группы и также функционирует как информация об атрибутах для закодированных данных групп, так что поле «attribute_of_groupID» не является обязательным.
Кроме того, в описанном выше варианте осуществления изобретения показан пример, в котором несколько элементов, являющихся закодированными данными групп, содержат как закодированные данные каналов, так и закодированные данные объектов (смотри фиг. 3). Тем не менее, настоящая технология может быть аналогично применена также в случае, в котором несколько элементов, являющихся закодированными данными групп, содержат только закодированные данные каналов или содержат только закодированные данные объектов.
Кроме того, в описанном выше варианте осуществления изобретения показан пример, в котором контейнер является транспортным потоком (MPEG-2 TS). Тем не менее, настоящая технология может быть аналогично применена в системе, в которой доставку осуществляют с помощью контейнера MP4 или другого формата. Примером служит система доставки потока на основе MPEG-DASH или система передачи/приема, работающая с потоком передачи структуры транспортировки (MMT) медиаданных MPEG.
В частности, настоящая технология также может быть реализована с помощью описанных ниже структур.
(1) Устройство передачи, которое содержит:
блок передачи для передачи контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп; и
блок вставки информации для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп.
(2) Устройство передачи по (1), в котором блок вставки информации дополнительно вставляет в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп.
(3) Устройство передачи по (2), в котором информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и идентификатором потока, нужным для идентификации каждого аудиопотока из заранее заданного количества аудиопотоков.
(4) Устройство передачи по (3), в котором блок вставки информации дополнительно вставляет в слой контейнера информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков.
(5) Устройство передачи по (4), в котором
контейнер является MPEG2-TS, и
блок вставки информации вставляет информацию об идентификаторах потоков в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заранее заданного количества аудиопотоков и расположенный под таблицей структуры программы.
(6) Устройство передачи по (2), в котором информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и идентификатором пакета, подлежащим прикреплению во время формирования пакетов для каждого аудиопотока из заранее заданного количества аудиопотоков.
(7) Устройство передачи по (2), в котором информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и типом информации, указывающим тип потока для каждого аудиопотока из заранее заданного количества аудиопотоков.
(8) Устройство передачи по любому из (2) - (7), в котором
контейнер является MPEG2-TS, и
блок вставки информации вставляет информацию об атрибутах и информацию соответствия потоку в цикл элементарного аудиопотока, соответствующий любому одному аудиопотоку из заранее заданного количества аудиопотоков и расположенный под таблицей структуры программы.
(9) Устройство передачи по любому из (1) - (8), в котором несколько элементов, являющихся закодированными данными групп, содержат или закодированные данные каналов или закодированные данные объектов или и те, и другие данные.
(10) Способ передачи, включающий в себя:
этап передачи для передачи контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, из блока передачи; и
этап вставки информации для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп.
(11) Устройство приема, содержащее:
блок приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп; и
блок обработки для обработки заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, на основе информации об атрибутах.
(12) Устройство приема по (11), в котором
информация соответствия потоку, указывающая аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, дополнительно вставлена в слой контейнера, и
блок обработки обрабатывает заранее заданное количество аудиопотоков, на основе информации соответствия потоку, помимо информации об атрибутах.
(13) Устройство приема по (12), в котором блок обработки по выбору осуществляет обработку по декодированию аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе пользователя, что делают на основе информации об атрибутах и информации соответствия потоку.
(14) Устройство приема по любому из (11) - (13), в котором несколько элементов, являющихся закодированными данными групп, содержат или закодированные данные каналов или закодированные данные объектов или и те, и другие данные.
(15) Способ приема, включающий в себя:
этап приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, с помощью блока приема, для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп; и
этап обработки для обработки заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, на основе информации об атрибутах.
(16) Устройство приема, содержащее:
блок приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп;
блок обработки для получения по выбору заранее заданных закодированных данных групп на основе информации об атрибутах из заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, и изменения конфигурации аудиопотока, содержащего заранее заданные закодированные данные групп; и
блок передачи потока для передачи на внешнее устройство аудиопотока, конфигурация которого изменена в блоке обработки.
(17) Устройство приема по (16), в котором
информация соответствия потоку, указывающая аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, дополнительно вставлена в слой контейнера, и
блок обработки по выбору получает закодированные данные заранее заданной группы из заранее заданного количества аудиопотоков, на основе информации соответствия потоку, помимо информации об атрибутах.
(18) Способ приема, включающий в себя:
этап приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, с помощью блока приема, для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп;
этап обработки для получения по выбору заранее заданных закодированных данных групп на основе информации об атрибутах из заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, и изменения конфигурации аудиопотока, содержащего заранее заданные закодированные данные групп; и
этап передачи потока для передачи на внешнее устройство аудиопотока, конфигурация которого изменена во время этапа обработки.
Основной признак настоящей технологии заключается в том, что нагрузка при обработке на приемной стороне может быть уменьшена благодаря вставке в слой контейнера информации об атрибутах, указывающей атрибут каждого из нескольких элементов, являющихся закодированными данными групп, содержащихся в заранее заданном количестве аудиопотоков, и информации соответствия потоку, указывающей аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп (смотри фиг. 13).
Список ссылочных позиций
10 Система передачи/приема
100 Устройство передачи службы
110 Блок выработки потока
112 Устройство кодирования видео
113 Устройство кодирования аудио
114 Устройство мультиплексирования
200, 200A Устройство приема службы
201 Блок приема
202 Устройство демультиплексирования
203 Устройство декодирования видео
204 Схема обработки видео
205 Схема привода панели
206 Панель отображения
211-1 - 211-N Буфер мультиплексирования
212 Устройство объединения
213 Устройство декодирования 3D аудио
214 Схема обработки вывода аудио
215 Система динамиков
221 CPU
222 Флеш-ROM
223 DRAM
224 Внутренняя шина
225 Блок приема для дистанционного управления
226 Устройство передачи для дистанционного управления
231 Блок изменения конфигурации потока
232 Интерфейс доставки
300 Устройство