ЭФФЕКТИВНОЕ КОДИРОВАНИЕ ЗВУКОВЫХ СЦЕН, СОДЕРЖАЩИХ ЗВУКОВЫЕ ОБЪЕКТЫ

1. Способ кодирования звуковых объектов в виде потока данных, включающий:
прием N звуковых объектов, где N>1;
вычисление М сигналов понижающего микширования, где M≤N, путем формирования комбинаций N звуковых объектов;
вычисление изменяющейся во времени дополнительной информации, содержащей параметры, которые позволяют восстанавливать набор звуковых объектов, сформированных на основе N звуковых объектов, исходя из М сигналов понижающего микширования; и
включение М сигналов понижающего микширования и дополнительной информации в поток данных для передачи в декодер;
при этом способ также включает включение в поток данных:
множества экземпляров дополнительной информации, определяющих соответствующие требуемые установки восстановления для восстановления указанного набора звуковых объектов, сформированного на основе N звуковых объектов; и
данных перехода для каждого экземпляра дополнительной информации, содержащих две независимо присваиваемые части, которые в комбинации определяют момент времени для начала перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации, и момент времени для завершения перехода.
2. Способ по п. 1, дополнительно включающий процедуру кластеризации для уменьшения первого множества звуковых объектов до второго множества звуковых объектов; при этом N звуковых объектов составляет либо первое множество звуковых объектов, либо второе множество звуковых объектов; при этом указанный набор звуковых объектов, сформированный на основе N звуковых объектов, совпадает со вторым множеством звуковых объектов; и при этом процедура кластеризации включает:
вычисление изменяющихся во времени метаданных кластеров, содержащих пространственные положения для второго множества звуковых объектов; и
дополнительное включение в поток данных:
множества экземпляров метаданных кластеров, определяющих соответствующие требуемые установки представления для представления второго набора звуковых объектов; и
данных перехода для каждого экземпляра метаданных кластеров, содержащих две независимо присваиваемые части, в комбинации определяющие момент времени для начала перехода от текущей установки представления к требуемой установке представления, определяемой экземпляром метаданных кластеров, и момент времени для завершения перехода к требуемой установке представления, определяемой экземпляром метаданных кластеров.
3. Способ по п. 2, в котором процедура кластеризации дополнительно включает:
прием первого множества звуковых объектов и связанных с ними пространственных положений;
связывание первого множества звуковых объектов, по меньшей мере, с одним кластером на основе пространственной близости первого множества звуковых объектов;
генерирование второго множества звуковых объектов путем представления каждого из, по меньшей мере, одного кластера посредством звукового объекта, представляющего собой комбинацию звуковых объектов, связанных с кластером; и
вычисление пространственного положения каждого звукового объекта из второго множества звуковых объектов на основе пространственных положений звуковых объектов, связанных с кластером, который звуковой объект представляет.
4. Способ по п. 2 или 3, в котором соответствующие моменты времени, определяемые данными перехода для соответствующих экземпляров метаданных кластеров, совпадают с соответствующими моментами времени, определяемыми данными перехода для соответствующих экземпляров дополнительной информации.
5. Способ по любому из пп. 2—4, в котором N звуковых объектов составляет второе множество звуковых объектов.
6. Способ по любому из пп. 2—4, в котором N звуковых объектов составляет первое множество звуковых объектов.
7. Способ по любому из предыдущих пунктов, дополнительно включающий:
связывание каждого сигнала понижающего микширования с изменяющимся во времени пространственным положением для представления сигналов понижающего микширования; и
дальнейшее включение в поток данных метаданных понижающего микширования, содержащих пространственные положения сигналов понижающего микширования;
при этом способ также включает включение в поток данных:
множества экземпляров метаданных понижающего микширования, определяющих соответствующие требуемые установки представления понижающего микширования для представления сигналов понижающего микширования; и
данных перехода для каждого экземпляра метаданных понижающего микширования, содержащих две независимо присваиваемые части, в комбинации определяющие момент времени для начала перехода от текущей установки представления понижающего микширования к требуемой установке представления понижающего микширования, определяемой экземпляром метаданных понижающего микширования, и момент времени для завершения перехода к требуемой установке представления понижающего микширования, определяемой экземпляром метаданных понижающего микширования.
8. Способ по п. 7, в котором соответствующие моменты времени, определяемые данными перехода для соответствующих экземпляров метаданных понижающего микширования, совпадают с соответствующими моментами времени, определяемыми данными перехода для соответствующих экземпляров дополнительной информации.
9. Кодер для кодирования N звуковых объектов в виде потока данных, где N>1, содержащий:
компонент понижающего микширования, выполненный с возможностью вычисления М сигналов понижающего микширования, где M≤N, путем формирования комбинаций N звуковых объектов;
компонент анализа, выполненный с возможностью вычисления изменяющейся во времени дополнительной информации, содержащей параметры, позволяющие восстанавливать набор звуковых объектов, сформированный на основе N звуковых объектов, исходя из М сигналов понижающего микширования; и
компонент уплотнения, выполненный с возможностью включения М сигналов понижающего микширования и дополнительной информации в поток данных для передачи в декодер,
при этом компонент уплотнения дополнительно сконфигурирован для включения в поток данных:
множества экземпляров дополнительной информации, определяющих соответствующие требуемые установки восстановления для восстановления указанного набора звуковых объектов, сформированного на основе N звуковых объектов; и
данных перехода для каждого экземпляра дополнительной информации, содержащих две независимо присваиваемые части, которые в комбинации определяют момент времени для начала перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации, и момент времени для завершения перехода.
10. Способ восстановления звуковых объектов на основе потока данных, включающий:
прием потока данных, содержащего М сигналов понижающего микширования, представляющих собой комбинации N звуковых объектов, где N>1 и M≤N, и изменяющуюся во времени дополнительную информацию, содержащую параметры, которые позволяют восстанавливать набор звуковых объектов, сформированных на основе N звуковых объектов, исходя из М сигналов понижающего микширования; и
восстановление на основе М сигналов понижающего микширования и дополнительной информации указанного набора звуковых объектов, сформированного на основе N звуковых объектов;
при этом поток данных содержит множество экземпляров дополнительной информации; при этом поток данных дополнительно содержит для каждого экземпляра дополнительной информации данные перехода, содержащие две независимо присваиваемые части, которые в комбинации определяют момент времени для начала перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации, и момент времени для завершения перехода; и при этом восстановление указанного набора звуковых объектов, сформированного на основе N звуковых объектов, включает:
выполнение восстановления в соответствии с текущей установкой восстановления;
начало, в момент времени, определяемый данными перехода для экземпляра дополнительной информации, перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации; и
завершение перехода в момент времени, определяемый данными перехода для экземпляра дополнительной информации.
11. Способ по п. 10, в котором поток данных дополнительно содержит изменяющиеся во времени метаданные кластеров для указанного набора звуковых объектов, сформированного на основании N звуковых объектов, при этом метаданные кластеров содержат пространственные положения для указанного набора звуковых объектов, сформированного на основании N звуковых объектов; при этом поток данных содержит множество экземпляров метаданных кластеров; при этом поток данных дополнительно содержит, для каждого экземпляра метаданных кластеров данные перехода, содержащие две независимо присваиваемые части, которые в комбинации определяют момент времени для начала перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром метаданных кластеров, и момент времени для завершения перехода к требуемой установке восстановления, определяемой экземпляром метаданных кластеров; и при этом способ дополнительно включает:
применение метаданных кластеров для представления восстановленного набора звуковых объектов, сформированного на основе N звуковых объектов, в выходные каналы с предварительно определенной конфигурацией каналов, при этом представление включает:
выполнение представления в соответствии с текущей установкой представления;
начало, в момент времени, определяемый данными перехода для экземпляра метаданных кластеров, перехода от текущей установки представления к требуемой установке представления, определяемой экземпляром метаданных кластеров; и
завершение перехода к требуемой установке представления в момент времени, определяемый данными перехода для экземпляра метаданных кластеров.
12. Способ по п. 11, в котором соответствующие моменты времени, определяемые данными перехода для соответствующих экземпляров метаданных понижающего микширования, совпадают с соответствующими моментами времени, определяемыми данными перехода для соответствующих экземпляров дополнительной информации.
13. Способ по п. 12, в котором способ включает:
выполнение, по меньшей мере, части восстановления и представления как комбинированной операции, соответствующей первой матрице, сформированной в виде матричного произведения матрицы восстановления и матрицы представления, связанных соответственно с текущей установкой восстановления и текущей установкой представления;
начало, в момент времени, определяемый данными перехода для экземпляра дополнительной информации и экземпляра метаданных кластеров, комбинированного перехода от текущих установок восстановления и представления к требуемым установкам восстановления и представления, определяемым соответственно экземпляром дополнительной информации и экземпляром метаданных кластеров; и
завершение комбинированного перехода в момент времени, определяемый данными перехода для экземпляра дополнительной информации и экземпляра метаданных кластеров, при этом комбинированный переход включает интерполяцию между матричными элементами первой матрицы и матричными элементами второй матрицы, сформированный как матричное произведение матрицы восстановления и матрицы представления, связанных соответственно с требуемой установкой восстановления и требуемой установкой представления.
14. Способ по любому из пп. 10—13, в котором указанный набор звуковых объектов, сформированный на основании N звуковых объектов совпадает, с N звуковых объектов.
15. Способ по любому из пп. 10—13, в котором указанный набор звуковых объектов, сформированный на основании N звуковых объектов, содержит множество звуковых объектов, которые представляют собой комбинации N звуковых объектов, и количество которых меньше N.
16. Способ по любому из пп. 10—15, выполняемый в декодере, в котором поток данных дополнительно содержит метаданные понижающего микширования для M сигналов понижающего микширования, содержащие изменяющиеся во времени пространственные положения, связанные с M сигналов понижающего микширования; при этом поток данных содержит множество экземпляров метаданных понижающего микширования; при этом поток данных дополнительно содержит для каждого экземпляра метаданных понижающего микширования данные перехода, содержащие две независимо присваиваемые части, которые в комбинации определяют момент времени для начала перехода от текущей установки представления понижающего микширования к требуемой установке представления понижающего микширования, определяемой экземпляром метаданных понижающего микширования, и момент времени для завершения перехода к требуемой установке представления понижающего микширования, определяемой экземпляром метаданных понижающего микширования; и при этом способ дополнительно включает:
выполнение этапа восстановления на основе М сигналов понижающего микширования и дополнительной информации, при этом указанный набор звуковых объектов сформирован на основе N звуковых объектов, при условии, что декодер является функциональным для поддержки восстановления звуковых объектов; и
вывод метаданных понижающего микширования и М сигналов понижающего микширования для представления М сигналов понижающего микширования, при условии, что декодер не является функциональным для поддержки восстановления звуковых объектов.
17. Декодер для восстановления звуковых объектов на основе потока данных, содержащий:
компонент приема, выполненный с возможностью приема потока данных, содержащего М сигналов понижающего микширования, представляющих собой комбинации N звуковых объектов, где N>1 и M≤N, и изменяющуюся во времени дополнительную информацию, содержащую параметры, позволяющие восстанавливать набор звуковых объектов, сформированный на основе N звуковых объектов, исходя из М сигналов понижающего микширования; и
компонент восстановления, выполненный с возможностью восстановления, на основе М сигналов понижающего микширования и дополнительной информации, набора звуковых объектов, сформированного на основе N звуковых объектов;
при этом поток данных содержит множество экземпляров дополнительной информации; при этом поток данных дополнительно содержит, для каждого экземпляра дополнительной информации данные перехода содержащие две независимо присваиваемые части, которые в комбинации определяют момент времени для начала перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации, и момент времени для завершения перехода; и при этом компонент восстановления выполнен с возможностью восстановления указанного набора звуковых объектов, сформированного на основе N звуковых объектов посредством по меньшей мере:
выполнения восстановления в соответствии с текущей установкой восстановления;
начала, в момент времени определяемый данными перехода для экземпляра дополнительной информации, перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации; и
завершения перехода в момент времени, определяемый данными перехода для экземпляра дополнительной информации.
18. Способ по любому из пп. 1—8 и 10—16, дополнительно включающий:
генерирование одного или нескольких добавочных экземпляров дополнительной информации, определяющих по существу такую же установку восстановления, что и экземпляр дополнительной информации, непосредственно предшествующий одному или нескольким добавочным экземплярам дополнительной информации или непосредственно следующий за ними;
19. Способ перекодировки дополнительной информации, закодированной вместе с M звуковых сигналов в потоке данных, в котором способ включает:
прием потока данных;
извлечение из потока данных М звуковых сигналов и связанной с ними изменяющейся во времени дополнительной информации, содержащей параметры, позволяющие восстанавливать набор звуковых объектов из М звуковых сигналов, где M≥1, и при этом извлекаемая дополнительная информация содержит:
множество экземпляров дополнительной информации, определяющих соответствующие требуемые установки восстановления для восстановления звуковых объектов; и
данные перехода для каждого экземпляра дополнительной информации, содержащие две независимо присваиваемые части, которые в комбинации определяют момент времени для начала перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации, и момент времени для завершения перехода;
генерирование одного или нескольких добавочных экземпляров дополнительной информации, определяющих по существу такую же установку восстановления, что и экземпляр дополнительной информации, непосредственно предшествующий одному или нескольким добавочным экземплярам дополнительной информации или непосредственно следующий за ними; и
включение М звуковых сигналов и дополнительной информации в поток данных.
20. Способ по п. 19, в котором M звуковых сигналов кодируют в принятом потоке данных в соответствии с первой частотой кадров; при этом способ дополнительно включает:
обработку М звуковых сигналов для изменения частоты кадров, в соответствии с которой закодировано М сигналов понижающего микширования, до второй частоты кадров, отличающейся от первой частоты кадров; и
передискретизацию дополнительной информации для согласования со второй частотой кадров, по меньшей мере, посредством генерирования одного или нескольких добавочных экземпляров дополнительной информации.
21. Устройство для перекодировки дополнительной информации, закодированной вместе с M звуковых сигналов в потоке данных; при этом устройство содержит:
компонент приема, выполненный с возможностью приема потока данных и извлечения из потока данных М звуковых сигналов и связанной с ними изменяющейся во времени дополнительной информации, содержащей параметры, позволяющие восстанавливать набор звуковых объектов из М звуковых сигналов, где M≥1, и при этом извлекаемая дополнительная информация содержит:
множество экземпляров дополнительной информации, определяющих соответствующие требуемые установки восстановления для восстановления звуковых объектов; и
данные перехода для каждого экземпляра дополнительной информации, содержащие две независимо присваиваемые части, которые в комбинации определяют момент времени для начала перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации, и момент времени для завершения перехода;
компонент передискретизации, выполненный с возможностью генерирования одного или нескольких добавочных экземпляров дополнительной информации, определяющих по существу такую же установку восстановления, что и экземпляр дополнительной информации, непосредственно предшествующий одному или нескольким добавочным экземплярам дополнительной информации или непосредственно следующий за ними; и
компонент уплотнения, выполненный с возможностью включения М звуковых сигналов и дополнительной информации в поток данных.
22. Способ по любому из пп. 1—8, 10—16, и 18—20, дополнительно включающий:
расчет разности между первой требуемой установкой восстановления, определяемой первым экземпляром дополнительной информации, и одной или несколькими требуемыми установками восстановления, определяемыми одним или несколькими экземплярами дополнительной информации, непосредственно следующими за первым экземпляром дополнительной информации; и
удаление указанного одного или нескольких экземпляров дополнительной информации в ответ на то, что рассчитанная разность ниже предварительно определенного порога.
23. Способ по любому из пп. 1—8, 10—16, 18—20 и 22, кодер по п. 9, декодер по п. 17 или устройство по п. 21, в котором две независимо присваиваемые части данных перехода для каждого экземпляра дополнительной информации представляют собой:
временную отметку, указывающую момент времени для начала перехода к требуемой установке восстановления, и временную отметку, указывающую момент времени для завершения перехода к требуемой установке восстановления;
временную отметку, указывающую момент времени для начала перехода к требуемой установке восстановления, и параметр продолжительности интерполяции, указывающий продолжительность для достижения требуемой установки восстановления от момента времени для начала перехода к требуемой установке восстановления; или
временную отметку, указывающую момент времени для завершения перехода к требуемой установке восстановления, и параметр продолжительности интерполяции, указывающий продолжительность для достижения требуемой установки восстановления от момента времени для начала перехода к требуемой установке восстановления.
24. Способ по любому из пп. 2—8, 11—16, 18 и 22—23, в котором две независимо присваиваемые части данных перехода для каждого экземпляра метаданных кластеров представляют собой:
временную отметку, указывающую момент времени для начала перехода к требуемой установке представления, и временную отметку, указывающую момент времени для завершения перехода к требуемой установке представления;
временную отметку, указывающую момент времени для начала перехода к требуемой установке представления, и параметр продолжительности интерполяции, указывающий продолжительность для достижения требуемой установки представления от момента времени для начала перехода к требуемой установке представления; или
временную отметку, указывающую момент времени для завершения перехода к требуемой установке представления, и параметр продолжительности интерполяции, указывающий продолжительность для достижения требуемой установки представления от момента времени для начала перехода к требуемой установке представления.
25. Способ по любому из пп. 7—8, 16, 18 и 22—24, в котором две независимо присваиваемые части данных перехода для каждого экземпляра метаданных понижающего микширования представляют собой:
временную отметку, указывающую момент времени для начала перехода к требуемой установке представления понижающего микширования, и временную отметку, указывающую момент времени для завершения перехода к требуемой установке представления понижающего микширования;
временную отметку, указывающую момент времени для начала перехода к требуемой установке представления понижающего микширования, и параметр продолжительности интерполяции, указывающий продолжительность для достижения требуемой установки представления понижающего микширования от момента времени для начала перехода к требуемой установке представления понижающего микширования; или
временную отметку, указывающую момент времени для завершения перехода к требуемой установке представления понижающего микширования, и параметр продолжительности интерполяции, указывающий продолжительность для достижения требуемой установки представления понижающего микширования от момента времени для начала перехода к требуемой установке представления понижающего микширования.
26. Компьютерный программный продукт, содержащий машиночитаемый носитель с командами для выполнения способа по любому из пп. 1—8, 10—16, 18—20 и 22—25.