ЭФФЕКТИВНОЕ КОДИРОВАНИЕ ЗВУКОВЫХ СЦЕН, СОДЕРЖАЩИХ ЗВУКОВЫЕ ОБЪЕКТЫ

1. Способ кодирования звуковых объектов в поток данных, включающий:
прием N звуковых объектов, при этом N>1;
вычисление M сигналов понижающего микширования, при этом M≤N, путем формирования комбинаций N звуковых объектов в соответствии с критерием, не зависящим от какой-либо M-канальной конфигурации громкоговорителей для воспроизведения M сигналов понижающего микширования, при этом N звуковых объектов связывают с метаданными, содержащими пространственные положения N звуковых объектов, и значениями значимости, указывающими значимость N звуковых объектов относительно друг друга, при этом критерий для вычисления M сигналов понижающего микширования основывают на пространственной близости N звуковых объектов и на значениях значимости N звуковых объектов;
вычисление дополнительной информации, содержащей параметры, позволяющие восстанавливать набор звуковых объектов, сформированный на основе N звуковых объектов, исходя из М сигналов понижающего микширования; и
включение М сигналов понижающего микширования и дополнительной информации в поток данных для передачи в декодер.
2. Способ по п. 1, где один из M сигналов понижающего микширования соответствует лишь одному из N звуковых объектов, при этом указанный лишь один из N звуковых объектов представляет собой звуковой объект из N звуковых объектов, который является наиболее значимым по отношению к другим объектам из N звуковых объектов.
3. Способ по любому из пп. 1 или 2, где способ дополнительно включает связывание каждого сигнала понижающего микширования с пространственным положением и включение пространственных положений сигналов понижающего микширования в поток данных как метаданных для сигналов понижающего микширования.
4. Способ по п. 3, где N звуковых объектов связывают с метаданными, содержащими пространственные положения N звуковых объектов, и пространственные положения, связанные с сигналами понижающего микширования, вычисляют на основе пространственных положений N звуковых объектов.
5. Способ по п. 4, где пространственные положения N звуковых объектов и пространственные положения, связанные с М сигналов понижающего микширования, являются переменными по времени.
6. Способ по п. 1, где дополнительная информация является переменной по времени.
7. Способ по п. 1, где этап вычисления М сигналов понижающего микширования включает первую процедуру кластеризации, включающую связывание N звуковых объектов с М кластеров на основе пространственной близости и значений значимости N звуковых объектов и вычисление сигнала понижающего микширования для каждого кластера путем формирования комбинации звуковых объектов, связанных с кластером.
8. Способ по п. 7, где каждый сигнал понижающего микширования связывают с пространственным положением, вычисленным на основе пространственных положений звуковых объектов, связанных с кластером, соответствующим сигналу понижающего микширования.
9. Способ по п. 8, где пространственное положение, связанное с каждым сигналом понижающего микширования, вычисляют как центроид, или взвешенный центроид, пространственных положений звуковых объектов, связанных с кластером, соответствующим сигналу понижающего микширования.
10. Способ по любому из пп. 7—9, где N звуковых объектов связывают с М кластеров путем применения алгоритма обучения методом K-средних, содержащего пространственные положения N звуковых объектов в качестве ввода.
11. Способ по п. 1, где способ дополнительно включает вторую процедуру кластеризации для уменьшения первого множества звуковых объектов до второго множества звуковых объектов, при этом одно из первого и второго множества звуковых объектов соответствует N звуковых объектов.
12. Способ по п. 11, где вторая процедура кластеризации включает:
прием первого множества звуковых объектов и связанных с ними пространственных положений;
связывание первого множества звуковых объектов по меньшей мере с одним кластером на основе пространственной близости первого множества звуковых объектов;
генерирование второго множества звуковых объектов путем представления каждого из по меньшей мере одного кластера посредством звукового объекта, представляющего собой комбинацию звуковых объектов, связанных с кластером;
вычисление метаданных, содержащих пространственные положения для второго множества звуковых объектов, при этом пространственное положение каждого звукового объекта из второго множества звуковых объектов вычисляют на основе пространственных положений звуковых объектов, связанных с соответствующим кластером; и
включение метаданных для второго множества звуковых объектов в поток данных.
13. Способ по п. 12, где вторая процедура кластеризации дополнительно включает:
прием по меньшей мере одного звукового канала;
преобразование каждого из по меньшей мере одного звукового канала в звуковой объект, обладающий постоянным пространственным положением, соответствующим положению громкоговорителя этого звукового канала; и
включение преобразованного по меньшей мере одного звукового канала в первое множество звуковых объектов.
14. Способ по любому из пп. 11—13, где второе множество звуковых объектов соответствует N звуковых объектов и набор звуковых объектов, сформированный на основе N звуковых объектов, соответствует N звуковых объектов.
15. Способ по любому из пп. 11—13, где первое множество звуковых объектов соответствует N звуковых объектов и набор звуковых объектов, сформированный на основе N звуковых объектов, соответствует второму множеству звуковых объектов.
16. Машиночитаемый носитель, содержащий компьютерный программный продукт, на котором сохранены команды для выполнения способа по любому из предыдущих пунктов.
17. Кодер для кодирования звуковых объектов в поток данных, содержащий:
компонент приема, сконфигурированный для приема N звуковых объектов, при этом N>1;
компонент понижающего микширования, сконфигурированный для вычисления M сигналов понижающего микширования, при этом M≤N, путем формирования комбинаций N звуковых объектов в соответствии с критерием, не зависящим от какой-либо M-канальной конфигурации громкоговорителей для воспроизведения M сигналов понижающего микширования, при этом N звуковых объектов связан с метаданными, содержащими пространственные положения N звуковых объектов, и значениями значимости, указывающими значимость N звуковых объектов относительно друг друга, при этом критерий для вычисления M сигналов понижающего микширования основан на пространственной близости N звуковых объектов и на значениях значимости N звуковых объектов;
компонент анализа, сконфигурированный для вычисления дополнительной информации, содержащей параметры, позволяющие восстанавливать набор звуковых объектов, сформированный на основе N звуковых объектов, исходя из М сигналов понижающего микширования; и
компонент уплотнения, сконфигурированный для включения М сигналов понижающего микширования и дополнительной информации в поток данных для передачи в декодер.
18. Способ, применяемый в декодере, для декодирования потока данных, содержащего кодированные звуковые объекты, включающий:
прием потока данных, содержащего M сигналов понижающего микширования, представляющих собой комбинации N звуковых объектов, вычисленные в соответствии с критерием, не зависящим от какой-либо M-канальной конфигурации громкоговорителей для воспроизведения M сигналов понижающего микширования, при этом M≤N, при этом критерий для вычисления M сигналов понижающего микширования основывают на пространственной близости N звуковых объектов и на значениях значимости N звуковых объектов, указывающих значимость N звуковых объектов относительно друг друга;
прием дополнительной информации, содержащей параметры, позволяющие восстанавливать набор звуковых объектов, сформированный на основе N звуковых объектов, исходя из М сигналов понижающего микширования; и
восстановление набора звуковых объектов, сформированного на основе N звуковых объектов, исходя из М сигналов понижающего микширования и дополнительной информации.
19. Способ по п. 18, где один из M сигналов понижающего микширования соответствует лишь одному из N звуковых объектов, при этом указанный лишь один из N звуковых объектов представляет собой звуковой объект из N звуковых объектов, который является наиболее значимым по отношению к другим объектам из N звуковых объектов.
20. Способ по любому из пп. 18 и 19, где поток данных дополнительно содержит метаданные для М сигналов понижающего микширования, содержащие пространственные положения, связанные с М сигналов понижающего микширования, при этом способ дополнительно включает:
выполнение этапа восстановления набора звуковых объектов, сформированного на основе N звуковых объектов, исходя из М сигналов понижающего микширования и дополнительной информации, при условии, что декодер сконфигурирован для поддержки восстановления звуковых объектов; и
применение метаданных для М сигналов понижающего микширования для представления М сигналов понижающего микширования в выходные каналы системы воспроизведения, при условии, что декодер не сконфигурирован для поддержки восстановления звуковых объектов.
21. Способ по п. 20, где пространственные положения, связанные с М сигналов понижающего микширования, являются переменными по времени.
22. Способ по п. 18, где дополнительная информация является переменной по времени.
23. Способ по п. 18, где поток данных дополнительно содержит метаданные для набора звуковых объектов, сформированного на основе N звуковых объектов, содержащие пространственные положения набора звуковых объектов, сформированного на основе N звуковых объектов, при этом способ дополнительно включает:
применение метаданных для набора звуковых объектов, сформированного на основе N звуковых объектов, для представления восстановленного набора звуковых объектов, сформированного на основе N звуковых объектов, в выходные каналы системы воспроизведения.
24. Способ по п. 18, где набор звуковых объектов, сформированный на основе N звуковых объектов, равен N звуковых объектов.
25. Способ по п. 18, где набор звуковых объектов, сформированный на основе N звуковых объектов, содержит множество звуковых объектов, которые представляют собой комбинации N звуковых объектов, и количество которых меньше N.
26. Машиночитаемый носитель, содержащий компьютерный программный продукт, на котором сохранены команды для выполнения способа по любому из пп. 18—25.
27. Декодер для декодирования потока данных, содержащего кодированные звуковые объекты, содержащий:
компонент приема, сконфигурированный для приема потока данных, содержащего M сигналов понижающего микширования, представляющих собой комбинации N звуковых объектов, вычисленные в соответствии с критерием, не зависящим от какой-либо M-канальной конфигурации громкоговорителей для воспроизведения M сигналов понижающего микширования, при этом M≤N, при этом критерий для вычисления M сигналов понижающего микширования основан на пространственной близости N звуковых объектов и на значениях значимости N звуковых объектов;
компонент приема, сконфигурированный для приема дополнительной информации, содержащей параметры, позволяющие восстанавливать набор звуковых объектов, сформированный на основе N звуковых объектов, исходя из М сигналов понижающего микширования; и
компонент восстановления, сконфигурированный для восстановления набора звуковых объектов, сформированного на основе N звуковых объектов, исходя из М сигналов понижающего микширования и дополнительной информации.