УСТРОЙСТВО ОБЪЕДИНЕНИЯ ПОТОКОВ, МОДУЛЬ И СПОСОБ ДЕКОДИРОВАНИЯ
DEVICE OF FLOW COMBINATION, MODULE AND METHOD OF DECODING

Область техники, к которой относится изобретение
Настоящее изобретение относится к системам многоточечной телеконференц-связи, использующим метод аудиокодирования для установления коммуникаций, и, в частности, к модулю многоточечного соединения.
Уровень техники
В последние годы появились системы телеконференц-связи для установления соединения между несколькими точками через IP (Интернет-протокол). Традиционная система конференц-связи использует метод кодирования речи, включающий G. 726, чтобы устанавливать соединения между каждой из точек на основании "один-к-одному".
В предоставлении монофонического акустического сигнала на основании метода монофонического кодирования речи, включающего G. 726, описанного в непатентном документе 1, отсутствует создание реалистичной атмосферы в каждой из точек. Таким образом, для слушателей трудно точно определять говорящего, когда несколько человек одновременно говорят в каждой из точек. Это вытекает из ухудшения характеристик разделения звука.
Таким образом, введение метода многоканального кодирования, такого как метод MPEG-AAC, описанный в непатентном документе 2, позволяет улучшать характеристики разделения. Хотя метод MPEG-AAC и предоставляет реалистичную атмосферу в каждой из точек, он приводит к перегрузке сети вследствие увеличения объема передачи (скорости передачи битов). По сравнению с методом кодирования речи типичный метод многоканального кодирования испытывает приблизительно 100-кратное увеличение скорости передачи битов.
По сравнению с методом MPEG-AAC метод MPEG-Surround, описанный в непатентном документе 3, использует метод многоканального кодирования с низкой скоростью передачи битов, чтобы не допускать увеличения скорости передачи битов.
Непатентный документ 1. Стандарт ITU-T G.726.
Непатентный документ 2. Стандарт MPEG-AAC ISO/IEC 13818-3.
Непатентный документ 3. Стандарт MPEG-Surround ISO/IEC 23003-3.
Непатентный документ 4. <URL:http://winnie.kuis.kyoto-u.ac.jp/~ogata/le4-pr/node2.html>, найден в Интернете 15 июля 2007 года.
Непатентный документ 5. 2000. том J83-A. "Scalable Audio Coding Based on Hierarchical Transform Coding Modules", IEICE The Transactions of the Institute of Electronics, Information and Communication Engineers. A. no. 3 (20000325), стр. 241-252.
Непатентный документ 6.
<URL:http://www.murata.elec.waseda.ac.jp/~mura/Research/ICA/ieice99/mld.m>, найден в Интернете 15 июля 2007 года.
Раскрытие изобретения
Проблемы для разрешения изобретением
Метод MPEG-Surround имеет значительные проблемы при использовании в качестве системы конференц-связи.
Как показано на фиг.1 и 2, ячеистая сеть (фиг.1) и сеть со структурой типа "звезда" (фиг.2) используются для того, чтобы устанавливать сеть в системе телеконференц-связи. Когда несколько точек соединены в ячеистой сети (фиг.1), увеличение подключенных точек означает значительный объем одновременной обработки кодирования в терминальном устройстве приема-передачи в каждой из точек. Когда есть n точек, терминал в каждой точке должен выполнять n раз обработку декодирования. В случае кодирования и декодирования по методу многоканального кодирования, такому как метод MPEG-Surround, требуется значительный объем вычислений. Таким образом, выполнение одновременных и нескольких обработок декодирования, как описано выше, требует высокой производительности вычисления для процессора кодирования и декодирования, т.е. требует высокопроизводительного процессора. К сожалению, типичный процессор обработки для одновременной обработки декодирования, как описано выше, зачастую является дорогим и интенсивно использует ресурсы. Дополнительно, проектирование арифметического запоминающего устройства, имеющего запас по емкости, приводит к дополнительному увеличению потребления ресурсов. Эта проблема является критической для портативных терминалов, поскольку портативные терминалы должны экономить электричество.
Между тем, сеть со структурой типа "звезда" (фиг.2), устанавливающая соединение через модуль 403 многоточечного соединения (MCU), также имеет проблемы. Терминальное устройство приема-передачи в каждой из точек просто выполняет обработку приема-передачи между MCU и устройством, что не требует чрезмерной производительности обработки или объема арифметического запоминающего устройства. Модуль многоточечного соединения (MCU), тем не менее, должен иметь значительную производительность вычислений. Фиг.3 иллюстрирует три точки, устанавливающие соединения через модуль 403 многоточечного соединения и обменивающиеся данными друг с другом посредством традиционного метода многоканального кодирования, такого как MPEG-Surround. Фиг.3 иллюстрирует каждую точку, выполняющую трехканальный обмен данными. Модуль 403 многоточечного соединения: выполняет многоканальное декодирование кодированной информации 401 и кодированной информации 402, принимаемой от точек 1 и 2 соответственно; выполняет понижающее микширование каждого из каналов; и обеспечивает, для передачи в точку 3, повторное трехканальное кодирование микшированных с понижением каналов. Другими словами, когда n точек соединено с модулем многоточечного соединения (MCU), модуль многоточечного соединения должен одновременно выполнять n раз обработку кодирования и n раз обработку декодирования, чтобы один раз декодировать кодированные потоки, каждый из которых принимается из связанной точки, и объединять кодированные потоки в один сигнал. Соответственно, проблема, возникающая в терминальном устройстве приема-передачи в ячеистой сети, также возникает в модуле многоточечного соединения.
Настоящее изобретение создано ввиду вышеописанных традиционных проблем.
Средство для решения проблемы
Чтобы разрешить вышеописанные проблемы, первое устройство объединения потоков в настоящем изобретении включает в себя модуль ввода, который вводит, по меньшей мере, два кодированных сигнала, каждый из которых включает в себя первый акустический сигнал понижающего микширования и расширенный сигнал, причем каждый из первых акустических сигналов понижающего микширования получается посредством кодирования акустического сигнала, в который, по меньшей мере, два звуковых сигнала микшированы с понижением, а расширенный сигнал служит для получения этих, по меньшей мере, двух звуковых сигналов из первого акустического сигнала понижающего микширования; модуль формирования кодированных сигналов, который формирует второй акустический сигнал понижающего микширования и расширенный сигнал на основании каждого из кодированных сигналов, вводимых посредством модуля ввода, при этом второй акустический сигнал понижающего микширования служит для получения каждого из первых акустических сигналов понижающего микширования, а сформированный расширенный сигнал служит для получения каждого из первых акустических сигналов понижающего микширования из второго акустического сигнала понижающего микширования; и формирует кодированный сигнал, включающий в себя сформированный второй акустический сигнал понижающего микширования, сформированный расширенный сигнал и каждый из расширенных сигналов, включенных в соответствующий вводимый кодированный сигнал; и модуль вывода, который выводит сформированный кодированный сигнал.
Устройство декодирования включает в себя модуль ввода, который вводит кодированный сигнал, включающий в себя акустический сигнал понижающего микширования и расширенный сигнал, причем акустический сигнал понижающего микширования предоставляется из кодированного акустического сигнала, в который, по меньшей мере, два звуковых сигнала микшированы с понижением, а расширенный сигнал служит для получения этих, по меньшей мере, двух звуковых сигналов из акустического сигнала понижающего микширования, при этом акустический сигнал понижающего микширования в кодированном сигнале, который должен быть введен, является вторым акустическим сигналом понижающего микширования для получения каждого из акустических сигналов понижающего микширования в предварительно определенных, по меньшей мере, двух кодированных сигналах, расширенный сигнал в кодированном сигнале, который должен быть введен, является расширенным сигналом для получения каждого из первых акустических сигналов понижающего микширования из второго акустического сигнала понижающего микширования, и модуль декодирования включает в себя субмодуль декодирования, который формирует, по меньшей мере, два промежуточных сигнала на основании, по меньшей мере, интераурального коэффициента корреляции (ICC) и интерауральной разности уровней частот (ILD), включенных в расширенный сигнал, и умножает сформированные, по меньшей мере, два промежуточных сигнала на интерауральную разность уровней частот (ILD), причем эти, по меньшей мере, два промежуточных сигнала декоррелируются из декодированного сигнала, полученного из второго акустического сигнала понижающего микширования, с использованием интераурального коэффициента корреляции (ICC). Следует отметить, что модуль декодирования формирует каждый из промежуточных сигналов на основании, по меньшей мере, интераурального коэффициента корреляции (ICC) и интерауральной разности уровней частот (ILD). Модуль декодирования может формировать каждый из промежуточных сигналов на основании фрагмента данных, отличного от интераурального коэффициента корреляции (ICC), интерауральной разности уровней частот (ILD) или обоих из интераурального коэффициента корреляции (ICC) и интерауральной разности уровней частот (ILD).
Второй модуль объединения потоков использует кодированный сигнал в качестве своего входного и выходного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Второй модуль объединения потоков выполнен с возможностью принимать не менее двух кодированных сигналов, чтобы формировать: часть акустического сигнала понижающего микширования не менее чем в одном кодированном сигнале в один акустический сигнал понижающего микширования; и акустический сигнал понижающего микширования в расширенный сигнал для декодирования не менее одного монофонического сигнала.
Третий модуль объединения потоков использует кодированный сигнал в качестве своего входного и выходного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Третий модуль объединения потоков выполнен с возможностью: принимать не менее двух из кодированных сигналов, включающих в себя кодированный сигнал, и передавать один из кодированных сигналов; и объединять расширенные сигналы, имеющие расширенный сигнал, включенный в принятые кодированные сигналы, в один кодированный сигнал.
Четвертый модуль объединения потоков использует кодированный сигнал в качестве своего входного и выходного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Четвертый модуль объединения потоков выполнен с возможностью объединять в сигнал, включающий в себя информацию, указывающую источники передачи, не менее двух из кодированных сигналов.
Первый модуль декодирования принимает кодированный сигнал в качестве своего входного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Первый модуль декодирования принимает сигнал, сформированный в расширенный сигнал для декодирования, из не менее чем двух кодированных сигналов, части акустического сигнала понижающего микширования в не менее чем одном кодированном сигнале в один сигнал понижающего микширования и акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Расширенный сигнал включает в себя соотношение мощностей частот (ILD) не менее чем одного монофонического сигнала и интерауральный коэффициент корреляции (ICC) не менее чем одного монофонического сигнала. Первый модуль декодирования декоррелирует сигнал с помощью микшированного с понижением акустического сигнала, декодированного с использованием интерауральных коэффициентов корреляции (ICC), и формирует не менее двух промежуточных сигналов. Затем первый модуль декодирования умножает не менее двух промежуточных сигналов на соотношение мощностей частот (ILD).
Второй модуль декодирования принимает кодированный сигнал в качестве своего входного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Второй модуль декодирования принимает сигнал, сформированный в расширенный сигнал для декодирования, из не менее двух кодированных сигналов, части акустического сигнала понижающего микширования не менее чем в одном кодированном сигнале в один сигнал понижающего микширования и акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Расширенный сигнал включает в себя соотношение мощностей между мощностями частоты и возведенным в квадрат монофоническим сигналом не менее одного монофонического сигнала. Второй модуль декодирования выполнен с возможностью приостанавливать декодирование, когда соотношение мощностей между мощностями частоты и возведенного в квадрат монофонического сигнала больше предварительно определенного порогового значения.
Пятый модуль объединения потоков использует кодированный сигнал в качестве своего входного и выходного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Пятый модуль объединения потоков выполнен с возможностью принимать не менее двух кодированных сигналов, чтобы формировать: часть акустического сигнала понижающего микширования не менее чем в одном кодированном сигнале в один акустический сигнал понижающего микширования; и акустический сигнал понижающего микширования в расширенный сигнал для декодирования не менее одного монофонического сигнала.
При использовании метода монофонического кодирования речи, включающей G. 726, пятый модуль объединения потоков может предоставлять решение проблем ухудшения звука вследствие монофонических акустических сигналов, когда несколько человек одновременно говорят в каждой точке, и, таким образом, для слушателей трудно определить говорящего.
Преимущества изобретения
Вышеописанный модуль объединения потоков может предоставлять улучшенную реалистичную атмосферу при многоточечном соединении и также снижать вычислительную нагрузку в модуле многоточечного соединения.
Краткое описание чертежей
Фиг.1 иллюстрирует тип тракта связи.
Фиг.2 иллюстрирует тип тракта связи.
Фиг.3 показывает проблему в многоканальной многоточечной связи.
Фиг.4 иллюстрирует модуль объединения потоков в первом варианте осуществления настоящего изобретения.
Фиг.5 иллюстрирует многоточечное соединение в первом варианте осуществления настоящего изобретения.
Фиг.6 показывает схему формирования с понижающим микшированием в первом варианте осуществления настоящего изобретения.
Фиг.7 показывает модуль декодирования в первом варианте осуществления настоящего изобретения.
Фиг.8 показывает разделяющую схему в первом варианте осуществления настоящего изобретения.
Фиг.9 иллюстрирует многоточечное соединение во втором варианте осуществления настоящего изобретения.
Фиг.10 иллюстрирует кодированный поток во втором варианте осуществления настоящего изобретения.
Фиг.11 показывает схему формирования с понижающим микшированием в третьем варианте осуществления настоящего изобретения.
Фиг.12 иллюстрирует многоточечное соединение в четвертом варианте осуществления настоящего изобретения.
Фиг.13 иллюстрирует кодированный поток в четвертом варианте осуществления настоящего изобретения.
Фиг.14 иллюстрирует многоточечное соединение в первом варианте осуществления настоящего изобретения.
Фиг.15 иллюстрирует другое многоточечное соединение в первом варианте осуществления настоящего изобретения.
Фиг.16 является блок-схемой последовательности операций способа, показывающей, как модуль объединения потоков обнаруживает число точек приема.
Фиг.17 является блок-схемой последовательности операций способа, показывающей, как модуль объединения потоков вычисляет коэффициент разделения понижающего микширования.
Фиг.18 является другой блок-схемой последовательности операций способа, показывающей, как вычислять коэффициент разделения понижающего микширования.
Фиг.19 иллюстрирует кодированный поток в первом варианте осуществления настоящего изобретения.
Фиг.20 иллюстрирует информацию расщепленного дерева, хранимую в кодированном потоке.
Фиг.21 является блок-схемой последовательности операций способа, показывающей процесс вычисления приоритета в модуле объединения потоков.
Фиг.22 является схемой, показывающей процесс модуля объединения потоков, передающего каждый фрагмент кодированной информации в связанную точку.
Ссылочные позиции
100 - Устройство объединения потоков
101, 102 и 107 - Кодированная информация
103 - Разделяющая схема
104 - Схема формирования с понижающим микшированием
105 - Схема вычисления расширенной информации
106 - Схема мультиплексирования
201 и 204 - Кодированный сигнал понижающего микширования
202, 203, 205 и 206 - Расширенная информация
207 - Кодированный сигнал понижающего микширования
208 - Разделяющая информация понижающего микширования
401, 402 и 407 - Кодированная информация
501 и 502 - Схема декодирования
503 - Схема понижающего микширования
504 - Схема декодирования
601 - Кодированный сигнал понижающего микширования
602 - Расширенная информация
603 и 604 - Разделяющая схема
701 - Входной сигнал
702 - Разделяющая информация (значение корреляции)
703 - Разделяющая информация (интерауральная разность уровней)
704 - Схема декорреляции
705 и 706 - Схема управления усилением
707 - Отделенный первый сигнал
708 - Отделенный второй сигнал
801 - Кодированный сигнал понижающего микширования точки 1
802 и 803 - Расширенная информация точки 1
804 - Кодированный сигнал понижающего микширования точки 2
805, 806 и 807 - Расширенная информация точки 2
808 - Кодированный сигнал понижающего микширования точки 3
809 - Разделяющая информация понижающего микширования точки 3
901 - Информация дерева
902 - Кодированный сигнал понижающего микширования точки 3
903 - Разделяющая информация понижающего микширования точки 3
904, 905 и 906 - Расширенная информация
907 - Информация определения
908 - Информация о точке
909 - Число сигналов
910 - Информация глубины дерева
911 - Коэффициент дерева сигнала 1
912 - Коэффициент дерева сигнала 2
913 - Коэффициент дерева сигнала 3
914 - Информация по концевому узлу
1001 - Модуль обратного квантования
1101 - Сигнал понижающего микширования
1102, 1103, 1104 - Расширенная информация
1105 - Сигнал понижающего микширования
1106, 1107, 1108 и 1109 - Расширенная информация
1110 - Сигнал понижающего микширования
1111 - Разделяющая информация понижающего микширования
1112 и 1113 - Расширенная информация
1114, 1115 и 1116 - Кодированная информация
1301 - Число входных сигналов
1401 - Информация приоритета
1402 - Расширенный сигнал входного сигнала 1 точки 1 (максимальный приоритет)
1403 - Расширенный сигнал входного сигнала 2 точки 2 (минимальный приоритет)
Осуществление изобретения
Далее описаны варианты осуществления настоящего изобретения со ссылками на чертежи.
(Первый вариант осуществления)
Фиг.4 является структурной схемой модуля 100 объединения потоков в настоящем изобретении. Дополнительно, фиг.5 иллюстрирует точки 1, 2 и 3, устанавливающие соединения друг с другом через модуль 100 объединения потоков (модуль многоточечного соединения) в настоящем изобретении. Далее система многоточечной телеконференц-связи, включающая в себя точки 1-3 и модуль 100 объединения потоков, упоминается как система 1 (фиг.5). Сначала фиг.5 показывает краткий обзор системы 1.
Фиг.5 является блок-схемой системы 1.
Каждая из точек снимает два или больше независимых акустических сигнала на микрофоне, чтобы получать многоканальный PCM-сигнал (импульсно-кодовой модуляции). На фиг.5 точка 1 снимает сигналы 1-3, а точка 2 снимает сигналы 4-6. Выражение 1 предоставляет стереофонический или монофонический PCM-сигнал понижающего микширования из полученного PCM-сигнала.
(Выражение 1) DMX (n) = ∑a (i, n)·Input(i) n = 1 или 2,
где (i, n) - это коэффициент понижающего микширования каждого из входных сигналов. Когда пять сигналов снимаются, используется коэффициент понижающего микширования, раскрытый в стандарте ITU-R BS 775-1. Следует отметить, что "∑" представляет полную сумму последовательности. Другими словами, "∑" означает "∑" в математике.
Здесь несколько независимых акустических сигналов выступают в качестве обычного многоканального сигнала.
Затем монофонический или стереофонический сигнал понижающего микширования, вычисленный, как описано выше, принимает обработку монофонического или стереофонического акустического кодирования соответственно. Стереофонический сигнал понижающего микширования принимает обработку акустического кодирования посредством метода MPEG AAC, описанного в непатентном документе 2. Монофонический сигнал понижающего микширования принимает обработку акустического кодирования посредством метода G.726 и монофонического кодирования методом MPEG-AAC, описанном в непатентном документе 1. Следует отметить, что метод для кодирования сигнала понижающего микширования не ограничен MPEG-AAC и G.726. Вместо них также могут быть использованы методы Dolby Digital (AC-3), метод MPEG-Layer 3 и метод TwinVQ.
Фиг.5 показывает сигналы, предоставляемые посредством кодирования PCM-сигналов понижающего микширования, как DMX-сигнала 201 и DMX-сигнала 204. Они, в общем, упоминаются как кодированные сигналы понижающего микширования.
Для удобства, эта заявка упоминает всю обработку как кодирование с понижающим микшированием, при этом вся обработка содержит понижающее микширование множества исходных сигналов, например множества акустических сигналов, и кодирование микшированных с понижением PCM-сигналов понижающего микширования в DMX-сигнал. Здесь кодирование с понижающим микшированием упоминается просто как "кодирование" при необходимости. В отличие от этого обработка для формирования множества исходных сигналов из DMX-сигналов упоминается как декодирование с понижающим микшированием. Здесь декодирование с понижающим микшированием упоминается просто как "декодирование" при необходимости.
Затем определяется сигнал, упоминаемый как расширенный сигнал. Этот сигнал включает в себя информацию для декодирования сигналов понижающего микширования (таких, как DMX-сигнал 201 и DMX-сигнал 204) в нескольких независимых сигналах. Точка 1 иллюстрирует вычисление расширенного сигнала. Во-первых, интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) извлекаются из входных сигналов (в случае, если сигнал 1 и сигнал 2 являются монофоническими сигналами) на основании кадров следующим образом:
(Выражение 2) Gain(n) = 10·log(Input1(n)/Input2(n)).
(Выражение 3) Cor(n) = ∑(Input1(n)·Input2(n)/Input2(i)^2),
где сигнал 1 - это Input1(n), сигнал 2 - это Input2(n).
Следует отметить, что символ "^" обозначает экспоненциальное вычисление в этой заявке. В частности, "А^B", включающее в себя символ "^", означает А в степени В.
Интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) квантуются и кодируются по методу Хаффмана, чтобы формировать расширенную информацию 203. ОТТ-схема (схема, формирующая вышеупомянутый расширенный сигнал из двух входных сигналов), используемая для кодирования MPEG-Surround, описанного в непатентном документе 3, должна предоставлять подробный процесс вычисления. Следует отметить, что интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) иллюстрируются как расширенная информация; тем не менее, расширенная информация не должна ограничиваться ими. Дополнительно, вышеприведенное вычисление иллюстрирует то, как сформировать расширенную информацию из двух независимых сигналов. Также может быть использован другой метод при получении расширенной информации из трех сигналов. ТТТ-схема, используемая для кодирования MPEG-Surround, описанного в непатентном документе 3, представит подробности метода. В случае четырех или более независимых сигналов последовательно подключенные ОТТ-схемы, каждая из которых является сигнальным устройством, принимающим два входных сигнала, вычисляет расширенный сигнал. Например, две ОТТ-схемы используются для приема четырех независимых сигналов и формирования двух пар сигналов понижающего микширования, чтобы получать один сигнал понижающего микширования через ОТТ-схему. Другими словами, используются три ОТТ-схемы.
Следует отметить, что расширенная информация может включать в себя информацию о разности фаз (IPD), а также интерауральную разность уровней (ILD) и интерауральный коэффициент корреляции (ICC).
Далее сигналы 1 и 2 микшируются с понижением для преобразования в монофонический сигнал. Интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) вычисляются с помощью выражений 2 и 3 из монофонического сигнала и сигнала 3 и квантуются и кодируются по методу Хаффмана для создания расширенной информации 202. Кодированная информация 101 включает в себя кодированный сигнал 201 понижающего микширования, расширенную информацию 202 и расширенную информацию 203. Здесь расширенная информация 202 разделяет сигнал 3 и объединенный сигнал, включающий в себя сигналы 1 и 2, из кодированного сигнала 201 понижающего микширования. Расширенная информация 203 разделяет объединенный сигнал, включающий в себя сигналы 1 и 2, и разделенный посредством расширенной информации 202 на сигнал 1 и сигнал 2. Дерево 209 сигналов на фиг.5 схематично иллюстрирует вышеописанное.
Аналогично точке 1 точка 2 вычисляет расширенную информацию 206 из сигналов 4 и 5 и расширенную информацию 205 из сигнала 6 и объединенного сигнала с микшированными с понижением сигналами 4 и 5.
Кодированные сигналы понижающего микширования и фрагменты расширенной информации, как описано выше, объединяются на точечной основе и предоставляются в модуль 100 объединения потоков через тракт связи, включающий в себя Интернет.
Фиг.4 подробно иллюстрирует модуль 100 объединения потоков настоящего изобретения. Модуль 100 объединения потоков выполняет следующее вычисление.
Во-первых, разделяющая схема 103 разделяет кодированные сигналы понижающего микширования и фрагменты расширенной информации из кодированной информации 101 в точке 1 и кодированной информации 102 в точке 2 соответственно. При разделении фрагмент информации, чтобы различать сигналы понижающего микширования и фрагменты расширенной информации, назначается каждой начальной точке фрагмента расширенной информации. Разделяющая схема 103 выполняет вышеупомянутое разделение в соответствии с фрагментом информации.
Фиг.6 иллюстрирует структуру схемы 104 формирования с понижающим микшированием (фиг.4).
В схеме 104 формирования с понижающим микшированием разделенные кодированные сигналы понижающего микширования во временном отношении декодируются в PCM-сигналы посредством схем 501 и 502 декодирования, включенных в схему 104 формирования с понижающим микшированием, следуя предварительно определенному процессу. Следует отметить, что когда кодированные сигналы понижающего микширования кодированы методом MPEG-AAC, метод декодирования, описанный в непатентном документе 2, приспосабливается для декодирования сигналов понижающего микширования для получения PCM-сигналов. PCM-сигналы, полученные, как описано выше, упоминаются как PCM 1 и PCM 2.
Схема 104 формирования с понижающим микшированием получает кодированный сигнал 207 понижающего микширования (фиг.6) посредством дополнительного: понижающего микширования декодированных PCM-сигналов (PCMS 1 и 2) в схеме 503 понижающего микширования; и кодирования микшированных с понижением декодированных PCM-сигналов в схеме 504 кодирования в соответствии с предварительно определенным методом кодирования (например, MPEG-AAC). Выражение 4 иллюстрирует процесс понижающего микширования, описанный выше:
(Выражение 4) DMX = 0,5·PCM1 + 0,5·PCM2.
Здесь следует отметить, что коэффициент представляет 0,5. Между тем, коэффициент не ограничен этим до тех пор, пока сохраняется следующая зависимость:
(Выражение 5) a(i) + b(i) = 1,
где коэффициенты для PCMS 1 и 2 - это a(i) и b(i) соответственно. Этот процесс эквивалентен работе схемы 503 понижающего микширования на фиг.6.
После этого схема 105 вычисления расширенной информации (фиг.4) вычисляет расширенную информацию из PCM 1 и PCM 2 в соответствии с вышеописанными выражениями 2 и 3. Вычисленная расширенная информация упоминается как разделяющая информация 208 понижающего микширования (расширенная информация понижающего микширования) (DMX-разделение на фиг.5).
Разделяющая информация понижающего микширования вычисляется следующим образом.
Фиг.16 является блок-схемой последовательности операций способа для определения того, должна ли быть получена разделяющая информация понижающего микширования.
Установление точек в варианте осуществления иллюстрирует модуль 100 объединения потоков, принимающий сигналы из двух точек и передающий объединенный сигнал в точку. Здесь число точек приема n равно 2. Модуль 100 объединения потоков обнаруживает число точек приема (этап S11). Поскольку обнаруженное число точек приема больше 1 (этап S12:Y), модуль 100 объединения потоков инструктирует схеме 105 вычисления расширенной информации вычислять коэффициент разделения точечных сигналов (разделяющую информацию понижающего микширования) (этап S13). Вычисление будет описано ниже. После вычисления коэффициента разделения точечных сигналов схема 106 мультиплексирования объединяет коэффициент и первоначальную расширенную информацию в один поток (этап S14), и модуль I2 вывода выводит поток в третью точку (этап S15). Как описано выше, этап S14 включает наложение посредством схемы 106 мультиплексирования коэффициента разделения точечных сигналов. Процесс вычисления коэффициента разделения точечных сигналов будет описан на фиг.18.
Фиг.18 является блок-схемой, описывающей вычисление первого коэффициента разделения понижающего микширования.
Согласно выражению 3 интерауральные коэффициенты корреляции (ICC) PCMS 1 и 2 вычисляются из PCMS 1 и 2, в которые кодированы сигналы 201 и 204 кодирования с понижающим микшированием (фиг.6) из соответствующих точек 1 и 2 (этап S32). Следующий шаг заключается в обнаружении того, больше или меньше абсолютное значение вычисленных интерауральных коэффициентов корреляции (ICC), чем предварительно определенное пороговое значение P_ICC (этап S33). Когда абсолютное значение меньше P_ICC (этап S33: Y), вычисляется разностный сигнал между PCMS 1 и 2. Следует отметить, что P_ICC представляет, например, 0,5. Это значение, ранее заданное в устройстве 100 объединения потоков (фиг.4 и 5), варьируется между 0 и 1,0 и может быть свободно изменено пользователем. Соответственно, значение, ранее заданное равным 0,5, необязательно ограничено этим.
Этап S35 включает LPC-анализ дифференциального PCM-сигнала с помощью предварительно определенного порядка, чтобы вычислять LPC-коэффициенты и разностный сигнал. Непатентный документ 4 описывает пример LPC-анализа.
Этап S36 заключается в кодировании интерауральных коэффициентов корреляции (ICC), LPC-коэффициента и порядка LPC-анализа, все из которых вычисляются в вышеупомянутом процессе для формирования разделяющей информации понижающего микширования. Дополнительно, когда абсолютное значение интерауральных коэффициентов корреляции (ICC) не меньше предварительно определенного порогового значения P_ICC, только информация ICC должна быть передана в качестве разделяющей информации понижающего микширования. Эти вычисления повторяются столько раз, сколько составляет число комбинаций всех точек передачи (этап S31), чтобы получать ICC и LPC-коэффициенты. Вариант осуществления заключается в выполнении одного цикла. Следует отметить, что этап S31 включает определение того, завершена или нет каждая из вышеописанных операций на этапах S32-S37 для всех без исключения комбинаций точек передачи. Затем, на этапе S31e, когда операции определены как завершенные для всех комбинаций на этапе S31 (этап S31:Y), обработка на фиг.18 (вычисление первого коэффициента разделения понижающего микширования) завершается. Дополнительно, когда операции определены как незавершенные для всех комбинаций на этапе S31 (этап S31:N), операции на этапах S32-S37 инициируются для одной из незавершенных комбинаций.
Фиг.17 является блок-схемой, показывающей вычисление второго коэффициента разделения понижающего микширования в модуле 100 объединения потоков.
Разделяющая информация понижающего микширования также может быть вычислена согласно блок-схеме по фиг.17. Согласно (вышеупомянутому) выражению 3 этап S22 включает вычисление интерауральных коэффициентов корреляции (ICC) PCMS 1 и 2 из PCMS 1 и 2, в которые кодированы сигналы 201 и 204 кодирования с понижающим микшированием (фиг.6) из соответствующих точек 1 и 2. Затем этап S23 включает обнаружение того, больше или меньше абсолютное значение вычисленных интерауральных коэффициентов корреляции (ICC), чем предварительно определенное пороговое значение P_ICC. Когда абсолютное значение меньше чем P_ICC (этап S23: Y), этап S24 включает вычисление интерауральной разности уровней (ILD) из PCM-сигналов 1 и 2 в соответствии с выражением 2. Вычисленные ILD и ICC передаются в качестве разделяющей информации понижающего микширования. Когда абсолютное значение интерауральных коэффициентов корреляции (ICC) не меньше предварительно определенного порогового значения P_ICC (этап S23: N), только информация интерауральных коэффициентов корреляции (ICC) должна быть кодирована и передана (этап S26). Эти вычисления повторяются столько раз, сколько составляет число комбинаций всех точек передачи (этап S21:N), чтобы предоставлять ICC, ILD и LPC-коэффициенты. Когда точка вывода модуля 100 объединения потоков является точкой 3 в варианте осуществления, ICC и ILD вычисляются для комбинации точек 1 и 2. Аналогично, когда точка вывода - это точка 1, вышеописанные ICC, ILD и LPC вычисляются для сигналов понижающего микширования точек 2 и 3. Вышеприведенные вычисления описывают случай, имеющий три точки. Тем не менее, число точек необязательно ограничено тремя. Вычисления применимы к случаю, когда имеется три или более точек.
Следует отметить, что этап S21 включает определение того, завершена или нет каждая из вышеописанных операций на этапах S21-S26 для всех без исключения комбинаций точек передачи. Затем, на этапе S21e, когда операции определены как завершенные для всех комбинаций на этапе S21 (этап S21:Y), обработка на фиг.17 (вычисление второго коэффициента разделения понижающего микширования) завершается. Дополнительно, на этапе S21, когда операции определены как незавершенные для всех комбинаций (этап S21:N), операции на этапах S22-S26 инициируются для одной из незавершенных комбинаций.
Фиг.19 иллюстрирует структуру разделяющей информации понижающего микширования (DMX-разделение).
Исходная позиция разделяющей информации понижающего микширования - это область, показывающая, что последующей информацией является разделяющая информация понижающего микширования, которая идентифицирует последующую информацию как разделяющую информацию понижающего микширования или расширенную информацию для каждой из точек. После области разделяющая информация понижающего микширования хранит информацию длины кода DMX-разделения, указывающую число байтов, которые имеет вся разделяющая информация понижающего микширования. После информации о длине разделяющая информация понижающего микширования сохраняет число интерауральных коэффициентов корреляции (ICC). Это число соответствует числу комбинаций всех точек передачи, описанных выше. Разделяющая информация понижающего микширования также хранит число фрагментов информации о разности уровня (ILD) между каналами и значение каждого из фрагментов ILD. После числа фрагментов и значения ILD разделяющая информация понижающего микширования хранит порядок LPC-анализа, полученный посредством LPC-анализа, и каждый из LPC-коэффициентов. После информации о DMX-разделении (разделяющей информации понижающего микширования) следует расширенная информация для разделения каждой из точек и сигналов. В случае по фиг.19 каждый фрагмент расширенной информации (расширенной информации 1402 и расширенной информации 1403) предоставляется в разделяющую информацию понижающего микширования, как показано на фиг.15. Таким образом, в начальной точке разделяющая информация понижающего микширования включает в себя в качестве расширения 6 идентификационный код того, какая расширенная информация является сигналом, отделяющим "точку 2 и сигнал 6". После идентификационного кода информация расщепленного дерева, показанная на фиг.20, хранится, за которой следуют расширенные коэффициенты для разделяющих схем C и E (ICC-коэффициент и ILD-коэффициент).
Как описано выше, переключение содержимого разделяющей информации понижающего микширования согласно варьирующемуся абсолютному значению интерауральных коэффициентов корреляции (ICC) является эффективным для уменьшения объема вычислений, требуемого для вычисления разделяющей информации понижающего микширования в MCU.
Следует отметить, что данный вариант осуществления иллюстрирует метод MPEG-AAC в качестве сигнала понижающего микширования. Когда сигнал понижающего микширования использует метод кодирования с анализом LPC, потоки могут быть объединены посредством арифметического сложения и обработки линейной интерполяции с использованием LSP-коэффициентов, полученных как результат LPC-анализа при вычислении вышеупомянутой разделяющей информации понижающего микширования. Другими словами, это означает, что разделяющая информация понижающего микширования может быть вычислена в состоянии потока битов, который обычно не применяет кодирование с большой нагрузкой и таким образом делает возможным простое получение разделяющей информации понижающего микширования. Метод TwinVQ, описанный в непатентном документе 5, иллюстрирует метод использования LPC-анализа для кодирования.
Традиционный метод вообще не назначает разделяющую информацию понижающего микширования потоку. В дополнение к типичным параметрам разделения сигналов (интерауральная разность уровней (ILD) и интерауральные коэффициенты корреляции (ICC)) модуль 100 объединения потоков в настоящем изобретении дополнительно передает LPC-коэффициент дифференциального PCM.
Здесь LPC-анализ предоставляется в дифференциальный PCM вместо PCMS 1 и 2, поскольку это делает возможным сжатие динамического диапазона акустического сигнала. Это дает в результате реализацию схемной структуры, исключающей потребность в широком динамическом диапазоне для модуля декодирования, что выгодно для уменьшения затрат схемы. Разумеется, предоставление LPC-анализа для дифференциального PCM способствует повышению производительности для разделения сигнала понижающего микширования. Разделяющая информация 208 понижающего микширования (фиг.5) вычисляется и кодируется между PCMS 1 и 2. Дополнительно, понижающее микширование кодированных сигналов понижающего микширования в точках 1 и 2, возможно имеющих полностью различные акустические характеристики, исключает акустические характеристики, которые первоначально имели кодированные сигналы понижающего микширования. Исключенные акустические характеристики не могут быть восстановлены посредством расширения сигналов с исключенными акустическими характеристиками. Следовательно, формирование расширенной информации кодированного сигнала понижающего микширования, как описано выше, является существенным для того, чтобы сохранять акустические характеристики без увеличения объема информации, насколько это возможно.
Кодированный сигнал 207 понижающего микширования (фиг.5 и 6) и разделяющая информация 208 понижающего микширования (фиг.5), которые получены выше, и расширенная информация 202, 203, 204 и 205, все из которых включены в кодированную информацию 101 и 102 (фиг.5), мультиплексируются посредством схемы 106 мультиплексирования (фиг.4) и передаются в точку 3 в качестве кодированной информации 107 посредством модуля I2 вывода (фиг.4).
Далее будет описан модуль декодирования, принимающий кодированный сигнал понижающего микширования и расширенную информацию. Модуль A декодирования (фиг.5) сначала разделяет сигнал понижающего микширования и расширенный сигнал, а затем декодирует кодированный сигнал понижающего микширования по предварительно определенной схеме кодирования. Следует отметить, что процесс, описанный в непатентном документе 2, принимается, когда используется метод MPEG-AAC. На основании декодированного PCM-сигнала, полученного в результате декодирования, и вышеупомянутой отделенной расширенной информации декодируется множество независимых акустических сигналов. Фиг.7 и 8 показывают пример схемы декодирования.
Следует отметить, что модуль A декодирования является, например, функциональным блоком функции, реализованной в точке 3. Более конкретно, например, модуль A декодирования является функциональным блоком функции, которая должна быть реализована посредством компьютера в точке 3, выполняя программное обеспечение, сохраненное в компьютере.
Фиг.7 иллюстрирует модуль A декодирования (фиг.5).
Ссылаясь на точку 1 в качестве примера, модуль A декодирования на фиг.7, включающий в себя разделяющие схемы 603 и 604, подключенные в многоступенчатой группе, принимает сигнал 601 понижающего микширования и расширенный сигнал 602, оба получены как PCM-сигналы. OTT-схема и TTT-схема MPEG-Surround, раскрытые в непатентной ссылке 3, иллюстрируются как разделяющие схемы. Фиг.8 иллюстрирует простую разделяющую схему.
Фиг.8 показывает разделяющую схему 709, включенную в модуль A декодирования.
На основании входного сигнала 701, интерауральной разности уровней (ILD, упоминаемой как разделяющая информация (интерауральная разность уровней) 703 на фиг.8), описанной в выражениях 2 и 3, и интерауральных коэффициентов корреляции (ICC, упоминаемых как разделяющая информация (значение корреляции) 702 на фиг.8) модуль A декодирования сначала инструктирует схеме 704 декорреляции декоррелировать входной сигнал 701. Следует отметить, что схема декоррелятора в непатентном документе 3 выполняет вышеупомянутую операцию. Декорреляция посредством схемы 704 декорреляции не ограничена этим. Непатентная ссылка 6, например, раскрывает метод декоррелирования сигнала, используя алгоритм Левинсона-Дурбина.
Входной сигнал 701 проходит через схему 704 декорреляции и имеет усиление, управляемое посредством схем 705 и 706 управления усилением. После этого получаются разделенные сигналы 707 и 708.
На основании интерауральной разности уровней (ILD) 703 схемы 705 и 706 управления усилением выполняют следующие вычисления:
(Выражение 6) Sig1 = Deco(Input801(n))·Gain(i),
(Выражение 7) Sig2 = Deco(Input801(n))·(1 - Gain(i)),
где оператор Dec обозначает декорреляцию сигнала, а Sig1 и Sig2 обозначают разделенные сигналы 707 и 708 (фиг.8). Последовательность обработки, описанная выше, позволяет декодировать несколько требуемых независимых монофонических или стереофонических сигналов из расширенного кодированного сигнала понижающего микширования.
Следует отметить, что устройство кодирования и модуль декодирования, использующие метод MPEG-Surround, описанный в непатентном документе 3, могут применяться в процессах для того, чтобы вычислять расширенную информацию и декодировать первоначальные независимые сигналы из сигнала понижающего микширования и расширенной информации, оба из которых получены как PCM-сигналы. Метод кодирования, используемый в процессах, не ограничен методом MPEG-Surround. Кроме того, метод кодирования, используемый в процессах, не ограничен методом MPEG-Surround. Разумеется, настоящее изобретение эффективно для метода параметрического многоканального пространственного кодирования (включая метод MP3-Surround), который кодирует и декодирует многоканальный сигнал с помощью сигнала понижающего микширования и расширенной информации.
Фиг.11 показывает схему 104a формирования с понижающим микшированием. Модуль 100 объединения потоков может включать в себя схему 104a формирования с понижающим микшированием.
Выше проиллюстрирован модуль 100 объединения потоков, декодирующий во временном отношении разделенные кодированные сигналы понижающего микширования в PCM-сигналы и микширующий с понижением PCM-сигналы. Ниже следует еще один пример декодирования и понижающего микширования. В методе MPEG-AAC процесс декодирования сигналов понижающего микширования, предоставляемых в схему 104a формирования с понижающим микшированием (фиг.11), описан в непатентном документе 1. Структура декодирования включает в себя декодирование разделенных сигналов понижающего микширования в PCM-сигналы посредством каждого из процессов анализа кодированной информации, обратного квантования и частотно-временного преобразования. После анализа кодированной информации каждый из предоставляемых сигналов 201 и 204 понижающего микширования обратно квантуется (повторно квантуется) посредством связанного модуля 1001 обратного квантования. Подробный процесс, описанный в непатентном документе 1, обобщен ниже. Каждый из модулей 1001 обратного квантования вычисляет спектральную информацию (Spec(n)) следующим образом:
(Выражение 8) Spec(n) = Gain(n)·2^(QuantizeValue(n)·4/3),
где QuantizeValue (n) - квантованное значение, полученное посредством понижающего микширования, а Gain(n) - квантованное усиление кадра.
Выполнение обратного квантования для каждого из предоставляемых сигналов 201 и 204 понижающего микширования получает два фрагмента спектральных данных (Spec201(n) и Spec204(n)). Модуль 104aX сложения суммирует эти фрагменты спектральных данных, используя выражение 9, чтобы получать объединенный спектр Spec(n).
(Выражение 9) Spec(n) = 0,5·Spec201(n) + 0,5·Spec204(n).
Следует отметить, что коэффициент не ограничен 0,5. Любые данные коэффициенты для Spec201(n) и Spec204(n) должны предоставляться до тех пор, пока сохраняется зависимость, аналогичная выражению 7. Объединенный спектр, полученный выше, повторно квантуется посредством модуля 104aY квантования с использованием метода MPEG-AAC. Результатом повторного квантования является сигнал 207 понижающего микширования, включенный в кодированную информацию 107 (фиг.5), предоставляемую из модуля 100 объединения потоков. За обратным квантованием следует выполнение сложения частотной информации посредством средства сложения. Это исключает потребность в частотно-временном преобразовании (включая MDCT-обработку), требуемом для восстановления разделенных кодированных сигналов понижающего микширования в PCM-сигналы, дает возможность модулю 100 объединения потоков исключать ресурсоемкие вычисления и приводит к снижению затрат на изготовление и затрат на проектирование модуля 100 объединения потоков.
Модуль 100 объединения потоков (MCU), реализованный выше, является вариантом осуществления настоящего изобретения и не должен быть ограничен этим. Дополнительно, представленное число фрагментов кодированной информации, предоставляемых посредством модуля 100 объединения потоков, равно двум. Это число, тем не менее, не ограничивается двумя. Могут быть приняты три или более фрагментов кодированной информации.
Ниже приведен пример модификации первого варианта осуществления.
В первом варианте осуществления разделяющая информация понижающего микширования добавляется посредством модуля 100 объединения потоков. Между тем, другой результат может наблюдаться посредством добавления следующей информации.
Фиг.14 иллюстрирует систему 1a.
Фиг.14, например, показывает, что система 1a предписывает модулю 100 объединения потоков прибавлять число входных сигналов в каждой из точек в дополнение к разделяющей информации 208 понижающего микширования (фиг.2). На фиг.14 прибавляется число входных сигналов 3 в точке 1 и число входных сигналов 3 в точке 2. Затем модуль 100 объединения потоков сохраняет прибавленное значение "6" в кодированной информации 107 как число информации 1301 о сигналах. Таким образом, модуль 100 объединения потоков передает кодированную информацию 107 в точку 3. Принимая кодированную информацию 107, модуль декодирования в точке 3 сначала получает число информации 1301 о сигналах в каждой из точек передачи, включенных в кодированную информацию 107. При этом разделение и расширение сигнала 207 понижающего микширования с использованием информации для разделения сигналов в каждой из точек (расширенной информации 202, 203, 205 и 206) не выполняется.
Устройство для декодирования и воспроизведения кодированной информации 107 включает в себя устройство рендеринга, чтобы выполнять различную обработку для декодированных сигналов в зависимости от числа каналов воспроизведения. Устройство рендеринга сортирует декодированные сигналы 1'-5' относительно каждого канала воспроизведения. Случай с пятью декодированными сигналами и двумя каналами воспроизведения иллюстрируется следующим образом:
(Выражение 10) o1 = s1 + 0,5·s2 +1/√2·s3,
o2 = s4 + 0,5·s2 +1/√2·s5,
где декодированные сигналы 1-5 - это s1-s5, а каналы воспроизведения - это o1 и o2 соответственно. Коэффициент, используемый для вышеприведенного вычисления, - это информация рендеринга. В качестве информации рендеринга используется коэффициент понижающего микширования, упоминаемый в стандарте ITU-R BS.775-1. Этот коэффициент рендеринга определяется на основании сортировки сигналов канала воспроизведения посредством модуля декодирования. В вышеупомянутом примере сигналы s1, s2, s3, s4 и s5 представляют сигналы левого переднего, переднего, левого заднего, правого переднего и правого заднего канала соответственно. Эти сигналы канала перенаправляются на передний выходной канал o1 и правый передний выходной канал o2.
В структуре примера модификации информация рендеринга, используемая устройством рендеринга, определяется, когда сумма числа входных сигналов обнаруживается до расширения сигнала 207 понижающего микширования. Это разрешает одновременное декодирование части информации рендеринга и кодированной информации 107 посредством параллельного вычисления, что приводит к значительному снижению величины задержки при обработке сигналов.
Фиг.15 показывает систему 1b.
При объединении для передачи расширенной информации каждой точки модуль 100 объединения потоков в варианте осуществления, как предполагается, конфигурирует фрагменты расширенной информации в порядке приоритета каждой точки и входного сигнала. В случае если входной сигнал 1 точки 1 имеет самый высокий приоритет, а входной сигнал 6 точки 2 имеет второй самый высокий приоритет, например, кодированная информация 107 формируется в порядке расширенной информации 1402 (информации, чтобы отделять сигнал 1 точки 1), за которой следует расширенная информация 1403 (информация, чтобы отделять сигнал 6 точки 2) в соответствии с информацией 1401 приоритета, как показано на фиг.15. Эта конфигурация обеспечивает обработку округления на основании приоритета в случае, если вся кодированная информация 107 не может быть обработана, когда модуль A декодирования декодирует кодированную информацию 107, передаваемую из модуля 100 объединения потоков в точку 3. Другими словами, поскольку кодированная информация 107 включает в себя сигналы и фрагменты расширенной информации, упорядоченной в порядке очередности от исходной позиции, устройство 100 объединения потоков может округлять расширенную информацию 1403, когда устройство обработки декодирования должно выполнять обработку просто до фрагмента расширенной информации, имеющей самый высокий приоритет. Это предоставляет возможность выполнения декодирования только один раз, уменьшая число раз декодирования наполовину от числа раз декодирования по всей кодированной информации, и таким образом приводит к реализации более экономичного устройства обработки декодирования.
Информация 1401 приоритета определяется следующим образом. Сначала модуль 100 объединения потоков обнаруживает, какая точка предоставляет большое количество сигналов (частоту передачи). Затем модуль 100 объединения потоков обнаруживает фрагмент расширенной информации, передаваемой наиболее часто, из расширенных сигналов, включенных в точки, передающие на большой частоте. В другой точке информация приоритета формируется через аналогичный процесс. Таким образом, вычисляются приоритеты всех точек и входных сигналов. Согласно приоритетам модуль 100 объединения потоков переупорядочивает фрагменты расширенной информации. Затем модуль 100 объединения потоков использует порядок фрагментов расположенной по приоритетам расширенной информации, чтобы упорядочивать и передавать фрагменты расширенной информации по порядку.
Фиг.21 является блок-схемой, показывающей процесс вычисления приоритета.
Приоритет также может быть обнаружен посредством другой конфигурации. Как показано на фиг.21, значение ICC каждого входного сигнала разделяется. Когда значение ICC меньше предварительно определенного значения N_ICC, заданного посредством модуля 100 объединения потоков (этап S42:Y), расширенный коэффициент ILD дополнительно выделяется из расширенной информации (этап S43). Таким образом, приоритет задается в соответствии с разделенным расширенным коэффициентом ILD. Другими словами, посредством вычисления каждого из порядковых уровней ILD-коэффициента, включенного в каждый сигнал (этап S44), ILD-коэффициент задается как приоритет каждого сигнала (этап S45). Пока модуль 100 объединения потоков в настоящем изобретении работает, значение N_ICC остается постоянным и равным значению, заданному на начальной фазе. Разумеется, приоритет может быть переменным с прохождением истекшего времени, при необходимости. Переменный приоритет с прохождением истекшего времени делает возможным регулирование точности обнаружения порядка приоритета, которое может реализовать первоначальный модуль объединения потоков, который является достаточно гибким для того, чтобы регулировать приоритет.
Ниже будет предоставлено дополнительное описание, добавленное к описанию первого варианта осуществления. Следует отметить, что последующее дополнительное описание не должно налагать какие-либо ограничения на содержимое вышеприведенного описания.
Фиг.5 иллюстрирует структуру системы 1.
На собрании пользователей в каждой из точек система 1 является системой многоточечной телеконференц-связи, передающей акустический сигнал из точки передачи в точку приема и воспроизводящей передаваемый акустический сигнал в точке приема, причем акустический сигнал включается в речь собрания. В частности, система 1 передает несколько акустических сигналов из точки передачи в точку приема, чтобы предписывать точке приема воспроизводить несколько акустических сигналов, чтобы пользователь в точке приема воспринимал реалистичную атмосферу.
Следует отметить, что ниже проиллюстрирована каждая из точек 1 и 2, которые должны быть назначены как точка передачи, и точка 3 как точка приема.
Каждая из точек имеет микрофоны (не показаны) и компьютер. Компьютер формирует кодированную информацию (кодированную информацию 101 и кодированную информацию 102 на фиг.5), задающую несколько акустических сигналов (PCM-сигналов), и передает сформированную кодированную информацию в модуль 100 объединения потоков, при этом несколько акустических сигналов снимаются посредством каждого из микрофонов. Дополнительно, компьютер в каждой из точек принимает из модуля 100 объединения потоков кодированную информацию (кодированную информацию 107 на фиг.5), сформированную посредством модуля 100 объединения потоков, и воспроизводит каждый из акустических сигналов, указанных посредством принимаемой кодированной информации. При этом кодированная информация 107 формируется в соответствии с кодированной информацией (кодированной информацией 101 и кодированной информацией 102 на фиг.5), передаваемой от точки, отличной от точки приема, в модуль 100 объединения потоков.
Фиг.4 показывает структуру модуля 100 объединения потоков.
Модуль 100 объединения потоков включает в себя несколько разделяющих схем 103, схему 104 формирования с понижающим микшированием, схему 105 вычисления расширенной информации и схему 106 мультиплексирования.
Как каждая из кодированной информации 101, кодированной информации 102 и кодированной информации 107 показывает, кодированная информация включает в себя DMX-сигнал (кодированный сигнал понижающего микширования) и расширенную информацию. Следует отметить, что DMX-сигнал в кодированной информации 101, показанной на фиг.4, является DMX-сигналом 201, и расширенная информация включает в себя всю расширенную информацию 202 и расширенную информацию 203. Дополнительно, DMX-сигнал в кодированной информации 102 является DMX-сигналом 204, и расширенная информация включает в себя расширенную информацию 205 и расширенную информацию 206. Кроме того, DMX-сигнал в кодированной информации 107 является DMX-сигналом 207, и расширенная информация включает в себя разделяющую информацию 208 понижающего микширования, расширенную информацию 203, расширенную информацию 202, расширенную информацию 205 и расширенную информацию 206.
Расширенная информация указывает характеристики нескольких акустических сигналов кодированной информации, в которую включена расширенная информация. В частности, расширенная информация указывает интерауральную разность уровней (ILD) и интерауральные коэффициенты корреляции (ICC) для нескольких акустических сигналов. Более конкретно, расширенная информация включает в себя квантованные и кодированные по методу Хаффмана обработанные данные относительно интерауральной разности уровней (ILD) и интерауральных коэффициентов корреляции (ICC) акустических сигналов. Таким образом, расширенная информация включает в себя вышеупомянутые обработанные данные, чтобы указывать предварительно обработанную интерауральную разность уровней (ILD) и интерауральные коэффициенты корреляции (ICC), которые вычисляются из обработанных данных. Расширенная информация пользуется преимуществом конфигурации данных обработанных данных для того, чтобы сохранять интерауральную разность уровней (ILD) и интерауральные коэффициенты корреляции (ICC). Другими словами, расширенная информация имеет конфигурацию данных, сформированную в вышеупомянутых обработанных данных, в качестве физической конфигурации данных. Расширенная информация также включает в себя конфигурацию данных интерауральной разности уровней (ILD) и интерауральных коэффициентов корреляции (ICC) в качестве логической конфигурации данных, которая должна быть сохранена вследствие физической конфигурации данных.
DMX-сигнал включается в кодированную информацию, указывающую несколько акустических сигналов. Акустические сигналы микшируются с понижением так, чтобы быть PCM-сигналом понижающего микширования, и PCM-сигнал понижающего микширования кодируется так, чтобы быть DMX-сигналом.
Множество разделяющих схем 103 разделяет соответствующий DMX-сигнал и расширенную информацию из связанного фрагмента кодированной информации (кодированной информации 101 и кодированной информации 102), передаваемой из нескольких точек передачи (точки 1 и 2 на фиг.5) в модуль 100 объединения потоков.
Кодированная информация, которая должна быть передана из точки передачи и принята посредством модуля 100 объединения потоков (кодированная информация 101 и кодированная информация 102), упоминается как кодированная информация, которая должна быть принята. Кодированная информация, передаваемая посредством модуля 100 объединения потоков и принимаемая в точке приема (кодированная информация 107), упоминается как кодированная информация, которая должна быть передана.
В частности, каждая из множества разделяющих схем 103 разделяет соответствующий фрагмент кодированной информации.
Следует отметить, что каждая из множества разделяющих схем 103 является функциональным блоком функции, реализованной в модуле 100 объединения потоков, например, посредством программного обеспечения. Эти функциональные блоки могут работать, например, параллельно друг другу.
Схема 104 формирования с понижающим микшированием и схема 105 вычисления расширенной информации формирует DMX-сигнал 207 и разделяющую информацию 208 понижающего микширования в кодированной информации 107 (фиг.4 и 5), которая должна быть передана в точку приема (точку 3 на фиг.5) в соответствии с каждым из DMX-сигналов (DMX-сигналами 201 и 204: фиг.4) и каждым фрагментом расширенной информации, отделенным посредством нескольких разделяющих схем 103.
Фиг.6 иллюстрирует структуру схемы 104 формирования с понижающим микшированием (фиг.4). Следует отметить, что структура, показанная на фиг.6, является примерной. Схема 104 формирования с понижающим микшированием и схема 105 вычисления расширенной информации, имеющая вышеупомянутую функцию, может быть в структуре, которая не включает в любую или некоторую часть структуры на фиг.6.
Схема 104 формирования с понижающим микшированием включает в себя множество схем декодирования (схемы 501 и 502 декодирования), схему 503 понижающего микширования и схему 504 кодирования.
Каждая из множества схем декодирования (каждая из схем 501 декодирования и т.п.: фиг.6) декодирует соответствующий DMX-сигнал (DMX-сигналы 201 и 204: фиг.6 и 5) в PCM-сигнал понижающего микширования, DMX-сигнал, который выделяется из кодированной информации связанной точки передачи (точки 1 и 2 на фиг.5).
Затем схема 105 вычисления расширенной информации (фиг.4) вычисляет разделяющую информацию 208 понижающего микширования (фиг.5) на основании декодированных PCM-сигналов, каждый из которых исходит из соответствующей точки передачи.
Далее схема 503 понижающего микширования (фиг.6) использует разделяющую информацию 208 понижающего микширования, вычисленную посредством схемы 105 вычисления расширенной информации, для того чтобы: микшировать с понижением каждый из PCM-сигналов понижающего микширования, который исходит из соответствующей точки передачи и декодируется посредством связанной схемы декодирования (схемы 501 декодирования и т.п.); и формировать PCM-сигнал понижающего микширования.
Таким образом, схема 504 кодирования кодирует сформированный PCM-сигнал понижающего микширования для того, чтобы предоставлять DMX-сигнал 207 (см. фиг.5).
Схема 106 мультиплексирования (фиг.4) формирует кодированную информацию 107 (фиг.4 и 5) на основании DMX-сигнала 207, сформированного посредством схемы 104 формирования с понижающим микшированием, и разделяющую информацию 208 понижающего микширования, вычисляемую посредством схемы 105 вычисления расширенной информации. В частности, на основании DMX-сигнала 207, разделяющей информации 208 понижающего микширования и фрагментов расширенной информации (расширенной информации 202, расширенной информации 203, расширенной информации 205 и расширенной информации 206 на фиг.5), которые исходят из каждой из точек передачи (точки 1 и 2 на фиг.5) и разделяются посредством множества разделяющих схем 103, схема 106 мультиплексирования формирует кодированную информацию 107, включающую в себя DMX-сигнал 207, разделяющую информацию 208 понижающего микширования и фрагменты расширенной информации из каждой из точек передачи.
Между тем, точка приема (точка 3) имеет модуль декодирования (модуль A декодирования: фиг.5), декодирующий кодированную информацию 107, передаваемую в точку приема посредством модуля 100 объединения потоков, чтобы формировать каждый из акустических сигналов (PCM-сигналов), указанных посредством кодированной информации 107.
Модуль A декодирования декодирует кодированную информацию 107 (фиг.5 и 4), передаваемую из модуля 100 объединения потоков в компьютер в точке 3. Модуль A декодирования декодирует кодированную информацию 107, чтобы формировать DMX-сигналы (DMX-сигналы 201 и 204 на фиг.5) из каждой из точек передачи (точки 1 и 2) и фрагменты расширенной информации (расширенную информацию 202, расширенную информацию 203, расширенную информацию 205 и расширенную информацию 206). Модуль A декодирования использует каждый фрагмент сформированной информации для того, чтобы формировать каждый из акустических сигналов в связанной передаче, указывать и воспроизводить каждый из сформированных акустических сигналов.
Фиг.8 иллюстрирует разделяющую схему 709, включенную в модуль A декодирования.
Из входного сигнала 701, значения 702 корреляции и интерауральной разности уровней (ILD) 703 разделяющая схема 709 формирует разделенные сигналы 707 и 708, разделенные из входного сигнала 701.
Входной сигнал 701 является, например, DMX-сигналом 207, включенным в кодированную информацию 107, которую модуль 100 объединения потоков передает в точку 3. Кроме того, входной сигнал 701 является, например, кодированной информацией, полученной из DMX-сигнала 207 через декодирование (декодирование с понижающим микшированием) более одного раза с использованием разделяющей информации (включающей в себя разделяющую информацию 208 понижающего микширования (фиг.5) и расширенную информацию 202 (фиг.5)).
Значение 702 корреляции является интерауральным коэффициентом корреляции (ICC) расширенной информации для декодирования входного сигнала 701.
Интерауральная разность уровней (ILD) 703 является интерауральной разностью уровней (ILD) расширенной информации для декодирования входного сигнала 701.
Разделяющая схема 709 включает в себя схему 704 декорреляции и схемы 705 и 706 управления усилением.
Схема 704 декорреляции декоррелирует входной сигнал 701 с использованием значения 702 корреляции, чтобы формировать два или более декоррелированных промежуточных сигнала.
Каждая схема 705 и 706 управления усилением использует интерауральную разность уровней (ILD) 703 для того, чтобы регулировать усиление каждого из сформированных промежуточных сигналов. Схемы 705 и 706 управления усилением выполняют регулирование, чтобы формировать разделенные сигналы 707 и 708, которые разделяются из входного сигнала 701.
Фиг.7 иллюстрирует структуру модуля A декодирования.
Модуль A декодирования включает в себя разделяющие схемы 603 и 604. Разделяющая схема 709 на фиг.8 является примером разделяющих схем 603 и 604.
Разделяющие схемы 603 и 604 выполняют декодирование кодированной информации более одного раза, чтобы декодировать DMX-сигнал каждой точки передачи (DMX-сигналы 201 и 204) из DMX-сигнала 601 в кодированной информации 107 (фиг.5), принимаемой в точке приема (точка 3). Соответственно, несколько акустических сигналов, снятых в каждой точке, декодируются.
Система 1 может быть структурирована так, как показано на фиг.22.
Фиг.22 иллюстрирует процесс модуля 100 объединения потоков, передающего кодированную информацию в каждую из точек 1-3.
Фиг.22 показывает, что каждый из функциональных блоков в модуле 100 объединения потоков (фиг.4) выполняет следующую операцию.
Модуль I1 ввода (фиг.4) предоставляет фрагмент кодированной информации (не показан) из точек 1-3 в модуль 100 объединения потоков. Следует отметить, что кодированная информация, предоставляемая из точки n (n = 1, 2 и 3), упоминается как вводимая кодированная информация точки n. Кроме того, DMX-сигнал, включенный во вводимую кодированную информацию точки n, упоминается как вводимый DMX-сигнал точки n. Кроме того, расширенная информация, включенная во вводимую кодированную информацию точки n, упоминается как вводимая расширенная информация точки n.
Модуль I2 вывода выводит фрагменты кодированной информации (кодированную информацию, которая должна быть выведена 107a, кодированную информацию, которая должна быть выведена 107b, и кодированную информацию, которая должна быть выведена 107c: фиг.22) в каждую из точек 1-3. Кодированная информация, которая должна быть выведена в точку n, упоминается как кодированная информация, которая должна быть выведена в точку n.
Каждая кодированная информация, которая должна быть выведена 107a-107c, включает в себя общий выходной DMX-сигнал 207x в качестве DMX-сигнала, включенного в каждую кодированную информацию, которая должна быть выведена. Другими словами, любое содержимое DMX-сигнала, включенного в кодированную информацию, которая должна быть выведена 107a-107c, является общим DMX-сигналом 207x вывода и является одинаковым друг для друга. Затем каждая кодированная информация, которая должна быть выведена 107a-107c, включает в себя в качестве расширенной информации расширенную информацию, которая должна быть выведена H1, расширенную информацию, которая должна быть выведена H2, и расширенную информацию, которая должна быть выведена H3, соответственно. Фрагменты расширенной информации, которая должна быть выведена H1-H3, в каждой из точек являются отличными друг от друга. Общий выводимый DMX-сигнал 207x является DMX-сигналом со связанным вводимым декодируемым DMX-сигналом в точках 1-3. Другими словами, общий выходной DMX-сигнал 207x декодируется на три вводимых DMX-сигнала; а именно вводимые DMX-сигналы в точках 1-3.
Затем расширенная информация, которая должна быть выведена H1, в точке 1 должна быть описана из каждого из фрагментов расширенной информации, которая должна быть выведена (расширенной информации, которая должна быть выведена Н1-Н3).
Кодированная информация, которая должна быть выведена 107а, направляемая в точку 1, включает в себя в качестве разделяющей информации понижающего микширования разделяющую информацию Н11 понижающего микширования для отделения точки, чтобы декодировать каждый из вводимых DMX-сигналов в связанной точке (точки 2 и 3), отличной от точки 1, целевой точки. Дополнительно, кодированная информация, которая должна быть выведена 107а, перенаправляемая в точку 1, включает в себя вводимую расширенную информацию точки 2 и вводимую расширенную информацию точки 3. Другими словами, кодированная информация, которая должна быть выведена 107а, включает в себя каждый фрагмент вводимой расширенной информации в другой связанной точке (точке 2 и 3). Следовательно, расширенная информация, которая должна быть выведена H1, является расширенной информацией для декодирования акустических сигналов других связанных точек (точек 2 и 3) из общих выводимых DMX-сигналов 207х.
Следует отметить, что фрагменты расширенной информации, которая должна быть выведена (расширенная информация, которая должна быть выведена Н1-Н3), включенные в кодированную информацию, которая должна быть выведена, точки n, упоминаются как расширенная информация, которая должна быть выведена, точки n.
Каждый фрагмент от расширенной информации, которая должна быть выведена H1, точки 1, до расширенной информации, которая должна быть выведена H3, точки 3, имеет конфигурацию, аналогичную вышеописанной расширенной информации, которая должна быть выведена H1, точки 1.
Другими словами, каждый из фрагментов расширенной информации, которая должна быть выведена, точек 1-3 (например, расширенная информация, которая должна быть выведена H1), включает в себя: вводимую расширенную информацию (например, вводимую расширенную информацию точки 2 и вводимую расширенную информацию точки 3) от каждой из точек (точек 2 и 3, например), отличных от точки расширенной информации, которая должна быть выведена (точки 1, например); и разделяющую информацию понижающего микширования (например, разделяющую информацию H11 понижающего микширования) для декодирования акустического сигнала каждой из других точек (точек 2 и 3, например) из общего DMX-сигнала 207x.
Модуль I3 формирования кодированной информации, которая должна быть выведена (фиг.4), формирует каждый фрагмент кодированной информации, которая должна быть выведена (кодированную информацию, которая должна быть выведена 107a-107c), для точек 1-3 на основании связанного фрагмента вводимой кодированной информации, принимаемой посредством модуля 100 объединения потоков.
В частности, схема 104 формирования с понижающим микшированием в модуле I3 формирования кодированной информации, которая должна быть выведена, формирует общий выходной DMX-сигнал 207x. Помимо этого схема 105 вычисления расширенной информации формирует расширенную информацию, которая должна быть выведена H1-H3. Далее схема 106 мультиплексирования формирует фрагменты кодированной информации, которая должна быть выведена (кодированную информацию, которая должна быть выведена 107a-107c), для каждой из точек на основании сформированного общего выходного DMX-сигнала 207x и фрагменты расширенной информации, которая должна быть выведена H1-H3.
Модуль I2 вывода (фиг.4) выводит каждый из сформированных фрагментов кодированной информации, которая должна быть выведена (кодированную информацию, которая должна быть выведена 107a-107c), для связанной точки для кодированной информации, которая должна быть выведена.
Как описано выше, модуль объединения потоков (модуль 100 объединения потоков) включает в себя модуль I1 ввода, модуль I3 формирования кодированной информации, которая должна быть выведена, и модуль I2 вывода. Здесь модуль I1 ввода вводит два или более кодированных сигнала (вводимую кодированную информацию), включающих в себя: первый акустический сигнал понижающего микширования (вводимый DMX-сигнал) с кодированным акустическим сигналом, причем этот акустический сигнал имеет два или более микшированных с понижением звуковых сигнала; и расширенный сигнал (вводимую расширенную информацию) для получения двух или более звуковых сигналов из первого акустического сигнала понижающего микширования. Модуль I3 формирования кодированной информации, которая должна быть выведена, формирует: второй акустический сигнал понижающего микширования (общий выводимый DMX-сигнал 207x) для получения каждого из первых акустических сигналов понижающего микширования и расширенный сигнал (разделяющую информацию H11 понижающего микширования) для получения каждого из первых акустических сигналов понижающего микширования (вводимых DMX-сигналов в точках 1 и 2) из второго акустического сигнала понижающего микширования на основании каждого из кодированных сигналов (например, вводимой кодированной информации в точке 1 и вводимой кодированной информации в точке 2), вводимого посредством модуля I2 ввода; и кодированный сигнал (кодированную информацию, которая должна быть выведена 107a, чтобы быть предоставленной в точку 1), включающий в себя сформированный второй акустический сигнал понижающего микширования (общий выводимый DMX-сигнал 207x), сформированный расширенный сигнал (разделяющую информацию H11 понижающего микширования) и каждый из расширенных сигналов (расширенную информацию H12), включенных во вводимый связанный кодированный сигнал. Модуль I12 вывода выводит сформированный кодированный сигнал.
В модуле объединения потоков (модуль 100 объединения потоков) модуль I1 ввода вводит кодированные сигналы (вводимую кодированную информацию) из связанных предварительно определенных назначений ввода-вывода (точек 1-3), модуль I2 вывода выводит кодированные сигналы (кодированную информацию, которая должна быть выведена) в связанное назначение ввода-вывода, а модуль I3 формирования кодированной информации, которая должна быть выведена, формирует один из каждых вторых акустических сигналов понижающего микширования, описанных выше (общий выводимый DMX-сигнал 207x), и столько расширенных сигналов (расширенную информацию, которая должна быть выведена H1, расширенную информацию, которая должна быть выведена H2, и расширенную информацию, которая должна быть выведена H3), сколько составляет число назначений ввода-вывода. Сформированный второй акустический сигнал понижающего микширования является акустическим сигналом понижающего микширования для получения каждого из вторых акустических сигналов понижающего микширования (каждого из вводимых DMX-сигналов), включенных в связанный кодированный сигнал, вводимый из соответствующего назначения ввода-вывода. Каждый сформированный расширенный сигнал (например, расширенная информация H1): соответствует связанному назначению ввода-вывода (например, точке 1), которые отличаются друг от друга; и включает в себя только расширенный сигнал (каждый фрагмент вводимой расширенной информации из точек 2 и 3) назначений ввода-вывода (точек 2 и 3), отличных от соответствующего назначения ввода-вывода (точки 1). Модуль I2 вывода выводит каждый из кодированных сигналов, сформированных посредством кодированной информации, которая должна быть выведена I3, в назначение ввода-вывода (точку 1), которому соответствует расширенный сигнал (например, расширенная информация, которая должна быть выведена H1), включенный в кодированный сигнал.
В таком случае расширенный сигнал (например, вся расширенная информация 202 и расширенная информация 203 на фиг.5) включает в себя несколько частей расширенного сигнала (каждый фрагмент расширенной информации 202 и расширенной информации 203). В модуле 100 объединения потоков звуковой сигнал (сигнал 3) получается из кодированного сигнала (кодированной информации 101) с использованием некоторых частей расширенного сигнала (расширенной информации 202), соответствующих звуковому сигналу (например, сигналу 3 в точке 1) из нескольких частей расширенного сигнала.
Схема 104 формирования с понижающим микшированием и схема 105 вычисления расширенной информации может обрабатывать, с предварительно определенными интервалами, такими как 40 миллисекунд, интервальные части во вводимой кодированной информации. Микрофоны в точке 1 могут снимать акустические сигналы от различных друг для друга пользователей. Число пользователей, посещающих собрание, может варьироваться, так что число снятых акустических сигналов может изменяться. Число акустических сигналов может варьироваться, акустические сигналы, которые кодированная информация (кодированная информация 101) перенаправляла в модуль 100 объединения потоков, микшируются с понижением.
(Второй вариант осуществления)
Фиг.9 показывает систему 1c, включающую в себя несколько точек, устанавливающих соединения друг с другом через модуль 100 объединения потоков, описанный в первом варианте осуществления.
В точке 1 расширенная информация 802 включает в себя сигналы 1 и 2, а расширенный сигнал 803 включает в себя сигнал понижающего микширования, к которому микшируются с понижением сигналы 1 и 2, и сигнал 3. Подробности описаны в первом варианте осуществления. Аналогично, в точке 2 расширенная информация 805 вычисляется из сигналов 4 и 5, расширенная информация 806 - из сигналов 6 и 7, а расширенная информация 807 - из сигнала понижающего микширования, в который микшируются с понижением сигналы 4 и 5, и сигнала понижающего микширования, к которому микшируются с понижением сигналы 6 и 7. Расширенная информация аналогична коэффициенту OTT-схемы в методе MPEG-Surround. В каждой из точек помимо этого кодированные сигналы 801 и 804 понижающего микширования с вводимыми сигналами, микшированными с понижением и кодированными в формате MPEG-AAC, формируются, чтобы передаваться в модуль 100 объединения потоков, описанный в первом варианте осуществления, через сеть.
Модуль 100 объединения потоков предоставляет для кодированной информации обработку, описанную в первом варианте осуществления, и передает кодированную информацию в точку 3 через сеть.
Здесь, как и расширенная информация в кодированной информации 107, передаваемой в точку 3, информация назначается, чтобы показывать, из какой точки была передана кодированная информация. Традиционный метод не передает информацию по точке и, таким образом, не может управлять, чтобы отдельно воспроизводить точки 1 и 2 при воспроизведении в точке 3. Тем не менее, второй вариант осуществления кодирует так, чтобы перенаправлять информацию в точку 3, указывая, из какой точки кодированная информация передается как кодированная информация, показанная во втором варианте осуществления. Это делает возможным управление, чтобы отдельно воспроизводить точки 1 и 2 при декодировании в точке 3. Воспроизведение голоса каждого из акустических сигналов в точке 1 в левом динамике и голоса каждого из акустических сигналов в точке 2 в правом динамике обеспечивает реалистичное воспроизведение, которое упрощает связь между каждой из точек.
Фиг.10 иллюстрирует строку кода в принимаемой кодированной информации 107.
Фиг.10 показывает пример, когда кодированная информация 107 включает в себя информацию 908 о точке. Кодированная информация 107 на фиг.10 включает информацию 908 о точке в расширенную информацию 904.
Во-первых, информация назначается начальной точке кодированной информации 107, чтобы показывать следующую расширенную информацию. Информация - это информация 901 дерева на фиг.10. Расширенная информация, для отделения сигнала понижающего микширования, передает информацию о том, как разделение выполняется в случае, когда найдено несколько сигналов понижающего микширования. На фиг.9, например, расширенный сигнал 802 передает информацию, чтобы определять то, какой сигнал отделяется для предоставления какому каналу, поскольку расширенный сигнал 802 хранит интерауральную разность уровней (ILD) и интерауральные коэффициенты корреляции (ICC). Как показано на фиг.9, сигнал 1 формируется посредством: разделения DMX-сигнала 808 и DMX-разделения (разделяющей информации понижающего микширования) 809, чтобы предоставлять первый канал; разделения предоставляемого первого канала с использованием расширенной информации 803, чтобы предоставлять первый канал; и затем разделения предоставляемого первого канала с использованием расширенной информации 802, чтобы предоставлять первый канал как сигнал 1. Аналогично, сигнал 2 формируется посредством: разделения DMX-сигнала 808 и DMX-разделения (разделяющей информации понижающего микширования) 809, чтобы предоставлять первый канал; разделения предоставляемого первого канала с использованием расширенной информации 803, чтобы предоставлять первый канал; и затем разделения предоставляемого первого канала с использованием расширенной информации 802, чтобы предоставлять второй канал как сигнал 2. Сигнал 3 формируется посредством разделения DMX-сигнала 808 и DMX-разделения (разделяющей информации понижающего микширования) 809, чтобы предоставлять первый канал, и затем разделения предоставляемого первого канала с использованием расширенной информации, чтобы предоставлять второй канал как сигнал 3. Как описано выше, расширенный сигнал 802 передает информацию о сигнале, устанавливающем связь с конкретной разделяющей схемой и перенаправляемом на конкретный канал.
Например, расширенная информация 904 включает в себя информацию 907 определения, чтобы идентифицировать расширенную информацию 904 либо как расширенную информацию для разделения кодированного сигнала понижающего микширования, либо как расширенную информацию для разделения сигналов на основании точек. Здесь расширенная информация 904, разделяющая сигналы на основании точек (разделяющая сигналы 1 и 2), хранит информацию по "разделению на точечной основе". Помимо вышеупомянутого, расширенная информация 904 включает в себя: информацию 908 о точке, указывающую то, из какой точки каждый фрагмент расширенной информации передается (здесь указывающую точку 1); и расширенную информацию 909 для разделения сигналов 1 и 2, таких как интерауральная разность уровней (ILD) и интерауральные коэффициенты корреляции (ICC). Аналогично, расширенная информация 905 включает в себя расширенную информацию, указывающую: информацию в разделении на основании точек; информацию о точке 1; и расширенную информацию для разделения сигнала 3 и сигнала понижающего микширования, к которому микшируются с понижением сигналы 1 и 2.
Сигнал DMX-разделения (разделяющая информация понижающего микширования) 903 включает в себя информацию, указывающую, что расширенная информация служит для разделения кодированного сигнала понижающего микширования, и расширенную информацию для разделения сигналов понижающего микширования точек 1 и 2.
Дополнительно, нижняя половина фиг.10 показывает конфигурацию информации 901 дерева (фиг.10).
Помимо вышеупомянутых сигналов, информация 901 дерева, указывающая соединения разделяющей схемы, назначается кодированной информации 107, которая должна быть передана. Фиг.10 показывает подробности. Во-первых, общее число сигналов 909 сохраняется в информации 901 дерева. Фиг.9 показывает то, что точка 3 принимает семь сигналов; а именно сигналы 1-7, и таким образом число сигналов 909 сохраняется как "7". Далее, информация 901 дерева имеет максимальную глубину 910 дерева, чтобы показывать "глубину" разделяющих схем. Фиг.9 показывает точку 3, устанавливающую трехстадийное соединение между разделяющими схемами. Таким образом, максимальная глубина 910 дерева сохраняет "3" в качестве информации о глубине. В таком случае информация 901 дерева содержит информацию по действиям выходных каналов для разделения сигнала 1 как коэффициента 911 дерева для сигнала 1. Чтобы разделять сигнал 1, DMX-сигнал 808 и DMX-разделение (разделяющая информация понижающего микширования) 809 разделяются с тем, чтобы предоставлять первый канал, и предоставляемый первый канал дополнительно разделяется посредством расширенной информации 803, чтобы предоставлять первый канал, и предоставляемый первый канал дополнительно разделяется с использованием расширенной информации 802, чтобы предоставлять первый канал. Таким образом, хранится коэффициент, имеющий нули с тремя цифрами. Аналогично, каналы предваряются от первого канала через первый канал ко второму каналу, чтобы разделять сигнал 2. Таким образом, "001" хранится как коэффициент 912 дерева для сигнала 2. В случае сигнала 3 каналы идут от первого канала ко второму каналу (завершаясь там). Таким образом, информация, указывающая "01" и конец, хранится как коэффициент 913 дерева.
Сохранение информации дерева так, как описано выше, делает возможным простое определение числа разделяющих схем (OTT-схема в MPEG-Surround) в соответствии с числом разделений на основании требуемого результата декодирования. Эта конфигурация дает возможность модулю A декодирования прогнозировать объем вычислений на основании информации дерева, разделяющей схемы (OTT-схемы в MPEG-Surround) перед вычислением декодирования, что обеспечивает эффективное распределение ресурсов вычисления, включенных в модуль A декодирования. Как результат, полное распределение ресурсов вычислений может быть спрогнозировано заранее. Таким образом, пиковые значения вычисления могут быть легко диверсифицированы. Диверсификация пиковых значений вычисления означает, что наихудший случай мощности процессора, требуемой для декодирования, может быть предусмотрен заранее, что выгодно при реализации низкочастотного тактового генератора процессора и проектировании энергосберегающей схемы декодирования. Кроме того, распределение ресурсов вычисления повышает повторное использование запоминающего устройства, требуемого для вычисления. Это, возможно, предоставляет положительный результат при реализации LSI декодирования, реализованной так, чтобы экономить память.
Следует отметить, что фиг.10 показана в качестве примера информации 901 дерева. Между тем, порядок числа сигналов 909 и максимальная глубина 910 дерева не должны быть ограничены показанными на фиг.10. Разумеется, информация 901 дерева может быть легко сформирована так, чтобы: отдельно иметь число сигналов 909, различные коэффициенты дерева или информацию глубины 910 дерева; или сохранять комбинацию вышеозначенного, как показывает фиг.10.
Помимо этого вариант осуществления показывает случай передачи числа сигналов и конфигурационной информации дерева как кодированной информации. Между тем, число сигналов и конфигурационная информация дерева могут передаваться отдельно от кодированной информации. Методика отдельной передачи заключается в том, чтобы использовать информацию инициализации, которая должна быть передана и принята, когда точки 1-3 устанавливают соединения, и каждое из устройства кодирования и модуля декодирования устанавливает связь. В случае если число точек и номер каждой точки динамически не изменяются, как информация инициализации, передача числа сигналов и конфигурационной информации дерева при инициализации устройства кодирования и модуля декодирования в каждой точке повышает эффективность кодирования самой кодированной информации по сравнению с передачей числа сигналов и конфигурационной информации дерева, включенных в каждый фрагмент кодированной информации. Это улучшает качество звука при неизменной скорости передачи. В случае если числа сигналов и точек, номер точки и число входных сигналов не передаются как информация инициализации, т.е. в случае если фрагменты информации передаются как кодированная информация на основании кадров, соединительные точки могут быть динамически изменены на основании кадров. Разумеется, число входных сигналов может быть изменено на основании кадров. Следовательно, при использовании настоящего изобретения в системе связи для передачи и приема входных сигналов в каждой точке, назначенной связанным динамикам, чтобы реализовать реалистичную атмосферу, динамики могут быть динамически переключены, и таким образом участники собрания могут быть гибко изменены в зависимости от ситуации.
Дополнительно, каждый из входных сигналов в связанной точке передачи (точках 1 и 2 в варианте осуществления), как описано выше, является сигналом, снимаемым посредством микрофонов. Между тем, расстояние между микрофонами и информация о направлении для каждого микрофона при снятии звуков может быть включена в кодированную информацию, которая должна передаваться как информация о точке. Когда расстояние между каждым из микрофонов и информация о направлении каждого из микрофонов включена в кодированную информацию, модуль декодирования, принимающий кодированную информацию, может опускать обработку декодирования, поскольку сигналы 1 и 3 могут быть перенаправлены как один сигнал, потому что корреляция между сигналами 1 и 3, возможно, становится высокой в случае, если, к примеру, расстояние между микрофоном, снимающим входной сигнал 1, и микрофоном, снимающим входной сигнал 3, является небольшим; а именно в пределах 10 сантиметров. Настоящее изобретение, которое также может быть сформировано так, чтобы экономить электроэнергию, обладает гибкой и преимущественной структурой для системы, в которой важна экономия электроэнергии, например в системе конференц-связи с использованием сотовых телефонов и компактного средства внутренней связи, предоставляющей реалистичную атмосферу.
(Третий вариант осуществления)
Фиг.11 иллюстрирует вышеописанную схему 104a формирования с понижающим микшированием.
Схема 104 формирования с понижающим микшированием структурирована так, как показывает фиг.6 в первом варианте осуществления. Между тем, фиг.11 показывает другой вариант осуществления. Фиг.11 иллюстрирует прием входящих сигналов 201 и 204 понижающего микширования, кодированных согласно традиционному методу стереофонического кодирования, такому как MPEG-AAC и MP3.
В качестве примера ниже описан случай, где сигналы 201 и 204 понижающего микширования кодированы по методу MPEG-AAC. Метод кодирования может быть методом MP3, а также типичным методом сжатия с потерями стереофонического сигнала, включая TwinVQ и MPEG-Layer2, вместо метода MPEG-AAG. Кроме того, метод кодирования может быть методом сжатия без потерь, включая LPCM, MPEG-ALS и MPEG-SLS.
Каждый из сигналов понижающего микширования кодируется по методу MPEG-AAC. Последовательность декодирования описывается в непатентном документе 1. Структура декодирования заключает в себе декодирование разделенных сигналов понижающего микширования в PCM-сигналах через каждый из этапов анализа кодированной информации, обратного квантования и частотно-временного преобразования. Вариант осуществления фокусируется на процессе постквантования, который является важнейшим моментом данного варианта осуществления. После анализа кодированной информации каждый из предоставляемых сигналов 201 и 204 понижающего микширования обратно квантуется (повторно квантуется) посредством связанного модуля 1001 обратного квантования. Подробный процесс, описанный в непатентном документе 1, кратко показан ниже. Процесс использует выражение 8 (см. описание на фиг.11 из первого варианта осуществления), чтобы предоставлять информацию о спектре (Spec(n)). Здесь QuantizeValue (n) - это квантованное значение, полученное посредством понижающего микширования, а Gain(n) - это квантованное усиление кадра.
Обратно квантованные модули выполняют обратное квантование предоставляемых соответствующих сигналов 201 и 204 понижающего микширования, чтобы получать два фрагмента спектральных данных (Spec201(n) и Spec204(n)). Модуль 104aX сложения суммирует эти фрагменты спектральных данных с использованием вышеописанного выражения 9, чтобы получать объединенный спектр Spec(n).
Здесь следует отметить, что коэффициент задан равным 0,5; тем не менее, коэффициент не должен быть ограничен 0,5. Любые данные коэффициенты для Spec201(n) и Spec204(n) должны предоставляться до тех пор, пока сохраняется зависимость, аналогичная выражению 7.
Объединенный спектр, полученный выше, повторно квантуется посредством модуля 104aY квантования с использованием методики MPEG-AAC. Результатом повторного квантования является сигнал 207 понижающего микширования, включенный в кодированную информацию 107, предоставляемую из модуля 100 объединения потоков.
Структура согласно настоящему изобретению выполняет обратное квантование, после которого следует средство сложения, выполняющее сложение частотной информации. Это исключает потребность в частотно-временном преобразовании (включая MDCT-обработку), требуемом для того, чтобы восстанавливать отделенные кодированные сигналы понижающего микширования в PCM-сигналы. Это дает возможность модулю 100 объединения потоков исключать ресурсоемкие вычисления процессора. Другими словами, это позволяет понижать максимальную рабочую частоту процессора и уменьшать размер запоминающего устройства вычисления пропорционально меньшему объему дополнительной обработки, что приводит к эффекту значительного снижения затрат на изготовление и разработку.
Следует отметить, что сигнал понижающего микширования обрабатывается по методу MPEG-AAC в варианте осуществления, но метод не должен ограничиваться этим методом. Также может использоваться MPEG-Layer3 и TwinVQ и любой метод аудиокодирования, использующий частотно-временное преобразование.
(Четвертый вариант осуществления)
Фиг.12 иллюстрирует другой вариант осуществления модуля 100 объединения потоков.
Фиг.12 показывает систему 1d, включающую в себя точки 1, 2 и 3, устанавливающие соединения друг с другом через модуль 100 объединения потоков (модуль многоточечного соединения) настоящего изобретения. Каждая из точек использует микрофон для съема двух или более акустических сигналов для получения многоканального PCM-сигнала. На фиг.12 сигналы 1, 2 и 3 и 4, 5, 6 и 7 снимаются в точках 1 и 2 соответственно. Как описано в первом варианте осуществления, стереофонический или монофонический PCM-сигнал понижающего микширования вычисляется из полученного PCM-сигнала.
Вычисленный стереофонический или монофонический PCM-сигнал понижающего микширования принимает обработку стереофонического или монофонического акустического кодирования. Стереофонический сигнал принимает обработку акустического кодирования по методу MPEG-AAC, описанному в непатентном документе 2. Монофонический сигнал принимает обработку монофонического кодирования G. 726 и MPEG-AAC, как описано в непатентном документе 1. Фиг.12 показывает сигналы, когда каждый из кодированных PCM-сигналов понижающего микширования кодируется как DMX-сигналы 1101 и 1105. Они упоминаются как кодированные сигналы понижающего микширования.
Затем получается сигнал, упоминаемый как расширенный сигнал. Этот сигнал является информацией для декодирования сигналов понижающего микширования (DMX-сигналов 1101 и 1105) в нескольких независимых сигналах. Точка 1 иллюстрирует вычисление расширенного сигнала. Во-первых, интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) извлекаются из входных сигналов (в случае, если сигнал 1 и сигнал 2 являются монофоническими сигналами) на основании кадров так, как показано в первом варианте осуществления.
Вычисленная интерауральная разность уровней (ILD) и интерауральные коэффициенты корреляции (ICC) квантуются и кодируются по методу Хаффмана, чтобы создавать коэффициент A. OTT-схема (схема, формирующая вышеупомянутый расширенный сигнал из двух входных сигналов), используемая для кодирования MPEG-Surround, описанного в непатентной ссылке 3, должна предоставлять подробный процесс вычисления. Следует отметить, что интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) иллюстрируются как расширенная информация; тем не менее, расширенная информация не должна ограничиваться ими. Дополнительно, вышеприведенное вычисление иллюстрирует то, как сформировать расширенную информацию из двух независимых сигналов. При получении расширенной информации из трех сигналов используется другой метод. TTT-схема, используемая для кодирования MPEG-Surround, описанного в непатентном документе 3, представляет подробности метода.
Далее сигналы 1 и 2 микшируются с понижением для преобразования в монофонический сигнал. Интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) вычисляются с использованием выражений 2 и 3 из монофонического сигнала и сигнала 3 и квантуются и кодируются по методу Хаффмана, чтобы создавать коэффициент B. Дерево 209 сигналов в точке 1 на фиг.12 схематично иллюстрирует вышеописанное.
Вышеописанное отличается от аналогичного в первом варианте осуществления тем, что каждый из коэффициентов A и B, вычисленных выше, сохраняется в кодированном потоке следующим образом.
Расширенная информация 1102, полученная посредством умножения коэффициентов A и B, представляет "полную информацию, требуемую для того, чтобы разделять сигнал 1". Аналогично, расширенная информация 1103, полученная посредством умножения коэффициентов A и B, представляет "полную информацию, требуемую для того, чтобы разделять сигнал 2". Расширенная информация 1104 включает в себя только коэффициент B. Аналогично точке 1, точка 2 имеет расширенную информацию 1106, расширенную информацию 1107, расширенную информацию 1108 и расширенную информацию 1109, включающую в себя коэффициенты C и D, коэффициенты C и D, коэффициент C и коэффициент E и коэффициенты C и E соответственно.
Кодированный сигнал понижающего микширования и расширенная информация, полученная выше, объединяются в фрагменты кодированной информации 101 (1114) и 102 (1115) на основании точек, чтобы передаваться из точек передачи (точек 1 и 2) в модуль 100 объединения потоков через тракт связи, такой как Интернет.
Модуль 100 объединения потоков в настоящем изобретении выполняет обработку, аналогичную первому варианту осуществления. В частности, каждая из разделяющих схем 103 (фиг.4) разделяет кодированные сигналы понижающего микширования и расширенную информацию из кодированной информации 101 в точке 1 и кодированной информации 102 в точке 2. При разделении фрагмент информации для различения кодированных сигналов понижающего микширования и фрагментов расширенной информации назначается каждой начальной точке фрагмента расширенной информации. Разделяющая схема 103 выполняет вышеупомянутое разделение в соответствии с фрагментом информации.
Разделенные кодированные сигналы понижающего микширования декодируются во временном отношении в PCM-сигналах, следуя предварительно определенному процессу. Следует отметить, что эта последовательность обработки зависит от используемого метода кодирования, чтобы кодировать сигналы понижающего микширования. В качестве примера метод кодирования в MPEG-AAC означает, что последовательность обработки - это последовательность, описанная в непатентном документе 2. PCM-сигналы, полученные выше, упоминаются как PCM 1 и PCM 2. Декодированные PCM-сигналы дополнительно микшируются с понижением посредством схемы 104 формирования с понижающим микшированием и кодируются согласно предварительно определенному стандарту кодирования (например, стандарту MPEG-AAC), чтобы формировать кодированный сигнал 207 понижающего микширования. Выражение 4 (ссылаясь на фиг.4 в первом варианте осуществления) иллюстрирует процесс понижающего микширования, описанный выше. Этот процесс эквивалентен работе схемы 503 понижающего микширования.
Затем схема 105 вычисления расширенной информации вычисляет расширенную информацию из PCM 1 и PCM 2 в соответствии с вышеописанными выражениями 2 и 3 (см. описание на фиг.5 первого варианта осуществления). Эта вычисленная расширенная информация упоминается как разделяющая информация 208 понижающего микширования. OTT-схема, используемая для метода MPEG-Surround, предоставляет подробный процесс вычисления.
Здесь разделяющая информация 208 понижающего микширования извлекается из PCM 1 и PCM 2 по следующим причинам. Дополнительное понижающее микширование кодированных сигналов понижающего микширования в точках 1 и 2, возможно, имеющих полностью отличные акустические характеристики, исключает характеристики, которые первоначально имели кодированные сигналы понижающего микширования. Исключенные акустические характеристики не могут быть восстановлены несмотря на расширения сигналов с исключенными акустическими характеристиками. Таким образом, кодированная информация с расширенной информацией назначенного кодированного сигнала понижающего микширования сконфигурирована сохранять акустические характеристики без увеличения объема информации, насколько это возможно.
Кодированный сигнал 207 понижающего микширования, как описано выше, разделяющая информация 208 понижающего микширования и расширенная информация 202, 203, 204 и 205, все из которых включены в кодированную информацию 101 и 102, мультиплексируются посредством схемы 106 мультиплексирования и передаются в точку 3 как кодированная информация 107.
Далее будет описан модуль A декодирования, принимающий кодированный сигнал понижающего микширования и расширенную информацию. Модуль A декодирования сначала разделяет сигнал понижающего микширования и расширенный сигнал, а затем декодирует кодированный сигнал понижающего микширования по предварительно определенной схеме декодирования. Принимается процесс, описанный в непатентном документе 2, когда используется метод MPEG-AAC. На основании декодированного PCM-сигнала, полученного посредством декодирования, и вышеупомянутой отделенной расширенной информации декодируются несколько независимых акустических сигналов. Фиг.7 и 8 показывают пример схемы декодирования.
Ссылаясь на точку 3 в качестве примера, модуль A декодирования на фиг.7, включающий в себя разделяющие схемы 603 и 604, подключенные каскадом, принимает сигнал 601 понижающего микширования и расширенный сигнал 602, оба как PCM-сигналы. OTT-схема и TTT-схема MPEG-Surround, раскрытые в непатентном документе 3, иллюстрируются как разделяющая схема. Фиг.8 иллюстрирует простую разделяющую схему.
На основании входного сигнала 701, интерауральной разности уровней (ILD, упоминаемой как разделяющая информация (интерауральная разность уровней) 703 на фиг.8), описанной в выражениях 2 и 3 (см. описание фиг.8 в первом варианте осуществления); и интерауральных коэффициентов корреляции (ICC, упоминаемых как разделяющая информация (значение корреляции) 702 на фиг.8) модуль A декодирования сначала предписывает схеме декорреляции 704 декоррелировать входной сигнал 701. Следует отметить, что схема декоррелятора в непатентном документе 3 выполняет вышеупомянутую операцию. Декорреляция посредством схемы 704 декорреляции не должна быть ограничена этим. Непатентный документ 6, например, раскрывает метод декоррелирования сигнала, используя алгоритм Левинсона-Дурбина.
Входной сигнал 701 проходит через схему 704 декорреляции и имеет усиление, управляемое посредством схем 705 и 706 управления усилением. После этого получаются разделенные сигналы 707 и 708. На основании интерауральной разности уровней (ILD) 703 схемы 705 и 706 управления усилением используют ранее описанные выражения 6 и 7 (см. описание по фиг.8 в первом варианте осуществления) для того, чтобы выполнять вычисления.
Здесь оператор Dec в выражениях 6 и 7 обозначает декорреляцию сигнала, а Sig1 и Sig2 обозначают разделенные сигналы 707 и 708. Последовательность обработки, описанная выше, дает возможность декодирования требуемых независимых нескольких монофонических или стереофонических сигналов из расширенного кодированного сигнала понижающего микширования (разделяющей информации понижающего микширования).
Следует отметить, что устройство кодирования и модуль декодирования, использующие метод MPEG-Surround, описанный в непатентном документе 3, могут применяться в процессах для того, чтобы вычислять расширенную информацию и декодировать первоначальные независимые сигналы из сигнала понижающего микширования и расширенной информации, оба из которых получены как PCM-сигналы. Кроме того, метод кодирования, применяемый в процессах, не должен ограничиваться методом MPEG-Surround; наоборот, может быть принят метод MP3-Surround, а также метод кодирования без сжатия, включая метод LPCM.
Модуль 100 объединения потоков (MCU), реализованный выше, является примерным вариантом осуществления настоящего изобретения и не должен быть ограничен этим. Дополнительно, представленное число точек, чтобы перенаправлять кодированную информацию, равно двум. Это число, тем не менее, не должно быть ограничено двумя. Могут быть приняты три или более точек.
Как показано на фиг.12, кодированная информация 101 в точке 1 включает в себя DMX-сигнал 1101, расширенную информацию 1102 для разделения сигнала 1, расширенную информацию 1103 для разделения сигнала 2 и расширенную информацию 1104 для разделения сигнала 3. Каждый из сигналов 1-3 разделяется на основании DMX-сигнала. Фрагменты расширенной информации 1102 и расширенной информации 1103 включают в себя кодированные коэффициенты A и B разделения соответственно. Расширенная информация 1104 включает в себя разделяющую информацию B, требуемую для разделения сигнала 3 из DMX-сигнала 1101. Аналогично, кодированная информация 102 в точке 2 включает в себя DMX-сигнал 1105, расширенную информацию 1106 для разделения сигнала 4, расширенную информацию 1107 для разделения сигнала 5, расширенную информацию 1108 для разделения сигнала 6 и расширенную информацию 1109 для разделения сигнала 7. Каждый из сигналов 4-7 разделяется на основании DMX-сигнала 1105. Расширенная информация 1106 и расширенная информация 1107 включают в себя обе из кодированной разделяющей информации C и кодированной разделяющей информации D. Расширенная информация 1108 и расширенная информация 1109 включают в себя обе из разделяющей информации C и разделяющей информации E, требуемых для разделения сигналов 6 и 7 из DMX-сигнала 1105.
Кодированная информация, сконфигурированная так, как описано выше, объединяется в кодированной информации 1116 (фиг.12) в модуле 100 объединения потоков в варианте осуществления и передается в точку 3. Здесь DMX-сигналы 1101 и 1105 объединяются так, чтобы получать новый DMX-сигнал 1110. Первый вариант осуществления предоставляет подробности процесса вычисления. Разумеется, DMX-сигналы 1101 и 1105, каждый из которых вероятнее всего имеет различные акустические характеристики, не объединяются просто для того, чтобы микшироваться с понижением. Вместо этого расширенный DMX-сигнал (разделяющая информация понижающего микширования) 1111 для разделения DMX-сигналов 1101 и 1105 из объединенного сигнала (DMX-сигнала 1110) должен быть вычислен, чтобы назначаться кодированной информации 1116. Кодированная информация 1114 и кодированная информация 1115 сконфигурированы так, как описано выше. Затем модуль 100 объединения потоков передает кодированную информацию 1116 в точку 3. Здесь кодированная информация 1116 объединяется из: расширенной информации 1102 в качестве расширенной информации 1112 и расширенной информации 1108 в качестве расширенной информации 1113 соответственно. Точка 3, которая принимает кодированную информацию 1116, может декодировать только сигналы 1 и 6. Другими словами, расширенная информация DMX (разделяющая информация понижающего микширования) 1111 разделяет DMX-сигнал 1110 на сигнал DMX 1' и DMX 2'. Разделение каждого из разделенных сигналов с использованием коэффициента B разделения, включенного в расширенную информацию 1112 (=1102), предоставляет разделение сигнала 3 и сигнала, объединенного из сигналов 1 и 2. Дополнительно, разделение объединенного сигнала из сигналов 1 и 2 с использованием коэффициента A разделения, включенного в расширенную информацию 1112 (=1102), предоставляет сигнал 1. Аналогично, DMX '2 может быть разделен на объединенный сигнал из сигналов 4 и 5 и объединенный сигнал из сигналов 6 и 7 с использованием коэффициента C разделения, включенного в расширенную информацию 1113 (=1108). Разделение объединенного сигнала из сигналов 6 и 7 с использованием коэффициента E разделения, включенного в расширенную информацию 1113 (=1108), предоставляет сигнал 6.
Поскольку вышеприведенное является примером, другой входной сигнал, имеющий другую комбинацию, также может быть передан. Модуль объединения потоков может объединять комбинацию расширенной информации 1104 и расширенной информации 1107, чтобы конфигурировать кодированную информацию 1116 для того, чтобы передавать входные сигналы 3 и 5.
Конфигурации кодированной информации 1114 и кодированной информации 1115 на фиг.12 предоставляют модуль объединения потоков, который может выбирать некоторые требуемые каналы передачи (входные каналы) каждой точки. Эта конфигурация дает возможность модулю объединения потоков свободно формировать кодированную информацию 1116, имеющую различные комбинации входных сигналов, на основании точек и на основании входных сигналов. Помимо этого модуль объединения потоков может сдерживать увеличение объема передаваемой информации (скорости передачи битов) посредством передачи части, а не всей кодированной информации 1114 и кодированной информации 1115. В случае фиг.12 (две точки передачи и семь сигналов) простое вычисление требует 22 различных фрагментов кодированной информации, которые все должны быть переданы. Это приводит к увеличению скорости передачи битов. Простая передача 22 различных фрагментов кодированной информации составляет приблизительно 1,4 Мбит/с для 22 каналов, при условии что скорость передачи битов составляет 64 кбит/с на канал для методики MPEG-AAC, например. Настоящее изобретение, тем не менее, требует скорости передачи только для семи фрагментов расширенной информации, даже когда число сигналов передачи равно семи максимум, поскольку модуль объединения потоков просто выбирает семь фрагментов расширенной информации. Каждый фрагмент расширенной информации самое большее равняется нескольким кбит/с. Таким образом, передача семи фрагментов приводит приблизительно к 30 кбит/с. Как показано на фиг.12, два сигнала составляют самое большее приблизительно 64 кбит/с кодированной части DMX, что обеспечивает передачу при менее 100 кбит/с для всей кодированной информации 1116. На основании промышленной применимости настоящее изобретение имеет значительное преимущество в том, что могут быть реализованы низкая скорость передачи в битах и гибкая конфигурация установления точек и передачи.
Таким образом, составляются каждый из следующих модулей объединения потоков (A1)-(A11) и модуль декодирования (B).
Другими словами, формируется устройство (A1) объединения потоков, включающее в себя: модуль ввода (модуль I1 ввода), который вводит, по меньшей мере, два кодированных сигнала (кодированную информацию 101 и кодированную информацию 102), каждый из которых включает в себя первый акустический сигнал понижающего микширования (DMX-сигнал 201 и DMX-сигнал 204 на фиг.5) и расширенный сигнал (расширенную информацию 202, расширенную информацию 203, расширенную информацию 205 и расширенную информацию 206), при этом каждый из первых акустических сигналов понижающего микширования получается посредством кодирования акустического сигнала (PCM-сигнала понижающего микширования), в который, по меньшей мере, два звуковых сигнала (речевых сигнала), снятые посредством микрофонов, микшированы с понижением, а расширенный сигнал служит для получения этих, по меньшей мере, двух звуковых сигналов (каждого из речевых сигналов в точке 1 и каждого из речевых сигналов в точке 2) из первого акустического сигнала понижающего микширования; модуль формирования кодированных сигналов (модуль I3 формирования кодированной информации, которая должна быть выведена), который формирует второй акустический сигнал понижающего микширования (DMX-сигнал 207) и расширенный сигнал (модуль 208 разделения понижающего микширования) на основании каждого из кодированных сигналов, вводимых посредством модуля ввода, при этом второй акустический сигнал понижающего микширования служит для получения каждого из первых акустических сигналов понижающего микширования (DMX-сигнала 201 и DMX-сигнала 204), а сформированный расширенный сигнал служит для получения каждого из первых акустических сигналов понижающего микширования (DMX-сигнала 201, DMX-сигнала 204) из второго акустического сигнала понижающего микширования; и формирует кодированный сигнал (кодированную информацию 107), включающий в себя сформированный второй акустический сигнал понижающего микширования (DMX-сигнал 207), сформированный расширенный сигнал (разделяющую информацию 208 понижающего микширования) и каждый из расширенных сигналов (расширенную информацию 202 и расширенную информацию 203 в точке 1, а также расширенную информацию 205 и расширенную информацию 206 в точке 2), включенных в соответствующий вводимый кодированный сигнал; и модуль вывода (модуль I2 вывода), который выводит сформированный кодированный сигнал.
Структура устройства (A1) объединения потоков делает возможной передачу и прием каждого из звуковых сигналов в связанном кодированном сигнале, который должен быть введен, с помощью простой обработки, исключая необходимость обработки в большом объеме, такой как декодирование каждого звукового сигнала из связанного кодированного сигнала, который должен быть введен, и кодирование декодированного звукового сигнала в кодированный сигнал, который должен быть выведен.
Дополнительно, устройство (A2) объединения потоков включает в себя модуль формирования кодированных сигналов (модуль I3 формирования кодированной информации, которая должна быть выведена), который вычисляет совокупное число (число сигналов 909 на фиг.9), по меньшей мере, двух звуковых сигналов, включенных в каждый из кодированных сигналов, вводимых посредством упомянутого модуля ввода, и кодированный сигнал, который должен быть сформирован (кодированная информация 107), включает в себя вычисленное совокупное число этих, по меньшей мере, двух звуковых сигналов (A1).
Кроме того, устройство (A3) объединения потоков выполнено так, что расширенный сигнал (например, все из расширения I (расширенная информация 202) до расширения II (расширенная информация 203) на фиг.5) в кодированном сигнале, вводимом посредством упомянутого модуля ввода, включает в себя множество частично расширенных сигналов (расширение I и расширение II), и часть из множества частично расширенных сигналов (расширение I) получает звуковой сигнал (например, сигнал 3 в точке 1 на фиг.5) из кодированного сигнала (кодированной информации 101), причем часть из множества частично расширенных сигналов, которые включены во множество частично расширенных сигналов, соответствует звуковому сигналу (звуковому сигналу 3), и модуль формирования кодированных сигналов (модуль 13 формирования кодированной информации, которая должна быть выведена) формирует кодированный сигнал (A1), сохраняющий часть из множества частично расширенных сигналов (расширение I), соответствующую звуковому сигналу (например, сигналу 3 в точке 1), являющемуся каждым из этих, по меньшей мере, двух звуковых сигналов.
Дополнительно, устройство (А4) объединения потоков сформировано так, чтобы включать в себя модуль формирования кодированных сигналов, который формирует кодированный сигнал (A3), включающий в себя только частично расширенный сигнал для получения предварительно определенного акустического сигнала из каждого из речевых сигналов в связанной точке.
Кроме того, устройство объединения потоков структурировано так, чтобы включать в себя модуль формирования кодированных сигналов, формирующий (A1) кодированный сигнал, включающий только расширенные сигналы в некоторые из предварительно определенных кодированных сигналов, в некоторых точках, включенных в эти, по меньшей мере, два кодированных сигнала, в соответствующих точках, каждый из которых вводится посредством модуля ввода.
Помимо этого устройство (A6) объединения потоков структурировано так, чтобы включать в себя модуль формирования кодированных сигналов, который формирует (A5) кодированный сигнал, включающий в себя только расширенный сигнал, включенный в кодированный сигнал, вводимый из источника ввода, имеющего предварительно определенный порядок приоритета выше, чем предварительно определенный опорный порядок.
Устройство (A7) объединения потоков выполнено так, что расширенный сигнал в кодированном сигнале, вводимом посредством модуля ввода, включает в себя множество частично расширенных сигналов, и звуковой сигнал получается из кодированного сигнала с использованием части из множества частично расширенных сигналов, включенных во множество частично расширенных сигналов, соответствующих звуковому сигналу, и модуль формирования кодированных сигналов формирует (A1) кодированный сигнал, включающий в себя только часть из множества частично расширенных сигналов, соответствующих звуковому сигналу, имеющему порядок приоритета выше, чем предварительно определенный опорный порядок, причем порядок приоритета является предварительно определенным.
Кроме того, устройство (A8) объединения потоков выполнено так, что расширенный сигнал в кодированном сигнале, вводимом посредством модуля ввода, включает в себя множество частично расширенных сигналов, и звуковой сигнал декодируется из кодированного сигнала с использованием некоторых из множества частично расширенных сигналов, включенных во множество частично расширенных сигналов, соответствующих звуковому сигналу, и модуль формирования кодированных сигналов формирует (A1) кодированный сигнал, включающий в себя информацию дерева (информацию 901 дерева на фиг.10), задающую древовидную структуру, составленную из расширенного сигнала и каждого из частично расширенных сигналов в кодированном сигнале, который должен быть сформирован, причем расширенный сигнал формируется посредством модуля формирования кодированных сигналов.
Дополнительно, модуль (A9) объединения потоков выполнен так, что модуль формирования кодированных сигналов формирует (A1) кодированный сигнал, включающий в себя информацию определения (информацию 907 определения на фиг.10), указывающую расширенный сигнал, сформированный посредством модуля формирования кодированных сигналов, из расширенного сигнала, сформированного посредством модуля формирования кодированных сигналов, и каждого из расширенных сигналов, включенных в связанный один, по меньшей мере, из двух кодированных сигналов, вводимых посредством модуля ввода.
Помимо этого устройство (A10) объединения потоков выполнено так, что каждый кодированный сигнал, вводимый посредством модуля ввода, включает в себя информацию источника ввода (информацию 908 о точке на фиг.10), указывающую источник ввода, из которого введен кодированный сигнал, и модуль формирования кодированных сигналов идентифицирует каждый из кодированных сигналов, включающий в себя информацию источника ввода, указывающую предварительно определенный источник ввода, причем каждый из кодированных сигналов включен во вводимый каждый, по меньшей мере, из двух кодированных сигналов; формирует второй акустический сигнал понижающего микширования и расширенный сигнал, при этом второй акустический сигнал понижающего микширования получает каждый из первых акустических сигналов понижающего микширования в одном из связанных идентифицированных кодированных сигналов, и расширенный сигнал служит для получения; и формирует (A1) кодированный сигнал, включающий в себя сформированный второй акустический сигнал понижающего микширования, сформированный расширенный сигнал и каждый из расширенных сигналов в одном из связанных и идентифицированных кодированных сигналов.
Кроме того, устройство (A11) объединения потоков выполнено так, что модуль формирования кодированных сигналов (модуль I3 формирования кодированной информации, которая должна быть выведена) включает в себя (A1) модуль разделения (несколько разделяющих схем 103 на фиг.4), который разделяет первый акустический сигнал понижающего микширования, включенный в каждый из кодированных сигналов, из кодированного сигнала, вводимого посредством модуля ввода; модуль формирования акустических сигналов понижающего микширования (схему 104 формирования с понижающим микшированием), который формирует второй акустический сигнал понижающего микширования на основании каждого из первых акустических сигналов понижающего микширования, разделенных посредством модуля разделения; модуль формирования расширенных сигналов (схему 105 вычисления расширенной информации), который формирует расширенный сигнал на основании каждого из первых акустических сигналов понижающего микширования, разделенных посредством модуля разделения, причем расширенный сигнал служит для получения каждого из первых акустических сигналов понижающего микширования из второго акустического сигнала понижающего микширования; и модуль объединения (схему 106 мультиплексирования), который объединяет, для формирования кодированного сигнала, второй акустический сигнал понижающего микширования, сформированный посредством модуля формирования акустических сигналов понижающего микширования, расширенный сигнал, сформированный посредством модуля формирования расширенных сигналов, и каждый из расширенных сигналов, включенных в связанный один из кодированных сигналов, вводимых посредством модуля ввода (A11).
Кроме того, устройство декодирования (устройство A декодирования) включает в себя (B) модуль ввода (не показан), который вводит кодированный сигнал (кодированную информацию 107 на фиг.5), включающий в себя акустический сигнал понижающего микширования и расширенный сигнал, причем акустический сигнал понижающего микширования предоставляется из кодированного акустического сигнала, в который, по меньшей мере, два звуковых сигнала микшируются с понижением, и расширенный сигнал служит для получения этих, по меньшей мере, двух звуковых сигналов из акустического сигнала понижающего микширования, при этом акустический сигнал понижающего микширования (DMX-сигнал 207) в кодированном сигнале, который должен быть введен, является вторым акустическим сигналом понижающего микширования для получения каждого из акустических сигналов понижающего микширования (DMX-сигнала 201 и DMX-сигнала 204) в предварительно определенных, по меньшей мере, двух кодированных сигналах (кодированной информации 101 и кодированной информации 102), расширенный сигнал в кодированном сигнале, который должен быть введен, является расширенным сигналом (разделяющей информацией 208 понижающего микширования) для получения каждого из первых акустических сигналов понижающего микширования (DMX-сигнала 201 и DMX-сигнала 204) из второго акустического сигнала понижающего микширования (DMX-сигнала 207), и модуль декодирования включает в себя субмодуль декодирования (разделяющую схему 709), который формирует, по меньшей мере, два промежуточных сигнала (два промежуточных сигнала, сформированных посредством схемы 704 декорреляции на фиг.8), по меньшей мере, частично на основании интераурального коэффициента корреляции (ICC) и интерауральной разности уровней частот (ILD), включенных в расширенный сигнал (разделяющей информации 208 понижающего микширования), и умножает сформированные, по меньшей мере, два промежуточных сигнала на интерауральную разность уровней частот (ILD), причем эти, по меньшей мере, два промежуточных сигнала декоррелируются из декодированного сигнала (входного сигнала 701 на фиг.8), полученного из второго акустического сигнала понижающего микширования с использованием интераурального коэффициента корреляции (ICC).
(Примеры других модификаций)
Приведенные выше варианты осуществления описывают настоящее изобретение; тем не менее, настоящее изобретение не должно быть ограничено этими вариантами осуществления. Следующие случаи должны быть включены в настоящее изобретение.
(1) В частности, каждый из модулей объединения потоков и модуля декодирования - это компьютерная система, включающая в себя микропроцессор, ROM, RAM, модуль жесткого диска, дисплей, клавиатуру и мышь. RAM или модуль жесткого диска сохраняют компьютерную программу. Микропроцессор работает с компьютерной программой, которая инструктирует каждый из модулей реализовывать свою функцию. При этом компьютерная программа включает в себя комбинацию из нескольких кодов команды, отправляющих инструкцию компьютеру для того, чтобы осуществлять предварительно определенную функцию.
(2) Некоторые или все конструктивные элементы, включенные в каждый из вышеупомянутых модулей, могут быть включены в одну системную LSI (большую интегральную схему). Системная LSI, ультрамногофункциональная LSI, изготавливается с несколькими структурными модулями, интегрированными на одной микросхеме. В частности, системная LSI - это компьютерная система, имеющая микропроцессор, ROM и RAM. RAM сохраняет компьютерную программу. Системная LSI осуществляет свою функцию посредством микропроцессора, работающего с компьютерной программой.
(3) Некоторые или все конструктивные элементы, имеющие каждый из вышеописанных модулей, могут быть включены в ИС-плату или один модуль, съемный для каждого из модулей. ИС-плата или модуль - это компьютерная система, которая состоит из микропроцессора, ROM и RAM. ИС-плата и модуль также могут включать в себя вышеописанную ультрамногофункциональную LSI. Микропроцессор работает с компьютерной программой, которая дает возможность ИС-плате и модулю осуществлять свою функцию. ИС-плата и модуль могут также быть защищенными от несанкционированного воздействия.
(4) Настоящее изобретение может быть осуществлено в способах, описанных выше. Настоящее изобретение также может быть компьютерной программой, выполняющей способы посредством компьютера, и цифровым сигналом, включающим в себя компьютерную программу.
Настоящее изобретение дополнительно может включать в себя машиночитаемый носитель записи, который сохраняет компьютерную программу или цифровой сигнал на гибкий диск, жесткий диск, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Диск Blu-Ray) и полупроводниковое запоминающее устройство.
Настоящее изобретение дополнительно может передавать компьютерную программу или цифровой сигнал через сеть и широковещательную передачу данных, главным образом включающую в себя электронную линию связи, линию беспроводной или проводной связи и Интернет.
Настоящее изобретение также может быть компьютерной системой, включающей в себя микропроцессор и запоминающее устройство. Запоминающее устройство может делать запись компьютерной программы, описанной выше, а микропроцессор может работать с компьютерной программой.
Настоящее изобретение может быть реализовано посредством другой независимой компьютерной системы посредством сохранения для того, чтобы передавать программу или цифровой сигнал на носителе записи или через сеть.
(5) Настоящее изобретение может быть комбинацией вышеупомянутого варианта осуществления с любым вышеупомянутым примером модификации.
Промышленная применимость
Настоящее изобретение, устанавливающее соединения между несколькими точками через тракт связи, является эффективным для системы многоточечной телеконференц-связи, в которой каждая из точек подвергается многоканальному кодированию.
Вышеописанный модуль объединения потоков может предоставлять улучшенную реалистичную атмосферу при многоточечном соединении, и также снижать вычислительную нагрузку в модуле многоточечного соединения.