ПОНИЖАЮЩИЙ МИКШЕР, АУДИОКОДЕР, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА, ПРИМЕНЯЮЩАЯ ЗНАЧЕНИЕ ФАЗЫ К ЗНАЧЕНИЮ АБСОЛЮТНОЙ ВЕЛИЧИНЫ
DOWNMIXER, AUDIO ENCODER, METHOD AND COMPUTER PROGRAM APPLYING PHASE VALUE TO ABSOLUTE VALUE

Область техники, к которой относится изобретение
Варианты осуществления согласно изобретению относятся к понижающему микшеру для предоставления сигнала понижающего микширования на основе множества входных сигналов.
Дополнительные варианты осуществления согласно изобретению относятся к аудиокодеру для предоставления кодированного аудиопредставления на основе множества входных аудиосигналов.
Дополнительные варианты осуществления согласно изобретению относятся к способу для предоставления сигнала понижающего микширования на основе множества входных сигналов.
Дополнительные варианты осуществления согласно изобретению относятся к компьютерной программе.
Уровень техники
В области обработки аудиосигналов, иногда желательно комбинировать несколько аудиосигналов в один аудиосигнал. Например, это позволяет уменьшать сложность для кодирования аудио. Информация относительно характеристик исходных аудиосигналов и/или относительно характеристик процесса понижающего микширования, например, может быть включена в кодированное аудиопредставление, а также в сам сигнал понижающего микширования (предпочтительно в кодированной форме).
Понижающее микширование представляет собой процесс преобразования, например, программы с многоканальной конфигурацией в программу с меньшим числом каналов. Относительно этой проблемы, следует обратиться, например, к определению "понижающего микширования", которое приведено в Википедии.
Частный случай представляет собой бинауральное понижающее микширование, при котором несколько подготовленных посредством бинаурального рендеринга сигналов (в расчете на ухо) микшируются с понижением в один канал. Традиционно, N каналов многоканального сигнала объединяются вместе посредством простого суммирования, чтобы формировать M-канальный сигнал (при этом, типично, N>M).
Далее описываются некоторые проблемы при понижающем микшировании.
Обнаружено, что при микшировании с понижением нескольких аудиосигналов, нежелательные помехи могут представлять собой результат. Также обнаружено, что помехи могут разделяться на три категории:
1
2
1. Два сигнала S и S (при этом сигналы, например, могут представляться посредством векторов S, описывающих их абсолютную величину (длину) и фазу (угол)) имеют в определенный момент времени аналогичные фазовые углы (см., например, фиг. 4a), и в таком случае существуют конструктивные помехи (например, суммирование абсолютной величины с +6 дБ вместо суммирования энергии с +3 дБ).
2. Если оба вектора указывают в различных направлениях в определенное время (см., например, фиг. 4b), то существуют частично деструктивные помехи.
3. Если оба вектора имеют аналогичные абсолютные величины и угловую разность приблизительно в 180°, то существуют сильные деструктивные помехи или даже полное подавление (см., например, фиг. 4c). В этом случае, результирующий вектор имеет ошибочный фазовый угол.
В качестве вывода, пояснены три типа помех, которые могут возникать во время процедуры понижающего микширования. Эти три типа помех проиллюстрированы на фиг. 4.
Эта проблема возникает в широкополосных сигналах, а также в отдельных полосах частот. С точки зрения качества звука, первые два типа помех приводят к непредпочтительным изменениям цвета звука, флэнджерным эффектам, частично реверберирующему впечатлению и т.д. Третий тип помех, с другой стороны, приводит к подавлению сигнальных компонентов или может (перцепционно) усиливать вышеуказанные артефакты.
Обнаружено, что один подход для коррекции непредпочтительных звуковых изменений выполняется посредством модификации спектра микшированного с понижением сигнала. Обнаружено, что через коррекции с сохранением энергии в отдельных полосах частот, пассивное понижающее микширование частотно корректируется в спектральной области, и требуемый спектр (почти) достигается. Также обнаружено, что предпочтительно, значения энергии должны сглаживаться во времени с использованием этого способа. Тем не менее, обнаружено, что в силу сглаживания, результирующие значения коррекции становятся вялыми по отклику и дополнительно могут усиливать конструктивные или ослабленные деструктивные помехи.
Такой принцип может обобщаться в качестве скорректированного по энергии понижающего микширования.
US 7039204 B2 описывает частотную коррекцию для аудиомикширования. Во время микширования N-канального входного сигнала, чтобы формировать M-канальный выходной сигнал, микшированные канальные сигналы частотно корректируются (например, усиливаются), чтобы поддерживать полный уровень энергии/громкости выходного сигнала практически равным полному уровню энергии/громкости входного сигнала. В одном варианте осуществления, N входных канальных сигналов преобразуются в частотную область на покадровой основе, и полная спектральная громкость N-канального входного сигнала оценивается. После микширования спектров для N входных канальных сигналов (например, с использованием суммирования со взвешиванием), также оценивается полная спектральная громкость результирующих M микшированных канальных сигналов. Частотно-зависимый коэффициент усиления, который основан на двух оценках громкости, применяется к спектральным компонентам M микшированных канальных сигналов, чтобы формировать M частотно-скорректированных микшированных канальных сигналов. M-канальный выходной сигнал формируется посредством преобразования M частотно-скорректированных микшированных канальных сигналов во временную область.
Тем не менее, с учетом традиционных концепций, существует потребность в концепции для понижающего микширования, которая предоставляет улучшенный компромисс между качеством звука и вычислительной сложностью.
Сущность изобретения
Вариант осуществления согласно изобретению создает понижающий микшер для предоставления сигнала понижающего микширования на основе множества входных сигналов (которые, например, могут быть комплекснозначными и которые, например, могут представлять собой входные аудиосигналы). Понижающий микшер выполнен с возможностью определять (например, вычислять или оценивать) значение абсолютной величины значения в спектральной области микшированного с понижением сигнала (например, для данного спектрального элемента разрешения) на основе информации громкости входных сигналов (например, на основе значений громкости, ассоциированных с данным спектральным элементом разрешения входных сигналов). Понижающий микшер выполнен с возможностью определять значение фазы (которое, например, может быть скалярным значением) значения в спектральной области сигнала понижающего микширования (например, для данного спектрального элемента разрешения). Например, понижающий микшер может быть выполнен с возможностью определять значение фазы независимо от определения значения абсолютной величины. Понижающий микшер выполнен с возможностью применять значение фазы, чтобы получать комплекснозначное представление чисел значения в спектральной области сигнала понижающего микширования (например, для данного спектрального элемента разрешения) на основе значения абсолютной величины значения в спектральной области сигнала понижающего микширования.
Этот вариант осуществления согласно изобретению основан на такой идее, что хороший компромисс между вычислительной сложностью и качеством звука может достигаться посредством вычисления значения абсолютной величины значения в спектральной области сигнала понижающего микширования, которое является скалярным значением, и посредством применения значения фазы, которое типично является скалярным значением, которое вычисляется отдельно от значения абсолютной величины на следующем этапе. Соответственно, большинство этапов обработки могут работать со скалярными значениями, и комплекснозначное представление чисел для значений в спектральной области сигналов понижающего микширования формируется только в позднем (конечном) каскаде вычисления.
Кроме того, обнаружено, что определение скалярного значения абсолютной величины является возможным с хорошей точностью на основе информации громкости входных сигналов. Посредством использования информации громкости входных сигналов, чтобы получать значение абсолютной величины, можно не допускать того, что значение абсолютной величины сильно затрагивается посредством деструктивных помех. Это обусловлено тем фактом, что информация громкости входных сигналов типично не затрагивается посредством деструктивных помех таким образом, что преобразование информации громкости в значение абсолютной величины типично приводит к численно стабильным решениям.
Другими словами, посредством определения значения абсолютной величины значения в спектральной области главным образом на основе информации громкости входных сигналов (с возможной, необязательной коррекцией после преобразования информации громкости в значение абсолютной величины, чтобы рассматривать эффекты подавления), числовые нестабильности и артефакты, которые могут вызываться посредством суммирования комплекснозначных чисел и посредством последующего масштабирования, могут не допускаться.
Кроме того, посредством рассмотрения информации громкости входных сигналов при определении значения абсолютной величины, усиление сигнала в 6 дБ, которое может возникать в случае конструктивных помех и которое типично должно восприниматься как артефакт, может не допускаться. Наоборот, посредством рассмотрения информации громкости входных сигналов, может достигаться то, что сигнал понижающего микширования лучше адаптируется к воспринимаемой громкости по сравнению со случаями, в которых предусмотрено просто суммирование комплексных значений, представляющих входные сигналы.
Кроме того, обнаружено, что отдельное вычисление фазы, которое является отдельным от определения значения абсолютной величины, предоставляет высокую степень гибкости. Вычисление фазы может выполняться с хорошей точностью, при этом можно применять коррекции для того, чтобы определять значения фазы в случае деструктивных помех. Поскольку значение фазы типично является скалярным значением, которое применяется только тогда, когда значение абсолютной величины определено, вычислительные усилия для определения и значения коррекции фазы являются особенно небольшими.
В качестве вывода, обнаружено, что хороший компромисс между эффективностью вычислений и впечатлением от прослушивания может достигаться посредством отдельной обработки значения абсолютной величины и значения фазы и посредством комбинирования этих значений, чтобы получать комплекснозначное представление чисел значения в спектральной области сигнала понижающего микширования, только в конце цепочки обработки (т.е. в конце понижающего микширования).
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью определять значение фазы значения в спектральной области сигнала понижающего микширования независимо от определения значения абсолютной величины значения в спектральной области сигнала понижающего микширования. Такая отдельная обработка и определение значения абсолютной величины и значения фазы показаны ка вычислительно эффективные. Кроме того, отсутствует неуправляемое влияние деструктивных помех в тракте обработки для определения значения абсолютной величины.
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью определять значения громкости значений в спектральной области входных сигналов. Понижающий микшер выполнен с возможностью извлекать значение суммированной громкости, ассоциированное со значением в спектральной области сигнала понижающего микширования, на основе значений громкости значений в спектральной области входных сигналов. Понижающий микшер выполнен с возможностью извлекать значение абсолютной величины (например, значение амплитуды) значения в спектральной области сигнала понижающего микширования из значения суммированной громкости. Соответственно, значение абсолютной величины хорошо представляет воспринимаемую громкость. Тем не менее, посредством рассмотрения суммированной громкости и посредством преобразования этого значения суммированной громкости в значение абсолютной величины, может достигаться то, что значение абсолютной величины (например, значение амплитуды) значения в спектральной области сигнала понижающего микширования не содержит повышенную громкость в случае, если входные сигналы показывают конструктивные помехи. В этом случае, предусмотрено только суммирование громкости, но не квадратическое увеличение громкости, что способствует обоснованному впечатлению от прослушивания. С другой стороны, также отсутствуют деструктивные помехи, так что отсутствуют "глубокие впадины" значения абсолютной величины, даже в случае, если между входными сигналами существуют деструктивные помехи. Соответственно, извлеченное значение абсолютной величины является хорошо подходящим для последующей обработки. Если требуется, можно легко ослаблять значение абсолютной величины или даже увеличивать значение абсолютной величины без численных проблем. В частности, извлечение этого значения абсолютной величины на основе значений громкости имеет такое преимущество, что значение абсолютной величины всегда находится в пределах обоснованного диапазона значений, поскольку как чрезвычайно небольших значения не допускаются (посредством рассмотрения значения суммированной громкости), так и чрезмерно большие значения не допускаются (посредством недопущения прямого суммирования амплитуд). Таким образом, такая обработка имеет существенное преимущество.
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью определять сумму или взвешенную сумму значений в спектральной области входных сигналов и определять значение фазы на основе суммы или на основе взвешенной суммы значений в спектральной области входных сигналов. Посредством использования такого вычисления значения фазы, корректное и надежное значение фазы может получаться при многих обстоятельствах (даже если могут возникать некоторые ошибки в случае сильных деструктивных помех).
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью использовать значение абсолютной величины значения в спектральной области сигнала понижающего микширования в качестве абсолютного значения полярного представления значения в спектральной области сигнала понижающего микширования и использовать значение фазы в качестве значения фазы полярного представления значения в спектральной области сигнала понижающего микширования. Кроме того, понижающий микшер выполнен с возможностью получать декартово комплекснозначное представление значения в спектральной области сигнала понижающего микширования на основе полярного представления. Соответственно, декартово комплекснозначное представление значения в спектральной области получается в сравнительно позднем каскаде обработки, в то время как предыдущие каскады обработки отдельно определяют абсолютное значение и значение фазы. Обнаружено, что такая процедура является преимущественной, поскольку обработка полных комплексных значений может приводить к нежелательным артефактам в зависимости от соотношения фаз между входными сигналами. Наоборот, только комбинирование абсолютного значения и значения фазы на позднем каскаде обработки (или даже в качестве конечного каскада определения сигнала понижающего микширования) исключает такие артефакты. Кроме того, отдельная обработка абсолютного значения и значения фазы вычислительно проще обработки комплексных значений на нескольких каскадах обработки.
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью определять (например, вычислять) информация степени подавления (например, Q) и рассматривать информацию степени подавления при определении значения абсолютной величины (например,  ) значения в спектральной области сигнала понижающего микширования. Например, информация степени подавления описывает (или количественно описывает) степень конструктивных или деструктивных помех между значениями в спектральной области (например, ассоциированными с идентичным спектральным элементом разрешения) входных сигналов. Кроме того, понижающий микшер выполнен с возможностью избирательно уменьшать (например, ослаблять) значение абсолютной величины (например,  ) значения в спектральной области сигнала понижающего микширования по сравнению со (или относительно) значением абсолютной величины (например,  ) или по сравнению с (или относительно) "опорной абсолютной величиной", представляющей сумму значений громкости значений в спектральной области входного сигнала в случае, если информация степени подавления указывает деструктивные помехи (при этом, например, уменьшение значения абсолютной величины может варьироваться непрерывно в зависимости от информации степени подавления). Обнаружено, что уменьшение значения абсолютной величины значения в спектральной области может рекомендоваться, когда сильные деструктивные помехи обнаруживаются, поскольку значение фазы типично является ненадежным в этом случае. Другими словами, присутствие сильных деструктивных помех типично приводит к тому, что значению фазы является ненадежным или быстро изменяется в большом диапазоне углов. В таких случаях, уменьшение значения абсолютной величины значения в спектральной области сигнала понижающего микширования помогает уменьшать артефакты. Тем не менее, обнаружено, что лучше уменьшать значение абсолютной величины значения в спектральной области сигнала понижающего микширования хорошо управляемым способом по сравнению с простым суммированием комплекснозначных представлений значений в спектральной области входных сигналов.
Другими словами, концепция предоставляет возможность очень хорошего компромисса между эффективностью вычислений и уменьшением влияния (сильных) деструктивных помех.
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью определять суммы (например, sumIm+, sumIm-, sumRe+, sumRe-) компонентов значений в спектральной области входных сигналов, имеющих (например, четыре) различные ориентации (например, компонентов, имеющих ориентацию в направлении положительных мнимых осей, компонентов, имеющих ориентацию в направлении отрицательных мнимых осей, компонентов, имеющих ориентацию в направлении положительной действительной оси, и компонентов, имеющих ориентацию в направлении отрицательной действительной оси; альтернативно, компоненты имеют ориентацию в первом направлении, которое может определяться посредством вектора суммы значений в спектральной области входных сигналов, втором направлении, которое является ортогональным к первому направлению, третьем направлении, которое является противоположным первому направлению, и четвертом направлении, которое является противоположным второму направлению). Кроме того, понижающий микшер выполнен с возможностью определять информацию степени подавления на основе сумм (например, sumIm+, sumIm-, sumRe+, sumRe-) компонентов значений в спектральной области входных сигналов, имеющих различные ориентации.
Обнаружено, что оценка сумм компонентов значений в спектральной области входных сигналов, имеющих различные ориентации, обеспечивает возможность эффективно определять ожидаемую степень подавления. Например, если все компоненты имеют идентичную ориентацию (например, имеют положительную мнимую часть и положительную действительную часть), можно ожидать, что отсутствует сильное подавление. С другой стороны, если суммы компонентов в противоположных направлениях являются аналогичными или даже являются идентичными, можно прийти к выводу, что существует высокая степень подавления. Другими словами, посредством сравнения сумм компонентов в различных ориентациях или направлениях, можно приходиться к эффективному и надежному заключению касательно степени подавления. Соответственно, можно адаптировать значение абсолютной величины значения в спектральной области сигнала понижающего микширования, когда предполагается чрезмерное подавление (или, эквивалентно, когда предполагается, что информация фазы является ненадежной).
mapped
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью выбирать две из определенных сумм (например, sumIm+ и sumRe+), которые ассоциированы с ортогональными ориентациями или направлениями (например, вдоль положительной мнимой оси и вдоль положительной действительной оси) и которые превышают или равны суммам, которые ассоциированы с противоположными ориентациями или направлениями (например, sumIm- и sumRe-), в качестве доминирующих значений суммы (например, sumIm+ и sumRe+). Например, понижающий микшер выполнен с возможностью определять, для двух ориентаций, то, какие из определенных сумм имеют наибольшую абсолютную величину, и выбирать эти суммы в качестве "доминирующих значений суммы". Кроме того, понижающий микшер выполнен с возможностью определять значение масштабирования (например, Q или Q), которое приводит к избирательному уменьшению значения абсолютной величины (например,  ) значения в спектральной области сигнала понижающего микширования, на основе соотношения без знака (т.е. соотношения, при котором знак не рассматривается, или соотношения абсолютных значений, или абсолютного значения соотношения) между первым недоминирующим значением суммы (например, sumRe-), которое ассоциировано с направлением или ориентацией, противоположной ориентации первого доминирующего значения суммы (например, sumRe+), и первым доминирующим значением суммы (например, sumRe+), а также на основе соотношения без знака (например, соотношения, при котором знак не рассматривается, или соотношения абсолютных значений, или абсолютного значения соотношения) между вторым недоминирующим значением суммы (например, sumIm-), которое ассоциировано с ориентацией (или направлением), противоположной ориентации (или направлению) второго доминирующего значения суммы (например, sumIm+), и вторым доминирующим значением суммы (например, sumIm+), таким образом, что увеличение соотношений без знака (например, |sumRe-|/sumRe+ и |sumIm-|/sumIm+) между недоминирующим значением суммы и его ассоциированным доминирующим значением суммы приводит к уменьшению значения абсолютной величины (например,  ) значения в спектральной области сигнала понижающего микширования (например, при уменьшении значения Q масштабирования). Этот вариант осуществления основан на такой идее, что соотношение между значениями суммы, которые ассоциированы с противоположными направлениями, предоставляет достоверную информацию относительно степени отрицательных (деструктивных) помех. Например, если первое недоминирующее значение суммы существенно меньше первого доминирующего значения суммы, можно прийти к выводу, что отсутствует или имеется только небольшое подавление между первым направлением (ассоциированным с первой доминирующей суммой) и третьим направлением (ассоциированным с первой недоминирующей суммой). Аналогично, если соотношение без знака (т.е. соотношение, которое не рассматривает знака) между первым недоминирующим значением суммы и его ассоциированным первым доминирующим значением суммы становится большим (например, близким к единице), можно прийти к выводу, что существует сравнительно сильное подавление между первым направлением (с которым ассоциировано первое доминирующее значение суммы), и третье направление (с которым ассоциировано первое недоминирующее значение суммы). В качестве вывода, недоминирующие значения суммы и доминирующие значения суммы могут эффективно использоваться для того, чтобы распознавать подавление между входными сигналами, и в силу этого могут эффективно использоваться для того, чтобы управлять уменьшением значения абсолютной величины значения в спектральной области сигнала понижающего микширования.
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью вычислять информацию Q степени подавления согласно уравнению, упомянутому в данном документе. В этом случае, sumRe+ является суммой положительных действительных частей комплекснозначных значений в спектральной области входных аудиосигналов (например, в рассматриваемом спектральном элементе разрешения, при этом все комплекснозначные значения в спектральной области, имеющие положительную действительную часть, рассматриваются); sumRe- является суммой отрицательных действительных частей комплекснозначных значений в спектральной области входных аудиосигналов (например, в рассматриваемом спектральном элементе разрешения), при этом все комплекснозначные значения в спектральной области, имеющие отрицательную действительную часть, рассматриваются; sumIm+ может быть суммой положительных мнимых частей комплекснозначных значений в спектральной области входных аудиосигналов (например, в рассматриваемом спектральном элементе разрешения), при этом все комплекснозначные значения в спектральной области, имеющие положительную мнимую часть, рассматриваются); sumIm- является суммой отрицательных мнимых частей комплекснозначных значений в спектральной области входного аудиосигнала (например, в рассматриваемом спектральном элементе разрешения), при этом все комплекснозначные значения в спектральной области, имеющие отрицательную мнимую часть, рассматриваются. Соответственно, информация Q степени подавления может вычисляться эффективным способом в соответствии с вышеуказанными соображениями.
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью определять значение абсолютной величины (например,  ) значения в спектральной области сигнала понижающего микширования таким образом, что значение абсолютной величины (например,  ) избирательно уменьшается относительно опорного значения (например,  ), которое соответствует суммированной громкости значений в спектральной области входных сигналов в моменты времени, в которые информация степени подавления (например, Q), определенная посредством понижающего микшера, указывает сравнительно большие деструктивные помехи между входными сигналами (например, в рассматриваемом спектральном элементе разрешения), и таким образом, что значение абсолютной величины избирательно увеличивается относительно опорного значения (например,  ) в моменты времени, в которые информация степени подавления (например, Q) указывает сравнительно небольшие деструктивные помехи между входными сигналами. Посредством избирательного снижения значения абсолютной величины значения в спектральной области сигнала понижающего микширования в моменты времени, в которые информация степени подавления указывает сравнительно большие деструктивные помехи, искажения, которые могут вызываться посредством ошибочных значений фазы или посредством быстрого изменения значений фазы, могут не допускаться. С другой стороны, посредством избирательного увеличения значения абсолютной величины значения в спектральной области сигнала понижающего микширования в момент времени, в который информация степени подавления указывает сравнительно небольшие деструктивные помехи между входными сигналами, энергетические потери, которые вызываются посредством уменьшения значения абсолютной величины, могут компенсироваться, по меньшей мере, частично. Таким образом, полная воспринимаемая громкость может поддерживаться. Избирательное уменьшение абсолютной величины значения в спектральной области сигнала понижающего микширования в некоторые моменты времени (в которые имеются высокие деструктивные помехи) (по меньшей мере, частично) компенсируется посредством избирательного увеличения абсолютной величины значения в спектральной области сигнала понижающего микширования в другие моменты времени, когда отсутствует высокий риск искажений. Соответственно, энергетические потери могут, по меньшей мере, частично компенсироваться, и может достигаться хорошее впечатление от прослушивания сигнала понижающего микширования.
R
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью отслеживать информацию степени подавления (например, Q(t)) во времени и определять, в зависимости от предыстории информации степени подавления, то, насколько значение абсолютной величины (например,  ) избирательно увеличивается относительно опорного значения абсолютной величины (например, M) в моменты времени, в которые информация степени подавления (например, Q) указывает сравнительно небольшие деструктивные помехи между входными сигналами. Например, избирательное увеличение значения абсолютной величины относительно опорного значения абсолютной величины может определяться таким образом, что значение абсолютной величины увеличивается на сравнительно большое значение, если ранее возникает сравнительно сильное уменьшение значения абсолютной величины (например, в среднем по времени), и таким образом, что значение абсолютной величины увеличивается на сравнительно меньшее значение, если ранее возникает сравнительно меньшее уменьшение значения абсолютной величины (например, в среднем по времени). Другими словами, степень избирательного увеличения значения абсолютной величины относительно опорного значения может определяться таким образом, что потери энергии вследствие избирательного уменьшения значения абсолютной величины в моменты времени, в которые информация степени подавления указывает сравнительно большие деструктивные помехам между входными сигналами, по меньшей мере, частично компенсируются посредством избирательного увеличения значения абсолютной величины в моменты времени, в которые информация степени подавления указывает сравнительно небольшие деструктивные помехи. Таким образом, энергетические потери, которые вызываются посредством уменьшения значения абсолютной величины в моменты времени, в которые деструктивные помехи возникают, могут, по меньшей мере, частично компенсироваться, при этом предыстория информации степени подавления предоставляет достоверную информацию, насколько большая компенсация является надлежащей.
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью получать временно сглаженную информацию степени подавления на основе мгновенной информации степени подавления с использованием операции сглаживания на основе бесконечного импульсного отклика или с использованием операции сглаживания на основе скользящего среднего, чтобы отслеживать информацию степени подавления. Обнаружено, что такие операции являются хорошо адаптированными для отслеживания информации степени подавления и способствуют надежным результатам.
mapped
R
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью преобразовывать мгновенное значение степени подавления (например, Q(t)) в преобразованное значение степени подавления (например, Q) (которое например, может определяться то, насколько значение  абсолютной величины избирательно увеличивается относительно опорного значения M в моменты времени, в которые информация Q степени подавления указывает сравнительно небольшие деструктивные помехи между входными сигналами) в зависимости от временно сглаженной информации степени подавления таким образом, что значение временно сглаженной информации степени подавления, указывающее (прошлое/предыдущее) уменьшение значения абсолютной величины, приводит к увеличению (текущего) преобразованного значения степени подавления по сравнению с мгновенным (текущим) значением степени подавления (по меньшей мере, для мгновенного значения степени подавления, указывающего сравнительно небольшие деструктивные помехи между входными сигналами). Соответственно, фактически можно извлекать преобразованное значение степени подавления, которое является хорошо адаптированным к предыдущей разработке информации степени подавления.
smooth
smooth
mapped
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью получать обновленное сглаженное значение Q(t) степени подавления на основе предыдущего сглаженного значения Q(t-1) степени подавления и на основе мгновенного (текущего) значения Q(t) степени подавления согласно уравнению, описанному в данном документе, при этом p может быть константой, при 0<p<1. Понижающий микшер также может быть выполнен с возможностью получать преобразованное значение Q(t) степени подавления согласно уравнению, описанному в данном документе, при этом T является константой, при 0<T<1. Предпочтительно, взаимосвязь 0,3<=T<=0,8 может быть справедливой. Кроме того, можно предполагать, что Q(t) находится в диапазоне между 0 и 1 и принимает значение 0 для сравнительно больших деструктивных помех между входными сигналами и принимает значение 1 для сравнительно небольших деструктивных помех между входными сигналами. Показано, что такое вычисление преобразованного значения степени подавления способствует хорошим результатам при поддержании вычислительной сложности достаточно небольшой.
R
mapped
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью масштабировать значение абсолютной величины (например, "опорное значение", которое может быть равно M), которое соответствует суммированной громкости значений в спектральной области входных сигналов, с использованием значения степени подавления (например, Q), чтобы получать значение абсолютной величины значения в спектральной области сигнала понижающего микширования. Соответственно, значение в спектральной области сигнала понижающего микширования может уменьшаться (например, относительно опорного значения) во время, в которое возникает высокий риск помех, и может увеличиваться (например, относительно опорного значения) в моменты времени, в которые возникает низкий риск помех. Соответственно, чрезмерные артефакты могут не допускаться в моменты времени, в которые имеется высокая вероятность деструктивных помех, и энергетические потери может компенсироваться в моменты времени, в которые существует низкая вероятность деструктивных помех. С другой стороны, значение абсолютной величины значения в спектральной области сигнала понижающего микширования может оставаться в пределах обоснованного диапазона таким образом, что чрезмерное преувеличение громкости в случае конструктивных помех также не допускается. Кроме того, концепции, описанные в данном документе, не допускают числовых проблем, поскольку это исключается сильное "повышающее масштабирование" значений, которые являются близкими к нулю (например, вследствие деструктивных помех).
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью определять взвешенную сумму значений в спектральной области входных сигналов и определять значение фазы на основе взвешенной суммы значений в спектральной области входного сигнала. Например, понижающий микшер выполнен с возможностью взвешивать значения в спектральной области входного сигнала таким способом, чтобы не допускать деструктивных помех, которые превышают предварительно определенный уровень помех. Другими словами, при определении значения фазы, взвешивание может вводиться, с тем чтобы не допускать чрезмерных деструктивных помех. Например, посредством использования такого взвешивания, надежность значений фазы может увеличиваться (например, посредством приложения относительно увеличенного весового коэффициента к значениям в спектральной области, которые имеют сравнительно большую абсолютную величину в прошлом). Таким образом, может повышаться качество определения фазы.
В предпочтительном варианте осуществления, понижающий микшер выполнен с возможностью определять взвешенную сумму значений в спектральной области входных сигналов и определять значение фазы на основе взвешенной суммы значений в спектральной области входных сигналов. Понижающий микшер выполнен с возможностью взвешивать значения в спектральной области входных сигналов в зависимости от усредненной во времени интенсивности (например, амплитуд или энергий, или громкости) соответствующего спектрального элемента разрешения в различных входных сигналах. Следовательно, может достигаться значимое взвешивание, и может повышаться надежность значений фазы.
Вариант осуществления согласно изобретению создает аудиокодер для предоставления кодированного аудиопредставления на основе множества входных аудиосигналов. Аудиокодер содержит понижающий микшер, как описано выше. Понижающий микшер выполнен с возможностью предоставлять сигнал понижающего микширования на основе (предпочтительно комплекснозначных) представлений в спектральной области множества входных аудиосигналов. Аудиокодер также выполнен с возможностью кодировать сигнал понижающего микширования, чтобы получать кодированное аудиопредставление. Обнаружено, что использование такого понижающего микшера в аудиокодере является особенно преимущественным, поскольку надежность значений амплитуды и значений фазы может увеличиваться за счет понижающего микшера. Соответственно, сигнал понижающего микширования оптимально подходит для восстановления аудиосигналов со стороны аудиодекодера либо также для прямого воспроизведения. В частности, поскольку артефакты являются сравнительно небольшими с использованием концепции понижающего микширования, раскрытой в данном документе, аудиокодер может использовать сравнительно "чистый" сигнал понижающего микширования, который упрощает кодирование и в то же время увеличивает качество декодированных аудиосигналов.
R
P
P
Другой вариант осуществления согласно изобретению создает способ для предоставления сигнала понижающего микширования на основе множества (например, комплекснозначных) входных сигналов (которые, например, могут представлять собой входные аудиосигналы). Способ содержит определение (например, вычисление или оценку) значения абсолютной величины (например, M или  ) значения в спектральной области сигнала понижающего микширования (например, для данного спектрального элемента разрешения) на основе информации громкости входных сигналов (например, на основе значений громкости, ассоциированных с данным спектральным элементом разрешения входных сигналов). Способ содержит определение (предпочтительно скаляр) значение фазы (например, P или  значения в спектральной области сигнала понижающего микширования (например, для данного спектрального элемента разрешения), например, независимо от определения значения абсолютной величины. Способ также содержит применение значения фазы (например, P или  ), чтобы получать комплексное представление чисел значения в спектральной области сигнала понижающего микширования (например, для данного спектрального элемента разрешения), на основе значения абсолютной величины значения в спектральной области. Этот способ основан на соображении, идентичном соображении для понижающего микшера, описанного выше. Также следует отметить, что способ может дополняться посредством любых из признаков, функциональностей и подробностей, описанных в данном документе, также относительно соответствующего понижающего микшера. Способ может дополняться посредством таких признаков, функциональностей и подробностей отдельно или в комбинации.
Другой вариант осуществления согласно изобретению создает компьютерную программу для осуществления способа, когда компьютерная программа работает на компьютере.
Краткое описание чертежей
Далее описываются варианты осуществления согласно изобретению со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 показывает принципиальную блок-схему понижающего микшера, согласно варианту осуществления изобретения;
Фиг. 2 показывает фрагмент принципиальной блок-схемы понижающего микшера, согласно другому варианту осуществления настоящего изобретения;
Фиг. 3 показывает принципиальную блок-схему определения значений фаз, согласно варианту осуществления изобретения;
Фиг. 4 показывает схематичное представление трех типов помех во время процедуры понижающего микширования;
Фиг. 5 показывает блок-схему последовательности сигналов для понижающего микширования с сохранением громкости, согласно варианту осуществления изобретения;
Фиг. 6 показывает блок-схему последовательности сигналов понижающего микширования громкости с адаптивными опорными абсолютными величинами;
Фиг. 7 показывает схематичное представление извлечения степени подавления трех входных сигналов в комплексной плоскости;
Фиг. 8 показывает блок-схему последовательности сигналов понижающего микширования громкости с адаптивной фазой; и
Фиг. 9 показывает блок-схему последовательности операций способа для предоставления сигнала понижающего микширования, согласно варианту осуществления изобретения; и
Фиг. 10 показывает принципиальную блок-схему аудиокодера, согласно варианту осуществления изобретения; и
Фиг. 11 показывает графическое представление примеров кривых преобразования, которые могут достигаться с использованием различных концепций преобразования для сохранения громкости, описанного в данном документе.
Подробное описание вариантов осуществления
1. Понижающий микшер согласно фиг. 1
Фиг. 1 показывает принципиальную блок-схему понижающего микшера 100, согласно варианту осуществления изобретения.
Понижающий микшер выполнен с возможностью принимать множество входных сигналов 110a, 110b и предоставлять, на их основе, сигнал 112 понижающего микширования. Например, первый входной сигнал, который может представлять собой входной аудиосигнал, может представляться посредством последовательности значений в спектральной области (которые ассоциированы с различными частотами или спектральными элементами разрешения), которые, например, могут быть в комплексном представлении чисел. Кроме того, второй входной сигнал также, например, может содержать последовательность значений в спектральной области (которые ассоциированы с различными частотами или спектральными элементами разрешения), которые могут представляться в комплексном представлении чисел.
Сигнал 112 понижающего микширования может представляться посредством значения в спектральной области сигнала понижающего микширования (или, в общем, посредством множества значений в спектральной области, ассоциированных с различными частотами), которое может представляться в форме комплексного представления чисел.
Далее рассматривается обработка только одного спектрального элемента разрешения. Тем не менее, значения в спектральной области различных спектральных элементов разрешения, например, могут обрабатываться независимо и идентично.
Понижающий микшер 100 содержит определение 120 значений абсолютной величины (которое также может рассматриваться как модуль определения значений абсолютной величины). Определение 120 значений абсолютной величины выполнено с возможностью определять значение 122 абсолютной величины значения 112 в спектральной области сигнала понижающего микширования (например, для данного спектрального элемента разрешения) на основе информации громкости входных сигналов 110a, 110b (например, на основе значений громкости, ассоциированных с данным спектральным элементом разрешения входных сигналов). Например, определение значений абсолютной величины содержит первое определение 124 (или модуль определения) информации громкости, которое определяет громкость значения в спектральной области первого входного сигнала 110a. Кроме того, определение 120 значений абсолютной величины также содержит второе определение 126 (или модуль определения) информации громкости, которое определяет информацию громкости значения в спектральной области второго входного сигнала 110b. Кроме того, определение 120 значений абсолютной величины типично определяет значение 122 абсолютной величины таким образом, что значение 122 абсолютной величины (которое может быть основой для определения значения абсолютной величины значения в спектральной области сигнала понижающего микширования либо которое может даже использоваться в качестве значения абсолютной величины значения в спектральной области сигнала понижающего микширования), основано на суммированной громкости соответствующего значения в спектральной области первого входного сигнала 110a и соответствующего значения в спектральной области второго входного сигнала 110b. Тем не менее, значение абсолютной величины 120 может содержать дополнительные коррекции таким образом, что значение абсолютной величины корректируется, четко определенным способом, так что оно соответствует громкости, которая меньше суммированной громкости или больше суммированной громкости, в зависимости от обстоятельств. Тем не менее, следует отметить, что значение абсолютной величины типично является одним скалярным значением, которое ассоциировано с определенным значением в спектральной области (например, ассоциировано с определенным спектральным элементом разрешения).
Понижающий микшер 100 также содержит определение 130 (или модуль определения) значений фазы. Соответственно, понижающий микшер выполнен с возможностью определять (скалярное) значение 132 фазы значения 112 в спектральной области сигнала понижающего микширования (например, для данного спектрального элемента разрешения). Например, определение 130 значений фазы принимает первый входной сигнал 110a и второй входной сигнал 110b или значение в спектральной области (ассоциированное с определенным спектральным элементом разрешения) первого входного сигнала 110a и значение в спектральной области (ассоциированное с определенным спектральным элементом разрешения) второго входного сигнала 110b. Например, определение 130 (или модуль определения) значений фазы определяет значение 132 фазы независимо от определения значения 122 абсолютной величины.
Кроме того, понижающий микшер также содержит применение 140 значений фазы (которое также может рассматриваться как модуль применения значений фазы). Соответственно, понижающий микшер выполнен с возможностью применять значение 132 фазы, чтобы получать комплекснозначное представление чисел значения 112 в спектральной области сигнала понижающего микширования (например, для данного спектрального элемента разрешения), на основе значения 122 абсолютной величины значения в спектральной области сигнала понижающего микширования.
Вообще говоря, следует отметить, что понижающий микшер 100, например, может определять значение абсолютной величины 112 и значение 132 фазы независимо и после этого, в качестве конечного этапа обработки, применять значение 132 фазы, чтобы получать комплексное представление чисел значения в спектральной области сигнала понижающего микширования. Например, значение 132 фазы может использоваться для того, чтобы извлекать синфазный компонент и квадратурный компонент значения в спектральной области сигнала понижающего микширования на основе значения абсолютной величины таким образом, что получается декартово представление (представление действительной части и мнимой части) комплекснозначного значения в спектральной области сигнала понижающего микширования. Посредством извлечения значения абсолютной величины на основе информации громкости входных сигналов (например, на основе значений громкости данного спектрального элемента разрешения входных сигналов) может получаться хорошая степень численной стабильности, в то время как может не допускаться повышенная громкость (которая, например, вызывается посредством простого суммирования значений в спектральной области в случае конструктивных помех) и значительные падения громкости (которые вызываются посредством деструктивных помех в случае, если выполнено простое комплекснозначное суммирование значений в спектральной области). Кроме того, числовые нестабильности, которые представляют собой результат решений, выполняющих сильную посткоррекцию комплексно-суммированных значений, могут не допускаться.
В качестве вывода, понижающий микшер, как описано со ссылкой на фиг. 1, содержит значительные преимущества, которые частично представляют собой результат отдельной обработки значений 122 абсолютной величины и значений 132 фазы и которые также представляют собой результат учета информации громкости при определении значения 122 абсолютной величины.
Кроме того, следует отметить, что понижающий микшер 100 согласно фиг. 1 может дополняться посредством любых из признаков, функциональностей и подробностей, описанных в данном документе, как отдельно, так и в комбинации. Кроме того, признаки, функциональности и подробности, описанные относительно понижающего микшера 100, могут вводиться в другие варианты осуществления, как отдельно, так и в комбинации.
2. Понижающий микшер согласно фиг. 2
Фиг. 2 показывает фрагмент принципиальной блок-схемы понижающего микшера, согласно варианту осуществления изобретения.
В частности, фиг. 2 представляет извлечение значения 222 абсолютной величины (которое может соответствовать значению 122 абсолютной величины, описанному со ссылкой на фиг. 1) на основе первого входного сигнала 210a (который может соответствовать первому входному сигналу 110a, описанному со ссылкой на фиг. 1) и также на основе второго входного сигнала 210b (который может соответствовать второму входному сигналу 110b, описанному со ссылкой на фиг. 1).
Также следует отметить, что модуль обработки или функциональный блок 200, показанный на фиг. 2, например, может занимать место определения 120 значений абсолютной величины (модуля определения значений абсолютной величины), показанного на фиг. 1.
Функциональный блок 200 содержит определение 220 опорных значений абсолютной величины или модуль определения опорных значений абсолютной величины, функциональность которого, в общем, может быть аналогичной функциональности определения 120 значений абсолютной величины/модуля определения значений абсолютной величины. Например, модуль 220 определения опорных значений абсолютной величины может быть выполнен с возможностью предоставлять опорное значение 221 абсолютной величины на основе первого входного сигнала 210a и на основе второго входного сигнала 210b. Например, определение 220 опорных значений абсолютной величины может извлекать опорное значение 221 абсолютной величины значения в спектральной области сигнала понижающего микширования (которое может рассматриваться как немодифицированное опорное значение) на основе информации громкости входных сигналов 210a, 210b. Например, опорное значение 221 абсолютной величины может быть скалярным значением, которое ассоциировано с данным спектральным элементом разрешения сигнала понижающего микширования, и может быть основано на значении громкости, ассоциированном с данным спектральным элементом разрешения первого входного сигнала 210a, и на значении громкости, ассоциированном с данным спектральным элементом разрешения второго входного сигнала 210b. Соответственно, опорное значение абсолютной величины значения в спектральной области, например, может соответствовать громкости, которая превышает наименьшее значение громкости (например, данного спектрального элемента разрешения входных сигналов) и которая типично даже больше наибольшего значения громкости данного спектрального элемента разрешения входных сигналов 210a, 210b. Другими словами, опорная абсолютная величина 221 типично не является сильно небольшой, если данный спектральный элемент разрешения не содержит очень низкую интенсивность сигнала в обоих входных сигналах 210a, 210b. С другой стороны, опорное значение 221 абсолютной величины типично также не содержит чрезмерно большое значение, поскольку оно основано на информации громкости всех входных сигналов. Предпочтительно, опорное значение 221 абсолютной величины не затрагивается посредством конструктивных и деструктивных помех входных сигналов, которые должны возникать, если фаза входных сигналов рассматривается при определении опорного значения абсолютной величины. Наоборот, опорное значение абсолютной величины, например, может отражать суммирование громкости в данном рассматриваемом спектральном элементе разрешения входных сигналов.
Соответственно, опорное значение 221 абсолютной величины является хорошей основой для возможных коррекций, поскольку можно предполагать, что оно находится в пределах численно обоснованного диапазона и в силу этого может масштабироваться с понижением и масштабироваться с повышением, не вызывая числовые нестабильности.
Функциональный блок 200 также содержит вычисление 230 степени подавления, которое выполнено с возможностью принимать входные сигналы 210a, 210b (или, по меньшей мере, значение в спектральной области рассматриваемого данного спектрального элемента разрешения). Вычисление 230 степени подавления предоставляет информацию 232 степени подавления, которая, в общем, описывает то, насколько большим должно быть подавление (деструктивные помехи), если значения в спектральной области рассматриваемого данного спектрального элемента разрешения входных сигналов суммированы в качестве комплексных чисел (т.е. при рассмотрении их фаз и возможных эффектов подавления). Могут использоваться различные механизмы для вычисления информации 232 степени подавления (которая может рассматриваться как текущая или мгновенная информация степени подавления и которая может быть ассоциирована с рассматриваемым данным спектральным элементом разрешения). Тем не менее, в предпочтительном подходе, информация 232 степени подавления, которая также обозначается с помощью Q, принимает значение, близкое к нулю, если существует высокая степень подавления, и информация Q степени подавления принимает значение, близкое к 1, если существует низкая степень подавления (например, в данном рассматриваемом спектральном элементе разрешения).
Информация 232 степени подавления, например, может использоваться для того, чтобы масштабировать опорное значение 221 абсолютной величины, чтобы извлекать (масштабированное) значение абсолютной величины 222 из значения в спектральной области. Тем не менее, даже если должно быть возможным непосредственно использовать информацию 232 степени подавления, чтобы масштабировать опорное значение 221 абсолютной величины, предпочтительно иметь дополнительную обработку, которая описывается ниже.
В предпочтительном варианте осуществления, функциональный блок 200 также содержит преобразование 240 (или модуль преобразования), которое принимает (мгновенную/текущую) информацию степени подавления (которая описывает степень подавления в рассматриваемом спектральном элементе разрешения, ассоциированном с временным блоком, который должен в данный момент обрабатываться), и предоставляет преобразованное значение 242 степени подавления (или преобразованную информацию степени подавления) на его основе. Например, преобразованное значение степени подавления предоставляется в масштабирование (или модуль 260 масштабирования), которое масштабирует опорное значение 221 абсолютной величины на основе преобразованного значения 242 степени подавления, чтобы за счет этого извлекать значение 222 абсолютной величины значения в спектральной области сигнала понижающего микширования.
Функциональный блок 200 предпочтительно содержит временное сглаживание 250/отслеживание предыстории, которое предоставляет информацию 252 предыстории степени подавления или временно сглаженную информацию степени подавления в преобразование 240/определение регулирования значений абсолютной величины. Другими словами, преобразование 240/определение регулирования значений абсолютной величины предпочтительно принимает мгновенную (текущую) информацию 232 степени подавления и информацию 252 предыстории степени подавления (которая, например, может представлять собой временно сглаженную информацию степени подавления). Соответственно, преобразование 240/определение регулирования значений абсолютной величины может предоставлять преобразованное значение 242 степени подавления на основе мгновенной (текущей) информации 232 степени подавления, при этом мгновенная (текущая) информация 232 степени подавления может избирательно увеличиваться в зависимости от информации 252 предыстории степени подавления, чтобы за счет этого извлекать преобразованную информацию степени подавления 242.
Например, информация 232 степени подавления может быть значением в диапазоне между 0 и 1 таким образом, что прямое масштабирование опорного значения 221 абсолютной величины с информацией 232 степени подавления типично должно приводить к уменьшению энергии. Тем не менее, обнаружено, что опорное значение 221 абсолютной величины должно масштабироваться с понижением посредством модуля 260 масштабирования в случае, если существует высокая степень подавления между входными сигналами 210a, 210b (например, в рассматриваемом спектральном элементе разрешения). С другой стороны, также обнаружено, что не проблематично "масштабировать с повышением" опорное значение 221 абсолютной величины умеренным способом в моменты времени, в которые существует низкая степень подавления. Другими словами, обнаружено, что преобразованное значение 242 степени подавления должно быть существенно меньше 1 (например, меньше 0,5 или еще меньше 0,3 или еще меньше 0,1), если существует высокая степень подавления в текущий момент времени. С другой стороны, обнаружено, что то, что не проблематично, если преобразованное значение 242 степени подавления в определенной степени больше 1 (например, между 1 и 1,2 или между 1 и 1,5, или даже между 1 и 2) в моменты времени, в которые существует низкая степень подавления. Соответственно, преобразование 240/определение регулирования значений абсолютной величины избирательно увеличивает преобразованное значение 242 степени подавления относительно мгновенной (текущей) информации 232 степени подавления в зависимости от информации 252 предыстории степени подавления. Например, если мгновенная информация 232 степени подавления принимает сравнительно небольшое значение за определенный период времени, преобразование 240/определение регулирования значений абсолютной величины может увеличивать преобразованное значение 242 степени подавления относительно мгновенной информации 232 степени подавления (по меньшей мере, при наличии низкой степени подавления), так что оно превышает 1 (по меньшей мере, в момент времени, в котором существует низкая степень подавления), чтобы за счет этого, по меньшей мере, частично компенсировать потери энергии, которые вызваны посредством сравнительно небольшой информации 232 степени подавления (что нормально также приводит к сравнительно небольшому преобразованному значению 242 степени подавления, которое существенно меньше 1). С другой стороны, если мгновенная (текущая) информация 232 степени подавления имеет значение около 1, увеличение преобразованного значения 242 степени подавления относительно мгновенной (текущей) информации 232 степени подавления типично является небольшим, поскольку необязательно в такой ситуации компенсировать большие потери энергии. В качестве вывода, степень (или величина), до которой преобразованное значение 242 степени подавления увеличивается по сравнению с мгновенной (текущей) информацией степени подавления, зависит от информации 252 предыстории степени подавления, и увеличение является сравнительно значительным, если возникают (сравнительно) большие потери энергии в прошлом, и увеличение является сравнительно небольшим, если возникают только (сравнительно) небольшие потери энергии в прошлом.
Типично, сравнительно небольшая информация степени подавления (близкая к 0, что указывает высокую степень подавления) также приводит к сравнительно небольшому преобразованному значению 242 степени подавления (которое существенно меньше 1). С другой стороны, если мгновенная информация степени подавления имеет значение около 1 (указывающее низкую степень подавления), то преобразованное значение 242 степени подавления может быть меньше 1 или также может быть больше 1, например, если мгновенная информация степени подавления принимает значение, существенно меньшее 1, в течение определенного периода времени до этого. Соответственно, значение 222 абсолютной величины значения в спектральной области, которое получается посредством модуля 260 масштабирования, типично меньше опорного значения 221 абсолютной величины, если существует высокая степень подавления, и типично даже больше опорного значения 221 абсолютной величины, если существует низкая степень подавления, и если существует высокая степень подавления в течение определенного периода времени до этого.
Как упомянуто выше, функциональный блок 200, например, может заменять определение 120/модуль определения значений абсолютной величины по фиг. 1 в некоторых вариантах осуществления изобретения.
smooth
я
mapped
R
Кроме того, следует отметить, что функциональный блок 200 может дополняться посредством любых из признаков, функциональностей и подробностей, описанных в данном документе, также относительно других вариантов осуществления. Такие признаки, функциональности и подробности могут добавляться в функциональный блок 200 отдельно или в комбинации. В частности, уравнения, описанные для вычисления мгновенной (текущей) информации Q степени подавления, для вычисления информации Q предыстории степени подавлени, для вычисления преобразованной информации Q степени, для вычисления опорного значения M абсолютной величины и для вычисления (масштабированного) значения (  ) абсолютной величины, описанных в данном документе, могут необязательно использоваться при реализации функциональности функционального блока 200. Тем не менее, следует отметить, что достаточно, если используются одно или более упомянутых уравнений, и что необязательно использовать все эти уравнения в комбинации.
3. Определение значений фазы согласно фиг. 3
Фиг. 3 показывает схематичное представление определения значений фазы, согласно варианту осуществления настоящего изобретения. Определение значений фазы согласно фиг. 3 полностью обозначается с помощью 300. Следует отметить, что определение 300 значений фазы может, необязательно, заменять определение 130 значений фазы в понижающем микшере 100 согласно фиг. 1. Следует отметить, что определение 300 значений фазы необязательно может использоваться в сочетании с функциональным блоком 200 (который может заменять блок 120 в понижающем микшере 100 согласно фиг. 1). Тем не менее, определение 300 значений фазы также может использоваться в сочетании с определением 120 значений абсолютной величины.
4
1
2
3
По ссылке с номером 310, представление в частотно-временной области входного сигнала (например, входного аудиосигнала) показывается. Абсцисса 312 описывает время, и ордината 313 описывает частоту. Соответственно, частотно-временные элементы разрешения показаны. Например, выделяются три частотно-временных элемента 314a, 314b, 314c разрешения, которые ассоциированы с частотой f (или с частотным диапазоном, или с частотным элементом разрешения) и которые ассоциированы с временами t, t, t (или временными частями, или кадрами).
4
1
2
3
Аналогично, по ссылке с номером 320, показывается графическое представление представления в частотно-временной области второго входного сигнала. Абсцисса 322 описывает время, и ордината 323 описывает частоту. Спектральные элементы 324a, 324b, 324c разрешения (например, на частоте f и в моменты t, t, t времени) выделяются, при этом, например, комплекснозначное значение в спектральной области ассоциировано с каждым из спектральных элементов 324a, 324b, 324c разрешения.
4
1
2
3
Аналогично, схематичное представление по ссылке с номером 330 показывает представление в частотно-временной области третьего входного сигнала. Абсцисса 332 описывает время, и ордината 333 описывает частоту. Три спектральных элемента 334a, 334b, 334c разрешения на частоте f и в моменты t, t, t времени выделяются.
Далее описывается обработка, которая может выполняться посредством определения значений фазы (например, посредством определения 130 значений фазы/модуля определения значений фазы). Например, первое усреднение 360 (или первый модуль усреднения) может формировать среднее (например, интенсивности или энергии, или громкости) по значениям в спектральной области множества спектральных элементов разрешения, которые ассоциированы с идентичной частотой и которые ассоциированы с последующими временами. Усреднение может представлять собой усреднение на основе скользящего окна или может представлять собой рекурсивное усреднение (на основе конечного импульсного отклика). Кроме того, следует отметить, что усреднение, например, может усреднять комплексные значения значений в спектральной области либо может усреднять абсолютные величины или значения громкости значений в спектральной области. Соответственно, модуль 330 усреднения предоставляет весовое значение 362.
Аналогично, второе усреднение (или второй модуль 370 усреднения определяет среднее во времени (например, интенсивности, энергии или громкости) значений в спектральной области, ассоциированных со спектральными элементами 324a-324c разрешения второго входного сигнала, чтобы за счет этого получать весовое значение 372 для второго входного сигнала.
Кроме того, третье усреднение (или третий модуль 380 усреднения) определяет среднее во времени (например, интенсивности, энергии или громкости) по значениям в спектральной области, ассоциированным со спектральными элементами 334a-334c разрешения третьего входного сигнала, чтобы за счет этого получать весовое значение 382 для третьего входного сигнала.
Другими словами, первое усреднение 360, второе усреднение 370 и третье усреднение 380 могут выполнять аналогичные или идентичные функциональности, но работать со значениями в спектральной области различных входных сигналов.
Определение 300 значений фазы также содержит масштабирование или взвешивание 364 текущего значения в спектральной области первого входного сигнала (либо извлекаемого из первого входного сигнала), чтобы за счет этого получать масштабированное значение 366 в спектральной области первого входного сигнала. Аналогично, определение значений фазы содержит второе масштабирование или взвешивание 374, в котором текущее значение в спектральной области второго входного сигнала (например, ассоциированного с в данный момент обрабатываемым спектральным элементом разрешения) масштабируется с использованием весового значения 372, извлекаемого из второго входного сигнала. Соответственно, взвешенное значение 376 в спектральной области второго входного сигнала получается. Аналогично, определение 300 значений фазы содержит третье масштабирование или взвешивание 384, которое масштабирует текущее значение в спектральной области третьего входного сигнала с использованием весового значения 382 третьего входного сигнала, чтобы за счет этого получать значение 386 в спектральной области третьего входного сигнала.
Определение 300 значений фазы также содержит комбинирование 390 масштабированного значения 366 в спектральной области первого входного сигнала, масштабированного значения 376 в спектральной области второго входного сигнала и масштабированного значения 386 в спектральной области третьего входного сигнала. Например, комбинирование с суммированием выполняется, при этом следует отметить, что масштабируемые комплексные значения (например, в декартовом представлении, содержащем действительный компонент и мнимый компонент) комбинируются. Соответственно, как результат комбинирования 390, получается взвешенная сумма 392, которая типично является комплексным значением и которая типично находится в декартовом представлении (с действительным компонентом и мнимым компонентом). Определение 300 значений фазы также содержит вычисление 396 фазы, в котором значение фазы взвешенной суммы 392 вычисляется и предоставляется в качестве значения 398 фазы. Значение 398 фазы, например, может соответствовать значению 132 фазы, описанному со ссылкой на фиг. 1, и может использоваться посредством применения 140 значений фазы.
Определение 300 значений фазы основано на такой идее, что текущее значение в спектральной области входного сигнала, который является сравнительно сильным (например, по сравнению с другими входными сигналами) в прошлом (например, в спектральных элементах разрешения, ассоциированных с более ранними временами, но с частотой, идентичной частоте текущего значения в спектральной области), должен взвешиваться сильнее в вычислении 396 фазы по сравнению со значениями в спектральной области одного или более входных сигналов, которые являются сравнительно более слабыми в прошлом (например, в спектральных элементах разрешения, имеющих частоту, идентичную частоте текущего значения в спектральной области, но ассоциированных с более ранними временами). Обнаружено, что вероятность того, что значение 398 фазы содержит большую ошибку или содержит быстрое изменение, уменьшается посредством такой концепции, и что, как результат, (слышимые) артефакты в сигнале понижающего микширования могут уменьшаться или не допускаться посредством использования такого определения значений фазы. Другими словами, вычисление 396 фазы, которое выполняется для того, чтобы получать значение 398 фазы, не выполняется на основе равновзвешенной комбинации текущих значений в спектральной области различных входных сигналов, но текущие значения в спектральной области различных входных сигналов взвешиваются в соответствии с прошлым средним по времени интенсивности, энергии или громкости (например, в прошлых спектральных элементах разрешения идентичной частоты). Таким образом, повышается надежность вычисления фазы.
Тем не менее, следует отметить, что любые из признаков, функциональностей и подробностей, описанных в данном документе, например, относительно определения значений фазы, также могут применяться в сочетании с определением 300 значений фазы, как отдельно, так и в комбинации. Кроме того, следует отметить, что определение 300 значений фазы необязательно может вводиться в любой из других вариантов осуществления, описанных в данном документе.
4. Вариант осуществления согласно фиг. 5
Далее описывается вариант осуществления понижающего микшера со ссылкой на фиг. 5.
1
N
Фиг. 5 показывает принципиальную блок-схему понижающего микшера 500, согласно варианту осуществления изобретения. Понижающий микшер выполнен с возможностью принимать множество входных сигналов 500a-500n, которые также обозначаются с помощью s-s.
LoudnessDMX
Кроме того, понижающий микшер 500 предоставляет, в качестве выходного сигнала, сигнал 592 понижающего микширования, который также обозначается с помощью s. Понижающий микшер 500 необязательно содержит гребенку 501 фильтров, которая, например, представляет собой гребенку аналитических фильтров (или, вообще говоря, которая служит для того, чтобы выполнять анализ). Например, гребенка 501 фильтров может отдельно анализировать различные входные сигналы 500a-500n. Например, гребенка фильтров может предоставлять комплекснозначное представление для каждого из входных сигналов 500a-500n. Например, гребенка 501 фильтров предоставляет первое комплекснозначное представление 501a на основе первого входного сигнала 500a и предоставляет n-ое комплекснозначное представление 501n на основе n-ого входного сигнала 500n. Например, первое комплекснозначное представление 501a может содержать множество спектральных значений, например, по одному для каждого спектрального элемента разрешения. Отдельные спектральные значения могут быть комплекснозначными и, например, могут представляться в декартовой форме (с отдельным представлением чисел для действительной части и мнимой части).
Далее, описывается обработка только для одного спектрального элемента разрешения. Тем не менее, следует отметить, что различные спектральные элементы разрешения (имеющие ассоциированные различные частоты), например, могут обрабатываться отдельно, но, например, с использованием идентичной концепции.
1
1
N
N
Например, представление в спектральной области рассматриваемого спектрального элемента разрешения первого входного сигнала обозначается с помощью Re (представления чисел для действительной части значения в спектральной области первого входного сигнала) и Im (представления чисел для мнимой части значения в спектральной области первого входного сигнала). Аналогично, представление в спектральной области n-ого входного сигнала обозначается с помощью Re (представления чисел для действительной части значения в спектральной области n-ого входного сигнала) и Im (представления чисел для мнимой части спектрального значения n-ого входного сигнала).
N
N
Понижающий микшер также содержит оценку 503 громкости, при этом громкость отдельно оценивается для различных входных сигналов. Например, значение 503a громкости первого входного сигнала 500a вычисляется или оценивается на основе представления чисел для действительной части значения в спектральной области первого входного сигнала и на основе представления чисел для мнимой части значения в спектральной области первого входного сигнала (для рассматриваемого спектрального элемента разрешения). Аналогично, громкость n-ого входного сигнала вычисляется или оценивается на основе представления Re, Im чисел значения в спектральной области n-ого входного сигнала (для рассматриваемого спектрального элемента разрешения), чтобы за счет этого получать значение 503b громкости. Отдельные блоки или модули оценки громкости обозначаются с помощью 503.
R
Кроме того, отдельные значения 503a, 503b громкости, которые отдельно представляют громкость отдельных входных сигналов 500a-500n, комбинируются (например, суммируются) в модуле 503c комбинирования, чтобы за счет этого получать значение 503d суммированной громкости. Соответственно, значение 503d суммированной громкости описывает суммированную громкость входных сигналов 501a-501n. Понижающий микшер 500 также содержит преобразование 504 громкости в абсолютную величину, которое принимает значение 503d суммированной громкости и преобразует значение 503d суммированной громкости в значение 505 абсолютной величины, которое может рассматриваться как опорная абсолютная величина M. Опорное значение 505 абсолютной величины может быть скалярным значением, которое представляет суммированную громкость, описанную посредством значения 503d суммированной громкости (но которое может находиться в области значения амплитуды).
Понижающий микшер 500, необязательно, может содержать модуль 506 масштабирования, который, тем не менее, может быть неактивным в варианте осуществления по фиг. 5. Соответственно, модифицированное ("масштабированное") значение 506a абсолютной величины может быть идентичным опорному значению 505 абсолютной величины.
N
DMX
1
N
DMX
Понижающий микшер 500 также содержит вычисление 508 фазы. Вычисление 508 фазы может принимать представление чисел комплекснозначного значения суммы, которое комбинирует значения 501a-501n в спектральной области. Например, представления Re1-Re чисел действительных частей значений 501a-501n в спектральной области могут суммироваться (например, в сумматоре или модуле 507a комбинирования), чтобы получать представление 507b чисел (также обозначаемое с помощью Re) для действительной части значения суммы. Аналогично, представления чисел Im-Im мнимых частей значений 501a-501n в спектральной области суммируются (например, посредством сумматора или модуля 507c комбинирования), чтобы получать представление 507d чисел (также обозначаемое с помощью Lm) для мнимой части значения суммы.
Вычисление 508 фазы вычисляет значение 508a фазы на основе представления 507b чисел для действительной части значения суммы и на основе представления 507d чисел для мнимой части значения суммы. Например, вычисление фазы может содержать операцию взятия арктангенса, при этом может учитываться различие между квадрантами, в которых расположены представления чисел для действительной части и мнимой части значения суммы. Таким образом, значение 508a фазы, например, может указывать диапазон между 0 и 360° или между 0 и 2π, или между -180° и +180°, или между -π и+π.
Понижающий микшер 500 также содержит необязательную коррекцию 510 фазы, которая типично является неактивной в варианте осуществления согласно фиг. 5.
Понижающий микшер 500 также содержит применение 511 значений фазы/восстановление представления чисел. Применение значений фазы принимает значение 506a абсолютной величины (которое может быть идентичным опорному значению 505 абсолютной величины в настоящем варианте осуществления), и также принимает скорректированное значение 510a фазы, которое может быть идентичным значению 508a фазы в настоящем варианте осуществления.
active
Применение 511 значений фазы определяет представление чисел для действительной части (Re) из значения в спектральной области сигнала понижающего микширования, а также определяет представление чисел для мнимой части значения в спектральной области сигнала понижающего микширования. Соответственно, применение 511 значений фазы предоставляет представление 511a чисел для действительной части значения в спектральной области сигнала понижающего микширования и представление 511b чисел для мнимой части значения в спектральной области сигнала понижающего микширования.
Как представление чисел для действительной части, так и представление чисел для мнимой части 511a, 511b предоставляются в необязательную гребенку 502 фильтров, которая может представлять собой гребенку синтезирующих фильтров. Гребенка 502 фильтров может быть выполнена с возможностью предоставлять представление 592 во временной области сигнала понижающего микширования на основе представлений чисел (комплекснозначных) значений в спектральной области сигнала понижающего микширования, например, для множества спектральных элементов разрешения (например, имеющих ассоциированные различные частоты).
Соответственно, может получаться сигнал понижающего микширования, при этом значение абсолютной величины и значение фазы обрабатываются независимо (например, в качестве скалярных значений), и при этом комплекснозначное представление чисел значений в спектральной области формируется только в качестве конечного этапа обработки (например, перед повторным синтезом представления во временной области).
Далее обобщается концепция, описанная со ссылкой на фиг. 5. Следует отметить, что концепции, описанные ниже, могут использоваться независимо от вышеуказанных подробностей. Тем не менее, любая из подробностей, описанных ниже, также может использоваться в комбинации с любым из вариантов осуществления, описанных в данном документе.
Следует отметить, что концепция может рассматриваться как "понижающее микширование с сохранением громкости". Новый подход, описанный в данном документе, не просто микширует с понижением входные сигналы и затем пытается корректировать нежелательные побочные эффекты в дальнейшем. Он вычисляет требуемую информацию абсолютной величины и фазы (с сохранением громкости) независимо друг от друга, на основе двух различных концепций.
Например, требуемая (опорная) абсолютная величина вычисляется непосредственно. Она является свободной от нежелательных помех и в силу этого свободной от любых нежелательных артефактов понижающего микширования (DMX) при комбинировании с соответствующей информацией фазы. Информация фазы вычисляется отдельно и исходит из пассивного понижающего микширования (DMX).
На фиг. 5, показывается примерный вариант осуществления изобретения для одной полосы частот (между анализом 501 и синтезом 502 гребенки фильтров). Конечно, различные размеры буферов являются возможными. Кроме того, следует отметить, что вычисление степени подавления (предотвращение артефактов) и преобразование (сохранение громкости), которые показаны на фиг. 5, не представляют собой существенные компоненты варианта осуществления согласно фиг. 5, а должны рассматриваться как необязательные расширения. Аналогично, вычисление значений фазовой коррекции должно рассматриваться как необязательное дополнение.
Далее приводятся некоторые дополнительные пояснения относительно вычисления абсолютной величины или опорной абсолютной величины (505 или 506a) и относительно вычисления фазы.
(Опорная) абсолютная величина
R
Входные сигналы микшируются с понижением с сохранением громкости, чтобы формировать абсолютную величину M 505, которая показывается посредством красных/непрерывных линий, или посредством линий, помеченных как "вычисление абсолютных величин" на фиг. 5, следующим образом:
1. Громкость каждого входного сигнала вычисляется (оценка 503 громкости); громкость может представлять громкость на основе слуховой системы человека, значений энергии, значений абсолютной величины и т.д.;
2. Значения громкости суммируются;
3. Суммирование громкости транслируется в абсолютную величину (преобразование 504 громкости в абсолютную величину); например, квадратный корень используется для значений энергии;
R
R
R
Mod
4. Необязательный: взвешивание M (опорной абсолютной величины M 505) приводит к модифицированной (или масштабированной) абсолютной величине M 506a (например, с использованием масштабирования 506); ниже описываются дополнительные детали при описании понижающего микширования громкости с адаптивной опорной абсолютной величиной; этот этап может выполняться, чтобы не допускать потенциальных артефактов, которые могут предположительно вызываться посредством ошибочной информации фазы.
Фаза
P
P
Фаза P 508a (также обозначаемая как "пассивная DMX-фаза P") извлекается из пассивного понижающего микширования (например, полученного посредством модулей 507a, 507c комбинирования или сумматоров и обозначаемого с помощью 507b, 507d), при этом извлечение фазы показывается с синими/непрерывными линиями или линиями, помеченными "вычисление фазы", следующим образом:
1. Входные сигналы микшируются с понижением пассивным способом (простое суммирование), например, в модулях 507a, 507c комбинирования или сумматорах; необязательно можно использовать по-другому обусловленное понижающее микширование DMX в модулях 507a, 507c комбинирования или сумматорах; Тем не менее, в этом случае, как суммирование громкости, так и дополнительные процедуры, описанные ниже в разделах, описывающих "понижающее микширование громкости с адаптивной опорной абсолютной величиной" и "понижающее микширование громкости с адаптивной фазой", должны обрабатываться (или обязаны обрабатываться) в смысле другого типа понижающего микширования;
DMX
DMX
2. Re и Im (507b, 507d) используются для того, чтобы вычислять информацию фазы (например, с использованием вычисления 508 фазы), например, посредством использования четырехквадрантной обратной функции тангенса.
P
P
P
Mod
3. Необязательный: фаза P 508a (также обозначаемая как "пассивная DMX-фаза P") может модифицироваться, чтобы формировать скорректированное или модифицированное значение P 510a фазы (например, с использованием модуля 510 комбинирования или сумматора). Подробности относительно этой проблемы описываются ниже, например, в разделе, описывающем понижающее микширование громкости с адаптивной фазой. Этот этап может выполняться, чтобы создавать фазовый отклик без скачков фазы.
R
R
P
P
Mod
Mod
Опорная абсолютная величина M (505) (или модифицированное значение M 506a абсолютной величины) и фаза P (508a) (или модифицированная фаза P 510a) комбинируются в применении 511 значений фазы, т.е. при переходе из полярной в декартову форму (или представление чисел).
5. Вариант осуществления согласно фиг. 6
Фиг. 6 показывает принципиальную блок-схему понижающего микшера с использованием понижающего микширования громкости с адаптивной опорной абсолютной величиной. Следует отметить, что понижающий микшер 600 согласно фиг. 6 является аналогичным понижающему микшеру 500 согласно фиг. 5 таким образом, что идентичные сигналы, блоки, признаки и функциональности не описываются снова. Кроме того, следует отметить, что идентичные признаки и сигналы обозначаются с помощью идентичных ссылок с номерами таким образом, что следует обратиться к вышеприведенному описанию.
Тем не менее, в дополнение к понижающему микшеру 500, понижающий микшер 600 содержит вычисление 612 степени подавления, которое может рассматриваться как предотвращение артефактов, и преобразование 613, которое может рассматриваться как сохранение громкости. Например, предотвращение 612 степени подавления принимает значения 501a-501n в спектральной области (или, более точно, их декартовы представления чисел). Вычисление 612 степени подавления предоставляет значение 612a усиления, которое также обозначается с помощью Q, в преобразование 613.
mapped
Преобразование 613 принимает значение 612 усиления (Q) и предоставляет, на его основе, преобразованное значение 613a усиления, которое также обозначается с помощью Q, в модуль 506 масштабирования, при этом модуль 506 масштабирования масштабирует опорное значение 505 абсолютной величины с использованием преобразованного значения 613a усиления, чтобы за счет этого получать масштабированное значение абсолютной величины 506a, которое вводится в применение 511 значений фазы. Например, вычисление 612 степени подавления может определять значение 612a усиления таким образом, что значение 612a усиления принимает сравнительно небольшое значение (например, значение, близкое к нулю), если существует высокая степень подавления, и определять значение 612a усиления, чтобы принимать сравнительно большее значение (например, значение, близкое к единице), когда существует сравнительно небольшая степень подавления между входными сигналами (например, при рассмотрении комбинации входных сигналов посредством комплекснозначного суммирования). Таким образом, усиление 612a выбирается небольшим, если обнаружено (или предполагается), что должна обеспечиваться высокая степень подавления, которая соответствует высокой степени ненадежности значения фазы или риску скачков фазы. С другой стороны, значение 612a усиления выбирается сравнительно большим, если имеется небольшая степень подавления, что подразумевает то, что значение фазы является сравнительно надежным, и то, что отсутствуют несоответствующие скачки фазы.
Преобразование 613 помогает, по меньшей мере, частично компенсировать энергетические потери (по меньшей мере, за среднее по времени), которые вызваны посредством уменьшения (масштабированного) значения 506a абсолютной величины в случае, если существует сравнительно высокая степень подавления. Например, преобразование 613 может получать преобразованное усиление 613a таким образом, что преобразованное усиление иногда больше единицы (например, когда существует сравнительно небольшая степень подавления, и когда возникают энергетические потери, вызываемые посредством сравнительно небольших значений Q усиления ранее), и таким образом, что преобразованное значение 613 усиления существенно меньше единицы в другие периоды времени (например, когда существует сравнительно большая степень подавления).
Ниже описываются подробности относительно вычисления 612 степени подавления и относительно преобразования 613. Тем не менее, также следует обратиться к вышеприведенным пояснениям, при этом вышеуказанные функциональности необязательно могут вводиться в понижающий микшер 600.
Далее предоставляются некоторые дополнительные пояснения. В частности, следует отметить, что понижающий микшер 600 расширяется по сравнению с понижающим микшером 500, чтобы лучше справляться со случаем, в котором существует высокая степень подавления.
Тем не менее, в общем, можно сказать, что понижающий микшер 600 согласно фиг. 6 и также понижающий микшер 800 согласно фиг. 8 предоставляют необязательные решения для частных случаев.
R
P
Как уже упомянуто выше (например, в пояснении случая, в котором оба вектора имеют аналогичные абсолютные величины и угловую разность приблизительно в 180 градусов; см. фиг. 4c), суммирование входных сигналов может приводить к очень сильным подавлениям и формировать сильные скачки фазы. В этом случае, комбинация опорной абсолютной величины M 505 с ошибочной информацией P 508a фазы вызывает слышимые артефакты.
Чтобы преодолевать эти искусственно сформированные артефакты, два решения представляются в данном документе (например, со ссылкой на фиг. 6 и 8). Первое решение содержит ослабление артефактов ниже значения порога слышимости посредством понижения опорной абсолютной величины. Это описывается в разделе, озаглавленном "понижающее микширование громкости с адаптивной опорной абсолютной величиной". В качестве второго решения, которое может использоваться альтернативно или в дополнение к первому решению, может выполняться коррекция ненадежного фазового отклика. Это описывается в разделе, озаглавленном "понижающее микширование громкости с адаптивной фазой".
Понижающее микширование громкости с адаптивной опорной абсолютной величиной
Одна возможность для преодоления искусственно сформированных артефактов состоит в том, чтобы ослаблять опорную абсолютную величину (например, опорную абсолютную величину 505) в определенные моменты во времени, до тех пор, пока они не становятся неслышимыми. Для этого, "левое крыло" понижающего микшера 500 согласно фиг. 5 активируется (которое показывается, например, посредством красных/пунктирных линий или посредством типа линий, помеченных как "необязательная модификация абсолютной величины").
Относительно этой проблемы, следует обратиться к фиг. 6, который показывает принципиальную блок-схему понижающего микшера с понижающим микшированием громкости с адаптивной опорной абсолютной величиной.
При вычислении 612 степени подавления, входные сигналы отклоняются, и степень подавления вычисляется (или оценивается). Если отсутствуют деструктивные помехи, то значение 612a усиления, также обозначаемое с помощью Q, равно 1. В случае полного подавления, значение 612a усиления, также обозначаемое с помощью Q, равно 0. Этот показатель используется для того, чтобы обнаруживать потенциальную ошибочную информацию фазы.
mapped
На втором этапе, который обозначается как преобразование 613, степень подавления преобразуется таким образом, что она становится усилением Q с сохранением громкости (например, преобразованным усилением 613a). Ниже описываются оба этапа либо функциональных блока или функциональности 612, 613.
Предотвращение артефактов/вычисление 612 степени подавления
Фиг. 7 показывает схематичное представление извлечения степени подавления трех входных сигналов в комплексной плоскости. Абсцисса 710 обозначает действительную часть (или действительный компонент), и ордината 712 описывает мнимую часть (или мнимый компонент). Первое комплексное значение, например, представляющее спектральный элемент разрешения первого входного сигнала, представляется посредством первого вектора 720a, второе комплексное значение, которое, например, может представлять спектральный элемент разрешения второго входного сигнала, представляется посредством второго вектора 720b, и третье комплексное значение, которое, например, может представлять спектральный элемент разрешения третьего входного сигнала, представляется посредством третьего вектора 720c. Другими словами, на фиг. 7, одна потенциальная концепция примерно поясняется на основе трех входных сигналов, представленных посредством трех векторов 720a, 720b, 720c в комплексной плоскости.
Степень подавления на мнимой оси и действительной оси вычисляется отдельно и комбинируется с коррекцией по энергии:
- Сумма для положительных мнимых частей трех векторов вычисляется - sumIm+
- Сумма для отрицательных мнимых частей трех векторов вычисляется - sumIm-
- Сумма для положительных действительных частей трех векторов вычисляется - sumRe+
- Сумма для отрицательных действительных частей трех векторов вычисляется - sumRe-
- Четыре суммы комбинируются в следующем уравнении
Тем не менее, следует отметить, что, для вычисления степени подавления, также может использоваться наклоненная система координат (например, с ориентацией к фазовому углу пассивного понижающего микширования DMX). Кроме того, следует отметить, что дополнительная процедура, описанная выше, необязательно может вычислять степень подавления с использованием альтернативной формулы. Тем не менее, в некоторых вариантах осуществления важно вычислять степень сильных подавлений точно, чтобы уменьшать опорную абсолютную величину в достаточной степени. Следует отметить, что четыре суммы (например, сумма для положительных мнимых частей, сумма для отрицательных мнимых частей, сумма для положительных действительных частей и сумма для отрицательных действительных частей) могут комбинироваться в следующем уравнении (или с использованием следующего уравнения), например, чтобы извлекать значение 612a усиления:
-  ,
-  ,
-  ,
-  ,
Четыре дифференцирования по случаям выполняются, так что Q может принимать значения между 0 и 1.
Преобразование 613 с сохранением громкости - альтернатива 1
Далее процедура преобразования (которая может выполняться посредством блока 613 преобразования) примерно вычисляется для случая сохранения энергии. Тем не менее, следует отметить, что различные уравнения для преобразования являются возможными.
Если значение Q усиления должно применяться непосредственно к опорной абсолютной величине, то оно уменьшает свою энергию (например, если значение Q усиления составляет в диапазоне между 0 и 1). Это может уменьшать воспринимаемую громкость микшированного сигнала.
Согласно аспекту изобретения, энергетические потери в силу этого отслеживаются и с временной задержкой возвращаются в сигнал. Важно, не отменять уменьшение опорной абсолютной величины 612, которое ранее выполнено посредством этого второго этапа 613. Энергия может возвращаться только в том случае, если уменьшение опорной абсолютной величины не является слишком высоким. В частности, эти этапы выполняются:
- Отслеживание степени подавления во времени посредством сглаживания с  =[0-1]:
- Преобразование Q выше верхнего предела его диапазона значений, чтобы обеспечивать возможность значений выше 1 и в силу этого усиления:
Тем не менее, следует отметить, что возможны различные уравнения и/или способы отслеживания.
Тем не менее, следует указывать следующие комментарии:
mapped
Обнаружено, что при постоянном значении T=0,6, может достигаться преобразование диапазона значений Q, которое компенсирует энергетические потери в среднем. Следует отметить, что значение экспоненты T определено эмпирически из базы данных сигналов более чем из 125 аудиосигналов. С этой целью, энергия опорной абсолютной величины суммируется по всем полосам частот (в слышимом диапазоне) и сравнивается с суммированной энергией модифицированной абсолютной величины, обрабатываемой с помощью Q, и разность минимизируется за T. Тем не менее, экспонента T по-прежнему может изменяться, если требуется другой эффект преобразования.
Кроме того, следует отметить, что чем меньше Q, тем меньше оно преобразуется вверх. Артефакты не усиливаются.
Кроме того, чем больше Q, тем больше оно преобразуется вверх и может достигать значений выше 1.
mapped
В некоторых вариантах осуществления, это обеспечивает то, что чем более надежной является информация фазы в это время, тем больше энергии возвращается в сигнал. Тем не менее, в некоторых вариантах осуществления, может быть полезным ограничивать величину возвращенной энергии с тем, чтобы не допускать чрезмерных усилений. Например, Q может быть ограничено определенным значением, например, 1,2, 1,5, 1,8 или 2.0.
Преобразование 613 с сохранением громкости - альтернатива 2
Далее описывается альтернативная реализация преобразования 613с сохранением громкости.
Далее процедура преобразования примерно вычисляется для случая сохранения энергии. Тем не менее, различные уравнения для преобразования являются возможными.
Если Q должно применяться непосредственно к опорной абсолютной величине, то оно уменьшает свою энергию. Это может уменьшать воспринимаемую громкость микшированного сигнала. Энергетические потери в силу этого отслеживаются и возвращаются с временной задержкой в сигнал. Важно не отменять уменьшение опорной абсолютной величины (например, в блоке 612), которое выполнено ранее, посредством этого второго этапа (например, в блоке 613). Энергия может возвращаться только в том случае, если уменьшение опорной абсолютной величины не является слишком высоким.
В частности, эти этапы выполняются:
-- Отслеживание степени подавления во времени посредством сглаживания с p=[0-1]
Тем не менее, различные уравнения/способы отслеживания являются возможными.
- (Удовлетворяемое) преобразование Q к значению 1 и в силу этого без усиления опорной абсолютной величины [212]:
Вообще говоря, этот тип преобразования пытается сохранять исходную опорную абсолютную величину и ослабляет ее только в том случае, если обнаруживаются более сильные деструктивные помехи. Хотя отсутствует усиление, воспринимаемая общая громкость не изменяется. Ослабление опорной абсолютной величины вследствие более сильных деструктивных помех главным образом маскируется посредством сигнала.
Следующие комментарии предпочтительно должны учитываться:
- Постоянное усиление G является интенсивностью наклона и, например, может принимать значения между 1 и 10 (или между 0,5 и 20).
- Наклон  зависит в среднем от степени подавления:
smooth
- Чем меньше Q(t), тем более взвешенным является преобразование, чтобы не усиливать потенциальные артефакты.
smooth
- Чем больше Q(t), тем сильнее преобразование.
Фиг. 11 показывает примеры кривых преобразования, которые могут достигаться с использованием различных концепций преобразования для сохранения громкости, описанного в данном документе.
mapped
В преобразовании согласно первой альтернативе, усиления, большие 1, разрешаются, так что недостающая энергия вводится (возвращается) в сигнал способом с временной задержкой с использованием Q.
smooth
В преобразовании согласно второй альтернативе, усиление не разрешается. Далее проводится попытка поддерживать в максимально возможной степени опорную абсолютную величину, чтобы за счет этого не масштабировать с понижением (или уменьшать) опорную абсолютную величину. Опорная абсолютная величина снижается или масштабируется с понижением только в том случае, если возникают сильные деструктивные помехи. Кроме того, степень снижения (или понижающего масштабирования) по-прежнему зависит от Q, т.е. от энергии, потерянной во времени.
6. Понижающий микшер согласно фиг. 8
Фиг. 8 показывает принципиальную блок-схему понижающего микшера, согласно другому варианту осуществления настоящего изобретения.
Понижающий микшер 800 является аналогичным понижающему микшеру 500 таким образом, что идентичные признаки, функциональности и сигналы не описываются здесь снова. Наоборот, используются идентичные ссылки с номерами с пояснением понижающего микшера 500, и следует обратиться к вышеприведенным пояснениям относительно понижающего микшера 500.
Тем не менее, в дополнение к функциональностям и/или блокам понижающего микшера 500, понижающий микшер 800 также содержит вычисление 814 значений фазовой коррекции, которое принимает комплекснозначное представление 501a-501n входных сигналов (или их спектральных элементов разрешения). Кроме того, вычисление 814 значений фазовой коррекции также может принимать значение 508a фазы. Вычисление 814 значений фазовой коррекции также предоставляет значение 815 фазовой коррекции в модуль 510 комбинирования таким образом, что модуль 510 комбинирования извлекает модифицированное значение 510a фазы на основе значения 508a фазы, с учетом значения 815 фазовой коррекции (которое также обозначается с помощью W).
Соответственно, вычисление 814 значений фазовой коррекции, например, может определять то, когда значение 508a фазы, которое может получаться посредством простого вычисления 508 фазы, описанного выше, отклоняется от фактического значения фазы сильно, или когда значение 508a фазы содержит чрезмерные скачки фазы, и т.п.
Например, вычисление 814 значений фазовой коррекции может предоставлять значение 815 фазовой коррекции таким образом, что существует сглаженный наплыв между значениями фазы, предоставленными посредством вычисления фазы 508a, и скорректированными значениями 510a фазы. Например, вычисление 814 значений фазовой коррекции может предоставлять значение 815 фазовой коррекции таким образом, что значение 815 фазовой коррекции плавно переходит от нуля до требуемого значения фазовой коррекции.
Тем не менее, следует отметить, что в некоторых вариантах осуществления, сумматоры 507a, 507c/модули комбинирования, вычисление 508 фазы, вычисление 814 значений фазовой коррекции и комбинация 510 могут заменяться посредством улучшенного вычисления значения фазы, которое обычно вычисляет значения фазы, имеющие повышенную надежность.
Например, определение значений фазы, как показано на фиг. 3, может использоваться постоянно либо может использоваться для инициализации значений 815 фазовой коррекции, в зависимости от требований.
Понижающее микширование громкости с адаптивной фазой
Далее описывается понижающее микширование громкости с адаптивной фазой, которое может использоваться согласно аспекту изобретения.
R
p
Чтобы иметь возможность непрерывно использовать опорную абсолютную величину M, требуется "надежный" фазовый отклик. С этой целью, правое крыло на фиг. 5 (и также на фиг. 8) активируется (показано синими/пунктирными линиями или линиями, помеченными как "необязательная модификация фазы"). На этапе или в функциональном блоке "вычисление значений фазовой коррекции" 814, значение 815 фазовой коррекции (также обозначаемое с помощью W) вычисляется на основе ответвленных входных сигналов (например, на основе представлений 501a-501n чисел). Потенциальная ошибочная фаза пассивного понижающего микширования, например, "фаза P 508a пассивного понижающего микширования" корректируется таким образом, что заметные артефакты (на основе скачков фазы) не допускаются.
Модуль (либо функциональный блок или функциональность) "вычисление значений фазовой коррекции" 814 может состоять из нескольких субмодулей. В случае отсутствия деструктивных помех входных сигналов во время пассивного понижающего микширования, значение фазовой коррекции является близким к нулю. После того, как деструктивные помехи/подавления возникают, вычисляется значение (например, значение фазовой коррекции), которое приводит к надежному фазовому отклику.
Надежный фазовый отклик извлекается, например, из адаптивного суммирования со взвешиванием входных сигналов. Например, может быть необходимым отслеживать значения громкости отдельных сигналов во времени. Адаптивное взвешивание нацелено на создание DMX (подмикширования) без нарушения деструктивных помех. При подмикшировании, деструктивные помехи могут допускаться до определенной степени. Это может быть полезным, чтобы не допускать искусственно сформированных скачков фазы при повторном взвешивании отдельных входных сигналов.
Чтобы обеспечивать плавные переходы при переключении между пассивным понижающим микшированием (DMX) и подмикшированием, фазовая коррекция также может применяться, когда не возникают деструктивные помехи/подавления. Необязательно, можно сглаживать фазовые отклики по нескольким полосам частот, чтобы дополнительно ослаблять скачки фазы.
В качестве вывода, фиг. 8 показывает принципиальную блок-схему понижающего микшера, который использует понижающее микширование громкости с адаптивной фазой.
Например, в варианте осуществления согласно фиг. 8, вычисление 612 степени подавления и преобразование 613 могут быть неактивными (или отсутствовать), но вычисление 814 значений фазовой коррекции может быть активным.
Тем не менее, в некоторых вариантах осуществления, также можно использовать вычисление 612 степени подавления и преобразование 613, а также вычисление 814 значений фазовой коррекции, одновременно, чтобы за счет этого получать хорошие результаты.
Тем не менее, следует отметить, что вариант осуществления согласно фиг. 8 может дополняться посредством любых из признаков, функциональностей и подробностей, раскрытых в данном документе, как отдельно, так и в комбинации.
7. Заключения и общие комментарии
В качестве вывода, следует отметить, что описываются концепции, которые помогают уменьшать артефакты при предоставлении сигнала понижающего микширования на основе множества входных сигналов. В частности, решены проблемы, возникающие в результате подавлений. Например, как только два или более указателей (или фазовращателей, или векторов) находятся за пределами зоны углов в 90°, предусмотрены подавления на одной или даже на обеих осях системы координат. Это означает то, что действительные компоненты или мнимые компоненты указателей (или фазовращателей, или векторов) (либо и те, и другие компоненты) уравновешиваются частично или даже полностью. Таким образом, возникает проблема деструктивных помех/наложения. Таким образом, вопрос в отношении того, существуют либо нет деструктивные помехи или наложение, является независимым от длины суммарного вектора и также является независимым от вопроса касательно того, превышает или нет длина суммарного вектора более длинный из двух векторов.
В качестве дополнительного комментария, следует отметить, что помехи рассматриваются только во временном среднем, поскольку обработка типично осуществляется в частотной области, и поскольку типично сигнальные буферы определенной длины анализируются. Следует отметить, что может возникать такая ситуация, что в сигнальном буфере (при рассмотрении временной структуры сигнала) одновременно существуют конструктивные и деструктивные помехи. Тем не менее, в частотной области, можно видеть только то, какой тип помех избыточно взвешивает буфер. Таким образом, буфер классифицируется, соответственно. Таким образом, следует отметить, что вопрос в отношении того, существуют либо нет конструктивные или деструктивные помехи, может определяться так, как описано в данном документе. Кроме того, надлежащие коррекции амплитуды и/или фазы могут выполняться, например, когда обнаружено, что значение фазы должно быть ненадежным с учетом помех.
8. Способ согласно фиг. 9
Фиг. 9 показывает блок-схему последовательности операций способа 900 для предоставления сигнала понижающего микширования на основе множества входных сигналов, согласно варианту осуществления изобретения.
Способ 900 содержит определение 910 значения абсолютной величины значения в спектральной области сигнала понижающего микширования на основе информации громкости входных сигналов, и
- способ 900 содержит определение 920 значения фазы значения в спектральной области сигнала понижающего микширования. Способ 900 также содержит применение 930 значения фазы, чтобы получать комплексное представление чисел значения в спектральной области сигнала понижающего микширования на основе значения абсолютной величины значения в спектральной области.
Способ 900 необязательно может дополняться посредством любых из признаков, функциональностей и подробностей, раскрытых в данном документе, как отдельно, так и в комбинации.
Кроме того, следует отметить, что этапы 910 и 920 естественно также могут выполняться параллельно при необходимости.
9. Аудиокодер согласно фиг. 10
Фиг. 10 показывает принципиальную блок-схему аудиокодера 1000, согласно варианту осуществления настоящего изобретения.
Аудиокодер 1000 выполнен с возможностью предоставления кодированного аудиопредставления 1012 на основе множества входных аудиосигналов 1010a-1010n.
Аудиокодер содержит понижающий микшер 1020, который может соответствовать любому из понижающих микшеров, описанных выше. Понижающий микшер 1020 выполнен с возможностью предоставлять сигнал 1022 понижающего микширования на основе (комплекснозначных) представлений в спектральной области множества входных аудиосигналов. Кроме того, аудиокодер выполнен с возможностью кодировать сигнал 1022 понижающего микширования, чтобы получать кодированное аудиопредставление 1012.
Аудиокодер может использовать любую из известных технологий кодирования, чтобы кодировать сигнал понижающего микширования, таких как, например, AAC-кодирование или кодирование на основе LPC. Кроме того, аудиокодер необязательно может предоставлять дополнительную вспомогательную информацию, описывающую понижающее микширование (например, взвешивание входных сигналов в сигнале понижающего микширования), или любую другую вспомогательную информацию, известная в области техники кодирования аудио.
10. Альтернативы реализации
Хотя некоторые аспекты описаны в контексте оборудования, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего оборудования. Некоторые или все этапы способа могут выполняться посредством (или с использованием) аппаратного оборудования, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, один или более из самых важных этапов способа могут выполняться посредством этого оборудования.
В зависимости от определенных требований к реализации, варианты осуществления изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные электронно считываемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ. Следовательно, цифровой носитель хранения данных может быть машиночитаемым.
Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.
В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может сохраняться на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.
Другими словами, вариант осуществления изобретаемого способа в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.
Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель хранения данных или носитель с записанными данными типично является материальным и/или энергонезависимым.
Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.
Дополнительный вариант осуществления согласно изобретению содержит оборудование или систему, выполненную с возможностью передавать (например, электронно или оптически) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Оборудование или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного оборудования.
Оборудование, описанное в данном документе, может реализовываться с использованием аппаратного оборудования либо с использованием компьютера, либо с использованием комбинации аппаратного оборудования и компьютера.
Оборудование, описанное в данном документе, или любые компоненты оборудования, описанного в данном документе, могут реализовываться, по меньшей мере, частично в аппаратных средствах и/или в программном обеспечении.
Способы, описанные в данном документе, могут осуществляться с использованием аппаратного оборудования либо с использованием компьютера, либо с использованием комбинации аппаратного оборудования и компьютера.
Способы, описанные в данном документе, или любые компоненты оборудования, описанного в данном документе, могут выполняться, по меньшей мере, частично посредством аппаратных средств и/или посредством программного обеспечения.
Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.
11. Дополнительные заключения
В качестве еще одного вывода, при понижающем микшировании N-канального входного сигнала, чтобы получать M-канальный выходной сигнал (N>M), могут возникать нежелательные эффекты. Эти эффекты могут проявлять себя в форме оцвечивания звука, манипулирования объемным окружением, снижения понятности речи и других артефактов.
Чтобы преодолевать эти эффекты, понижающее микширование с сохранением громкости может обрабатываться для абсолютной величины, и неадаптивное понижающее микширование может вычисляться для извлечения информации фазы, параллельно. Впоследствии, абсолютная величина и фаза объединяются, чтобы формировать M-канальный выходной сигнал.
Эти соображения могут необязательно вводиться в любой из вариантов осуществления, раскрытых в данном документе.