УСТРОЙСТВО ДЛЯ ОБРАБОТКИ ВХОДНОГО АУДИОСИГНАЛА И СООТВЕТСТВУЮЩИЙ СПОСОБ
DEVICE FOR PROCESSING OF INPUT AUDIO SIGNAL AND CORRESPONDING METHOD

Изобретение относится к устройству для обработки входного аудиосигнала. Изобретение также относится к соответствующему способу и к компьютерной программе.
Изобретение относится к области обработки аудиосигналов и более конкретно к подходу, который управляет диапазоном громкости аудиосигнала, т.е. подстраивает диапазон громкости аудиосигнала к желаемому целевому диапазону громкости. Диапазон громкости [1] представляет собой меру динамики аудиосигнала. Как изложено в [1], в контексте настоящей заявки, диапазон громкости количественно определяет вариацию в изменяющемся во времени измерении громкости. Таким образом, диапазон громкости описывает статистическое распределение измеренных мгновенных значений громкости.
Управление диапазоном громкости желательно для широкого спектра сценариев, например:
- воспроизведение с помощью устройств, которые имеют ограничения на системные функциональные возможности воспроизведения звука;
- воспроизведение в специальных режимах просмотра, например, в позднем ночном режиме;
- воспроизведение в средах с высоким окружающим шумом;
- предварительная обработка для нормализации громкости в реальном времени.
Способ, который позволяет управлять диапазоном громкости аудиосигнала, чтобы достигнуть целевого диапазона громкости, в настоящем документе называется управлением диапазоном громкости (Loudness Range Control; LRAC). В литературе большинство способов преследует цель управления динамическим диапазоном аудиосигнала, т.е. управления динамическим диапазоном (Dynamic Range Control; DRC). Определение диапазона громкости стандартизировано [1], тогда как определение динамического диапазона иногда различается. Безусловно, управление динамическим диапазоном связано с управлением диапазоном громкости. Таким образом, ради простоты они оба могут называться способами LRAC.
Автоматическое управление усилением (Automatic gain control; AGC) представляет способы, которые относятся к управлению общим уровнем аудиосигнала. Вследствие того, что усиление обычно является переменным во времени, это обычно приводит к изменению динамического диапазона, т.е., динамический диапазон обычно сокращается. Однако величина изменения динамического диапазона не предсказуема, т.е. динамический диапазон выходного сигнала неизвестен, и им нельзя управлять желаемым образом.
Безусловно, цель применения компрессора с фиксированной предварительно выбранной передаточной функцией (также известной как профиль) состоит в том, чтобы изменить диапазон громкости аудиосигнала. Выбор передаточной функции основан на некоторых предварительно определенных критериях, например, на режиме просмотра. Однако применение предварительно определенной передаточной функции компрессора также не может гарантировать, что на выходе достигается целевой диапазон громкости.
Чтобы достигнуть требуемого целевого диапазона громкости, определяется передаточная функция, которая уникальна для данного аудиосигнала. Передаточная функция затем применяется к аудиосигналу, чтобы произвести управляемую диапазоном громкости аудиоинформацию. Кроме того, передаточная функция должна быть разработана таким образом, чтобы достигнуть требуемого целевого диапазона громкости с минимальным ухудшением качества аудиосигнала.
На существующем уровне техники известны различные способы.
Предварительно определенные/фиксированные передаточные функции.
Передаточные функции предварительно определены и выбираются на основе ожидаемого контента воспроизведения, например, фильма, новостей, музыки, или на основе режима прослушивания, например, в позднем ночном режиме.
Передаточные функции на основе опорного сигнала.
Другие способы [2] предлагают использовать комбинацию измеренного опорного сигнала, например, уровня фонового шума в среде прослушивания и настройки регулятора громкости на устройстве воспроизведения.
Передаточные функции на основе параметров.
В этом случае передаточная функция разработана только на основе определенных пользователем входных параметров.
Для способа, предложенного в [3], определены средний уровень и динамический диапазон входного аудиосигнала. На основе среднего уровня и настройки требуемого динамического диапазона пользователя передаточная функция вычисляется и применяется к входному аудиосигналу.
Фиг. 1 показывает требуемый допуск динамического диапазона и соответствующую передаточную функцию на основе регулятора-ползунка. На оси X диаграммы задана входная громкость в дБ, и на оси y - выходная громкость в дБ. Иллюстративный регулятор-ползунок слева позволяет устанавливать “область допуска динамического диапазона”, которая воздействует на форму передаточной функции. Нижняя область входной громкости достигает верхнего предела минимального уровня шумов. За ней следует секция с постоянной выходной громкостью. В этом случае область допуска динамического диапазона соответствует требуемому динамическому диапазону. Линейный участок передаточной функции размещен на среднем уровне сигнала (горизонтальный сдвиг), который зависит от времени, за которым следует еще одна секция с постоянной выходной громкостью.
Измеренный динамический диапазон не используется при вычислении передаточной функции, т.е. невозможно специализированное управление динамического диапазона или диапазона громкости входного аудиосигнала.
В [4] осуществляется управление динамическим расхождением, которое представляет собой среднее абсолютное отклонение от средней громкости. Конкретный компрессор с двумя линейными сегментами используется, как показано на фиг. 2 (зависимость выходной громкости от входной громкости). Два параметра для оценки представляют собой порог компрессора (обозначен черной точкой) и наклон (т.е. отклонение от линейной кривой, задан прерывистой линией). Порог определяется пользователем как процентиль и преобразуется в дБ с использованием профиля динамики (зависимость дБ от процентиля). Наклон вычисляется на основе предположения, что между изменениями динамического расхождения и изменениями наклона существует линейное соотношение.
(1)
des
des
in
где S и D - требуемый наклон и динамическое расхождение, соответственно, и D - измеренное динамическое расхождение.
min
min
max
max
in
Обычно S=D=0, S=1 и D=D, таким образом:
(2)
Затем передаточная функция адаптируется через итеративный процесс.
Сначала передаточная функция применяется к входной гистограмме аудиоданных или к аудиоданным, чтобы определить достигнутое динамическое расхождение. Затем регулируется наклон передаточной функции, и процедура повторяется, пока не будет достигнуто требуемое динамическое расхождение.
Существует два недостатка, вытекающие из этого подхода к управлению динамическим диапазоном:
1) Определяется только наклон передаточной функции, но не ее позиция относительно начала координат, т.е., сдвиг плоскости, образуемой входным/выходным уровнями. Таким образом, диапазон получаемых в результате коэффициентов усиления не может быть предсказан.
2) Итеративный процесс для получения окончательной передаточной функцию из начальной в вычислительном отношении очень сложен и не обязательно может привести к наилучшему результату, поскольку выбор начальной передаточной функции с ее заданным пользователем порогом ограничивает свойства возможных окончательных передаточных функций.
Компенсирующий коэффициент усиления вычисляется посредством применения окончательной передаточной функции к входной гистограмме и последующего приближения выходной громкости на ее основе.
Задача изобретения состоит в том, чтобы обеспечить устройство и способ обработки входного аудиосигнала, особенно в отношении громкости выходных сигналов, не страдающие недостатками существующего уровня техники.
Задача решается с помощью устройства для обработки входного аудиосигнала, содержащего блок оценки, калькулятор и блок регулировки. Блок оценки выполнен с возможностью оценивать громкость входного аудиосигнала для определения диапазона громкости и фактического значения громкости. В одном варианте осуществления диапазон громкости определяется для всего входного аудиосигнала, и в другом варианте осуществления - для заданного периода времени (например, кадра) входного аудиосигнала. Фактическое значение громкости представляет собой, например, мгновенное или краткосрочное значение громкости входного аудиосигнала [6]. Должно быть ясно, что любое указание меры или обеспечение подходящей меры уровня или мощности по меньшей мере периода времени входного аудиосигнала, например, средней мощности, могут использоваться вместо упомянутой выше меры фактической громкости. Калькулятор выполнен с возможностью определять передаточную функцию компрессора на основе определенного диапазона громкости, на основе целевого диапазона громкости и на основе определенного фактического значения громкости. В некоторых вариантах осуществления передаточная функция компрессора дополнительно основана на определенном статистическом моменте значения громкости. Статистический момент, например, представляет собой математическое ожидание значения громкости или интегрированную стробированную громкость аудиовхода в соответствии с ITU-R BS.1770 [5]. Калькулятор выполнен с возможностью определять по меньшей мере один коэффициент усиления для управления диапазоном громкости на основе определенной передаточной функции компрессора. Блок регулировки выполнен с возможностью обеспечивать выходной аудиосигнал на основе входного аудиосигнала и на основе по меньшей мере одного определенного коэффициента усиления для управления диапазоном громкости. В другом варианте осуществления калькулятор предоставляет блоку регулировки коэффициенты усиления для управления диапазоном громкости для обеспечения выходного аудиосигнала.
В одном варианте осуществления блок оценки выполнен с возможностью оценивать громкость входного аудиосигнала для определения статистического момента значения громкости. Кроме того, калькулятор выполнен с возможностью определять передаточную функцию компрессора на основе определенного диапазона громкости, на основе целевого диапазона громкости и на основе разности между определенным фактическим значением громкости и определенным статистическим моментом значения громкости.
В другом варианте осуществления калькулятор выполнен с возможностью определять передаточную функцию компрессора на основе кривой и сдвига, калькулятор выполнен с возможностью определять кривую на основе определенного диапазона громкости и на основе целевого диапазона громкости, и калькулятор выполнен с возможностью определять сдвиг на основе определенного статистического момента значения громкости.
В соответствии с вариантом осуществления калькулятор выполнен с возможностью определять передаточную функцию компрессора на основе наклона и сдвига, калькулятор выполнен с возможностью определять наклон на основе определенного диапазона громкости и на основе целевого диапазона громкости, и калькулятор выполнен с возможностью определять сдвиг на основе определенного статистического момента значения громкости.
В варианте осуществления определенная передаточная функция компрессора действительна для всего входного аудиосигнала.
В соответствии с вариантом осуществления блок оценки выполнен с возможностью оценивать громкость всего входного аудиосигнала.
В варианте осуществления блок оценки выполнен с возможностью оценивать громкость по меньшей мере периода времени входного аудиосигнала.
В соответствии с вариантом осуществления блок оценки выполнен с возможностью определять мгновенное или краткосрочное значение громкости в качестве фактического значения громкости.
В варианте осуществления блок оценки выполнен с возможностью определять среднюю громкость в качестве статистического момента значения громкости.
В другом варианте осуществления блок оценки выполнен с возможностью определять интегрированную стробированную громкость в качестве статистического момента значения громкости.
В соответствии с вариантом осуществления калькулятор выполнен с возможностью определять передаточную функцию компрессора таким образом, чтобы средняя громкость выходного аудиосигнала и определенная средняя громкость входного аудиосигнала были равны.
В варианте осуществления калькулятор выполнен с возможностью предоставлять блоку регулировки определенный коэффициент усиления для управления диапазоном громкости.
В варианте осуществления калькулятор выполнен с возможностью предоставлять блоку регулировки определенный коэффициент усиления для управления диапазоном громкости только в том случае, если вычисленный коэффициент усиления для управления диапазоном громкости меньше или равен максимальному значению коэффициента усиления. В соответствии с вариантом осуществления, когда определенный коэффициент усиления для управления диапазоном громкости больше максимального значения коэффициента усиления, калькулятор выполнен с возможностью предоставлять блоку регулировки максимальное значение коэффициента усиления. В альтернативном варианте осуществления, когда определенный коэффициент усиления для управления диапазоном громкости больше максимального значения коэффициента усиления, калькулятор не предоставляет блоку регулировки коэффициент усиления, и блок регулировки подразумевает максимальное значение коэффициента усиления или использует коэффициент усиления, сохраненный для такой ситуации.
В дополнительном варианте осуществления калькулятор выполнен с возможностью определять коэффициент усиления для управления диапазоном громкости на основе определенной передаточной функции компрессора и на основе максимального значения коэффициента усиления таким образом, чтобы определенный коэффициент усиления для управления диапазоном громкости был меньше или равен максимальному значению коэффициента усиления. Следовательно, калькулятор определяет, например, определенный коэффициент усиления для управления диапазоном громкости, который будет выдан блоку регулировки, посредством вычисления минимума фактически определенного значения коэффициента усиления и максимального значения коэффициента усиления.
В соответствии с вариантом осуществления максимальное значение коэффициента усиления установлено посредством пользовательского ввода. В альтернативном варианте осуществления максимальное значение коэффициента усиления зависит от разности между целевым диапазоном громкости и определенным диапазоном громкости входного аудиосигнала.
В соответствии с вариантом осуществления устройство дополнительно содержит входной интерфейс, выполненный с возможностью принимать значение для целевого диапазона громкости. Следовательно, через входной интерфейс пользователь вводит требуемый целевой диапазон громкости.
Далее представлены некоторые дополнительные варианты осуществления устройства и соответствующего способа.
В варианте осуществления блок оценки выполнен с возможностью оценивать громкость входного аудиосигнала для определения диапазона громкости и средней громкости. Калькулятор выполнен с возможностью вычислять значение наклона, пропорциональное отношению между целевым диапазоном громкости и определенным диапазоном громкости входного аудиосигнала. Калькулятор выполнен с возможностью вычислять значение сдвига, зависящее от определенной средней громкости входного аудиосигнала (в одном варианте осуществления сдвиг зависит от определенной средней громкости, умноженной на разность между 1 и наклоном). Калькулятор выполнен с возможностью вычислять данные для управления диапазоном громкости на основе линейной передаточной функции, зависящей от вычисленного значения сдвига и от вычисленного значения наклона. Наконец, блок регулировки выполнен с возможностью обеспечивать выходной аудиосигнал на основе входного аудиосигнала и на основе данных для управления диапазоном громкости.
В варианте осуществления линейная передаточная функция действительна для всего входного аудиосигнала. В этом варианте осуществления одна линейная передаточная функция используется для всего входного аудиосигнала, т.е., для всех значений громкости. В одном варианте осуществления линейная передаточная функция действительна для всего входного аудиосигнала, за исключением очень высоких и/или низких значений громкости.
В соответствии с вариантом осуществления блок оценки выполнен с возможностью определять диапазон громкости и среднюю громкость всего входного аудиосигнала. Этот вариант осуществления является особенно релевантным для офлайновой обработки входного аудиосигнала.
В варианте осуществления блок оценки выполнен с возможностью определять диапазон громкости и среднюю громкость по меньшей мере части входного аудиосигнала.
В соответствии с вариантом осуществления калькулятор выполнен с возможностью вычислять значение наклона как произведение коэффициента пропорциональности и отношения между целевым диапазоном громкости и определенным диапазоном громкости входного аудиосигнала. Целевой диапазон громкости вводится пользователем и относится к диапазону громкости выходного аудиосигнала, определенный диапазон громкости задается входным аудиосигналом.
В варианте осуществления коэффициент пропорциональности установлен равным единице. Следовательно, значение наклона задано отношением между целевым диапазоном громкости и определенным диапазоном громкости.
В соответствии с вариантом осуществления калькулятор выполнен с возможностью вычислять значение сдвига таким образом, чтобы средняя громкость выходного аудиосигнала и определенная средняя громкость входного аудиосигнала были равны.
in
in
В варианте осуществления калькулятор выполнен с возможностью вычислять значение сдвига с использованием следующей формулы: a = μ * (1 - b). Значение сдвига задано как a, определенная средняя громкость входного аудиосигнала обозначена как μ, и b - вычисленное значение наклона.
В соответствии с вариантом осуществления калькулятор выполнен с возможностью обеспечивать коэффициент усиления для управления диапазоном громкости, и блок регулировки выполнен с возможностью применять коэффициент усиления для управления диапазоном громкости к входному аудиосигналу.
out
in
out
in
В варианте осуществления блок оценки выполнен с возможностью определять входное значение громкости кадра входного аудиосигнала, имеющего краткосрочную продолжительность. Калькулятор выполнен с возможностью обеспечивать выходное значение громкости кадра выходного аудиосигнала, соответствующее кадру входного аудиосигнала. Кроме того, калькулятор выполнен с возможностью вычислять выходное значение громкости с использованием следующей формулы: N(k) = a+b * N(k). Где N(k) - выходное значение громкости, a - значение сдвига, b - значение наклона, N(k) - определенное входное значение громкости соответствующего кадра входного аудиосигнала, и k - индекс кадра. Таким образом, кадр является частью входного сигнала, на основе которого, например, определяется диапазон громкости и/или средняя громкость.
В соответствии с вариантом осуществления калькулятор выполнен с возможностью обеспечивать коэффициент усиления для управления диапазоном громкости как разность между вычисленным значением громкости кадра выходного аудиосигнала и определенным значением громкости соответствующего кадра входного аудиосигнала.
in
in
В варианте осуществления калькулятор выполнен с возможностью обеспечивать коэффициент усиления для управления диапазоном громкости с использованием следующей формулы: G(k) = a + (b - 1) * N(k), где G(k) - коэффициент усиления для управления диапазоном громкости, a - вычисленное значение сдвига, b - вычисленное значение наклона, N(k) - определенное входное значение громкости кадра входного аудиосигнала, и k - индекс кадра. Таким образом, коэффициент усиления для управления диапазоном громкости является примером данных для управления диапазоном громкости, которые будут использоваться блоком регулировки.
В соответствии с вариантом осуществления блок регулировки выполнен с возможностью применять коэффициент усиления для управления диапазоном громкости к входному аудиосигналу, чтобы обеспечить выходной аудиосигнал.
В варианте осуществления калькулятор выполнен с возможностью предоставлять блоку регулировки вычисленный коэффициент усиления для управления диапазоном громкости. В соответствии с вариантом осуществления обеспеченный вычисленный коэффициент усиления для управления диапазоном громкости меньше или равен максимальному значению коэффициента усиления.
В соответствии с вариантом осуществления максимальное значение коэффициента усиления устанавливается пользовательским вводом.
В варианте осуществления максимальное значение коэффициента усиления зависит от разности между целевым диапазоном громкости и определенным диапазоном громкости входного аудиосигнала.
В соответствии с вариантом осуществления калькулятор выполнен с возможностью предоставлять блоку регулировки вычисленный коэффициент усиления для управления диапазоном громкости. Обеспеченный вычисленный коэффициент усиления для управления диапазоном громкости в одном варианте осуществления больше или равен минимальному значению коэффициента усиления.
В варианте осуществления блок оценки выполнен с возможностью определять интегрированную громкость входного аудиосигнала. Кроме того, калькулятор выполнен с возможностью вычислять значение компенсирующего коэффициента усиления на основе определенной интегрированной громкости входного аудиосигнала и на основе целой интегрированной громкости выходного сигнала. Наконец, блок регулировки выполнен с возможностью модифицировать громкость выходного аудиосигнала посредством применения значения компенсирующего коэффициента усиления.
В соответствии с вариантом осуществления блок оценки выполнен с возможностью определять интегрированную громкость входного аудиосигнала. Калькулятор выполнен с возможностью вычислять значение компенсирующего коэффициента усиления на основе значения сдвига, значения наклона и определенной интегрированной громкости. Блок регулировки выполнен с возможностью модифицировать громкость выходного аудиосигнала посредством применения значения компенсирующего коэффициента усиления.
mu
in
mu
in
В варианте осуществления калькулятор выполнен с возможностью вычислять значение компенсирующего коэффициента усиления с использованием следующей формулы: G = a + (b - 1) I, где G - значение компенсирующего коэффициента усиления, a - значение сдвига, b - значение наклона, и I - определенная интегрированная громкость входного аудиосигнала.
Задача также решается с помощью способа обработки входного аудиосигнала. Входной аудиосигнал выражения содержит речевые сигналы, а также аудиосигналы.
Способ обработки входного аудиосигнала содержит по меньшей мере следующие этапы:
- оценка громкости входного аудиосигнала для определения диапазона громкости и фактического значения громкости,
- определение передаточной функции компрессора на основе определенного диапазона громкости, на основе целевого диапазона громкости, на основе определенного фактического значения громкости и на основе статистического момента определенного значения громкости,
- определение по меньшей мере одного коэффициента усиления для управления диапазоном громкости на основе определенной передаточной функции компрессора, и
- обеспечение выходного аудиосигнала на основе входного аудиосигнала и на основе по меньшей мере одного определенного коэффициента усиления для управления диапазоном громкости.
В другом варианте осуществления выполняются следующие этапы:
- оценка громкости входного аудиосигнала для определения диапазона громкости и средней громкости,
- вычисление значения наклона, пропорционального отношению между целевым диапазоном громкости и определенным диапазоном громкости,
- вычисление значения сдвига, зависящего от определенной средней громкости,
- вычисление данных для управления диапазоном громкости на основе линейной передаточной функции, зависящей от вычисленного значения сдвига и от вычисленного значения наклона, и
- обеспечение выходного аудиосигнала на основе входного аудиосигнала и на основе данных для управления диапазоном громкости.
Обсуждавшиеся выше варианты осуществления устройства также применимы для способа.
Изобретение также относится к компьютерной программе для выполнения способа обработки входного аудиосигнала при ее исполнении на компьютере или процессоре.
Изобретение будет разъяснено далее в отношении прилагаемых чертежей и вариантов осуществления, изображенных на прилагаемых чертежах.
Фиг. 1 показывает передаточную функцию LRAC существующего уровня техники.
Фиг. 2 показывает другую передаточную функцию LRAC существующего уровня техники.
Фиг. 3 показывает блок-схему устройства для обработки входного аудиосигнала,
Фиг. 4 показывает другую блок-схему этапов способа обработки входного аудиосигнала,
Фиг. 5 показывает передаточную функцию с наклоном (фиг. 5a)) и с наклоном и сдвигом (фиг. 5b)),
Фиг. 6 изображает (верхняя диаграмма) краткосрочную гистограмму громкости одночасового сегмента аудиоинформации фильма и (нижняя диаграмма) две разные передаточные функции.
Фиг. 7 показывает иллюстративную гистограмму, разные передаточные функции в соответствии с существующим уровнем техники и передаточную функцию в соответствии с изобретением.
Фиг. 1 и 2 изображают передаточные функции в соответствии с существующим уровнем техники.
in
in
in
in
Фиг. 3 показывает иллюстративный вариант осуществления устройства 1 для обработки входного аудиосигнала 100 и для обеспечения выходного аудиосигнала 101. В этом показанном варианте осуществления блок 10 оценки оценивает громкость входного аудиосигнала 100, чтобы определить диапазон громкости LRA и среднюю громкость μ входного аудиосигнала 100. В этом показанном варианте осуществления блок 10 оценки также определяет интегрированную громкость I входного аудиосигнала 100 и значение N(k) входной громкости для разных кадров k входного аудиосигнала 100.
des
Определенные значения подаются на калькулятор 11, который также обращается к требуемому целевому диапазону громкости LRA, введенному пользователем через интерфейс 13 ввода.
mu
Калькулятор 11 вычисляет данные для управления диапазоном громкости, которые будут использоваться блоком 12 регулировки - т.е., блоком регулировки громкости - воздействующим на входной аудиосигнал 100 и обеспечивающим выходной аудиосигнал 101. Кроме того, калькулятор 11 обеспечивает данные для управления диапазоном громкости в форме коэффициента усиления G для управления диапазоном громкости, а также компенсирующего коэффициента усиления G. Это результат определения передаточной функции компрессора.
Управление LRAC изобретения в этом варианте осуществления применяет линейное преобразование к входному аудиосигналу 100, чтобы реализовать управление диапазоном громкости для выходного аудиосигнала 101.
Блок-схема дополнительного варианта осуществления LRAC изобретения показана на фиг. 4.
Этапы в этом варианте осуществления включают в себя:
- Получение аудиоинформации, т.е., получение входного аудиосигнала, который далее обозначается как x.
- Вычисление мгновенной громкости.
- Вычисленная мгновенная громкость используется для этапа вычисления компенсирующего коэффициента усиления, который зависит от целевой громкости, установленной пользователем.
- Вычисленная мгновенная громкость также используется для этапа вычисления краткосрочной громкости, за которым следует этап определения передаточной функции, которая зависит от целевого диапазона громкости, установленного пользователем.
- Определенная передаточная функция подается на упомянутый выше этап вычисления компенсирующего усиления и на следующий этап вычисления коэффициентов усиления LRAC.
- Коэффициенты усиления LRAC и компенсирующий коэффициент усиления применяются на следующем этапе к аудиоинформации, т.е. к входному аудиосигналу.
- Вывод выходного аудиосигнала, который обозначен здесь как y.
Выходной аудиосигнал y получен как
, (3)
in
des
in
in
где g - коэффициент усиления, применяемый к входному аудиосигналу x, чтобы управлять диапазоном громкости. Коэффициент усиления g получен на основе диапазона громкости LRA входной аудиоинформации, требуемого целевого диапазона громкости LRAи меры громкости N по периоду времени, например, краткосрочной или мгновенной громкости. Она также может называться фактическим значением громкости, которое должно быть определено блоком оценки или посредством любого этапа, оценивающего громкость входного аудиосигнала. Мера громкости N обычно является переменной по времени. В одном варианте осуществления коэффициент усиления дополнительно получается на основе определенного статистического момента значения громкости. Статистический момент, например, представляет собой математическое ожидание значения громкости или интегрированную стробированную громкость аудиовхода в соответствии с ITU-R BS.1770 [5]).
Коэффициент усиления в дБ:
. (4)
in
des
Коэффициент усиления G в одном варианте осуществления получается на основе отображающей функции Q, которая основана на диапазоне громкости LRA входной аудиоинформации, требуемом целевом диапазоне громкости LRAи разности ΔN между статистическим моментом меры громкости и мерой громкости:
. (5)
in
in
В одном варианте осуществления реализация ΔN задана разностью между средней громкостью μ аудиовхода (или в качестве альтернативы интегрированной стробированной громкостью аудиовхода в соответствии с ITU-R BS.1770 [5]) и мерой громкости периода N, т.е.
in
in
ΔN=μ - N.
in
Мера громкости периода N является таким примером фактического значения громкости периода времени или кадра входного аудиосигнала.
in
in
in
Далее μ в одном примере представляет собой среднюю громкость входного аудиосигнала. В другом варианте осуществления μ относится к интегрированной стробированной громкости в соответствии с ITU-R BS.1770 [5] или сходным правилом для определения долгосрочной меры громкости. Обычно μ представляет собой статистический момент значений громкости входного аудиосигнала.
shift
in
des
in
В качестве альтернативы G получается на основе следующих отображающих функций, которые состоят из суперпозиции кривой K и сдвига K, причем кривая зависит от LRA и LRA, и сдвиг зависит от μ:
(6)
Подходящим выбором для кривой K является, например, сигмоидальная функция. Уравнение (6) может быть дополнительно ограничено случаем, когда кривая K определена наклоном S:
(7)
shift
Как можно видеть, функция преобразования определена наклоном S и сдвигом K.
Чтобы избежать чрезмерного усиления сигналов с низкими значениями громкости, коэффициент усиления G затем ограничивается получением окончательного коэффициента усиления:
(8)
max
где G - максимальный разрешенный коэффициент усиления. Этот максимальный коэффициент усиления может быть определен априорно, например, пользователем или определен на основе входного аудиосигнала.
Далее обсуждаются варианты осуществления для офлайнового и онлайнового управления LRAC.
В офлайновой версии доступен весь входной аудиосигнал. В этом случае управление LRAC изобретения основано на применении линейного преобразования к аудиосигналу на покадровой основе, чтобы реализовать управление диапазоном громкости. В этом случае кривая является линией с определенным наклоном.
Будут обсуждены некоторые теоретические соображения.
w
w
При наличии нормально распределенной случайной переменной w со стандартным отклонением σ и математическое ожидание μ применение линейной передаточной функции с наклоном b и сдвигом a приводит к нормально распределенной случайной переменной
z=a+bw, (9)
z
w
z
w
Случайная переменная z имеет стандартное отклонение σ=b σ и математическое ожидание μ=a+b μ.
Сделаны два предположения:
in
1) Мера громкости N (т.е. определенное фактическое значение громкости входного аудиосигнала) является нормально распределенной случайной переменной.
2) Отношение входного и выходного стандартного отклонения пропорционально отношению входного и выходного LRA, т.е.
(10)
z
w
где ξ - коэффициент пропорциональности, который может использоваться для компенсации отклонения аудиосигнала к модели. Обычно LRA сокращается и, таким образом, LRA < LRA.
Этапы для определения коэффициентов усиления LRAC состоят в следующем:
in
in
in
Сначала из входного аудиосигнала вычисляются зависимая от времени мера громкости N(k) (k - индекс аудиокадра), математическое ожидание громкости μ и входной диапазон громкости (LRA) LRA.
Выбирается:
В одном варианте осуществления устанавливается ξ=1.
Коэффициент усиления может быть вычислен с использованием следующих двух иллюстративных способов:
Способ 1
С учетом уравнения (5) функция Q определяется как
(11)
где
(12)
Параметр нормализации β(k) в одном варианте осуществления является переменным по времени. В варианте осуществления следующая реализация задана как:
max
Где γ > 0 является действительным значением, и параметр G в одном варианте осуществления, например, задан априорно пользователем или определен на основе входного аудиосигнала.
max
des
in
G = |LRA - LRA|. (13)
Таким образом, в этом случае коэффициент усиления может быть определен как
(14)
В альтернативных вариантах осуществления параметр нормализации опущен, т.е. β(k) = 1.
Способ 2
shift
С учетом уравнение (7) функции S и K могут быть определены как
(15)
и
(16)
где
in
a = (1-b) μ.
out
in
Это гарантирует, что μ=μ, т.е. разность между интегрированной громкостью до и после обработки громкости минимизирована.
Таким образом, в этом случае коэффициент усиления может быть определен как
(17)
in
des
in
При выборе a = (1 - b)μ и b=LRA/LRA приведенное выше уравнение в качестве альтернативы может быть выражено
(18)
in
что соответствует отображающей функции, которая зависит от отношения входного и выходного LRA и разности ΔN(k) между средней громкостью μ и фактическим значением громкости (например, краткосрочной или мгновенной мерой громкости) входного аудиосигнала.
Затем значение определенного коэффициента усиления может быть ограничено требуемым максимальным значением:
(19)
Применение определенных коэффициентов усиления для управления диапазоном громкости
Покадровый выходной сигнал задан как
(20)
где
(21)
in
Чтобы далее сократить изменение интегрированной громкости вследствие обработки LRAC, в одном варианте осуществления компенсирующий коэффициент усиления вычисляется посредством применения преобразования непосредственно во входную интегрированную громкость I как, например, в уравнении
mu
in
G = (b - 1)I+a. (22)
Затем коэффициент усиления  применяется к аудиосигналу y. Применение этого компенсирующего коэффициента усиления обычно приводит к интегрированному отклонению громкости менее чем 2 единицы громкости (LU).
В дополнительном варианте осуществления при применении преобразования выходная краткосрочная громкость задана как
out
in
N(k) = a+b N(k),
где k - индекс кадра.
На основе упомянутого выше вычисляются коэффициенты усиления LRAC:
Коэффициенты усиления LRAC в дБ вычисляются как
out
in
in
G(k) = N(k) - N(k) = a + (b - 1) N(k).
Чтобы избежать чрезмерного усиления сигналов с низкими краткосрочными значениями громкости, в одном варианте осуществления коэффициент усиления затем ограничивается следующим образом:
max
G(k) = min(G(k), G),
max
где G - максимальный разрешенный коэффициент усиления. Этот максимальный коэффициент усиления в зависимости от варианта осуществления определяется априорно или определяется на основе аудиосигнала, например,
max
des
in
G = |LRA - LRA|.
in
Чтобы дополнительно сократить изменение интегрированной громкости вследствие обработки LRAC, в одном варианте осуществления компенсирующий коэффициент усиления вычисляется посредством применения преобразования непосредственно к входной интегрированной громкости I, как в уравнении
mu
in
G=a + (b - 1) I - 1).
mu
Это компенсирующей коэффициент усиления G затем применяется к аудиосигналу.
Некоторые аспекты офлайновой обработки состоят в следующем.
Линейная передаточная функция вычисляется с наклоном b и сдвигом a, определенными из статистического анализа аудиосигнала, как изображено на фиг. 5. Коэффициенты усиления для управления диапазоном громкости (LRAC) вычисляются на основе этой передаточной функции.
Наклон b линейной передаточной функции является функцией входного LRA и требуемого целевого LRA, установленного пользователем. Вычисление и применение коэффициентов усиления LRAC на основе передаточной функции, которая зависит только от наклона, как изображено на фиг. 5a), к входному аудиосигналу достигнет требуемого эффекта управления LRA. Однако это приведет к значительной разности между входной и выходной громкостью. Кроме того, это приведет к чрезвычайно высокому усилению сегментов с низкими уровнями громкости и усилению сегментов с высокими уровнями громкости, которое может привести к срезанию или нежелательным артефактам модуляции в обработанном входном аудиосигнале.
Комбинация наклона b и сдвига a приводит к передаточной функции, изображенной на фиг. 5b). Окончательные коэффициенты усиления LRAC определяются из этой передаточной функции. Сдвиг a гарантирует, что математическое ожидание распределения громкости сохраняется, и, таким образом, полученная в результате разность между входной и выходной громкостью мала. Кроме того, это автоматически сокращает коэффициент усиления, применяемый к сегментам с низкими уровнями громкости, и предотвращает усиление сегментов с высокими уровнями громкости, тем самым избегая срезание и модуляцию.
Последующее ограничение определенных коэффициентов усиления LRAC в некоторых вариантах осуществления является этапом последующей обработки, который гарантирует, что аудиоданные низкого уровня, такие как фоновый шум, чрезмерно не усиливаются. Вследствие сдвига a полученные коэффициенты усиления с самого начала остаются в разумном диапазоне, и подходящий максимальный коэффициент усиления может быть определен априорно.
Иллюстративная гистограмма краткосрочных значений громкости аудио фрагмента из фильма и функции усиления, соответствующие различным требуемым LRA, изображены на фиг. 6. Показаны краткосрочная гистограмма громкости одного сегмента аудиоинформации часа фильма с LRA, составляющим 22,8 LU (сверху). Также показаны передаточные функции для двух требуемых LRA, составляющих 10 LU и 15 LU, соответственно (снизу).
В варианте осуществления вычисляется коэффициент усиления нормализации громкости.
Применение способа LRAC изобретения может привести к изменению интегрированной громкости аудиоинформации. Коэффициент усиления может быть вычислен, чтобы достигнуть требуемой целевой интегрированной громкости.
in
Если требуемая целевая громкость выбрана равной входной громкости, коэффициент усиления нормализации может быть получен посредством вычисления разности между измеренной входной интегрированной громкостью I и измеренной или оценочной выходной интегрированной громкостью. Выходная интегрированная громкость может быть оценена с использованием выходных мгновенных значений громкости, которые получены из применения преобразования к входным мгновенным значениям громкости. В ином случае коэффициент усиления нормализации вычисляется из разности между оценочной или измеренной выходной интегрированной громкостью и требуемой целевой интегрированной громкостью.
in
out
in
Онлайновое управление LRAC может быть выведено из офлайновой версии. Онлайновая версия рассматривает временные сегменты аудиосигнала для входного LRA и оценку средней громкости вместо всего аудиосигнала. В этом случае параметры становятся зависящими от времени, т.е. a(k) = (1-b(k))μ(k), и это гарантирует, что статистический момент входной громкости равен соответствующему статистическому моменту выходной громкости, например, средние значения громкости: μ(k) = μ(k). Кроме того, .
Таким образом, имеются два онлайновых способа.
Способ 1
Функция Q определена как
(23)
где
(24)
и
max
max
max
max
des
in
где γ > 0 - действительное значение, и параметр G(k) в одном варианте осуществления определен как независимый от времени заданный пользователем параметр G(k) = G, или это зависящий от сигнала параметр G(k) = |LRA - LRA(k)|.
Таким образом, в этом случае коэффициент усиления может быть определен как
(25)
Способ 2
shift
in
Функции S и K(μ(k)) определены как
(26)
и
(27)
Затем коэффициент усиления LRAC вычисляется как
(28)
Чтобы избежать чрезмерного усиления, коэффициент усиления затем ограничивается следующим образом:
(29)
В дополнительном варианте осуществления параметры преобразования вычисляются как
и
out
in
, это гарантирует что μ(k) = μ(k).
При применении преобразования выходная краткосрочная громкость задана как:
out
in
N(k) = a(k) + b(k)N(k).
Затем коэффициент усиления LRAC вычисляется как
out
in
in
G(k) = N(k) - N(k) = a(k) + (b(k) - 1)N(k)
Чтобы избежать чрезмерного усиления сигналов с низкими краткосрочными значениями громкости, в одном варианте осуществления коэффициент усиления затем ограничивается следующим образом:
max
G(k) = min(G(k), G(k)).
max
max
max
max
des
in
где G(k) в одном варианте осуществления является фиксированным независимым от времени заданным пользователем параметром G(k) = G и в другом варианте осуществления является зависимым от сигнала параметром G(k) = |LRA - LRA(k)|. Таким образом, онлайновое управление LRAC рассматривает временные сегменты входного аудиосигнала вместо всей длины входного аудиосигнала.
Один вариант осуществления способа изобретения содержит следующие этапы:
1) Принять входной аудиосигнал.
2) Вычислить мгновенные или краткосрочные значения громкости как примеры фактического значения громкости для последовательности аудиокадров.
3) Определить входной диапазон громкости (LRA) из множества вычисленных мгновенных или краткосрочных значений громкости.
4) Определить передаточную функцию компрессора на основе наклона b и сдвига a. Определить наклон b из входного LRA и требуемого целевого LRA и сдвиг a из статистического момента значений громкости.
В качестве альтернативы: определить передаточную функцию компрессора на основе входного LRA, требуемое LRA и разности между мгновенными или краткосрочными значениями громкости и статистическим моментом значений громкости.
В качестве альтернативы: определить передаточную функцию компрессора на основе кривой и сдвига. Определить кривую на основе входного LRA и требуемого LRA и сдвиг на основе статистического момента значений громкости.
5) Вычислить переменные во времени коэффициенты усиления LRAC на основе определенной передаточной функции компрессора.
6) Определить выходной аудиосигнал посредством применения коэффициентов усиления LRAC к отсчетам аудиоданных входного аудиосигнала.
В варианте осуществления заданы следующие этапы: определить передаточную функцию компрессора на основе наклона и сдвига. Определить наклон на основе входного LRA и требуемого LRA и сдвиг на основе вычисленных мгновенных или краткосрочных значений громкости.
Вариант осуществления содержит этап: определить пороговую точку передаточной функции компрессора, ниже которой передаточная функция имеет другой наклон по сравнению с наклоном, определенным из входного и требуемого выходного LRA. Это соответствует реализации ограничения на минимальный коэффициент усиления компрессора.
Дополнительный вариант осуществления содержит этап: определить или задать (эвристическим образом) ограничение на максимальный коэффициент усиления, который будет применяться к вычисленным коэффициентам усиления LRAC.
В другой варианте осуществления включены следующие этапы: вычислить коэффициент усиления для управления громкостью для получения требуемой целевой громкости выходного сигнала на основе мгновенных значений громкости и коэффициентов усиления LRAC. Определить выходной аудиосигнал посредством применения коэффициентов усиления LRAC и коэффициента усиления для управления громкостью (или их комбинации) к отсчетам аудиоданных входного аудиосигнала.
На фиг. 7 на верхней диаграмме показана иллюстративная гистограмма. Диаграмма в середине показывает передаточные функции для способа управления динамическим расхождением существующего уровня техники [4]. Нижняя диаграмма показывает передаточную функцию в соответствии с изобретением. Передаточные функции показаны на диаграммах с входной громкостью на оси X и выходной громкостью на оси y. На всех трех диаграммах помечена средняя громкость.
Способ, предложенный в [4], требует два параметра, т.е. пороговую точку и наклон. Пороговая точка (отмечена точками и стрелками) представляет собой определенный пользователем параметр, который выбран как процентиль распределения громкости. Это означает, что пороговое значение в дБ изменяется для разных типов входной аудиоинформации. Однако, если выбранная пороговая точка находится близко к математическому ожиданию, это может привести к артефактам в аудиоданных вследствие нелинейной части передаточной функции. Кроме того, если выбран высокий порог, то потребуется больший наклон, чтобы достигнуть требуемого динамического расхождения. Однако наклон вычисляется на основе ввода и желаемого динамического расхождения и не зависит от выбранной пороговой точки. Упомянутые выше соображения показывают, что этого может не быть достаточно в зависимости от выбранного порога. Поэтому требуется итерационное вычисление наклона.
Предложенное изобретение не требует, чтобы пользователь или итерационная обработка определяли подходящую передаточную функцию. Все обязательные параметры автоматически определяются на основе входного сигнала и требуемого LRA.
Хотя некоторые аспекты были описаны в контексте устройства, понятно, что эти аспекты также представляют описание соответствующего способа, причем блок или устройство соответствуют этапу способа или признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока, элемента или признака соответствующего устройства. Некоторые или все этапы способа могут быть исполнены посредством (или с использованием) аппаратного устройства, такого как, например, микропроцессор, программируемый компьютер или электронная схема. В некоторых вариантах осуществления некоторый один или более из наиболее важных этапов способа могут быть исполнены таким устройством.
Переданный или закодированный сигнал изобретения может быть сохранен на цифровом запоминающем носителе или может быть передан на передающем носителе, таком как беспроводной передающий носитель или проводной передающий носитель, например, Интернет.
В зависимости от конкретных требований реализации варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена с использованием цифрового запоминающего носителя, например гибкого диска, DVD, Blu-Ray, CD, ПЗУ (ROM), ППЗУ (PROM), СППЗУ (EPROM), ЭСППЗУ (EEPROM) или флэш-памяти, имеющего сохраненные на нем электронно-читаемые управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ. Таким образом, цифровой носитель информации может быть машиночитаемым.
Некоторые варианты осуществления в соответствии с изобретением содержат носитель данных, имеющий электронно-читаемые управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой таким образом, что выполняется один из способов, описанных в настоящем документе.
В целом варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, программный код выполнен с возможностью выполнять один из способов, когда компьютерный программный продукт исполняется на компьютере. Программный код программы, например, может быть сохранен на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных в настоящем документе способов, сохраненную на машиночитаемом носителе.
Другими словами, вариант осуществления способа изобретения, таким образом, представляет собой компьютерную программу, имеющую программный код для выполнения одного из описанных здесь способов, когда компьютерная программа выполняется на компьютере.
Дополнительный вариант осуществления способа изобретения, таким образом, представляет собой носитель данных (или запоминающий носитель долговременного хранения, такой как цифровой запоминающий носитель, или машиночитаемый носитель), содержащий записанную на нем компьютерную программу для выполнения одного из описанных здесь способов. Носитель данных, цифровой носитель информации или носитель с записанными данными обычно являются материальными носителями и/или носителями долговременного хранения.
Дополнительный вариант осуществления способа изобретения, таким образом, представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из описанных здесь способов. Поток данных или последовательность сигналов могут быть выполнены с возможностью передаваться через соединение передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью выполнять один из описанных здесь способов.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из описанных в настоящем документе способов.
Дополнительный вариант осуществления в соответствии с изобретением содержит устройство или систему, выполненные с возможностью переносить (например, в электронном виде или оптически) компьютерную программу для выполнения одного из способов, описанных в настоящем документе, к приемнику. Приемник может, например, представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система могут, например, содержать файловый сервер для переноса компьютерной программы на приемник.
В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей описанных здесь способов. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнять один из описанных здесь способов. В целом способы предпочтительно выполняются любым аппаратным устройством.
Описанные выше варианты осуществления являются лишь иллюстративными для принципов настоящего изобретения. Подразумевается, что модификации и изменения описанных здесь конфигураций и подробностей, будут очевидны для специалистов в области техники. Таким образом, изобретение ограничено только объемом следующей формулы изобретения, а не конкретными деталями, представленными посредством описания и объяснения вариантов осуществления настоящего изобретения.
СПИСОК ЛИТЕРАТУРЫ
[1] EBU Tech Doc 3342 Loudness Range: A Descriptor to supplement Loudness Normalization in accordance with EBU R 128 (2016)
[2] US 8,229,125 B2
[3] US 2014/0369527 A1
[4] US 7,848,531 B1
[5] ITU-R, Recommendation ITU-R BS.1770-3. Algorithm to measure audio programme loudness and true-peak audio level, 08/2012.
[6] EBU Tech Doc 3341 Loudness Metering: ‘EBU Mode’ metering to supplement loudness normalisation in accordance with EBU R 128.