СПОСОБ И СИСТЕМА ДЛЯ ГЕНЕРИРОВАНИЯ ПЕРЕДАТОЧНОЙ ФУНКЦИИ ГОЛОВЫ ПУТЕМ ЛИНЕЙНОГО МИКШИРОВАНИЯ ПЕРЕДАТОЧНЫХ ФУНКЦИЙ ГОЛОВЫ
METHOD AND SYSTEM FOR GENERATING TRANSFER FUNCTION OF HEAD BY LINEAR MIXING OF HEAD TRANSFER FUNCTIONS

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ
Данная заявка заявляет приоритет предварительной заявки на патент США № 61/614610, поданной 23 марта 2012 г., которая ссылкой полностью включается в настоящее раскрытие.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ
Область технического применения
1.
Изобретение относится к способам и системам для выполнения интерполяции на передаточных функциях головы (функциях HRTF) с целью генерирования интерполированных функций HRTF. Более конкретно, изобретение относится к способам и системам для выполнения линейного микширования на связанных функциях HRTF (т.е. на значениях, которые определяют связанные функции HRTF) с целью определения интерполированных функций HRTF, для выполнения фильтрации посредством интерполированных функций HRTF и для предварительного определения связанных функций HRTF, обладающих такими свойствами, что интерполяция может выполняться на них особенно желательным образом (путем линейного микширования).
Предпосылки изобретения
2.
Повсюду в данном раскрытии, включая формулу изобретения, выражение выполнения операции «на» сигналах или данных (например, операции фильтрации, масштабирования или преобразования сигналов или данных) используется в широком смысле для обозначения выполнения операции непосредственно на сигналах или данных, или на обработанных версиях этих сигналов или данных (например, на версиях сигналов, которые претерпели предварительную фильтрацию перед выполнением на них указанной операции).
Повсюду в данном раскрытии, включая формулу изобретения, выражение «линейное микширование» значений (например, коэффициентов, которые определяют передаточные функции головы) обозначает определение линейной комбинации этих значений. В настоящем раскрытии, выполнение «линейной интерполяции» передаточных функций головы (функций HRTF) с целью определения интерполированной HRTF обозначает выполнение линейного микширования значений, которые определяют функции HRTF (определение линейной комбинации таких значений), с целью определения значений, которые определяют интерполированную HRTF.
Повсюду в данном раскрытии, включая формулу изобретения, выражение «система» используется в широком смысле для обозначения устройства, системы или подсистемы. Например, подсистема, которая реализует преобразование, может именоваться системой преобразования (или преобразователем), а система, включающая такую подсистему (т.е. система, которая выполняет различные типы обработки данных на звуковом вводе, в которой указанная подсистема определяет передаточную функцию для использования в одной из операций обработки данных), также может именоваться системой преобразования (или преобразователем).
Повсюду в данном раскрытии, включая формулу изобретения, выражение «представлять» обозначает процесс преобразования звукового сигнала (например, многоканального звукового сигнала) в один или несколько сигналов, подаваемых на динамики (где каждый сигнал, подаваемый на динамик, представляет собой звуковой сигнал, подлежащий применению непосредственно к громкоговорителю или последовательно к усилителю и громкоговорителю), или процесс преобразования звукового сигнала в один или несколько сигналов, подаваемых на динамики, и преобразования указанного сигнала (сигналов), подаваемого на динамик, в звук с использованием одного или нескольких громкоговорителей. В последнем случае, представление иногда именуется в настоящем раскрытии представлением «посредством» громкоговорителя (громкоговорителей).
Повсюду в данном раскрытии, включая формулу изобретения, выражения «динамик» и «громкоговоритель» используются как синонимичные для обозначения любого преобразователя, излучающего звук. Это определение включает громкоговорители, реализованные как несколько преобразователей (например, как низкочастотный динамик и высокочастотный динамик).
Повсюду в данном раскрытии, включая формулу изобретения, глагол «включает» используется в широком смысле для обозначения «представляет собой или включает», и другие формы глагола «включать» используются в том же широком смысле. Например, выражение «фильтр, который включает фильтр обратной связи» (или выражение «фильтр, включающий фильтр обратной связи») в настоящем раскрытии обозначает либо фильтр, который представляет собой фильтр обратной связи (т.е. не включает фильтр положительной обратной связи), либо фильтр, который включает фильтр обратной связи (и по меньшей мере еще один другой фильтр).
Повсюду в данном раскрытии, включая формулу изобретения, термин «виртуализатор» (или «система виртуализатора») обозначает систему, подключенную и сконфигурированную для приема N входных звуковых сигналов (служащих признаком звука из набора первоначальных местоположений) и для генерирования М звуковых сигналов с целью воспроизведения посредством набора из М физических динамиков (например, наушников или громкоговорителей), расположенных в выходных местоположениях, отличающихся от первоначальных местоположений, где каждое из чисел N и М представляет собой число больше единицы. N может быть равно или не равно М. Виртуализатор генерирует (или предпринимает попытку генерировать) выходные звуковые сигналы так, чтобы при их воспроизведении слушатель воспринимал воспроизводимые сигналы как излучаемые из первоначальных местоположений, а не из выходных местоположений физических динамиков (первоначальные положения и выходные местоположения определяются по отношению к слушателю). Например, в случае, когда M=2 и N=1, виртуализатор выполняет повышающее микширование входного сигнала с целью генерирования левого и правого выходных сигналов для стереофонического проигрывания (или проигрывания при помощи наушников). В другом примере, в случае, когда M=2 и N>3, виртуализатор выполняет понижающее микширование N входных сигналов для стереофонического проигрывания. В другом примере, в котором N=M=2, входные сигналы служат признаками звука из местоположений двух задних источников (за головой слушателя), и виртуализатор генерирует два выходных звуковых сигнала для воспроизведения стереофоническими громкоговорителями, расположенными перед слушателем так, чтобы слушатель воспринимал воспроизводимые сигналы как излучаемые из первоначальных местоположений (за головой слушателя), а не из местоположений громкоговорителей (перед головой слушателя).
R
L
Передаточные функции головы («функции HRTF») представляют собой характеристики фильтра (представляемые как импульсные характеристики или частотные характеристики), которые представляют способ, которым звук распространяется в свободном пространстве к обоим ушам человеческого субъекта. Функции HRTF изменяются от одного человека к другому, а также варьируются в зависимости от угла прихода звуковых волн. Применение HRTF-фильтра правого уха (т.е. применение фильтра, имеющего импульсную характеристику HRTF правого уха) к звуковому сигналу x(t) может вырабатывать HRTF-фильтрованный сигнал x(t), служащий признаком звукового сигнала, который мог бы восприниматься слушателем после распространения в заданном направлении прихода от источника к правому уху слушателя. Применение HRTF-фильтра левого уха (т.е. применение фильтра, имеющего импульсную характеристику HRTF левого уха) к звуковому сигналу x(t) может вырабатывать HRTF-фильтрованный сигнал x(t), служащий признаком звукового сигнала, который мог бы восприниматься слушателем после распространения в заданном направлении прихода от источника к левому уху слушателя.
Несмотря на то, что функции HRTF в настоящем раскрытии часто именуются «импульсными характеристиками», каждая такая HRTF, в альтернативном варианте, может именоваться и при помощи других выражений, в том числе «передаточная функция», «частотная характеристика» и «характеристика фильтра». Каждая HRTF может быть представлена как импульсная характеристика во временной области или как частотная характеристика - в частотной области.
Мы можем определять направление прихода исходя из азимутального угла и угла возвышения (Az, El) или исходя из единичного вектора (x, y, z). Например, на фиг. 1 направление прихода звука (к ушам слушателя) можно определить исходя из единичного вектора (x, y, z,), где оси x и y - таковы, как показано, а ось z является перпендикулярной плоскости по фиг. 1, и направление прихода звука также можно определить исходя из показанного азимутального угла Az (например, с углом возвышения, El, равным нулю).
Фиг. 2 показывает направление прихода звука (излучаемого из положения источника S) в положение L (например, местоположение уха слушателя), определенное исходя из единичного вектора (x, y, z), где показаны оси x, y и z, и исходя из азимутального угла Az и угла возвышения El.
Общепринятым является осуществление измерений функций HRTF для индивидуумов путем излучения звука из разных направлений и сбора данных отклика в ушах слушателя. Измерения могут осуществляться вблизи барабанной перепонки слушателя или на входе в заблокированный наружный слуховой канал, или другими способами, хорошо известными в данной области техники. Измеренные характеристики HRTF могут модифицироваться множеством способов (также хорошо известных в данной области техники) с целью компенсации частотной коррекции громкоговорителя, используемого при измерениях, а также с целью компенсации частотной коррекции наушников, которые будут использоваться позднее при воспроизведении бинаурального материала для слушателя.
Типичным применением функций HRTF является применение в качестве характеристик фильтров при обработке сигнала, предназначенной для создания у слушателя, надевшего наушники, иллюзии трехмерного звука. Другие типичные применения функций HRTF включают создание улучшенного проигрывания звуковых сигналов через громкоговорители. Например, общепринятым является использование функций HRTF для реализации виртуализатора, который генерирует выходные звуковые сигналы (в ответ на входные звуковые сигналы, служащие признаком звука из некоторого набора местоположений источников) так, чтобы когда выходные звуковые сигналы воспроизводятся громкоговорителями, они воспринимались как излучаемые из местоположений источников, а не из местоположений физических динамиков (где первоначальные местоположения и выходные местоположения определяются по отношению к слушателю).
Виртуализаторы могут реализовываться во множестве мультимедийных устройств, которые содержат стереофонические громкоговорители (телевизоры, ПК, док-станции iPod) или предназначаются для использования со стереофоническими громкоговорителями или наушниками.
Виртуальный окружающий звук может способствовать созданию впечатления того, что существует большее количество источников звука, чем имеется физических динамиков (например, наушников или громкоговорителей). Как правило, для обычного слушателя требуется по меньшей мере два динамика, чтобы воспринимать воспроизводимый звук так, будто он излучается из нескольких источников звука. В системах виртуального окружающего звука общепринятым является использование функций HRTF для генерирования звуковых сигналов, которые при их воспроизведении физическими динамиками (например, парой физических динамиков), расположенными перед слушателем, воспринимаются барабанными перепонками слушателя как звук от громкоговорителей в любом положении или в широком разнообразии положений (в том числе в положениях за слушателем).
Из вариантов осуществления изобретения может извлекать выгоду большинство или все традиционные применения функций HRTF.
КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В одном из классов вариантов осуществления изобретения, изобретение представляет собой способ выполнения линейного микширования на связанных функциях HRTF (т.е. на значениях, которые определяют связанные функции HRTF) с целью определения интерполированной HRTF для любого заданного направления прихода в некотором диапазоне (например, в диапазоне, охватывающем по меньшей мере 60 градусов в плоскости, или в полном диапазоне 360 градусов в плоскости), где связанные функции HRTF были предварительно определены как обладающие такими свойствами, что на них может выполняться линейное микширование (с целью генерирования интерполированных функций HRTF) без внесения искажения гребенчатой фильтрации (в том смысле, что каждая интерполированная HRTF, определяемая таким линейным микшированием, имеет амплитудную характеристику, которая не проявляет значительное искажение гребенчатой фильтрации).
Как правило, линейное микширование выполняется на значениях предварительно определенного «набора связанных функций HRTF», где набор связанных функций HRTF включает значения, которые определяют набор связанных функций HRTF, и каждая из связанных функций HRTF соответствует одному направлению прихода набора из по меньшей мере двух направлений прихода. Как правило, набор связанных функций HRTF включает небольшое количество связанных функций HRTF, каждая - для отличающегося одного направления прихода из небольшого количества направлений прихода в пространстве (например, в плоскости или части плоскости), и линейная интерполяция, выполняемая на связанных функциях HRTF в наборе, определяет HRTF для каждого заданного направления прихода в пространстве. Как правило, набор связанных функций HRTF включает пару связанных функций HRTF (HRTF, связанную с левым ухом, и HRTF, связанную с правым ухом) для каждого угла из небольшого количества углов прихода, которые охватывают пространство (например, горизонтальную плоскость) и являются квантованными до определенной угловой разрешающей способности. Например, набор связанных функций HRTF может состоять из пары связанных функций HRTF для каждого из двенадцати углов прихода по окружности в 360 градусов с угловой разрешающей способностью 30 градусов (например, углов 0, 30, 60,..., 300 и 330 градусов).
В некоторых вариантах осуществления изобретения, способ изобретения использует (например, включает этапы определения и использования) базисного набора функций HRTF, который, в свою очередь, определяет набор связанных функций HRTF. Например, базисный набор функций HRTF может определяться (исходя из предварительно определенного набора функций HRTF) путем выполнения, по меньшей мере, аппроксимации по методу наименьших квадратов или другого процесса аппроксимации с целью определения коэффициентов базисного набора функций HRTF так, чтобы базисный набор функций HRTF определял набор связанных функций HRTF с приемлемой (предварительно определенной) точностью. Базисный набор функций HRTF «определяет» набор связанных функций HRTF в том смысле, что линейная комбинация значений (например, коэффициентов) базисного набора функций HRTF (в ответ на заданное направление прихода) определяет такую же HRTF (с приемлемой точностью), как HRTF, определяемая линейной комбинацией связанных функций HRTF в наборе связанных функций HRTF в ответ на такое же направление прихода.
Связанные функции HRTF, генерируемые или используемые в типичных вариантах осуществления изобретения, отличаются от обыкновенных функций HRTF (например, от физически измеренных функций HRTF) тем, что они имеют существенно уменьшенную интерауральную групповую задержку на высоких частотах (выше частоты связывания) и, в то же время, по-прежнему обеспечивают хорошо подобранную интерауральную фазовую характеристику (в сравнении с таковой, обеспечиваемой парой обыкновенных функций HRTF левого уха и правого уха) на низких частотах (ниже частоты связывания). Частота связывания составляет больше 700 Гц и, как правило, меньше 4 кГц. Связанные функции HRTF из набора связанных функций HRTF, генерируемые (или используемые) в типичных вариантах осуществления изобретения, как правило, определяются исходя из обыкновенных функций HRTF (для одних и тех же направлений прихода) путем намеренного изменения фазовой характеристики каждой обыкновенной HRTF выше частоты связывания (с целью выработки соответствующей связанной HRTF). Это осуществляется так, чтобы фазовые характеристики всех связанных HRTF-фильтров в наборе являлись связанными выше частоты связывания (т.е. так, чтобы разность между фазами каждой HRTF, связанной с левым ухом, и каждой HRTF, связанной с правым ухом, была, по меньшей мере, по существу постоянной в зависимости от частоты для всех частот существенно выше частоты связывания).
В типичных вариантах осуществления изобретения, способ изобретения включает этапы:
(a) в ответ на сигнал, служащий признаком заданного направления прихода (например, на данные, служащие признаком заданного направления прихода), - выполнения линейного микширования на данных, служащих признаками связанных функций HRTF из набора связанных функций HRTF (где набор связанных функций HRTF включает значения, которые определяют набор связанных функций HRTF, соответствующих набору из по меньшей мере двух направлений прихода) с целью определения HRTF для заданного направления прихода; и
(b) выполнения HRTF-фильтрации на входном звуковом сигнале (например, на аудиоданных в частотной области, служащих признаком одного или нескольких звуковых каналов, или на аудиоданных во временной области, служащих признаком одного или нескольких звуковых каналов) с использованием указанной HRTF для заданного направления прихода. В некоторых вариантах осуществления изобретения, этап (а) включает этап выполнения линейного микширования на коэффициентах базисного набора функций HRTF с целью определения HRTF для заданного направления прихода, где базисный набор функций HRTF определяет набор связанных функций HRTF.
В некоторых вариантах осуществления изобретения, изобретение представляет собой HRTF-преобразователь (и способ преобразования, реализуемый таким HRTF-преобразователем), сконфигурированный для выполнения линейной интерполяции (т.е. линейного микширования) связанных функций HRTF из набора связанных функций HRTF с целью определения HRTF для любого заданного направления прихода в некотором диапазоне (например, в диапазоне, охватывающем по меньшей мере 60 градусов в плоскости, или в полном диапазоне 360 градусов в плоскости, или даже в полном диапазоне углов прихода в трех измерениях). В некоторых вариантах осуществления изобретения HRTF-преобразователь является сконфигурированным для выполнения линейного микширования коэффициентов фильтра для базисного набора функций HRTF (который, в свою очередь, определяет набор связанных функций HRTF) с целью определения HRTF для каждого заданного направления прихода в некотором диапазоне (например, в диапазоне, охватывающем по меньшей мере 60 градусов в плоскости, или в полном диапазоне 360 градусов в плоскости, или даже в полном диапазоне углов прихода в трех измерениях).
В одном из классов вариантов осуществления изобретения, изобретение представляет собой способ и систему для выполнения HRTF-фильтрации на входном звуковом сигнале (например, на аудиоданных в частотной области, служащих признаком одного или нескольких звуковых каналов, или на аудиоданных во временной области, служащих признаком одного или нескольких звуковых каналов). Система включает HRTF-преобразователь (подключенный для приема сигнала, например, данных, служащих признаком направления прихода) и подсистему (например, ступень) HRTF-фильтра, подключенную для приема входного звукового сигнала и сконфигурированную для фильтрации входного звукового сигнала с использованием HRTF, определенной HRTF-преобразователем в ответ на направление прихода. Например, преобразователь может хранить в памяти данные (или быть сконфигурированным для получения доступа к данным), определяющие базисный набор функций HRTF (который, в свою очередь, определяет набор связанных функций HRTF), и является сконфигурированным для выполнения линейной комбинации коэффициентов в базисном наборе функций HRTF способом, определяемым направлением прихода (например, направлением прихода, определяемым как угол или как единичный вектор, соответствующий набору входных аудиоданных, направленных в подсистему HRTF-фильтра), с целью определения пары функций HRTF (т.е. HRTF левого уха и HRTF правого уха) для заданного направления прихода. Подсистема HRTF-фильтра может быть сконфигурирована для фильтрации направляемого в нее набора входных аудиоданных парой функций HRTF, определяемых преобразователем для направления прихода, соответствующего входным аудиоданным. В некоторых вариантах осуществления изобретения, подсистема HRTF-фильтра реализует виртуализатор, например, виртуализатор, сконфигурированный для обработки данных, служащих признаком монофонического входного звукового сигнала, с целью генерирования левого и правого выходных звуковых каналов (например, для представления через наушники с тем, чтобы создать у слушателя впечатление звука, излучаемого из источника в заданном направлении прихода). В некоторых вариантах осуществления изобретения, виртуализатор является сконфигурированным для генерирования выходного звукового сигнала (в ответ на входной звуковой сигнал, служащий признаком звука из фиксированного источника), служащего признаком звука из источника, который является плавно панорамированным между углами прихода в пространстве, охватываемом набором связанных функций HRTF (без внесения значительно искажения гребенчатой фильтрации).
Использование набора связанных функций HRTF, определенного в соответствии с одним из классов вариантов осуществления изобретения, входной звуковой сигнал может обрабатываться так, чтобы он казался приходящим под любым углом в пространстве, охватываемом набором связанных функций HRTF, включая углы, которые не точно соответствуют связанным функциям HRTF, заключенным в этом наборе, без внесения значительного искажения гребенчатой фильтрации.
Типичные варианты осуществления изобретения определяют (или определяют и используют) набор связанных функций HRTF, который удовлетворяет трем следующим критериям (иногда для удобства именуемым в настоящем раскрытии «Золотым правилом»):
1. Интерауральная фазовая характеристика каждой пары HRTF-фильтров (т.е. каждой пары из HRTF левого уха и HRTF правого уха, созданных для заданного направления прихода) согласуется с интерауральной фазовой характеристикой соответствующей пары обыкновенных функций HRTF левого уха и правого уха с фазовой ошибкой менее 20% (или, более предпочтительно, с фазовой ошибкой менее 5%) для всех частот ниже частоты связывания. Частота связывания составляет больше 700 Гц и, как правило, меньше 4 кГц. Иными словами, абсолютное значение разности между фазой HRTF левого уха, созданной из указанного набора, и фазой соответствующей HRTF правого уха, созданной из указанного набора, отличается от абсолютного значения разности между фазой соответствующей обыкновенной HRTF левого уха и фазой соответствующей обыкновенной HRTF правого уха не более чем на 20% (или, более предпочтительно, не более чем на 5%) на каждой из частот ниже частоты связывания. При частотах выше частоты связывания фазовая характеристика HRTF-фильтров, которые создаются исходя из указанного набора (при помощи процесса линейного микширования), отклоняется от поведения обыкновенных функций HRTF так, что интерауральная групповая задержка (на таких высоких частотах) значительно уменьшается по сравнению с обыкновенными функциями HRTF;
2. Амплитудная характеристика каждого HRTF-фильтра, созданного из указанного набора (путем процесса линейного микширования) для одного из направлений прихода, находится в пределах диапазона, ожидаемого для обыкновенных функций HRTF для этого направления прихода (например, в том смысле, что она не проявляет значительное искажение гребенчатой фильтрации относительно амплитудной характеристики типичного обыкновенного HRTF-фильтра для этого направления прихода); и
3. Диапазон углов прихода, который может охватываться процессом микширования (с целью генерирования пары функций HRTF для каждого угла прихода в этом диапазоне путем процесса линейного микширования связанных функций HRTF из этого набора) составляет по меньшей мере 60 градусов (и, предпочтительно, составляет 360 градусов).
Одна из особенностей изобретения представляет собой систему, сконфигурированную для выполнения какого-либо из вариантов осуществления способа изобретения. В некоторых вариантах осуществления изобретения, система согласно изобретению представляет собой или включает процессор общего или специального назначения (например, процессор цифровой обработки звуковых сигналов), запрограммированный программным обеспечением (или аппаратно-программным обеспечением) и/или иначе сконфигурированный для выполнения одного из вариантов осуществления способа изобретения. В некоторых вариантах осуществления изобретения, система согласно изобретению реализуется путем соответствующего конфигурирования (например, путем программирования) конфигурируемого процессора цифровой обработки звуковых сигналов (DSP). Звуковой DSP может представлять собой традиционный звуковой DSP, который является конфигурируемым (например, программируемым соответствующим программным обеспечением или аппаратно-программным обеспечением, или иначе конфигурируемым в ответ на управляющие данные) для выполнения любой из множества операций на входном звуковом сигнале, а также для выполнения одного из вариантов осуществления способа изобретения. В действии, звуковой DSP, который был сконфигурирован для выполнения одного из вариантов осуществления изобретательского способа согласно изобретению, является подключенным для приема по меньшей мере одного входного звукового сигнала и по меньшей мере одного сигнала, служащего признаком направления прихода, и указанный DSP, как правило, выполняет ряд операций на каждом указанном звуковом сигнале в дополнение к выполнению на нем HTRF-фильтрации в соответствии с указанным вариантом осуществления способа изобретения.
Другими особенностями изобретения являются: способы генерирования набора связанных функций HRTF (например, набора, который удовлетворяет Золотому правилу, описываемому в настоящем раскрытии), машиночитаемый носитель данных (например, диск), в памяти которого хранится (в материальной форме) код, предназначенный для программирования процессора или другой системы на выполнение какого-либо из вариантов осуществления способа изобретения, и машиночитаемый носитель данных (например, диск), в памяти которого хранятся (в материальной форме) данные, которые определяют набор связанных функций HRTF, где указанный набор связанных функций HRTF был определен в соответствии с одним из вариантов осуществления изобретения (например, так, чтобы он удовлетворял Золотому правилу, описываемому в настоящем раскрытии).
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
Фиг. 1 - схема, показывающая определение направления прихода звука (к первому уху слушателя) исходя из единичного вектора (x, y, z), где ось z является перпендикулярной плоскости фиг. 1, и исходя из азимутального угла Az (где угол возвышения, El, равен нулю).
Фиг. 2 - схема, показывающая определение направления прихода звука (излучаемого из положения источника S) в местоположение L исходя из азимутального угла Az и угла возвышения El.
L
R
L
R
L
R
L
L
R
R
Фиг. 3 - набор графиков (зависимости амплитуды от времени) для пар определенных традиционно импульсных характеристик HRTF для азимутальных углов 35 и 55 градусов (обозначенных HRTF(35,0) и HRTF(35,0), и HRTF(55,0) и HRTF(55,0)), пары определенных традиционно (измеренных) импульсных характеристик HRTF для азимутального угла 45 градусов (обозначенных HRTF(45,0) и HRTF(45,0)) и пары синтезированных импульсных характеристик HRTF для азимутального угла 45 градусов (обозначенных (HRTF(35,0)+HRTF(55,0))/2 и (HRTF(35,0)+HRTF(55,0))/2), сгенерированных путем линейного микширования традиционных импульсных характеристик для азимутальных углов 35 и 55 градусов.
R
R
R
Фиг. 4 - график частотной характеристики синтезированной HRTF правого уха ((HRTF(35,0)+HRTF(55,0))/2) по фиг. 3 и частотной характеристики истинной HRTF правого уха для азимута 45 градусов (HRTF(45,0)) по фиг. 3.
R
Фиг. 5(a) - график частотных характеристик (зависимостей амплитуды от частоты) несинтезированных HRTF правого уха для 35, 45 и 55 градусов по фиг. 3.
R
Фиг. 5(b) - график фазовых характеристик (зависимостей фазы от частоты) несинтезированных функций HRTF правого уха для 35, 45 и 55 градусов по фиг. 3.
Фиг. 6(a) - график фазовых характеристик связанных функций HRTF правого уха (сгенерированных в соответствии с одним из вариантов осуществления изобретения) для азимутальных углов 35 и 55 градусов.
Фиг. 6(b) - график фазовых характеристик связанных функций HRTF правого уха (сгенерированных в соответствии с другим вариантом осуществления изобретения) для азимутальных углов 35 и 55 градусов.
R
R
R
Z
Z
Фиг. 7 - график частотной характеристики (амплитуды в зависимости от частоты) определенной традиционно HRTF правого уха для азимутального угла 45 градусов (обозначена HRTF(45,0)) и график частотной характеристики HRTF правого уха (обозначена (HRTF (35,0)+HRTF (55,0))/2), определенной согласно одному из вариантов осуществления изобретения путем линейного микширования связанных функций HRTF (также определенных согласно изобретению) для азимутальных углов 35 и 55 градусов.
Фиг. 8 - график (построенный как зависимость амплитуды от частоты, где частота выражена в единицах индексов k элементов дискретизации FFT) весовой функции W(k), используемой в некоторых вариантах осуществления изобретения для определения связанных функций HRTF.
Фиг. 9 - блок-схема одного из вариантов осуществления изобретательской системы.
Фиг. 10 - блок-схема одного из вариантов осуществления изобретательской системы, которая включает HRTF-преобразователь 10 и аудиопроцессор 20 и является сконфигурированной для обработки монофонического сигнала для представления через наушники так, чтобы создавать у слушателя впечатление звука, расположенного под заданным азимутальным углом Az.
Фиг. 11 - блок-схема одного из вариантов осуществления изобретательской системы, которая включает микшер 30 и HRTF-преобразователь 40.
Фиг. 12 - блок-схема другого варианта осуществления изобретательской системы.
Фиг. 13 - блок-схема еще одного варианта осуществления изобретательской системы.
ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Технологически возможными являются многие варианты осуществления настоящего изобретения. Средним специалистам в данной области техники из настоящего раскрытия станет очевидно, каким образом их реализовывать. Варианты осуществления изобретательской системы, среды и способа будут описаны со ссылкой на фиг. 3-13.
В настоящем раскрытии, «набор» функций HRTF обозначает совокупность функций HRTF, которая соответствует нескольким направлениям прихода. Набор функций HRTF может храниться в справочной таблице, и может выводиться (в ответ на ввод, служащий признаком направления прихода) пара функций HRTF левого уха и правого уха (заключенных в наборе), которая соответствует направлению прихода. Как правило, в набор включаются HRTF левого уха и HRTF правого уха (соответствующие каждому направлению прихода).
L
R
L
L
Функции HRTF левого уха и правого уха, реализованные как импульсные характеристики конечной длины (что представляет собой способ, которым они чаще всего реализуются), в настоящем раскрытии иногда будут именоваться, соответственно, HRTF(x, y, z, n) и HRTF(x, y, z, n), где (x, y, z) устанавливает единичный вектор, который определяет соответствующее направление прихода (в альтернативном варианте, в некоторых вариантах осуществления изобретения, вместо координат положения х, y и z, функции HRTF определяются в отношении азимутального угла и угла возвышения, Az и El), и где 0≤n≤N, где N - порядок фильтров FIR, и n - количество дискретных значений импульсной характеристики. Иногда, когда в результате пропуска ссылки на количество дискретных значений импульсной характеристики, n, не будет возникать путаница, мы для простоты будем именовать такие фильтры без ссылки на дискретные значения импульсной характеристики, которая их включает (например, фильтры будут именоваться HRTF(x, y, z) или HRTF(Az, El)).
В настоящем раскрытии, выражение «обыкновенная HRTF» обозначает характеристику фильтра, которая имеет близкое сходство с передаточной функцией головы человеческого субъекта. Обыкновенная HRTF может создаваться любым из множества способов, хорошо известных в данной области техники. Одной из особенностей настоящего изобретения является HRTF нового типа (именуемая в настоящем раскрытии связанной HRTF), которая отличается от обыкновенных функций HRTF специфическим образом, который подлежит описанию.
В настоящем раскрытии, выражение «базисный набор функций HRTF» обозначает совокупность характеристик фильтра (обычно - коэффициентов фильтра FIR), которые могут линейно комбинироваться друг с другом для генерирования функций HRTF (коэффициентов HRTF) для различных направлений прихода. Для выработки наборов коэффициентов фильтра уменьшенного размера в данной области техники известно множество способов, в том числе способ, который традиционно именуется анализом главных компонент.
В настоящем раскрытии, выражение «HRTF-преобразователь» обозначает способ или систему, которая определяет пару импульсных характеристик HRTF (импульсную характеристику левого уха и импульсную характеристику правого уха) в ответ на заданное направление прихода (например, направление, заданное как угол или единичный вектор). HRTF-преобразователь может действовать путем использования набора функций HRTF и может определять пару функций HRTF для заданного направления путем выбора из набора функций HRTF, направление прихода которых является ближайшим к заданному направлению прихода. В альтернативном варианте, HRTF-преобразователь может определять каждую HRTF для требуемого направления путем интерполяции между функциями HRTF из набора, где интерполяция осуществляется между функциями HRTF из набора, которые имеют соответствующие направления прихода, близкие к требуемому направлению. Обе эти методики (ближайшее соответствие и интерполяция) хорошо известны в данной области техники.
Например, набор функций HRTF может содержать совокупность коэффициентов импульсной характеристики, которые представляют функции HRTF для нескольких направлений прихода, в том числе некоторого количества направлений в горизонтальной плоскости (El=0). Если набор включает элементы для (Az=35°, El=0°) и (Az=55°, El=0°), то HRTF-преобразователь может вырабатывать оценочную характеристику HRTF для (Az=45°,El=0°) при помощи некоторой формы микширования:
<img file="00000001.tif" he="11" wi="80" img-content="undefined" img-format="tif" />
(1.1)
В альтернативном варианте, HRTF-преобразователь может вырабатывать HRTF-фильтры для отдельного угла прихода путем линейного микширования друг с другом коэффициентов фильтра из базисного набора функций HRTF. Более подробное изложение этого примера дано в описании ниже в отношении связанных функций HRTF в формате В.
Привлекательным является выполнение каждой операции микширования по уравнениям (1.1) просто путем усреднения импульсных характеристик, например, следующим образом:
<img file="00000002.tif" he="18" wi="79" img-content="undefined" img-format="tif" />
(1.2)
R
R
Однако простой подход к линейной интерполяции для микширования (например, по уравнениям (1.2)) традиционно генерируемых функций HRTF ведет к трудностям, вызванным существованием разностей групповых задержек между характеристиками, которые подвергаются микшированию (например, между традиционно определяемыми характеристиками HRTF(35,0) и HRTF(55,0) в уравнениях (1.2)).
L
R
L
R
L
L
R
R
R
R
R
Фиг. 3 показывает типичные импульсные характеристики обыкновенных функций HRTF для азимутальных углов 35 и 55 градусов (характеристики, помеченные на фиг. 3 HRTF(35,0) и HRTF(35,0), и характеристики, помеченные HRTF(55,0) и HRTF(55,0)). Фиг. 3 также показывает пару синтезированных 45-градусных функций HRTF (помеченных на фиг. 3 (HRTF(35,0)+HRTF(55,0))/2 и (HRTF(35,0)+HRTF(55,0))/2), сгенерированных путем усреднения характеристик для 35 и 55 градусов способом, показанным в уравнениях (1.2). Фиг. 4 показывает частотную характеристику, усредненной HRTF правого уха («(HRTF (35,0)+HRTF(55,0))/2») в сравнении с истинной HRTF («HRTF(45,0)») для азимутального угла 45 градусов.
R
R
На фиг. 5(а) на график нанесены частотные характеристики (амплитуда в зависимости от частоты) истинных фильтров HRTF для 35, 45 и 55 градусов (по фиг. 3). На фиг. 5(b) на график нанесены фазовые характеристики (фаза в зависимости от частоты) истинных фильтров HRTF для 35, 45 и 55 градусов (по фиг. 3).
R
R
R
R
Как видно из фиг. 3, импульсные характеристики HRTF(35,0) и HRTF(55,0) показывают существенно отличающиеся задержки (что указывается последовательностью коэффициентов около нуля в начале каждой из этих импульсных характеристик). Эти начальные задержки вызваны временем, отнимаемым распространением звука к более отдаленному уху (поскольку азимутальные углы 35, 45 и 55 градусов подразумевают, что звук в первую очередь достигает левого уха, и, таким образом, для правого уха будет иметь место задержка, и эта задержка будет увеличиваться при увеличении азимута от 35 до 55 градусов). Из фиг. 3 также видно, что характеристика HRTF(45,0) имеет начальную задержку, которая находится где-то между характеристиками для 35 и 55 градусов (как можно было бы полагать). Однако характеристика, создаваемая путем усреднения импульсных характеристик для 35 и 55 градусов, оказывается очень непохожей на истинную импульсную характеристику для 45 градусов (HRTF(45,0)). Эта разность, которая является довольно заметной на графиках импульсных характеристик по фиг. 3, еще более очевидна на графиках частотных характеристик по фиг. 4.
R
Например, на фиг. 4 на характеристике фильтра, которая создавалась путем усреднения функций HRTF для 35 и 55 градусов, виден глубокий провал около 3,5 кГц. «Верная» HRTF для 45 градусов (помеченная на фиг. 4 «HRTF(45,0)») не содержит провала около 3,5 кГц. Таким образом, очевидно, что операция микширования, выполняемая для генерирования усредненной характеристики «(HRTFr(35,0)+HRTFr(55,0))/2» вносит нежелательный провал, что является примером внесения артефактов, часто именуемых «гребенчатой фильтрацией». Следует отметить, что провалы (артефакты гребенчатой фильтрации) также проявляются на фиг. 4 в синтезированной характеристике фильтра (создаваемой путем усреднения функций HRTF для 35 и 55 градусов) при 10 кГц и 17 кГц.
r
Причину указанной гребенчатой фильтрации можно наблюдать при изучении фазовой характеристики фильтров HRTF, показанной на фиг. 5(b). Из фиг. 5(b) очевидно, что при 3,5 кГц HRTF для правого уха при 35 градусов имеет сдвиг по фазе -600 градусов, в то время как HRTF для правого уха при 55 градусов имеет сдвиг по фазе -780 градусов. Разность фаз 180 градусов между фильтрами для 35 и 55 градусов означает, что любое суммирование этих фильтров (которое происходило бы при их усреднении) будет приводить к частичному сокращению характеристики при 3,5 кГц (и, таким образом, к глубокому провалу, показанному на фиг. 4).
И хотя было бы желательно использовать методики линейной интерполяции (такие, как вышеописанный способ усреднения), для реализации HRTF-преобразователя представляют значительную трудность проблемы гребенчатой фильтрации (образования провалов) описанного типа, поскольку результирующие провалы будут приводить к слышимым артефактам в функциях HRTF, вырабатываемых таким HRTF-преобразователем. Если повысить пространственную разрешающую способность набора функций HRTF (например, путем использования большего набора с измерениями, выполненными на более мелкомасштабной сетке), трудности, связанные с образованием провалов, как правило, по-прежнему будут присутствовать (однако провалы в интерполированной характеристике могут проявляться на более высоких частотах).
L
r
В одном из классов вариантов осуществления изобретения, настоящее изобретение представляет собой HRTF-преобразователь, который может определять пару функций HRTF (HRTF и HRTF) для произвольного направления прихода путем формирования взвешенной суммы функций HRTF из небольшой библиотеки (набора) специально сгенерированных функций HRTF (например, набора из менее чем 50 функций HRTF). Если этот набор содержит L элементов (d=1,..., L), преобразователь может вычислять:
<img file="00000003.tif" he="24" wi="65" img-content="undefined" img-format="tif" />
(1.3)
d
где величины WL и WR представляют собой наборы весовых коэффициентов (каждый - для конкретного направления прихода, определяемого x, y и z, и индексом набора, d), и коэффициенты IR(n) представляют собой импульсные характеристики в наборе.
Специально генерируемые функции HRTF (именуемые в настоящем раскрытии «связанными функциями HRTF» или «связанными HRTF-фильтрами») в изобретательском наборе функций HRTF (именуемом в настоящем раскрытии «набором связанных функций HRTF») создаются искусственно (например, путем модификации «обыкновенных» функций HRTF) так, чтобы указанные характеристики в наборе можно было линейно микшировать по уравнениям (1.3), вырабатывая функции HRTF для произвольных направлений прихода. Набор связанных функций HRTF, как правило, включает пару функций HRTF (HRTF левого уха и HRTF правого уха) для каждого из нескольких углов прихода, которые охватывают заданное пространство (например, горизонтальную плоскость) и являются квантованными до конкретной угловой разрешающей способности (например, набор связанных функций HRTF представляет углы прихода с угловой разрешающей способностью 30 градусов по окружности в 360 градусов: 0, 30, 60,..., 300 и 330 градусов). Связанные функции HRTF в наборе определяются так, что они отличаются от «обыкновенных» (истинных, например, измеренных) функций HRTF для указанных углов прихода в указанном наборе. В частности, они отличаются тем, что фазовая характеристика каждой обыкновенной HRTF выше определенной частоты намеренно изменяется (с целью выработки связанной HRTF). Еще конкретнее, фазовая характеристика каждой обыкновенной HRTF намеренно изменяется таким образом, чтобы фазовые характеристики всех связанных HRTF-фильтров в наборе являлись связанными выше частоты связывания (т.е. так, чтобы интерауральная разность фаз между фазой каждой связанной HRTF левого уха и каждой связанной HRTF правого уха была, по меньшей мере, по существу, постоянной в зависимости от частоты для всех частот существенно выше частоты связывания, и, предпочтительно, так, чтобы фазовая характеристика каждой связанной HRTF в наборе была, по существу, постоянной в зависимости от частоты для всех частот существенно выше частоты связывания).
Создание наборов связанных функций HRTF использует дуплексную теорию локализации звука, предложенную Lord Rayleigh. Дуплексная теория локализации звука утверждает, что разности временных задержек в функциях HRTF предоставляют слушателям важные информационные сигналы на низких частотах (вплоть до частоты в диапазоне от, около, 1000 Гц до, около, 1500 Гц), и что при более высоких частотах важные информационные сигналы предоставляются слушателям разностями амплитуд. Эта дуплексная теория не предполагает, что свойства фазы или задержки функций HRTF при более высоких частотах являются совершенно неважными, но просто говорит, что они имеют относительно меньшую важность, а разности амплитуд являются более важными на более высоких частотах.
c
Определение набора связанных функций HRTF начинается с выбора «частоты связывания» (F), которая представляет собой частоту, ниже которой каждая пара связанных функций HRTF для некоторого направления прихода (т.е. связанных функций HRTF левого и правого уха для этого направления прихода) имеет интерауральную фазовую характеристику (зависящую от частоты относительную фазу между фильтрами левого уха и правого уха), которая близко согласуется с интерауральной фазовой характеристикой соответствующих «обыкновенных» левой и правой функций HRTF для того же направления прихода. В предпочтительных вариантах осуществления изобретения, интерауральные фазовые характеристики близко согласуются одна другой в том смысле, что фаза каждой связанной HRTF находится в пределах 20% (или, более предпочтительно, в пределах 5%) фазы соответствующей «обыкновенной» HRTF для частот ниже частоты связывания.
R
r
R
R
R
R
R
R
c
z
Z
C
C
Для принятия во внимание концепции указанного «близкого согласования» между интерауральными фазовыми характеристиками, рассмотрим фазовые характеристики связанных функций HRTF для 35 и 55 градусов (HRTF (35,0), HRTF (55,0), HRTF (35,0) и HRTF (55,0)), показанные на фиг. 6(a) и 6(b). Амплитудные характеристики этих связанных функций HRTF (не нанесенные на графики на фиг. 6(a) и 6(b)) являются такими же, как амплитудные характеристики соответствующих «обыкновенных» функций HRTF (т.е. HRTF(35,0) и HRTF(55,0) по фиг. 5(a) и 5(b)), исходя из которых они определены (то есть амплитудные характеристики являются такими же, как нанесенные на графики на фиг. 5(а)). Для определения каждой из связанных функций HRTF исходя из соответствующей обыкновенной HRTF, изменяется только фазовая характеристика (относительно таковой у соответствующей обыкновенной HRFT) и только выше частоты связывания (которая, в этом примере, составляет F=1000 Гц). Результат данной модификации фазовой характеристики заключается в том, что она позволяет линейно микшировать одну с другой связанные функции HRTF, не вызывая нежелательные артефакты гребенчатой фильтрации (в том смысле, что каждая интерполированная HRTF, определенная путем такого линейного микширования, имеет амплитудную характеристику, которая не проявляет значительное искажение гребенчатой фильтрации).
Z
Z
С
С
R
R
c
R
R
c
R
R
c
R
R
c
Таким образом, фазовая характеристика HRTF (35,0) по фиг. 6(а) близко совпадает с таковой для обыкновенной HRTF(35,0) по фиг. 5(b) ниже частоты связывания (F=1000 Гц), таковая для HRTF (55,0) по фиг. 6(а) близко совпадает с таковой для обыкновенной HRTF(55,0) по фиг. 5(b) ниже частоты связывания (F=1000 Гц), таковая для HRTF (35,0) по фиг. 6(b) близко совпадает с таковой для обыкновенной HRTF(35,0) по фиг. 5(b) ниже частоты связывания (F=1000 Гц), и таковая для HRTF (55,0) по фиг. 6(b) близко совпадает с таковой для обыкновенной HRTF(55,0) по фиг. 5(b) ниже частоты связывания (F=1000 Гц).
Z
Z
C
C
R
R
R
R
R
R
R
R
Фазовые характеристики функций HRTF (35,0) и HRTF (55,0) по фиг. 6(a) значительно отличаются от таковых для обыкновенной HRTF(35,0) и обыкновенной HRTF(55,0) по фиг. 5(b) выше частоты связывания, и фазовые характеристики функций HRTF (35,0) и HRTF (55,0) по фиг. 6(b) значительно отличаются от таковых для обыкновенной HRTF(35,0) и обыкновенной HRTF(55,0) по фиг. 5(b) выше частоты связывания.
Z
Z
Z
Z
C
C
C
C
C
C
R
R
L
L
R
R
l
l
R
R
Фазовые характеристики функций HRTF (35,0) и HRTF (55,0) по фиг. 6(a) являются связанными на частотах выше частоты связывания (так, чтобы определяемые исходя из них интерауральные фазовые характеристики и соответствующие функции левого уха HRTF (35,0) и HRTF (55,0) совпадали или почти совпадали на частотах существенно выше частоты связывания). Сходным образом, фазовые характеристики функций HRTF (35,0) и HRTF (55,0) по фиг. 6(b) являются связанными на частотах выше частоты связывания (так, чтобы определяемые исходя из них интерауральные фазовые характеристики и соответствующие функции левого уха HRTF (35,0) и HRTF (55,0) совпадали или почти совпадали на частотах существенно выше частоты связывания). Как показано на фиг. 6(b), фазовые характеристики, нанесенные на график для HRTF (35,0) и HRTF (55,0), не отклоняются одна от другой более чем на, около, 90 градусов, и мы считаем это близким «согласованием» фазовых характеристик, поскольку такое согласование гарантирует то, что указанные связанные фильтры будут линейно микшироваться друг с другом, не вызывая значительную гребенчатую фильтрацию.
R
R
R
R
R
R
R
R
R
Z
Z
Z
Z
Z
Z
Z
Z
Фиг. 7 представляет собой график частотной характеристики (амплитуды в зависимости от частоты) определенной традиционно (обыкновенной) HRTF(45,0) правого уха по фиг. 5(b) и график частотной характеристики HRTF правого уха (помеченной (HRTF (35,0)+HRTF (55,0))/2), определенной согласно одному из вариантов осуществления изобретения путем линейного микширования HRTF (35,0) и HRTF (55,0) по фиг. 6(a). Линейное микширование выполняется путем сложения HRTF (35,0) и HRTF (55,0) и деления полученной суммы на 2. Как видно из фиг. 7, изобретательская HRTF правого уха (HRTF (35,0)+HRTF (55,0))/2) не содержит артефактов гребенчатой фильтрации.
Z
Z
C
C
R
R
R
R
На фиг. 6(а), фазовые диаграммы HRTF (35,0) и HRTF (55,0) показывают дополненную нулем фазовую характеристику этих связанных функций HRTF. Сходным образом, фиг. 6(b) показывает фазу фильтров HRTF (35,0) и HRTF (55,0), где эта фаза (выше частоты связывания 1 кГц) является модифицированной для плавного перехода к постоянной фазе (на частотах существенно выше этой частоты связывания).
Согласно изобретению, связанные функции HRTF могут создаваться множеством способов. Один предпочтительный способ действует, принимая пару обыкновенных функций HRTF (т.е. функции HRTF левого/правого уха, измеренные для эквивалента головы слушателя или реального субъекта, или созданные исходя из какого-либо традиционного способа генерирования подходящих функций HRTF) и модифицируя фазовую характеристику этих обыкновенных функций HRTF на высоких частотах (выше частоты связывания).
Ниже мы опишем примеры способов определения пары связанных функций HRTF левого уха и правого уха исходя из пары обыкновенных функций HRTF левого уха и правого уха согласно изобретению.
S
1
2
c
c
При реализации этих иллюстративных способов, модификации фазовой характеристики обыкновенных функций HRTF могут выполняться путем использования весовой функции в частотной области (иногда именуемой весовым вектором), W(k), где k - индекс, указывающий частоту (например, индекс элемента дискретизации FFT), который действует на фазовую характеристику каждой первоначальной (обыкновенной) HRTF. Весовая функция W(k) должна представлять собой гладкую кривую, например, относящуюся к типу, показанному на фиг. 8. В типичном случае, операции над обыкновенными функциями HRTF производятся с использованием быстрого преобразования Фурье (FFT) длины K, где индекс элемента дискретизации FFT, k, соответствует частоте , где F - частота дискретизации цифрового сигнала. В примере весовой функции по фиг. 8, если индексы элементов разрешения по частоте k и k соответствуют частотам 1 кГц и 2 кГц, частота связывания, F, составляетF=1 кГц, то  и .
В одном из классов вариантов осуществления изобретения, изобретательский способ определения связанных функций HRTF (т.е. пары связанных функций HRTF левого и правого уха для каждого направления прихода из набора направлений прихода) из набора связанных функций HRTF в ответ на обыкновенные функции HRTF (т.е. пару обыкновенных функций HRTF левого и правого уха для каждого из направлений прихода в наборе) включает следующие этапы:
L
R
L
R
s
1. С использованием быстрого преобразования Фурье длины K, - преобразования каждой пары обыкновенных функций HRTF, HRTF (x, y, z, n) и HRTF (x, y, z, n), в пару частотных характеристик FR(k) и FR(k), где k - целочисленный индекс элементов разрешения по частоте, центрированных на частоте  (где , и где F- частота дискретизации);
L
l
2. Затем, - определения амплитудных и фазовых составляющих (M, Mr, Pl, Pr) так, что  и , и где фазовые составляющие (P, Pr) являются «развернутыми» (так, что любые разрывы больше π устраняются путем добавления к дискретным значениям вектора целых кратных 2π, например, с использованием традиционной функции «unwrap» из Matlab);
L
R
3. Если пара обыкновенных функций HRTF соответствует направлению прихода, которое лежит в левой полусфере (так, что y>0), то - выполнения для вычисления FR' и FR' следующих этапов:
(a) вычисления модифицированного фазового вектора: , где W(k) - определенная выше весовая функция; и
L
R
(b) затем, - вычисления FR' и FR'следующим образом:
;
4. Если пара обыкновенных функций HRTF соответствует направлению прихода, которое лежит в правой полусфере (так, что y<0), то - выполнения этапов:
(a) вычисления модифицированного фазового вектора: , и
L
R
(b) затем, - вычисления FR' и FR'следующим образом:
;
5. Если пара обыкновенных функций HRTF соответствует направлению прихода, которое лежит в срединной плоскости (так, что y=0), то нет необходимости в изменении фазы характеристики дальнего уха, поэтому мы просто вычисляем:
; и
6. В конечном итоге, - использования обратного преобразования Фурье для вычисления связанных функций HRTF (и добавления дополнительной групповой задержки из g дискретных значений к обеим связанным функциям HRTF) следующим образом:
.
Модификация, которая вносится в фазовую характеристику на этапе 3 (или на этапе 4), часто в результате приводит к некоторому размазыванию во времени конечных импульсных характеристик, и, таким образом, HRTF-фильтр FIR, который первоначально являлся каузальным, может преобразовываться в некаузальный фильтр FIR. Для защиты от такого размазывания во времени, может потребоваться дополнительная групповая задержка в HRTF-фильтрах как левого, так и правого уха, которая реализуется на этапе 6. Типичным значением g может быть g=48.
Z
Z
L
R
L
r
Для получения каждого связанного HRTF-фильтра HRTF  и каждого связанного HRTF-фильтра HRTF  из набора связанных функций HRTF, процесс, описанный выше со ссылкой на этапы 1-6, должен повторяться для каждой пары обыкновенных фильтров HRTF и HRTF. В описанный процесс могут вноситься изменения.
Например, вышеописанный этап 3(b) показывает первоначальную фазовую характеристику левого канала, являющуюся неизменной, в то время как характеристика правого канала генерируется путем использования левой фазы плюс модифицированная разность правой и левой фаз. В качестве альтернативы, уравнения на этапе 3(b) можно модифицировать так, чтобы читалось:
(1.4)
В этом случае, фазовая характеристика первоначальной HRTF левого уха полностью игнорируется, а новой HRTF правого уха придается модифицированная разность правой и левой фаз.
Еще одно изменение описанного способа включат сдвиг по фазе функций HRTF как левого, так и правого уха (с противоположными сдвигами по фазе):
(1.5)
Разумеется, если заменить альтернативными уравнениями (1.4 или 1.5) уравнения на вышеописанном этапе 3(b), то соответствующие дополнительные уравнения должны применяться на этапе 4(b) (для учета случая, когда направление прихода для HRTF находится в правой полусфере).
Симметрия, подразумеваемая уравнениями (1.5), используется в другом классе вариантов осуществления изобретательского способа определения связанных функций HRTF (т.е. пары связанных функций HRTF левого и правого уха для каждого направления прихода в наборе направлений прихода) из набора связанных функций HRTF в ответ на обыкновенные функции HRTF (т.е. пару обыкновенных функций HRTF левого и правого уха для каждого из направлений прихода в наборе). В этих вариантах осуществления изобретения, указанный способ включает следующие этапы:
L
R
L
R
s
1. С использованием быстрого преобразования Фурье длины K, - преобразования каждой пары обыкновенных функций HRTF, HRTF (x, y, z, n) и HRTF (x, y, z, n), в пару частотных характеристик FR(k) и FR(k), где k - целочисленный индекс элементов разрешения по частоте, центрированных на частоте  (где , и где F- частота дискретизации);
L
l
2. Затем, - определения амплитудных и фазовых составляющих (M, Mr, Pl, Pr) так, что  и , и где фазовые составляющие (P, Pr) являются «развернутыми» (так, что любые разрывы больше π устраняются путем добавления к дискретным значениям вектора целых кратных 2π, например, с использованием традиционной функции «unwrap» из Matlab);
3. Вычисления модифицированного фазового вектора: ;
L
R
4. Затем, - вычисления FR' и FR' следующим образом:
; и
5. В конечном итоге, - использования обратного преобразования Фурье для вычисления связанных функций HRTF (и добавления дополнительной групповой задержки из g дискретных значений к обеим связанным функциям HRTF) следующим образом:
.
Один из альтернативных способов (иногда именуемый в настоящем раскрытии «способом растягивания постоянной фазы») может реализовываться следующим этапом (этап 3а), выполняемым вместо вышеописанного этапа 3:
3а. вычисление модифицированного фазового вектора:
.
Модифицированное уравнение, изложенное в замещающем этапе 3а, оказывает воздействие, усиливающее равенство фазы (P'(k)) на высоких частотах фазе на частоте связывания, как показано в примере по фиг. 6(b).
Ниже мы опишем еще один класс вариантов осуществления изобретения, в котором набор связанных функций HRTF определяется базисным набором функций HRTF.
L
Типичный набор функций HRTF (например, набор связанных функций HRTF) состоит из совокупности пар импульсных характеристик (функций HRTF левого и правого уха), где каждая пара соответствует отдельному направлению прихода. В этом случае, работа HRTF-преобразователя заключается во взятии заданного направления прихода (например, определяемого вектором направления прихода, (x, y, z)), в определении пары фильтров HRTFи HRTFr, соответствующих заданному направлению прихода, путем нахождения в наборе функций HRTF (например, в наборе связанных функций HRTF) функций, которые являются близкими к заданному направлению прихода, и в выполнении некоторой интерполяции на функциях HRTF из набора.
Если набор функций HRTF был сгенерирован согласно изобретению так, что он включает связанные функции HRTF (как описано выше, такие связанные функции HRTF являются «связанными» на высоких частотах), то интерполяция может представлять собой линейную интерполяцию. Поскольку используется линейная интерполяция (линейное микширование), она подразумевает, что набор связанных функций HRTF может определяться базисным набором функций HRTF. Одним из представляющих интерес базисных наборов функций HRTF является базис сферических гармоник (иногда именуемый форматом В).
w
x
y
z
Для представления набора связанных функций HRTF исходя из базисного набора функций HRTF, основывающегося на сферических гармониках, может использоваться хорошо известный процесс аппроксимации методом наименьших квадратов (или другой подходящий процесс). В качестве примера, базисный набор сферических гармоник первой степени (H, H, H и H) может определяться так, чтобы любая HRTF левого (или правого) уха (для любого конкретного направления прихода, x, y, z, или любого конкретного направления прихода x, y, z в диапазоне, охватывающем по меньшей мере 60 градусов) можно было генерировать как:
<img file="00000024.tif" he="10" wi="93" img-content="undefined" img-format="tif" />,
(1.6)
w
x
Y
z
w
x
Y
z
w
x
Y
z
где, для обеспечения наилучшей аппроксимации набора связанных функций HRTF, методом наименьших квадратов определяется четыре набора коэффициентов фильтра FIR (H, H, H, H) базисного набора функций HRTF. При реализации уравнения (1.6) для определения HRTF левого уха (и правого уха) для любого заданного направления прихода, достаточно таблицы коэффициентов для четырех фильтров FIR (H, H, H, H), и, таким образом, набор связанных функций HRTF определяется четырьмя фильтрами FIR (H, H, H, H).
w
x
y
z
X2
Y2
Z2
xy
YZ
Представление сферическими гармониками более высокой степени будет обеспечивать дополнительную точность. Например, представление второй степени базисного набора функций HRTF (H, H, H, H, H, H, H, H, H) можно определить так, чтобы любую HRTF левого (или правого) уха (для конкретного направления прихода x, y, z, или любого конкретного направления прихода x, y, z в диапазоне, охватывающем по меньшей мере 60 градусов) можно было генерировать как:
<img file="00000025.tif" he="22" wi="117" img-content="undefined" img-format="tif" />,
(1.7)
w
x
Y
z
x2
Y2
xz
YZ
Z2
где, для обеспечения наилучшей аппроксимации набора связанных функций HRTF методом наименьших квадратов, определяется девять наборов коэффициентов фильтра FIR (H, H, H, H, H, H, H, H, H) из базисного набора функций HRTF. При реализации уравнения (1.7) для определения HRTF левого уха (и правого уха) для любого заданного направления прихода, достаточно таблицы коэффициентов для девяти фильтров FIR, и, таким образом, набор связанных функций HRTF определяется девятью фильтрами FIR.
Если углы прихода ограничены горизонтальной плоскостью (что обычно является желательным), результатом будут являться упрощенные уравнения. В этом случае, все z-компоненты набора сферических гармоник могут отбрасываться, и, таким образом, уравнения второй степени (уравнения 1.7) упрощаются, обращаясь в следующие уравнения:
<img file="00000026.tif" he="8" wi="113" img-content="undefined" img-format="tif" />
(1.8)
Уравнения 1.8 могут, в альтернативном варианте, записываться в выражении азимутального угла, Az, следующим образом:
<img file="00000027.tif" he="19" wi="78" img-content="undefined" img-format="tif" />
(1.9)
В одном из предпочтительных вариантов осуществления изобретения, горизонтальный HRTF-преобразователь третьего порядка действует, используя для базисного набора представление третьей степени, определяемое так, чтобы любая HRTF левого уха (или правого уха) для любого конкретного направления прихода генерировалась как:
<img file="00000028.tif" he="31" wi="81" img-content="undefined" img-format="tif" />,
(1.10)
w
x
Y
X2
Y2
X3
Y3
w
x
y
x2
y2
x3
y3
где, для обеспечения наилучшей аппроксимации набора связанных функций HRTF методом наименьших квадратов, определяется семь наборов коэффициентов фильтров FIR (H, H, H, H, H, H, H) из базисного набора функций HRTF. Таким образом, набор связанных функций HRTF определяется семью фильтрами FIR. HRTF-преобразователь, который использует определяемый таким образом базисный набор функций HRTF, является одним из предпочтительных вариантов осуществления настоящего изобретения, поскольку он делает возможным генерирование HRTF-фильтра левого уха (или правого уха) для любого направления прихода в горизонтальной плоскости с использованием базисного набора функций HRTF, состоящего лишь из 7 фильтров (H(n), H(n), H(n), H(n), H(n), H(n), H(n)), с высокой степенью фазовой точности для частот вплоть до частоты связывания (например, вплоть до 1000 Гц или больше).
Далее мы опишем использование небольших базисных наборов функций HRTF (каждый из которых определяет набор связанных функций HRTF) для микширования сигнала согласно вариантам осуществления настоящего изобретения.
HRTF-преобразователь можно реализовать как устройство, которое использует базисный набор функций HRTF (например, относящихся к типу, определенному со ссылкой на уравнения 1.10) для определения набора связанных функций HRTF и для выполнения микширования сигнала с использованием такого устройства согласно вариантам осуществления настоящего изобретения.
L
R
HRTF-преобразователь 10 по фиг. 10 представляет собой один из примеров HRTF-преобразователя, который использует небольшой базисный набор функций HRTF, определяемый со ссылкой на уравнения 1.10, для определения набора связанных функций HRTF. Устройство по фиг. 10 также включает аудиопроцессор 20 (такой, как виртуализатор), сконфигурированный для обработки монофонического звукового сигнала («Sig») с целью генерирования левого и правого выходных каналов (Out и Out) для их представления через наушники так, чтобы обеспечить для слушателя впечатление звука, расположенного под заданным азимутальным углом Az.
L
R
w
Y
X2
Y2
X3
Y3
w
x
Y
w
В системе по фиг. 10, единственный входной звуковой канал (Sig) обрабатывается двумя фильтрами 21 и 22 FIR (каждый из них помечен оператором свертки, ), реализуемыми процессором 20, с целью генерирования сигналов левого и правого уха, Out и Out, соответственно (для представления через наушники). Коэффициенты фильтра для фильтра 21 FIR левого уха определяются в преобразователе 10 исходя из базисного набора функций HRTF (H, Hx, H, H, H, H, H из уравнений 1.10) путем взвешивания каждого из коэффициентов базисного набора функций HRTF посредством одной из функций, синусной или косинусной (показаны в уравнениях 10), азимутального угла Az (т.е. H(n) не взвешивается, H(n) умножается на cos(Az), H(n) умножается на sin(Az), и т.д.) и суммирования семи взвешенных коэффициентов (в том числе H(n)) для каждого значения n на ступени 13 суммирования.
w
Y
X2
Y2
X3
Y3
w
x
Y
Y
Y2
Y3
Коэффициенты фильтра для фильтра 22 FIR правого уха определяются в преобразователе 10 исходя из базисного набора функций HRTF (H, Hx, H, H, H, H, H из уравнений 1.10) путем взвешивания каждого из коэффициентов базисного набора функций HRTF посредством одной из функций, синусной или косинусной (показаны в уравнениях 10), азимутального угла Az (т.е. H(n) не взвешивается, H(n) умножается на cos(Az), H(n) умножается на sin(Az), и т.д.), умножения каждой из взвешенных версий коэффициентов H(n), H(n) и H(n) на минус единицу (в элементах 11 умножения) и суммирования результирующих семи взвешенных коэффициентов на ступени 12 суммирования.
L
R
Таким образом, система по фиг. 10 разбивает обработку данных на две главные составляющие. Во-первых, HRTF-преобразователь 10 используется для вычисления коэффициентов фильтра FIR, HRTF(Az,n) и HRTF(Az,n), которые применяются фильтрами 21 и 22. Во-вторых, фильтры 21 и 22 FIR (процессора 20) конфигурируются коэффициентами фильтров FIR, которые были вычислены HRTF-преобразователем, и эти сконфигурированные фильтры 21 и 22 затем обрабатывают входной звуковой сигнал, вырабатывая выходные сигналы для наушников.
L
R
Для получения одного и того же результата (вырабатываемого системой по фиг. 10) в ответ на один и тот же входной звуковой сигнал и заданное направление прихода (азимутальный угол), система микширования может конфигурироваться очень разными способами (как показано на фиг. 11). Устройство по фиг. 11 (которое реализует виртуализатор) является сконфигурированными для обработки монофонического звукового сигнала («InSig») с целью генерирования левого и правого (бинауральных) выходных звуковых каналов (Out и Out), которые могут представляться через наушники так, чтобы создавать у слушателя впечатление звука, расположенного в заданном направлении прихода (под азимутальным углом, Az).
На фиг. 11 ступень 30 панорамирования сигнала (устройство панорамирования) в ответ на входной сигнал («InSig») генерирует набор из семи промежуточных сигналов согласно следующим уравнениям:
<img file="00000030.tif" he="40" wi="36" img-content="undefined" img-format="tif" />
(1.11)
где Az - указанный азимутальный угол.
w
x
Y
x2
Y2
X3
Y3
L
Y
Y2
Y3
R
w
x
Y
X2
Y2
X3
Y3
Каждый из этих семи промежуточных сигналов затем подвергается фильтрации на ступени 40 HRTF-фильтра путем его свертки (на ступени 44) посредством коэффициентов фильтра FIR из соответствующего фильтра FIR базисного набора функций HRTF (т.е. InSig свертывается посредством коэффициентов H, InSig∙cos(Az) свертывается посредством коэффициентов Hиз уравнений 1.10, InSig∙sin(Az) свертывается посредством коэффициентов Hиз уравнений 1.10, InSig∙cos(2Az) свертывается посредством коэффициентов H из уравнений 1.10, InSig∙sin(2Az) свертывается посредством коэффициентов H из уравнений 1.10, InSig∙cos(3Az) свертывается посредством коэффициентов H из уравнений 1.10, и InSig∙sin(3Az) свертывается посредством коэффициентов H из уравнений 1.10). Выводы ступени 44 свертки затем складываются (на ступени 41 суммирования) с целью генерирования выходного сигнала левого канала, Out. Некоторые из выводов ступени 44 свертки умножаются на минус единицу в элементах 42 умножения (т.е. каждый из сигналов: sin(Az), свернутый посредством коэффициентов H, InSig∙sin(2Az), свернутый посредством коэффициентов H, и InSig∙sin(3Az), свернутый посредством коэффициентов H, - умножается на минус единицу в элементах 42), и выводы элементов 42 умножения складываются с другими выводами ступени свертки (на ступени 43 суммирования) для генерирования выходного сигнала правого канала, Out. Коэффициентами фильтра, применяемыми на ступени 44 свертки, являются коэффициенты из базисного набора функций HRTF: H, H, H, H, H, H, H из уравнений 1.10.
m
Если обработке с целью бинаурального проигрывания подлежит набор из М входных сигналов, InSig, в устройстве 30 панорамирования может вырабатываться единый набор промежуточных сигналов, где имеется М входных сигналов:
<img file="00000031.tif" he="75" wi="43" img-content="undefined" img-format="tif" />
(1.12)
Когда эти промежуточные сигналы будут сгенерированы, они подвергаются фильтрации на ступени 44 свертки следующим образом:
<img file="00000032.tif" he="6" wi="39" img-content="undefined" img-format="tif" /><img file="00000033.tif" he="6" wi="36" img-content="undefined" img-format="tif" /><img file="00000034.tif" he="6" wi="35" img-content="undefined" img-format="tif" /><img file="00000035.tif" he="6" wi="43" img-content="undefined" img-format="tif" /><img file="00000036.tif" he="6" wi="42" img-content="undefined" img-format="tif" /><img file="00000037.tif" he="6" wi="43" img-content="undefined" img-format="tif" /><img file="00000038.tif" he="6" wi="42" img-content="undefined" img-format="tif" />
(1.13)
и выходные сигналы левого и правого уха получаются следующим образом:
<img file="00000039.tif" he="6" wi="111" img-content="undefined" img-format="tif" /><img file="00000040.tif" he="6" wi="76" img-content="undefined" img-format="tif" /><img file="00000041.tif" he="6" wi="111" img-content="undefined" img-format="tif" /><img file="00000042.tif" he="6" wi="76" img-content="undefined" img-format="tif" />
(1.14)
m
m
Таким образом, объединенные операции, показанные в уравнениях (1.12), (1.13) и (1.14), делают возможным бинауральное представление набора из М входных сигналов, {InSig: 1≤m≤M} (каждый - под соответствующим азимутальным углом, Az) с использованием лишь 7 фильтров. Для каждого из этих входных сигналов может существовать и другой азимутальный угол, Az. Это означает, что небольшое количество наборов фильтров FIR в базисном наборе функций HRTF делает возможным эффективный способ бинаурального представления больших количеств входных сигналов путем применения процесса, реализуемого системой по фиг. 11 для нескольких входных сигналов, как показано на фиг. 12.
i
i
m
На фиг. 12, каждый из блоков 30представляет устройство 30 панорамирования по фиг. 11 в ходе обработки «i»-го входного сигнала (где индекс i находится в интервале от 1 до М), и ступень 31 суммирования подключена и сконфигурирована для суммирования выводов, генерируемых блоками 30-30 с целью генерирования семи промежуточных сигналов, изложенных в уравнениях 1.12.
m
Другой вариант осуществления изобретательской системы и способа обработки набора из М входных сигналов, InSig, будет описан со ссылкой на фиг. 13. В этом варианте осуществления изобретения, М входных сигналов обрабатываются для бинаурального проигрывания с использованием того факта, что форматы промежуточных сигналов также могут модифицироваться путем повышающего микширования. В данном контексте, «повышающее микширование» относится к процессу, посредством которого промежуточный сигнал с меньшей разрешающей способностью (сигнал, составленный из меньшего количества каналов) обрабатывается с целью создания сигнала с более высокой разрешающей способностью (составленного из большего количества промежуточных сигналов). В данной области техники известно множество способов повышающего микширования таких промежуточных сигналов, в том числе способы, описанные, например, в патенте США №8103006, выданном автору настоящего изобретения (и переуступленном правопреемнику настоящего изобретения). Процесс повышающего микширования позволяет использовать промежуточный сигнал с меньшей разрешающей способностью, если повышающее микширование осуществляется перед HRTF-фильтрацией, показанной на фиг. 13.
i
i
i
m
На фиг. 13, в ходе обработки «i»-го входного сигнала, InSig (где индекс i находится в интервале от 1 до М), каждый из блоков 130 представляет одно и то же устройство панорамирования (именуемое устройством панорамирования по фиг. 13), и ступень 131 суммирования подключена и сконфигурирована для суммирования выводов, генерируемых в блоках 130-130, с целью генерирования промежуточных сигналов, которые подвергаются повышающему микшированию на ступени 132 повышающего микширования. Ступень 40 (которая идентична ступени 40 по фиг. 11) подвергает фильтрации вывод ступени 132.
i
i
i
i
i
i
i
i
i
Устройство панорамирования по фиг. 13 пропускает текущий входной сигнал («InSig») на ступень 131. Устройство панорамирования по фиг. 13 включает ступени 34 и 35, которые, соответственно, генерируют значения cos(Az) и sin(Az) в ответ на текущий азимутальный угол Az. Устройство панорамирования по фиг. 13 также включает ступени 36 и 37 умножения, которые, соответственно, генерируют значения InSig∙cos(Az) и InSig∙sin(Az) в ответ на текущий входной сигнал InSig и выводы ступеней 34 и 35.
i
m
i
i
i
i
i
Ступень 131 суммирования является подключенной и сконфигурированной для суммирования выводов, генерируемых в блоках 130-130, с целью генерирования трех промежуточных сигналов следующим образом: ступень 131 суммирует М выводов «InSig», генерируя один промежуточный сигнал; ступень 131 суммирует М значений InSig∙cos(Az), генерируя второй промежуточный сигнал; и ступень 131 суммирует М значений InSig∙sin(Az), генерируя третий промежуточный сигнал. Каждый из этих трех промежуточных сигналов соответствует отличающемуся каналу. Ступень 132 повышающего микширования подвергает эти три промежуточных сигнала со ступени 131 повышающему микшированию (например, традиционным образом), генерируя семь промежуточных сигналов, подвергнутых повышающему микшированию, каждый из которых соответствует отличающемуся одному из семи каналов. Ступень 40 подвергает эти семь сигналов, подвергнутых повышающему микшированию, фильтрации таким же образом, как ступень 40 по фиг. 11 подвергает фильтрации семь сигналов, направленных на нее ступенью 30 по фиг. 11.
Конкретная форма вышеописанных (со ссылкой на фиг. 11, 12 и 13) промежуточных сигналов может модифицироваться, образуя альтернативные базисные наборы для разложения базисного набора функций HRTF, что следует принять во внимание средним специалистам в данной области. Во всех таких вариантах осуществления изобретения, использование базисного набора функций HRTF для упрощения обработки звукового сигнала (например, как в системе по фиг. 12 или фиг. 13) возможно только в том случае, если базисный набор функций HRTF строится таким образом, что позволяет создавать HRTF-фильтры путем линейного микширования (например, при помощи элементов 34, 35, 36, 37, 131 и 132 по фиг. 13 или элементов ступени 10, показанной на фиг. 10). Если базисный набор определяет набор изобретательских связанных HRTF-фильтров, он позволит создавать HRTF-фильтры, тем самым модифицированные так, что они являются «связанными», в большей степени поддающимися линейному микшированию.
Типичные варианты осуществления настоящего изобретения генерируют (или определяют и используют) набор связанных функций HRTF, который удовлетворяет нижеследующим трем критериям (иногда именуемым в настоящем раскрытии «Золотым правилом»):
1. Интерауральная фазовая характеристика каждой пары HRTF-фильтров (т.е. каждой HRTF левого уха и HRTF правого уха, созданных для заданного направления прихода), которые создаются исходя из набора связанных функций HRTF (путем процесса линейного микширования), согласуется с интерауральной фазовой характеристикой соответствующего набора из обыкновенных функций HRTF левого уха и правого уха с фазовой ошибкой менее 20% (или, более предпочтительно, с фазовой ошибкой менее 5%) для всех частот ниже частоты связывания. Иными словами, абсолютное значение разности между фазой HRTF левого уха, созданной из набора, и фазой соответствующей HRTF правого уха, созданной из набора, отличается менее чем на 20% (или, более предпочтительно, менее чем на 5%) от абсолютного значения разности между фазой соответствующей обыкновенной HRTF левого уха и фазой соответствующей обыкновенной HRTF правого уха на каждой частоте ниже частоты связывания. Частота связывания составляет больше 700 Гц и, как правило, меньше 4 кГц. На частотах выше частоты связывания, фазовая характеристика HRTF-фильтров, которые создаются исходя из указанного набора (путем процесса линейного микширования), отклоняется от поведения обыкновенных функций HRTF так, что интерауральная групповая задержка (на указанных высоких частотах) значительно снижается по сравнению с обыкновенными функциями HRTF;
2. Амплитудная характеристика каждого HRTF-фильтра, созданного исходя из указанного набора (путем процесса линейного микширования) для одного из направлений прихода, находится в пределах диапазона, ожидаемого для обыкновенных функций HRTF в этом направлении прихода (например, в том смысле, что она не проявляет значительное искажение гребенчатой фильтрации относительно амплитудной характеристики типичного обыкновенного HRTF-фильтра для этого направления прихода); и
3. Диапазон углов прихода, которые могут охватываться процессом микширования (с целью генерирования процессом линейного микширования связанных функций HRTF из набора пары функций HRTF для каждого направления прихода в диапазоне) составляет по меньшей мере 60 градусов (и, предпочтительно, составляет 360 градусов).
В вариантах осуществления изобретения, где способ изобретения включает определение базисного набора функций HRTF, который, в свою очередь, определяет набор связанных функций HRTF (например, путем выполнения аппроксимации методом наименьших квадратов или другого процесса аппроксимации с целью определения коэффициентов базисного набора функций HRTF так, чтобы этот базисный набор функций HRTF определял набор связанных функций HRTF в пределах приемлемой точности) или использует этот базисный набор функций HRTF для определения пары функций HRTF в ответ на одно из направлений прихода, указанный набор связанных функций HRTF предпочтительно удовлетворяет Золотому правилу.
Как правило, набор связанных функций HRTF, который удовлетворяет Золотому правилу, включает значения данных, которые определяют набор связанных функций HRTF левого уха и набор связанных функций HRTF правого уха для углов прихода, которые охватывают некоторый диапазон углов прихода, где HRTF левого уха, определенная (путем линейного микширования согласно одному из вариантов осуществления изобретения) для любого угла прихода в этом диапазоне, и HRTF правого уха, определенная (путем линейного микширования согласно одному из вариантов осуществления изобретения) для указанного угла, имеют интерауральную фазовую характеристику, которая согласуется с интерауральной фазовой характеристикой типичной обыкновенной функции HRTF левого уха для указанного угла прихода относительно типичной обыкновенной HRTF правого уха для указанного угла прихода с фазовой ошибкой менее 20% (и, предпочтительно, менее 5%) для всех частот ниже частоты связывания (где частота связывания составляет больше 700 Гц и, как правило, меньше 4 кГц), и HRTF левого уха, определенная (путем линейного микширования согласно указанному варианту осуществления изобретения) для любого угла прихода в указанном диапазоне, имеет амплитудную характеристику, которая не проявляет значительное искажение гребенчатой фильтрации относительно амплитудной характеристики типичной обыкновенной HRTF левого уха для указанного угла прихода, и HRTF правого уха, определенная (путем линейного микширования согласно указанному варианту осуществления изобретения) для любого угла прихода в указанном диапазоне, имеет амплитудную характеристику, которая не проявляет значительное искажение гребенчатой фильтрации относительно амплитудной характеристики типичной обыкновенной HRTF правого уха для указанного угла прихода, где указанный диапазон углов прихода составляет по меньшей мере 60 градусов (предпочтительно, указанный диапазон углов прихода составляет 360 градусов).
Было предложено упростить библиотеки функций HRTF посредством базисных наборов сферических гармоник (например, как описано в патенте США № 6021206, выданном автору настоящего изобретения), однако все такие предшествующие попытки упрощения функций HRTF путем использования базиса из сферических гармоник страдали от значительных трудностей, связанных с гребенчатой фильтрацией и относящихся к типу, описанному в настоящем раскрытии. Таким образом, традиционно определяемые библиотеки сферических гармонических функций HRTF не удовлетворяли второму критерию вышеизложенного Золотого правила.
Кроме того, некоторые ранние попытки создания бинаурализирующих фильтров с аналоговыми схемными элементами в результате, в качестве случайного побочного эффекта ограничений аналоговых схемных методик, приводили к HRTF-фильтрам, которые удовлетворяли второму критерию Золотого правила. Например, такой HRTF-фильтр описан в статье Bauer, озаглавленной «Stereophonic Earphones and Binaural Loudspeakers», в журнале Journal of the Audio Engineering Society, апрель 1961 г., книга 9, №. 2. Однако такие функции HRTF не удовлетворяли первому критерию Золотого правила.
Типичные варианты осуществления изобретения представляют собой способы генерирования набора связанных функций HRTF, которые представляют углы прихода, которые охватывают заданное пространство (например, горизонтальную плоскость) и являются квантованными до определенной угловой разрешающей способности (например, набора связанных функций HRTF, представляющих углы прихода с угловой разрешающей способностью 30 градусов по окружности в 360 градусов: 0, 30, 60,..., 300 и 330 градусов). Связанные функции HRTF в наборе строятся так, что они отличаются от истинных (т.е. измеренных) функций HRTF для углов прихода в наборе (за исключением азимута 0 и 180 градусов, поскольку эти углы HRTF, как правило, имеют нулевую интерауральную фазу и поэтому не требуют какой-либо специальной обработки для того, чтобы сделать их удовлетворяющими Золотому правилу).
В частности, они отличаются в том, что фазовая характеристика указанных функций HRTF намеренно изменяется выше конкретной частоты связывания. Еще конкретнее, эти фазы изменяются так, чтобы фазовые характеристики функций HRTF в наборе являлись связанными (т.е. одинаковыми или почти одинаковыми) выше указанной частоты связывания. Как правило, частота связывания, выше которой фазовые характеристики являются связанными, выбирается в зависимости от угловой разрешающей способности функций HRTF, заключенных в наборе. Предпочтительно, частота среза выбирается так, чтобы, когда угловая разрешающая способность набора возрастает (т.е. в набор добавляется больше связанных функций HRTF), также возрастала и частота связывания.
В альтернативных вариантах осуществления изобретения, каждая применяемая HRTF (или каждая HRTF из подмножества применяемых функций HRTF), применяемая в соответствии с изобретением, определяется и применяется в частотной области (например, каждый сигнал, подлежащий преобразованию в соответствии с такой HRTF, претерпевает преобразование из временной области в частотную область, HRTF затем применяется к результирующим частотным составляющим, и преобразованные составляющие затем претерпевают преобразование из частотной области во временную область).
В некоторых вариантах осуществления изобретения, изобретательская система представляет собой или включает процессор общего назначения, подключенный для приема или генерирования входных данных, служащих признаком по меньшей мере одного входного звукового канала, и запрограммированный программным обеспечением (или аппаратно-программным обеспечением) и/или иначе сконфигурированный (например, в ответ на управляющие данные) для выполнения любой их множества операций на входных данных, в том числе варианта осуществления способа изобретения. Такой процессор общего назначения, как правило, может быть подключен к устройству ввода (например, к мыши и/или клавиатуре), запоминающему устройству и дисплейному устройству. Например, система по фиг. 9, 10, 11, 12 или 13 может реализовываться как процессор общего назначения, запрограммированный и/или иначе сконфигурированный для выполнения любой из множества операций на входных аудиоданных, в том числе одного из вариантов осуществления способа изобретения, с целью генерирования выходных аудиоданных. Для воспроизведения физическими динамиками, на выходные аудиоданные может действовать традиционный цифроаналоговый преобразователь (ЦАП).
Фиг. 9 представляет собой блок-схему системы (которая может реализовываться как программируемый звуковой DSP), которая была сконфигурирована для выполнения одного из вариантов осуществления способа изобретения. Система включает ступень 9 HRTF-фильтра, подключенную для приема входного звукового сигнала (например, аудиоданных в частотной области, служащих признаком звука, или аудиоданных во временной области, служащих признаком звука) и HRTF-преобразователь 7. HRTF-преобразователь 7 включает запоминающее устройство 8, которое хранит в памяти данные, определяющие набор связанных функций HRTF (например, данные, определяющие базисный набор функций HRTF, который, в свою очередь, определяет набор связанных функций HRTF), и является подключенным для приема данных («Направление прихода»), служащих признаком направления прихода (например, указанного как угол или единичный вектор) и соответствующих набору входных аудиоданных, передаваемых на ступень 9. В типичных реализациях, преобразователь 7 реализует справочную таблицу, сконфигурированную для отыскания в памяти 8 в ответ на данные «Направление прихода» данных, достаточных для выполнения линейного микширования с целью определения пары функций HRTF (HRTF левого уха и HRTF правого уха) для этого направления прихода.
Преобразователь 7, необязательно, подключен к внешнему машиночитаемому носителю данных 8а, в памяти которого хранятся данные, определяющие набор связанных функций HRTF (а также, необязательно, код для программирования преобразователя 7 и/или ступени 9 на выполнение одного из вариантов осуществления способа изобретения), и преобразователь 7 является сконфигурированным для получения доступа к данным (с носителя 8а), служащим признаком набора связанных функций HRTF (например, данных, служащих признаком выбранных HRTF из числа связанных функций HRTF из набора). Преобразователь 7, необязательно, не включает запоминающее устройство 8, когда преобразователь 7 сконфигурирован так, чтобы получать доступ к внешнему носителю 8а. Данные, определяющие набор связанных функций HRTF (хранящиеся в запоминающем устройстве 8 или доступные для преобразователя 7 с внешнего носителя) могут представлять собой коэффициенты базисного набора функций HRTF, который определяет набор связанных функций HRTF.
Преобразователь 7 является сконфигурированным для определения пары импульсных характеристик HRTF (импульсной характеристики левого уха и импульсной характеристики правого уха) в ответ на заданное направление прихода (например, направление прихода, заданное как угол или единичный вектор, соответствующий набору входных аудиоданных). Преобразователь 7 является сконфигурированным для определения каждой HRTF для заданного направления путем выполнения линейной интерполяции на связанных функциях HRTF в наборе (путем выполнения линейного микширования на значениях, определяющих связанные функции HRTF). Как правило, интерполяция выполняется между связанными функциями HRTF в наборе, содержащем соответствующие направления прихода, близкие к заданному направлению. В альтернативном варианте, преобразователь 7 является сконфигурированным для получения доступа к коэффициентам базисного набора функций HRTF (который определяет набор связанных функций HRTF) и для выполнения линейного микширования на этих коэффициентах с целью определения каждой HRTF для заданного направления.
L
R
Ступень 9 (которая представляет собой виртуализатор) является сконфигурированной для обработки данных, служащих признаком монофонического входного звукового сигнала («Входной звуковой сигнал»), которая заключается в применении к этим данным пары функций HRTF (определяемых преобразователем 7) с целью генерирования выходных звуковых сигналов левого и правого каналов (Output и Output). Например, выходные звуковые сигналы могут быть пригодны для представления через наушники так, чтобы создавать у слушателя впечатление звука, излучаемого из источника в заданном направлении прихода. Если данные, служащие признаком последовательности направлений прихода (для набора входных аудиоданных), направляются в систему по фиг. 9, ступень 9 может выполнять HRTF-фильтрацию (с использованием последовательности пар функций HRTF, определяемых преобразователем 7 в ответ на данные направления прихода) с целью генерирования последовательности выходных звуковых сигналов левого и правого каналов, которая может представляться с целью создания у слушателя впечатления звука, излучаемого из источника, панорамированного посредством последовательности направлений прихода.
В действии, звуковой DSP, который был сконфигурирован для выполнения виртуализации окружающего звука согласно изобретению (например, система виртуализатора по фиг. 9 или система по одной из фиг. 10, 11, 12 или 13), является подключенным для приема по меньшей мере одного входного звукового сигнала, и этот DSP, как правило, выполняет множество операций на входном звуковом сигнале в дополнение к (помимо) фильтрации посредством HRTF. Согласно различным вариантам осуществления изобретения, звуковой DSP действует для выполнения одного из вариантов осуществления способа изобретения после того, как он будет сконфигурирован (например, запрограммирован) для использования набора связанных функций HRTF (например, базисного набора функций HRTF, который определяет набор связанных функций HRTF) с целью генерирования по меньшей мере одного выходного звукового сигнала в ответ на каждый входной звуковой сигнал путем выполнения указанного способа на входном звуковом сигнале (сигналах).
Другими особенностями изобретения являются: машиночитаемый носитель данных (например, диск), в памяти которого (в материальной форме) хранится код, предназначенный для программирования процессора или другой системы на выполнение какого-либо варианта осуществления способа изобретения, и машиночитаемый носитель данных (например, диск), в памяти которого (в материальной форме) хранятся данные, которые определяют набор связанных функций HRTF, где набор связанных функций был определен в соответствии с одним из вариантов осуществления изобретения (например, так, чтобы он удовлетворял Золотому правилу, описанному в настоящем изобретении). Одним из примеров такого носителя является машиночитаемый носитель данных 8а по фиг. 9.
Несмотря на то, что в настоящем раскрытии были описаны конкретные варианты осуществления настоящего изобретения и применения изобретения, средним специалистам в данной области техники должно быть очевидно, что без отступления от объема изобретения, описанного и заявленного в настоящем раскрытии, возможны многочисленные изменения вариантов осуществления и применений изобретения, описанных в настоящем раскрытии. Следует понимать, что, несмотря на то, что были показаны и описаны некоторые формы изобретения, изобретение не следует ограничивать конкретными описанными и показанными вариантами его осуществления или описанными конкретными способами.