СПОСОБ И УСТРОЙСТВО ДЛЯ РЕНДЕРИНГА АКУСТИЧЕСКОГО СИГНАЛА И МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ ЗАПИСИ
METHOD AND DEVICE FOR RENDERING ACOUSTIC SIGNAL AND MACHINE-READABLE RECORDING MEDIUM

Область техники, к которой относится изобретение
[0001] Настоящее изобретение относится к способу и устройству для рендеринга аудиосигнала, а более конкретно, к способу рендеринга и устройству для еще более точного представления позиции звукового изображения и тембра посредством модификации коэффициента панорамирования подъема или коэффициента фильтрации подъема, когда подъем входного канала выше или ниже подъема согласно стандартной схеме размещения.
Уровень техники
[0002] Трехмерное аудио означает аудио, которое обеспечивает возможность слушателю иметь ощущение погружения посредством воспроизведения не только подъема аудио и оттенка, но также и воспроизведения направления или расстояния, и в которое добавляется пространственная информация, при этом пространственная информация заставляет слушателя, который не находится в пространстве, в котором возникает аудиоисточник, иметь направленное восприятие, восприятие расстояния и пространственное восприятие.
[0003] Когда канальный сигнал, к примеру, 22.2-канальный сигнал, преобразуется посредством рендеринга в 5.1-канальный сигнал, трехмерное аудио может воспроизводиться посредством использования двумерного выходного канала; тем не менее, когда угол подъема входного канала отличается от стандартного угла подъема, если входной сигнал преобразуется посредством рендеринга посредством использования параметров рендеринга, определенных согласно стандартному углу подъема, искажение может возникать в звуковом изображении.
Раскрытие изобретения
Техническая задача
[0004] Как описано выше, когда многоканальный сигнал, к примеру, 22.2-канальный сигнал, преобразуется посредством рендеринга в 5.1-канальный сигнал, трехмерный объемный звук может воспроизводиться посредством использования двумерного выходного канала; тем не менее, когда угол подъема входного канала отличается от стандартного угла подъема, если входной сигнал преобразуется посредством рендеринга посредством использования параметров рендеринга, определенных согласно стандартному углу подъема, искажение может возникать в звуковом изображении.
[0005] Чтобы разрешать вышеуказанную проблему согласно предшествующему уровню техники, настоящее изобретение предоставляется для того, чтобы снижать искажение звукового изображения, даже если подъем входного канала выше или ниже стандартного подъема.
Техническое решение
[0006] Чтобы достигать цели, настоящее изобретение включает в себя нижеприведенные варианты осуществления.
[0007] Согласно варианту осуществления настоящего изобретения, предусмотрен способ рендеринга аудиосигнала, причем способ включает в себя прием многоканального сигнала, включающего в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; добавление предварительно определенной задержки во фронтальный входной высотный канал, с тем чтобы обеспечивать возможность множеству выходных каналов предоставлять приподнятое звуковое изображение с опорным углом подъема; модификацию, на основе добавленной задержки, параметров рендеринга подъема относительно фронтального входного высотного канала; и предотвращение путаницы передних/задних каналов посредством формирования, на основе модифицированных параметров рендеринга подъема, выходного канала объемного звучания после рендеринга подъема, задержанного относительно фронтального входного высотного канала.
[0008] Множество выходных каналов могут представлять собой горизонтальные каналы.
[0009] Параметры рендеринга подъема могут включать в себя, по меньшей мере, одно из панорамирующих усилений и коэффициентов фильтрации подъема.
[0010] Фронтальный входной высотный канал может включать в себя, по меньшей мере, один из CH_U_L030-, CH_U_R030-, CH_U_L045-, CH_U_R045- и CH_U_000-каналов.
[0011] Выходной канал объемного звучания может включать в себя, по меньшей мере, один из CH_M_L110- и CH_M_R110-каналов.
[0012] Предварительно определенная задержка может определяться на основе частоты дискретизации.
[0013] Согласно другому варианту осуществления настоящего изобретения, предусмотрено устройство для рендеринга аудиосигнала, причем устройство включает в себя приемный модуль, выполненный с возможностью принимать многоканальный сигнал, включающий в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; модуль рендеринга, выполненный с возможностью добавлять предварительно определенную задержку во фронтальный входной высотный канал, с тем чтобы обеспечивать возможность множеству выходных каналов предоставлять приподнятое звуковое изображение с опорным углом подъема, и модифицировать, на основе добавленной задержки, параметры рендеринга подъема относительно фронтального входного высотного канала; и модуль вывода, выполненный с возможностью предотвращать путаницу передних/задних каналов посредством формирования, на основе модифицированных параметров рендеринга подъема, выходного канала объемного звучания после рендеринга подъема, задержанного относительно фронтального входного высотного канала.
[0014] Множество выходных каналов могут представлять собой горизонтальные каналы.
[0015] Параметры рендеринга подъема могут включать в себя, по меньшей мере, одно из панорамирующих усилений и коэффициентов фильтрации подъема.
[0016] Фронтальный входной высотный канал может включать в себя, по меньшей мере, один из CH_U_L030-, CH_U_R030-, CH_U_L045-, CH_U_R045- и CH_U_000-каналов.
[0017] Фронтальный высотный канал может включать в себя, по меньшей мере, один из CH_U_L030-, CH_U_R030-, CH_U_L045-, CH_U_R045- и CH_U_000-каналов.
[0018] Предварительно определенная задержка может определяться на основе частоты дискретизации.
[0019] Согласно другому варианту осуществления настоящего изобретения, предусмотрен способ рендеринга аудиосигнала, причем способ включает в себя прием многоканального сигнала, включающего в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; получение параметров рендеринга подъема относительно входного высотного канала, с тем чтобы обеспечивать возможность множеству выходных каналов предоставлять приподнятое звуковое изображение с опорным углом подъема; и обновление параметров рендеринга подъема относительно входного высотного канала, имеющего предварительно определенный угол подъема, а не опорный угол подъема, при этом обновление параметров рендеринга подъема включает в себя обновление панорамирующих усилений подъема для панорамирования входного высотного канала вверху спереди и по центру в выходной канал объемного звучания.
[0020] Множество выходных каналов могут представлять собой горизонтальные каналы.
[0021] Параметры рендеринга подъема могут включать в себя, по меньшей мере, одно из панорамирующих усилений подъема и коэффициентов фильтрации подъема.
[0022] Обновление параметров рендеринга подъема может включать в себя обновление панорамирующих усилений подъема на основе опорного угла подъема и предварительно определенного угла подъема.
[0023] Когда предварительно определенный угол подъема меньше опорного угла подъема, обновленные панорамирующие усиления подъема из числа обновленных панорамирующих усилений подъема, которые должны применяться к ипсилатеральному выходному каналу выходного канала, имеющего предварительно определенный угол подъема, могут превышать панорамирующие усиления подъема до обновления, и общая сумма квадратов обновленных панорамирующих усилений подъема, которые должны, соответственно, применяться ко множеству входных каналов, может составлять 1.
[0024] Когда предварительно определенный угол подъема превышает опорный угол подъема, обновленное панорамирующее усиление подъема из числа обновленных панорамирующих усилений подъема, которое должно применяться к ипсилатеральному выходному каналу выходного канала, имеющего предварительно определенный угол подъема, может быть меньше панорамирующих усилений подъема до обновления, и общая сумма квадратов обновленных панорамирующих усилений подъема, которые должны, соответственно, применяться ко множеству входных каналов, может составлять 1.
[0025] Согласно другому варианту осуществления настоящего изобретения, предусмотрено устройство для рендеринга аудиосигнала, причем устройство включает в себя приемный модуль, выполненный с возможностью принимать многоканальный сигнал, включающий в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; и модуль рендеринга, выполненный с возможностью получать параметры рендеринга подъема относительно входного высотного канала, с тем чтобы обеспечивать возможность множеству выходных каналов предоставлять приподнятое звуковое изображение с опорным углом подъема, и обновлять параметры рендеринга подъема относительно входного высотного канала, имеющего предварительно определенный угол подъема, а не опорный угол подъема, при этом обновленные параметры рендеринга подъема включают в себя панорамирующие усиления подъема для панорамирования входного высотного канала вверху спереди и по центру в выходной канал объемного звучания.
[0026] Множество выходных каналов могут представлять собой горизонтальные каналы.
[0027] Параметры рендеринга подъема могут включать в себя, по меньшей мере, одно из панорамирующих усилений подъема и коэффициента фильтрации подъема.
[0028] Обновленные параметры рендеринга подъема могут включать в себя панорамирующие усиления подъема, обновленные на основе опорного угла подъема и предварительно определенного угла подъема.
[0029] Когда предварительно определенный угол подъема меньше опорного угла подъема, обновленные панорамирующие усиления подъема из числа обновленных панорамирующих усилений подъема, которые должны применяться к ипсилатеральному выходному каналу выходного канала, имеющего предварительно определенный угол подъема, могут превышать панорамирующие усиления подъема до обновления, и общая сумма квадратов обновленных панорамирующих усилений подъема, которые должны, соответственно, применяться ко множеству входных каналов, может составлять 1.
[0030] Когда предварительно определенный угол подъема превышает опорный угол подъема, обновленные панорамирующие усиления подъема из числа обновленных панорамирующих усилений подъема, которые должны применяться к ипсилатеральному выходному каналу выходного канала, имеющего предварительно определенный угол подъема, могут быть меньше панорамирующих усилений подъема, которые не обновляются, и общая сумма квадратов обновленных панорамирующих усилений подъема, которые должны, соответственно, применяться ко множеству входных каналов, может составлять 1.
[0031] Согласно другому варианту осуществления настоящего изобретения, предусмотрен способ рендеринга аудиосигнала, причем способ включает в себя прием многоканального сигнала, включающего в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; получение параметров рендеринга подъема относительно входного высотного канала, с тем чтобы обеспечивать возможность множеству выходных каналов предоставлять приподнятое звуковое изображение с опорным углом подъема; и обновление параметров рендеринга подъема относительно входного высотного канала, имеющего предварительно определенный угол подъема, а не опорный угол подъема, при этом обновление параметров рендеринга подъема включает в себя получение панорамирующих усилений подъема, обновленных относительно частотного диапазона, включающего в себя полосу низких частот, на основе местоположения входного высотного канала.
[0032] Обновленные панорамирующие усиления подъема могут представлять собой панорамирующие усиления относительно заднего входного высотного канала.
[0033] Множество выходных каналов могут представлять собой горизонтальные каналы.
[0034] Параметры рендеринга подъема могут включать в себя, по меньшей мере, одно из панорамирующих усилений подъема и коэффициентов фильтрации подъема.
[0035] Обновление параметров рендеринга подъема может включать в себя применение весового коэффициента к коэффициентам фильтрации подъема на основе опорного угла подъема и предварительно определенного угла подъема.
[0036] Когда предварительно определенный угол подъема меньше опорного угла подъема, весовой коэффициент может определяться таким образом, что характеристика фильтрации подъема может демонстрироваться плавно, а когда предварительно определенный угол подъема превышает опорный угол подъема, весовой коэффициент может определяться таким образом, что характеристика фильтрации подъема может демонстрироваться резко.
[0037] Обновление параметров рендеринга подъема может включать в себя обновление панорамирующих усилений подъема на основе опорного угла подъема и предварительно определенного угла подъема.
[0038] Когда предварительно определенный угол подъема меньше опорного угла подъема, обновленное панорамирующее усиление подъема из числа обновленных панорамирующих усилений подъема, которое должно применяться к ипсилатеральному выходному каналу выходного канала, имеющего предварительно определенный угол подъема, может превышать панорамирующие усиления подъема до обновления, и общая сумма квадратов обновленных панорамирующих усилений подъема, которые должны, соответственно, применяться ко множеству входных каналов, может составлять 1.
[0039] Когда предварительно определенный угол подъема превышает опорный угол подъема, обновленное панорамирующее усиление подъема из числа обновленных панорамирующих усилений подъема, которое должно применяться к ипсилатеральному выходному каналу выходного канала, имеющего предварительно определенный угол подъема, может быть меньше панорамирующих усилений подъема до обновления, и общая сумма квадратов обновленных панорамирующих усилений подъема, которые должны, соответственно, применяться ко множеству входных каналов, может составлять 1.
[0040] Согласно другому варианту осуществления настоящего изобретения, предусмотрено устройство для рендеринга аудиосигнала, причем устройство включает в себя приемный модуль, выполненный с возможностью принимать многоканальный сигнал, включающий в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; и модуль рендеринга, выполненный с возможностью получать параметры рендеринга подъема относительно входного высотного канала, с тем чтобы обеспечивать возможность множеству выходных каналов предоставлять приподнятое звуковое изображение с опорным углом подъема, и обновлять параметры рендеринга подъема относительно входного высотного канала, имеющего предварительно определенный угол подъема, а не опорный угол подъема, при этом обновленные параметры рендеринга подъема включают в себя панорамирующие усиления подъема, обновленные относительно частотного диапазона, включающего в себя полосу низких частот, на основе местоположения входного высотного канала.
[0041] Обновленные панорамирующие усиления подъема могут представлять собой панорамирующие усиления относительно заднего входного высотного канала.
[0042] Множество выходных каналов могут представлять собой горизонтальные каналы.
[0043] Параметры рендеринга подъема могут включать в себя, по меньшей мере, одно из панорамирующих усилений подъема и коэффициентов фильтрации подъема.
[0044] Обновленные параметры рендеринга подъема могут включать в себя коэффициенты фильтрации подъема, к которым применяется весовой коэффициент, на основе опорного угла подъема и предварительно определенного угла подъема.
[0045] Когда предварительно определенный угол подъема меньше опорного угла подъема, весовой коэффициент может определяться таким образом, что характеристика фильтрации подъема может демонстрироваться плавно, а когда предварительно определенный угол подъема превышает опорный угол подъема, весовой коэффициент может определяться таким образом, что характеристика фильтрации подъема может демонстрироваться резко.
[0046] Обновленные параметры рендеринга подъема могут включать в себя панорамирующие усиления подъема, обновленные на основе опорного угла подъема и предварительно определенного угла подъема.
[0047] Когда предварительно определенный угол подъема меньше опорного угла подъема, обновленные панорамирующие усиления подъема из числа обновленных панорамирующих усилений подъема, которые должны применяться к ипсилатеральному выходному каналу выходного канала, имеющего предварительно определенный угол подъема, могут превышать панорамирующие усиления подъема до обновления, и общая сумма квадратов обновленных панорамирующих усилений подъема, которые должны, соответственно, применяться ко множеству входных каналов, может составлять 1.
[0048] Когда предварительно определенный угол подъема превышает опорный угол подъема, обновленные панорамирующие усиления подъема из множества обновленных панорамирующих усилений подъема, которые должны применяться к ипсилатеральному выходному каналу выходного канала, имеющего предварительно определенный угол подъема, могут быть меньше панорамирующих усилений подъема до обновления, и общая сумма квадратов обновленных панорамирующих усилений подъема, которые должны, соответственно, применяться ко множеству входных каналов, может составлять 1.
[0049] Согласно другому варианту осуществления настоящего изобретения, предусмотрена программа для осуществления вышеуказанных способов и машиночитаемый носитель записи, на котором записана компьютерная программа.
[0050] Помимо этого, предусмотрены другой способ, другая система и машиночитаемый носитель записи, на котором записана компьютерная программа для осуществления способа.
Преимущества изобретения
[0051] Согласно настоящему изобретению, трехмерный аудиосигнал может преобразовываться посредством рендеринга таким образом, что искажение звукового изображения снижается, даже если подъем входного канала выше или ниже стандартного подъема. Помимо этого, согласно настоящему изобретению, может предотвращаться явление путаницы передних/задних каналов вследствие выходных каналов объемного звучания.
Краткое описание чертежей
[0052] Фиг. 1 является блок-схемой, иллюстрирующей внутреннюю структуру устройства воспроизведения трехмерного аудио согласно варианту осуществления.
[0053] Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию модуля рендеринга в устройстве воспроизведения трехмерного аудио, согласно варианту осуществления.
[0054] Фиг. 3 иллюстрирует схему размещения каналов, когда множество входных каналов низводится во множество выходных каналов, согласно варианту осуществления.
[0055] Фиг. 4 иллюстрирует модуль панорамирования в примере, в котором возникает позиционное отклонение между стандартной схемой размещения и компоновочной схемой размещения выходных каналов, согласно варианту осуществления.
[0056] Фиг. 5 является блок-схемой, иллюстрирующей конфигурации декодера и модуля рендеринга трехмерного аудио в устройстве воспроизведения трехмерного аудио, согласно варианту осуществления.
[0057] Фиг. 6-8 иллюстрируют схемы размещения каналов верхнего уровня согласно подъемам верхних уровней в схеме размещения каналов, согласно варианту осуществления.
[0058] Фиг. 9-11 иллюстрируют варьирование звукового изображения и варьирование фильтра подъема, согласно подъемам канала, согласно варианту осуществления.
[0059] Фиг. 12 является блок-схемой последовательности операций, иллюстрирующей способ рендеринга трехмерного аудиосигнала, согласно варианту осуществления.
[0060] Фиг. 13 иллюстрирует явление, при котором левое и правое звуковые изображения переставляются, когда угол подъема входного канала равен или выше порогового значения, согласно варианту осуществления.
[0061] Фиг. 14 иллюстрирует горизонтальные каналы и фронтальные высотные каналы, согласно варианту осуществления.
[0062] Фиг. 15 иллюстрирует процентную долю восприятия фронтальных высотных каналов, согласно варианту осуществления.
[0063] Фиг. 16 является блок-схемой последовательности операций способа предотвращения путаницы передних/задних каналов, согласно варианту осуществления.
[0064] Фиг. 17 иллюстрирует горизонтальные каналы и фронтальные высотные каналы, когда задержка добавляется в выходные каналы объемного звучания, согласно варианту осуществления.
[0065] Фиг. 18 иллюстрирует горизонтальный канал и верхний передний центральный (TFC) канал, согласно варианту осуществления.
Осуществление изобретения
[0066] Чтобы достигать цели, настоящее изобретение включает в себя нижеприведенные варианты осуществления.
[0067] Согласно варианту осуществления, предусмотрен способ рендеринга аудиосигнала, причем способ включает в себя прием многоканального сигнала, включающего в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; добавление предварительно определенной задержки во фронтальный входной высотный канал, с тем чтобы обеспечивать возможность множеству выходных каналов предоставлять приподнятое звуковое изображение с опорным углом подъема; модификацию, на основе добавленной задержки, параметров рендеринга подъема относительно фронтального входного высотного канала; и предотвращение путаницы передних/задних каналов посредством формирования, на основе модифицированных параметров рендеринга подъема, выходного канала объемного звучания после рендеринга подъема, задержанного относительно фронтального входного высотного канала.
Оптимальный режим осуществления изобретения
[0068] Подробное описание изобретения связано с прилагаемыми чертежами, иллюстрирующими конкретные варианты осуществления изобретения. Эти варианты осуществления предоставляются таким образом, что данное раскрытие сущности являются исчерпывающим и всеобъемлющим и полностью передает принцип изобретения для специалистов в данной области техники. Следует понимать, что различные варианты осуществления изобретения отличаются друг от друга и не являются исключительными относительно друг друга.
[0069] Например, конкретная форма, конкретная структура и конкретный признак, приведенные в описании изобретения, могут изменяться в зависимости от варианта осуществления без отступления от сущности и объема изобретения. Кроме того, следует понимать, что позиция или схема размещения каждого элемента в каждом варианте осуществления может изменяться без отступления от сущности и объема изобретения. Следовательно, подробное описание должно рассматриваться только в описательном смысле, а не в целях ограничения, и объем изобретения задается не посредством подробного описания изобретения, а посредством прилагаемой формулы изобретения, и все различия в пределах объема должны истолковываться как включенные в настоящее изобретение.
[0070] Аналогичные ссылки с номерами на чертежах обозначают аналогичные или похожие элементы во всем подробном описании. В нижеприведенном описании и на прилагаемых чертежах, известные функции или конструкции не описываются подробно, поскольку они затрудняют понимание настоящего изобретения в силу необязательных подробностей. Кроме того, аналогичные ссылки с номерами на чертежах обозначают аналогичные или похожие элементы во всем подробном описании.
[0071] В дальнейшем в этом документе, настоящее изобретение подробно описывается посредством пояснения примерных вариантов осуществления изобретения со ссылкой на прилагаемые чертежи. Тем не менее, изобретение может быть реализовано во многих различных формах и не должно истолковываться как ограниченное вариантами осуществления, изложенными в данном документе; наоборот, эти варианты осуществления предоставлены таким образом, что это изобретение является исчерпывающим и всеобъемлющим и полностью передает идею изобретения специалистам в данной области техники.
[0072] Во всем подробном описании, когда элемент упоминается как "соединенный (connected)" или "спаренный (coupled)" с другим элементом, он может быть "непосредственно соединен (connected) или спарен (coupled)" с другим элементом, либо он может быть "электрически соединен (connected) или спарен (coupled)" с другим элементом в силу наличия промежуточного элемента, размещенного между ними. Кроме того, когда часть "включает в себя" или "содержит" элемент, если отсутствует конкретное описание, отличное от означенного, часть дополнительно может включать в себя другие элементы, без исключения других элементов.
[0073] Далее описываются примерные варианты осуществления настоящего изобретения со ссылками на прилагаемые чертежи.
[0074] Фиг. 1 является блок-схемой, иллюстрирующей внутреннюю структуру устройства воспроизведения трехмерного аудио согласно варианту осуществления.
[0075] Устройство 100 воспроизведения трехмерного аудио согласно варианту осуществления может выводить многоканальный аудиосигнал, в котором множество входных каналов сводятся во множество выходных каналов для воспроизведения. Здесь, если число выходных каналов меньше числа входных каналов, входные каналы низводятся, чтобы соответствовать числу выходных каналов.
[0076] Трехмерное аудио означает аудио, которое обеспечивает возможность слушателю иметь ощущение погружения посредством воспроизведения не только подъема аудио и оттенка, но также и воспроизведения направления или расстояния, и в которое добавляется пространственная информация, при этом пространственная информация заставляет слушателя, который не находится в пространстве, в котором возникает аудиоисточник, иметь направленное восприятие, восприятие расстояния и пространственное восприятие.
[0077] В нижеприведенном описании, выходные каналы аудиосигнала могут означать число динамиков, через которые выводится аудио. Чем выше число выходных каналов, тем выше число динамиков, через которые выводится аудио. Устройство 100 воспроизведения трехмерного аудио согласно варианту осуществления может преобразовывать посредством рендеринга и сводить многоканальный аудиосигнал в выходной канал для воспроизведения, так что многоканальный аудиосигнал, имеющий большое число входных каналов, может выводиться и воспроизводиться в окружении, в котором число выходных каналов является небольшим. В этом отношении, многоканальный аудиосигнал может включать в себя канал, допускающий вывод приподнятого звука.
[0078] Канал, допускающий вывод приподнятого звука, может указывать канал, допускающий вывод аудиосигнала через динамик, позиционированный над головой слушателя, с тем чтобы заставлять слушателя ощущать себя приподнятым. Горизонтальный канал может указывать канал, допускающий вывод аудиосигнала через динамик, позиционированный на горизонтальной плоскости относительно слушателя.
[0079] Вышеуказанное окружение, в котором число выходных каналов является небольшим, может указывать окружение, которое не включает в себя выходной канал, допускающий вывод приподнятого звука, и в котором аудио может выводиться через динамик, размещаемый на горизонтальной плоскости.
[0080] Кроме того, в нижеприведенном описании, горизонтальный канал может указывать канал, включающий в себя аудиосигнал, который должен выводиться через динамик, позиционированный на горизонтальной плоскости. Надголовный канал может указывать канал, включающий в себя аудиосигнал, который должен выводиться через динамик, который не позиционируется на горизонтальной плоскости, а позиционируется на приподнятой плоскости, с тем чтобы выводить приподнятый звук.
[0081] Ссылаясь на фиг. 1, устройство 100 воспроизведения трехмерного аудио согласно варианту осуществления может включать в себя аудиоядро 110, модуль 120 рендеринга, микшер 130 и модуль 140 постобработки.
[0082] Согласно варианту осуществления, устройство 100 воспроизведения трехмерного аудио может выводить, может преобразовывать посредством рендеринга, сводить и выводить многоканальный входной аудиосигнал в выходной канал для воспроизведения. Например, многоканальный входной аудиосигнал может представлять собой 22.2-канальный сигнал, и выходной канал для воспроизведения может представлять собой 5.1 или 7.1 каналов. Устройство 100 воспроизведения трехмерного аудио может выполнять рендеринг посредством задания выходных каналов, которые, соответственно, должны преобразовываться в каналы многоканального входного аудиосигнала, и может сводить преобразованные посредством рендеринга аудиосигналы посредством сведения сигналов каналов, соответственно, преобразованных в каналы для воспроизведения, и вывода конечного сигнала.
[0083] Кодированный аудиосигнал вводится в форме потока битов в аудиоядро 110, и аудиоядро 110 выбирает декодер, подходящий для формата кодированного аудиосигнала, и декодирует входной аудиосигнал.
[0084] Модуль 120 рендеринга может преобразовывать посредством рендеринга многоканальный входной аудиосигнал в многоканальные выходные каналы согласно каналам и частотам. Модуль 120 рендеринга может выполнять трехмерный рендеринг и двумерный рендеринг для каждого из сигналов согласно надголовным каналам и горизонтальным каналам. Ниже подробно описывается конфигурация модуля рендеринга и способа рендеринга со ссылкой на фиг. 2.
[0085] Микшер 130 может сводить сигналы каналов, соответственно, преобразованных в горизонтальные каналы, посредством модуля 120 рендеринга, и может выводить конечный сигнал. Микшер 130 может сводить сигналы каналов согласно каждому из предварительно определенных периодов. Например, микшер 130 может сводить сигналы каждого из каналов согласно одному кадру.
[0086] Микшер 130 согласно варианту осуществления может выполнять сведение на основе значения мощности сигналов, соответственно, преобразованных посредством рендеринга в каналы для воспроизведения. Другими словами, микшер 130 может определять амплитуду конечного сигнала или усиления, которое должно применяться к конечному сигналу, на основе значения мощности сигналов, соответственно, преобразованных посредством рендеринга в каналы для воспроизведения.
[0087] Модуль 140 постобработки выполняет управление динамическим диапазоном относительно многополосного сигнала и бинаурализацию для выходного сигнала из микшера 130, согласно каждому устройству воспроизведения (динамику, наушнику и т.д.). Выходной аудиосигнал, выводимый из модуля 140 постобработки, может выводиться через такое устройство, как динамик, и может воспроизводиться двумерным или трехмерным способом после обработки каждого конфигурационного элемента.
[0088] Устройство 100 воспроизведения трехмерного аудио согласно варианту осуществления, показанному на фиг. 1, показано относительно конфигурации его аудиодекодера, и дополнительная конфигурация пропускается.
[0089] Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию модуля рендеринга в устройстве воспроизведения трехмерного аудио, согласно варианту осуществления.
[0090] Модуль 120 рендеринга включает в себя модуль 121 фильтрации и модуль 123 панорамирования.
[0091] Модуль 121 фильтрации может компенсировать оттенок и т.п. декодированного аудиосигнала согласно местоположению и может фильтровать входной аудиосигнал посредством использования фильтра на основе передаточной функции восприятия звука человеком (HRTF).
[0092] Чтобы выполнять трехмерный рендеринг для надголовного канала, модуль 121 фильтрации может преобразовывать посредством рендеринга надголовный канал, который проходит через HRTF-фильтр, посредством использования различных способов согласно частотам.
[0093] HRTF-фильтр обеспечивает распознаваемость трехмерного аудио согласно явлению, в котором не только простая разность в тракте, к примеру, интерауральные разности уровней (ILD) между обоими ушами, интерауральные разности времен (ITD) между обоими ушами относительно времени поступления аудио и т.п., но также и усложненные свойства тракта, к примеру, дифракция на поверхности головы, отражение вследствие ушной раковины и т.п., изменяются согласно направлению, в которое поступает аудио. HRTF-фильтр может обрабатывать аудиосигналы, включенные в надголовный канал, посредством изменения качества звука аудиосигнала, с тем чтобы обеспечивать распознаваемость трехмерного аудио.
[0094] Модуль 123 панорамирования получает коэффициент панорамирования, который должен применяться к каждой из полос частот и каждому из каналов, и применяет коэффициент панорамирования, с тем чтобы панорамировать входной аудиосигнал относительно каждого из выходных каналов. Выполнение панорамирования для аудиосигнала означает управление абсолютной величиной сигнала, применяемого к каждому выходному каналу, с тем чтобы преобразовывать посредством рендеринга аудиоисточник в конкретном местоположении между двумя выходными каналами. Коэффициент панорамирования может упоминаться в качестве панорамирующего усиления.
[0095] Модуль 123 панорамирования может выполнять рендеринг для низкочастотного сигнала из числа сигналов надголовного канала посредством использования способа добавления в ближайший канал и может выполнять рендеринг для высокочастотного сигнала посредством использования способа многоканального панорамирования. Согласно способу многоканального панорамирования, значение усиления, которое задается таким образом, что оно отличается в каналах, которые должны преобразовываться посредством рендеринга в каждый из канальных сигналов, применяется к сигналам каждого из каналов многоканального аудиосигнала, так что каждый из сигналов может преобразовываться посредством рендеринга, по меньшей мере, в один горизонтальный канал. Сигналы каждого канала, к которому применяется значение усиления, могут быть синтезированы через сведение и могут выводиться в качестве конечного сигнала.
[0096] Низкочастотные сигналы являются высокодифракционными, даже если каналы многоканального аудиосигнала не разделяются и преобразуются посредством рендеринга в несколько каналов согласно способу многоканального панорамирования, но преобразуются посредством рендеринга только в один канал, низкочастотные сигналы могут иметь качество звука, которое аналогично распознается слушателем. Следовательно, устройство 100 воспроизведения трехмерного аудио согласно варианту осуществления может преобразовывать посредством рендеринга низкочастотные сигналы посредством использования способа добавления в ближайший канал и за счет этого может предотвращать ухудшение качества звука, которое может возникать, когда несколько каналов сводятся в один выходной канал. Иными словами, когда несколько каналов сводятся в один выходной канал, качество звука может усиливаться или снижаться вследствие помех между канальными сигналами и в силу этого может ухудшаться, и в этом отношении, ухудшение качества звука может предотвращаться посредством сведения одного канала в один выходной канал.
[0097] Согласно способу добавления в ближайший канал, каналы многоканального аудиосигнала могут не преобразовываться посредством рендеринга в несколько каналов, а могут преобразовываться посредством рендеринга в ближайший канал из числа каналов для воспроизведения.
[0098] Помимо этого, устройство 100 воспроизведения трехмерного аудио может расширять зону наилучшего восприятия без ухудшения качества звука посредством выполнения рендеринга посредством использования различных способов согласно частотам. Иными словами, низкочастотные сигналы, которые являются высокодифракционными, преобразуются посредством рендеринга согласно способу добавления в ближайший канал, так что может предотвращаться ухудшение качества звука, возникающее, когда несколько каналов сводятся в один выходной канал. Зона наилучшего восприятия означает предварительно определенный диапазон, в котором слушатель может оптимально прослушивать трехмерное аудио без искажения.
[0099] Когда зона наилучшего восприятия является большой, слушатель может оптимально прослушивать трехмерное аудио без искажения в большом диапазоне, а когда слушатель не находится в зоне наилучшего восприятия, слушатель может прослушивать аудио, в котором искажается качество звука или звуковое изображение.
[00100] Фиг. 3 иллюстрирует схему размещения каналов, когда множество входных каналов низводится во множество выходных каналов, согласно варианту осуществления.
[00101] Разрабатывается технология для того, чтобы предоставлять трехмерное аудио с трехмерным изображением с объемным звучанием, с тем чтобы предоставлять ощущения живого звучания и погружения, к примеру, с трехмерным изображением, которое является идентичным реальности или дополнительно чрезмерно увеличивается. Трехмерное аудио означает аудиосигнал, имеющий подъем и пространственное восприятие относительно звука, и требуются, по меньшей мере, два громкоговорителя, т.е. выходных канала, с тем чтобы воспроизводить трехмерное аудио. Помимо этого, за исключением бинаурального трехмерного аудио с использованием HRTF, большое число выходных каналов требуется, с тем чтобы еще более точно реализовывать подъем, направленное восприятие и пространственное восприятие относительно звука.
[00102] Следовательно, после стереосистемы, имеющей 2-канальный выход, предоставляются и разрабатываются различные многоканальные системы, к примеру, 5.1-канальная система, трехмерная система Auro, 10.2-канальная система Holman, 10.2-канальная система ETRI/Samsung, 22.2-канальная система NHK и т.п.
[00103] Фиг. 3 иллюстрирует пример, в котором 22.2-канальный трехмерный аудиосигнал воспроизводится через 5.1-канальную систему вывода.
[00104] 5.1-канальная система является общим названием 5-канальной системы многоканального объемного звучания и обычно распространяется и используется в качестве бытового домашнего кинотеатра и аудиосистемы для кинотеатров. Все 5.1 каналов включают в себя передний левый (FL) канал, центральный (C) канал, передний правый (FR) канал, левый канал объемного звучания (SL) и правый канал объемного звучания (SR). Как показано на фиг. 3, поскольку выводы из 5.1 каналов присутствуют на идентичной плоскости, 5.1-канальная система соответствует двумерной системе физическим способом, и для воспроизведения трехмерного аудиосигнала посредством 5.1-канальной системы, процесс рендеринга должен выполняться для того, чтобы применять трехмерный эффект к сигналу, который должен воспроизводиться.
[00105] 5.1-канальная система широко используется в различных областях техники, включающих в себя фильмы, DVD-видео, DVD-аудио, супераудиокомпакт-диски (SACD), цифровую широковещательную передачу и т.п. Тем не менее, даже если 5.1-канальная система предоставляет улучшенное пространственное восприятие по сравнению со стереосистемой, 5.1-канальная система имеет множество ограничений прив формировании большего пространства прослушивания. В частности, зона наилучшего восприятия формируется узко, и вертикальное звуковое изображение, имеющее угол подъема, не может предоставляться, так что 5.1-канальная система может не быть подходящей для крупного пространства прослушивания, такого как кинотеатр.
[00106] 22.2-канальная система, представленная посредством NHK, состоит из трех уровней выходных каналов, как показано на фиг. 3. Верхний уровень 310 включает в себя канал гласа Божьего (VoG), T0-, T180-, TL45-, TL90-, TL135-, TR45-, TR90- и TR45-каналы. Здесь, индекс T в начале названия каждого канала означает верхний уровень, индекс L или R означает левую сторону или правую сторону, и число в конце означает азимутальный угол от центрального канала. Верхний уровень обычно называется верхним уровнем.
[00107] VoG-канал представляет собой канал, который находится над головой слушателя, имеет угол подъема в 90 градусов и не имеет азимутального угла. Когда местоположение VoG-канала немного изменяется, VoG-канал имеет азимутальный угол и имеет угол подъема, который не составляет 90 градусов, и в этом случае, VoG-канал более может не представлять собой VoG-канал.
[00108] Средний уровень 320 находится на плоскости, идентичной плоскости 5.1 каналов, и включает в себя ML60-, ML90-, ML135-, MR60-, MR90- и MR135-каналы, в дополнение к выходным каналам для 5.1 каналов. Здесь, индекс M в начале названия каждого канала означает средний уровень, и число в конце означает азимутальный угол от центрального канала.
[00109] Нижний уровень 330 включает в себя L0-, LL45- и LR45-каналы. Здесь, индекс L в начале названия каждого канала означает нижний уровень, и число в конце означает азимутальный угол от центрального канала.
[00110] В 22.2 каналах, средний уровень называется горизонтальным каналом, а VOG-, T0-, T180-, T180-, M180-, L- и C-каналы, азимутальный угол которых составляет 0 градусов или 180 градусов, называются вертикальными каналами.
[00111] Когда 22.2-канальный входной сигнал воспроизводится через 5.1-канальную систему, наиболее общая схема заключается в том, чтобы распределять сигналы в каналы посредством использования формулы низведения. Альтернативно, посредством выполнения рендеринга для того, чтобы предоставлять виртуальный подъем, 5.1-канальная система может воспроизводить аудиосигнал, имеющий подъем.
[00112] Фиг. 4 иллюстрирует модуль панорамирования в примере, в котором возникает позиционное отклонение между стандартной схемой размещения и компоновочной схемой размещения выходных каналов, согласно варианту осуществления.
[00113] Когда многоканальный входной аудиосигнал воспроизводится посредством использования числа выходных каналов, меньшего числа каналов входного сигнала, исходное звуковое изображение может искажаться, и чтобы компенсировать искажение, изучаются различные технологии.
[00114] Общие технологии рендеринга спроектированы с возможностью осуществлять рендеринг при условии, что динамики, т.е. выходные каналы, размещаются согласно стандартной схеме размещения. Тем не менее, когда выходные каналы не размещаются таким образом, что они точно совпадают со стандартной схемой размещения, возникает искажение местоположения звукового изображения и искажение качества звука.
[00115] Искажение звукового изображения широко включает в себя искажение подъема, искажение фазового угла и т.п., которые не являются чувствительными на относительно низком уровне. Тем не менее, вследствие такой физической характеристики человеческого тела, что оба уха расположены с левой и правой стороны, если звуковые изображения левой-центральной-правой сторон изменяются, искажение звукового изображения может восприниматься чувствительно. В частности, звуковое изображение передней стороны может восприниматься еще более чувствительно.
[00116] Следовательно, как показано на фиг. 3, когда 22.2 каналов реализованы через 5.1 каналов, в частности, требуется не изменять звуковые изображения VOG-, T0-, T180-, T180-, M180-, L- и C-каналов, расположенных на уровне в 0 градусов или 180 градусов, а не левых и правых каналов.
[00117] Когда входной аудиосигнал панорамируется, по существу, выполняются два процесса. Первый процесс соответствует процессу инициализации, в котором коэффициент панорамирования относительно входного многоканального сигнала вычисляется согласно стандартной схеме размещения выходных каналов. Во втором процессе, вычисленный коэффициент модифицируется на основе схемы размещения, в которой фактически размещаются выходные каналы. После того, как процесс модификации коэффициента панорамирования выполняется, звуковое изображение выходного сигнала может присутствовать в более точном местоположении.
[00118] Следовательно, для выполнения обработки посредством модуля 123 панорамирования, требуется информация относительно стандартной схемы размещения выходных каналов и информация относительно компоновочной схемы размещения выходных каналов, в дополнение к входному аудиосигналу. В случае если C-канал формируется посредством рендеринга из L-канала и R-канала, входной аудиосигнал указывает входной сигнал, который должен воспроизводиться через C-канал, и выходной аудиосигнал указывает модифицированные сигналы панорамирования, выводимые из L-канала и R-канала согласно компоновочной схеме размещения.
[00119] Когда отклонение подъема присутствует между стандартной схемой размещения и компоновочной схемой размещения выходных каналов, способ двумерного панорамирования с учетом только азимутального отклонения не компенсирует эффект вследствие отклонения подъема. Следовательно, если отклонение подъема присутствует между стандартной схемой размещения и компоновочной схемой размещения выходных каналов, эффект увеличения подъема вследствие отклонения подъема должен компенсироваться посредством использования модуля 124 компенсации эффекта подъема по фиг. 4.
[00120] Фиг. 5 является блок-схемой, иллюстрирующей конфигурации декодера и модуля рендеринга трехмерного аудио в устройстве воспроизведения трехмерного аудио, согласно варианту осуществления.
[00121] Ссылаясь на фиг. 5, устройство 100 воспроизведения трехмерного аудио согласно варианту осуществления показано относительно конфигураций декодера 110 и модуля 120 рендеринга трехмерного аудио, и другие конфигурации опускаются.
[00122] Аудиосигнал, вводимый в устройство 100 воспроизведения трехмерного аудио, представляет собой кодированный сигнал, который вводится в форме потока битов. Декодер 110 выбирает декодер, подходящий для формата кодированного аудиосигнала, декодирует входной аудиосигнал и передает декодированный аудиосигнал в модуль 120 рендеринга трехмерного аудио.
[00123] Модуль 120 рендеринга трехмерного аудио состоит из модуля 125 инициализации, выполненного с возможностью получать и обновлять коэффициент фильтрации и коэффициент панорамирования, и модуля 127 рендеринга, выполненного с возможностью осуществлять фильтрацию и панорамирование.
[00124] Модуль 127 рендеринга выполняет фильтрацию и панорамирование для аудиосигнала, передаваемого из декодера 110. Модуль 1271 фильтрации обрабатывает информацию относительно местоположения аудио и в силу этого обеспечивает воспроизведение преобразованного посредством рендеринга аудиосигнала в требуемом местоположении, и модуль 1272 панорамирования обрабатывает информацию относительно качества звука аудио и в силу этого обеспечивает то, что преобразованный посредством рендеринга аудиосигнал имеет качество звука, преобразованное в требуемое местоположение.
[00125] Модуль 1271 фильтрации и модуль 1272 панорамирования выполняют функции, аналогичные функциям модуля 121 фильтрации и модуля 123 панорамирования, описанных со ссылкой на фиг. 2. Тем не менее, модуль 121 фильтрации и модуль 123 панорамирования по фиг. 2 отображаются в простых формах, в которых могут опускаться модуль инициализации и т.п., с тем чтобы получать коэффициент фильтрации и коэффициент панорамирования.
[00126] Здесь, коэффициент фильтрации для выполнения фильтрации и коэффициент панорамирования для выполнения панорамирования предоставляются из модуля 125 инициализации. Модуль 125 инициализации состоит из модуля 1251 получения параметров рендеринга подъема и модуля 1252 обновления параметров рендеринга подъема.
[00127] Модуль 1251 получения параметров рендеринга подъема получает начальное значение параметра рендеринга подъема посредством использования конфигурации и компоновки выходного канала, т.е. громкоговорителя. Здесь, начальное значение параметра рендеринга подъема может вычисляться на основе конфигурации выходного канала согласно стандартной схеме размещения и конфигурации входного канала согласно заданию рендеринга подъема, либо считывается начальное значение, ранее сохраненное согласно взаимосвязи преобразования между входными/выходными каналами. Параметр рендеринга подъема может включать в себя коэффициент фильтрации, который должен использоваться посредством модуля 1251 получения параметров рендеринга подъема, или коэффициент панорамирования, который должен использоваться посредством модуля 1252 обновления параметров рендеринга подъема.
[00128] Тем не менее, как описано выше, заданное значение подъема для рендеринга подъема может иметь отклонение относительно задания входного канала. В том случае, если используется фиксированное заданное значение подъема, затруднительно достигать цели виртуального рендеринга для аналогичного трехмерного воспроизведения исходного трехмерного аудиосигнала посредством использования выходного канала, отличающегося от входного канала.
[00129] Например, когда подъем является слишком высоким, звуковое изображение является небольшим, и качество звука ухудшается, а когда подъем должен слишком низко, затруднительно ощущать эффект виртуального рендеринга. Соответственно, требуется регулировать подъем согласно настройке пользователя или уровню виртуального рендеринга, подходящему для входного канала.
[00130] Модуль 1252 обновления параметров рендеринга подъема обновляет начальные значения параметра рендеринга подъема, которые получены посредством модуля 1251 получения параметров рендеринга подъема, на основе информации подъема входного канала или заданного пользователем подъема. Здесь, если схема размещения динамиков выходного канала имеет отклонение относительно стандартной схемы размещения, может добавляться процесс для компенсации эффекта вследствие разности. Отклонение выходного канала может включать в себя информацию отклонения согласно разности между углами подъема или азимутальными углами.
[00131] Выходной аудиосигнал, который фильтруется и панорамируется посредством модуля 127 рендеринга с использованием параметра рендеринга подъема, полученного и обновленного посредством модуля 125 инициализации, воспроизводится через динамики, соответствующие выходным каналам, соответственно.
[00132] Фиг. 6-8 иллюстрируют схемы размещения каналов верхнего уровня согласно подъемам верхних уровней в схеме размещения каналов, согласно варианту осуществления.
[00133] Когда предполагается, что сигнал входного канала представляет собой 22.2-канальный трехмерный аудиосигнал и размещается согласно схеме размещения, показанной на фиг. 3, верхний уровень входного канала имеет схему размещения, показанную на фиг. 4, согласно углам подъема. Здесь, предполагается, что углы подъема составляют 0 градусов, 25 градусов, 35 градусов и 45 градусов, и VoG-канал, соответствующий 90 градусов угла подъема, опускается. Каналы верхнего уровня, имеющие угол подъема 0 градусов, присутствуют на горизонтальной плоскости (средний уровень 320).
[00134] Фиг. 6 иллюстрирует схему размещения при виде спереди каналов верхнего уровня.
[00135] Ссылаясь на фиг. 6, каждый из восьми каналов верхнего уровня имеет разность азимутальных углов в 45 градусов, так что когда каналы верхнего уровня просматриваются спереди относительно оси вертикальных каналов, в шести каналах, за исключением TL90-канала и TR90-канала, каждые два канала, т.е. TL45-канал и TL135-канал, T0-канал и T180-канал и TR45-канал и TR135-канал, перекрываются. Это более очевидно по сравнению с фиг. 8.
[00136] Фиг. 7 иллюстрирует схему размещения при виде сверху каналов верхнего уровня. Фиг. 8 иллюстрирует схему размещения при трехмерном виде каналов верхнего уровня. Можно видеть, что восемь каналов верхнего уровня размещаются с регулярными интервалами при том, что каждый из них имеет разность азимутальных углов в 45 градусов.
[00137] Когда контент, который должен воспроизводиться с трехмерным аудио через рендеринг подъема, является фиксированным таким образом, что он имеет угол подъема в 35 градусов, рендеринг подъема с углом подъема в 35 градусов может выполняться для всех входных аудиосигналов, так что должен достигаться оптимальный результат.
[00138] Тем не менее, угол подъема может по-разному применяться к трехмерному аудио контента, в зависимости от множества фрагментов контента, и как показано на фиг. 6-8, согласно подъему каждого из каналов, местоположения и расстояния каналов варьируются, и характеристики сигналов вследствие дисперсии также варьируются.
[00139] Следовательно, когда виртуальный рендеринг выполняется с фиксированным углом подъема, возникает искажение звукового изображения, и для того, чтобы достигать оптимальной производительности рендеринга, необходимо выполнять рендеринг с учетом угла подъема входного трехмерного аудиосигнала, т.е. угла подъема входного канала.
[00140] Фиг. 9-11 иллюстрируют варьирование звукового изображения и варьирование фильтра подъема, согласно подъемам канала, согласно варианту осуществления.
[00141] Фиг. 9 иллюстрирует местоположения каналов, когда подъемы высотных каналов составляют 0 градусов, 35 градусов и 45 градусов, соответственно. Фиг. 9 рассматривается сзади слушателя, и каждый из проиллюстрированных каналов представляет собой ML90-канал или TL90-канал. Когда угол подъема составляет 0 градусов, канал присутствует на горизонтальной плоскости и соответствует ML90-каналу, а когда угол подъема составляет 35 градусов и 45 градусов, каналы представляют собой каналы верхнего уровня и соответствуют TL90-каналу.
[00142] Фиг. 10 иллюстрирует разность сигналов между левым и правым ухом слушателя, когда аудиосигналы выводятся из соответствующих каналов, расположенных так, как показано на фиг. 9.
[00143] Когда аудиосигнал выводится из ML90, не имеющего угла подъема, теоретически, аудиосигнал воспринимается только через левое ухо и не воспринимается через правое ухо.
[00144] Тем не менее, по мере того, как увеличивается подъем, разность между аудиосигналами, воспринимаемыми через левое ухо и правое ухо, снижается, и когда угол подъема канала увеличивается и в силу этого становится 90 градусов, канал становится VoG-каналом над головой слушателя, так что оба уха воспринимают идентичный аудиосигнал.
[00145] Следовательно, варьирование относительно аудиосигнала, воспринимаемого посредством обоих ушей согласно углам подъема, является таким, как показано фиг. 7B.
[00146] Относительно аудиосигнала, воспринимаемого через левое ухо, когда угол подъема составляет 0 градусов, только левое ухо воспринимает аудиосигнал, тогда как правое ухо не воспринимает аудиосигнал. В этом случае, интерауральные разности уровней (ILD) и интерауральные разности времен (ITD) являются максимальными, и слушатель воспринимает аудиосигнал в качестве звукового изображения ML90-канала, существующего на левом канале горизонтальной плоскости.
[00147] Относительно разности между аудиосигналами, воспринимаемыми через левое и правое ухо, когда угол подъема составляет 35 градусов, и аудиосигналами, воспринимаемыми через левое и правое ухо, когда угол подъема составляет 45 градусов, поскольку угол подъема увеличивается, разность между аудиосигналами, воспринимаемыми через левое и правое ухо, снижается, и вследствие разности слушатель может ощущать разность подъемов в выходном аудиосигнале.
[00148] Выходной сигнал из канала с углом подъема в 35 градусов характеризуется большим звуковым изображением, большой зоной наилучшего восприятия и естественным качеством звука, по сравнению с выходным сигналом из канала с углом подъема 45 градусов, и выходной сигнал из канала с углом подъема 45 градусов характеризуется небольшим звуковым изображением, небольшой зоной наилучшего восприятия и ощущением звукового поля, предоставляющим интенсивное ощущение погружения, по сравнению с выходным сигналом из канала с углом подъема в 35 градусов.
[00149] Как описано выше, по мере того, как увеличивается угол подъема, подъем также увеличивается, так что ощущение погружения становится интенсивным, но снижается ширина аудиосигнала. Это обусловлено тем, что, по мере того, как увеличивается угол подъема, физическое местоположение канала становится ближе и в силу этого находится близко к слушателю.
[00150] Следовательно, обновление коэффициента панорамирования согласно дисперсии угла подъема определяется ниже. По мере того, как увеличивается угол подъема, коэффициент панорамирования обновляется, с тем чтобы обеспечивать увеличение звукового изображения, а по мере того, как снижается угол подъема, коэффициент панорамирования обновляется, с тем чтобы обеспечивать уменьшение звукового изображения.
[00151] Например, предполагается, что базовый заданный угол подъема составляет 45 градусов для виртуального рендеринга, и виртуальный рендеринг должен выполняться посредством снижения угла подъема до 35 градусов. В этом случае, коэффициент панорамирования при рендеринге, который должен применяться к виртуальному каналу, который должен формироваться посредством рендеринга, и к ипсилатеральному выходному каналу, увеличивается, и коэффициент панорамирования, который должен применяться к остаточным каналам, определяется через нормализацию мощности.
[00152] В более конкретном описании, предполагается, что 22.2 входной многоканальный сигнал должен воспроизводиться через выходные 5.1-каналы (динамики). В этом случае, из числа входных 22.2-каналов, входные каналы, к которым применяется виртуальный рендеринг и которые имеют углы подъема, составляют девять каналов, которые представляют собой CH_U_000 (T0), CH_U_L45 (TL45), CH_U_R45 (TR45), CH_U_L90 (TL90), CH_U_R90 (TR90), CH_U_L135 (TL135), CH_U_R135 (TR135), CH_U_180 (T180) и CH_T_000 (VOG), и выходные 5.1-каналы составляют пять каналов (за исключением канала низкочастотного динамика), которые представляют собой CH_M_000, CH_M_L030, CH_M_R030, CH_M_L110 и CH_R_110, существующие на горизонтальной плоскости.
[00153] Таким образом, в случае если CH_U_L45-канал формируется посредством рендеринга посредством использования выходных 5.1-каналов, когда базовый заданный угол подъема составляет 45 градусов, и предпринимается попытка снижать угол подъема до 35 градусов, коэффициент панорамирования, который должен применяться к CH_M_L030 и CH_M_L110, которые представляют собой ипсилатеральные выходные каналы CH_U_L45-канала, обновляется таким образом, что он увеличивается на 3 дБ, и коэффициент панорамирования остаточных трех каналов обновляется таким образом, что он снижается, так что удовлетворяется . Здесь, N указывает число выходных каналов для рендеринга случайного виртуального канала, и  указывает коэффициент панорамирования, который должен применяться каждому выходному каналу.
[00154] Этот процесс должен выполняться для каждого входного высотного канала.
[00155] С другой стороны, предполагается, что базовый заданный угол подъема составляет 45 градусов для виртуального рендеринга, и виртуальный рендеринг должен выполняться посредством увеличения угла подъема до 55 градусов. В этом случае, коэффициент панорамирования при рендеринге, который должен применяться к виртуальному каналу, который должен формироваться посредством рендеринга, и к ипсилатеральному выходному каналу, снижается, и коэффициент панорамирования, который должен применяться к остаточным каналам, определяется через нормализацию мощности.
[00156] Когда CH_U_L45-канал формируется посредством рендеринга посредством использования выходных 5.1-каналов, если базовый заданный угол подъема увеличивается с 45 градусов до 55 градусов, коэффициент панорамирования, который должен применяться к CH_M_L030 и CH_M_L110, которые представляют собой ипсилатеральные выходные каналы CH_U_L45-канала, обновляется таким образом, что он снижается на 3 дБ, и коэффициент панорамирования остаточных трех каналов обновляется таким образом, что он увеличивается, так что удовлетворяется . Здесь, N указывает число выходных каналов для рендеринга случайного виртуального канала, и  указывает коэффициент панорамирования, который должен применяться каждому выходному каналу.
[00157] Тем не менее, когда подъем увеличивается вышеуказанным способом, необходимо не переставлять и правое звуковые изображения вследствие обновления коэффициента панорамирования, и это описывается со ссылкой на фиг. 8.
[00158] В дальнейшем в этом документе описывается способ обновления коэффициента фильтрации оттенков со ссылкой на фиг. 11.
[00159] Фиг. 11 иллюстрирует характеристики оттеночного фильтра согласно частотам, когда угол подъема канала составляет 35 градусов, и угол подъема составляет 45 градусов.
[00160] Как проиллюстрировано на фиг. 11, очевидно, что характеристика вследствие угла подъема является очень заметной в оттеночном фильтре канала с углом подъема 45 градусов, по сравнению с оттеночным фильтром канала с углом подъема в 35 градусов.
[00161] В случае если виртуальный рендеринг выполняется для того, чтобы иметь угол подъема, превышающий опорный угол подъема, когда рендеринг выполняется для опорного угла подъема, большее увеличение (обновленный коэффициент фильтрации увеличивается таким образом, что он больше 1) возникает в полосе частот (в которой исходный коэффициент фильтрации больше 1), абсолютная величина которой должна увеличиваться, и большее снижение (обновленный коэффициент фильтрации снижается таким образом, что он меньше 1) возникает в полосе частот (в которой исходный коэффициент фильтрации меньше 1), абсолютная величина которой должна снижаться.
[00162] Когда характеристики абсолютной величины фильтра выражаются в шкале в децибелах, как показано на фиг. 11, оттеночный фильтр имеет положительное значение, показанное в полосе частот, в которой абсолютная величина выходного сигнала должна увеличиваться, и имеет отрицательное значение в полосе частот, в которой абсолютная величина выходного сигнала должна снижаться. Помимо этого, как очевидно на фиг. 11, по мере того, как снижается угол подъема, форма абсолютной величины фильтра становится плоской.
[00163] Когда высотный канал виртуально формируется посредством рендеринга посредством использования канала горизонтальной плоскости, по мере того, как снижается угол подъема, высотный канал имеет оттенок, аналогичный сигналу горизонтальной плоскости, и по мере того, как увеличивается угол подъема, изменение подъема является значительным, так что по мере того, как увеличивается угол подъема, эффект согласно оттеночному фильтру увеличивается, так что эффект подъема вследствие увеличения угла подъема подчеркивается. С другой стороны, по мере того, как увеличивается угол подъема, эффект согласно оттеночному фильтру снижается, так что эффект подъема может снижаться.
[00164] Следовательно, обновление коэффициента фильтрации согласно изменению угла подъема выполняется посредством обновления исходного коэффициента фильтрации посредством использования базового заданного угла подъема и весового коэффициента на основе угла подъема, который должен фактически преобразовываться посредством рендеринга.
[00165] В случае если базовый заданный угол подъема для виртуального рендеринга составляет 45 градусов, и подъем снижается посредством выполнения рендеринга на 35 градусов, ниже базового угла подъема, коэффициенты, соответствующие фильтру в 45 градусов по фиг. 11, определяются в качестве начальных значений и должны обновляться на коэффициенты, соответствующие фильтру в 35 градусов.
[00166] Следовательно, в случае если предпринимается попытка снижать подъем посредством выполнения рендеринга до 35 градусов, т.е. до угла подъема ниже 45 градусов, т.е. базового угла подъема, коэффициент фильтрации должен обновляться таким образом, что впадина и минимальный уровень для фильтра согласно полосе частот модифицируются таким образом, что они являются более плавными, чем впадина и минимальный уровень для фильтра в 45 градусов.
[00167] С другой стороны, в случае если базовый заданный угол подъема составляет 45 градусов, и подъем увеличивается посредством выполнения рендеринга на 55 градусов, выше базового угла подъема, коэффициент фильтрации должен обновляться таким образом, что впадина и минимальный уровень для фильтра согласно полосе частот модифицируются таким образом, что они являются резкими, чем впадина и минимальный уровень для фильтра в 45 градусов.
[00168] Фиг. 12 является блок-схемой последовательности операций, иллюстрирующей способ рендеринга трехмерного аудиосигнала, согласно варианту осуществления.
[00169] Модуль рендеринга принимает многоканальный аудиосигнал, включающий в себя множество входных каналов (1210). Входной многоканальный аудиосигнал преобразуется во множество сигналов выходных каналов через рендеринг, и в примере низведения, в котором число выходных каналов меньше числа входных каналов, входной сигнал, имеющий 22.2 каналов, преобразуется в выходной канал, имеющий 5.1 каналов.
[00170] Таким образом, когда трехмерный входной аудиосигнал формируется посредством рендеринга посредством использования двумерных выходных каналов, общий рендеринг применяется к входным каналам на горизонтальной плоскости, и виртуальный рендеринг применяется к высотным каналам, имеющим угол подъема, с тем чтобы применять подъем к ним.
[00171] Чтобы выполнять рендеринг, требуется коэффициент фильтрации, который должен использоваться в фильтрации, и коэффициент панорамирования, который должен использоваться в панорамировании. Здесь, в процессе инициализации, параметр рендеринга получается согласно стандартной схеме размещения выходного канала и базовому заданному углу подъема для виртуального рендеринга (1220). Базовый заданный угол подъема может определяться различными способами согласно модулю рендеринга, но когда виртуальный рендеринг выполняется с фиксированным углом подъема, удовлетворенность и эффект виртуального рендеринга могут снижаться согласно предпочтениям пользователя или характеристике входного сигнала.
[00172] Следовательно, когда конфигурация выходного канала имеет отклонение относительно стандартной схемы размещения выходного канала, либо когда подъем, при котором должен выполняться виртуальный рендеринг, отличается от базового заданного угла подъема модуля рендеринга, параметр рендеринга обновляется (1230).
[00173] Здесь, обновленный параметр рендеринга может включать в себя коэффициент фильтрации, обновленный посредством суммирования, с начальным значением коэффициента фильтрации, весового коэффициента, определенного на основе отклонения углов подъема, или может включать в себя коэффициент панорамирования, обновленный посредством увеличения или уменьшения начального значения коэффициента панорамирования согласно результату сравнения угла подъема входного канала с базовым заданным углом подъема.
[00174] Подробный способ обновления коэффициента фильтрации и коэффициента панорамирования уже описан со ссылкой на фиг. 9-11, и в силу этого описание опускается. В этом отношении, обновленный коэффициент фильтрации и обновленный коэффициент панорамирования могут быть дополнительно модифицированы или расширены, и его подробное описание предоставлено ниже.
[00175] Если схема размещения динамиков выходного канала имеет отклонение относительно стандартной схемы размещения, может добавляться процесс для компенсации эффекта вследствие отклонения, но описание его подробного способа опускается здесь. Отклонение выходного канала может включать в себя информацию отклонения согласно разности между углами подъема или азимутальными углами.
[00176] Фиг. 13 иллюстрирует явление, при котором левое и правое звуковые изображения переставляются, когда угол подъема входного канала равен или выше порогового значения, согласно варианту осуществления.
[00177] Пользователь различает между местоположениями звуковых изображений согласно разностям времен, разностям уровней и разностям частот звуков, которые поступают в оба уха пользователя. Когда разности между характеристиками сигналов, которые поступают в оба уха, являются большими, пользователь может легко локализовать местоположения, и даже если возникает небольшая ошибка, не возникает путаница передних/задних каналов или путаница левых/правых каналов относительно звуковых изображений. Тем не менее, виртуальный аудиоисточник, расположенный в правой задней боковой или правой передней стороне головы, имеет очень небольшую разность времен и очень небольшую разность уровней, так что пользователь должен локализовать местоположение посредством использования только разности между частотами.
[00178] Аналогично на фиг. 10, на фиг. 13, канал квадратной формы представляет собой CH_U_L90-канал сзади относительно слушателя. Здесь, когда угол подъема CH_U_L90 составляет , по мере того, как  увеличивается, ILD и ITD аудиосигналов, которые поступают в левое ухо и правое ухо слушателя, снижаются, и аудиосигналы, воспринимаемые посредством обоих ушей, имеют аналогичные звуковые изображения. Максимальное значение угла  подъема составляет 90 градусов, и когда  составляет 90 градусов, CH_U_L90 становится VoG-каналом, существующим над головой слушателя, в силу чего идентичные аудиосигналы принимаются через оба уха.
[00179] Как показано в левой схеме по фиг. 13, если  имеет очень большое значение, подъем увеличивается, так что слушатель может испытывать ощущение звукового поля, предоставляющее интенсивное ощущение погружения. Тем не менее, когда подъем увеличивается, звуковое изображение становится небольшим, и зона наилучшего восприятия становится небольшой, так что даже если местоположение слушателя немного изменяется, или канал немного перемещается, явление перестановки левых/правых каналов может возникать относительно звукового изображения.
[00180] Правая схема по фиг. 13 иллюстрирует местоположения слушателя и канала, когда слушатель немного перемещается влево. Это представляет собой случай, когда подъем формируется высоко, поскольку угол  подъема канала имеет большое значение, так что даже если слушатель немного перемещается, относительные местоположения левых и правых каналов значительно изменяются, и в наихудшем случае, хотя он представляет собой левосторонний канал, сигнал, который поступает в правое ухо, воспринимается еще более существенно, так что может возникать перестановка левых/правых каналов звукового изображения, как показано на фиг. 13.
[00181] В процессе рендеринга, более важно поддерживать баланс левых и правых каналов звукового изображения и локализовать левые и правые местоположения звукового изображения, чем применять подъем, в силу чего, для того чтобы предотвращать вышеуказанное явление, может быть необходимым ограничивать угол подъема для виртуального рендеринга пределами предварительно определенного диапазона.
[00182] Следовательно, в случае если коэффициент панорамирования снижается, когда угол подъема увеличивается для того, чтобы достигать более высокого подъема, чем базовый заданный угол подъема для рендеринга, необходимо задавать минимальное пороговое значение коэффициента панорамирования таким образом, что оно не равно или меньше предварительно определенного значения.
[00183] Например, даже если подъем при рендеринге в 60 градусов увеличивается таким образом, что он равен или выше 60 градусов, когда панорамирование выполняется посредством обязательного применения коэффициента панорамирования, который обновляется относительно порогового угла подъема в 60 градусов, может предотвращаться явление перестановки левых/правых каналов звукового изображения.
[00184] Когда трехмерное аудио формируется посредством использования виртуального рендеринга, явление путаницы передних/задних каналов аудиосигнала может возникать вследствие компонента воспроизведения канала объемного звучания. Явление путаницы передних/задних каналов означает явление, посредством которого затруднительно определять то, присутствует виртуальный аудиоисточник в трехмерном аудио спереди или сзади.
[00185] Со ссылкой на фиг. 13, предполагается, что слушатель перемещается; тем не менее, специалистам в данной области техники должно быть очевидным, что по мере того, как увеличивается звуковое изображение, даже если слушатель не перемещается, имеется высокая вероятность того, что возникает путаница левых/правых каналов или путаница передних/задних каналов вследствие характеристики органа слуха каждого пользователя.
[00186] В дальнейшем в этом документе подробно описывается способ инициализации и обновления параметра рендеринга подъема, т.е. коэффициента панорамирования подъема и коэффициента фильтрации подъема.
[00187] Когда угол elv подъема входного высотного канала  превышает 35 градусов, если  представляет собой фронтальный канал (азимутальный угол составляет от -90 градусов до +90 градусов), обновленный коэффициент  фильтрации подъема определяется согласно уравнениям 1-3.
[00188] уравнение 1
[00189]
[00190] уравнение 2
[00191]
[00192] уравнение 3
[00193]
[00194] С другой стороны, когда угол elv подъема входного высотного канала  превышает 35 градусов, если  представляет собой задний канал (азимутальный угол составляет от -180 градусов до -90 градусов или от 90 градусов до 180 градусов), обновленный коэффициент  фильтрации подъема определяется согласно уравнениям 4-6.
[00195] уравнение 4
[00196]
[00197] уравнение 5
[00198]
[00199] уравнение 6
[00200] ,
s
где  является нормализованной центральной частотой k-ой полосы частот, f является частотой дискретизации, и  является начальным значением коэффициента фильтрации подъема с опорным углом подъема.
[00201] Когда угол подъема для рендеринга подъема не является опорным углом подъема, коэффициент панорамирования подъема относительно входных высотных каналов за исключением TBC-канала (CH_U_180) и VoG-канала (CH_T_000) должен обновляться.
[00202] Когда опорный угол подъема составляет 35 градусов, и  представляет собой TFC-канал (CH_U_000), обновленные коэффициенты  и  панорамирования подъема определяются согласно уравнениям 7 и 8, соответственно.
[00203] уравнение 7
[00204]
[00205] уравнение 8
[00206] ,
где  является коэффициентом панорамирования выходного SL-канала для виртуального рендеринга TFC-канала посредством использования опорного угла подъема в 35 градусов, и  является коэффициентом панорамирования выходного SR-канала для виртуального рендеринга TFC-канала посредством использования опорного угла подъема в 35 градусов.
[00207] Относительно TFC-канала, невозможно регулировать усиления левых и правых каналов, с тем чтобы управлять подъемом, так что регулируется отношение усиления относительно SL-канала и SR-канала, которые представляют собой задние каналы фронтального канала, с тем чтобы управлять подъемом. Ниже предоставляется подробное описание.
[00208] Относительно других каналов за исключением TFC-канала, когда угол подъема входного высотного канала превышает опорный угол подъема в 35 градусов, усиление ипсилатерального канала входного канала снижается, а усиление контралатерального канала входного канала увеличивается вследствие разности усилений между  и .
[00209] Например, когда входной канал представляет собой CH_U_L045-канал, ипсилатеральный выходной канал входного канала представляет собой CH_M_L030 и CH_M_L110, и контралатеральный выходной канал входного канала представляет собой CH_M_R030 и CH_M_R110.
[00210] В дальнейшем в этом документе подробно описывается способ получения  и  и обновления панорамирующего усиления подъема из них, когда входной канал представляет собой боковой канал, фронтальный канал или задний канал.
[00211] Когда входной канал, имеющий угол elv подъема, представляет собой боковой канал (азимутальный угол составляет от -110 градусов до -70 градусов или от 70 градусов до 110 градусов), , и  определяются согласно уравнениям 9 и 10, соответственно.
[00212] уравнение 9
[00213]
[00214] уравнение 10
[00215]
[00216] Когда входной канал, имеющий угол elv подъема, представляет собой фронтальный канал (азимутальный угол составляет от -70 градусов до +70 градусов) или задний канал (азимутальный угол составляет от -180 градусов до -110 градусов или от 110 градусов до 180 градусов),  и  определяются согласно уравнениям 11 и 12, соответственно.
[00217] уравнение 11
[00218]
[00219] уравнение 12
[00220]
[00221] На основе  и , вычисленных посредством использования уравнений 9 через и 12, могут обновляться коэффициенты панорамирования подъема.
[00222] Обновленный коэффициент  панорамирования подъема относительно ипсилатерального выходного канала входного канала и обновленный коэффициент  панорамирования подъема относительно контралатерального выходного канала входного канала определяются согласно уравнениям 13 и 14, соответственно.
[00223] уравнение 13
[00224]
[00225] уравнение 14
[00226]
[00227] Чтобы постоянно поддерживать энергетический уровень выходного сигнала, коэффициенты панорамирования, полученные посредством использования уравнений 13 и 14, нормализуются согласно уравнениям 15 и 16.
[00228] уравнение 15
[00229]
[00230] уравнение 16
[00231]
[00232] Таким образом, процесс нормализации мощности выполняется таким образом, что общая сумма квадрата коэффициентов панорамирования входного канала становится 1, и за счет этого может в равной степени поддерживаться энергетический уровень выходного сигнала до того, как обновляются коэффициенты панорамирования, и энергетический уровень выходного сигнала после того, как обновляются коэффициенты панорамирования.
[00233] В  и , индексный H указывает то, что коэффициент панорамирования подъема обновляется только в высокочастотной области. Обновленные коэффициенты панорамирования подъема уравнений 13 и 14 применяются только к полосе высоких частот, для полос частот от 2,8 кГц до 10. Тем не менее, когда коэффициент панорамирования подъема обновляется относительно канала объемного звучания, коэффициент панорамирования подъема обновляется не только относительно полосы высоких частот, но также и относительно полосы низких частот.
[00234] Когда входной канал, имеющий угол elv подъема, представляет собой канал объемного звучания (азимутальный угол составляет от -160 градусов до -110 градусов или от 110 градусов до 160 градусов), обновленный коэффициент  панорамирования подъема относительно ипсилатерального выходного канала входного канала в полосе низких частот 2,8 кГц или ниже и обновленный коэффициент  панорамирования подъема относительно контралатерального выходного канала входного канала определяются согласно уравнениям 17 и 18, соответственно.
[00235] уравнение 17
[00236]
[00237] уравнение 18
[00238]
[00239] Аналогично полосе высоких частот, чтобы постоянно поддерживать энергетический уровень выходного сигнала посредством обновленного панорамирующего усиления подъема полосы низких частот, коэффициенты панорамирования, полученные посредством использования уравнений 15 и 16, нормализуются по мощности согласно уравнениям 19 и 20.
[00240] уравнение 19
[00241]
[00242] уравнение 20
[00243]
[00244] Таким образом, процесс нормализации мощности выполняется таким образом, что общая сумма квадрата коэффициентов панорамирования входного канала становится 1, и за счет этого может в равной степени поддерживаться энергетический уровень выходного сигнала до того, как обновляются коэффициенты панорамирования, и энергетический уровень выходного сигнала после того, как обновляются коэффициенты панорамирования.
[00245] Фиг. 14-17 являются схемами для описания способа предотвращения путаницы передних/задних каналов звукового изображения, согласно варианту осуществления.
[00246] Фиг. 14 иллюстрирует горизонтальные каналы и фронтальные высотные каналы, согласно варианту осуществления.
[00247] Что касается варианта осуществления, показанного на фиг. 14, предполагается, что выходной канал представляет собой 5.0 каналов (теперь показан канал низкочастотного динамика), и фронтальные входные высотные каналы преобразуются посредством рендеринга в горизонтальные выходные каналы. 5.0 каналов присутствуют на горизонтальной плоскости 1410 и включают в себя передний центральный (FC) канал, передний левый (FL) канал, передний правый (FR) канал, левый канал объемного звучания (SL) и правый канал объемного звучания (SR).
[00248] Фронтальные высотные каналы представляют собой каналы, соответствующие верхнему уровню 1420 по фиг. 14, и в варианте осуществления, показанном на фиг. 14, фронтальные высотные каналы включают в себя верхний передний центральный (TFC) канал, верхний передний левый (TFL) канал и верхний передний правый (TFR) канал.
[00249] Когда предполагается, что в варианте осуществления, показанном на фиг. 14, входной канал представляет собой 22.2 каналов, входные сигналы 24 каналов преобразуются посредством рендеринга (низводятся), чтобы формировать выходные сигналы 5 каналов. Здесь, компоненты, которые надлежащим образом соответствуют входным сигналам 24 каналов, распределены в 5-канальном выходном сигнале согласно правилу рендеринга. Следовательно, выходные каналы, т.е. передний центральный (FC) канал, передний левый (FL) канал, передний правый (FR) канал, левый канал объемного звучания (SL) и правый канал объемного звучания (SR), соответственно, включают в себя компоненты, соответствующие входным сигналам.
[00250] В этом отношении, число фронтальных высотных каналов, число горизонтальных каналов, азимутальные углы и углы подъема высотных каналов могут определяться различными способами согласно схеме размещения каналов. Когда входной канал представляет собой 22.2 каналов или 22.0 каналов, фронтальный высотный канал может включать в себя, по меньшей мере, один из CH_U_L030, CH_U_R030, CH_U_L045, CH_U_R045 и CH_U_000. Когда выходной канал представляет собой 5.0 каналов или 5.1 каналов, канал объемного звучания может включать в себя, по меньшей мере, один из CH_M_L110 и CH_M_R110.
[00251] Тем не менее, специалистам в данной области техники должно быть очевидным, что даже если несколько входных и выходных каналов не совпадают со стандартной схемой размещения, многоканальная схема размещения может конфигурироваться различными способами согласно углу подъема и азимутальному углу каждого канала.
[00252] Когда сигнал входного высотного канала виртуально преобразуется посредством рендеринга посредством использования горизонтальных выходных каналов, выходной канал объемного звучания действует с возможностью увеличивать подъем звукового изображения посредством применения подъема к звуку. Следовательно, когда сигналы из горизонтальных входных высотных каналов виртуально преобразуются посредством рендеринга в выходные 5.0-каналы, которые представляют собой горизонтальные каналы, подъем может применяться и регулироваться посредством выходных сигналов из SL-канала и SR-каналов, которые представляют собой выходные каналы объемного звучания.
[00253] Тем не менее, поскольку HRTF является уникальной для каждого пользователя, может возникать явление путаницы передних/задних каналов, в котором сигнал, который виртуально преобразуется посредством рендеринга во фронтальный высотный канал, воспринимается, как если он звучит сзади согласно HRTF-характеристике слушателя.
[00254] Фиг. 15 иллюстрирует процентную долю восприятия фронтальных высотных каналов, согласно варианту осуществления.
[00255] Фиг. 15 иллюстрирует процентную долю того, что когда фронтальный высотный канал, т.е. TFR-канал, виртуально формируется посредством рендеринга посредством использования горизонтального выходного канала, пользователь локализует местоположение (переднее и заднее) звукового изображения. Со ссылкой на фиг. 15, высота, распознанная пользователем, соответствует высотному каналу 1420, и размер окружности является пропорциональным значению вероятности.
[00256] Ссылаясь на фиг. 15, хотя большинство пользователей локализует звуковое изображение при 45 градусов справа, которое является местоположением виртуально преобразованного посредством рендеринга канала, многие пользователи локализуют звуковое изображение в другом местоположении, а не при 45 градусов. Как описано выше, это явление возникает, поскольку HRTF-характеристика отличается для людей, можно видеть, что определенный пользователь локализует звуковое изображение даже сзади, дополнительно идущее на 90 градусов справа.
[00257] HRTF указывает тракт передачи аудио из аудиоисточника в точке в пространстве, смежной с головой, в барабанную перепонку, что математически выражается как передаточная функция. HRTF значительно варьируется согласно местоположению аудиоисточника относительно центра головы и размеру либо форме головы или ушной раковины. Чтобы точно изобразить виртуальный аудиоисточник, HRTF целевых людей должны отдельно измеряться и использоваться, что фактически является невозможным. Таким образом, в общем, используется неиндивидуализированная HRTF, измеренная посредством размещения микрофона в позиции барабанной перепонки манекена, аналогичного человеческому телу.
[00258] Когда виртуальный аудиоисточник воспроизводится посредством использования неиндивидуализированной HRTF, если голова или ушная раковина пользователя не совпадает с микрофонной системой муляжа или манекена, возникают различные проблемы, связанные с локализацией звуковых изображений. Отклонение локализованных градусов на горизонтальной плоскости может компенсироваться с учетом размера головы пользователя, но поскольку размер или формы ушной раковины отличается у людей, затруднительно компенсировать отклонение подъема или явление путаницы передних/задних каналов.
[00259] Как описано выше, каждый пользователь имеет собственную HRTF согласно размеру или форме головы; тем не менее, фактически затруднительно применять различные HRTF к людям, соответственно. Следовательно, используется неиндивидуализированная HRTF, т.е. общая HRTF, и в этом случае может возникать явление путаницы передних/задних каналов.
[00260] Здесь, когда предварительно определенная временная задержка добавляется в сигнал выходного канала объемного звучания, может предотвращаться явление путаницы передних/задних каналов.
[00261] Звук не воспринимается одинаково всеми, а воспринимается по-разному согласно окружению или психологическому состоянию слушателя. Это обусловлено тем, что физическое событие в пространстве, в котором доставляется звук, воспринимается слушателем субъективным и сенсорным способом. Аудиосигнал, который воспринимается слушателем согласно субъективному или психологическому фактору, упоминается в качестве психоакустики. Психоакустика не только находится под влиянием физических переменных, включающих в себя акустическое давление, частоту, время и т.д., но также она затрагивается посредством субъективных переменных, включающих в себя громкость, основной тон, оттенок, восприятие относительно звука и т.д.
[00262] Психоакустика может иметь множество эффектов согласно ситуациям и, например, может включать в себя эффект маскирования, коктейльный эффект, эффект восприятия направления, эффект восприятия расстояния и эффект предшествования. Технология на основе психоакустики используется в различных областях техники, с тем чтобы предоставлять более надлежащий аудиосигнал слушателю.
[00263] Эффект предшествования также упоминается как эффект Хааза, в котором когда различные звуки последовательно формируются посредством временной задержки в 1-30 мс, слушатель может воспринимать то, что звуки формируются в местоположении, в котором формируется первый поступающий звук. Тем не менее, если временная задержка между временами формирования двух звуков равна или выше 50 мс, два звука воспринимаются в различных направлениях.
[00264] Например, когда звуковое изображение локализуется, если выходной сигнал правого канала задерживается, звуковое изображение перемещается влево и в силу этого воспринимается как сигнал, воспроизведенный справа, и это явление называется эффектом предшествования или эффектом Хааза.
[00265] Выходной канал объемного звучания используется для того, чтобы добавлять подъем в звуковое изображение, и как проиллюстрировано на фиг. 15, вследствие сигнала выходного канала объемного звучания, возникает явление путаницы передних/задних каналов, так что некоторые слушатели могут воспринимать то, что сигнал фронтального канала исходит с задней стороны.
[00266] Посредством использования вышеуказанного эффекта предшествования, может разрешаться вышеуказанная проблема. Когда предварительно определенная временная задержка добавляется в сигнал выходного канала объемного звучания, чтобы воспроизводить фронтальный входной высотный канал, по сравнению с сигналами из фронтальных выходных каналов, которые присутствуют на уровне от -90 градусов до +90 градусов относительно передней стороны и происходят из числа выходных сигналов для воспроизведения сигнала фронтального входного высотного канала, сигналы из выходных каналов объемного звучания, которые присутствуют на уровне от -180 градусов до -90 градусов или от +90 градусов до +180 градусов относительно передней стороны, воспроизводятся с задержкой.
[00267] Соответственно, даже если аудиосигнал из фронтального входного канала может восприниматься, как если он воспроизводится сзади вследствие уникальной HRTF слушателя, аудиосигнал воспринимается, как если он воспроизводится спереди, где аудиосигнал воспроизводится сначала, согласно эффекту предшествования.
[00268] Фиг. 16 является блок-схемой последовательности операций способа предотвращения путаницы передних/задних каналов, согласно варианту осуществления.
[00269] Модуль рендеринга принимает многоканальный аудиосигнал, включающий в себя множество входных каналов (1610). Входной многоканальный аудиосигнал преобразуется во множество сигналов выходных каналов через рендеринг, и в примере низведения, в котором число выходных каналов меньше числа входных каналов, входной сигнал, имеющий 22.2 каналов, преобразуется в выходной сигнал, имеющий 5.1 каналов или 5.0 каналов.
[00270] Таким образом, когда трехмерный входной аудиосигнал преобразуется посредством рендеринга посредством использования двумерного выходного канала, общий рендеринг применяется к входным каналам на горизонтальной плоскости, и виртуальный рендеринг применяется к высотным каналам, имеющим угол подъема, с тем чтобы применять подъем к ним.
[00271] Чтобы выполнять рендеринг, требуется коэффициент фильтрации, который должен использоваться в фильтрации, и коэффициент панорамирования, который должен использоваться в панорамировании. Здесь, в процессе инициализации, параметр рендеринга получается согласно стандартной схеме размещения выходного канала и базовому заданному углу подъема для виртуального рендеринга. Базовый заданный угол подъема может определяться различными способами согласно модулю рендеринга, и когда предварительно определенный угол подъема, а не базовый заданный угол подъема, задается согласно предпочтениям пользователя или характеристике входного сигнала, может улучшаться удовлетворенность и эффект виртуального рендеринга.
[00272] Чтобы предотвращать путаницу передних/задних каналов вследствие канала объемного звучания, временная задержка добавляется в выходной канал объемного звучания относительно фронтального высотного канала (1620).
[00273] Когда предварительно определенная временная задержка добавляется в сигнал выходного канала объемного звучания, чтобы воспроизводить фронтальный входной высотный канал, по сравнению с сигналами из фронтальных выходных каналов, которые присутствуют на уровне от -90 градусов до +90 градусов относительно передней стороны и происходят из числа выходных сигналов для воспроизведения сигнала фронтального входного высотного канала, сигналы из выходных каналов объемного звучания, которые присутствуют на уровне от -180 градусов до -90 градусов или от +90 градусов до +180 градусов относительно передней стороны, воспроизводятся с задержкой.
[00274] Соответственно, даже если аудиосигнал из фронтального входного канала может восприниматься, как если он воспроизводится сзади вследствие уникальной HRTF слушателя, аудиосигнал воспринимается, как если он воспроизводится спереди, где аудиосигнал воспроизводится сначала, согласно эффекту предшествования.
[00275] Как описано выше, чтобы воспроизводить фронтальный высотный канал посредством задержки выходного канала объемного звучания относительно фронтального высотного канала, модуль рендеринга изменяет параметр рендеринга подъема на основе задержки, добавляемой в выходной канал объемного звучания (1630).
[00276] Когда параметр рендеринга подъема изменяется, модуль рендеринга формирует выходной канал объемного звучания после рендеринга подъема на основе измененного параметра рендеринга подъема (1640). Подробнее, рендеринг выполняется посредством применения измененного параметра рендеринга подъема к сигналу входного высотного канала, так что формируется сигнал выходного канала объемного звучания. Таким образом, выходной канал объемного звучания после рендеринга подъема, который задерживается относительно фронтального входного высотного канала на основе измененного параметра рендеринга подъема, может предотвращать путаницу передних/задних каналов вследствие выходного канала объемного звучания.
[00277] Временная задержка, применяемая к выходному каналу объемного звучания, предпочтительно составляет приблизительно 2,7 мс и приблизительно 91,5 см по расстоянию, что соответствует 128 выборкам, т.е. двум выборкам из квадратурного зеркального фильтра (QMF) при 48 кГц. Тем не менее, чтобы предотвращать путаницу передних/задних каналов, задержка, добавляемая в выходной канал объемного звучания, может варьироваться согласно частоте дискретизации и окружению воспроизведения.
[00278] Здесь, когда конфигурация выходного канала имеет отклонение относительно стандартной схемы размещения выходного канала, либо когда подъем, при котором должен выполняться виртуальный рендеринг, отличается от базового заданного угла подъема модуля рендеринга, параметр рендеринга обновляется. Обновленный параметр рендеринга может включать в себя коэффициент фильтрации, обновленный посредством суммирования, с начальным значением коэффициента фильтрации, весового коэффициента, определенного на основе отклонения углов подъема, или может включать в себя коэффициент панорамирования, обновленный посредством увеличения или уменьшения начального значения коэффициента панорамирования согласно результату сравнения угла подъема входного канала с базовым заданным углом подъема.
[00279] Если присутствует фронтальный входной высотный канал, который должен подвергаться пространственному рендерингу подъема, задержанные QMF-выборки фронтального входного канала суммируются со входной QMF-выборкой, и матрица низведения расширяется на измененный коэффициент.
[00280] Ниже подробно описывается способ добавления временной задержки во фронтальный входной высотный канал и изменения матрицы рендеринга (низведения).
[00281] Когда число входных каналов составляет Nin, относительно i-ого входного канала из числа [1 Nin] каналов, если i-ый входной канал представляет собой один из входных высотных каналов CH_U_L030, CH_U_L045, CH_U_R030, CH_U_R045 и CH_U_000, задержка QMF-выборки входного канала и задержанная QMF-выборка определяются согласно уравнению 21 и уравнению 22.
[00282] уравнение 21
s
[00283] delay=round(f*0,003/64)
[00284] уравнение 22
[00285] ,
s
[00286] где f указывает частоту дискретизации, и  указывает n-ую подполосную QMF-выборку k-ой полосы частот. Временная задержка, применяемая к выходному каналу объемного звучания, предпочтительно составляет приблизительно 2,7 мс и приблизительно 91,5 см по расстоянию, что соответствует 128 выборкам, т.е. двум QMF-выборкам при 48 кГц. Тем не менее, чтобы предотвращать путаницу передних/задних каналов, задержка, добавляемая в выходной канал объемного звучания, может варьироваться согласно частоте дискретизации и окружению воспроизведения.
[00287] Измененная матрица рендеринга (низведения) определяется согласно уравнениям 23-25.
[00288] уравнение 23
[00289]
[00290] уравнение 24
[00291]
[00292] уравнение 25
[00293] Nin=Nin +1,
где  указывает матрицу низведения для рендеринга подъема,  указывает матрицу низведения для общего рендеринга, и Nout указывает число выходных каналов.
[00294] Чтобы завершать матрицу низведения для каждого из входных каналов, Nin увеличивается на 1, и процедура из уравнения 3 и уравнения 4 повторяется. Чтобы получать матрицу низведения относительно одного входного канала, требуется получать параметры низведения для выходных каналов.
[00295] Параметр низведения j-ого выходного канала относительно i-ого входного канала определяется так, как пояснено ниже.
[00296] Когда число выходных каналов составляет Nout, относительно j-ого выходного канала из числа [1 Nout] каналов, если j-ый выходной канал представляет собой один из каналов CH_M_L110 и CH_M_R110 объемного звучания, параметр низведения, который должен применяться к выходному каналу, определяется согласно уравнению 26.
[00297] уравнение 26
[00298]
[00299] Когда число выходных каналов составляет Nout, относительно j-ого выходного канала из числа [1 Nout], если j-ый выходной канал не представляет собой канал CH_M_L110 или CH_M_R110 объемного звучания, параметр низведения, который должен применяться к выходному каналу, определяется согласно уравнению 27.
[00300] уравнение 27
[00301]
[00302] Здесь, если схема размещения динамиков выходного канала имеет отклонение относительно стандартной схемы размещения, может добавляться процесс для компенсации эффекта вследствие разности, но его подробное описание опускается. Отклонение выходного канала может включать в себя информацию отклонения согласно разности между углами подъема или азимутальными углами.
[00303] Фиг. 17 иллюстрирует горизонтальные каналы и фронтальные высотные каналы, когда задержка добавляется в выходные каналы объемного звучания, согласно варианту осуществления.
[00304] В варианте осуществления по фиг. 17, аналогично варианту осуществления по фиг. 14, предполагается, что выходной канал представляет собой 5.0 каналов (теперь показан канал низкочастотного динамика), и фронтальные входные высотные каналы преобразуются посредством рендеринга в горизонтальные выходные каналы. 5.0 каналов присутствуют на горизонтальной плоскости 1410 и включают в себя передний центральный (FC) канал, передний левый (FL) канал, передний правый (FR) канал, левый канал объемного звучания (SL) и правый канал объемного звучания (SR).
[00305] Фронтальные высотные каналы представляют собой каналы, соответствующие верхнему уровню 1420 по фиг. 14, и в варианте осуществления, показанном на фиг. 14, фронтальные высотные каналы включают в себя верхний передний центральный (TFC) канал, верхний передний левый (TFL) канал и верхний передний правый (TFR) канал.
[00306] В варианте осуществления по фиг. 17, аналогично варианту осуществления по фиг. 14, когда предполагается, что входной канал представляет собой 22.2 каналов, входные сигналы 24 каналов преобразуются посредством рендеринга (низводятся), чтобы формировать выходные сигналы 5 каналов. Здесь, компоненты, которые надлежащим образом соответствуют входным сигналам 24 каналов, распределены в 5-канальном выходном сигнале согласно правилу рендеринга. Следовательно, выходные каналы, т.е. FC-канал, FL-канал, FR-канал, SL-канал и SR-канал, соответственно, включают в себя компоненты, соответствующие входным сигналам.
[00307] В этом отношении, число фронтальных высотных каналов, число горизонтальных каналов, азимутальные углы и углы подъема высотных каналов могут определяться различными способами согласно схеме размещения каналов. Когда входной канал представляет собой 22.2 каналов или 22.0 каналов, фронтальный высотный канал может включать в себя, по меньшей мере, один из CH_U_L030, CH_U_R030, CH_U_L045, CH_U_R045 и CH_U_000. Когда выходной канал представляет собой 5.0 каналов или 5.1 каналов, канал объемного звучания может включать в себя, по меньшей мере, один из CH_M_L110 и CH_M_R110.
[00308] Тем не менее, специалистам в данной области техники должно быть очевидным, что даже если несколько входных и выходных каналов не совпадают со стандартной схемой размещения, многоканальная схема размещения может конфигурироваться различными способами согласно углу подъема и азимутальному углу каждого канала.
[00309] Здесь, чтобы предотвращать явление путаницы передних/задних каналов, возникающее вследствие SL-канала и SR-канала, предварительно определенная задержка добавляется во фронтальный входной высотный канал, который преобразуется посредством рендеринга через выходной канал объемного звучания. Выходной канал объемного звучания после рендеринга подъема, который задерживается относительно фронтального входного высотного канала на основе измененного параметра рендеринга подъема, может предотвращать путаницу передних/задних каналов вследствие выходного канала объемного звучания.
[00310] Способы получения параметра рендеринга подъема, измененного на основе аудиосигнала с добавленной задержкой и добавленной задержки, показаны в уравнениях 1-7. Как подробно описано в варианте осуществления по фиг. 16, их подробное описание опускается в варианте осуществления по фиг. 17.
[00311] Временная задержка, применяемая к выходному каналу объемного звучания, предпочтительно составляет приблизительно 2,7 мс и приблизительно 91,5 см по расстоянию, что соответствует 128 выборкам, т.е. двум QMF-выборкам при 48 кГц. Тем не менее, чтобы предотвращать путаницу передних/задних каналов, задержка, добавляемая в выходной канал объемного звучания, может варьироваться согласно частоте дискретизации и окружению воспроизведения.
[00312] Фиг. 18 иллюстрирует горизонтальный канал и верхний передний центральный (TFC) канал, согласно варианту осуществления.
[00313] Согласно варианту осуществления, показанному на фиг. 18, предполагается, что выходной канал представляет собой 5.0 каналов (теперь показан канал низкочастотного динамика), и верхний передний центральный (TFC) канал преобразуется посредством рендеринга в горизонтальный выходной канал. 5.0 каналов присутствуют на горизонтальной плоскости 1810 и включают в себя передний центральный (FC) канал, передний левый (FL) канал, передний правый (FR) канал, левый канал объемного звучания (SL) и правый канал объемного звучания (SR). TFC-канал соответствует верхнему уровню 1820 по фиг. 18, и предполагается, что TFC-канал имеет 0-ой азимутальный угол и расположен с предварительно определенным углом подъема.
[00314] Как описано выше, очень важно предотвращать перестановку левых/правых каналов звукового изображения, когда аудиосигнал преобразуется посредством рендеринга. Чтобы преобразовать посредством рендеринга входной высотный канал, имеющий угол подъема, в горизонтальный выходной канал, требуется выполнять виртуальный рендеринг, и сигналы многоканальных входных каналов панорамируются в многоканальные выходные сигналы через рендеринг.
[00315] Для виртуального рендеринга, который предоставляет ощущение приподнятости при конкретном подъеме, определяются коэффициент панорамирования и коэффициент фильтрации, и в этом отношении, для входного сигнала TFT-канала, звуковое изображение должно быть расположено перед слушателем, т.е. в центре, так что коэффициенты панорамирования FL-канала и FR-канала определяются с тем, чтобы обеспечивать расположение звукового изображения TFC-канала в центре.
[00316] В случае если схема размещения выходных каналов совпадает со стандартной схемой размещения, коэффициенты панорамирования FL-канала и FR-канала должны быть идентичными, и коэффициенты панорамирования SL-канала и SR-канала также должны быть идентичными.
[00317] Как описано выше, поскольку коэффициенты панорамирования левых и правых каналов для рендеринга входного TFC-канала должны быть идентичными, невозможно регулировать коэффициенты панорамирования левых и правых каналов, с тем чтобы регулировать подъем входного TFC-канала. Следовательно, коэффициенты панорамирования для передних и задних каналов регулируются, с тем чтобы применять ощущение приподнятости посредством рендеринга входного TFC-канала.
[00318] Когда опорный угол подъема составляет 35 градусов, и угол подъема входного TFC-канала, который должен преобразовываться посредством рендеринга, составляет elv, коэффициенты панорамирования SL-канала и SR-канала для виртуального рендеринга TFC-канала в угол elv подъема, соответственно, определяются согласно уравнению 28 и уравнению 29.
[00319] уравнение 28
[00320]
[00321] уравнение 29
[00322] ,
где  является коэффициентом панорамирования SL-канала для выполнения виртуального рендеринга с опорным углом подъема, который составляет 35 градусов, и  является коэффициентом панорамирования SR-канала для выполнения виртуального рендеринга с опорным углом подъема, который составляет 35 градусов;  является индексом относительно входного высотного канала, и уравнение 28 и уравнение 29 указывают взаимосвязь между начальным значением коэффициента панорамирования и обновленным коэффициентом панорамирования, когда входной высотный канал представляет собой TFC-канал.
[00323] Здесь, чтобы постоянно поддерживать энергетический уровень выходного сигнала, коэффициенты панорамирования, полученные посредством использования уравнения 28 и уравнения 29, не используются неизменно, а нормализуются по мощности посредством использования уравнения 30 и уравнения 31, и затем используются.
[00324] уравнение 30
[00325]
[00326] уравнение 31
[00327]
[00328] Таким образом, процесс нормализации мощности выполняется таким образом, что общая сумма квадрата коэффициентов панорамирования входного канала становится 1, и за счет этого может в равной степени поддерживаться энергетический уровень выходного сигнала до того, как обновляются коэффициенты панорамирования, и энергетический уровень выходного сигнала после того, как обновляются коэффициенты панорамирования.
[00329] Варианты осуществления согласно настоящему изобретению также могут быть осуществлены в качестве программируемых команд, которые должны выполняться в различных компьютерных конфигурационных элементах, и затем могут записываться на машиночитаемый носитель записи. Машиночитаемый носитель записи может включать в себя одно или более из программируемых команд, файлов данных, структур данных и т.п. Программируемые команды, записанные на машиночитаемый носитель записи, могут быть специально разработаны или сконфигурированы для изобретения либо могут быть известны специалистам в области техники компьютерного программного обеспечения. Примеры машиночитаемого носителя записи включают в себя магнитные носители, включающие в себя жесткие диски, магнитные ленты и гибкие диски, оптические носители, включающие в себя CD-ROM и DVD, магнитооптические носители, включающие в себя флоптические диски, и аппаратное устройство, сконструированное с возможностью сохранять и выполнять программируемые команды в постоянном запоминающем устройстве (ROM), оперативном запоминающем устройстве (RAM), флэш-памяти и т.п. Примеры программируемых команд включают в себя не только машинные коды, сформированные посредством компилятора, но также и включают в себя объемные коды, которые должны выполняться в компьютере посредством использования интерпретатора. Аппаратное устройство может быть выполнено с возможностью выступать в качестве одного или более программных модулей, с тем чтобы выполнять этапы для изобретения, либо наоборот.
[00330] Хотя подробное описание конкретно описано со ссылкой на неочевидные признаки настоящего изобретения, специалисты в данной области техники должны понимать, что различные исключения, замены и изменения в форме и деталях вышеуказанного устройства и способа могут вноситься без отступления от сущности и объема прилагаемой формулы изобретения.
[00331] Следовательно, объем настоящего изобретения задается не посредством подробного описания изобретения, а посредством прилагаемой формулы изобретения, и любые отличия в пределах объема должны истолковываться как включенные в настоящее изобретение.