(57)【要約】  １つまたは複数のプロセッサを備えるデバイスは、音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを音声信号の複数のチャンネルに適用するように構成される。プロセッサは、結合された信号を生成するために、音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するようにさらに構成される。プロセッサは、バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを結合された信号に適用するようにさらに構成される。
2016523466.tif 000002
【特許請求の範囲】
【請求項１】
音声信号をバイノーラル化する方法であって、
前記音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を備える、方法。
【請求項２】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項１に記載の方法。
【請求項３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２に記載の方法。
【請求項４】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項１に記載の方法。
【請求項５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項４に記載の方法。
【請求項６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記方法が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、をさらに備える、請求項１に記載の方法。
【請求項７】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算することをさらに備える、請求項１に記載の方法。
【請求項８】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
をさらに備える、請求項１に記載の方法。
【請求項９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項１に記載の方法。
【請求項１０】
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、請求項１に記載の方法。
【請求項１１】
１つまたは複数のプロセッサを備えるデバイスであって、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行うように構成される、デバイス。
【請求項１２】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項１１に記載のデバイス。
【請求項１３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項１２に記載のデバイス。
【請求項１４】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項１１に記載のデバイス。
【請求項１５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項１４に記載のデバイス。
【請求項１６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記１つまたは複数のプロセッサが、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
を行うようにさらに構成される、請求項１１に記載のデバイス。
【請求項１７】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するようにさらに構成される、請求項１１に記載のデバイス。
【請求項１８】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
を行うようにさらに構成される、請求項１１に記載のデバイス。
【請求項１９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項１１に記載のデバイス。
【請求項２０】
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、請求項１１に記載のデバイス。
【請求項２１】
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用するための手段と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するための手段と、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用するための手段と、
を備える、装置。
【請求項２２】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項２１に記載の装置。
【請求項２３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２２に記載の装置。
【請求項２４】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項２１に記載の装置。
【請求項２５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２４に記載の装置。
【請求項２６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記装置が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合するための手段と、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用するための手段と、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合するための手段と、
をさらに備える、請求項２１に記載の装置。
【請求項２７】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するための手段をさらに備える、請求項２１に記載の装置。
【請求項２８】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成するための手段と、
をさらに備える、請求項２１に記載の装置。
【請求項２９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項２１に記載の装置。
【請求項３０】
実行されると、１つまたは複数のプロセッサに、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行わせる命令をその上に記憶した、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権主張
[0001]本出願は、２０１３年５月２９日に出願された米国仮特許出願第６１／８２８，６２０号、２０１３年７月１７日に出願された米国仮特許出願第６１／８４７，５４３号、２０１３年１０月３日に出願された米国仮出願第６１／８８６，５９３号、および２０１３年１０月３日に出願された米国仮出願第６１／８８６，６２０号の利益を主張する。
【０００２】
[0002]本開示は、音声レンダリングに関し、より詳細には、音声データのバイノーラルレンダリング（binaural rendering）に関する。
【発明の概要】
【０００３】
[0003]概して、音声ストリームの源をたどるために、バイノーラル室内インパルス応答（binaural room impulse response）（ＢＲＩＲ）フィルタの適用によるバイノーラル音声レンダリングに関する技法を説明する。
【０００４】
[0004]一例として、音声信号をバイノーラル化する方法は、音声信号の複数の適応的に重み付けられたチャンネルを生成するために適応的に決定された重みを音声信号の複数のチャンネルに適用することと、結合された信号を生成するために音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、バイノーラル音声信号を生成するためにバイノーラル室内インパルス応答フィルタを結合された信号に適用することと、を備える。
【０００５】
[0005]別の例として、デバイスは、音声信号の複数の適応的に重み付けられたチャンネルを生成するために適応的に決定された重みを音声信号の複数のチャンネルに適用することと、結合された信号を生成するために音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、バイノーラル音声信号を生成するためにバイノーラル室内インパルス応答フィルタを結合された信号に適用することと、を行うように構成された１つまたは複数のプロセッサを備える。
【０００６】
[0006]別の例として、装置は、音声信号の複数の適応的に重み付けられたチャンネルを生成するために適応的に決定された重みを音声信号の複数のチャンネルに適用するための手段と、結合された信号を生成するために音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するための手段と、バイノーラル音声信号を生成するためにバイノーラル室内インパルス応答フィルタを結合された信号に適用するための手段と、を備える。
【０００７】
[0007]別の例として、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、音声信号の複数の適応的に重み付けられたチャンネルを生成するために適応的に決定された重みを音声信号の複数のチャンネルに適用することと、結合された信号を生成するために音声信号の複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、バイノーラル音声信号を生成するためにバイノーラル室内インパルス応答フィルタを結合された信号に適用することと、を行わせる命令をその上に記憶している。
【０００８】
[0008]技法の１つまたは複数の態様の詳細は、添付の図面および以下の説明に記載される。これらの技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から、明らかになろう。
【図面の簡単な説明】
【０００９】
【図１】[0009]様々な次数および副次数の球面調和基底関数を示す図。
【図２】様々な次数および副次数の球面調和基底関数を示す図。
【図３】[0010]音声信号情報をより効率的にレンダリングするために本開示で説明する技法を実行し得るシステムを示す図。
【図４】[0011]例示的なバイノーラル室内インパルス応答（ＢＲＩＲ）を示すブロック図。
【図５】[0012]室内でＢＲＩＲを作成するための例示的なシステムモデルを示すブロック図。
【図６】[0013]室内でＢＲＩＲを作成するためのより詳細なシステムモデルを示すブロック図。
【図７】[0014]本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図。
【図８】[0015]本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図。
【図９】[0016]本開示で説明する技法の様々な態様による、球面調和係数をレンダリングするための、バイノーラルレンダリングデバイスに関する例示的な演算のモードを示すフロー図。
【図１０Ａ】[0017]本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る代替の演算のモードを示すフロー図。
【図１０Ｂ】本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る代替の演算のモードを示すフロー図。
【図１１】[0018]本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図。
【図１２】[0019]本開示で説明する技法の様々な態様による、図１１の音声再生デバイスによって実施され得るプロセスを示すフロー図。
【図１３】[0020]例示的なバイノーラル室内インパルス応答フィルタの図。
【図１４】[0021]バイノーラル室内インパルス応答をマルチチャンネル音声信号に適用することによって生成されるバイノーラル出力信号の標準的計算のためのシステムを示すブロック図。
【図１５】[0022]本明細書で説明する技法に従って、バイノーラル室内インパルス応答をマルチチャンネル音声信号に適用することによって生成されるバイノーラル出力信号を計算するためのシステムの機能的構成要素を示すブロック図。
【図１６】[0023]複数のバイノーラル室内インパルス応答フィルタの反射セグメントに関する階層的クラスタ分析を示す例示的なプロット。
【図１７】[0024]本開示で説明する技法による、音声再生デバイスの動作の例示的なモードを示すフローチャート。
【発明を実施するための形態】
【００１０】
[0025]同様の参照符号は、図面およびテキスト全体を通して同じ要素を示す。
【００１１】
[0026]サラウンドサウンドの発展は、現今では娯楽のための多くの出力フォーマットを利用可能にしている。そのようなサラウンドサウンドフォーマットの例は、一般的な５．１フォーマット（これは、フロントレフト（ＦＬ）と、フロントライト（ＦＲ）と、センターまたはフロントセンターと、バックレフトまたはサラウンドレフトと、バックライトまたはサラウンドライトと、低周波効果（ＬＦＥ）という、６つのチャンネルを含む）、発展中の７．１フォーマット、および今後来る２２．２フォーマット（たとえば、超高精細テレビ規格で使用するための）を含む。空間音声フォーマットの別の例は、球面調和係数（高次アンビソニックス（Higher Order Ambisonics）としても知られている）である。
【００１２】
[0027]将来規格化される音声エンコーダ（ＰＣＭ音声表現をビットストリームに変換するデバイス−時間サンプルごとに必要なビット数を保存する）への入力は、随意に、３つの可能なフォーマット、（ｉ）あらかじめ指定された位置でラウドスピーカーによって再生されることを意味する、従来のチャンネルベース音声、（ｉｉ）（様々な情報の中でも）位置座標を含む関連付けられたメタデータを有する単一音声オブジェクトのための離散的なパルス符号変調（ＰＣＭ）データを含むオブジェクトベース音声、および（ｉｉｉ）球面調和係数（ＳＨＣ）を使用して音場を表すことを含むシーンベース音声−ここで、係数は球面調和基底関数の線形和の「重み」を表す、のうちの１つとすることができる。この文脈では、ＳＨＣは、高次アンビソニックス（ＨｏＡ）モデルによるＨｏＡ信号を含み得る。球面調和係数は、代替または追加として、平面モデルと球面モデルとを含み得る。
【００１３】
[0028]市場には様々な「サラウンドサウンド」フォーマットがある。これらのフォーマットは、たとえば、５．１ホームシアターシステム（リビングルームへの進出を行うという点でステレオ以上に最も成功した）からＮＨＫ（Ｎｉｐｐｏｎ  Ｈｏｓｏ  Ｋｙｏｋａｉすなわち日本放送協会）によって開発された２２．２システムに及ぶ。コンテンツ作成者（たとえば、ハリウッドスタジオ）は、一度に映画のサウンドトラックを作成することを望み、各々のスピーカー構成のためにサウンドトラックをリミックスする努力を行うことを望まない。最近では、標準化委員会が、標準化されたビットストリームへの符号化と、スピーカーの幾何学的配置およびレンダラの位置における音響条件に適合可能でありそれらに依存しない後続の復号とを提供するための方法を考えている。
【００１４】
[0029]コンテンツ作成者にそのようなフレキシビリティを提供するために、要素の階層的なセットが音場を表すために使用され得る。要素の階層的なセットは、より低次の要素の基本セットがモデル化された音場の完全な表現を提供するように要素が順序付けられている、要素のセットを指し得る。このセットはより高次の要素を含むように拡張されるので、表現はより詳細なものになる。
【００１５】
[0030]要素の階層的なセットの一例は、球面調和係数（ＳＨＣ）のセットである。次の式は、ＳＨＣを使用した音場の記述または表現を示す。
【数１】
2016523466.tif 000003
この式は、任意の点｛ｒr，θr，φr｝（これは、この例において音場を取り込むマイクロフォンに対する球面座標で表される）における音場の圧力ｐiが、
【数２】
2016523466.tif 000004
によって一意に表され得ることを示す。ここで、
【数３】
2016523466.tif 000005
、ｃは音の速さ（約３４３ｍ／ｓ）であり、｛ｒr，θr，φr｝は基準の点（または観測点）であり、ｊｎ（・）は次数ｎの球ベッセル関数であり、および
【数４】
2016523466.tif 000006
は次数ｎおよび副次数ｍの球面調和基底関数である。角括弧内の項は、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、またはウェーブレット変換などの様々な時間周波数変換によって近似され得る信号の周波数領域表現（すなわち、Ｓ（ω，ｒr，θr，φr）である）ことが認識できよう。階層的なセットの他の例は、ウェーブレット変換の係数のセットと、多重解像度の基底関数の係数の他のセットとを含む。
【００１６】
[0031]図１は、ゼロ次（ｎ＝０）から４次（ｎ＝４）までの球面調和基底関数を示す図である。理解できるように、各次数に対して、説明を簡単にするために図示されているが図１の例では明示的に示されていない副次数ｍの拡張が存在する。
【００１７】
[0032]図２は、ゼロ次（ｎ＝０）から第４次（ｎ＝４）までの球面調和基底関数を示す別の図である。図２では、球面調和ベースの関数は、示される次数と副次数の両方を伴う３次元座標空間において示される。
【００１８】
[0033]いずれにしても、
【数５】
2016523466.tif 000007
は、様々なマイクロフォンアレイ構成によって物理的に取得（たとえば、記録）されることが可能であり、または代替的に、音場のチャンネルベースの記述もしくはオブジェクトベースの記述から導出されることが可能である。ＳＨＣは、シーンに基づく音声を表す。たとえば、４次のＳＨＣの表現は、時間サンプルごとに（１＋４）2＝２５個の係数を伴う。
【００１９】
[0034]これらのＳＨＣがどのようにオブジェクトベースの記述から導出され得るかを例示するために、次の式を考える。個々の音声オブジェクトに対応する音場に関する係数
【数６】
2016523466.tif 000008
は、
【数７】
2016523466.tif 000009
として表され得、ここで、ｉは
【数８】
2016523466.tif 000010
であり、ｈn(2)（・）は次数ｎの（第２の種類の）球ハンケル関数であり、｛ｒs，θs，φs｝はオブジェクトの位置である。周波数の関数としての音源のエネルギーｇ（ω）を知ること（たとえば、ＰＣＭストリームに高速フーリエ変換を行うなどの、時間・周波数解析技法を使用して）は、我々が各ＰＣＭオブジェクトとその位置とを
【数９】
2016523466.tif 000011
に変換することを可能にする。さらに、各オブジェクトに関する
【数１０】
2016523466.tif 000012
係数は、（上式は線形であり直交方向の分解であるので）加法的であることが示され得る。このようにして、多数のＰＣＭオブジェクトが
【数１１】
2016523466.tif 000013
係数によって（たとえば、個々のオブジェクトに関する係数ベクトルの和として）表され得る。本質的に、これらの係数は、音場に関する情報（３Ｄ座標の関数としての圧力）を含んでおり、上記は、観測点｛ｒr，θr，φr｝の近傍における、音場全体の表現への個々のオブジェクトからの変換を表す。
【００２０】
[0035]ＳＨＣはまた、マイクロフォンアレイの記録から次のように導出され得る。
【数１２】
2016523466.tif 000014
ただし、
【数１３】
2016523466.tif 000015
は
【数１４】
2016523466.tif 000016
（ＳＨＣ）の時間領域の等価物であり、＊は畳み込み演算を表し、＜，＞は内積を表し、ｂn（ｒi，ｔ）はｒiに依存する時間領域のフィルタ関数を表し、ｍi（ｔ）はｉ番目のマイクロフォンの信号であり、ｉ番目のマイクロフォントランスデューサ（microphone transducer）は、半径ｒi、仰角θi、および方位角φiに位置する。したがって、マイクロフォンアレイの中に３２個のトランスデューサがあり、各マイクロフォンが、ｒi＝ａが定数となるように球面上に配置される（ｍｈＡｃｏｕｓｔｉｃｓのＥｉｇｅｎｍｉｋｅ  ＥＭ３２デバイス上のマイクロフォンのように）場合、２５個のＳＨＣが、行列演算を使用して次のように導出され得る。
【数１５】
2016523466.tif 000017
上記の式中の行列は、より一般的にはＥs（θ，φ）と呼ばれることがあり、ここで、下付き文字ｓは、この行列がある特定の変換器幾何学的配置セットｓに関することを示すことができる。上記の式中の畳み込み（＊によって示される）は、行と行に基づき、したがって、たとえば、出力
【数１６】
2016523466.tif 000018
はｂ0（ａ，ｔ）と、Ｅs（θ，φ）行列の第１の行とマイクロフォン信号の列（これは時間の関数として変化する−ベクトル乗算の結果が時系列であるという事実の理由である）とのベクトル乗算から生じる時系列と、の間の畳み込みの結果である。算出は、マイクロフォンアレイの変換器位置が、いわゆるＴ字形設計幾何学的配置（Ｅｉｇｅｎｍｉｋｅ変換器幾何学的配置に極めて近い）にあるとき、最も正確であり得る。Ｔ字形設計幾何学的配置の１つの特徴は、幾何学的配置から生じるＥs（θ，φ）行列は行儀の非常によい（very well behaved）逆行列（または擬似逆行列）を有すること、さらに、この逆行列は行列Ｅs（θ，φ）の転置によって極めてよく近似され得ることが多いことであり得る。仮にｂn（ａ，ｔ）を用いたフィルタリング動作が無視される場合、この性質は、ＳＨＣからのマイクロフォン信号の復元（すなわち、この例では、［ｍi（ｔ）］＝［Ｅs（θ，φ）］-1［ＳＨＣ］）を可能にする。残りの数字は、以下でオブジェクトベース音声コーディングおよびＳＨＣベース音声コーディングの文脈で説明される。
【００２１】
[0036]図３は、音声信号情報をより効率的にレンダリングするために本開示で説明する技法を実行し得るシステム２０を示す図である。図３の例に示すように、システム２０は、コンテンツ作成者２２と、コンテンツ消費者２４とを含む。コンテンツ作成者２２およびコンテンツ消費者２４の文脈で説明するが、本技法は、音場の階層的表示を規定するＳＨＣまたは任意の他の階層要素を利用する任意の文脈において実施され得る。
【００２２】
[0037]コンテンツ作成者２２は、コンテンツ消費者２４などのコンテンツ消費者による消費のためのマルチチャンネル音声コンテンツを生成し得る映画撮影所または他のエンティティを表すことができる。多くの場合、このコンテンツ作成者は、ビデオコンテンツとともに、音声コンテンツを生成する。コンテンツ消費者２４は、音声再生システムを所有するまたはそれにアクセスできる個人を表し得、その音声再生システムはマルチチャンネル音声コンテンツを再生する能力がある音声再生システムの任意の形を指し得る。図３の例では、コンテンツ消費者２４は、音場の階層的表示を規定する階層要素をレンダリングするための音声再生システム３２を所有するかまたはそれへのアクセスを有する。
【００２３】
[0038]コンテンツ作成者２２は、音声レンダラ２８と音声編集システム３０とを含む。音声レンダラ２８は、スピーカーフィード（「ラウドスピーカーフィード」、「スピーカー信号」、または「ラウドスピーカー信号」と呼ばれることもある）をレンダリングするかまたはさもなければ生成する音声処理ユニットを表し得る。各スピーカーフィードは、マルチチャンネル音声システムの特定のチャンネルに対する音を再生するスピーカーフィード、またはスピーカー位置に適合する頭部伝達関数（ＨＲＴＦ）フィルタとの畳み込みについて意図される仮想ラウドスピーカーフィードに対応することができる。各スピーカーフィードは、球面調和係数のチャンネル（ここで、チャンネルは、球面調和係数が対応する関連付けられた球面基底関数の次数および／または副次数によって示され得る）に対応し得、指向性音場を表すためにＳＨＣの多数のチャンネルを使用する。
【００２４】
[0039]図３の例では、音声レンダラ２８は、従来の５．１、７．１、または２２．２のサラウンドサウンドフォーマットのためのスピーカーフィードをレンダリングし、５．１、７．１、または２２．２のサラウンドサウンドスピーカーシステムにおいて、５個、７個、または２２個のスピーカーの各々に関するスピーカーフィードを生成することができる。代替的に、音声レンダラ２８は、上記で検討した音源の球面調和係数の性質が与えられれば、任意の数のスピーカーを有する任意のスピーカー構成のための音源の球面調和係数からスピーカーフィードをレンダリングするように構成され得る。音声レンダラ２８は、このようにして、図３ではスピーカーフィード２９と示されているいくつかのスピーカーフィードを生成し得る。
【００２５】
[0040]コンテンツ作成者は、編集プロセス中に、球面調和係数２７（「ＳＨＣ２７」）をレンダリングし、高い忠実度を持たないまたは説得力のあるサラウンドサウンド経験を提供しない音場の様相を識別する試みにおけるレンダリングされたスピーカーフィードをリッスンすることができる。次いで、コンテンツ作成者２２は、（多くの場合、上記の様式で音源の球面調和係数が導出され得る異なるオブジェクトの操作を通じて、間接的に）音源の球面調和係数を編集することができる。コンテンツ作成者２２は、球面調和係数２７を編集するために音声編集システム３０を用いることができる。音声編集システム３０は、音声データを編集し、この音声データを１つまたは複数の音源の球面調和係数として出力することが可能な任意のシステムを表す。
【００２６】
[0041]編集プロセスが完了すると、コンテンツ作成者２２は、球面調和係数２７に基づいてビットストリーム３１を生成することができる。すなわち、コンテンツ作成者２２は、ビットストリーム生成デバイス３６を含み、それは、ビットストリーム３１を生成する能力がある任意のデバイスを表し得る。場合によっては、ビットストリーム生成デバイス３６は、球面調和係数２７を帯域幅圧縮し（一例として、エントロピー符号化を通じて）、ビットストリーム３１を形成するために認められたフォーマットで球面調和係数２７のエントロピー符号化バージョンを配置するエンコーダを表し得る。他の例では、ビットストリーム生成デバイス３６は、一例としてマルチチャンネル音声コンテンツまたはその派生物を圧縮するために従来の音声サラウンドサウンド符号化プロセスのプロセスに類似したプロセスを使用してマルチチャンネル音声コンテンツ２９を符号化する音声エンコーダ（おそらく、ＭＰＥＧサラウンドなどの知られている音声コーディング規格またはその派生物に適合する音声エンコーダ）を表すことができる。圧縮されたマルチチャンネル音声コンテンツ２９は次いで、コンテンツ２９を帯域幅圧縮するためにエントロピー符号化されまたはある他の方法でコーディングされ、ビットストリーム３１を形成するために合意したフォーマットに従って配置されてもよい。ビットストリーム３１を形成するために直接圧縮されようと、レンダリングされ、次いでビットストリーム３１を形成するために圧縮されようと、コンテンツ作成者２２は、コンテンツ消費者２４にビットストリーム３１を送信することができる。
【００２７】
[0042]図３ではコンテンツ消費者２４に直接送信されるとして示されるが、コンテンツ作成者２２は、コンテンツ作成者２２とコンテンツ消費者２４との間に位置付けられる中間デバイスにビットストリーム３１を出力し得る。この中間デバイスは、このビットストリームを要求し得るコンテンツ消費者２４への後の配送のためにビットストリーム３１を記憶し得る。中間デバイスは、ファイルサーバ、ウェブサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルフォン、スマートフォン、または音声デコーダによる後の取出しのためにビットストリーム３１を記憶する能力がある任意の他のデバイスを備え得る。この中間デバイスは、ビットストリーム３１を要求するコンテンツ消費者２４などの加入者にビットストリーム３１を（おそらくは対応するビデオデータビットストリームを送信するとともに）ストリーミングすることが可能なコンテンツ配信ネットワークに存在し得る。代替的に、コンテンツ作成者２２は、コンパクトディスク、デジタルビデオディスク、高精細度ビデオディスク、または他の記憶媒体などの記憶媒体にビットストリーム３１を格納することができ、記憶媒体の大部分はコンピュータによって読み取り可能であり、したがって、コンピュータ可読記憶媒体または非一時的コンピュータ可読記憶媒体と呼ばれ得る。この文脈において、送信チャンネルは、これらの媒体に格納されたコンテンツが送信されるチャンネルを指し得る（および、小売店と他の店舗ベースの配信機構とを含み得る）。したがって、いずれにしても、本開示の技法は、この点に関して図３の例に限定されるべきではない。
【００２８】
[0043]図３の例にさらに示すように、コンテンツ消費者２４は、音声再生システム３２を所有するかまたはそれへのアクセスを有する。音声再生システム３２は、マルチチャンネル音声データを再生することが可能な任意の音声再生システムを表すことができる。音声再生システム３２は、バイノーラルスピーカーフィード３５Ａ〜３５Ｂ（総称して「スピーカーフィード３５」）としての出力に関するＳＨＣ２７’をレンダリングするバイノーラル音声レンダラ３４を含む。バイノーラル音声レンダラ３４は、ベクトルベース振幅パニング（ＶＢＡＰ：vector-base amplitude panning）を実施する様々な方法のうちの１つまたは複数、および／または音場合成を実施する様々な方法のうちの１つまたは複数など、異なる形態のレンダリングを提供し得る。本明細書で使用するＡ「および／または」Ｂは、Ａ、Ｂ、またはＡとＢとの結合を指すことができる。
【００２９】
[0044]音声再生システム３２は、抽出デバイス３８をさらに含むことができる。抽出デバイス３８は、一般にビットストリーム生成デバイス３６のプロセスに相反し得るプロセスによって球面調和係数２７’（球面調和係数２７の修正された形態または複製物を表すことができる「ＳＨＣ２７’」）を抽出することが可能な任意のデバイスを表すことができる。いずれにしても、音声再生システム３２は、球面調和係数２７’を受信し、球面調和係数２７’をレンダリングするためにバイノーラル音声レンダラ３４を使用し、それによって（音声再生システム３２に電気的にまたはおそらくワイヤレスに結合されるラウドスピーカーの数に対応する、このことは例示を容易にするために図３の例には示さない）スピーカーフィード３５を生成し得る。スピーカーフィード３５の数は２であり得、音声再生システムは、２つの対応するラウドスピーカーを含む一対のヘッドフォンにワイヤレスに結合し得る。しかしながら、様々な例では、バイノーラル音声レンダラ３４は、図３に関して図示され、最初に説明されたものより多数または少数のスピーカーフィードを出力することがある。
【００３０】
[0045]インパルス位置において生成されたインパルスに関する位置における応答をそれぞれ表す音声再生システムのバイナリ室内インパルス応答（ＢＲＩＲ）フィルタ３７。ＢＲＩＲフィルタ３７は、それらがそれぞれ、その位置において人間の耳によって経験されるであろうインパルス応答を表すように生成されるという点において「バイノーラル」である。したがって、インパルスに関するＢＲＩＲフィルタは、対のうちの１つの要素が左耳用であり別の要素が右耳用である、対を成すサウンドレンダリングのために生成され、使用されることが多い。図示の例では、バイノーラル音声レンダラ３４は、それぞれのバイノーラル音声出力３５Ａおよび３５Ｂをレンダリングするために、左ＢＲＩＲフィルタ３３Ａと右ＢＲＩＲフィルタ３３Ｂとを使用する。
【００３１】
[0046]たとえば、ＢＲＩＲフィルタ３７は、音源信号と、インパルス応答（ＩＲ）として測定された頭部伝達関数（ＨＲＴＦ）とを畳み込むことによって生成され得る。ＢＲＩＲフィルタ３７の各々に対応するインパルス位置は、仮想空間中の仮想ラウドスピーカーの位置を表し得る。いくつかの例では、バイノーラル音声レンダラ３４は、ＳＨＣ２７’と、仮想ラウドスピーカーに対応するＢＲＩＲフィルタ３７とを畳み込み、次いで、スピーカーフィード３５としての出力に対してＳＨＣ２７’によって規定される音場をレンダリングするために、得られる畳み込みを累積する（すなわち、合計する）。本明細書で説明するように、バイノーラル音声レンダラ３４は、スピーカーフィード３５としてＳＨＣ２７’をレンダリングしながら、ＢＲＩＲフィルタ３７を操作することによってレンダリング計算を削減するための技法を適用し得る。
【００３２】
[0047]いくつかの例では、本技法は、ＢＲＩＲフィルタ３７を、室内の一位置における一インパルス応答の異なる段階を表すいくつかのセグメントにセグメント化することを含む。これらのセグメントは、音場の任意の点における圧力（または圧力の欠如）を生成する異なる物理現象に対応する。たとえば、ＢＲＩＲフィルタ３７の各々はインパルスと同時に計時されるので、第１のセグメントまたは「初期」セグメントは、インパルスの位置からの圧力波がインパルス応答が測定される位置に到達するまでの時間を表し得る。タイミング情報を別として、それぞれの初期セグメントに関するＢＲＩＲフィルタ３７の値は重要ではなく、音場を記述する階層要素との畳み込みから除外されてよい。同様に、ＢＲＩＲフィルタ３７の各々は、たとえば、人間の聴覚のダイナミックレンジより低く減衰された、または指定されたしきい値より低く減衰されたインパルス応答信号を含む最終または「末尾」セグメントを含み得る。それぞれの末尾セグメントに関するＢＲＩＲフィルタ３７の値もまた重要ではなく、音場を記述する階層要素との畳み込みから除外されてよい。いくつかの例では、本技法は、指定されたしきい値を用いてシュレーダの後方積分（Schroeder backward integration）を実施すること、および後方積分が指定されたしきい値を超える場合に末尾セグメントから要素を除くことによって末尾セグメントを決定することを含むことがある。いくつかの例では、指定されたしきい値は、残響時間ＲＴ60に関して−６０ｄＢである。
【００３３】
[0048]ＢＲＩＲフィルタ３７の各々の追加のセグメントは、室からのエコー効果を含まない、インパルスで生じた圧力波に起因するインパルス応答を表し得る。これらのセグメントは、ＢＲＩＲフィルタ３７に関する頭部伝達関数（ＨＲＴＦ）として表され、説明され得、ここで、ＨＲＴＦは、圧力波が鼓膜まで進むにつれて頭、肩／胴、および外耳の周りの圧力波の回折および反射によるインパルス応答を取り込む。ＨＲＴＦインパルス応答は、線形時不変系（ＬＴＩ：linear and time-invariant system）の結果であり、最小位相フィルタとしてモデル化され得る。いくつかの例では、レンダリングの間のＨＲＴＦセグメント計算を削減するための技法は、最小位相再構成を含み、元の有限インパルス応答（ＦＩＲ）フィルタ（たとえば、ＨＲＴＦフィルタセグメント）の次数を削減するために、無限インパルス応答（ＩＩＲ）フィルタを使用することができる。
【００３４】
[0049]ＩＩＲフィルタとして実装される最小位相フィルタは、削減されたフィルタ次数を有するＢＲＩＲフィルタ３７に関するＨＲＴＦフィルタを近似するために使用され得る。次数を削減することは、周波数領域において時間ステップに関する計算の数が付随して削減することをもたらす。加えて、最小位相フィルタの構築に起因する残余／余剰フィルタが、音の圧力波が音源から各耳まで進む距離によって引き起こされる時間距離または位相距離を表す両耳間時間差（ＩＴＤ：interaural time difference）を推定するために使用され得る。次いで、ＩＴＤは、１つまたは複数のＢＲＩＲフィルタ３７と、音場を記述する（すなわち、バイノーラル化を決定する）階層要素との畳み込みを計算した後、片耳または両耳に関する音の定位をモデル化するために使用され得る。
【００３５】
[0050]またさらに、ＢＲＩＲフィルタ３７の各々のセグメントがＨＲＴＦセグメントに後続し、インパルス応答に関する室内の効果を説明し得る。この室内セグメントは、早期エコー（または「早期反射」）セグメントと後期残響セグメントとにさらに分解され得る（すなわち、早期エコーおよび後期残響が、それぞれ、ＢＲＩＲフィルタ３７の各々の別個のセグメントによって表され得る）。ＨＲＴＦデータがＢＲＩＲフィルタ３７に関して利用可能である場合、早期エコーセグメントの開始は、ＨＲＴＦセグメントを識別するためにＢＲＩＲフィルタ３７とＨＲＴＦとの逆畳み込みを行うことによって識別され得る。早期エコーセグメントが、ＨＲＴＦセグメントに後続する。残余室内応答とは異なり、ＨＲＴＦセグメントおよび早期エコーセグメントは、対応する仮想スピーカーの位置が重要な点における信号を決定するという点において方向依存性である。
【００３６】
[0051]いくつかの例では、バイノーラル音声レンダラ３４は、音場を記述する階層要素に関する球面調和領域（θ、φ）または他の領域のために準備されたＢＲＩＲフィルタ３７を使用する。すなわち、ＢＲＩＲフィルタ３７は、バイノーラル音声レンダラ３４が、ＢＲＩＲフィルタ３７の（たとえば、左／右の）対称性およびＳＨＣ２７’の対称性を含む、データセットのいくつかの特性を利用しながら高速畳み込みを実施することを可能にするために、球面調和領域（ＳＨＤ）において、変換されたＢＲＩＲフィルタ３７として規定され得る。そのような例では、変換されたＢＲＩＲフィルタ３７は、ＳＨＣレンダリング行列と元のＢＲＩＲフィルタとを乗算する（または時間領域において畳み込みを行う）ことによって生成され得る。数学的に、これは、下式（１）〜（５）
【数１７】
2016523466.tif 000019
【数１８】
2016523466.tif 000020
【数１９】
2016523466.tif 000021
【数２０】
2016523466.tif 000022
【数２１】
2016523466.tif 000023
に従って表現され得る。
【００３７】
[0052]ここで、（３）は、（１）または（２）のいずれかを、４次の球面調和係数に関する行列形式で示す（これは、４次以下の球面基底関数と関連付けられた球面調和係数の行列形式を表すための代替方法であり得る）。式（３）は、当然ながら、より高次またはより低次の球面調和係数に関して修正され得る。式（４）〜式（５）は、合計されたＳＨＣ−バイノーラルレンダリング行列（ＢＲＩＲ’’）を生成するために、変換された左および右のＢＲＩＲフィルタ３７をラウドスピーカー次元Ｌにわたって合計することを示す。相まって、合計されたＳＨＣ−バイノーラルレンダリング行列は、次元［（Ｎ＋１）2、Ｌｅｎｇｔｈ、２］を有し、ここで、Ｌｅｎｇｔｈは、式（１）〜式（５）の任意の結合が適用され得るインパルス応答ベクトルの長さである。式（１）および式（２）のいくつかの例では、レンダリング行列ＳＨＣは、式（１）が、ＢＲＩＲ’(N+1)2,L,left＝ＳＨＣ(N+1)2,L,left＊ＢＲＩＲL,leftに修正され、式（２）が、ＢＲＩＲ’(N+1)2,L,right＝ＳＨＣ(N+1)2,L＊ＢＲＩＲL,rightに修正され得るように、バイノーラル化され得る。
【００３８】
[0053]上式（１）〜（３）において提示される行列をレンダリングするＳＨＣ、ＳＨＣは、ＳＨＣ２７’の次数／副次数の結合の各々に関する要素を含み、それは、別個のＳＨＣチャンネルを効率的に規定し、ここで、要素の値は、球面調和領域内のスピーカーＬの位置に関するセットである。ＢＲＩＲL,leftは、左耳、またはスピーカーＬに関する位置で生成されたインパルスに関する位置におけるＢＲＩＲ応答を表し、｛ｉ｜ｉ∈［０，Ｌ］｝に関するインパルス応答ベクトルＢiを使用して(3)で表される。ＢＲＩＲ’(N+1)2,L,leftは、「ＳＨＣ−バイノーラルレンダリング行列」の半分、すなわち、球面調和領域に変換された、左耳またはスピーカーＬに関する位置で生成されたインパルスに関する位置におけるＳＨＣ−バイノーラルレンダリング行列を表す。ＢＲＩＲ’(N+1)2,L,rightは、ＳＨＣ−バイノーラルレンダリング行列の他方の半分を表す。
【００３９】
[0054]いくつかの例では、本技法は、変換されたＢＲＩＲフィルタ３７とＳＨＣ−バイノーラルレンダリング行列とを生成するために、それぞれの元のＢＲＩＲフィルタ３７のＨＲＴＦおよび早期反射セグメントだけにＳＨＣレンダリング行列を適用することを含み得る。これは、ＳＨＣ２７’との畳み込みの長さを削減し得る。
【００４０】
[0055]いくつかの例では、式（４）〜（５）に表されるように、球面調和領域における様々なラウドスピーカーを組入れる次元を有するＳＨＣ−バイノーラルレンダリング行列は、ＳＨＣレンダリングとＢＲＩＲレンダリング／ミキシングとを結合する（Ｎ＋１）2＊Ｌｅｎｇｔｈ＊２のフィルタ行列を生成するように合計され得る。すなわち、Ｌ個のラウドスピーカーの各々に関するＳＨＣ−バイノーラルレンダリング行列は、たとえば、係数をＬ次元にわたって合計することによって結合され得る。長さＬｅｎｇｔｈのＳＨＣ−バイノーラルレンダリング行列に関して、これは、信号をバイノーラル化するために球面調和係数の音声信号に適用され得る（Ｎ＋１）2＊Ｌｅｎｇｔｈ＊２の合計された、ＳＨＣ−バイノーラルレンダリング行列を作成する。Ｌｅｎｇｔｈは、本明細書で説明する技法に従ってセグメント化されたＢＲＩＲフィルタのセグメントの長さであり得る。
【００４１】
[0056]モデル節減のための技法はまた、変更されたレンダリングフィルタに適用され得、それは、ＳＨＣ２７’（たとえば、ＳＨＣコンテンツ）が新しいフィルタ行列（合計されたＳＨＣ−バイノーラルレンダリング行列）で直接フィルタリングされることを可能にする。次いで、バイノーラル音声レンダラ３４は、バイノーラル出力信号３５Ａ、３５Ｂを取得するためにフィルタリングされたアレイを合計することによってバイノーラル音声に変換し得る。
【００４２】
[0057]いくつかの例では、音声再生システム３２のＢＲＩＲフィルタ３７は、上記で説明した技法のうちの任意の１つまたは複数に従って以前に計算された球面調和領域における変換されたＢＲＩＲフィルタを表す。いくつかの例では、元のＢＲＩＲフィルタ３７の変換は、実行時に実施され得る。
【００４３】
[0058]いくつかの例では、ＢＲＩＲフィルタ３７は一般的に対称であるので、本技法は、左または右のいずれかの耳に関するＳＨＣ−バイノーラルレンダリング行列だけを使用することによって、バイノーラル出力３５Ａ、３５Ｂの計算のさらなる節減を促進することができる。フィルタ行列によってフィルタリングされたＳＨＣ２７’を合計するとき、バイノーラル音声レンダラ３４は、最終出力をレンダリングするとき、第２のチャンネルとしての出力信号３５Ａ、３５Ｂのいずれかに関して、条件付き決定を行うことができる。本明細書で説明するように、左または右のいずれかの耳に対して記述された、処理コンテンツまたは修正レンダリング行列に対する言及は、他方の耳に同様に適用可能であるものと理解されるべきである。
【００４４】
[0059]このようにして、本技法は、除外されたＢＲＩＲフィルタサンプルと複数のチャンネルとの直接の畳み込みを潜在的に回避するために、ＢＲＩＲフィルタ３７の長さを削減するための複数の手法を提供し得る。その結果、バイノーラル音声レンダラ３４は、ＳＨＣ２７’からのバイノーラル出力信号３５Ａ、３５Ｂの効率的なレンダリングを提供し得る。
【００４５】
[0060]図４は、例示的なバイノーラル室内インパルス応答（ＢＲＩＲ）を示すブロック図である。ＢＲＩＲ４０は、５つのセグメント４２Ａ〜４２Ｅを示す。初期セグメント４２Ａおよび末尾セグメント４２Ｅは共に、いずれも、重要でなく、レンダリング計算から除外されてよい静止サンプルを含む。頭部伝達関数（ＨＲＴＦ）セグメント４２Ｂは、頭部伝達によるインパルス応答を含み、本明細書で説明する技法を使用して識別され得る。早期エコー（代替として「早期反射」）セグメント４２Ｃおよび後期室内残響セグメント４２Ｄは、ＨＲＴＦと室内効果とを結合する、すなわち、早期エコーセグメント４２Ｃのインパルス応答は、室内の早期エコーおよび後期残響によってフィルタリングされたＢＲＩＲ４０に関するＨＲＴＦのインパルス応答に匹敵する。しかしながら、早期エコーセグメント４２Ｃは、後期室内残響セグメント４２Ｄと比較して、より離散的なエコーを含むことがある。ミキシング時間は、早期エコーセグメント４２Ｃと後期室内残響セグメント４２Ｄとの間の時間であり、早期エコーが密な残響になる時間を示す。ミキシング時間は、ＨＲＴＦの中に約１．５×１０4サンプルにおいて、またはＨＲＴＦセグメント４２Ｂの開始から約７．０×１０4サンプルにおいて発生するように図示されている。いくつかの例では、本技法は、統計データと室内容積からの推定とを使用してミキシング時間を計算することを含む。いくつかの例では、５０％の内部信頼ｔmp50を有する知覚のミキシング時間は約３６ミリ秒（ｍｓ）であり、９５％信頼区間ｔmp95を有する知覚のミキシング時間は約８０ｍｓである。いくつかの例では、ＢＲＩＲ４０に対応するフィルタの後期室内残響セグメント４２Ｄは、コヒーレンス整合された雑音末尾（coherence-matched noise tail）を使用して合成され得る。
【００４６】
[0061]図５は、室内で図４のＢＲＩＲ４０などのＢＲＩＲを作成するための例示的なシステムモデル５０を示すブロック図である。このモデルは、ここでは室内５２ＡおよびＨＲＴＦ５２Ｂの、カスケード接続されたシステムを含む。ＨＲＴＦ５２Ｂがインパルスに対して適用された後、インパルス応答は、室内５２Ａの早期エコーによってフィルタリングされたＨＲＴＦのインパルス応答に匹敵する。
【００４７】
[0062]図６は、室内で図４のＢＲＩＲ４０などのＢＲＩＲを作成するための、より詳細なシステムモデル６０を示すブロック図である。このモデル６０はまた、ここではＨＲＴＦ６２Ａ、早期エコー６２Ｂ、および残余室内６２Ｃ（これはＨＲＴＦと室内エコーとを結合する）の、カスケード接続されたシステムを含む。モデル６０は、室内５２Ａを早期エコー６２Ｂおよび残余室内６２Ｃに分解することを示し、各システム６２Ａ、６２Ｂ、６２Ｃを線形時不変として取り扱う。
【００４８】
[0063]早期エコー６２Ｂは、残余室内６２Ｃより離散的なエコーを含む。したがって、早期エコー６２Ｂは仮想スピーカーチャンネルごとに変化し得、一方、より長い末尾を有する残余室内６２Ｃは、単一のステレオコピーとして合成され得る。ＢＲＩＲを取得するために使用されるいくつかの測定用マネキンに関して、ＨＲＴＦデータが、無響室内で測定されるなど入手可能である。早期エコー（「反射」と呼ばれることがある）の位置を識別するために、早期エコー６２Ｂが、ＢＲＩＲおよびＨＲＴＦのデータを逆畳み込みを行うことによって決定され得る。いくつかの例では、ＨＲＴＦデータはすぐに入手可能ではなく、早期エコー６２Ｂを識別するための技法はブラインド推定を含む。しかしながら、単純な手法は、最初の数ミリ秒（たとえば、最初の５、１０、１５、または２０ｍｓ）を、ＨＲＴＦによってフィルタリングされた直接インパルスと見なすことを含み得る。上記のように、本技法は、統計データと室内容積からの推定とを使用してミキシング時間を計算することを含み得る。
【００４９】
[0064]いくつかの例では、本技法は、残余室内６２Ｃに関して１つまたは複数のＢＲＩＲフィルタを合成することを含み得る。ミキシング時間の後、ＢＲＩＲ残響の末尾（図６にシステムの残余室内６２Ｃとして表される）は、いくつかの例では、知覚の代償なしに交換され得る。さらに、ＢＲＩＲ残響の末尾は、エネルギーディケイレリーフ（ＥＤＲ：Energy Decay Relief）と周波数依存性両耳間コヒーレンス（ＦＤＩＣ：Frequency-Dependent Interaural Coherence）とに適合するガウスノイズで合成され得る。いくつかの例では、共通の合成ＢＲＩＲ残響の末尾が、複数のＢＲＩＲフィルタに関して生成され得る。いくつかの例では、共通のＥＤＲは、すべてのスピーカーのＥＤＲの平均であり得、または平均エネルギーに匹敵するエネルギーを有するフロントゼロ度ＥＤＲ（front zero degree EDR）であり得る。いくつかの例では、ＦＤＩＣは、すべてのスピーカーにわたる平均ＦＤＩＣであり得、または広い空間に関する最大限に相関のない測定に関する、すべてのスピーカーにわたった最小値であってよい。いくつかの例では、残響の末尾はまた、フィードバック遅延ネットワーク（ＦＤＮ：Feedback Delay Network）による人工的残響を用いてシミュレーションされ得る。
【００５０】
[0065]共通の残響の末尾によって、対応するＢＲＩＲフィルタの後ろの部分は、各スピーカーフィードとの個別の畳み込みから除外され得るが、代わりに、一度、すべてのスピーカーフィードのミックスに適用され得る。上記のように、および以下でさらに詳細に説明するように、すべてのスピーカーフィードのミキシングは、球面調和係数信号レンダリングを用いてさらに簡素化され得る。
【００５１】
[0066]図７は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図である。単一のデバイス、すなわち図７の例における音声再生デバイス１００として示されているが、技法は、１つまたは複数のデバイスによって実施され得る。したがって、本技法はこの点において限定されるべきではない。
【００５２】
[0067]図７の例に示すように、音声再生デバイス１００は、抽出ユニット１０４とバイノーラルレンダリングユニット１０２とを含み得る。抽出ユニット１０４は、ビットストリーム１２０から符号化音声データを抽出するように構成されたユニットを表し得る。抽出ユニット１０４は、球面調和係数（ＳＨＣ）１２２（これは、ＳＨＣ１２２が、１より大きい次数と関連付けられた少なくとも１つの係数を含み得るという点において高次アンビソニックス（ＨＯＡ：higher order ambisonics）と呼ばれることもある）の形態の抽出された符号化音声データをバイノーラルレンダリングユニット１４６に転送し得る。
【００５３】
[0068]いくつかの例では、音声再生デバイス１００は、ＳＨＣ１２２を生成するために符号化音声データを復号するように構成された音声復号ユニットを含む。音声復号ユニットは、いくつかの態様においてＳＨＣ１２２を符号化するために使用される音声符号化プロセスと相反する音声復号プロセスを実施し得る。音声復号ユニットは、符号化音声データのＳＨＣを時間領域から周波数領域に変換するように構成された時間周波数解析ユニットを含み得、それによってＳＨＣ１２２を生成する。すなわち、符号化音声データが、時間領域から周波数領域に変換されていない、ＳＨＣ１２２の圧縮形態を表すとき、音声復号ユニットは、ＳＨＣ１２２（周波数領域で指定される）を生成するように、ＳＨＣを時間領域から周波数領域に変換するために時間周波数解析ユニットを起動し得る。時間周波数解析ユニットは、ＳＨＣを時間領域から周波数領域におけるＳＨＣ１２２に変換するために、数例を提示すると、高速フーリエ変換（ＦＦＴ）と、離散コサイン変換（ＤＣＴ）と、修正離散コサイン変換（ＭＤＣＴ）と、離散サイン変換（ＤＳＴ）とを含む、フーリエベースの変換の任意の形式を適用し得る。いくつかの例では、ＳＨＣ１２２は、すでに、ビットストリーム１２０において周波数領域内で指定され得る。これらの例では、時間周波数解析ユニットは、変換を適用することなく、またはさもなければ受信されたＳＨＣ１２２を変換することなく、ＳＨＣ１２２をバイノーラルレンダリングユニット１０２に送ることができる。周波数領域で指定されたＳＨＣ１２２に関して説明したが、本技法は、時間領域で指定されたＳＨＣ１２２に関して実施され得る。
【００５４】
[0069]バイノーラルレンダリングユニット１０２は、ＳＨＣ１２２をバイノーラル化するように構成されたユニットを表す。言い換えれば、バイノーラルレンダリングユニット１０２は、ＳＨＣ１２２を左および右のチャンネルにレンダリングするように構成されたユニットを表し、そのユニットは、ＳＨＣ１２２が記録された室内において、左および右のチャンネルがリスナーによってどのように聞こえうるかのモデル化する空間化の機能を備え得る。バイノーラルレンダリングユニット１０２は、ヘッドフォンなどのヘッドセットを介する再生に好適な左チャンネル１３６Ａと右チャンネル１３６Ｂ（これらは「チャンネル１３６」と総称されることがある）とを生成するためにＳＨＣ１２２をレンダリングし得る。図７の例に示すように、バイノーラルレンダリングユニット１０２は、ＢＲＩＲフィルタ１０８と、ＢＲＩＲ調整ユニット１０６と、残余室内応答ユニット１１０と、ＢＲＩＲ  ＳＨＣ−領域変換ユニット１１２と、畳み込みユニット１１４と、結合ユニット１１６とを含む。
【００５５】
[0070]ＢＲＩＲフィルタ１０８は、１つまたは複数のＢＲＩＲフィルタを含み、図３のＢＲＩＲフィルタ３７の一例を表し得る。ＢＲＩＲフィルタ１０８は、左および右のＨＲＴＦがそれぞれのＢＲＩＲに与える影響を表す、個別のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを含み得る。
【００５６】
[0071]ＢＲＩＲ調整ユニット１０６は、仮想のラウドスピーカーＬの各々ごとの、それぞれ長さＮを有するＢＲＩＲフィルタ１２６Ａ、１２６Ｂの、Ｌ個のインスタンスを受信する。ＢＲＩＲフィルタ１２６Ａ、１２６Ｂは、すでに、静止サンプルを除去するために調整されていることがある。ＢＲＩＲ調整ユニット１０６は、それぞれのＨＲＴＦと、早期反射と、残余室内セグメントとを識別するためにＢＲＩＲフィルタ１２６Ａ、１２６Ｂをセグメント化するために、上記の技法を適用し得る。ＢＲＩＲ調整ユニット１０６は、ＢＲＩＲ  ＳＨＣ−領域変換ユニット１１２にＨＲＴＦと早期反射セグメントとを、サイズ［ａ，Ｌ］の左および右の行列を表す行列１２９Ａ、１２９Ｂとして与え、ここで、ａはＨＲＴＦと早期反射セグメントとの連結の長さであり、Ｌは（仮想または実在の）ラウドスピーカーの数である。ＢＲＩＲ調整ユニット１０６は、残余室内応答ユニット１１０にＢＲＩＲフィルタ１２６Ａ、１２６Ｂの残余室内セグメントを、サイズ［ｂ，Ｌ］の左および右の残余室内行列１２８Ａ、１２８Ｂとして与え、ここで、ｂは残余室内セグメントの長さであり、Ｌは（仮想または実在の）ラウドスピーカーの数である。
【００５７】
[0072]残余室内応答ユニット１１０は、ＳＨＣ１２２によって図７に表すように、音場を記述する階層要素（たとえば、球面調和係数）の少なくとも幾分かの部分との畳み込みのために、左および右の共通の残余室内応答セグメントを計算またはさもなければ決定するために、上記の技法を適用し得る。すなわち、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８Ｂを受信し、左および右の共通の残余室内応答セグメントを生成するために左および右それぞれの残余室内行列１２８Ａ、１２８ＢをＬ個にわたって結合することができる。いくつかの例では、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８ＢをＬ個にわたって平均化することによって結合を実施し得る。
【００５８】
[0073]次いで、残余室内応答ユニット１１０は、左および右の共通の残余室内応答セグメントと、チャンネル１２４Ｂとして図７に示すＳＨＣ１２２の少なくとも１つのチャンネルとの高速畳み込みを計算し得る。いくつかの例では、左および右の共通の残余室内応答セグメントは周囲を取り巻く無指向性の音を表すので、チャンネル１２４Ｂは、ＳＨＣ１２２のＷチャンネル（すなわち、０次）であり、それは、音場の無指向性部分を符号化する。そのような例では、長さＬｅｎｇｔｈのＷチャンネルサンプルに関して、残余室内応答ユニット１１０による左および右の共通の残余室内応答セグメントとの高速畳み込みは、長さＬｅｎｇｔｈの左および右の出力信号１３４Ａ、１３４Ｂを生成する。
【００５９】
[0074]本明細書で使用する「高速畳み込み」および「畳み込み」という用語は、時間領域における畳み込み演算、ならびに周波数領域における点毎の（point-wise）乗算演算を指すことがある。言い換えれば、信号処理の当業者によく知られているように、時間領域における畳み込みは、周波数領域における点毎の乗算と等価であり、ここで時間領域および周波数領域は、互いの変換である。出力変換は、入力変換と伝達関数との点毎の積である。したがって、畳み込みおよび点毎の乗算（または単に「乗算」）は、それぞれの領域（ここでは時間および周波数）に関して行われる概念的に同様の演算を指すことができる。畳み込みユニット１１４、２１４、２３０；残余室内応答ユニット２１０、３５４；フィルタ３８４および残響３８６は、代替として、周波数領域における乗算を適用し得、ここでこれらの成分への入力は、時間領域ではなく周波数領域において与えられる。「高速畳み込み」または「畳み込み」として本明細書で説明する他の演算は、同様に、周波数領域における乗算と呼ばれることもあり、ここで、これらの演算への入力は、時間領域ではなく周波数領域で与えられる。
【００６０】
[0075]いくつかの例では、残余室内応答ユニット１１０は、共通の残余室内応答セグメントの開始時間に関する値をＢＲＩＲ調整ユニット１０６から受信し得る。残余室内応答ユニット１１０は、ＢＲＩＲフィルタ１０８に関するより早いセグメントとの結合を見越して、出力信号１３４Ａ、１３４Ｂをゼロパディングするかまたはさもなければ遅延させ得る。
【００６１】
[0076]ＢＲＩＲ  ＳＨＣ−領域変換ユニット１１２（以後、「領域変換ユニット１１２」）は、左および右のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを球面調和領域に潜在的に変換し、次いでそのフィルタをＬ個にわたって潜在的に合計するために、ＳＨＣレンダリング行列をＢＲＩＲ行列に適用する。領域変換ユニット１１２は、変換結果を、それぞれ、左および右のＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂとして出力する。行列１２９Ａ、１２９Ｂが［ａ，Ｌ］のサイズである場合、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂの各々は、フィルタをＬ個にわたって合計した後、［（Ｎ＋１）2，ａ］のサイズになる（たとえば、式（４）〜（５）参照）。いくつかの例では、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂは、実行時または準備時間において計算されるのではなく、音声再生デバイス１００の中で構成される。いくつかの例では、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂの複数のインスタンスは、音声再生デバイス１００の中で構成され、音声再生デバイス１００は、ＳＨＣ１２４Ａに適用するために、左および右一対の複数のインスタンスを選択する。
【００６２】
[0077]畳み込みユニット１１４は、左および右のバイノーラルレンダリング行列１３０Ａ、１３０ＢとＳＨＣ１２４Ａとを畳み込み、ＳＨＣ１２４Ａは、いくつかの例では、ＳＨＣ１２２の次数から次数を削減することができる。周波数（たとえば、ＳＨＣ）領域におけるＳＨＣ１２４Ａに関して、畳み込みユニット１１４は、ＳＨＣ１２４Ａと左および右のバイノーラルレンダリング行列１３０Ａ、１３０Ｂとのそれぞれの点毎の乗算を計算し得る。長さＬｅｎｇｔｈのＳＨＣ信号に関して、畳み込みは、［Ｌｅｎｇｔｈ，（Ｎ＋１）2］のサイズの左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂをもたらし、一般的に、球面調和領域の次数／副次数の結合の各々に関して各出力信号行列に関する行が存在する。
【００６３】
[0078]結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを作成するために、左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂと出力信号１３４Ａ、１３４Ｂとを結合することができる。次いで、結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを生成するために左および右のバイノーラル出力信号と左および右の出力信号１３４Ａ、１３４Ｂとを結合する前に、ＨＲＴＦに関する左および右のバイノーラル出力信号と早期エコー（反射）セグメントとを生成するために、左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂの各々をＬ個にわたって別々に合計することができる。
【００６４】
[0079]図８は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図である。音声再生デバイス２００は、音声再生デバイスの例示的な例を表し得、図７の１００はさらなる詳細である。
【００６５】
[0080]音声再生デバイス２００は、ＳＨＣ２４２の次数を削減するために、ビットストリーム２４０から入ってくるＳＨＣ２４２を処理する随意のＳＨＣ次数削減ユニット２０４を含み得る。随意のＳＨＣ次数削減は、ＳＨＣ２４２（たとえば、Ｗチャンネル）の最高次数（たとえば、０次）のチャンネル２６２を残余室内応答ユニット２１０に与え、削減された次数のＳＨＣ２４２を畳み込みユニット２３０に与える。ＳＨＣ次数削減ユニット２０４がＳＨＣ２４２の次数を削減しない例では、畳み込みユニット２３０は、ＳＨＣ２４２と同等のＳＨＣ２７２を受信する。いずれにせよ、ＳＨＣ２７２は、［Ｌｅｎｇｔｈ，（Ｎ＋１）2］の次元を有し、ここでＮはＳＨＣ２７２の次数である。
【００６６】
[0081]ＢＲＩＲ調整ユニット２０６およびＢＲＩＲフィルタ２０８は、図７のＢＲＩＲ調整ユニット１０６およびＢＲＩＲフィルタ１０８の例示的な例を表し得る。残余応答ユニット２１４の畳み込みユニット２１４は、上記で説明した技法を使用してＢＲＩＲ調整ユニット２０６によって調整された共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂを受信し、畳み込みユニット２１４は、左および右の残余室内信号２６２Ａ、２６２Ｂを生成するために共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂと最高次数のチャンネル２６２とを畳み込む。遅延ユニット２１６は、左および右の残余室内出力信号２６８Ａ、２６８Ｂを生成するために、共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂに対するサンプルの開始の数で左および右の残余室内信号２６２Ａ、２６２Ｂをゼロパディングすることができる。
【００６７】
[0082]ＢＲＩＲ  ＳＨＣ−領域変換ユニット２２０（以後、領域変換ユニット２２０）は、図７の領域変換ユニット１１２の例示的な例を表し得る。図示の例では、変換ユニット２２２は、［ａ，Ｌ］のサイズの左および右の行列を表す行列２４８Ａ、２４８Ｂに（Ｎ＋１）2次元のＳＨＣレンダリング行列２２４を適用し、ここでａはＨＲＴＦと早期反射セグメントとの連結の長さであり、Ｌはラウドスピーカー（たとえば、仮想のラウドスピーカー）の数である。変換ユニット２２２は、次元［（Ｎ＋１）2，ａ，Ｌ］を有するＳＨＣ−領域における左および右の行列２５２Ａ、２５２Ｂを出力する。合計ユニット２２６は、次元［（Ｎ＋１）2，ａ］を有する左および右の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂを作成するために、左および右の行列２５２Ａ、２５２Ｂの各々をＬ個にわたって合計し得る。削減ユニット２２８は、最小位相低減など、ＳＨＣ２７２にＳＨＣ−レンダリング行列を適用すること、および最小位相低減を適用されている中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂのそれぞれの最小位相部分の周波数応答を近似するようにＩＩＲフィルタを設計するために平衡型モデル打切り法（Balanced Model Truncation method）を使用すること、についての計算の複雑さをさらに削減するために、上記で説明した技法を適用し得る。削減ユニット２２８は、左および右のＳＨＣ−レンダリング行列２５６Ａ、２５６Ｂを出力する。
【００６８】
[0083]畳み込みユニット２３０は、中間信号２５８Ａ、２５８Ｂを生成するためにＳＨＣ２７２の形態のＳＨＣコンテンツをフィルタリングし、合計ユニット２３２は、左および右の信号２６０Ａ、２６０Ｂを作成するために中間信号２５８Ａ、２５８Ｂを合計する。結合ユニット２３４は、左および右のバイノーラル出力信号２７０Ａ、２７０Ｂを生成するために左および右の残余室内出力信号２６８Ａ、２６８Ｂと左および右の信号２６０Ａ、２６０Ｂとを結合する。
【００６９】
[0084]いくつかの例では、バイノーラルレンダリングユニット２０２は、変換ユニット２２２によって生成されたＳＨＣ−バイノーラルレンダリング行列２５２Ａ、２５２Ｂのうちの１つだけを使用することによって計算のさらなる削減を実施し得る。その結果、畳み込みユニット２３０は、左または右の信号の一方だけについて演算し、畳み込み演算を半分に削減することができる。そのような例では、合計ユニット２３２は、出力２６０Ａ、２６０Ｂをレンダリングするときに、第２のチャンネルに関する条件付き決定を行う。
【００７０】
[0085]図９は、本開示で説明する技法による球面調和係数をレンダリングするための、バイノーラルレンダリングデバイスに関する例示的な演算のモードを示すフローチャートである。例示のために、例示的な演算のモードについて、図７の音声再生デバイス２００に関して説明する。バイノーラル室内インパルス応答（ＢＲＩＲ）調整ユニット２０６は、ＢＲＩＲフィルタ２４６Ａ、２４６Ｂから方向依存性成分／セグメント、特に頭部伝達関数および早期エコーセグメントを抽出することによって、左および右それぞれのＢＲＩＲフィルタ２４６Ａ、２４６Ｂを調整する（３００）。左および右のＢＲＩＲフィルタ１２６Ａ、１２６Ｂの各々は、１つまたは複数の対応するラウドスピーカーに関するＢＲＩＲフィルタを含み得る。ＢＲＩＲ調整ユニット１０６は、抽出された頭部伝達関数と早期エコーセグメントとの連結を、左および右の行列２４８Ａ、２４８ＢとしてＢＲＩＲ  ＳＨＣ−領域変換ユニット２２０に与える。
【００７１】
[0086]ＢＲＩＲ  ＳＨＣ−領域変換ユニット２２０は、球面調和（たとえば、ＨＯＡ）領域内の左および右のフィルタ行列２５２Ａ、２５２Ｂを生成するために、抽出された頭部伝達関数と早期エコーセグメントとを含む左および右のフィルタ行列２４８Ａ、２４８Ｂを変換するためにＨＯＡレンダリング行列２２４を適用する（３０２）。いくつかの例では、音声再生デバイス２００は、左および右のフィルタ行列２５２Ａ、２５２Ｂを用いて構成され得る。いくつかの例では、音声再生デバイス２００は、ビットストリーム２４０の帯域外または帯域内の信号においてＢＲＩＲフィルタ２０８を受信し、その場合、音声再生デバイス２００は、左および右のフィルタ行列２５２Ａ、２５２Ｂを生成する。合計ユニット２２６は、左および右の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂを含むＳＨＣ領域内のバイノーラルレンダリング行列を生成するために、それぞれの左および右のフィルタ行列２５２Ａ、２５２Ｂをラウドスピーカーの次元にわたって合計する（３０４）。削減ユニット２２８は、左および右のＳＨＣ−レンダリング行列２５６Ａ、２５６Ｂを生成するために、中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂをさらに削減し得る。
【００７２】
[0087]バイノーラルレンダリングユニット２０２の畳み込みユニット２３０は、左および右のフィルタリングされたＳＨＣ（たとえば、ＨＯＡ）チャンネル２５８Ａ、２５８Ｂを作成するために、左および右の中間ＳＨＣ−レンダリング行列２５６Ａ、２５６ＢをＳＨＣコンテンツ（球面調和係数２７２など）に適用する（３０６）。
【００７３】
[0088]合計ユニット２３２は、方向依存性セグメントに関する左および右の信号２６０Ａ、２６０Ｂを作成するために、左および右のフィルタリングされたＳＨＣチャンネル２５８Ａ、２５８Ｂの各々をＳＨＣ次元（Ｎ＋１）2にわたって合計する（３０８）。次いで、結合ユニット１１６は、左および右のバイノーラル出力信号２７０Ａ、２７０Ｂを含むバイノーラル出力信号を生成するために、左および右の信号２６０Ａ、２６０Ｂと左および右の残余室内出力信号２６８Ａ、２６８Ｂとを結合し得る。
【００７４】
[0089]図１０Ａは、本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る例示的な演算のモード３１０を示す図である。演算のモード３１０は、図８の音声再生デバイス２００に関して、後で本明細書で説明される。音声再生デバイス２００のバイノーラルレンダリングユニット２０２は、ＢＲＩＲデータ３１２、これはＢＲＩＲフィルタ２０８の例示的な例であり得ると、ＨＯＡレンダリング行列３１４、これはＨＯＡレンダリング行列２２４の例示的な例であり得る、とを用いて構成され得る。音声再生デバイス２００は、帯域内または帯域外のシグナリングチャンネル内のＢＲＩＲデータ３１２とＨＯＡレンダリング行列３１４とをビットストリーム２４０と相対して受信し得る。この例におけるＢＲＩＲデータ３１２は、たとえば、Ｌ個の実在または仮想のラウドスピーカーを表すＬ個のフィルタを有し、Ｌ個のフィルタの各々は長さＫである。Ｌ個のフィルタの各々は、左および右の成分を含み得る（「ｘ２」）。いくつかの場合には、Ｌ個のフィルタの各々は、左または右に関する単一の成分を含むことがあり、その成分は、右または左のその相手の成分と対称である。これは、高速畳み込みのコストを削減し得る。
【００７５】
[0090]音声再生デバイス２００のＢＲＩＲ調整ユニット２０６は、セグメント化演算と結合演算とを適用することによってＢＲＩＲデータ３１２を調整し得る。具体的には、例示的な演算のモード３１０において、ＢＲＩＲ調整ユニット２０６は、本明細書で説明する技法によるＬ個のフィルタの各々を、行列３１５（次元［ａ，２，Ｌ］）を作成するための結合の長さａのＨＲＴＦプラス早期エコーセグメントと、残余行列３３９（次元［ｂ，２，Ｌ］）を作成するための残余室内応答セグメントとにセグメント化する（３２４）。ＢＲＩＲデータ３１２のＬ個のフィルタの長さＫは、ほぼ、ａとｂとの合計である。変換ユニット２２２は、次元［（Ｎ＋１）2，ａ，２，Ｌ］の行列３１７（これは左および右の行列２５２Ａ、２５２Ｂの結合の例示的な例であり得る）を作成するために、（Ｎ＋１）2次元のＨＯＡ／ＳＨＣレンダリング行列３１４を行列３１５のＬ個のフィルタに適用し得る。合計ユニット２２６は、次元［（Ｎ＋１）2，ａ，２］を有する中間ＳＨＣ−レンダリング行列３３５を作成するために、左および右の行列２５２Ａ、２５２Ｂの各々をＬ個にわたって合計し得る（値２を有する第３の次元は左および右の成分を表し、中間ＳＨＣ−レンダリング行列３３５は、左および右の両方の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂの例示的な例として表すことができる）（３２６）。いくつかの例では、音声再生デバイス２００は、ＨＯＡコンテンツ３１６（またはそれの削減されたバージョン、たとえばＨＯＡコンテンツ３２１）に適用するための中間ＳＨＣ−レンダリング行列３３５を用いて構成され得る。いくつかの例では、削減ユニット２２８は、行列３１７の左または右の成分の一方だけを使用することによって、さらなる削減を計算に適用し得る（３２８）。
【００７６】
[0091]音声再生デバイス２００は、次数ＮIおよび長さＬｅｎｇｔｈのＨＯＡコンテンツ３１６を受信し、いくつかの態様では、その中の球面調和係数（ＳＨＣ）の次数をＮに削減するために次数削減演算を適用する（３３０）。ＮIは、入力（（Ｉ）ｎｐｕｔ）ＨＯＡコンテンツ３２１の次数を示す。次数削減演算（３３０）のＨＯＡコンテンツ３２１は、ＨＯＡコンテンツ３１６と同様に、ＳＨＣ領域内にある。随意の次数削減演算はまた、最高次数（たとえば、０次）の信号３１９を生成し、高速畳み込み演算のために残余応答ユニット２１０に与える（３３８）。ＨＯＡ次数削減ユニット２０４がＨＯＡコンテンツ３１６の次数を削減しない例では、高速畳み込み適用演算（apply fast convolution operation）（３３２）は、削減された次数を持たない入力に対して演算する。いずれにしても、高速畳み込み演算（３３２）に入力されるＨＯＡコンテンツ３２１は、次元［Ｌｅｎｇｔｈ，（Ｎ＋１）2］を有し、ここでＮは次数である。
【００７７】
[0092]音声再生デバイス２００は、左および右の成分、したがって次元［Ｌｅｎｇｔｈ，（Ｎ＋１）2，２］を有するＨＯＡ信号３２３を作成するために、ＨＯＡコンテンツ３２１と行列３３５との高速畳み込みを適用し得る（３３２）。ここでも、高速畳み込みは、周波数領域におけるＨＯＡコンテンツ３２１と行列３３５との点毎の乗算、または時間領域における畳み込みを指すことができる。音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する合計された信号３２５を作成するために、ＨＯＡ信号３２３を（Ｎ＋１）2にわたってさらに合計することができる（３３４）。
【００７８】
[0093]次に、残余行列３３９に戻ると、音声再生デバイス２００は、次元「ｂ，２」を有する共通の残余室内応答行列３２７を生成するために、本明細書で説明する技法に従ってＬ個の残余室内応答セグメントを結合することができる（３３６）。音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する室内応答信号３２９を作成するために、０次のＨＯＡ信号３１９と共通の残余室内応答行列３２７との高速畳み込みを適用し得る（３３８）。残余行列３３９のＬ個の残余応答室内応答セグメントを生成するために、音声再生デバイス２００は、ＢＲＩＲデータ３１２のＬ個のフィルタのうちの（ａ＋１）番目のサンプルにおいて開始する残余応答室内応答セグメントを取得したので、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する室内応答信号３１１を生成するためにａ個のサンプルを遅延（たとえば、パディング）することによって初期のａ個のサンプルを構成する（ａｃｃｏｕｎｔ  ｆｏｒ）（３４０）。
【００７９】
[0094]音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する出力信号３１８を作成するために、合計された信号３２５と室内応答信号３１１とを、要素を加算することによって結合する（３４２）。このようにして、音声再生デバイスは、Ｌ個の残余室内応答セグメントの各々に関して高速畳み込みを適用することを回避し得る。バイノーラル音声出力信号に変換するために入力される２２チャンネルに関して、これは、残余室内応答を生成するための高速畳み込みの数を、２２から２に削減し得る。
【００８０】
[0095]図１０Ｂは、本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る例示的な演算のモード３５０を示す図である。演算のモード３５０は、図８の音声再生デバイス２００に関して、後で本明細書で説明され、演算のモード３１０と同様である。しかしながら、演算のモード３５０は、最初に、ＨＯＡコンテンツを、Ｌ個の実在または仮想のラウドスピーカーに関して時間領域内のマルチチャンネルスピーカー信号にレンダリングすることと、次いで、本明細書で説明する技法に従ってスピーカーフィードの各々に効率的なＢＲＩＲフィルタリングを適用することと、を含む。そのために、音声再生デバイス２００は、ＨＯＡコンテンツ３２１を、次元［Ｌｅｎｇｔｈ，Ｌ］を有するマルチチャンネル音声信号３３３に変換する（３４４）。加えて、音声再生デバイスは、ＢＲＩＲデータ３１２をＳＨＣ領域に変換しない。したがって、音声再生デバイス２００による削減を信号３１４に適用することは、次元［ａ，２，Ｌ］を有する行列３３７を生成する（３２８）。
【００８１】
[0096]次いで、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，Ｌ，２］（左および右の成分を有する）を有するマルチチャンネル音声信号３４１を作成するために、マルチチャンネル音声信号３３３と行列３３７との高速畳み込み３３２を適用する（３４８）。次いで、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する信号３２５を作成するために、Ｌ個のチャンネル／スピーカーによるマルチチャンネル音声信号３４１を合計し得る（３４６）。
【００８２】
[0097]図１１は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイス３５０の一例を示すブロック図である。単一のデバイス、すなわち図１１の例における音声再生デバイス３５０として示されているが、本技法は、１つまたは複数のデバイスによって実施されてよい。したがって、本技法はこの点において限定されるべきではない。
【００８３】
[0098]その上、概して、図１〜図１０Ｂの例に関して球面調和領域において適用されるとして上記で説明されているが、本技法はまた、５．１サラウンドサウンドフォーマット、７．１サラウンドサウンドフォーマット、および／または２２．２サラウンドサウンドフォーマットなど、上記のサラウンドサウンドフォーマットに適合するチャンネルベースの信号を含む、任意の形態の音声信号に関して実施され得る。したがって、本技法はまた、球面調和領域内で指定された音声信号に限定されるべきではなく、任意の形態の音声信号に対して適用され得る。
【００８４】
[0099]図１１の例に示すように、音声再生デバイス３５０は、図７の例に示す音声再生デバイス１００に類似し得る。しかしながら、音声再生デバイス３５０は、一例として２２．２サラウンドサウンドフォーマットに適合する一般的なチャンネルベースの音声信号に関する技法を演算またはさもなければ実施することができる。抽出ユニット１０４は、音声チャンネル３５２を抽出し得、ここで音声チャンネル３５２は、一般に「ｎ」チャンネルを含み得、この例では、２２．２サラウンドサウンドフォーマットに適合する２２チャンネルを含むものと仮定される。これらのチャンネル３５２は、バイノーラルレンダリングユニット３５１の残余室内応答ユニット３５４とチャンネルごとの打切りフィルタユニット３５６の両方に与えられる。
【００８５】
[0100]上記で説明したように、ＢＲＩＲフィルタ１０８は、１つまたは複数のＢＲＩＲフィルタを含み、図３のＢＲＩＲフィルタ３７の一例を表し得る。ＢＲＩＲフィルタ１０８は、左および右のＨＲＴＦがそれぞれのＢＲＩＲに与える影響を表す、個別のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを含み得る。
【００８６】
[0101]ＢＲＩＲ調整ユニット１０６は、ＢＲＩＲフィルタ１２６Ａ、１２６Ｂのｎ個のインスタンスを受信し、各チャンネルｎそれぞれに関して、各ＢＲＩＲフィルタは長さＮを有する。ＢＲＩＲフィルタ１２６Ａ、１２６Ｂは、すでに、静止サンプルを除去するために調整されていることがある。ＢＲＩＲ調整ユニット１０６は、それぞれのＨＲＴＦと、早期反射と、残余室内セグメントとを識別するためにＢＲＩＲフィルタ１２６Ａ、１２６Ｂをセグメント化するために、上記で説明した技法を適用し得る。ＢＲＩＲ調整ユニット１０６は、チャンネルごとの打切りフィルタユニット３５６にＨＲＴＦと早期反射セグメントとを、サイズ［ａ，Ｌ］の左および右の行列を表す行列１２９Ａ、１２９Ｂとして与え、ここで、ａはＨＲＴＦと早期反射セグメントとの連結の長さであり、ｎは（仮想または実在の）ラウドスピーカーの数である。ＢＲＩＲ調整ユニット１０６は、残余室内応答ユニット３５４にＢＲＩＲフィルタ１２６Ａ、１２６Ｂの残余室内セグメントを、サイズ［ｂ，Ｌ］の左および右の残余室内行列１２８Ａ、１２８Ｂとして与え、ここで、ｂは残余室内セグメントの長さであり、ｎは（仮想または実在の）ラウドスピーカーの数である。
【００８７】
[0102]残余室内応答ユニット３５４は、音声チャンネル３５２との畳み込みのための左および右の共通の残余室内応答セグメントを計算またはさもなければ決定するために、上記で説明する技法を適用し得る。すなわち、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８Ｂを受信し、左および右の共通の残余室内応答セグメントを生成するために左および右それぞれの残余室内行列１２８Ａ、１２８Ｂをｎ個にわたって結合することができる。いくつかの例では、残余室内応答ユニット３５４は、左および右の残余室内行列１２８Ａ、１２８Ｂをｎ個にわたって平均化することによって結合を実施し得る。
【００８８】
[0103]次いで、残余室内応答ユニット３５４は、左および右の共通の残余室内応答セグメントと、音声チャンネル３５２のうちの少なくとも１つのチャンネルとの高速畳み込みを計算し得る。いくつかの例では、残余室内応答ユニット３５２は、共通の残余室内応答セグメントの開始時間に関する値をＢＲＩＲ調整ユニット１０６から受信し得る。残余室内応答ユニット３５４は、ＢＲＩＲフィルタ１０８に関する、より早いセグメントとの結合を見越して、出力信号１３４Ａ、１３４Ｂをゼロパディングするかまたはさもなければ遅延させ得る。出力信号１３４Ａは左音声信号を表す一方で、出力信号１３４Ｂは右音声信号を表すことができる。
【００８９】
[0104]チャンネルごとの打切りフィルタユニット３５６（以後、「打切りフィルタユニット３５６」）は、ＨＲＴＦとＢＲＩＲフィルタの早期反射セグメントとをチャンネル３５２に適用し得る。より具体的には、チャンネルごとの打切りフィルタユニット３５６は、ＨＲＴＦとＢＲＩＲフィルタの早期反射セグメントとを表す行列１２９Ａ、１２９Ｂをチャンネル３５２のそれぞれのチャンネルに適用し得る。いくつかの例では、行列１２９Ａ、１２９Ｂは、単一の行列１２９を形成するように結合され得る。その上、一般的に、ＨＲＴＦならびに早期反射行列１２９Ａおよび１２９Ｂの各々のうちの左の１つと、ＨＲＴＦならびに早期反射行列１２９Ａおよび１２９Ｂの各々のうちの右の１つとが存在する。すなわち、一般的に、左耳および右耳に関するＨＲＴＦと早期反射行列とが存在する。チャンネルごとの方向ユニット３５６は、左および右のフィルタリングされたチャンネル３５８Ａおよび３５８Ｂを出力するために、左および右の行列１２９Ａ、１２９Ｂの各々を適用し得る。結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを作成するために、左のフィルタリングされたチャンネル３５８Ａと出力信号１３４Ａとを結合する（または、言い換えればミックスする）一方で、右のフィルタリングされたチャンネル３５８Ｂと出力信号１３４Ｂとを結合する（または、言い換えればミックスする）ことができる。バイノーラル出力信号１３６Ａは左の音声チャンネルに対応し、バイノーラル出力信号１３６Ｂは右の音声チャンネルに対応することができる。
【００９０】
[0105]いくつかの例では、バイノーラルレンダリングユニット３５１は、残余室内応答ユニット３５４が、チャンネルごとの打切りフィルタユニット３５６の演算と同時に演算するように、残余室内応答ユニット３５４とチャンネルごとの打切りフィルタユニット３５６とを互いに同時に起動し得る。すなわち、いくつかの例では、残余室内応答ユニット３５４は、バイノーラル出力信号１３６Ａ、１３６Ｂが生成され得る速度を改善するために、チャンネルごとの打切りフィルタユニット３５６と並列に（しかし、同時でないことが多い）演算することが多い。潜在的にカスケード接続方式で演算するように様々な上記の図において示しているが、本技法は、別段に具体的に規定されていない限り、本開示で説明する説明するユニットまたはモジュールのいずれもの同時演算または並列演算を提供し得る。
【００９１】
[0106]図１２は、本開示で説明する技法の様々な態様による、図１１の音声再生デバイス３５０によって実施され得るプロセス３８０を示す図である。プロセス３８０は、各ＢＲＩＲを２つの部分：（ａ）左フィルタ３８４ＡL〜３８４ＮLおよび右フィルタ３８４ＡR〜３８４ＮR（総称して「フィルタ３８４」）によって表されるＨＲＴＦおよび早期反射の効果を組み込む、より小さい構成要素、および（ｂ）元のＢＲＩＲのすべての末尾の特性から生成され、左残響フィルタ３８６Ｌおよび右残響フィルタ３８６Ｒ（総称して「共通のフィルタ３８６」）によって表される共通の「残響の末尾」に分解することを達成する。プロセス３８０に示すチャンネルごとのフィルタ３８４は、上記の部分（ａ）を表す一方で、プロセス３８０に示す共通のフィルタ３８６は、上記の部分（ｂ）を表すことができる。
【００９２】
[0107]プロセス３８０は、不可聴成分を除去し、ＨＲＴＦ／早期反射を備える成分と後期反射／拡散による成分とを決定するためにＢＲＩＲを解析することによってこの分解を実施する。これは、部分（ａ）に関する、一例として２７０４タップ（tap）の長さのＦＩＲフィルタと、部分（ｂ）に関する、別の例として１５２３２タップの長さのＦＩＲフィルタとをもたらす。プロセス３８０によれば、音声再生デバイス３５０は、より短いＦＩＲフィルタだけを、個別のｎチャンネルの各々に適用し得、ｎは、演算３９６において例示のために２２であると仮定されている。この演算の複雑性は、以下で再生される式（８）における第１の部分の計算（４０９６点のＦＦＴを使用する）において表され得る。プロセス３８０では、音声再生デバイス３５０は、共通の「残響の末尾」を、２２チャンネルの各々にではなく、演算３９８においてそれらすべての加法的なミックスに適用し得る。この複雑性は、式（８）における複雑性の計算の第２の半分において表され、繰り返すが、これは、添付したアペンディクス（Appendix）において示される。
【００９３】
[0108]この点において、プロセス３８０は、複数のＮチャンネルからの音声コンテンツをミックスすることに基づいて、合成音声信号を生成するバイノーラル音声レンダリングの方法を表し得る。加えて、プロセス３８０は、さらに、合成音声信号を、遅延によってＮチャンネルフィルタの出力と整列させ得、各チャンネルフィルタは、打切りＢＲＩＲフィルタを含む。その上、プロセス３８０では、音声再生デバイス３５０は、次いで、演算３９８において共通の合成残余室内インパルス応答を用いて整列合成音声信号をフィルタリングし、バイノーラル音声出力の左成分３８８Ｌおよび右成分３８８Ｒのために、演算３９０Ｌおよび３９０Ｒにおいて、各チャンネルフィルタの出力とフィルタリングされた整列合成音声信号とをミックスすることができる。
【００９４】
[0109]いくつかの例では、打切りＢＲＩＲフィルタおよび共通の合成残余インパルス応答は、メモリにプリロードされる。
【００９５】
[0110]いくつかの例では、整列合成音声信号のフィルタリングは、時間周波数領域内で実施される。
【００９６】
[0111]いくつかの例では、整列合成音声信号のフィルタリングは、畳み込みを介して時間領域内で実施される。
【００９７】
[0112]いくつかの例では、打切りＢＲＩＲフィルタおよび共通の合成残余インパルス応答は、分解分析法に基づく。
【００９８】
[0113]いくつかの例では、分解分析法は、Ｎ個の室内インパルス応答の各々に対して実施され、Ｎ個の打切り室内インパルス応答とＮ個の残余インパルス応答とをもたらす（ここでＮは、ｎまたはｎ超として示されることがある）。
【００９９】
[0114]いくつかの例では、打切りインパルス応答は、各室内インパルス応答の全長さの４０パーセント未満を表す。
【０１００】
[0115]いくつかの例では、打切りインパルス応答は、１１１と１７，８３０との間のタップ範囲を含む。
【０１０１】
[0116]いくつかの例では、Ｎ個の残余インパルス応答の各々は、複雑性を削減する共通の合成残余室内応答内に結合される。
【０１０２】
[0117]いくつかの例では、各チャンネルフィルタの出力と、フィルタリングされた整列合成音声信号とをミックスすることは、左のスピーカー出力に関するミキシングの第１のセットと右のスピーカー出力に関するミキシングの第２のセットとを含む。
【０１０３】
[0118]様々な例では、上記で説明したプロセス３８０の様々な例またはそれらの任意の結合の方法は、メモリおよび１つまたは複数のプロセッサを備えるデバイスと、本方法の各ステップを実施するための手段を備えた装置と、非一時的コンピュータ可読記憶媒体上に記憶された命令を実行することによって本方法の各ステップを実施する１つまたは複数のプロセッサとによって実施され得る。
【０１０４】
[0119]その上、上記で説明した例のいずれにも記載される特定の特徴のいずれも、説明した技法の有益な例の中に組み合わされ得る。すなわち、特定の特徴のいずれも、一般に、本技法のすべての例に適用可能である。本技法の様々な例について説明した。
【０１０５】
[0120]本開示で説明した技法は、ある場合には、可聴のＢＲＩＲセットにわたってサンプル１１１〜１７８３０だけを識別することができる。例示的な室内の容積からミキシング時間Ｔmp95を計算し、本技法は、次いで、５３．６ｍｓの後、すべてのＢＲＩＲに共通の残響の末尾を共有させることができ、１５２３２のサンプル長の共通の残響の末尾と、残留する２７０４サンプルのＨＲＴＦ＋反射インパルスとをもたらし、３ｍｓのクロスフェードがそれらの間に存在する。計算コスト削減（break down）に関して、以下の項目が到達され得る。
【０１０６】
（ａ）共通の残響の末尾：１０×６×ｌｏｇ2（２×１５２３２／１０）。
【０１０７】
（ｂ）残留するインパルス：２２×６×ｌｏｇ2（２×４０９６）、１フレーム内でそれを行うために４０９６のＦＦＴを使用する。
【０１０８】
（ｃ）追加の２２の加算。
【０１０９】
[0121]その結果、最終の性能指数は、したがって、ほぼＣmod＝ｍａｘ（１００×（Ｃconv−Ｃ）／Ｃconv，０）＝８８．０に等しく、ここで
【数２２】
2016523466.tif 000024
ここでＣconvは最適化されていない実装（implementation）：
【数２３】
2016523466.tif 000025
の推定であり、
Ｃは何らかの態様であり、２つの付加的な要素：
【数２４】
2016523466.tif 000026
によって決定され得る。
【０１１０】
[0122]したがって、いくつかの態様では、性能指数は、Ｃmod＝８７．３５。
【０１１１】
[0123]Ｂn（ｚ）として示されるＢＲＩＲフィルタは、２つの関数ＢＴn（ｚ）とＢＲn（ｚ）とに分解され得、それらはそれぞれ、打切りＢＲＩＲフィルタと残響ＢＲＩＲフィルタとを示す。上記の部分（ａ）はこの打切りＢＲＩＲフィルタを指す一方で、上記の部分（ｂ）は残響ＢＲＩＲフィルタを指し得る。次いで、Ｂn（ｚ）はＢＴn（ｚ）＋（ｚ-m＊ＢＲn（ｚ））に等しくし得、ここでｍは遅延を示す。したがって、出力信号Ｙ（ｚ）は、
【数２５】
2016523466.tif 000027
として計算され得る。
【０１１２】
[0124]プロセス３８０は、共通の合成の残響の末尾のセグメントを導出するためにＢＲn（ｚ）を解析し得、ここでこの共通のＢＲ（ｚ）は、チャンネル固有のＢＲn（ｚ）の代わりに適用され得る。この共通の（またはチャンネル全般の）合成ＢＲ（ｚ）が使用されるとき、Ｙ（ｚ）は、
【数２６】
2016523466.tif 000028
として計算され得る。
【０１１３】
[0125]図１３は、例示的なバイノーラル室内インパルス応答フィルタ（ＢＲＩＲ）４００の図である。ＢＲＩＲ４００は、５つのセグメント４０２Ａ〜４０２Ｃを示す。頭部伝達関数（ＨＲＴＦ）セグメント４０２Ａは、頭部伝達によるインパルス応答を含み、本明細書で説明する技法を使用して識別され得る。ＨＲＴＦは、無響室内でインパルス応答を測定することと等価である。部屋の第１の反射は、通常、ＨＲＴＦより長い遅延を有するので、ＢＲＩＲの最初の部分がＨＲＴＦインパルス応答であると仮定される。反射セグメント４０２Ｂは、ＨＲＴＦに室内効果を結合する、すなわち、反射セグメント４０２Ｂのインパルス応答は、残響セグメント４０２Ｃと比較において早期の離散的なエコーによってフィルタリングされたＢＲＩＲ４００に関するＨＲＴＦセグメント４０２Ａのインパルス応答と一致する。ミキシング時間は、反射セグメント４０２Ｂと残響セグメント４０２Ｃとの間の時間であり、早期エコーが密な残響になる時間を示す。残響セグメント４０２Ｃは、ガウス雑音のように挙動し、離散的なエコーは、それ以上分離されない。
【０１１４】
[0126]近く発表されるＭＰＥＧ−Ｈ規格化において、高解像度と高チャンネルカウントとを有するマルチチャンネル音声が考慮されている。レンダリングをポータブルにするために、ヘッドフォン表現が必要である。これは、すべてのスピーカーフィード／チャンネルを１つのステレオヘッドセット内に仮想化することを伴う。ヘッドフォン表現へレンダリングするために、インパルス応答のうちの１つまたは複数のペアのセットが、マルチチャンネル音声に適用され得る。ＢＲＩＲ４００は、そのようなインパルス応答のうちの１つのペアを表し得る。標準的なブロック高速フーリエ変換（ＦＦＴ）を使用してＢＲＩＲ４００フィルタをマルチチャンネル音声のチャンネルに適用することは、計算の負荷が高くなり得る。インパルス応答のペアのセット全体をマルチチャンネル音声の対応するチャンネルに適用することは、いっそう計算の負荷を高くする。以下で説明する技法は、標準的なフィルタリング（たとえば、ブロックＦＦＴ）の結果の品質を著しく犠牲にすることなく、効率的なバイノーラルフィルタリングを提供する。
【０１１５】
[0127]図１４は、バイノーラル室内インパルス応答をマルチチャンネル音声信号に適用することによって生成されるバイノーラル出力信号の計算のためのシステム４１０を示すブロック図である。入力４１２Ａ〜４１２Ｎの各々は、全マルチチャンネル音声信号のうちの単一のチャンネルを表す。ＢＲＩＲ４１４Ａ〜４１４Ｎの各々は、左右の構成要素を有するバイノーラルインパルス室内応答フィルタのうちの１つのペアを表す。動作中、計算手順は、単一のチャンネル入力に関するバイノーラル音声信号を、適用されるＢＲＩＲによるロケーション表現（represents）においてレンダリングされるように生成するために、入力４１２Ａ〜４１２Ｎの各々に対して、ＢＲＩＲ４１４Ａ〜４１４Ｎのうちの対応する１つのＢＲＩＲを単一のチャンネル（モノ）入力に適用する。次いで、Ｎ個のバイノーラル音声信号が、ステレオヘッドフォン信号または全バイノーラル音声信号を作成するために、アキュムレータ４１６によって累積され、出力４１８としてシステム４１０によって出力される。
【０１１６】
[0128]図１５は、本明細書で説明する技法に従って、バイノーラル室内インパルス応答をマルチチャンネル音声信号に適用することによって生成されるバイノーラル出力信号を計算するための音声再生デバイス５００の構成要素を示すブロック図である。音声再生デバイス５００は、本開示の様々な計算削減方法を組み合わせて実施するための複数の構成要素を含む。音声再生デバイス５００のいくつかの態様は、様々な計算削減方法のうちの任意の数の任意の組合せを含み得る。音声再生デバイス５００は、音声再生システム３２、音声再生デバイス１００、音声再生デバイス２００、および音声再生デバイス３５０のうちのいずれもの一例を表し、本開示の様々な計算削減方法を実施するために上記で列挙されたデバイスのうちのいずれもと同様の構成要素を含むことができる。
【０１１７】
[0129]計算削減方法は、以下の部分の任意の組合せを含み得る：
[0130]ａ部（ＨＲＴＦセグメント４０２ＡおよびＨＲＴＦユニット５０４に対応する）：通常は位置特定のために数ミリ秒、両耳間遅延（ＩＴＤ）および最小位相フィルタに変換することによって計算を削減され得、一例としてＩＩＲフィルタを使用してさらに削減され得る。
【０１１８】
[0131]ｂ部（反射セグメント４０２Ｂおよび反射ユニット５０２に対応する）：長さは空間によって変わることがあり、一般的に通常数十ミリ秒続く。各チャンネルについて別々に行われると計算の負荷は高いが、本明細書で説明する技法は、これらのチャンネルのサブグループについて生成されたそれぞれの共通のフィルタを適用することができる。
【０１１９】
[0132]ｃ部（残響セグメント４０２Ｃおよび残響ユニット５０６に対応する）：共通のフィルタが、すべてのチャンネル（たとえば、２２．２フォーマットについて２２チャンネル）に関して計算される。周波数領域のエネルギーディケイレリーフ（Energy Decay Relief）（ＥＤＲ）曲線にわたる直接的な平均に基づいて新しい残響の末尾を再合成するのではなく、残響ユニット５０６は、入力信号コンテンツによって変化する調整する重みによって随意に改良される平均に、異なる重み付け方式を適用する。
【０１２０】
[0133]図１４のシステム４１０と同様の方式で、音声再生デバイス５００は、マルチチャンネル音声信号のＮ個の単一のチャンネル入力４１２Ａ〜４１２Ｎ（総称して「入力４１２」）を受信し、ステレオヘッドフォン信号または全バイノーラル音声信号を生成して出力するために、バイノーラル室内インパルス応答（ＢＲＩＲ）フィルタのセグメントを適用する。図１５に示すように、反射ユニットは、（たとえば、適応的重み付け要素５２０Ａ1〜K〜５２０Ｍ1〜J、５２２Ａ〜５２２Ｎを使用して重み付けられた）重み付けられた合計を使用して離散した入力４１２を異なるグループ内に結合する。共通の残響（たとえば、図１３の残響セクション４０２Ｃによって示される）に関して、残響ユニット５０６は、入力４１２を、それぞれの適応的重み付け要素（たとえば、ステレオで、入力ごとに左／右に関する異なる重みの５２２Ａ〜５２２Ｎ）と一緒に組み合わせ、次いで、（遅延５２６を適用した後で）ＦＦＴフィルタリングを使用して適用される共通の残響フィルタ５２４（ステレオのインパルス応答フィルタ）を使用して、結合された入力を処理する。
【０１２１】
[0134]反射ユニット５０２は、共通の残響フィルタ５２４に似た平均反射フィルタ５１２Ａ〜５１２Ｍを、適応的重み付け要素（５２０Ａ1〜K〜５２０Ｍ1〜J）を用いてサブグループ内に一緒に結合された入力４１２の異なるサブグループに適用する。ＨＲＴＦユニット５０４は、この例示的なデバイスでは、両耳間時間遅延（ＩＴＤ）５３０Ａ〜５３０Ｎに変換されている頭部伝達関数（ＨＲＴＦ）フィルタ４１４Ａ〜４１４Ｎ（総称して「ＨＲＴＦフィルタ４１４」）と最小位相フィルタ（これらは多状態無限インパルス応答（ＩＩＲ）フィルタを用いてさらに近似され得る）とを適用する。本明細書で使用する「適応的」は、適応的重み付け要素が適用される入力信号の品質に応じた、重み付け要素に関する調整を指す。いくつかの態様では、様々な適応的重み付け要素は、適応的でないことがある。
【０１２２】
[0135]入力４１２の各々に対してＢＲＩＲに関するミキシング時間を計算するために、１つのウィンドウの標準偏差の外にあるインパルス応答タップの割合（fraction of impulse response tap）を１０２４のスライディングウィンドウにわたって測定するエコー密度プロファイル（Echo Density Profile）が計算される。その値が最初に１に到達したとき、これは、インパルス応答がガウス雑音を近似し始め、残響の開始を指示することを示す。個別のＨＲＴＦフィルタ４１４の各々について、異なる計算が存在してよく、測定による最終値（ミリ秒）は、Ｎチャンネルにわたって平均することによって決定される。
【数２７】
2016523466.tif 000029
【数２８】
2016523466.tif 000030
【０１２３】
[0136]空間容積に基づくミキシング時間計算のための理論式も存在する。３００立方メートルの大きさの室内に関して、たとえば、容積による式によれば、
【数２９】
2016523466.tif 000031
【数３０】
2016523466.tif 000032
[0137]上記のように、ＨＲＴＦユニット５０４は、両耳間時間遅延（ＩＴＤ）５３０Ａ〜５３０Ｎと最小位相フィルタとに変換されている頭部伝達関数（ＨＲＴＦ）フィルタ４１４を適用する。最小位相フィルタは、元のフィルタのケプストラム（Cepstrum）に窓を適用することによって得られ得、遅延は、位相の５００〜４０００Ｈｚの周波数領域での線形回帰によって推定され得、ＩＩＲ近似に関して、バランスド・モデル・トランケイション（Balanced Model Truncation）（ＢＭＴ）法が、周波数ワープフィルタ（frequency warped filter）上の振幅応答の最重要成分を抽出するために使用され得る。
【０１２４】
[0138]残響ユニット５０６に関して、ミキシング時間の後、インパルス応答の末尾（たとえば、残響セグメント４０２Ｃ）は、理論的に、大した知覚的な差なしに交換可能である。したがって、残響ユニット５０６は、入力４１２に対応するそれぞれのＢＲＩＲの各応答の末尾を置き換えるために、共通の残響フィルタ５２４を適用する。音声再生デバイス５００の残響ユニット５０６における適用のために共通の残響フィルタ５２４を取得するための例示的な方法が存在する：
（１）各フィルタをそのエネルギー（たとえば、インパルス応答におけるすべてのサンプルの二乗値の合計）によって正規化し、次いで、すべての正規化されたフィルタにわたって平均する。
【０１２５】
（２）すべてのフィルタを直接平均する、たとえば、単純平均を計算する。
【０１２６】
（３）エネルギーの包絡線（envelope）およびコヒーレンス制御によって制御された白色雑音を用いて平均化フィルタを再合成する。
【０１２７】
[0139]第１の方法（１）は、元のフィルタの各々の特性／形状を同等に取る。いくつかのフィルタは、非常に低いエネルギーを有することがある（たとえば、２２．２セットアップにおける上中央のチャンネル）けれども、共通のフィルタ５２４において同等の「票」を有する。
【０１２８】
[0140]第２の方法（２）は、当然ながら、そのエネルギーレベルに従って各フィルタを重み付けするので、より高エネルギーの、または「より声の大きい」フィルタが、共通のフィルタ５２４内でより多くの票を得る。この直接の平均はまた、フィルタ間に大した相関がないことを仮定しており、これは、少なくとも、良好なリスニングルーム内で個別に取得されたＢＲＩＲに関して当てはまり得る。
【０１２９】
[0141]第３の方法（３）は、周波数依存性両耳間コヒーレンス（ＦＤＩＣ）がＢＲＩＲの残響の末尾を再合成するために使用される技法に基づく。各ＢＲＩＲは、最初に、短時間フーリエ変換（ＳＴＦＴ：short-term Fourier transform）を完了し、そのＦＤＩＣは、
【数３１】
2016523466.tif 000033
として計算される。上式で、ｉは周波数のインデックスであり、ｋは時間のインデックスである。Ｒ（．）は実部を示す。ＨLおよびＨRは、左右のインパルス応答の短時間フーリエ変換（ＳＴＦＴ：Short-time Fourier Transform）である。
【０１３０】
[0142]一定のＦＤＩＣおよびＥＤＲを用いて、インパルス応答が、ガウス雑音を使用して
【数３２】
2016523466.tif 000034
【数３３】
2016523466.tif 000035
のように合成され得る。ここで、
【数３４】
2016523466.tif 000036
【数３５】
2016523466.tif 000037
である。
【０１３１】
[0143]ここで、Ｈ〜LおよびＨ〜Rはフィルタの合成されたＳＴＦＴであり、Ｎ1およびＮ2は単独で生成されたガウス雑音のＳＴＦＴであり、ｃおよびｄは周波数および時間によってインデックスを付けられたＥＤＲであり、Ｐｓは雑音信号の時間平滑化された短時間パワースペクトル推定値である。
【０１３２】
[0144]平均ＦＤＩＣを取得するために、本技法は、
・元のフィルタのＦＤＩＣのうちの１つ、たとえば、前中央のチャンネルを使用する、
・すべてのＦＤＩＣにわたって直接平均する、
・すべてのＦＤＩＣの最小を使用する、これは、最大限に広範な平均化フィルタを生成することになるが、必ずしも元のフィルタミクスチャに近いとは限らない、
・ＦＤＩＣを、ＥＤＲのそれらの相対的なエネルギーで重み付けし、次いで一緒に合計する、
を含み得る。
最後の方法（重み付けられたＦＤＩＣ）について、各フィルタは、そのエネルギーに応じて共通のＦＤＩＣにおいてで「票」を有する。したがって、より声の大きいフィルタは、共通のフィルタ５２４においてにより多くのそれらのＦＤＩＣ画像を得る。
【０１３３】
[0145]さらに、入力信号のレパートリーを検査することによって、追加のパターンが発見され得、コンテンツのエネルギー分布から追加の重みをもたらす。たとえば、２２．２セットアップ内の上部チャンネルは、一般的に、低エネルギーＢＲＩＲを有し、コンテンツ作成者は、その位置におけるコンテンツ（たとえば、時折の飛行機の接近飛行）を著すことはほとんどない。したがって、共通の残響フィルタ５２４生成技法は、共通のフィルタ５２４を合成するときに上部チャンネルに関して正確さをトレードオフする一方で、主たる前中央、左および右のチャンネルが多くの強調を得ることができる。一般式で表現されると、複数の重みを用いて計算された共通または平均のＦＤＩＣは、
【数３６】
2016523466.tif 000038
として計算され、上式で、ＦＤＩＣiはｉ番目のＢＲＩＲチャンネルのＦＤＩＣであり、ｗji（＞０）はＢＲＩＲチャンネルｉに関する規準ｊの重み要素である。ここで言及されるｊ番目の規準のうちの１つはＢＲＩＲエネルギーであり得、一方で、別のものは信号コンテンツのエネルギーであり得る。分母の合計（ｄｅｎｏｍｉｎａｔｏｒ  ｓｕｍ）は、結合された重みが最終的に合計１になるように正規化する。重みがすべて１に等しくなると、式は単純平均に置き換えられる。同様に、共通のＥＤＲ（前の式のｃおよびｄ）は、
【数３７】
2016523466.tif 000039
として計算され得、ここで、重みは、必ずしもＦＤＩＣの重みと同じであるとは限らない。
【０１３４】
[0146]共通の残響フィルタ５２４を生成することに関して説明した上記の方法のうちのいずれもまた、反射フィルタ５１２Ａ〜５１２Ｍを合成するために使用され得る。すなわち、チャンネルの反射のサブグループは、同様に合成され得るが、反射によって作成された信号はあまり雑音に似ていないので、エラーは一般的により大きくなる。しかしながら、チャンネルフォーマット（たとえば、２２．２）に従って、中央チャンネルの反射のすべては同様のコヒーレンス評価とエネルギー減衰とを共有し、左横チャンネルの反射のすべては適切な重み付けと結合され得、代替として、左前のチャンネルは１つのグループを形成し得、左後ろおよび高さのチャンネルは別のグループを形成し得る、等々。これは、計算を削減するために、反射セグメント（たとえば、反射セグメント４０２Ｂ）をそれぞれ有するＮ個のチャンネルをＭ（たとえば、３〜５）個のサブグループに削減することができる。同様のコンテンツベースの重み付けは、残響フィルタ５２４を合成することに関して上記で説明したように、反射結合されたフィルタ５１２Ａ〜５１２Ｍにも適用され得る。反射チャンネルは、任意の組合せでグループ化され得る。インパルス応答の反射セグメントの間の相関を検査することによって、比較的高い相関性があるチャンネルが、サブグループの共通の反射フィルタ５１２の合成のために一緒にグループ化され得る。
【０１３５】
[0147]図示の例では、反射ユニット５０２は、少なくとも、入力４１２Ａおよび４１２Ｎを１つのサブグループにグループ化する。反射フィルタ５１２Ａは、このサブグループについて生成された共通のフィルタを表し、反射ユニット５０２は、反射フィルタ５１２Ａを、図示の例では少なくとも入力４１２Ａと入力４１２Ｎとをやはり含むサブグループの入力の結合に適用する。
【０１３６】
[0148]一例として、ＢＲＩＲフィルタのセットのそれぞれの反射部分に関する相関行列が検査される。ＢＲＩＲフィルタのセットは、ＢＲＩＲフィルタの現在のセットを表すことができる。相関行列は、非類似度行列（dissimilarity matrix）を取得するために、（１−ｃｏｒｒ）／２によって調整され、それは、クラスタ分析に関する完全な連結を導くために使用される。
【０１３７】
[0149]図１６に示すように、階層的クラスタ分析は、それらの時間の包絡線での相関に従う２２．２チャンネルのＢＲＩＲのセットの反射部分で実行され得る。理解されるように、０．６のカットオフスコアを設定することによって、説得力のある類似性を伴う、左チャンネルは４つのサブグループにグループ化され、右チャンネルは３つのサブグループにグループ化され得る。２２．２セットアップにおけるスピーカーロケーションを検査することによって、クラスタ分析の結果は、２２．２チャンネルのセットアップの常識的な機能性および形状（geometry）と一致する。
【０１３８】
[0150]次に図１５に戻ると、共通のフィルタ（たとえば、反射フィルタ５１２Ａ〜５１２Ｍおよび共通の残響フィルタ５２４）のうちのいずれに関するインパルス応答も、２列ベクトル
【数３８】
2016523466.tif 000040
であり得る。
【０１３９】
[0151]共通のフィルタが計算されると、オンラインの処理において、反射ユニット５０２および／または残響ユニット５０６は、最初に入力４１２をフィルタに関する特定のグループの中にミックスし、次いで共通のフィルタを適用する。たとえば、残響ユニット５０６は、すべての４１２を中にミックスし、次いで共通の残響フィルタ５２４を適用する。共通のフィルタ合成の前の元のフィルタは変化するエネルギーを有するので、等しくミックスされた入力４１２は、元の条件に適合しない。フィルタインパルス応答ｈのエネルギーが、
【数３９】
2016523466.tif 000041
として計算され、上式で、ｎはサンプルのインデックスであり、各ｈ［ｎ］は左／右インパルス応答に関するステレオサンプルである場合）、入力信号に関する初期の重みは、
【数４０】
2016523466.tif 000042
として計算され得、上式で、ｈiは、共通のフィルタ合成前のチャンネルｉに関する元のフィルタである。
【０１４０】
[0152]共通のフィルタを使用することによって、
【数４１】
2016523466.tif 000043
の元のフィルタリングプロセスは
【数４２】
2016523466.tif 000044
となり、上式で、ｉｎiは入力信号に関する入力サンプルである。ここで、
【数４３】
2016523466.tif 000045
は畳み込みを示し、各ｈフィルタはステレオインパルス応答であり、したがって、左右のチャンネルは、これらのプロセスを個別に搬送する。もう少し効率的な処理のために、ステレオの重み
【数４４】
2016523466.tif 000046
のうちのいずれもが、左／右の重みを平均することによって単一の値の重みに変換され得、次いで共通のフィルタの適用時のステレオ入力ミックスが、代わりにモノミックスになる。反射ユニット５０２に関する適応的重み要素５２０Ａ1〜K〜５２０Ｍ1〜Jおよび残響ユニット５０６に関する適応的重み要素５２２Ａ〜５２２Ｎは、重み
【数４５】
2016523466.tif 000047
のうちのいずれをも表し得る。
【０１４１】
[0153]入力信号で
【数４６】
2016523466.tif 000048
を使用することによって、基本的な仮定は、入力チャンネルは相関されないことであり、したがって、各入力は前と同じエネルギーでフィルタを通過し、合計された信号のエネルギーは、すべての重み付けられた信号のエネルギーの合計とほぼ同じである。実際には、より強い「残響の」音が知覚されることが多く、より高いエネルギーレベルの再合成バージョンが観測される。これは、入力チャンネルが、しばしば相関付けられるという事実に起因する。たとえば、モノ音源をパニングし、それらをあちこち移動させることによって生成されたマルチチャンネルミックスについて、パニングアルゴリズムは、通常、異なるチャンネルにわたって高度に相関付けられた成分を生成する。そして、相関付けられたチャンネルに関して、エネルギーは、初期の重み
【数４７】
2016523466.tif 000049
を使用してより高くなる。
【０１４２】
[0154]したがって、ミックスされた入力信号を
【数４８】
2016523466.tif 000050
として計算する代わりに、時間で変わるエネルギー正規化の重みが適用され得、新しい入力信号ミックスは、したがって、
【数４９】
2016523466.tif 000051
として計算されるべきであり、
上式で、ｎは離散時間のインデックスであり、正規化ｗnormは、信号フレームのうちの１つのセグメントにわたる、重み付けられた信号の合計されたエネルギーと重み付けられた合計された信号のエネルギーとの間のエネルギーの比：
【数５０】
2016523466.tif 000052
に従う。式中、信号のインデックスは右辺の中に書かれていない。右辺におけるこの平均エネルギー推定は、合計されたエネルギーのエネルギーおよび合計された信号のエネルギーに対する１次の平滑化フィルタを用いて時間領域において達成され得る。したがって、滑らかなエネルギー曲線が、除算について取得され得る。または、音声再生デバイス５００は、すでに、フィルタリングに対してＦＦＴオーバーラップ加算を適用し得るので、各ＦＦＴフレームについて、音声再生デバイス５００は１つの正規化重みを推定し得、オーバーラップ加算方式は、すでに、時間にわたる平滑化効果を処理することになる。
【０１４３】
[0155]ＨＲＴＦセグメントと、反射および残響の末尾（または残響）セグメントとの間で、コサインカーブ・クロスフェードが、それらの間を滑らかに移行するために（たとえば、０．２ｍｓまたは１０サンプルの持続時間で）適用される。たとえば、ＨＲＴＦが２５６サンプル長である場合、反射は２０４８サンプル長であり、残響は４０９６サンプル長であり、レンダラの全等価フィルタ長さは、２５６＋２０４８＋４０９６−２×１０＝６３８０サンプルとなる。
【０１４４】
[0156]結合ステップ５１０は、反射ユニット５０２、ＨＲＴＦユニット５０４、および残響ユニット５０６によって生成されたフィルタリングされた信号のすべてを結合する。いくつかの例では、反射ユニット５０２および残響ユニット５０６のうちの少なくとも一方は、適応的重み要素を適用することを含まない。音声再生デバイス５００のいくつかの例では、ＨＲＴＦユニット５０４は、入力４１２に関するＢＲＩＲフィルタのＨＲＴＦ部分と反射部分の両方を適用し、すなわち、そのような例における音声再生デバイス５００は、入力４１２Ｎを、共通の反射フィルタ５１２Ａ〜５１２Ｍが適用されるＭ個のサブグループにグループ化しない。
【０１４５】
[0157]図１７は、本開示で説明する技法による、音声再生デバイスの動作の例示的なモードを示すフローチャートである。例示的な演算のモードについて、図１５の音声再生デバイス５００に関して説明する。
【０１４６】
[0158]音声再生デバイス５００は、単一の入力チャンネルを受信し、適応的に決定された重みをそのチャンネルに適用する（６００）。音声再生デバイス５００は、結合された音声信号を生成するために、これらの適応的に重み付けられたチャンネルを結合する（６０２）。音声再生デバイス５００は、さらに、バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを結合された音声信号に適用する（６０４）。バイノーラル室内インパルス応答フィルタは、たとえば、上記で説明した技法のうちのいずれに従って生成された、結合された反射フィルタまたは残響フィルタであってよい。音声再生デバイス５００は、ステップ６０４において生成されたバイノーラル音声信号から少なくとも部分的に生成された出力音声信号／全音声信号を出力する（６０６）。全音声信号は、１つまたは複数の、結合されたまたはフィルタリングされた反射サブグループ、結合されたまたはフィルタリングされた残響グループ、および音声信号のチャンネルの各々に関するフィルタリングされたそれぞれのＨＲＴＦ信号に関する、複数のバイノーラル音声信号の結合であり得る。音声再生デバイス５００は、全出力バイノーラル音声信号を作成するために結合のための信号を整列させるために、必要に応じて、フィルタリングされた信号に遅延を適用する。
【０１４７】
[0159]上記の追加または代替として、以下の例を説明する。以下の例のうちのいずれにおいて説明する特徴は、本明細書で説明する他の例のうちのいずれとともに利用され得る。
【０１４８】
[0160]一例は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを取得することと、変換された合計音声信号を生成するために音声信号の複数のチャンネルから決定された合計音声信号に共通のフィルタを適用することと、を備える、音声信号をバイノーラル化する方法を対象とする。
【０１４９】
[0161]いくつかの例では、合計音声信号は、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号の複数のチャンネルのサブグループの結合を備える。
【０１５０】
[0162]いくつかの例では、方法は、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の複数のチャンネルのうちの対応するチャンネルに適用することと、出力バイノーラル音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合することと、をさらに備える。
【０１５１】
[0163]いくつかの例では、共通のフィルタを取得することは、共通のフィルタとして、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を計算することを備える。
【０１５２】
[0164]いくつかの例では、方法は、合計音声信号を生成するために、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号のチャンネルのサブグループを結合することをさらに備える。
【０１５３】
[0165]いくつかの例では、共通のフィルタは第１の共通のフィルタであり、サブグループは第１のサブグループであり、合計音声信号は第１の合計音声信号であり、変換された合計音声信号は第１の変換された合計音声信号であり、方法は、複数のバイノーラル室内インパルス応答フィルタの第２のサブグループの平均を計算することによって複数のバイノーラル室内インパルス応答フィルタの第２の異なるサブグループに関する第２の共通のフィルタを生成することと、第２の合計音声信号を生成するために複数のバイノーラル室内インパルス応答フィルタの第２のサブグループに対応する音声信号のチャンネルの第２のサブグループを結合することと、第２の変換された合計音声信号を生成するために第２の共通のフィルタを第２の合計音声信号に適用することと、をさらに備え、出力音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合することは、出力音声信号を生成するために、第１の変換された合計音声信号と、第２の変換された合計音声信号と、音声信号の変換されたチャンネルとを結合することを備える。
【０１５４】
[0166]いくつかの例では、共通のフィルタを取得することは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの加重平均を計算することを備える。
【０１５５】
[0167]いくつかの例では、共通のフィルタを取得することは、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を計算することを備える。
【０１５６】
[0168]いくつかの例では、共通のフィルタを取得することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの直接平均を計算することを備える。
【０１５７】
[0169]いくつかの例では、共通のフィルタを取得することは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成することを備える。
【０１５８】
[0170]いくつかの例では、共通のフィルタを取得することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を備える。
【０１５９】
[0171]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、直接平均周波数依存性両耳間コヒーレンス値を計算することを備える。
【０１６０】
[0172]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算することを備える。
【０１６１】
[0173]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を備える。
【０１６２】
[0174]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、
【数５１】
2016523466.tif 000053
を計算することを備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０１６３】
[0175]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０１６４】
[0176]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することは、
【数５２】
2016523466.tif 000054
を計算することを備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
【０１６５】
[0177]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０１６６】
[0178]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
【０１６７】
[0179]いくつかの例では、複数の階層要素は、球面調和係数を備える。
【０１６８】
[0180]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
【０１６９】
[0181]別の例では、方法は、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを生成することを備える。
【０１７０】
[0182]いくつかの例では、共通のフィルタを生成することは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントの加重平均を計算することを備える。
【０１７１】
[0183]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのうちのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの平均を計算することを備える。
【０１７２】
[0184]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの直接平均を計算することを備える。
【０１７３】
[0185]いくつかの例では、共通のフィルタを生成することは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成することを備える。
【０１７４】
[0186]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を備える。
【０１７５】
[0187]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、直接平均周波数依存性両耳間コヒーレンス値を計算することを備える。
【０１７６】
[0188]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算することを備える。
【０１７７】
[0189]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を備える。
【０１７８】
[0190]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、
【数５３】
2016523466.tif 000055
を計算することを備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのうちの１つのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０１７９】
[0191]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのうちのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０１８０】
[0192]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することは、
【数５４】
2016523466.tif 000056
を計算することを備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルを示し、ＥＤＲiは音声信号のｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のｉ番目のチャンネルに関する規準ｊの重みを示す。
【０１８１】
[0193]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０１８２】
[0194]別の例では、方法は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを生成することを備える。
【０１８３】
[0195]いくつかの例では、共通のフィルタを生成することは、バイノーラル室内インパルス応答フィルタのサブグループのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの加重平均を計算することを備える。
【０１８４】
[0196]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの平均を計算することを備える。
【０１８５】
[0197]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの直接平均を計算することを備える。
【０１８６】
[0198]いくつかの例では、共通のフィルタを生成することは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成することを備える。
【０１８７】
[0199]いくつかの例では、共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を備える。
【０１８８】
[0200]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、直接平均周波数依存性両耳間コヒーレンス値を計算することを備える。
【０１８９】
[0201]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算することを備える。
【０１９０】
[0202]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を備える。
【０１９１】
[0203]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算することは、
【数５５】
2016523466.tif 000057
を計算することを備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０１９２】
[0204]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０１９３】
[0205]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することは、
【数５６】
2016523466.tif 000058
を計算することを備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
【０１９４】
[0206]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０１９５】
[0207]別の例では、音声信号をバイノーラル化する方法は、複数のバイノーラル室内インパルス応答フィルタの１つまたは複数のセグメントを適用する前に、適応的に決定された重みを音声信号の複数のチャンネルに適用することと、１つまたは複数のセグメントを複数のバイノーラル室内インパルス応答フィルタに適用することと、を備える。
【０１９６】
[0208]いくつかの例では、音声信号のチャンネルに関する初期の適応的に決定された重みは、複数のバイノーラル室内インパルス応答フィルタのうちの対応するバイノーラル室内インパルス応答フィルタのエネルギーに従って計算される。
【０１９７】
[0209]いくつかの例では、方法は、複数のバイノーラル室内インパルス応答フィルタに関する共通のフィルタを取得することをさらに備え、ｉ番目のチャンネルに関するｉ番目の初期の適応的に決定された重み
【数５７】
2016523466.tif 000059
は、
【数５８】
2016523466.tif 000060
に従って計算され、ｈiはｉ番目のバイノーラル室内インパルス応答フィルタであり、
【数５９】
2016523466.tif 000061
は共通のフィルタであり、
【数６０】
2016523466.tif 000062
であり、ｎはサンプルのインデックスであり、各ｈ［ｎ］はｎにおけるステレオサンプルである。
【０１９８】
[0210]いくつかの例では、方法は、
【数６１】
2016523466.tif 000063
を計算することによって、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用することをさらに備え、
【数６２】
2016523466.tif 000064
は畳み込み演算を示し、ｉｎiは音声信号のｉ番目のチャンネルを示す。
【０１９９】
[0211]いくつかの例では、それぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合することは、
【数６３】
2016523466.tif 000065
を計算することを備え、ｉｎmix（ｎ）は合計音声信号を示し、ｎはサンプルのインデックスであり、
【数６４】
2016523466.tif 000066
であり、ｉｎiは音声信号のｉ番目のチャンネルを示す。
【０２００】
[0212]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
【０２０１】
[0213]いくつかの例では、複数の階層要素は、球面調和係数を備える。
【０２０２】
[0214]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
【０２０３】
[0215]別の例では、方法は、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の対応するチャンネルに適用することと、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することと、合計音声信号を生成するために音声信号のチャンネルを結合することと、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用することと、出力音声信号を生成するために変換された合計音声信号と音声信号の変換されたチャンネルとを結合することと、を備える。
【０２０４】
[0216]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタのうちのいずれをも正規化することなしに複数のバイノーラル室内インパルス応答フィルタの平均を計算することを備える。
【０２０５】
[0217]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタの直接平均を計算することを備える。
【０２０６】
[0218]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成することを備える。
【０２０７】
[0219]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの加重平均を計算することによって共通のフィルタを生成することは、複数のバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を備える。
【０２０８】
[0220]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することは、直接平均周波数依存性両耳間コヒーレンス値を計算することを備える。
【０２０９】
[0221]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算することを備える。
【０２１０】
[0222]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を備える。
【０２１１】
[0223]いくつかの例では、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することは、
【数６５】
2016523466.tif 000067
を計算することを備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのうちの１つのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０２１２】
[0224]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２１３】
[0225]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することは、
【数６６】
2016523466.tif 000068
を計算することを備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルを示し、ＥＤＲiは音声信号のｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のｉ番目のチャンネルに関する規準ｊの重みを示す。
【０２１４】
[0226]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２１５】
[0227]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
【０２１６】
[0228]いくつかの例では、複数の階層要素は、球面調和係数を備える。
【０２１７】
[0229]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
【０２１８】
[0230]別の例では、方法は、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の対応するチャンネルに適用することと、複数のバイノーラル室内インパルス応答フィルタの平均を計算することによって共通のフィルタを生成することと、それぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合することと、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用することと、出力音声信号を生成するために変換された合計音声信号と音声信号の変換されたチャンネルとを結合することと、を備える。
【０２１９】
[0231]いくつかの例では、音声信号のチャンネルに関する初期の適応的重み要素は、複数のバイノーラル室内インパルス応答フィルタのうちの対応するバイノーラル室内インパルス応答フィルタのエネルギーに従って計算される。
【０２２０】
[0232]いくつかの例では、ｉ番目のチャンネルに関するｉ番目の初期の適応的重み要素
【数６７】
2016523466.tif 000069
は、
【数６８】
2016523466.tif 000070
に従って計算され、ｈiはｉ番目のバイノーラル室内インパルス応答フィルタであり、
【数６９】
2016523466.tif 000071
は共通のフィルタであり、
【数７０】
2016523466.tif 000072
であり、ｎはサンプルのインデックスであり、各ｈ［ｎ］はｎにおけるステレオサンプルである。
【０２２１】
[0233]いくつかの例では、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用することは、
【数７１】
2016523466.tif 000073
を計算することを備え、
【数７２】
2016523466.tif 000074
は畳み込み演算を示し、ｉｎiは音声信号のｉ番目のチャンネルを示す。
【０２２２】
[0234]いくつかの例では、それぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合することは、
【数７３】
2016523466.tif 000075
を計算することを備え、ｉｎmix（ｎ）は合計音声信号を示し、ｎはサンプルのインデックスであり、
【数７４】
2016523466.tif 000076
であり、ｉｎiは音声信号のｉ番目のチャンネルを示す。
【０２２３】
[0235]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
【０２２４】
[0236]いくつかの例では、複数の階層要素は、球面調和係数を備える。
【０２２５】
[0237]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
【０２２６】
[0238]いくつかの例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを記憶するように構成されたメモリと、変換された合計音声信号を生成するために音声信号の複数のチャンネルから決定された合計音声信号に共通のフィルタを適用するように構成されたプロセッサとを備える。
【０２２７】
[0239]いくつかの例では、合計音声信号は、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号の複数のチャンネルのサブグループの結合を備える。
【０２２８】
[0240]いくつかの例では、プロセッサは、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の複数のチャンネルのうちの対応するチャンネルに適用することと、出力バイノーラル音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合することと、を行うようにさらに構成される。
【０２２９】
[0241]いくつかの例では、共通のフィルタは、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を備える。
【０２３０】
[0242]いくつかの例では、プロセッサは、合計音声信号を生成するために、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号のチャンネルのサブグループを結合するようにさらに構成される。
【０２３１】
[0243]いくつかの例では、共通のフィルタは第１の共通のフィルタであり、サブグループは第１のサブグループであり、合計音声信号は第１の合計音声信号であり、変換された合計音声信号は第１の変換された合計音声信号であり、プロセッサは、複数のバイノーラル室内インパルス応答フィルタの第２のサブグループの平均を計算することによって複数のバイノーラル室内インパルス応答フィルタの第２の異なるサブグループに関する第２の共通のフィルタを生成することと、第２の合計音声信号を生成するために複数のバイノーラル室内インパルス応答フィルタの第２のサブグループに対応する音声信号のチャンネルの第２のサブグループを結合することと、第２の変換された合計音声信号を生成するために第２の共通のフィルタを第２の合計音声信号に適用することと、を行うようにさらに構成され、出力音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合するために、プロセッサは、出力音声信号を生成するために、第１の変換された合計音声信号と、第２の変換された合計音声信号と、音声信号の変換されたチャンネルとを結合するようにさらに構成される。
【０２３２】
[0244]いくつかの例では、共通のフィルタは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの加重平均を備える。
【０２３３】
[0245]いくつかの例では、共通のフィルタは、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を備える。
【０２３４】
[0246]いくつかの例では、共通のフィルタは、複数のバイノーラル室内インパルス応答フィルタのサブグループの直接平均を備える。
【０２３５】
[0247]いくつかの例では、共通のフィルタは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して生成され、再合成された共通のフィルタを備える。
【０２３６】
[0248]いくつかの実施形態では、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を行うようにさらに構成される。
【０２３７】
[0249]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、直接平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
【０２３８】
[0250]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
【０２３９】
[0251]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を行うようにさらに構成される。
【０２４０】
[0252]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、
【数７５】
2016523466.tif 000077
を計算するようにさらに構成され、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０２４１】
[0253]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２４２】
[0254]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するために、プロセッサは、
【数７６】
2016523466.tif 000078
を計算するようにさらに構成され、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
【０２４３】
[0255]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２４４】
[0256]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
【０２４５】
[0257]いくつかの例では、複数の階層要素は、球面調和係数を備える。
【０２４６】
[0258]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
【０２４７】
[0259]別の例では、デバイスは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを生成するように構成されたプロセッサを備える。
【０２４８】
[0260]いくつかの例では、共通のフィルタを生成するために、プロセッサは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントの加重平均を計算するようにさらに構成される。
【０２４９】
[0261]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのうちのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの平均を計算するようにさらに構成される。
【０２５０】
[0262]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの直接平均を計算するようにさらに構成される。
【０２５１】
[0263]いくつかの例では、共通のフィルタを生成するために、プロセッサは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するようにさらに構成される。
【０２５２】
[0264]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を行うようにさらに構成される。
【０２５３】
[0265]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、直接平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
【０２５４】
[0266]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
【０２５５】
[0267]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けすることと、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積することと、を行うようにさらに構成される。
【０２５６】
[0268]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、
【数７７】
2016523466.tif 000079
を計算するようにさらに構成され、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのうちの１つのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０２５７】
[0269]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのうちのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２５８】
[0270]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するために、プロセッサは、
【数７８】
2016523466.tif 000080
を計算するようにさらに構成され、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルを示し、ＥＤＲiは音声信号のｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のｉ番目のチャンネルに関する規準ｊの重みを示す。
【０２５９】
[0271]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２６０】
[0272]別の例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを生成するように構成されたプロセッサを備える。
【０２６１】
[0273]いくつかの例では、共通のフィルタを生成するために、プロセッサは、バイノーラル室内インパルス応答フィルタのサブグループのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの加重平均を計算するようにさらに構成される。
【０２６２】
[0274]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの平均を計算するようにさらに構成される。
【０２６３】
[0275]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの直接平均を計算するようにさらに構成される。
【０２６４】
[0276]いくつかの例では、共通のフィルタを生成するために、プロセッサは、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するようにさらに構成される。
【０２６５】
[0277]いくつかの例では、共通のフィルタを生成するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算することと、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成することと、を行うようにさらに構成される。
【０２６６】
[0278]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、直接平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
【０２６７】
[0279]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するようにさらに構成される。
【０２６８】
[0280]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けするようにさらに構成され、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積している。
【０２６９】
[0281]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するために、プロセッサは、
【数７９】
2016523466.tif 000081
を計算するようにさらに構成され、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０２７０】
[0282]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２７１】
[0283]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するために、プロセッサは、
【数８０】
2016523466.tif 000082
を計算するようにさらに構成され、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
【０２７２】
[0284]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２７３】
[0285]いくつかの例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタの１つまたは複数のセグメントを適用する前に、適応的に決定された重みを音声信号の複数のチャンネルに適用することと、１つまたは複数のセグメントを複数のバイノーラル室内インパルス応答フィルタに適用することと、を行うように構成されたプロセッサを備える。
【０２７４】
[0286]いくつかの例では、プロセッサは、複数のバイノーラル室内インパルス応答フィルタのうちの対応するバイノーラル室内インパルス応答フィルタのエネルギーに従って、音声信号のチャンネルに関する初期の適応的に決定された重みを計算する。
【０２７５】
[0287]いくつかの例では、プロセッサは、複数のバイノーラル室内インパルス応答フィルタに関する共通のフィルタを取得するようにさらに構成され、ｉ番目のチャンネルに関するｉ番目の初期の適応的に決定された重み
【数８１】
2016523466.tif 000083
は、
【数８２】
2016523466.tif 000084
に従って計算され、ｈiはｉ番目のバイノーラル室内インパルス応答フィルタであり、
【数８３】
2016523466.tif 000085
は共通のフィルタであり、
【数８４】
2016523466.tif 000086
であり、ｎはサンプルのインデックスであり、各ｈ［ｎ］はｎにおけるステレオサンプルである。
【０２７６】
[0288]いくつかの例では、プロセッサは、
【数８５】
2016523466.tif 000087
を計算することによって、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用するようにさらに構成され、
【数８６】
2016523466.tif 000088
は畳み込み演算を示し、ｉｎiは音声信号のｉ番目のチャンネルを示す。
【０２７７】
[0289]いくつかの例では、プロセッサは、
【数８７】
2016523466.tif 000089
を計算することによってそれぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合するようにさらに構成され、ｉｎmix（ｎ）は合計音声信号を示し、ｎはサンプルのインデックスであり、
【数８８】
2016523466.tif 000090
であり、ｉｎiは音声信号のｉ番目のチャンネルを示す。
【０２７８】
[0290]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
【０２７９】
[0291]いくつかの例では、複数の階層要素は、球面調和係数を備える。
【０２８０】
[0292]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
【０２８１】
[0293]別の例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを取得するための手段と、変換された合計音声信号を生成するために音声信号の複数のチャンネルから決定された合計音声信号に共通のフィルタを適用するための手段と、を備える。
【０２８２】
[0294]いくつかの例では、合計音声信号は、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号の複数のチャンネルのサブグループの結合を備える。
【０２８３】
[0295]いくつかの例では、デバイスは、音声信号の複数の変換されたチャンネルを生成するために複数のバイノーラル室内インパルス応答フィルタのそれぞれの頭部伝達関数セグメントを音声信号の複数のチャンネルのうちの対応するチャンネルに適用するための手段と、出力バイノーラル音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合するための手段と、をさらに備える。
【０２８４】
[0296]いくつかの例では、共通のフィルタを取得するための手段は、共通のフィルタとして、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を計算するための手段を備える。
【０２８５】
[0297]いくつかの例では、デバイスは、合計音声信号を生成するために、複数のバイノーラル室内インパルス応答フィルタのサブグループに対応する音声信号のチャンネルのサブグループを結合するための手段をさらに備える。
【０２８６】
[0298]いくつかの例では、共通のフィルタは第１の共通のフィルタであり、サブグループは第１のサブグループであり、合計音声信号は第１の合計音声信号であり、変換された合計音声信号は第１の変換された合計音声信号であり、デバイスは、複数のバイノーラル室内インパルス応答フィルタの第２のサブグループの平均を計算することによって複数のバイノーラル室内インパルス応答フィルタ第２の異なるサブグループに関する第２の共通のフィルタを生成するための手段と、第２の合計音声信号を生成するために複数のバイノーラル室内インパルス応答フィルタの第２のサブグループに対応する音声信号のチャンネルの第２のサブグループを結合するための手段と、第２の変換された合計音声信号を生成するために第２の共通のフィルタを第２の合計音声信号に適用するための手段と、をさらに備え、出力音声信号を生成するために第１の変換された合計音声信号と音声信号の変換されたチャンネルとを結合するための手段が、出力音声信号を生成するために、第１の変換された合計音声信号と、第２の変換された合計音声信号と、音声信号の変換されたチャンネルとを結合するための手段を備える。
【０２８７】
[0299]いくつかの例では、共通のフィルタを取得するための手段は、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの加重平均を計算するための手段を備える。
【０２８８】
[0300]いくつかの例では、共通のフィルタを取得するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの平均を計算するための手段を備える。
【０２８９】
[0301]いくつかの例では、共通のフィルタを取得するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの直接平均を計算するための手段を備える。
【０２９０】
[0302]いくつかの例では、共通のフィルタを取得するための手段は、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するための手段を備える。
【０２９１】
[0303]いくつかの例では、共通のフィルタを取得するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算するための手段と、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段と、を備える。
【０２９２】
[0304]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、直接平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
【０２９３】
[0305]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
【０２９４】
[0306]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けするための手段と、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積するための手段と、を備える。
【０２９５】
[0307]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、
【数８９】
2016523466.tif 000091
を計算するための手段を備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０２９６】
[0308]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２９７】
[0309]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段は、
【数９０】
2016523466.tif 000092
を計算するための手段を備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
【０２９８】
[0310]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０２９９】
[0311]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
【０３００】
[0312]いくつかの例では、複数の階層要素は、球面調和係数を備える。
【０３０１】
[0313]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
【０３０２】
[0314]別の例では、デバイスは、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを生成するための手段を備える。
【０３０３】
[0315]いくつかの例では、共通のフィルタを生成するための手段は、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントの加重平均を計算するための手段を備える。
【０３０４】
[0316]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタのうちのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの平均を計算するための手段を備える。
【０３０５】
[0317]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの直接平均を計算するための手段を備える。
【０３０６】
[0318]いくつかの例では、共通のフィルタを生成するための手段は、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するための手段を備える。
【０３０７】
[0319]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算するための手段と、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段と、を備える。
【０３０８】
[0320]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、直接平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
【０３０９】
[0321]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
【０３１０】
[0322]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタの残響セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けするための手段と、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積するための手段と、を備える。
【０３１１】
[0323]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、
【数９１】
2016523466.tif 000093
を計算するための手段を備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのうちの１つのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０３１２】
[0324]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのうちのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０３１３】
[0325]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段は、
【数９２】
2016523466.tif 000094
を計算するための手段を備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルを示し、ＥＤＲiは音声信号のｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のｉ番目のチャンネルに関する規準ｊの重みを示す。
【０３１４】
[0326]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０３１５】
[0327]別の例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを生成するための手段を備える。
【０３１６】
[0328]いくつかの例では、共通のフィルタを生成するための手段は、バイノーラル室内インパルス応答フィルタのサブグループのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの加重平均を計算するための手段を備える。
【０３１７】
[0329]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを正規化することなく、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの平均を計算するための手段を備える。
【０３１８】
[0330]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの直接平均を計算するための手段を備える。
【０３１９】
[0331]いくつかの例では、共通のフィルタを生成するための手段は、エネルギーの包絡線およびコヒーレンス制御によって制御された白色雑音を使用して共通のフィルタを再合成するための手段を備える。
【０３２０】
[0332]いくつかの例では、共通のフィルタを生成するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を使用して平均周波数依存性両耳間コヒーレンス値を計算するための手段と、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段と、を備える。
【０３２１】
[0333]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、直接平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
【０３２２】
[0334]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値のうちの最小周波数依存性両耳間コヒーレンス値として、平均周波数依存性両耳間コヒーレンス値を計算するための手段を備える。
【０３２３】
[0335]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、エネルギーディケイレリーフのそれぞれの相対エネルギーによって複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値の各々を重み付けするための手段と、平均周波数依存性両耳間コヒーレンス値を生成するために重み付けられた周波数依存性両耳間コヒーレンス値を累積するための手段と、を備える。
【０３２４】
[0336]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を計算するための手段は、
【数９３】
2016523466.tif 000095
を計算するための手段を備え、ＦＤＩＣaverageは平均周波数依存性両耳間コヒーレンス値であり、ｉは複数のバイノーラル室内インパルス応答フィルタのサブグループのバイノーラル室内インパルス応答フィルタを示し、ＦＤＩＣiはｉ番目のバイノーラル室内インパルス応答フィルタに関する周波数依存性両耳間コヒーレンス値を示し、ｗijはｉ番目のバイノーラル室内インパルス応答フィルタに関する規準ｊの重みを示す。
【０３２５】
[0337]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０３２６】
[0338]いくつかの例では、平均周波数依存性両耳間コヒーレンス値を使用して共通のフィルタを合成するための手段は、
【数９４】
2016523466.tif 000096
を計算するための手段を備え、ＥＤＲaverageは平均エネルギーディケイレリーフ値であり、ｉは音声信号のチャンネルのサブグループのチャンネルを示し、ＥＤＲiは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関するエネルギーディケイレリーフ値を示し、ｗijは音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する規準ｊの重みを示す。
【０３２７】
[0339]いくつかの例では、規準ｊは、ｉ番目のバイノーラル室内インパルス応答フィルタに関するエネルギー、または音声信号のチャンネルのサブグループのｉ番目のチャンネルに関する信号コンテンツのエネルギーのうちの一方である。
【０３２８】
[0340]別の例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタの１つまたは複数のセグメントを適用する前に、適応的に決定された重みを音声信号の複数のチャンネルに適用するための手段と、１つまたは複数のセグメントを複数のバイノーラル室内インパルス応答フィルタに適用するための手段と、を備える。
【０３２９】
[0341]いくつかの例では、音声信号のチャンネルに関する初期の適応的に決定された重みは、複数のバイノーラル室内インパルス応答フィルタのうちの対応するバイノーラル室内インパルス応答フィルタのエネルギーに従って計算される。
【０３３０】
[0342]いくつかの例では、デバイスは、複数のバイノーラル室内インパルス応答フィルタに関する共通のフィルタを取得するための手段をさらに備え、ｉ番目のチャンネルに関するｉ番目の初期の適応的に決定された重み
【数９５】
2016523466.tif 000097
は、
【数９６】
2016523466.tif 000098
に従って計算され、ｈiはｉ番目のバイノーラル室内インパルス応答フィルタであり、
【数９７】
2016523466.tif 000099
は共通のフィルタであり、
【数９８】
2016523466.tif 000100
であり、ｎはサンプルのインデックスであり、各ｈ［ｎ］はｎにおけるステレオサンプルである。
【０３３１】
[0343]いくつかの例では、デバイスは、
【数９９】
2016523466.tif 000101
を計算することによって、変換された合計音声信号を生成するために共通のフィルタを合計音声信号に適用するための手段をさらに備え、
【数１００】
2016523466.tif 000102
は畳み込み演算を示し、ｉｎiは音声信号のｉ番目のチャンネルを示す。
【０３３２】
[0344]いくつかの例では、デバイスは、それぞれの適応的重み要素をチャンネルに適用することによって合計音声信号を生成するために音声信号のチャンネルを結合するための手段をさらに備え、
【数１０１】
2016523466.tif 000103
を計算することを備え、ｉｎmix（ｎ）は合計音声信号を示し、ｎはサンプルのインデックスであり、
【数１０２】
2016523466.tif 000104
であり、ｉｎiは音声信号のｉ番目のチャンネルを示す。
【０３３３】
[0345]いくつかの例では、音声信号のチャンネルは、複数の階層要素を備える。
【０３３４】
[0346]いくつかの例では、複数の階層要素は、球面調和係数を備える。
【０３３５】
[0347]いくつかの例では、複数の階層要素は、高次アンビソニックスを備える。
【０３３６】
[0348]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを取得することと、変換された合計音声信号を生成するために音声信号の複数のチャンネルから決定された合計音声信号に共通のフィルタを適用することと、を行わせる命令をその上に記憶している。
【０３３７】
[0349]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、バイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って重み付けられた複数のバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを生成させる命令をその上に記憶している。
【０３３８】
[0350]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、複数のバイノーラル室内インパルス応答フィルタのサブグループの反射セグメントに関する共通のフィルタを生成させる命令をその上に記憶している。
【０３３９】
[0351]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、複数のバイノーラル室内インパルス応答フィルタの１つまたは複数のセグメントを適用する前に、適応的に決定された重みを音声信号の複数のチャンネルに適用することと、１つまたは複数のセグメントを複数のバイノーラル室内インパルス応答フィルタに適用することと、を行わせる命令をその上に記憶している。
【０３４０】
[0352]別の例では、デバイスは、任意の組合せを実施するように構成されたプロセッサを備え、例の任意の組合せの方法が上記を説明した。
【０３４１】
[0353]別の例では、デバイスは、上記で説明した例のうちの任意の結合結合の方法の各ステップを実施するための手段を備える。
【０３４２】
[0354]別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、上記で説明した例のうちの任意の結合の方法を実施させる命令をその上に記憶している。
【０３４３】
[0355]例に応じて、本明細書で説明された方法のいずれのある行為またはイベントは、異なる順序で実行可能であり、追加されてもよいし、マージされてもよいし、全体的に除外されてもよい（たとえば、すべての説明された行為またはイベントが方法の実施に必要とは限らない）ことを理解されたい。その上、ある例では、行為またはイベントは、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサによって、順次ではなく、同時に実行されることがある。さらに、本開示のある態様は、わかりやすいように、単一のデバイス、モジュール、またはユニットによって実行されると説明されているが、本開示の技法は、デバイス、ユニット、またはモジュールの組合せによって実行されてよいことを理解されたい。
【０３４４】
[0356]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施されてよい。ソフトウェアで実施される場合、これらの機能は、コンピュータ可読媒体上に１つまたは複数の命令またはコードとして記憶または送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を支援する任意の媒体を含む、データ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。
【０３４５】
[0357]このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体または（２）信号もしくはキャリア波などの通信媒体に相当し得る。データ記憶媒体は、本開示で説明する技法の実装のために、命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
【０３４６】
[0358]例として、それに限定されず、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、または命令またはデータ構造の形態で所望のプログラムコードを記憶するために使用可能であり、コンピュータによってアクセス可能な他の任意の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、マイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
【０３４７】
[0359]ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびｂｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上述の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０３４８】
[0360]命令は、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の統合された、もしくは個別の論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、「プロセッサ」という用語は、本明細書において、前述の構造のうちの任意のものまたは本明細書に記載される技法の実施のために適当な任意の他の構造を参照し得る。加えて、いくつかの態様では、本明細書に記載される機能性は、符号化および復号のために構成され、または組み合わされたコーデックに組み込まれる、専用のハードウェア内および／またはソフトウェアモジュール内で提供され得る。また、技法は、１つまたは複数の回路または論理素子内で完全に実施されてよい。
【０３４９】
[0361]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々な構成要素、モジュール、またはユニットは、開示された技法を実行するように構成されるデバイスの機能上の態様を強調するために、本開示に記載されるが、必ずしも異なるハードウェアユニットによる実現を求めるとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わされ、または、上記で説明した１つまたは複数のプロセッサを含む、適切なソフトウェアおよび／またはファームウェアと一緒に相互作用するハードウェアユニットの集合によって提供され得る。
【０３５０】
[0362]本技法の様々な実施形態が説明された。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
【図１】
2016523466.tif 000105
【図２】
2016523466.tif 000106
【図３】
2016523466.tif 000107
【図４】
2016523466.tif 000108
【図５】
2016523466.tif 000109
【図６】
2016523466.tif 000110
【図７】
2016523466.tif 000111
【図８】
2016523466.tif 000112
【図９】
2016523466.tif 000113
【図１０Ａ】
2016523466.tif 000114
【図１０Ｂ】
2016523466.tif 000115
【図１１】
2016523466.tif 000116
【図１２】
2016523466.tif 000117
【図１３】
2016523466.tif 000118
【図１４】
2016523466.tif 000119
【図１５】
2016523466.tif 000120
【図１６】
2016523466.tif 000121
【図１７】
2016523466.tif 000122
【手続補正書】
【提出日】平成28年2月16日(2016.2.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声信号をバイノーラル化する方法であって、前記方法が、
前記音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用すること、ここにおいて、前記重みが、前記複数のチャンネルと関連付けられた前記それぞれの入力音声信号のそれぞれのコンテンツのエネルギーに従って適応的に決定される、と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を備える、方法。
【請求項２】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項１に記載の方法。
【請求項３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記残響セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２に記載の方法。
【請求項４】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項１に記載の方法。
【請求項５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項４に記載の方法。
【請求項６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記方法が、
第２の結合された信号を生成するために第２のサブグループを結合すること、ここで、前記第２のサブグループが、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える、と、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
をさらに備える、請求項１に記載の方法。
【請求項７】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算することをさらに備える、請求項１に記載の方法。
【請求項８】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
をさらに備える、請求項１に記載の方法。
【請求項９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項１に記載の方法。
【請求項１０】
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、請求項１に記載の方法。
【請求項１１】
１つまたは複数のプロセッサを備えるデバイスであって、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用すること、ここにおいて、前記重みが、前記複数のチャンネルと関連付けられた前記それぞれの入力音声信号のそれぞれのコンテンツのエネルギーに従って適応的に決定される、と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行うように構成される、デバイス。
【請求項１２】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項１１に記載のデバイス。
【請求項１３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記残響セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項１２に記載のデバイス。
【請求項１４】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項１１に記載のデバイス。
【請求項１５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項１４に記載のデバイス。
【請求項１６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記１つまたは複数のプロセッサが、
第２の結合された信号を生成するために第２のサブグループを結合すること、ここで、前記第２のサブグループが、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える、と、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
を行うようにさらに構成される、請求項１１に記載のデバイス。
【請求項１７】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するようにさらに構成される、請求項１１に記載のデバイス。
【請求項１８】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
を行うようにさらに構成される、請求項１１に記載のデバイス。
【請求項１９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項１１に記載のデバイス。
【請求項２０】
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、請求項１１に記載のデバイス。
【請求項２１】
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用するための手段、ここにおいて、前記重みが、前記複数のチャンネルと関連付けられた前記それぞれの入力音声信号のそれぞれのコンテンツのエネルギーに従って適応的に決定される、と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するための手段と、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用するための手段と、
を備える、装置。
【請求項２２】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項２１に記載の装置。
【請求項２３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記残響セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２２に記載の装置。
【請求項２４】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項２１に記載の装置。
【請求項２５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、請求項２４に記載の装置。
【請求項２６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記装置が、
第２の結合された信号を生成するために第２のサブグループを結合するための手段、ここで、前記第２のサブグループが、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える、と、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用するための手段と、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合するための手段と、
をさらに備える、請求項２１に記載の装置。
【請求項２７】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するための手段をさらに備える、請求項２１に記載の装置。
【請求項２８】
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成するための手段と、
をさらに備える、請求項２１に記載の装置。
【請求項２９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項２１に記載の装置。
【請求項３０】
実行されると、１つまたは複数のプロセッサに、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、ここにおいて、前記重みが、前記複数のチャンネルと関連付けられた前記それぞれの入力音声信号のそれぞれのコンテンツのエネルギーに従って適応的に決定される、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行わせる命令をその上に記憶した、非一時的コンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０３５０
【補正方法】変更
【補正の内容】
【０３５０】
[0362]本技法の様々な実施形態が説明された。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
音声信号をバイノーラル化する方法であって、
前記音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を備える、方法。
［Ｃ２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ１に記載の方法。
［Ｃ３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２に記載の方法。
［Ｃ４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ１に記載の方法。
［Ｃ５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ４に記載の方法。
［Ｃ６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記方法が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、をさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算することをさらに備える、Ｃ１に記載の方法。
［Ｃ８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ１に記載の方法。
［Ｃ１０］
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、Ｃ１に記載の方法。
［Ｃ１１］
１つまたは複数のプロセッサを備えるデバイスであって、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行うように構成される、デバイス。
［Ｃ１２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ１１に記載のデバイス。
［Ｃ１３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ１２に記載のデバイス。
［Ｃ１４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ１１に記載のデバイス。
［Ｃ１５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ１４に記載のデバイス。
［Ｃ１６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記１つまたは複数のプロセッサが、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合することと、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
を行うようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
を行うようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ１１に記載のデバイス。
［Ｃ２０］
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、Ｃ１１に記載のデバイス。
［Ｃ２１］
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用するための手段と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合するための手段と、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用するための手段と、
を備える、装置。
［Ｃ２２］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、Ｃ２１に記載の装置。
［Ｃ２３］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２２に記載の装置。
［Ｃ２４］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、Ｃ２１に記載の装置。
［Ｃ２５］
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分のそれぞれのエネルギーに従って重み付けられる、Ｃ２４に記載の装置。
［Ｃ２６］
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記バイノーラル室内インパルス応答フィルタが、第１のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記装置が、
第２の結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える第２のサブグループを結合するための手段と、
第２のバイノーラル音声信号を生成するために、第２のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用するための手段と、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合するための手段と、
をさらに備える、Ｃ２１に記載の装置。
［Ｃ２７］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するための手段をさらに備える、Ｃ２１に記載の装置。
［Ｃ２８］
前記バイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成するための手段と、
をさらに備える、Ｃ２１に記載の装置。
［Ｃ２９］
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、Ｃ２１に記載の装置。
［Ｃ３０］
実行されると、１つまたは複数のプロセッサに、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用することと、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、バイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行わせる命令をその上に記憶した、非一時的コンピュータ可読記憶媒体。
【手続補正書】
【提出日】平成28年2月17日(2016.2.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声信号をバイノーラル化する方法であって、前記方法が、
前記音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用すること、ここにおいて、前記適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って、および前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つに関する共通のバイノーラル室内インパルス応答フィルタのエネルギーに従って決定される、と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、前記共通のバイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を備える、方法。
【請求項２】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項１に記載の方法。
【請求項３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記残響セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分の前記それぞれのエネルギーに従って重み付けられる、請求項２に記載の方法。
【請求項４】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項１に記載の方法。
【請求項５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分の前記それぞれのエネルギーに従って重み付けられる、請求項４に記載の方法。
【請求項６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記共通のバイノーラル室内インパルス応答フィルタが、第１の共通のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記方法が、
第２の結合された信号を生成するために第２のサブグループを結合すること、ここで、前記第２のサブグループが、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える、と、
第２のバイノーラル音声信号を生成するために、第２の共通のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
をさらに備える、請求項１に記載の方法。
【請求項７】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算することをさらに備える、請求項１に記載の方法。
【請求項８】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記方法が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
をさらに備える、請求項１に記載の方法。
【請求項９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項１に記載の方法。
【請求項１０】
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、請求項１に記載の方法。
【請求項１１】
１つまたは複数のプロセッサを備えるデバイスであって、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用すること、ここにおいて、前記適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って、および前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つに関する共通のバイノーラル室内インパルス応答フィルタのエネルギーに従って決定される、と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、前記共通のバイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行うように構成される、デバイス。
【請求項１２】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項１１に記載のデバイス。
【請求項１３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記残響セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分の前記それぞれのエネルギーに従って重み付けられる、請求項１２に記載のデバイス。
【請求項１４】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項１１に記載のデバイス。
【請求項１５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分の前記それぞれのエネルギーに従って重み付けられる、請求項１４に記載のデバイス。
【請求項１６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記共通のバイノーラル室内インパルス応答フィルタが、第１の共通のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記１つまたは複数のプロセッサが、
第２の結合された信号を生成するために第２のサブグループを結合すること、ここで、前記第２のサブグループが、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える、と、
第２のバイノーラル音声信号を生成するために、第２の共通のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用することと、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合することと、
を行うようにさらに構成される、請求項１１に記載のデバイス。
【請求項１７】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するようにさらに構成される、請求項１１に記載のデバイス。
【請求項１８】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記１つまたは複数のプロセッサが、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算することと、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算することと、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成することと、
を行うようにさらに構成される、請求項１１に記載のデバイス。
【請求項１９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項１１に記載のデバイス。
【請求項２０】
前記音声信号の前記複数のチャンネルが、それぞれ、球面調和係数を備える、請求項１１に記載のデバイス。
【請求項２１】
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用するための手段、ここにおいて、前記適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って、および前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つに関する共通のバイノーラル室内インパルス応答フィルタのエネルギーに従って決定される、と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つを結合するための手段と、
バイノーラル音声信号を生成するために、前記共通のバイノーラル室内インパルス応答フィルタを前記結合された信号に適用するための手段と、
を備える、装置。
【請求項２２】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの残響セグメントに関する共通のフィルタを備える、請求項２１に記載の装置。
【請求項２３】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記残響セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分の前記それぞれのエネルギーに従って重み付けられる、請求項２２に記載の装置。
【請求項２４】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタの反射セグメントに関する共通のフィルタを備える、請求項２１に記載の装置。
【請求項２５】
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの前記反射セグメントが、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの少なくとも一部分の前記それぞれのエネルギーに従って重み付けられる、請求項２４に記載の装置。
【請求項２６】
前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つが、第１のサブグループを備え、
前記結合された信号が、第１の結合された信号を備え、
前記共通のバイノーラル室内インパルス応答フィルタが、第１の共通のバイノーラル室内インパルス応答フィルタを備え、
前記バイノーラル音声信号が、第１のバイノーラル音声信号を備え、前記装置が、
第２の結合された信号を生成するために第２のサブグループを結合するための手段、ここで、前記第２のサブグループが、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つを備える、と、
第２のバイノーラル音声信号を生成するために、第２の共通のバイノーラル室内インパルス応答フィルタを前記第２の結合された信号に適用するための手段と、
第３のバイノーラル音声信号を生成するために、前記第１のバイノーラル音声信号と前記第２のバイノーラル音声信号とを結合するための手段と、
をさらに備える、請求項２１に記載の装置。
【請求項２７】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記共通のフィルタを生成するために、前記少なくとも２つのバイノーラル室内インパルス応答フィルタを正規化することなく、前記少なくとも２つのバイノーラル室内インパルス応答フィルタの平均を計算するための手段をさらに備える、請求項２１に記載の装置。
【請求項２８】
前記共通のバイノーラル室内インパルス応答フィルタが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する共通のフィルタを備え、前記装置が、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタの各々に関するそれぞれの周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記少なくとも２つのバイノーラル室内インパルス応答フィルタに関する前記それぞれの周波数依存性両耳間コヒーレンス値の平均周波数依存性両耳間コヒーレンス値を計算するための手段と、
前記平均周波数依存性両耳間コヒーレンス値を使用して前記共通のフィルタを合成するための手段と、
をさらに備える、請求項２１に記載の装置。
【請求項２９】
前記音声信号の複数のチャンネルに関する初期の適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って決定される、請求項２１に記載の装置。
【請求項３０】
実行されると、１つまたは複数のプロセッサに、
音声信号の複数の適応的に重み付けられたチャンネルを生成するために、適応的に決定された重みを前記音声信号の複数のチャンネルに適用すること、ここにおいて、前記適応的に決定された重みが、前記複数の適応的に重み付けられたチャンネルのうちの少なくとも２つにそれぞれ対応する少なくとも２つのバイノーラル室内インパルス応答フィルタのそれぞれのエネルギーに従って、および前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つに関する共通のバイノーラル室内インパルス応答フィルタのエネルギーに従って決定される、と、
結合された信号を生成するために、前記音声信号の前記複数の適応的に重み付けられたチャンネルのうちの前記少なくとも２つを結合することと、
バイノーラル音声信号を生成するために、前記共通のバイノーラル室内インパルス応答フィルタを前記結合された信号に適用することと、
を行わせる命令をその上に記憶した、非一時的コンピュータ可読記憶媒体。
【国際調査報告】
2016523466.tif 000123
2016523466.tif 000124
2016523466.tif 000125